단일 API로 모은 426종 모델의 한국어 성적표

지니젠AI는 9월 16일 허깅페이스 블로그를 통해 오픈라우터 등재 모델 대상 한국어 품질 리더보드를 공개했습니다. 오픈라우터는 여러 회사의 대규모 언어 모델을 단일 API로 묶어 제공하는 중계 플랫폼입니다. 발표문에 따르면 이번 리더보드는 등재 모델 426종의 한국어 품질을 순위로 정리한 자료입니다.

국내에서는 동아일보와 AI타임스가 9월 17일 이 발표 내용을 전했습니다. 두 매체의 기사는 회사 발표문의 426종이라는 수치를 그대로 옮겨 싣었습니다.

집계 시점마다 425종에서 428종까지 움직인 모델 수

출처: 조사 출처

본지는 9월 20일 오픈라우터 공개 API를 직접 호출해 등재 모델 수를 집계했습니다. 그 결과 이날 기준 428종이 확인돼 발표의 426종보다 2종 많은 것으로 나타났습니다. 회사가 9월 16일 게재한 영문 아티클은 같은 규모를 425종으로 적고 있습니다.

발표문에는 등재 모델 수가 매일 갱신되는 구조라는 점이 회사 측 설명으로 적혀 있습니다. 다만 세 수치의 차이는 상충이 아니라 집계 시점이 다른 데서 온 변동입니다.

제3자 검증을 거치지 않은 LLM 심사식 자체 평가

허깅페이스 발표문에 따르면 한국어 품질 평가는 LLM 심사 기반의 자체 벤치마크 방식입니다. 다만 이 지표는 제3자 감사를 거친 평가가 아니라 회사가 직접 설계하고 운영한 결과입니다. 평가 결과를 뒷받침하는 외부 검증 절차는 이번 조사에서 확인되지 않았습니다.

계약 범위가 밝혀지지 않은 비드래프트 협력

국내 보도와 발표문 등 3건의 자료에는 비드래프트와의 협력 관계가 함께 언급돼 있습니다. 다만 지분 구조와 계약 범위는 발표문 스스로 확인이 필요하다고 밝힌 상태입니다. 협력사 모델이 오픈라우터 미등재 사유로 평가 대상에서 빠졌다는 설명도 검증 전 단계입니다. 계약 기간이나 대가 같은 세부 조건은 이번 조사에서 아직 확인되지 않았습니다.

지니젠AI가 오픈라우터 등재 모델 426종을 분석한 한국어 AI 품질 리더보드를 공개했다는 주장은 사실로 확인됐습니다. 다만 순위의 참고 가치를 가르는 지점은 평가 방식의 제3자 검증 여부입니다. 모델 수가 매일 바뀌는 구조 특성상 순위표 역시 시점마다 달라질 수 있습니다. 비드래프트 계약의 범위와 협력사 모델 제외 기준은 앞으로 지켜봐야 할 확인 지점입니다.