자체 평가표가 그린 우위의 범위

모델 카드에 따르면 난베이지는 터미널벤치 2.1에서 80.9로 73.0을, 터미널벤치 4.0에서 23.8로 6.3을 앞섰습니다. 딥스위에서도 65.5 대 42.5로 차이를 벌렸으며, 스웨아틀라스 질의응답·NL2Repo·사이코드·스킬스벤치에서도 1위를 기록했습니다. 전체 20개 항목 가운데 17개에서 1위를 차지했다고 밝혔습니다.

출처: 조사 출처

제3자 재현이 없는 수치라는 조건

발표 자료에 따르면 이 표의 점수는 전부 자체 평가입니다. 공식 터미널벤치 리더보드(tbench.ai)에는 두 모델 모두 등재되지 않았으며, 인공지능 분석 등 독립 평가기관에도 아직 등재되지 않았습니다. 커뮤니티에서는 벤치마크 신뢰성을 두고 의문을 제기하는 토론도 진행되고 있습니다.

같은 표에서 뒤집힌 항목들

자체 평가가 전 항목 우위를 뜻하지는 않습니다. 스웨벤치 프로에서는 60.3 대 61.7로 큐원에 뒤졌으며, 지디피밸에서도 84.8 대 86.4로 열세입니다. 경쟁사 공표 수치와도 어긋나는 대목이 있습니다. 메타가 발표한 뮤즈-글리머-30B의 스웨벤치 프로 점수는 51.2인데 난베이지 표에는 36.9로 적혀 있고, 구글이 발표한 젬마4-31B의 지피큐아 다이아몬드 점수는 84.3인데 표에는 91.3으로 기재되어 있습니다. 이번 성능 주장이 실제 사용 환경에서도 유지되는지는 몇 차례의 독립 관측이 더 필요합니다.

난베이지의 공개 사실 자체는 1차 소스로 확인되지만, 성능 우위는 자체 평가 기준에 한정된 주장입니다. 공식 리더보드 등재와 독립 평가기관의 재현 결과가 나오는지가 향후 확인 지점입니다. 종합하면 이 발표의 성능 주장은 자체 평가 한정 조건 하에서 대체로 사실입니다.