10배 체급 비교의 실체, MoE 활성 파라미터

발표 자료와 모델 카드에 따르면 d1-3B는 벤치마크에서 48.57점을 기록하며 비교 대상 Decider 35B-A3B(총 34.7B, 활성 3B)보다 1.46점 높은 수치를 보였습니다. 다만 비교 대상은 총 파라미터 기준으로만 12배 체급이고, 활성 파라미터 기준으로는 3B로 대등한 규모입니다. 혼합전문가(MoE) 구조 특성상 총 크기만으로 격차를 논하기는 어렵다는 점이 수치 뒤에 있습니다.

'제친' 표현과 공식 문서의 온도차

출처: 조사 출처

점수 우위는 모델 카드의 표현이며, 회사 공식 블로그 본문은 두 모델이 "on par"(대등)하다고 표현했습니다. 점수 차이 1.46은 전체 점수 대비 작은 폭이라 우위 강도의 해석은 발표 문서마다 일정하지 않습니다. 공식 블로그의 자체 표현이 더 절제된 쪽에 해당합니다.

전체 최고가 아니라 10B 미만 최고

동일 발표 자료에 따르면 전체 최고 기록은 Winnow-12B의 50.02점이며, d1-3B의 48.57점은 10B 미만 구간의 최고 기록입니다. 따라서 이 모델이 전 카테고리 최상위에 올라간 것은 아니고, 기록의 정확한 범위는 소형 모델 구간으로 한정됩니다. d1-omni-600M은 같은 방식으로 동작하는 더 작은 체급의 모델입니다.

자체 측정 수치라는 조건

발표 자료에 따르면 d1 계열 점수는 리퀴드 AI가 공식 스코어러를 직접 실행해 산출한 것으로, 리더보드 제출 기록이 아닙니다. 제3자 재현이나 리더보드 등재는 아직 확인되지 않았습니다. 배치 환경 쪽에서는 Jetson AI Lab 공식 페이지가 3.12B, 텍스트와 이미지 입력, 16~50ms 지연이라는 동일 스펙으로 이 모델을 소개했습니다. 추론 시 지연 수치도 당사 환경에서 측정된 것으로 보이지만, 그 독립 재현 여부는 아직 확인되지 않았습니다.

성능 우위의 주장은 공식 발표 수치 범위 안에서 대체로 사실입니다. d1-3B의 점수가 제3자 리더보드에 등재되어 독립적으로 재현되는지, 그리고 엣지 배치 시 지연 수치가 실제 환경에서도 유지되는지는 앞으로 몇 분기의 관측이 더 필요합니다.