"비슷하거나 더 높다"는 벤더의 표현과 실제 차트 내용

인셉션 공식 블로그에 따르면 머큐리 3는 벤치마크 12개 항목 중 4개에서 최고, 8개에서 우세한 결과를 보였다고 밝혔습니다. 회사는 이를 '능가한다'가 아니라 '비슷하거나 더 높다'고 표현했으며, 비교 대상은 전부 '(Medium)' 등급의 중형 모델로 한정됐습니다. 주요 항목 수치는 ku 51.62, AIME 2025 지능지수 비교에서 자사 모델이 상위권에 위치한 형태로 제시됐습니다. 다만 12개 항목 중 4개에서는 비교 상대가 앞섰습니다.

자사 측정뿐, 독립 검증은 아직 없음

출처: 조사 출처

SiliconANGLE은 아직 외부 기관이 머큐리 3에 대한 독자적 측정 결과를 발표하지 않았다고 전했습니다. 벤치마크 통계 업체 Artificial Analysis는 10월 21일 기준 머큐리 3를 채택하지 않은 상태이며, 이 업체 지수에서 머큐리 2.5는 12점, 머큐리 2는 11점으로 기록돼 있습니다. 인셉션의 논문과 오픈 웨이트 공개도 이뤄지지 않아 제3자 재현이 어렵습니다. 파트너 추천사 역시 Mind2Web 50개 과제 50% 완료 등으로 제시됐지만 독립 감사를 거친 것은 아닙니다.

'맞먹는다'는 통념과 어긋나는 지점들

이번 발표가 오픈AI·앤트로픽과의 대등성을 뒷받침한다는 통념은 몇 가지 수치와 어긋나는 면이 있습니다. 비교 상대가 중형급으로 축소된 점, 4개 항목 열세와 실측 처리량 격차가 존재하는 점이 그것입니다. 국내 보도인 DPG 기사는 인셉션이 공개한 시험 결과가 모두 자체 측정치임을 각주로 명시했습니다. 제목에서 쓰인 '맞먹어'라는 표현은 벤더의 원문보다 강하게 나온 축약이라는 상태가 확인됩니다.

성능 대등성의 확정 여부

모델 성능이 경쟁사와 대등한지, 모든 dLLM 중 최고인지는 아직 확인되지 않았습니다. 독립 벤치마크의 채택과 외부 기관의 재현 측정이 이뤄져야 판단 근거가 생깁니다. 이번 발표의 성능 주장은 벤더가 공개한 자체 수치의 범위 안에서 대체로 사실로 평가됩니다.

향후 확인 지점은 Artificial Analysis 등 제3자 지수의 머큐리 3 채택 여부와 독립 벤치마크 결과 공개 시점입니다. 추가 벤치마크가 여러 분기에 걸쳐 축적되면 성능 대등성 논쟁의 결론이 정해질 것입니다.