하니스 유무가 만든 조건 비대칭

발표문에 따르면 Fable 5는 하니스 없이 단일 호출로만 평가됐으며, 해당 논문은 "Fable 5 was run single-only"라고 명시했습니다. Qwen3.8-27B 쪽은 다섯 모델에 하니스를 결합해 측정했기 때문에 양쪽의 평가 조건이 동일하지 않습니다. 같은 조건에서의 비교가 이루어지지 않은 상태입니다.

단일 벤치마크와 자체 평가라는 이중 한계

출처: 조사 출처

논문에 따르면 성능 비교는 LCB-100 한 곳에서만 이루어졌으며, 일반화 가능성에 대해서는 "though we do not test it"이라고 스스로 유보했습니다. 이 평가는 개발사인 Persis Capital의 자체 평가로, 동료심사는 진행 중("under review")인 상태입니다. 독립 기관의 검증 결과는 아직 확인되지 않았습니다.

개발사 표기조차 '능가'가 아닌 '맞먹음'

자동 선별 기사를 운영하는 kblip은 해당 논문을 "matches"(맞먹는다)로 요약하며 독립 검증 요구 목소리를 언급했습니다. 앙상블 수치가 2.0%포인트 앞선다는 전제는 개발사 스스로 내세운 'Match'라는 표기와도 어긋납니다. 통계적 유의성 입증 또한 아직 이루어지지 않았습니다.

타 벤치마크에서는 Fable 5가 전부 우위

LCB-100 외의 벤치마크에서는 Fable 5가 전 항목에서 우위를 유지하고 있어, '앙상블이 Fable 5를 능가한다'는 일반적 확대는 자료와 맞지 않습니다. llm-stats와 huggingface 등 공개 자료에서 확인되는 전체 벤치마크 비교에서 두 모델의 격차는 여전히 Fable 5 쪽에 있습니다. 원천 게시물로 지목된 레딧 글은 캡차 벽으로 본문 채증이 이뤄지지 않아 제목만 확인된 상태입니다.

동료심사 결과와 독립 기관의 재평가, 그리고 동일 하니스 조건에서의 Fable 5 재측정이 나와야 이 격차가 하니스 효과인지 앙상블 효과인지 가려질 것으로 보입니다. LCB-100이라는 특정 벤치마크에서 하니스 적용 앙상블의 수치가 Fable 5보다 높다는 것은 대체로 사실이나, 전반적 성능 우위라는 주장까지는 부분 사실에 해당합니다.