28% 절감의 기준은 최고가 모델 단독 사용

공식 GitHub 저장소 README에 따르면 자체 라우팅 방식의 비용은 10.78달러로, 가장 비싼 Opus 단독 사용 14.99달러 대비 28% 절감입니다. 그러나 Sonnet 단독 9.15달러나 Jev 라우팅 9.66달러보다는 비용이 높게 나왔습니다. 절감폭이 항상 더 싼 대안 대비 우위를 뜻하지는 않는 구조입니다.

정확도 수치에 회사 스스로 낙관 편향을 고지

출처: 조사 출처

발표문에 따르면 헤드라인에 오른 정확도는 71.1%이지만, 회사는 컷오프를 같은 데이터에 맞춰 이 수치가 낙관적이라고 문서에 명시했습니다. held-out 방식으로 측정하면 Davi의 정확도는 69.9%로 낮아졌습니다. 다만 Jev 라우팅의 66.9% 대비 우위는 이 경우에도 유지됐습니다.

비용은 청구액이 아니라 정가 기반 추정치

저장소 문서에 따르면 비용 수치는 정가 기준 모델 실행 추정치이며 실제 청구액이 아니라고 밝혔습니다. 판정용 judge 호출 비용도 이 수치에 포함되지 않았습니다. 실사용 환경에서의 최종 비용은 이보다 달라질 수 있는 상태입니다.

단일 데이터셋과 미등재된 벤치마크 비교가 남은 과제

문서에 따르면 측정은 한국어 closed-book QA 단일 데이터셋으로 이뤄졌고 코딩이나 장기 에이전트 작업은 평가되지 않았습니다. 정확도 우위도 870건 중 7건 차이인 0.8%포인트로 유의성 검정은 없었습니다. 언론 보도의 JevBench 비교(다비 89.2% 대 제브 86.6%)는 공식 저장소 문서에 없고, 227개 시스템을 다루는 제3자 JevBench 리더보드에도 DAVI가 등재되지 않아 회사 배포자료 단일 출처로만 존재합니다. 이 기술의 실용성과 성능 주장은 회사 발표 기준으로 대체로 사실입니다. 일반화 여부는 다른 작업 영역과 몇 분기의 관측이 더 필요합니다.