구글 리더보드 1위 등재는 사실

아사이언스 발표에 따르면 플루이즈는 안드로이드월드 116개 과제를 모두 완수해 100% 성공률을 기록했다. 구글 운영 리더보드에 미국 기업 커크 엔진과 함께 동률 1위로 올라 있다는 점은 공식 기록으로 확인된다. 동일 리더보드에서 구글 자체 엔트리 아르테미스는 99.1%였고 마이크로소프트는 76.7%를 기록했다.

만점 보도의 근거는 자체 보고

출처: 조사 출처

MBC는 9월 24일 이 성적을 '구글 평가에서 만점'으로 보도했다. 리더보드 페이지에는 커뮤니티 리더보드이며 자체 보고라고 명시돼 있다. 구글은 점수를 직접 채점하거나 검증한 활동이 아니며 무검증 제출의 부정확 가능성을 경고한 상태다. 커크 엔진 측도 자체 보고로 116개 전부 성공을 주장하고 있다.

회사 주장과 공식 기록의 어긋남

회사는 과제 완수가 처음이라고 발표했으나 제3자 검증은 없어 최초 여부는 독립 확인이 불가능하다. 회사 보도자료의 '137개 과제'는 공식 기록의 116개와 일치하지 않는다. 플루이즈는 벤치마크 과제에 맞춘 스킬을 작성했다는 점도 스스로 인정했다. 기반 언어모델은 미국 오픈AI 모델로 국내 성과는 에이전트 계층에 해당한다.

만점 주장 재확인 지점

점수의 신뢰도는 구글의 직접 검증 여부에 달려 있다. 향후 확인할 지점은 구글의 무검증 제출 경고 이후 재측정 절차 진행 여부다. 국내 스타트업이 구글 벤치마크 리더보드 정상에 올라 있다는 점은 사실이고, 구글이 평가해 준 만점이라는 표현은 부분 사실로 판정된다.