합성 오류와 4회 앙상블이 만든 수치

remio.ai 분석에 따르면 73.43%라는 적발률은 실제 연구 논문의 일상 리뷰가 아니라 인위적 모순을 넣은 네 번의 리뷰에서 나온 결과라고 전했습니다. 이 매체는 헤드라인을 일반적인 73% 정확도로 읽어서는 안 된다고 지적했습니다. arXiv에 게시된 논문(arXiv 2610.11087)도 해당 수치가 합성 오류 대상 실험에서 나온 것임을 명시하고 있습니다.

실제 철회 논문에서는 16~26%

출처: 조사 출처

MarkTechPost의 10월 10일자 보도에 따르면 실제로 철회된 arXiv 논문을 대상으로 한 정확 일치 적발률은 16.11%에 불과했다고 전했습니다. 철회 사유와 부분적으로 겹치는 오류까지 넓혀 잡으면 26% 수준이라는 측정도 함께 보고됐습니다. 같은 시스템이지만 평가 대상이 자연스러운 논문인지 조작된 논문인지에 따라 성능 격차가 50%포인트 가까이 벌어집니다.

앞선 AI 동료검토 시도와의 비교

MarkTechPost는 이 시스템을 TMLR 게재 연구로 소개했고, 논문 본문에는 OpenReview 링크가 붙어 있습니다. 다만 게재 승인 여부는 OpenReview 페이지 접근 제한으로 아직 확인되지 않았습니다. 사카나 AI 공식 블로그에 이번 연구 전용 게시물이 올라와 있는지도 확인되지 않았으며, 논문 공개와 X(구 트위터) 발표를 통해 알려진 것으로 추정됩니다.

'73% 오류 적발'이라는 통념과 어긋나는 수치

AI가 논문 오류를 73% 확률로 잡아낸다는 전제는 실제 철회 논문에서의 16.11%라는 수치와 어긋납니다. 합성 오류는 위치와 형태가 예측 가능한 데 반해 실제 논문의 결함은 은닉돼 있어, 벤치마크 성능이 실전 성능을 대변하지 못하는 전형적 구조입니다. 이번 성능 격차가 시스템 설계의 한계인지 평가 방법론의 산물인지는 몇 차례의 독립 재현이 더 필요합니다.

사카나 AI가 보고한 73.43%는 논문 수치를 정확히 옮긴 것이고, 다만 합성 오류와 4회 앙상블이라는 조건이 빠지면 과대 해석이 됩니다. 향후 OpenReview 게재 절차의 진행과 독립 연구진의 실제 논문 재평가 결과가 이 격차를 확인할 지점입니다. 종합하면 '73% 적발' 주장은 조건부 문맥을 담으면 대체로 사실입니다.