순서를 뒤집은 데이터 제조법

툴그래드의 발상은 간단하다. AI가 도구를 호출해 실제로 동작하는 풀이를 먼저 확보한 뒤, 그 답에 맞는 질문을 나중에 붙여 학습 데이터를 만든다. 질문을 먼저 지을 때 생기는 '풀 수 없는 문제'를 구조적으로 걷어내는 방식이다. 논문이 보고한 통과율은 63.8%에서 99.8%로 뛰었고, 이 두 숫자는 arXiv 논문·구글 블로그·깃허브 저장소 어디서도 한 자릿수까지 어긋나지 않았다.

99.8%는 '문제 풀기'의 점수가 아니다

지난 12일 마친 이번 조사는 세 가지 1차 자료를 나란히 대조하는 방식으로 진행했다. 논문 원문과 구글 리서치 공식 블로그, 그리고 아파치 2.0 라이선스로 공개된 저장소 github.com/zhongyi-zhou/toolgrad를 펼쳐 수치와 문구를 맞춰 보았고, 헤드라인의 출처가 된 국내 보도 원문과 블로그 페이지는 각각 sha256 844e99de…, 46c38b45…로 캡처해 두었다.

대조 결과, 99.8%는 모델이 실제 과제를 푼 성적이 아니라 학습 데이터 생성(주석) 파이프라인이 유효한 질문-답 쌍을 뽑아낸 통과율이었다. 국내 원문의 본문은 이를 "데이터 생성 성공률"로 바로잡아 적었고, 해외 2차 보도 대부분도 '도구 활용 데이터 생성의 통과율'로 옮겼다. 반면 explainx.ai는 이를 "도구 활용에서 GPT-5를 제친 성적"으로 두 개념을 한 문장에 섞어 썼다. 헤드라인의 표현 하나가 어떻게 오독을 낳는지를 보여주는 실례다.

주체와 관련해서도 짚을 대목이 있다. 구글 리서치 블로그의 감사의 글은 연구가 주로 주중종(Zhongyi Zhou)이 구글 방문연구원으로 재직하던 기간 이뤄졌다고 밝힌다. 그는 도쿄대와 RIKEN AIP 소속이며, 연구는 구글·도쿄대·RIKEN의 공동 성과물이다. '구글이 공개했다'는 표현이 틀린 것은 아니지만, 단독 주도로 읽히면 축약이다.

저자 스스로 인정한 한계

논문 7장에서 저자들은 세 가지를 스스로 밝혔다. 합성 질의가 실제 인간 발화와 정렬되지 않을 수 있다는 점, ReAct·DFS 같은 추론 프레임워크로의 일반화는 검증되지 않았다는 점, 그리고 데이터 스케일링의 효과가 작은 규모 구간에서 이미 정체되기 시작한다는 점이다. 이는 99.8%와 모순되는 말이 아니지만, 이 수치를 '도구 활능의 압도적 해결'로 확대 해석하는 데 방지턱이 된다.

그러나 남는 물음

생성된 데이터의 총 규모와 비용, 정체가 뚜렷해지는 정확한 지점은 우리가 확인한 자료 어디에도 수치로 남아 있지 않았다. 99.8%와 별개로 완성된 모델의 과제 수행 성적을 직접 보여주는 표도 이번 조사 범위에서는 짚이지 않았다. 결국 이 연구가 실전 과제에서 어느 정도로 통하는지는 후속 평가를 기다려야 한다.

종합하면, '답부터 만들고 질문 붙여'라는 방법론 묘사와 63.8%→99.8%라는 핵심 수치는 1차 자료와 한 글자도 어긋나지 않는다. 다만 '성공률'의 대상이 데이터 생성 통과율임이 제목에서 빠져 오독의 여지가 남았고, '구글'은 방문연구원이 주도한 공동연구의 축약이다. 이 주장은 대체로 사실이다.