'26%'는 인간 감독이 전제된 수치다

앤트로픽은 자사 모델 개선을 포함한 R&D 작업을 자동화 수준(AL) 척도로 구분해 측정했다. 이번에 공개된 첫 결과에서 어떤 형태로든 AI가 관여한 작업은 90%를 넘었고, 그중 AI가 주도하되 사람이 감독하는 구간이 26%였다. 사람 개입이 더 줄어드는 상위 구간으로 갈수록 비중은 급감해 0.002%를 기록했으며, 완전 자율에 해당하는 AL5 단계는 0%로 집계됐다. 결국 26%는 '인간의 감독 아래 AI가 주도한 비중'이지, AI가 스스로 AI를 만들어낸 비중이 아니다.

2월에는 1% 미만이었다

'AI 주도·인간 감독'에 해당하는 이 지표는 올해 2월 기준 1% 미만이었다. 7개월 만에 26배 이상 늘어난 셈이다. 앤트로픽은 다만 이 지표가 아직 프로토타입 단계라는 점을 함께 밝혔다.

출처: 조사 출처

회사 스스로 밝힌 세 가지 한계

앤트로픽은 포스트에서 지표의 한계도 인정했다. 첫째, 자사 모델로 자사 업무를 평가하는 구조라 판정 편향이 개입할 수 있다. 둘째, 새로 생겨나는 업무 유형이 반영되지 않았다. 셋째, 제3자 검증은 아직 예정 단계다.

확인한 것과 확인하지 못한 것

우리는 앤트로픽 웹사이트에 게시된 포스트 원문과 첨부 이미지를 직접 열어 수치를 대조했고, 국내외 후속 보도들이 동일한 수치를 인용하는지도 교차 확인했다. 해외 매체 하나는 페이지 접속이 차단돼 원문 대조가 불가능했으나, 판단의 기준이 되는 1차 자료는 앤트로픽 원문이므로 결론에는 영향이 없었다.

다만 "첫 공개"라는 표현의 범위는 유보가 필요하다. 포스트 자체가 일부 에이전트 감독 지표를 "최근 리스크 리포트에서 공개했다"고 명시하고 있기 때문이다. 우리는 앤트로픽의 8월 리스크 리포트에서 해당 수치가 실린 위치를 찾지 못했고, 이 지표가 프런티어 랩 중 최초라는 강한 서술 역시 업계 전수 확인이 불가능했다.

결국 앤트로픽의 공개 자체는 실재했고 26%·90%·0.002% 등 수치도 원문과 일치했다. 문제는 화제가 된 제목의 압축이다. 26%는 사람의 감독이 전제된 AI 주도 비중이고 완전 자율은 0에 수렴한다는 점을 감안하면, 이 주장은 대체로 사실이다.