하네스 재실행에서도 방향이 일치하는 우위

artificialanalysis.ai 등 독립 출처에 따르면 FrontierCode에서 키미 K3.1 프로가 52.2를 기록해 GPT-6 계열의 47.0과 49.1을 앞섰습니다. 코딩에이전트 종합지수에서도 62 대 55와 54로 같은 방향의 격차가 나타났습니다. 서로 다른 하네스로 재실행한 결과에서도 방향이 일치해, 벤치마크 기준으로 앞선다는 취지는 단일 출처에 의존하지 않습니다.

Terminal-Bench 4.0에서는 오차범위 내 근소 우위

출처: 조사 출처

모든 지표에서 같은 마진이 유지되는 것은 아닙니다. Terminal-Bench 4.0에서는 우위가 오차범위 내 근소 차이에 그쳤습니다. 또한 Anthropic 공식 수치에는 노력 설정의 비대칭이 개입된 것으로 전해졌습니다. 측정 대상끼리 같은 조건을 두고 비교한 것인지에 따라 격차의 크기가 달라질 수 있다는 점이 여기서 드러납니다.

OpenAI의 'Astra 최고' 주장은 시점이 어긋나다

OpenAI는 GPT-6 Astra가 최고 수준이라는 입장을 밝혔습니다. 그러나 이 주장은 Anthropic Opus 5.5 출시 이전 시점을 기준으로 한 것이며 정면 비교 수치를 담고 있지 않습니다. 발표 시점이 어긋난 두 주장을 그대로 맞놓을 수는 없어, 반박 근거로는 성립하지 않는 상태입니다.

실사용 체감 우열은 아직 확인되지 않았습니다

통념상 최신 GPT-6 계열이 코딩에서 가장 강하다는 전제는 이번 수치들과 어긋납니다. 다만 Anthropic 스스로 벤치마크가 실사용 체감을 옮기지 못한다는 한계를 인정한 만큼, 실제 개발 환경에서의 우열은 아직 확인되지 않았습니다. 벤치마크 점수와 사용자 경험 사이의 간극은 이번 사례에서도 그대로 남아 있습니다.

향후 확인할 지점은 두 가지입니다. 노력 설정을 동일하게 맞춘 재측정이 이어질지, 그리고 Opus 5.5 출시 이후 OpenAI가 새로운 비교 수치를 내놓을지가 관건입니다. 이번 우위가 일회성 기록인지 구조적 전환인지는 몇 분기의 관측이 더 필요합니다. 종합하면 이 주장은 벤치마크 기준으로 GPT-6 계열보다 코딩에서 앞선다는 취지로는 대체로 사실입니다.