리더보드에 남은 23경기

기록의 출처는 옥스퍼드 연구진이 9월 arXiv에 공개한 논문 'CivBench'(2609.02459)다. 연구진은 '문명 6'을 대형 언어모델이 직접 플레이하는 환경으로 묶은 오픈소스 프로젝트 'civ6-mcp'를 GitHub 저장소(lmwilki/civ6-mcp)에 공개하고, 그 위에서 네 종류 모델의 대국을 진행했다. 벤치마크 운영 측의 공식 리더보드(civ6-mcp.lwilko.com/civbench)에는 23경기의 전적이 남아 있고, 모델별 줄 가운데에는 2승 6패, 1승 5패, 0승 8패가 눈에 띈다. 난이도별로 묶으면 '왕자(Prince)'에서 19전 3승, '왕(King)'에서 4전 전패다. 승률로 환산하면 13%이다.

대조 작업은 세 출처를 나란히 펼치는 방식으로 진행했다. arXiv 논문의 실험 설계와 결과 표를 기준으로 삼고, 리더보드의 전적 페이지와 GitHub 저장소의 코드를 함께 읽으며 숫자가 하나하나 짝이 맞는지 봤다. 논문에 적힌 23경기·3승, 모델별 성적, 난이도별 전적은 리더보드와 빠짐없이 일치했다.

최고 난도가 아니라는 단서

다만 이 대국들이 벌어진 곳은 '문명 6' 난이도 체계의 정점이 아니다. 기록은 왕자와 왕, 두 단계에서만 남아 있고 최고 난도인 신(Deity)에서의 대국은 없었다. 논문 스스로도 이번 연구를 모델 간 우열을 가리지 않는 예비연구로 규정하고 있다. "AI가 문명에 무릎 꿇었다"는 상징적 문장은 이 두 가지 단서를 얹어 읽어야 온전해진다.

'CivBench'라는 이름은 두 개였다

혼동을 조심할 대목도 있다. 같은 이름을 건 별개의 논문이 올해 4월 9일 arXiv에 올라와 있다. '문명 5'를 대상으로 307경기를 진행하고 일곱 종류 LLM을 평가한 것으로, John Chen 등이 저자다(2604.07733). 화제가 된 기록은 9월의 '문명 6' 논문 것이며, 307경기와 23경기라는 숫자를 섞으면 이야기가 완전히 어긋난다.

끝내 복원하지 못한 것

리더보드는 결과만 남긴다. 23경기 각각이 어떻게 흘러갔는지 — 중반까지 리드하다 무너졌는지, 전쟁과 외교 판단에서 갈렸는지 — 는 공개된 표와 전적 페이지만으로 재구할 수 없었다. 화제와 함께 돌던 '뒷심 부족 탓'이라는 원인 해석 역시 논문에 포함된 패배 원인 분석을 별도로 읽어야 대조할 수 있는 영역이다. 같은 모델들이 최고 난도에서 어떤 플레이를 보일지도 이번 데이터로는 답이 없다.

결론

정리하면, "AI가 문명 6에서 23전 20패를 기록했다"는 이야기의 뼈대는 논문과 리더보드 어디에서도 흔들리지 않는다. 다만 그 패배가 최고 난도에서 나온 것도, 모델 우열을 재는 최종 성적표도 아니라는 점은 함께 기억돼야 한다. 승패 기록 자체는 정확하므로 판정은 '사실'이다.