의료 AI 안전성 행사 '레드팀 챌린지'(MEDRTC)가 마무리된 뒤 "국내외 LLM 12종을 공격해 검증했다"는 보도가 잇달았다. 우리는 행사 공식 사이트와 종료 전후 기사들을 직접 확인하며 참가 모델 수와 심사 절차가 어디까지 뒷받침되는지, 그리고 무엇이 빠져 있는지 짚었다.
이번 검토에서 우리는 공식 사이트(medrtc.org)의 메인 페이지와 등록 페이지를 포함한 7개 웹 문서를 직접 읽었고, 그중 등록 페이지와 전자신문 기사는 1차 자료로 대조했다. '12종'이라는 수치는 이 과정에서 두 갈래로 맞물렸다. 행사 종료 보도를 낸 AI타임스·한국경제·전자신문·중앙일보 네 매체가 모두 12종으로 같은 수치를 실었고, 보도자료와 무관하게 열람되는 공식 사이트의 후보 모델 명단 역시 12종이었다.
다만 처음 계획은 달랐다. 개최 확정 단계였던 지난 5월 22일 보도는 "국내외 대표 LLM·FM과 의료 특화 모델 등 총 15종, 지난해 10종 이상 대비 1.5배"라고 전했다. 최종 12종은 계획보다 3종 적지만 지난해보다는 많다. 공식 사이트는 "진행 규칙 및 대상 모델은 행사 당일 최종 확정 공지"라고 명시하고 있으나, 당일 공개된 확정본 문서는 확인하지 못했고 축소 사유도 공개된 바 없다.
종료 보도들은 심사 방식을 "사람 심사 3명 + LLM-as-a-Judge 2명, 3명 이상 승인"으로 전했다. 반면 공식 사이트의 사전 안내는 "무작위 3명 심사위원 중 2명 이상 승인"이었다. 같은 절차를 두고 인원 수와 통과 기준이 서로 다르게 기재돼 있어, 어느 쪽이 최종 규칙이었는지는 남겨진 문제다.
어떤 모델에서 어떤 취약성이 발굴됐는지, 공격 성공률이 어느 수준이었는지 같은 모델별 결과는 어느 소스에도 없다. 확인 가능한 범위는 공격 검증이 수행됐다는 행위 자체까지다. 참고로 종료 보도 네 편은 문구와 수치까지 동일해 조직위 보도자료 단일 출처에 기반한 것으로 보이며, 독립 취재에 의한 교차 검증은 이뤄지지 않았다. 식약처 사이트의 보도자료 원문도 검색에서 노출되지 않았고, 한국경제 기사는 접속 시간 초과로 네이트 재배포본을 통해 대신 확인했다.
종합하면, 이 행사에서 국내외 LLM 12종을 대상으로 공격 검증이 이뤄졌다는 주장은 공식 사이트 명단과 종료 보도가 서로 맞물려 뒷받침되므로 대체로 사실로 본다. 다만 검증이 어떤 취약성 발굴로 이어졌는지는 어디에도 공개되지 않았고, 참가 모델이 계획보다 줄어든 배경과 심사 규칙의 문서 간 불일치는 여전히 풀리지 않은 지점으로 남는다.