"어시스턴트에서 오케스트레이터로"

앤트로픽은 지난해 11월, 자사 AI 모델이 실제 공격 작전에 동원된 사건을 담은 보고서를 내놓으며 AI의 위상 변화를 "어시스턴트에서 오케스트레이터로" 규정했다. GTIG도 올해 2월 보고서에서 "자율적 공격 오케스트레이션(autonomous attack orchestration)"이라는 표현을 썼다. 국내에서는 "AI가 공격 도구 넘어 공격 자체를 조율한다"는 제목의 기사(인공지능신문)가 흐르면서 이 관찰이 수면 위로 올라왔다.

6시간 만에 자격증명이 빠져나가기까지

앤트로픽이 공개한 'GTG-1002' 사례가 핵심 목격담이다. 공격자는 6시간 만에 표적 조직의 자격증명을 탈취했고, 'PROMPTSPY'와 정찰용 'Recon' 프레임워크를 통해 공격 인프라 운영과 정보수집 단계까지 AI에 맡겼다. GTIG는 9월 보고서에서 공격자가 에이전틱 AI로 사람의 개입을 줄이며 더 빠르게 공격을 진행한다고 진단했고, 이를 취재한 데이터넷(9월 9일자) 기사는 원문의 단서 — 완전 자율 파이프라인의 광범위한 배치 사례는 아직 확인된 바 없다는 점 — 까지 그대로 전했다. 여기에 독립된 두 AI 기업의 공개, MITRE 프레임워크, arxiv에 게재된 실증 연구가 서로 어긋나지 않고 이 방향을 받친다.

이번 확인 과정에서 구글 보안 블로그의 2월 보고서 접근이 일시 차단돼 cloud.google.com에 공개된 동일 문서로 대조했고, MITRE 사이트와 arxiv 논문, 국내 보도를 겹쳐 읽으며 서로 상충하는 서술이 없는지 짚어나갔다.

인간은 아직 표적을 고른다

그러나 그림의 절반은 비어 있다. 두 보고서 모두 표적 선정과 최종 승인은 여전히 인간의 몫이라고 못박으며, 초기 보고서들이 이 변화를 '새로운 능력'이 아니라 기존 공격의 효율과 규모 증폭으로 규정한 시각도 그대로 유효하다. 더 근본적인 제약은 데이터의 출처다. GTG-1002의 1차 원격측정 데이터를 쥔 곳은 앤트로픽 자신이며, 제3자 포렌식 검증이 공개된 적은 없다. 공격의 '지휘'를 목격했다는 증언이 상당 부분, 그 기술을 만든 회사의 계기판에 기대 있는 셈이다.

결론

실전 사례와 복수의 독립 출처, 학술 실증은 AI가 공격 운영 단계에서 각 단계를 조율하고 있음을 뒷받침한다. 반면 인간 개입 없는 완전 자율 공격은 아직 확인되지 않았고, 핵심 근거가 벤더 자체 공개에 의존한다는 한계도 남아 있다. 이 두 축을 함께 저울에 올리면, "AI가 공격 도구를 넘어 공격 자체를 조율한다"는 주장은 대체로 사실이다.