규범을 알면서도 지키지 못하는 구조

스탠퍼드대의 PrivacyLens 연구에 따르면 대규모언어모델은 프라이버시 규범을 지식으로는 인지하면서도 실제 대화 맥락에서 이를 적용하지 못하는 행동 단계의 실패를 보였습니다. 연구팀은 이것이 단순한 지식 부족이 아니라 상황 판단과 실행 사이의 간극이라고 지적했습니다. ICLR과 NeurIPS 등 서로 다른 학회의 독립 연구그룹들이 같은 방향의 결과를 보고했습니다.

ConfAIde 벤치마크 실험에서도 모델이 대화 상대의 신분에 따라 민감 정보 공개 여부를 일관되게 판단하지 못하는 것으로 나타났습니다. 유출 비율이 특정 조건에서 10%대를 기록했으나 전부 0에 도달하지는 않았습니다. 연구진은 이러한 잔여 유출이 구조적 한계에 해당한다고 평가했습니다.

후속 질문 압력이 벌리는 유출 격차

출처: 조사 출처

2026년 arXiv 논문(2604.06409)에 따르면 다중 턴 후속 질문 압력이 가해질 경우 모델의 유출이 최대 16.3%포인트 추가로 늘어났습니다. 이는 단일 질문 기준 벤치마크 점수가 실제 사용 환경의 위험을 과소평가할 수 있음을 보여주는 수치입니다. 사용자가 의도적으로 대화를 이어가면 모델의 방어가 무너지는 상태가 확인된 셈입니다.

완화 기법은 효과가 있으나 한계도 남습니다

ACL LLMSEC 2025에 발표된 1-2-3 Check 기법에 따르면 다중 에이전트 방식으로 요청을 분해하면 GPT-4o의 유출이 ConfAIde에서 18%포인트, PrivacyLens에서 19%포인트 감소했습니다. 이는 기술적 완화가 가능하다는 점을 보여줍니다. 다만 감소 이후에도 유출이 완전히 사라지지는 않았습니다.

단일 보도에만 근거한 수치는 별개로 봐야 합니다

핵심 주장과 어긋나는 지점은 수치의 근거 구조입니다. '클로드 오퍼스 5.5 17%, GPT-6 아스트라 10%'라는 수치는 포럼 키노트를 뉴스1이 보도한 것이 유일한 출처로, 발표 기반 연구가 아직 공개되지 않았습니다. 공개 논문이나 기관 보도자료로 독립 확인된 바 없으며, 기사가 언급한 '3단계 벤치마크'가 ConfAIde Tier 3 확장판이라는 설명도 추정 상태입니다. 반대로 맥락적 프라이버시 판단이 문제없다는 직접 반박 연구는 2023년 이후 동료평가 문헌에서 발견되지 않았습니다.

LLM이 맥락과 수신자에 따른 프라이버시 판단에서 한계를 드러낸다는 핵심 주장은 여러 독립 연구로 뒷받침되어 대체로 사실입니다. 향후 확인할 지점은 키노트 발표의 벤치마크 논문 공개 여부와, 17%와 10% 수치가 독립 재현을 거치는지입니다. 최신 모델에서 유출 비율이 낮아지는 추세가 구조적 개선인지는 몇 분기의 관측이 더 필요합니다.