주요 제공사 문서가 뒷받침한 캐싱 절감 효과

본지 검증팀은 생성형 AI 제공사 네 곳의 공식 문서와 학술 논문, 공개 저장소를 직접 대조했습니다. 검증 대상은 캐싱과 압축이 토큰 비용 절감의 핵심 기술이라는 주장입니다.

오픈AI 개발자 문서에 따르면 프롬프트 캐싱은 반복 입력 비용을 줄이는 공식 기능입니다. 구글도 Gemini API 문서에서 컨텍스트 캐싱을 공식으로 제공합니다. 네 곳의 문서는 모두 캐싱을 토큰 비용 절감 수단으로 안내했습니다.

AWS 공식 모범사례에 오른 토큰 길이 축소

AWS 웰아키텍처 문서에 따르면 GENCOST03-BP01 항목이 프롬프트 토큰 길이 축소를 권고합니다. 해당 항목은 프롬프트 토큰 길이 최적화를 공식 비용 모범사례로 규정합니다. AWS는 짧은 프롬프트가 비용 절감으로 이어진다고 강조합니다. 압축 계열 기법도 제공사 권고 수준에서 효과가 인정된다는 의미입니다.

출처: 조사 출처

네이티브 지원이 없는 압축 기술의 제한적 보급

마이크로소프트 연구진은 프롬프트 압축 도구 LLMLingua를 깃허브에 공개하고 성능을 밝혔습니다. 연구진은 최대 20배 압축에서도 성능 손실이 제한적이라고 말했습니다. 관련 논문은 arXiv와 학회 논문집 ACL 앤솔로지에 공개돼 있습니다.

다만 오픈AI는 공식 프롬프트 압축 API를 네이티브로 제공하지 않습니다. 압축은 연구와 서드파티 게이트웨이 중심이라 캐싱보다 보편성이 낮습니다.

배치 API 50% 할인이 드러낸 동급 대안의 존재

오픈AI 비용 최적화 가이드에 따르면 절감 수단은 다섯 가지가 병기됩니다. 목록은 요청 축소, 토큰 최소화, 작은 모델 선택, Batch API, Flex 처리입니다. 오픈AI 배치 API 공식 문서는 비용 할인폭을 정확히 50%로 명시합니다.

업계 매체 디일렉의 원 기사는 공통 기능을 캐싱·배치 API·압축 세 가지로 전했습니다. 다만 헤드라인은 배치 API를 생략한 채 캐싱·압축 두 기술만 내세웠습니다.

원 보고서 확인이 빠진 비용 전망 수치

원 기사는 가트너의 '추론 역설'과 2028년 에이전트 비용 5배 전망도 소개했습니다. EY의 30배 비용 추산과 우버·네이버 적용 사례도 함께 실렸습니다. 본지 검증팀은 원 보고서에 접근하지 못해 이 수치들은 아직 확인되지 않았습니다.

향후에는 제공사 네이티브 압축 API 출시 여부가 절감 전략의 균형을 바꿀 수 있습니다. 가트너와 EY 전망의 원 보고서 수치도 이후 추가 확인이 필요합니다. 검증 결과 캐싱·압축이 토큰 비용 절감의 핵심 수단이라는 이번 주장은 대체로 사실입니다.