検証の対象と手続き

検証対象となった主張は、韓国語で「토큰 비용 절감...프롬프트 캐싱·압축이 핵심 기술」(トークン費用の節減――プロンプトキャッシングと圧縮が核心技術)とまとめられたものだ。本紙は一次資料12件を精査し、技術の実在性、トークン費用削減への寄与、提供状況の三つの観点から確認を行った。検証過程では、MicrosoftがGitHub上で公開するプロンプト圧縮技術「LLMLingua」の資料(技術の動機を説明する図およびロゴ)も確認対象に含まれた。

キャッシング、幅広い提供が確認

출처: 조사 출처

プロンプトキャッシングは、同一内容を含むプロンプトの再利用時に処理を省略し、トークン費用の抑制につなげる手法だ。資料の精査では、キャッシングが複数の提供主体を通じて幅広く提供されている実態が裏付けられ、LLM利用コストの削減に寄与する有力な手段であることが確認された。

圧縮、提供主体はキャッシングより限定的

プロンプト圧縮は、プロンプトから冗長な部分を間引くなどしてトークン数そのものを減らすアプローチで、LLMLinguaがその代表例とされる。技術としての有効性は一次資料で支持された一方、圧縮はキャッシングと異なり、提供主体が限定的であることも併せて確認された。

並存する同等の公式手段

さらに検証では、トークン費用の削減手段としてはキャッシングや圧縮のほかに、モデル選択など同等の公式手段が並存していることが確認された。このため、両技法を「核心技術」と位置付ける主張は成立するものの、これらが唯一の選択肢であると解釈することはできない。

以上の検証結果を踏まえ、本紙は当該主張について「概ね事実」の判定を下した。