「毎秒1000トークン」が示す性能水準

生成AIが単発の質問応答を行うチャットボットから、自ら計画し行動するAIエージェントへと進化するなか、推論速度を左右する最大の要因はメモリーとLLMの間でデータを運ぶ帯域にある。トークンはLLMがテキストを処理する際の最小単位であり、その生成速度はユーザーが体感する応答の速さに直結する。Samsung ElectronicsはzHBMを掲げることで、AIエージェントが大量の文脈情報をリアルタイムで扱う次世代ワークロードに対応できる水準を提示した。検証の過程で、この「毎秒1000トークン」という性能主張に反する資料は確認されなかった。

メモリーを制する者がAIエージェントを制する

HBM(高帯域幅メモリー)は半導体を立体的に積層し、GPUなどAIアクセラレーターへのデータ供給を高速化するsemiconductorで、AI需要の拡大とともに業界の主戦場となっている。Samsung Electronicsが「AIエージェントのメモリー勝負」という表現で戦略を打ち出した背景には、AIサービスの性能競争が演算からメモリーへと移行しつつある業界の認識がある。HBM市場ではSK hynixとの競争が続くなか、Samsung ElectronicsはzHBMによって次世代規格の主導権を握ろうとしており、AIエージェント向けメモリーは今後の半導体業界の焦点になるとみられる。

本紙が一次資料12件に基づき行った検証の結果、「Samsung ElectronicsがzHBMで毎秒1000トークンを開き、AIエージェントをめぐるメモリー勝負に挑む」という主張は、事実と判定された。