신규 카테고리로 내세운 컨텍스트 메모리 스토리지

화웨이 발표문에 따르면 M900은 대규모 언어 모델의 KV 캐시를 스토리지 계층에 저장해 재계산 없이 재사용하는 구조를 채택했다. 회사는 이를 메모리와 디스크 사이의 공유 계층으로 정의하며 L3.5라는 명칭을 붙였다. 클러스터당 최대 4PB의 공유 KV 캐시를 제공한다는 설명이며, 리드문의 64PB 베이스 티어 수치와의 불일치는 계층 해석 차이로 추정된다.

성능 수치는 전부 화웨이 발표 주장

출처: 조사 출처

발표 자료에 따르면 M900은 시스템당 최대 20TB/s 대역폭과 60μs의 접근 지연 시간을 내세우며, 지연 시간은 기존 대비 90% 감소했다고 회사가 주장했다. 내구성은 DWPD 24 기준으로 전통적 SSD 대비 16배라는 수치를 제시했고, 긴 컨텍스트 처리 시 TTFT(첫 토큰 응답 시간)가 절반으로 줄어든다고 밝혔다. 이 수치들은 제3자 실측 검증이 아직 이뤄지지 않은 발표 3일 차 시점의 제조사 주장이다.

KV 캐시 재사용이 겨냥한 추론 비용 절감

발표문은 KV 캐시를 재계산하지 않고 저장·재사용하면 배치당 연산량이 줄어 GPU 자원 점유가 낮아진다고 강조했다. 회사는 이를 통해 토큰당 추론 비용 절감과 대규모 컨텍스트 서비스의 응답성 확보를 동시에 노릴 수 있다고 전했다. 업계에서는 AI 추론 데이터센터에서 메모리 계층 확장 요구가 커지는 가운데 스토리지 업체들의 개입 시도가 이어지는 흐름과 맞닿아 있다.

검증은 데이터시트 공개 이후

성능 수치의 독립적 실측 자료는 아직 확인되지 않았으며, 데이터시트 전면 공개 시점도 화웨이가 명시하지 않았다. 출하 일정과 가격, 국내 도입 가능 여부 역시 발표문에 나오지 않았다. 발표된 수치 구조와 카테고리 정의 자체는 공식 자료로 확인되는 사실이다.

향후 벤치마크 결과와 고객 도입 사례가 나오면 주장 수치의 실체가 가려질 것으로 보인다. 공개 자료 범위에서 화웨이의 제품 공개 사실과 발표 수치는 대체로 사실로 판단된다.