클라우드 없이 맥북에서 도는 에이전트 데모

발표문에 따르면 리퀴드 AI는 클라우드 API 없이 M5 Max 맥북에서 자사 Hermes Agent를 구동하는 온디바이스 데모 영상을 함께 공개했습니다. 모델은 컨텍스트 131K를 지원하며 Hugging Face를 통해 가중치가 공개되었습니다.

회사가 내놓은 추론 속도 수치도 에지 환경을 겨냥한 것입니다. M5 Max에서 초당 184토큰, Ryzen AI Max+ 395에서 114토큰을 기록했고, 비교 대상 MoE 모델 대비 최대 1.7배 빠르다고 밝혔습니다. 서버급 B300 GPU 한 장에서는 초당 2만1000토큰 이상을 처리합니다.

AutomationBench 27.69, 경쟁 모델 8.72의 격차

출처: 조사 출처

Hugging Face의 LiquidAI 공식 블로그에 따르면 에이전트 벤치마크에서 큰 격차가 나타났습니다. AutomationBench에서 27.69로 경쟁 모델 8.72를 앞섰고, LiveClaw에서는 48.09 대 38.19를 기록했습니다. 블로그는 벤치마크 16개 항목의 수치를 함께 게시했습니다.

다만 이 수치는 Pipette라는 회사 자체 인프라로 측정된 결과입니다. 독립 기관의 재현 결과는 아직 확인되지 않았습니다.

'온디바이스 특화'가 '전면 우위'를 뜻하지는 않습니다

공식 발표 스스로가 지식·코딩 영역의 우위는 명시적으로 유보했습니다. GPQA Diamond, HLE, SWE-Bench Verified, SciCode 같은 벤치마크에서는 Qwen3.6-35B-A3B 등 더 큰 규모의 경쟁 모델이 앞선다고 원문이 지적했습니다.

즉 경량화와 빠른 추론을 위한 교환으로 일반 지식·코딩 성능 일부를 내놓은 구조입니다. '플래그십'이라는 표현은 기사 측 정리이며, 공식 원문은 "LFM2.5 계열에서 가장 크고 마지막 모델"이라고 전했습니다.

외신 보도와 공식 발표의 일치

AI타임스가 10월 15일 이 공개 건을 국내에 소개했고, Unite.AI 역시 같은 내용을 전했습니다. 두 보도 모두 공식 발표의 스펙과 벤치마크 수치를 그대로 담고 있었습니다. Unite.AI 기사는 AI 생성 기사임이 명시되어 있다는 점은 참고 수준에 두고 볼 지점입니다.

LFM2.5-24B-A2B의 성능 주장은 회사 자체 측정에 기반해 있습니다. 독립 재현 결과가 나오기 전까지는 에이전트 특화 성능 우위를 어느 정도의 사실로 받아들일지 관측이 더 필요하며, 이번 공개의 주요 내용은 공식 발표와 부합하는 것으로 확인됩니다.