原文標題:Powering agentic AI with the Arm AGI CPU software ecosystem

Arm 10 月 21 日發布技術文章,說明 Arm AGI CPU 如何搭配現有 Arm64 開源及商用軟體,支援需要工具執行、資料檢索、工作協調與推論的代理式 AI。公司強調,評估此類工作負載不能只看大型語言模型的 token 產出,還必須考量沙箱、資料庫、API 與工作排程等 CPU 密集工作。

Arm 將軟體堆疊區分為代理框架與協調、工具執行、記憶與檢索、模型服務及雲原生基礎設施,列出 LangGraph、LangChain、Firecracker、Redis、Elasticsearch 和 vLLM 等既有元件。開發者可透過 Arm Software Ecosystem Dashboard 查詢支援版本及移植資源,並利用 Arm Learning Paths 建立 llama.cpp、FAISS 與 vLLM 的相關工作流程。

公司引用在 2026 OCP Global Summit 公布、獲 Fujitsu、Meta 與 OpenAI 支持的 CPU 評測方法,以及獨立驗證結果,宣稱 Arm AGI CPU 在特定條件下每機架效能最高可達領先 x86 伺服器處理器的 2 倍。另引用 Signal65 測試,指 AGI CPU 建立沙箱的延遲相較 AMD EPYC 9965 最多降低 45%;這些都是特定測試情境,不應解讀為所有應用皆有相同差距。

在檢索方面,Arm 引述 Redis 8.10.1 向量搜尋基準測試:AWS Graviton5 在一般負載、57 萬份文件資料集下,每美元可取得的上下文次數比 x86 高 16%;在重度負載、330 萬份文件資料集下優勢提高到 27%。公司也與 OpenInfer 合作展示 Loom 在多種 Arm CPU 間執行與排程 AI 模型。

Arm 展示一個在 CPU 上執行的小型語言模型客服系統,使用 LangGraph 與 LangChain 分派預約、申訴、產品諮詢及退款等任務,並連結企業資料、外部模型 API 和工具操作。文章屬軟體相容性與最佳化說明,沒有宣告所有框架的新版本已同步正式上市,也未提供完整價格或所有平台的一致效能數據。

發生了什麼事

Arm 公布 AGI CPU 的代理式 AI 軟體堆疊與多組測試結果,涵蓋沙箱啟動、向量搜尋、模型服務及客服多代理示範。

為什麼重要

代理式 AI 的實際延遲往往來自工具、檢索與協調流程;這份說明提供 CPU 基礎設施評估指標,而非只以 GPU 或模型推論速度衡量。

影響哪些人

受影響者包括雲端架構師、企業 AI 平台工程師、代理框架開發者,以及考慮將工作負載移往 Arm64 伺服器的維運團隊。

已確認與未確認

已確認軟體元件與測試數字均為官方引用的特定基準;尚無證據顯示所有 x86 系統都會有同等落差,也未提供 AGI CPU 全面供貨及完整價格條件。