原文標題：llm-d 1.0 Advances Open, Cost-Efficient AI Inference for Production Scale
IBM 與 Red Hat 等開源社群參與者 10 月 20 日宣布 llm-d 1.0 正式推出，目標是讓大型語言模型推論更容易在企業級分散式基礎設施上運作。llm-d 由 Red Hat、IBM、Google Cloud、CoreWeave 與 NVIDIA 在 2025 年共同發起，目前由 Cloud Native Computing Foundation（CNCF）治理，聚焦從單一模型伺服器延伸到跨節點、多租戶及大量代理工作負載的推論調度。
大型模型部署的瓶頸不只在運算速度。多輪對話與 AI 代理常反覆讀取長篇上下文，造成 KV cache、記憶體、路由與成本壓力。llm-d 既有架構涵蓋 prefix-cache 與負載感知路由、KV cache 卸載、prefill/decode 分離、專家平行化、批次與非同步推論，並支援 vLLM、SGLang 等模型服務元件。1.0 版本則把重點轉向上線後持續運作的「Day 2」維運。
在多租戶服務品質方面，1.0 加入感知優先順序與公平性的流量控制，避免延遲敏感的請求被突發代理工作完全排擠。維運能力則包括路由器熱備援與高可用、滾動更新，以及把 prefill/decode 副本視為邏輯單位協同更新，減少計畫性升級期間的服務中斷風險。新版也提供 v1 設定 API、經強化的請求處理路徑，以及對話 session 感知路由、turn 優先排程與 Responses API 狀態支援，以重用先前上下文並減少重複計算。
官方表示，llm-d 社群已有超過 25 個組織、500 名以上貢獻者。IBM Research 在量子錯誤校正研究案例中，利用開放模型與 llm-d，宣稱推論成本相較全專有方案低 11.5 倍，prefix-cache 命中率約 98%，混合服務成本約每百萬 token 0.11 美元。這些數字來自特定研究部署，不能直接視為所有企業都可達到的普遍水準。
另一項代理推論展示使用約 7,530 億參數的 GLM 5.2 開放權重模型，在既有 NVIDIA GPU 上運行；測試峰值每分鐘輸出超過 660 萬個 token，最多支援 3,000 個並行程式代理且沒有搶佔中止。官方以當前雲端租用價格估算，對於輸入上下文比例高的工作負載，單 token 成本可能比對應商用 API 價格低五至十倍。Red Hat 官方稿也提到三倍輸出吞吐量的展示結果，但不同指標與測試條件不可直接混用。
生態系整合方面，Google Cloud 表示正將 llm-d 1.0 整合到 Google Kubernetes Engine，涵蓋 Google TPU 與 NVIDIA GPU；CoreWeave 指出可在其 Kubernetes 服務上搭配 NVIDIA Dynamo；NVIDIA 提及未來 Vera Rubin 架構，AMD 提及 Instinct GPU；DigitalOcean 則表示已在 Serverless Inference 與 Managed Agents 使用 llm-d 作為底層軟體。這些是各家聲明的整合方向與既有案例，不代表所有硬體組合已同時達到一致的支援程度。
發生了什麼事
llm-d 1.0 以開源方式整合分散式模型推論所需的路由、快取、流量控制與維運機制，針對多租戶及 AI 代理的大量上下文工作負載提供穩定化版本。
為什麼重要
企業從模型試驗轉向正式營運後，GPU 利用率、上下文重用、不中斷更新與服務品質往往直接影響成本。llm-d 試圖將這些功能做成可跨供應商採用的基礎元件。
影響哪些人
主要面向自建模型服務的雲端平台、企業 AI 團隊、GPU 叢集管理員與推論平台工程師；一般透過 API 使用模型的終端使用者，未必需要自行部署 llm-d。
已確認與未確認
已確認 1.0 發布、CNCF 治理、主要新功能及官方展示數據。五至十倍成本差距、三倍吞吐量與每百萬 token 0.11 美元皆屬特定案例；各 GPU、模型與雲端平台的完整支援矩陣仍需另行核對。
