原文標題：Announcing Intel® Inference Microservices: Tuned LLM Inference on Intel® Processors
Intel 於 10 月 14 日在官方 Newsroom 公布 Intel Inference Microservices，目標是降低企業在既有 Xeon 伺服器部署大型語言模型時，需要反覆調整推論精度、CPU 核心分配與記憶體配置的成本。這不是 Intel 提供的雲端託管 API，而是由使用者在自己的硬體上執行的模型容器，每個微服務在單一主機上服務一個模型。
容器啟動後會偵測處理器世代、可用核心數、NUMA 節點與指令加速能力，從 Intel 針對模型及硬體測試過的組態中選擇設定。官方指出，這些設定涉及運算精度、核心與工作分配、記憶體布局，以及 Intel Advanced Matrix Extensions（AMX）、AVX-512、AVX2 與 VNNI 等處理器功能。其用意是讓應用開發者不必自行建立多套推論最佳化流程。
第一版以第四、第五及第六代 Intel Xeon 為支援範圍，官方建議至少配置 32GB 記憶體。推論引擎使用 vLLM，現階段主要以 BF16 精度運作，支援 Docker 與 Kubernetes 1.24 以上版本。官方以 Qwen3-4B 為示範，提供 intel/inference-xeon-qwen-qwen3-4b:0.1.0 容器映像；首次執行需要下載模型權重，完成後即可透過預設 8000 埠使用服務。
對外介面採用相容 OpenAI 的 API，包括聊天補全、一般補全、模型資訊與健康檢查端點，並提供 Prometheus 指標。Intel 表示 OpenAI SDK、LangChain、LlamaIndex、LiteLLM 與 Haystack 等既有工具可沿用原本的呼叫方式，主要修改 API 基底網址即可，串流回應亦可使用。對於多模型、跨團隊的路由、安全與資源管理，官方另指向 Intel AI for Enterprise Inference 工具套件。
容器的回退策略並非完全一致：專屬模型映像預設不允許找不到匹配組態時自動改用一般設定，以免使用者誤以為取得已驗證效能；通用基底映像則預設允許選用適合硬體的一般設定。官方提供偵測硬體與 dry-run 指令，可先檢視選定的組態及實際 vLLM 啟動參數。
Intel 表示目前工具呼叫及結構化輸出可經由 vLLM 轉接，但尚未被列為 Intel 驗證的功能。Helm chart、Kubernetes Operator、更多推論引擎、其他精度及 Intel GPU 支援仍屬後續計畫；官方也提醒每個模型仍須遵守各自授權條款。此次公布未提供付費價格或所有模型的效能保證，實際部署效果仍需依主機、模型與工作負載評估。
發生了什麼事
Intel 發布可在 Xeon 伺服器本地執行的 Inference Microservices，把模型推論引擎與針對硬體驗證的組態封裝在容器中，並透過相容 OpenAI 的 API 對外服務。
為什麼重要
企業可利用既有 CPU 伺服器部署推論服務，降低針對不同 Xeon 世代重做核心分配、NUMA 與精度調校的工程負擔；統一 API 也有利於未來切換硬體平台。
影響哪些人
使用 Intel Xeon 伺服器的 IT 團隊、AI 應用開發者、容器平台維運人員，以及需要在自有環境保留模型與資料的企業，都可能受益。
已確認與未確認
已確認首版支援第四至第六代 Xeon、vLLM、Docker 與 Kubernetes 1.24 以上版本，並提供相容 OpenAI 的介面。Intel GPU、Operator 與其他推論引擎尚未正式交付，效能與授權須依實際模型確認。
