IBM、Red Hat 推 llm-d 1.0，強化分散式 AI 推論
IBM 與 Red Hat 10 月 20 日公布 llm-d 1.0，新增多租戶流量控制、路由高可用性、滾動更新與 AI 代理感知排程。官方展示在特定情境下推論成本可能比商用 API 低五至十倍，實際效益仍取決於工作負載。
標籤
llm-d
與「llm-d」相關的科技新聞。
與「llm-d」相關的科技新聞。
IBM 與 Red Hat 10 月 20 日公布 llm-d 1.0，新增多租戶流量控制、路由高可用性、滾動更新與 AI 代理感知排程。官方展示在特定情境下推論成本可能比商用 API 低五至十倍，實際效益仍取決於工作負載。