標籤

vLLM

與「vLLM」相關的科技新聞。

  • Intel 推出 Xeon 推論微服務，支援 OpenAI API

    Intel 推出 Xeon 推論微服務，容器會偵測硬體並自動套用模型設定，提供相容 OpenAI 的 API。首版支援第四至第六代 Xeon、Docker 與 Kubernetes，GPU 支援尚待推出。

    軟體