原文標題:Dell Enterprise Hub: Bringing Open-Weight Models to Production

Dell Technologies 於 10 月 16 日說明 Dell Enterprise Hub(DEH)的開放權重模型部署流程。這項與 Hugging Face 合作的服務並非當天才首次推出:官方指出 DEH 在 2024 年 5 月已上線,此次重點是說明如何讓企業以可重現、可驗證的方式,把快速更新的模型部署到自有資料中心。

開放權重模型進入企業環境前,通常要確認模型來源、掃描容器與模型檔案、解決執行環境相依性、選擇伺服器與加速器配置,並依延遲及併發要求進行效能測試。DEH 由 Dell 與 Hugging Face 工程團隊預先準備模型權重、依賴套件與硬體最佳化設定,提供經驗證的容器及組態,降低每次新模型發布都要重新整合的工作量。

平台支援搭載 NVIDIA 或 AMD Instinct 加速器的 Dell PowerEdge 伺服器,以及 Dell Pro Max with GB10 等部署選項。Dell 使用 Goodput 指標評估在特定模型、上下文長度、併發數與服務目標下的實際應用吞吐,而不只比較理論算力。企業可依工作負載選擇適合的模型與伺服器配置。

安全方面,Dell 表示會每日掃描容器映像,透過 Cosign 簽章及 SHA-384 manifest 雜湊提供軟體完整性驗證,也會檢查模型檔案是否包含惡意程式或不安全序列化模式。平台提供安全報告,並支援可離線部署的自足式容器,供對資料留存、法遵與網路隔離有要求的組織使用。

部署生命週期也包含固定正式環境容器版本、先在測試環境驗證新版、預先快取權重,以及將推論引擎與模型版本分開更新。dell-ai SDK、CLI 和代理技能可用於模型查找、組態產生、部署與登錄管理。官方並提及與 Reflection Beam、NVIDIA Nemotron 3.5 Super VL 等近期模型的預先整合。

由於 DEH 是既有平台的能力整理,讀者不宜將文中所有功能解讀為 10 月 16 日全新推出;個別模型的授權、硬體相容性與實際 Goodput 仍需依模型與部署組態確認。

發生了什麼事

Dell 詳述 Enterprise Hub 如何把開放模型驗證、安全掃描、容器部署與硬體組態整合。

為什麼重要

企業部署開放權重模型的主要困難往往在版本、安全與維運,標準化容器能減少重複整合工作。

影響哪些人

企業 IT 維運、資安團隊、模型部署工程師及有資料主權要求的組織。

已確認與未確認

DEH 於 2024 年已推出,本文是新能力與現況說明;各模型授權、效能及支援硬體須逐一核實。