原文標題:Building Trusted AI Infrastructure for Safe and Secure AI
NVIDIA 10 月 29 日發文說明與基礎設施資安廠商 Eclypsium 的合作方向,強調企業部署代理式 AI 時,安全邊界不能只停留在模型、提示詞與應用程式。GPU、DPU、伺服器管理控制器、韌體與網路裝置都可能影響執行環境,必須具備可檢查的信任狀態。
NVIDIA BlueField DPU 透過獨立於主機作業系統的運算資源,執行網路、儲存與安全管理工作。官方描述其具備硬體信任根、驗證式開機、硬體隔離、金鑰保護、安全韌體更新、回復舊版保護及裝置狀態證明等機制,讓雲端業者能把租戶工作負載與底層基礎設施管理分成不同的信任領域。
不過,DPU 本身也有 Arm CPU、作業系統、韌體及管理控制器,並可透過直接記憶體存取(DMA)與主機、GPU 記憶體互動。因此它既是安全控制點,也是需要納入資產盤點、弱點管理與監控的高權限設備,不能因具備安全功能就視為不會遭攻擊。
對於不同部署情境,BlueField 可設定介面、權限與隔離邊界,並使用可由密碼學方式證明的設定檔來檢查預期狀態。官方特別提及 IOMMU 轉譯、PCIe Access Control Services 及 Address Translation Services 等硬體設定的重要性,因為直接記憶體存取的安全性也取決於主機與匯流排控制是否正確。
Eclypsium AI Infrastructure Assurance 則補足獨立檢測能力,包括盤點硬體與韌體、對照已核准的設定基準、發現弱點或不安全設定,以及監控裝置姿態、設定漂移、未授權變更和作業系統以下的持續性威脅。這些檢查與 BlueField 的內建保護屬於互補關係,並非單一產品就能保證整個 AI 堆疊安全。
在維運層面,NVIDIA 建議將 DPU、GPU 與 BMC 視為獨立資產,記錄各自韌體版本、設定與負責人,並把 Redfish 等管理介面紀錄納入監控。設備經過更新、事故應變、重新分配租戶或除役前,也應重新確認狀態,因為底層韌體及管理元件可能不會隨作業系統重灌而消失。
官方並提到與 Eclypsium 的研究展示:即使磁碟上的模型檔案、雜湊與數位簽章都保持有效,若底層執行環境受影響,記憶體中實際執行的模型及其推論行為仍可能被改變。這說明檔案完整性、開機驗證、執行期間監控與獨立來源交叉查核,分別處理不同層面的風險。
針對自主代理程式,NVIDIA 另介紹 OpenShell 參考架構、以 BlueField-4 為基礎的 NVIDIA Sentry 與 DOCA 軟體框架。其設計方向是在主機與代理程式之外執行帶外監測和硬體層政策強制,限制代理程式可存取的資源與可執行的動作。官方未公布此次合作的統一上市價格或完整部署時程。
發生了什麼事
NVIDIA 與 Eclypsium 介紹以 BlueField DPU 保護底層運算環境,並結合第三方韌體與設定持續檢查的 AI 基礎設施安全架構。
為什麼重要
模型檔案的雜湊正確,不代表推論時的記憶體狀態可信;安全設計必須涵蓋 DMA、PCIe、韌體、BMC、裝置驗證與代理程式權限。
影響哪些人
雲端服務商、地端 AI 平台管理者、資安維運團隊與採用 GPU 叢集的企業,需將 DPU、BMC 及加速器納入資產與弱點管理。
已確認與未確認
已確認的是合作方向與各項技術能力,包含 BlueField-4、Sentry、OpenShell 與 Eclypsium 的檢測方案;官方沒有宣布特定漏洞已被全面修補,也沒有提供所有配置的實測防護效果。