原文標題:NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World Models
NVIDIA 10 月 21 日在 GTC Berlin 相關公告中更新 Cosmos 平台,讓研發機器人、自動駕駛與工業視覺的團隊,能從訓練資料整理、合成資料生成、世界模型訓練,到模擬評估與部署使用較完整的工具鏈。這次更新涉及 Cosmos Data Factory、Cosmos Framework、Cosmos 3 Nano 模型與 Cosmos 3 NIM 微服務,而非只推出單一新模型。
Cosmos Data Factory 的 Cosmos Curator 加入多模態、多感測器輸入及處理模組,協助整理影片與不同感測器資料。官方列出五種雲端原生藍圖:自動駕駛資料集生成,可標記駕駛資料並補上罕見情境;影像屬性增強,可改變物件外觀;事件影片生成,可從靜態影像合成罕見或危險事件影片;瑕疵影像生成,可建立印刷電路板、金屬與玻璃缺陷樣本;影片資料增強,可在保留場景結構下調整天氣與光線。工具可透過 GitHub,以及 Microsoft Azure、Nebius、CoreWeave 等環境取得。
官方案例包括 Porsche 透過 Voxel51 在 Microsoft Azure 使用 Cosmos Data Factory,規劃在 Volkswagen Group 品牌間建立共用的自動駕駛資料循環。NVIDIA 表示這套流程預期可使重複實車測試減少最多 90%、開發週期縮短最多 85%,這些是特定案例的預期效益,不能當成所有車廠均可達到的結果。ANYbotics 則利用資料工廠建立超過 1,500 段合成影片,再透過 Encord 驗證,用於訓練工業巡檢機器人辨識液體洩漏與環境變化;Ultralytics 也以真實影像與合成缺陷重新訓練 YOLO 模型。
在模型訓練方面,Cosmos Framework 將訓練、微調、強化學習、蒸餾、量化與部署流程擴充為可供代理使用的技能,適用於 Cosmos 3,以及 GR00T、Alpamayo、Qwen、Pi0.5 和相容的 Hugging Face 模型。研究團隊 MicroAGI 以人類操作物體的第一人稱影片後訓練 Cosmos 3,並把 320 億參數的推理模型蒸餾為 80 億參數 Nano 版本;官方宣稱在該案例中未犧牲準確度。Roboflow 提供標記與後訓練管道,支援在託管或企業自有 NVIDIA GPU 上部署。
新的 Cosmos 3 Nano 模擬變體用於重複、難以實地取得的多視角與多感測器場景,協助測試自動駕駛和雙手機器人的控制策略。新版 Cosmos 3 NIM 微服務在經驗證的配置下,官方宣稱推論速度最高提升兩倍,且品質未降低;以此建構的 Metropolis Video Search and Summarization 3.3 藍圖,則宣稱可在相同 GPU 上監控多 40% 的影片串流。ADNOC 透過 Fogsphere 的 MistIQ 平台在 65 個場址偵測安全風險,並用合成資料改善罕見事件辨識。
這些成果來自不同案例與特定驗證條件,官方並未給出所有 Cosmos 模型在各種 GPU、工作負載與地區的統一售價或效能保證。開發團隊仍需針對合成資料偏差、模擬與實際環境落差,以及部署硬體的相容性進行獨立測試。
發生了什麼事
NVIDIA 擴充 Cosmos 的資料生成、模型訓練、模擬與推論工具,並公開五種資料工廠藍圖與多個工業導入案例。
為什麼重要
世界模型需要大量難以取得的場景資料;資料工廠與模擬工具可降低測試門檻,但合成資料能否反映真實世界仍需實際驗證。
影響哪些人
自動駕駛研發商、機器人開發者、工廠視覺團隊、雲端服務商及使用 NVIDIA GPU 的模型工程師。
已確認與未確認
官方已列出工具、合作平台、部分案例與效能數據;90%、85%、2 倍與 40% 均屬特定條件或預期成果,並非通用保證。