NVIDIA 10月15日擴充 Nemotron 開放模型家族,推出針對大型企業代理工作流程的 Nemotron 3.5 Super VL,以及以本地端部署為重點的 Nemotron 3.5 Bolt 74B-A9B 24GB、Bolt E4B 4GB。官方指出,Super VL 與 Bolt 74B-A9B 已提供下載或服務,Bolt E4B 預計10月23日開放。三款產品面向不同的記憶體預算與工作負載,並非一個模型的不同定價方案。
Super VL 為1200億參數多模態模型,主要支援指令遵循、工具使用、多步驟工作流程及影像文件理解。NVIDIA 宣稱它在所比較的同級開放代理模型中,完成任務的速度最高可達五倍,並以約五分之一參數量達到接近自家最大推理模型的部分任務準確度;這些都是官方依特定測試條件提出的比較,不能解讀為所有情境都快五倍。模型能處理網頁、PDF、表格與圖表,並將視覺資訊延續至後續代理決策。
Bolt 74B-A9B 採原生2-bit量化,官方稱可在24GB記憶體配置下運作,適用 RTX/DGX Spark 等本地系統,並可搭配 llama.cpp、Ollama、LM Studio、Unsloth 與 vLLM 等工具。Bolt E4B 4GB 則瞄準 GeForce RTX、Jetson 等設備上的互動角色、語音助理與實體代理。兩款 Bolt 模型的定位與 Super VL 不同,選用時需考量實際硬體與任務需求。
NVIDIA 表示 Super VL 使用約26兆個 token 進行預訓練及持續預訓練,後訓練另使用約380萬筆樣本與多個強化學習環境。官方同步提供開放權重、資料集、訓練配方與 NeMo Gym 資源,企業可在自有基礎設施進行後訓練。NVIDIA NIM 提供經驗證的微服務部署組態,宣稱每兩週更新安全修補;搭配 Dynamo 的服務情境,官方表示可支援最多八倍使用者、降低85%延遲,但數字須以特定基準配置解讀。
應用合作方面,官方提及 Scale AI、EY、Atlassian、CrowdStrike、Dassault Systèmes、Perplexity、Salesforce 與 Synopsys 等組織正在調整或整合模型,範圍包括財務文件、資安、工程設計、政府工作流程與半導體驗證。這些案例的合作成熟度各異,不能直接等同所有服務都已全面上線。
發生了什麼事
NVIDIA 新增一款1200億參數多模態模型與兩款記憶體需求較低的本地端模型,擴大開放代理模型的部署選項。
為什麼重要
模型能力與可部署性往往存在取捨;以不同記憶體需求切分產品,讓企業可依資料隱私、硬體成本及延遲要求選擇部署位置。
影響哪些人
本地 AI 開發者、企業代理系統整合商、資料中心服務商與使用 RTX 裝置的研究者可依不同模型規模評估方案。
已確認與未確認
已確認模型名稱、記憶體目標、開放日期及官方測試宣稱;跨硬體實際吞吐、所有任務的準確度與部署成本仍需獨立測試。