原文標題:For AI Advice to Be Any Good, It Has to Actually Change the Outcome
Salesforce於11月12日介紹AI Research團隊建立的Interactive Visual Gym,讓視覺AI助理在可互動的模擬環境指導虛擬使用者,評估建議是否真正改善任務結果。與重播預錄影片再對答案的方式不同,模擬使用者會依指示改變行動,環境也會跟著變化,研究者因此能觀察錯誤提醒是否及時、指令是否被接受,以及後續任務能否完成。
系統使用自然語言讓助理指揮烹飪、手機設定等操作,也能在特定時點安排錯誤、計畫變更、提問或提醒。模擬人物則依技能、對AI的信任、執行速度與容忍打斷程度調整。團隊據此建立IVG-Bench,包含三種環境、315個情境,測試十五個不同模型驅動的助理;表現最好的Gemini 4 Argon助理,在時限內平均完成百分之五十三點四的任務。
研究也讓真人在模擬器操控角色、比較不同助理,其偏好與自動互動品質分數一致的比例為百分之七十八點五。官方指出,模型即使提高任務完成率,仍可能給出笨拙或過時的指示,因此需分別量測任務成功與互動品質。模擬人物比真人更常說話也是限制。這項方法提供可重複的研究環境,並不代表已完成真實工廠或前線工作場所的大規模部署驗證。
發生了什麼事
Salesforce介紹Interactive Visual Gym與IVG-Bench,讓虛擬使用者回應視覺助理指示,再檢查任務是否完成。基準涵蓋三種模擬環境及315個情境。
為什麼重要
正確的提醒若來得太晚,可能已無法改變行動。動態評估把指示時機及使用者反應納入,能揭露靜態影片測試較難呈現的問題,並區分成功率與互動品質。
影響哪些人
主要影響研發即時視覺助理、程序教學及前線工作輔助的團隊。企業若用此類助理支援實際工作,仍須核對自身流程、人員與環境,不能只看單一基準名次。
已確認與未確認
已確認研究環境、情境數及官方結果;百分之七十八點五是偏好一致程度,非任務成功率。真人比較仍在模擬器中進行,且虛擬人物的對話頻率與真人不同。