原文標題：Inside DigitalOcean Simulations: how user simulation, execution, and validation work

DigitalOcean 10 月 29 日公開 Simulations 的技術架構，說明其 Evaluations 公開預覽功能如何用完整多輪對話評測 AI 代理，而不只對單一回答評分。測試由四個要素組成：待測代理或模型、描述任務的 scenario、逐回合互動的 user simulator，以及分析完整對話的 judge。一次 episode 是某個情境的一次執行；trajectory 則記錄每個訊息、工具呼叫與結果，simulation run 可包含多個情境與多次 episode。

情境使用 JSONL 定義，包含任務說明、使用者角色、停止條件及最多回合數；其中 description 為必要欄位。停止條件用來判斷代理是否完成預期動作，expected_outcome 則主要供 Agent Policy Adherence 指標使用。情境可透過 Scenario Builder 產生、從 Signals 的生產環境軌跡轉成測試資料，或由開發者自行撰寫。已用於執行的情境集合會鎖定，修改時需複製一份，避免歷史測試基準變動。

模擬使用者會依前一回合實際回應決定下一步，而不是照固定腳本提問。每個情境可用 exploration_budget 設定重複次數，API 上限為五次。待測代理在獨立 Harness Runtime 沙箱中執行，使用其生產配置及 Action Gateway 工具；公開預覽支援 Claude Code、Codex 與 OpenCode，工具呼叫會實際執行而非預設假資料。待測對象也可為模型、Dedicated Inference 部署或 Inference Router。

評分模型讀取完整 trajectory，內建指標包括 User goal completion、Knowledge Retention、Tool Use Accuracy、Conversation Completeness、Turn Relevancy 與 Agent Policy Adherence，也可使用自訂指標。開發者選擇主要指標及 0 到 100 的成功門檻，便能比較基準版本與修改後版本；官方以 Python 3.11 升級建議為例，檢查代理是否查詢受支援版本、記得使用者選擇、逐版核對移除功能並搜尋程式碼。

官方提供 doctl 1.182.0 以上版本的情境建立、模擬執行、軌跡查詢與評分命令，亦可從 API 對模型或 Inference Router 執行測試。Simulations 沒有額外的單次執行費，但模擬使用者、評分與情境產生模型依 serverless inference token 收費；待測代理另依 Harness Runtime 的運算、儲存、工具與模型推論計費。DigitalOcean 註明公開預覽價格及功能仍可能調整。

發生了什麼事

DigitalOcean 說明 Simulations 的情境、模擬使用者、真實工具執行及整段對話評分流程，功能目前為公開預覽。

為什麼重要

單輪問答可能掩蓋代理遺忘上下文、漏用工具或錯用工具的問題；完整軌跡能協助開發者定位錯誤並比較修正前後差異。

影響哪些人

建置 AI 代理的開發團隊、LLM 平台工程師、測試與品質管理人員，以及負責代理安全政策與成本的技術主管。

已確認與未確認

已確認 doctl 最低版本 1.182.0、探索重複上限五次及計費組成；Standalone episode 與情境版本管理仍是未來規劃，公開預覽價格可能改變。