原文標題:Harbor + Docker Sandboxes: Run Safe, Reproducible Agent Evals
Docker 在 10 月 14 日宣布,開源 AI 代理評測框架 Harbor 現在可把每一個評測任務交給 Docker Sandboxes 執行。Harbor 負責分派基準任務、執行代理、檢查成果並收集分數與日誌;Docker Sandboxes 則提供每個任務獨立的執行環境,避免代理產生的指令或程式碼直接影響測試主機。
官方指出,代理評測通常會安裝套件、修改檔案、執行命令,甚至可能透過修改測試或評分檔案來取得不實成績,這類 reward hacking 會破壞評測可信度。Docker Sandboxes 以具備獨立核心的 MicroVM 隔離任務,而不是把所有任務放進共用核心的容器,讓測試之間更不容易互相干擾。
為了提升可重現性,Docker Cloud Sandboxes 可以設定網路政策,例如允許環境建置階段下載相依套件,正式執行評測時限制網路存取,讓不同代理在相近條件下比較。官方也強調相同工作流程可在本機與雲端運行,並可在雲端同時啟動多個測試工作者,不必逐一手動配置主機。
使用方式是安裝 harbor[sbx] 擴充套件,搭配 Docker Sandboxes CLI 或雲端存取憑證。Docker Cloud Sandboxes 需在帳號啟用雲端存取並建立具相應權限的 Personal Access Token;本機整合目前支援公開網路與無網路兩種模式,仍受現有沙盒政策限制。
官方說明,整合在 10 月 14 日時已可使用 nightly 版本,預計 10 月 23 日才進入穩定版。Docker Compose 也列為此整合的一部分,可讓服務及 sidecar 在同一個 Cloud Sandbox MicroVM 中運作。Docker 表示已測試 64 個並行評測任務,但更高併行能力須另行洽詢。
因此,這次消息應描述為「已在 nightly 可用、穩定版排定日期」,而不是所有 Docker 安裝都已內建正式穩定功能。隔離能力與評測公平性仍取決於網路政策、掛載內容及評測框架的實際設定。
發生了什麼事
Docker Sandboxes 與 Harbor 整合,讓代理評測任務在獨立 MicroVM 中執行並套用網路限制。
為什麼重要
隔離測試環境可降低不受信任的代理程式碼影響主機與評分結果的風險,並提高測試重現性。
影響哪些人
影響 AI 模型與程式代理評測團隊、DevOps 工程師,以及使用 Codex、Claude Code 等工具的開發者。
已確認與未確認
整合已在 nightly 提供,穩定版預定 10 月 23 日;64 並行是官方測試值,不代表所有帳戶預設上限。