原文標題:Lessons from scaling teams of coding agents: reach the frontier at 30% of the cost
Cohere 於 10 月 14 日發表一份針對程式代理團隊的實驗研究,探討多代理架構何時能提高程式開發任務表現,以及增加的推論成本是否合理。研究團隊建立精簡測試框架,讓領導代理以 delegate_agent 工具分派工作,工作代理在共享工作目錄中執行 shell 指令,並比較規劃、實作與驗證等階段的分工方式。
主要評測使用 ProgramBench 的 200 個程式重建任務:代理需在無法讀取原始程式碼的條件下,透過可執行程式與文件理解行為,再自行實作。研究也以 Commit0-Lite 的 16 個 Python 套件任務進行輔助驗證。團隊主要比較 GPT-5.6 Luna、Terra 與 Sol 等不同成本模型,並在多數配置中重複執行三次以減少單次波動。
在一組比較中,單一 Sol 代理的平均通過率為 52.1%,使用基本指示的阻塞式 Sol 代理團隊提升至 61.8%;但多代理團隊的成本一般達單代理的四至七倍。研究亦發現,非同步領導代理能減少等待時間,但若分派工作不足,效能提升可能反而有限。
研究指出,任務的探索與規劃階段往往比所有階段都大量分派代理更具成本效益。以一個 Sol 領導代理搭配 16 個較低成本 Luna 規劃代理為例,ProgramBench reward 達 61.8%,接近全部使用 Sol 且涵蓋所有階段的 63.2%,但成本由 510 美元降至 155 美元。這是特定測試組態的結果,不能直接視為任何軟體專案都能省下七成。
對企業而言,多代理不應只是無限制增加執行個體;是否將任務正確拆分、選擇合適模型及避免重複工作,才是控制成本的核心。
發生了什麼事
Cohere 於 10 月 14 日發表一份針對程式代理團隊的實驗研究,探討多代理架構何時能提高程式開發任務表現,以及增加的推論成本是否合理。研究團隊建立精簡測試框架,讓領導代理以 delegate_agent 工具分派工作,工作代理在共享工作目錄中執行 shell 指令,並比較規劃、實作與驗證等階段的分工方式。
為什麼重要
研究提供了一套同時衡量正確率、執行時間與推論費用的方法,對評估 AI 程式代理的投資報酬率具有參考價值。
影響哪些人
正在導入程式代理的研發團隊、平台工程師、模型服務供應商與評測研究者可利用這些結果設計較合理的代理分工。
已確認與未確認
已確認 ProgramBench 任務數、比較配置與論文公布的成績。這些數字依賴特定模型、提示詞、工具及工作負載,不能當成所有代理系統的普遍效能保證。