原文標題:Cutting our inference bill by 68% by being obsessive about optimization
Cloudflare 於 10 月 19 日公開內部 AI 程式審查系統的成本改善過程。該系統由協調代理將程式碼分派給多個專業審查代理;雖然架構沒有重大變動,平均審查成本仍從今年 4 月約 1.19 美元上升到 8 月底約 2.46 美元。
團隊於 9 月中旬開始分析 Token 消耗來源,並針對不同審查步驟與模型使用方式進行最佳化。Cloudflare 表示,在維持高品質審查設定的條件下,平均單次審查成本由最昂貴兩週的約 2.43 美元降至 0.77 美元,約減少 68%。
除了費用下降,審查完成時間的中位數也由 4 分 9 秒縮短至 1 分 32 秒。這代表改善並非單純降低模型使用量,還涉及工作流程執行效率;不過官方數據來自自身程式審查系統,並不是所有 AI 代理產品都可複製的普遍比例。
文章提供一個具體案例:當代理數量增加、任務鏈拉長時,推論費用可能在沒有顯著架構變動的情況下持續攀升。企業在導入多代理程式碼審查時,需要同時監測 Token、延遲、品質與實際成本。
Cloudflare 說明,這次優化對象是內部 AI 程式碼審查系統,而非 Workers AI 全體客戶推論價格。系統每次審查的平均成本曾從 4 月約 1.19 美元上升至 8 月底約 2.46 美元;團隊在 9 月中旬開始逐步追查 token 消耗,並以兩週高成本期間的 2.43 美元作為比較基準。
完成調整後,官方報告在維持高強度程式碼品質檢查的條件下,單次審查平均成本降至 0.77 美元,約減少 68%;中位審查時間則由 4 分 9 秒縮短至 1 分 32 秒。這些數據反映 Cloudflare 自身工作負載的前後差異,不能直接推論其他組織採用相同代理架構後必然獲得相同節省。
發生了什麼事
Cloudflare 公布自家 AI 審查系統的推論費用與延遲最佳化結果。
為什麼重要
多代理工作流程的成本可隨呼叫次數與 Token 累積快速上升,細部監測有助於控制費用。
影響哪些人
建置 AI 程式碼審查、自動化代理與模型推論平台的工程團隊及 FinOps 人員。
已確認與未確認
68% 是 Cloudflare 特定系統在特定期間的內部測量,不代表對所有模型與應用都成立。