原文標題:DigitalOcean Signals: Observability for AI Agents and Inference

DigitalOcean 10 月 28 日公布 Signals 的 AI 代理與推論對話可觀測性能力,現階段為 Public Preview。不同於只計算 API 回應時間、Token 或請求是否成功的傳統儀表板,Signals 會分析對話過程,找出使用者不斷改寫要求、代理重複嘗試相似工具呼叫、使用無效參數或無法完成任務等情況。DigitalOcean 說明,代理即使在基礎設施指標上顯示正常結束,也可能讓使用者花費大量時間重試,這正是新功能要補足的盲點。

官方定義 25 種訊號,分布在七個類別及互動、執行、環境三個層次。互動訊號涵蓋要求澄清、修正、重述、停止互動及滿意回饋;執行訊號包含錯誤工具、無效查詢、權限憑證誤用,以及重試、參數漂移與往返操作循環。每筆訊號都帶有發生的執行階段、信心分數與對話片段,讓開發者可以回到相應步驟檢查。長時間執行的對話在閒置及結束時都可重新分析,介面指標可能需要最多一小時才會反映近期活動。

Signals 預設關閉,管理者必須在每個環境分別同意啟用,而且只分析啟用之後開始的新對話。Harness Runtime 可從控制台切換;Inference Engine 在預覽階段先透過 API 或 doctl 啟用與讀取,控制台介面將於後續提供。命令列工具需要 doctl 1.181.0 以上版本,存取權杖須具備 signals:query 與 signals:update 權限;免費試用帳戶暫不支援。

DigitalOcean 表示,對話內容保留在客戶所屬團隊的邊界內,不會用於跨客戶模型訓練。一般匯出會遮蔽自由文字中的個人資訊;匯入模擬場景時會使用未遮蔽原始資料維持情境準確度,但呈現給使用者時會遮蔽機密資訊。團隊可以把真實失敗對話匯出為 Evaluations 或 Simulations 的測試資料,評估提示詞、工具配置或模型修改是否改善。Action Gateway 工具呼叫遙測、定期匯出等仍屬後續規劃,不應視為已正式供應。

發生了什麼事

DigitalOcean 將 Signals 開放公開預覽,用 25 種行為訊號觀察 AI 代理與推論對話品質,並定位使用者重試或工具操作失敗的位置。

為什麼重要

傳統成功率不一定能反映代理是否真的幫使用者完成任務;Signals 讓團隊從真實對話提取失敗案例,銜接評估與模擬。

影響哪些人

開發與維運 AI 代理的工程師、產品品質團隊、需要控管對話資料的企業管理者,以及使用 Harness Runtime 或 Inference Engine 的團隊。

已確認與未確認

已確認公開預覽、25 種訊號、權限與啟用限制;Action Gateway 遙測及更多介面功能尚未開放,正式計費與普遍供應條件待官方更新。