DigitalOcean 於 10 月 23 日宣布 Serverless Inference 的 Prompt Caching 正式上線。對支援此功能的開放模型，開發者不必修改原本的請求程式碼，就能使用重複上下文快取；官方宣稱命中快取的輸入 token 最多可節省 90% 費用，time to first token 最多降低 80%，實際折扣依模型而異。
代理式 AI 往往在每次呼叫時重送系統提示、工具定義、文件與歷史互動。DigitalOcean 指出，其服務中代理請求超過 90% 的輸入 token 可能已在先前處理過，但快取儲存在特定模型副本，若新請求被負載平衡器分配到其他副本，就無法命中。
正式版加入 cache affinity 路由，先尋找持有最相近提示內容的模型副本，再在可用的副本中分配負載。DigitalOcean 稱 2026 年 10 月對旗艦開放模型的測試命中率約為 85% 至 95%，內部測試相較先前約三成多的命中率顯著提高；GLM-5.3 及 Kimi K3 的結果也因測試情境不同而有差異。
開發者另可選用 prompt_cache_key，將同一帳戶內不同部門或客戶的快取隔離。此鍵不是將請求固定綁定特定副本的 session ID；服務本身仍會進行快取比對與路由。正式上線還包含更大的上下文視窗與用量觀察儀表板，支援範圍與費率須依實際模型清單確認。
發生了什麼事
DigitalOcean 推論服務加入正式版提示快取與快取親和性路由，減少重複上下文處理。
為什麼重要
長對話與代理工作流程常重複傳送大量相同 token，命中率與路由策略會直接影響推論費用與延遲。
影響哪些人
建置 AI 代理、客服系統及多租戶 SaaS 的開發團隊可評估成本、效能與快取隔離需求。
已確認與未確認
已確認最高折扣、延遲改善與官方測試命中率；數值皆依模型及流量模式而變動，非所有請求保證。
