DigitalOcean 推論服務快取正式上線，重複輸入成本最高降九成
DigitalOcean 的 Serverless Inference 提示快取正式上線，重複輸入 token 最高可省 90% 費用，首個 token 等待時間最多縮短 80%。新路由機制提高快取命中率，也支援租戶隔離。
標籤
Serverless Inference
與「Serverless Inference」相關的科技新聞。
與「Serverless Inference」相關的科技新聞。
DigitalOcean 的 Serverless Inference 提示快取正式上線，重複輸入 token 最高可省 90% 費用，首個 token 等待時間最多縮短 80%。新路由機制提高快取命中率，也支援租戶隔離。