原文標題:Gemini Decisions API: Fast, calibrated multimodal decisions
Google於11月11日推出Gemini Decisions API,由Gemini Decision 1模型處理工具選擇、模型路由、政策檢查與內容評分等封閉式決策。開發者可提供文字、圖片、音訊、影片與PDF的共同輸入,搭配最多一千個獨立問題,支援最長256K token脈絡,透過Google AI Studio中的Gemini API使用。
與逐字生成答案不同,模型在一次前向運算中評分候選選項,回傳機率與信心分數。題型包括是非、二至255個選項的選擇題,以及從零開始的有序評分規準。Google公布在最長16K token的測試條件下,端到端延遲約150至250毫秒,不能把這個數字直接套用到最大輸入長度或所有題數;較模糊的結果仍可交給後備模型或人工處理。
定價為每百萬輸入token 0.10美元,輸出token不收費,也提供用於原型開發的免費額度。同一請求共用輸入只計費一次,各題仍增加自身指令與評分條件的token。Google列舉內部模型路由、表情選擇與工具安全檢查等使用情境,並提供Python、JavaScript與REST指南。多個生態整合正在推出,但Gemini in Google Cloud的支援仍標示即將提供,不能視為所有雲端入口已同步可用。
發生了什麼事
Gemini Decisions API以專用模型為封閉式選項評分,支援多模態輸入、三類題型與單次最多一千題,讓應用程式取得可用於後續路由的機率資訊。
為什麼重要
許多智慧體流程需要先決定使用哪個工具或模型,未必需要生成長文。專用決策介面提供另一種成本與延遲選擇,但信心分數仍不是正確性的保證。
影響哪些人
建立智慧體、內容檢查、文件處理與模型路由的開發團隊可評估採用;對錯誤成本較高的流程,仍需自行設計後備與人工覆核機制並實測。
已確認與未確認
已確認Google AI Studio入口、題數與定價;延遲數字有特定輸入條件,Google Cloud支援尚待推出,實際機率校準與效能需依應用資料驗證。