原文標題：Rethinking confidence in reasoning models

Cohere 於 10 月 20 日介紹 CALIBER 研究方法，目的是讓具推理能力的語言模型不只產生答案，也能區分作答前對題目難度的評估，以及推理完成後對特定答案正確性的判斷。官方指出，模型能寫出長篇推理過程，不代表它的信心百分比就可靠。

CALIBER 要求模型輸出兩個不同信心值：初始信心表示尚未作答時，模型預估自己解決題目的機率；最終信心則對應這次實際產生的答案是否正確。兩者可能不同，因為推理過程會揭露先前未注意的錯誤或矛盾。

訓練初始信心時，研究團隊讓模型對同一問題多次嘗試，依成功比例設定學習目標。例如十次嘗試中七次正確，初始信心目標即為 70%；最終信心則根據該次答案是否正確給予不同監督訊號。模型同時接受解題正確性與信心校準的獎勵，避免只學會降低信心而不改善作答。

研究使用 Expected Calibration Error（ECE）檢查模型信心是否符合實際正確率，也用 AUROC 檢查信心能否區分正確與錯誤答案。官方表示，校準後的 7B 模型在其數學基準測試中，相較最佳單一信心值基準的校準誤差降低超過一半。

這項成果著重模型自我評估的可靠性，不代表所有領域的答案正確率都提升，也不代表模型可完全取代外部事實查核。

發生了什麼事

Cohere 研究 CALIBER 讓推理模型分別回報作答前後的信心，並以多次作答結果訓練校準能力。

為什麼重要

可靠的信心值能協助系統決定哪些答案應進一步查核，對需要人工覆核的企業代理程式與自動化流程具有實務意義。

影響哪些人

語言模型研究者、評測團隊、AI 應用開發者與高風險決策流程的審核人員。

已確認與未確認

已確認官方公布的 7B 數學測試與相對改善幅度；其他模型大小、領域及實際商用表現尚不能據此推論。