原文標題：A good teacher meets the student where they are

Perplexity 10 月 21 日公開 Joint On-policy Learning and Teaching（JOLT）研究，探討如何在語言模型後訓練時，讓教師的回饋更貼近學生目前能學會的內容。傳統結果獎勵式強化學習通常只在整個任務完成後給予成功或失敗訊號，對長流程代理任務而言，難以判斷哪個中間步驟真正有幫助。On-Policy Distillation（OPD）則讓教師逐 Token 指導學生，但強教師不一定能提供學生可吸收的回饋。

JOLT 以同一套模型參數同時扮演教師與學生。教師在訓練時可使用驗證答案或參考軌跡等額外資訊，學生則在沒有這些資訊的條件下嘗試解題。學生學習教師的密集回饋，教師也依學生的獎勵方向調整，避免一味追求教師自己解題分數而提供學生難以模仿的指示。JOLT+ 進一步把學生的結果獎勵加入更新，結合逐步蒸餾訊號與任務最終成果。

Perplexity 在 GSM8K、MATH、LiveCodeBench v6、AppWorld 與 Terminal-Bench 2.1 等數學、程式及代理任務進行比較。官方表示，JOLT+ 相較 GRPO 的絕對提升依序為 1.5、4.2、3.0、9.9 與 2.7 個百分點，最後一項以 pass@1 衡量。在 MATH 任務達到相同準確率的設定下，JOLT 使用的 completion tokens 比 GRPO 少 13 倍，處理的訓練 tokens 少 6.5 倍；這些數字是特定實驗條件下的研究結果，不代表所有模型與任務都能獲得相同節省。

研究也區分 JOLT 與 JOLT+ 的訓練目標：前者讓教師在維持接近學生分布的同時，朝對學生有利的獎勵方向更新；後者額外把學生自己完成任務的結果獎勵納入。團隊指出，未來可研究讓教師同時產生訓練任務，依學生學習進度動態調整課程。公告提供研究論文連結，但沒有宣稱 JOLT 已成為 Perplexity 所有商用模型的預設訓練方式。

方法細節上，教師並不是只產生一個更好的最終答案，而是在學生目前實際走過的狀態上提供逐 Token 的分布指引。研究以 KL 散度限制教師與學生策略之間的距離，避免教師在有標準答案等額外資訊時，選擇學生根本無法接續的步驟。教師的更新同時參考其採樣軌跡的相對回報，實作上以同組軌跡的平均回報作為中心化基準。

研究團隊也承認，教師自己的軌跡回報只是學生後續優勢的替代估計，兩者不必然相等；因此 JOLT 的理論方向與實際最佳化目標之間仍有近似誤差。研究提出的後續方向是讓教師不只給答案，還能依學生進步程度自動生成難度合適的訓練任務，建立隨學習能力調整的課程。

發生了什麼事

Perplexity 提出 JOLT 與 JOLT+，把教師和學生角色放在同一模型中聯合訓練，讓蒸餾回饋更符合學生當下能力。

為什麼重要

此方法嘗試解決長流程推理的稀疏獎勵問題，並在研究基準中展現更高準確率與較少 Token 使用量。

影響哪些人

大型語言模型研究者、後訓練工程師、開發代理式模型的團隊，以及關注訓練成本的企業 AI 平台可能受益。

已確認與未確認

已確認 JOLT+ 在五項基準相對 GRPO 的增幅及 MATH 特定條件下的 Token 差異；未證實對所有模型、資料集或商用環境皆有同等改善。