原文標題:Advancing coding in low‑resource programming languages

OpenAI 於 10 月 19 日發表低資源程式語言的模型能力評測,焦點放在 COBOL、Fortran、Visual Basic、OCaml 等相較 Python、JavaScript 缺少公開訓練資料的語言。這些語言仍存在於金融交易、科學運算及重要基礎設施,因此維護舊系統的困難不只是把語法換成新語言,更包含還原程式碼中未明文記載的業務規則。

官方建立兩套測試。MultiLangBench 要求模型以指定語言從頭建立與 SQLite 相容的資料庫引擎,涵蓋 20 種語言;候選程式讀取初始資料庫與 SQL 查詢後,產生修改過的資料庫,再以 SQLite 參考實作檢驗結果。這種設計同時衡量長時間程式開發、狀態管理、錯誤處理,以及新增功能後保留原有行為的能力。OpenAI 已公開評測設定、測試套件及逐語言結果。

在最高推理強度下,GPT-6 Astra 的 MultiLangBench 平均測試通過率為 87.4%,相較 GPT-5.6 Sol 的 26.8% 大幅提升。COBOL 從 10.9% 提升到 72.1%,OCaml 從 25.6% 升至 85.8%,Fortran 從 21.4% 升至 83.5%,Visual Basic 從 27.5% 升至 89.4%;20 種語言中有 19 種超過 83%,COBOL 仍是最困難的一項。

較低成本的 GPT-6 Luna 在相同評測的平均通過率達 40.3%,相較 GPT-5.6 Sol 仍有進步。OpenAI 估算每個樣本的平均 API 成本為 0.77 美元,對照 GPT-5.6 Sol 的 3.48 美元,約降低 78%。這是特定評測條件下的成本比較,不等同實際企業專案的固定費率或完整遷移成本。

第二套評測針對 COBOL 程式遷移,目標語言包括 C++、Java、Kotlin、Python 與 Rust。官方使用隱藏測試檢查可觀察輸出是否逐位元組一致,特別注意固定小數點運算、捨入與遺漏紀錄處理等可能改變金融業務結果的細節。GPT-6.1 Sol 在低推理強度下達到 86.6% 準確率,GPT-5.6 Sol 為 5.4%,前者成本約低 39%;提高推理強度後,準確率達 97.9%。

OpenAI 強調,這些結果代表模型在測試情境下的進步,並非表示可直接把關鍵系統自動改寫後上線。正式遷移仍須由熟悉業務規則的工程師審核,針對相依套件、例外處理及實際交易流程進行完整測試。

發生了什麼事

OpenAI 發表兩套針對低資源程式語言的評測,公布 GPT-6 系列在 20 種語言的資料庫建置與 COBOL 跨語言遷移表現,並公開 MultiLangBench 測試工具。

為什麼重要

傳統金融與科學系統往往依賴難以替換的舊語言。相較只生成可編譯程式碼,測試能否維持資料與業務行為更接近企業實際遷移風險;但基準成績仍不能取代生產環境驗證。

影響哪些人

維護 COBOL、Fortran 或其他舊系統的企業工程團隊、系統整合商、資料庫與程式語言工具開發者,可利用公開測試判斷模型是否適合其工作流程。

已確認與未確認

已確認兩套評測方法、20 種語言、Astra 87.4%、Luna 40.3%、COBOL 遷移 86.6% 與 97.9% 等數據。這些都是官方所述測試結果;尚不能據此推定任何特定舊系統可無風險自動遷移。