原文標題:CWE-bench v2: More coverage, quality, and transparency
Collinear AI於11月3日在官方Hugging Face組織發布CWE-bench v2,公開100項防禦性程式修補任務,涵蓋91種CWE弱點類別。每項任務給智慧體一份真實開源儲存庫與簡短指示,要求找出並修正安全問題,且不能破壞原有功能。評分以程式化驗證器進行,開發者可查看環境、指示與驗證邏輯,重跑並比較自己的模型。
團隊表示,每個任務均人工檢查指示是否合理、要求是否能由題目推得、起始版本是否失敗而參考修正通過,以及驗證是否針對行為而非限定某一寫法。公開集合之外仍保留未公開題目,以降低模型見過答案造成的評測偏差。任務包成Harbor可執行的Docker環境,資料集有存取條件,使用前需接受規範。官方榜單也比較單次與多次嘗試結果,顯示最高分模型仍有無法解決的長尾問題。這次更新重點是可重現的弱點修補評估,不代表模型已能替代所有安全審查;公開題目可能隨時間進入訓練資料,實際企業環境的依賴與風險,也需要另外驗證,不能僅憑榜單直接推估自家專案安全。
發生了什麼事
CWE-bench v2公開100個真實開源修補任務,利用程式驗證安全行為及原功能,並保留未公開集合,讓研究者比較智慧體防禦性程式能力。
為什麼重要
找到漏洞與不破壞功能地修好漏洞是不同能力。可檢查的環境及驗證器能讓比較更透明,也讓外部研究者指出題目設計或評分上的問題。
影響哪些人
主要影響安全程式智慧體、模型評測與應用安全研究團隊,以及需要理解模型修補限制的企業開發者,使用資料前仍須接受其存取條件。
已確認與未確認
已確認100任務與91類弱點。榜單反映特定題目及嘗試設定,公開集可能有資料污染風險,不代表任何模型已能保證修好所有企業漏洞。