Mistral AI 發佈 Leanstral 1.5,強化 Lean 4 形式化驗證
Leanstral 1.5: Proof Abundance for All
Mistral AI 發佈 Leanstral 1.5,這款 Apache-2.0 授權模型總參數量為 119B、活躍參數為 6B,面向 Lean 4 形式化驗證。
文章不只列出形式化數學基準,也以 AVL 樹複雜度證明及 57 個程式庫的漏洞排查,呈現 Leanstral 1.5 將定理證明延伸至實際程式驗證的應用。
思考
摘要
Leanstral 1.5 是採用 Apache-2.0 授權的免費模型,具備 6B 活躍參數,並大幅提升形式驗證效能:在 miniF2F 達至滿分、解答 PutnamBench 的 672 題中 587 題,並在 FATE-H(87%)和 FATE-X(34%)取得最先進成績。模型經過中期訓練、監督式微調,以及使用 CISPO 的強化學習,擅長代理式證明工程和真實世界程式碼驗證;在測試的 57 個儲存庫中,找出 5 個此前未知的錯誤。Leanstral 1.5 已全面開源,並可透過 Hugging Face 和免費 API 使用,讓大家現在就能以 Lean 4 實踐證明工程。
Leanstral 自推出以來,一直以開放、實用的方式支援 Lean 4證明工程。今天,我們推出 Leanstral 1.5,這款免費模型採用 Apache-2.0 授權,總參數為 119B,當中只有 6B 為活躍參數,效能大幅提升,令形式驗證比以往更強大、更易普及。
Leanstral 1.5 在 miniF2F 達至滿分,並解答 PutnamBench 的 672 題中 587 題,同時在 FATE-H 取得全新最先進成績 87%,在 FATE-X 則達到 34%。除了基準測試外,它亦能驗證複雜程式碼屬性,並在開源儲存庫中找出此前未知的錯誤,證明嚴謹的形式方法既有效,也適用於真實世界。

訓練 Leanstral
Leanstral 1.5 的訓練分為三個階段:中期訓練、監督式微調,以及使用 CISPO 的強化學習。Leanstral 1.5 大量運用兩個 RL 環境進行訓練:
在多輪環境中,模型會收到一個定理陳述,並須證明或推翻它。模型提交證明後會收到 Lean 編譯器的回饋,再按每次嘗試逐步修正方法。如果證明通過編譯,任務便告成功;否則會繼續循環,直至模型解決問題或用盡預算。

在程式碼代理環境中,Leanstral 像開發者一樣在原始檔案系統中工作:編輯檔案、執行 bash 指令,並使用 Lean 語言伺服器即時查看目標、錯誤和型別資訊。這讓它能處理長時間任務,例如完成儲存庫中的未完證明、建立輔助引理,以及在多輪上下文壓縮後繼續工作。模型學會掌握完整的證明工程工作流程,最後會由我們分支自 SafeVerify 的版本,按指定定理清單驗證正確性。

評測
我們使用以下基準測試評估 Leanstral:
miniF2F是形式數學的跨系統基準測試,涵蓋由基礎題目至 IMO 級別的挑戰,測試代數、組合數學和數論等不同領域的證明能力。
PutnamBench包含 Putnam 數學競賽的 672 道題目,需運用深入推理和較長的證明過程,解決具挑戰性的數學問題。
FATE-H 和 FATE-X是抽象代數基準測試,分別涵蓋研究生和博士程度的問題,評估羣論、環論和模論等範疇的進階推理能力。
FLTEval以 Fermat’s Last Theorem 儲存庫中的真實合併請求為基礎,測試模型處理真實世界複雜度的證明工程能力。
我們在 miniF2F 完全達至滿分,驗證集和測試集均取得 100%。在 PutnamBench 和 FATE-H/X 上,我們把 Leanstral 1.5 與不提供自然語言指引的 Goedel-Architect、使用 high 設定的 Seed-Prover 1.5,以及 AxProverBase 比較。Leanstral 在 FATE-H/X 創下全新最先進成績,分別解答 87 和 34 道題目。在 PutnamBench 上,它以遠低得多的成本,比 Seed-Prover 1.5 high 多解 7 題:每題約 $4,而 Seed-Prover 的估計成本至少為 $300;其 high 設定每題可使用 10 H20 日的預算。排名更高的證明器都在不同條件下運行:有些可獲自然語言證明指引,有些運行成本則高得多,例如 Aleph Prover 每題 $54–68。
Leanstral 1.5 展現了我們在形式推理模型中見過最強的測試時擴展能力。下圖追蹤 PutnamBench 的 Pass@8:把每次嘗試的 token 預算由 25k 提高至 4M,效能便一路平穩、持續上升:預算 50k 時解答 44 題,200k 時解答 244 題,1M 時解答 493 題,4M 時解答 587 題。證明耗時較長時,Leanstral 不會放棄,而是持續推理、編輯檔案並在數百萬個 token 中反覆修訂,直接把預算轉化為已解題目。下方 AVL 樹證明正是如此:模型使用超過 2.7 million 個 token,經歷 22 次上下文壓縮才完成。

隨着這次發布,我們亦把 FLTEval全面開源。Leanstral 1.5 在這項基準測試的 pass@1 由 21.9 提升至 28.9,pass@8 則由 31.9 升至 43.2,以七分之一的成本超越 Opus 4.6 的 39.6。如下圖所示,它亦進一步擴大對規模大 3–10× 的開源模型的領先優勢。

程式碼驗證案例研究
Leanstral 1.5 主要為數學任務訓練,但在程式碼驗證方面亦展現強大能力。以下介紹 2 個關鍵案例,展示它帶來的影響。
AVL 樹:證明時間複雜度
AVL 樹是自平衡二元搜尋樹,會在插入和刪除時重新平衡,維持 O(log n) 高度。Leanstral 1.5 為一個真實實作證明瞭這些時間複雜度保證;這項工作需要使用結構歸納法呼應樹的遞迴結構、仔細處理 monad 式的時間追蹤,並窮盡分析各種重新平衡路徑。經歷超過 2.7 million 個 token 和 22 次上下文壓縮後,Leanstral 有系統地展開 TimeM monad 的每一層;即使計算與控制流程交錯,它仍能揭示底層運算。模型證明瞭插入操作的高度界限幾乎精確,為每個高度單位 48 步加上一個常數;再透過對數關係把高度連繫至樹大小,完成並驗證插入和刪除確實均為 O(log n) 的證明。
發現錯誤:找出隱藏問題
為測試 Leanstral 發現錯誤的能力,我們建構了一條自動化管道:Aeneas 把 Rust 程式碼轉換成 Lean,而 Leanstral 則推斷用戶意圖,並根據程式碼生成正確性屬性。接着,Leanstral 會嘗試證明每項屬性 4 次;如果全部失敗,便會改為嘗試證明其否定,同樣嘗試 4 次。在測試的 57 個儲存庫中,這個流程標記了 47 項遭違反的屬性,其中 11 項指向真正錯誤,5 項更是此前未曾在 GitHub 回報。
其中一項錯誤出現在 datrs/varinteger程式庫用於 zigzag 解碼的符號函式。輸入 Std.U64.MAX 時,運算式 (value + 1) 發生溢位,導致除錯模式下崩潰,並在發行模式下靜默損壞資料。這類邊界案例通常會被測試和模糊測試忽略。Leanstral 的管道自動找出問題,證明形式驗證已可應用於真實程式碼庫,並發現一些傳統方法可能忽略的錯誤。
立即開始
Leanstral 1.5 採用 Apache-2.0 授權。你可在Hugging Face 取得模型權重,亦可立即透過免費 API 端點使用 leanstral-1-5。我們建議在 Mistral Vibe 中使用。要開始體驗,先取得 API 金鑰,然後:
1. 設定 Mistral Vibe
uv tool install mistral-vibe
uv tool update mistral-vibe
vibe --setup
2. 安裝 Leanstral 1.5
/leanstall
exit
3. 啟動代理
vibe --agent lean
4. 安裝 Lean LSP MCP(可選)
強烈建議安裝 Lean LSP MCP,並把以下內容加入 ~/.vibe/config.toml
[[mcp_servers]]
name = "lean-lsp"
transport = "stdio"
command = "uvx"
args = ["lean-lsp-mcp"]
tool_timeout_sec = 600
如果目前沒有任何 MCP 伺服器設定,你可能需要移除 mcp_servers = []。
5. 開始證明
你可以要求 Leanstral 證明定理、除錯證明,或為儲存庫作出貢獻。就是這麼簡單。
來源:Mistral AI · mistral.ai