Thinking Machines Lab 發佈 Inkling 2 Mini 開放權重模型
Introducing Inkling 2 Mini
Thinking Machines Lab 發佈 Inkling 2 Mini 開放權重模型,採用循環 Transformer 架構,總參數量為 26.4B,記憶體佔用約 20GB。
Inkling 2 Mini 以循環架構增加每個 token 的內部計算,團隊並以可變循環版本測試其無 CoT 能力及思路可監督性,提供理解兩者關係的實驗觀察。
今天我們推出 Inkling 2 Mini,一款快速、強大的模型,小巧到足以在你的手提電腦上執行。
Inkling 2 Mini 是一款循環式 Transformer,每個 token 都會將模型的中間層執行三次。這讓模型能進行更多推理,以較少 token 得出正確答案,尤其適用於依賴推理質素的任務,例如 Agent 式編碼。在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)等基準測試中,Inkling 2 Mini 的表現領先所有總參數少於 100B 的開放權重模型。它的執行速度亦比表現相若的模型快。
DeepSWE v1.1
DeepSWE v1.1。Ripple-65B (Preview):44.3%,理論速度為 4.7 token/s。Gemma 4 31B:0.3%,理論速度為 10.0 token/s。Muse Glimmer:4.4%,理論速度為 10.2 token/s。Qwen3.8-27B:42.2%,理論速度為 11.4 token/s。Inkling 2 Mini:48.2%,理論速度為 54.4 token/s。Gemma 4 26B A4B:0%,理論速度為 80.8 token/s。Recursive Flint:10.81%,理論速度為 122.8 token/s
SWE-bench Pro v2 Hard(51 項任務)
SWE-bench Pro v2 Hard(51 項任務)。Ripple-65B (Preview):79.1%,理論速度為 4.7 token/s。Gemma 4 31B:14.2%,理論速度為 10.0 token/s。Muse Glimmer:44.3%,理論速度為 10.2 token/s。Qwen3.8-27B:73.8%,理論速度為 11.4 token/s。Qwen3.6-27B:37.25%,理論速度為 11.4 token/s。Inkling 2 Mini:77.9%,理論速度為 54.4 token/s。Gemma 4 26B A4B:11.8%,理論速度為 80.8 token/s。Qwen3.6-35B-A3B:28.1%,理論速度為 102.3 token/s
Inkling 2 Mini 是一款混合專家(Mixture-of-Experts)模型,總參數為 26.4B,啟用參數為 3.4B;計入循環運算後,每個 token 的權重啟用量為 5.4B。循環運算讓模型可以延長推理時間,而無須把推理過程寫下來;這對可監察性很重要,也就是我們透過閲讀模型的思維鏈(CoT),監督及理解模型行為的能力。
我們使用 Inkling 2 Mini 及一款專供研究用途、並與它一同推出的可變循環版本,衡量循環運算對效能及可監察性的影響。可變循環模型在無 CoT 情況下的時間跨度,從單次執行時的 16 秒增至執行三次時的 37 秒;它在序列推理基準測試中的表現,在循環次數增至十次時仍持續提升,是其訓練循環次數的兩倍。隨循環次數增加,模型的思維鏈變得更短,但全程仍清晰易讀。增加循環次數後,模型在 Agent 式破壞行為測試中的分數並無呈上升趨勢。
我們很高興能向研究人員提供首批採用循環式架構的模型之一。可變循環模型用於我們的可監察性實驗,因為它能更清晰地比較不同循環深度。
Inkling 2 Mini 的大部分權重均以 NVFP4 原生格式訓練並部署,最後四層則採用 MXFP8。Inkling 2 Mini 的總記憶體佔用為 ~20GB,因此可在消費級手提電腦及桌面 AI 電腦等本地裝置上執行。我們的研究人員曾帶 Inkling 2 Mini 乘搭航班,並在 MacBook Pro 上離線執行它,在幾分鐘內建成一個可遊玩的飛行模擬器。
MacBook Pro (M5 Pro, 48GB) 飛行模式
載入由 Inkling 2 Mini 建構的飛行模擬器…如要試玩這個飛行模擬器,請在桌面裝置開啟此頁面。
Inkling 2 Mini 以開放權重形式推出,今日起可在 Tinker 上用於推理及自訂。
功能
Inkling 2 Mini 的優勢與 Inkling 2 Small 相似:在長時間跨度的 Agent 工作中表現最佳,並在我們測試的大部分任務中,勝過同等規模的開放權重模型。
在 DeepSWE v1.1 和 SWE-bench Pro v2 等 Agent 編碼基準測試中,Inkling 2 Mini 的分數高於所有可比較模型;在其他基準測試中,只有 Qwen3.8-27B 的分數較高。在用於評估核心最佳化的基準測試 PMPP-Hard 上,它的分數接近規模大得多的 Inkling 2 Small。
循環推理雖可提升模型的推理能力,但不會令其權重儲存更多事實;知識量主要取決於參數總量。Inkling 2 Mini 在評估事實準確度的 AA-Omniscience 上所得分數,與其他同等規模模型相若。研究可變循環模型時,我們發現,增加推理輪次可提升模型在 GraphWalks BFS 和 MRCR v2 等長上下文基準測試中的表現;但在 AA-Omniscience、SimpleQA Verified、SimpleVQA 和 WorldVQA 等知識密集型基準測試中,增加推理輪次並無改善。
Inkling 2 Mini 透過有效運用搜尋和工具,彌補知識上的差距。在 BrowseComp、DeepSearchQA 和 MCP Atlas 上,它領先同等規模的開放權重模型。在結合搜尋和工具使用的知識工作基準測試中,它亦表現出色。
| Inkling 2 Mini | Gemma 4 31B | Muse Glimmer | Qwen3.8-27B | Nemotron 3.5 Super VL | |
|---|---|---|---|---|---|
| 模型資訊 | |||||
| 參數(B)已啟用/總計 | 5.4/26.4 | 30.7/30.7 | 30.0/30.0 | 27.0/27.0 | 12.0/124.5 |
| 第三方指數 | |||||
| AA Index (v5.0) | 20.1(本列已報告的最佳分數) | 4.4 | 6.3 | 20.1(本列已報告的最佳分數) | 13.6 |
| Vals Index (v2.2) | 46.5%(本列已報告的最佳分數) | – | – | – | 29.8%(本列已報告的第二高分數) |
| 編碼與自主研究 | |||||
| FrontierCode v2.0stirrup v0.2.1 | 15.1%(本列已報告的最佳分數) | 0.0% | 1.5% | 14.9%(本列已報告的第二高分數) | 6.1% |
| DeepSWE v1.1mini-swe-agent v2.4.6 | 48.2%(本列已報告的最佳分數) | 0.3% | 4.4% | 42.2%(本列已報告的第二高分數) | 24.7% |
| Terminal Bench v4.0mini-swe-agent v2.4.6 | 5.6%(本列已報告的最佳分數) | 0.0% | 0.5% | 5.6%(本列已報告的最佳分數) | 0.0% |
| Terminal Bench v2.1pi v0.83.0 中的 Inkling 2 Mini | 71.6%(本列已報告的第二高分數) | 43.4% | 51.7% | 73.0%(本列已報告的最佳分數) | 60.7% |
| SWEBench Pro v2 (Hard)mini-swe-agent v2.4.6 | 77.9%(本列已報告的最佳分數) | 14.2% | 44.3% | 73.8%(本列已報告的第二高分數) | 44.1% |
| SWEBench MultilingualInkling 2 Mini 僅使用 bash | 73.7%(本列已報告的最佳分數) | 43.0% | 66.9% | 70.0%(本列已報告的第二高分數) | 67.7% |
| SWEBench Verified僅限 bash | 79.2%(本列報告的最高分) | 46.1% | 76.0% | 77.8%(本列報告的第二高分) | 71.1% |
| Vibe Code Bench v1.1openhands (vals) | 77.9%(本列報告的最高分) | – | – | 64.9%(本列報告的第二高分) | 3.5% |
| PMPP-Hard (AUC, 0–10h)pi v0.83.0 | 455.82(本列報告的最高分) | – | – | 262.50(本列報告的第二高分) | – |
| 代理式搜尋、工具使用與知識工作 | |||||
| BrowseCompInkling 2 Mini with compaction | 79.0%(本列報告的最高分) | 37.0% | 63.9% | 61.6% | 78.9%(本列報告的第二高分) |
| DeepSearchQAInkling 2 Mini with compaction | 85.3%(本列報告的最高分) | 61.7% | 74.6% | 79.7%(本列報告的第二高分) | 77.7% |
| MCP Atlas公開 | 82.7%(本列報告的最高分) | 54.2% | 75.5% | 77.3%(本列報告的第二高分) | 67.7% |
| AA-Briefcase v1.1 | 1263(本列報告的第二高分) | 369 | 478 | 1391(本列報告的最高分) | 999 |
| GDPVal-AA v2.1 | 1319(本列報告的第二高分) | 627 | 792 | 1427(本列報告的最高分) | 1162 |
| JobBench | 49.6%(本列報告的最高分) | 8.2% | 16.1% | 33.4% | 36.5%(本列報告的第二高分) |
| AutomationBench-AA v1.0.6 | 41.8%(本列報告的第二高分) | 4.9% | 6.8% | 48.2%(本列報告的最高分) | 14.8% |
| EnterpriseOps-Gym | 42.0%(本列報告的第二高分) | 28.4% | 34.7% | 44.2%(本列報告的最高分) | 28.1% |
| Vals Finance Index | 50.1%(本列報告的最高分) | – | – | – | 41.0%(本列報告的第二高分) |
| AA-AnalystAgent | 46.3%(本列報告的最高分) | – | 20.0%(本列報告的第二高分) | – | – |
| Diligence Bench最佳測試框架 | 48.6%(本列報告的最高分) | – | 40.9% | 46.4%(本列報告的第二高分) | 45.0% |
| 視覺理解與創作 | |||||
| GDP.pdf | 16.8%(本列報告的最高分) | 6.0% | 11.8% | 16.4%(本列報告的第二高分) | 8.0% |
| PerceptionBench | 57.5%(本列報告的最高分) | 40.7% | 42.8% | 52.4%(本列報告的第二高分) | 36.8% |
| MMMU Pro標準 10 | 74.9%(本列報告的第二高分) | 73.4% | 74.3% | 76.3%(本列報告的最高分) | 72.3% |
| OmniDocBench v1.6 | 92.8%(本列報告的最高分) | 82.5% | 90.4% | 91.5%(本列報告的第二高分) | 77.9% |
| ScreenSpot Pro原始 / 使用 Python | 76.5/87.7%(本列報告的最高分) | 5.9%/– | 75.4%/– (此列中報告的第二高分) | 57.6/78.9% | 43.5%/– |
| Chartography原始 / 使用 Python | 22.1/72.5% (此列中報告的最高分) | 12.0/11.8% | 17.4/25.1% (此列中報告的第二高分) | 12.2/52.1% | 9.7/29.3% |
| ZeroBench (main)原始 / 使用 Python | 17.0/34.0% (此列中報告的最高分) | 9.0/12.0% | 9.0/17.0% | 12.0%/– (此列中報告的第二高分) | 11.0/12.0% |
| MuirBench | 77.5% (此列中報告的第二高分) | 72.3% | 77.6% (此列中報告的最高分) | 65.9% | 72.7% |
| BVB | 68.4% (此列中報告的第二高分) | 47.0% | 50.5% | 70.7% (此列中報告的最高分) | 52.1% |
| 推理、知識與認識論 | |||||
| HLE-Diamond | 15.2% (此列中報告的第二高分) | 7.2% | 9.1% | 15.3% (此列中報告的最高分) | 8.8% |
| CritPt v2完整 / 困難 | 31.4/17.0% (此列中報告的最高分) | –/4.0% | –/7.0% | 10.6/4.0% | 36.9/13.5% (此列中報告的第二高分) |
| Apex 2025 | 34.4% (此列中報告的最高分) | 5.2% | 4.2% | 18.8% | 22.9% (此列中報告的第二高分) |
| ARC-AGIv1 / v2 | 84.5/49.3% (此列中報告的最高分) | – | – | 87.5/42.4% (此列中報告的第二高分) | 22.7/1.5% |
| LongBench v2 | 66.9% (此列中報告的最高分) | 52.9% | 33.1% | 52.3% | 62.1% (此列中報告的第二高分) |
| GraphWalks BFS256K | 69.7% (此列中報告的最高分) | – | – | 50.4% | 63.3% (此列中報告的第二高分) |
| MRCR v28-needle 256K–512K | 46.4% (此列中報告的最高分) | – | – | 38.0% (此列中報告的第二高分) | 5.7% |
| AA-Omniscience v1.1分數 | -8.6 | -48.5 | -32.2 | -6.4 (此列中報告的第二高分) | -2.9 (此列中報告的最高分) |
| AA-Omniscience v1.1無幻覺率 | 63.4% | 14.5% | 16.4% | 71.4% (此列中報告的最高分) | 69.5% (此列中報告的第二高分) |
| ComplexConstraints v1.1openhands v1.45.0 | 33.4% (此列中報告的第二高分) | 31.6% | 35.6% (此列中報告的最高分) | 30.1% | 30.1% |
| 安全與對齊 | |||||
| FORTRESS (對抗性)公開 | 89.5% (此列中報告的第二高分) | 67.8% | 90.3% (此列中報告的最高分) | 78.8% | 79.6% |
| FORTRESS (良性)公開 | 96.4% | 97.6% (此列中報告的第二高分) | 89.1% | 97.8% (此列中報告的最高分) | 92.7% |
| StrongREJECT (無) | 97.8% | 98.1% | 99.0% (此列中報告的第二高分) | 99.0% (此列中報告的第二高分) | 99.4% (此列中報告的最高分) |
| Misbehavior (內部) ↓ | 9.8% (此列中報告的最高分) | 27.6% (此列中報告的第二高分) | 46.4% | 57.7% | 52.8% |
| 隱蔽不當行為(內部)↓ | 8.3%(此列已報告的最佳分數) | 24.3%(此列已報告的第二佳分數) | 45.6% | 33.2% | 43.4% |
| 破壞性行為(內部)↓ | 10.2%(此列已報告的最佳分數) | 75.8% | 68.8% | 35.2%(此列已報告的第二佳分數) | 65.6% |
每列已報告的最佳分數(分數越低越好時取最低分);顯示分數相同即並列每列已報告的第二佳分數;如第一名並列則不列出
史丹福研究人員以每焦耳智能為指標,衡量 LLM 每次查詢需要多少能量,才能達到指定效能水平。史丹福的Hazy Research Lab及Scaling Intelligence Lab研究人員率先取得 Inkling 2 Mini 的測試權限。Inkling 2 Mini 在 NVIDIA DGX Spark 上運行時得分為 0.703,顯著高於其他模型:Qwen3.6-35B-A3B 得分為 0.430、Gemma-4-26B-A4B 得分為 0.159,而 Qwen3.5-27B 得分為 0.036。每瓦特智能:量度本地 AI 的智能效率,Saad-Falcon 和 Narayan 等人,2025在這項實驗中,Inkling 2 Mini 在 NVIDIA DGX Spark (128GB) 上以 MXFP8 精度運行,並採用較低的推理力度。其他模型則分別以 NVFP4(Qwen3.6-35B-A3B 和 Gemma-4-26B-A4B)及 INT4(Qwen3.5-27B)運行。
Inkling 2 Mini 兼具效率與效能,是在本機硬件上運行多個持續運作的 Agent 的理想選擇。能源效益村莊 Thinkyville 的全部 20 位居民,均由一部離線 MacBook 上運行的 Inkling 2 Mini 管理。
MacBook Pro(M5 Pro, 48GB)飛行模式
限制
Inkling 2 Mini 並非在多輪對話或處理包含多項限制的指示方面最強的小型模型:它在 MultiChallenge 的得分為 50.0%,在 ComplexConstraints v1.1 的得分為 33.4%,兩項均落後於 Qwen3.8-27B。在 CritPt v2 和 HLE-Diamond 等需要大量推理的基準測試中,它的表現亦落後於較大型模型。
架構與訓練
Inkling 2 Mini 是一個 24 層模型,源自我們主線的預測式擴展階梯。相較於主線方案,主要改動包括裁去三分之二的專家以縮減模型規模,以及引入循環機制以改善推理能力。其餘訓練內容,包括量化和數據混合,均沿用我們的主線方案。
循環設計
Inkling 2 Mini 有 24 層,分為四個各有六層的區塊。中間兩個區塊各運行三次,首尾兩個區塊則各運行一次。這項設計建基於先前有關循環式 Transformer 的研究,並源於一個直覺:模型中間層承載較抽象的推理,而最初及最後幾層則花更多力氣,在嵌入向量與內部表徵之間進行轉換。通用 Transformer,Dehghani 等人,2018在我們的實驗中,循環運行中間 12 層,在 28 項不同評測中的 27 項帶來的準確度提升,大於循環運行最後 12 層。
按循環位置劃分的等效計算增益
中間層 (7–18)
1.51–1.91×
最後幾層 (13–24)
1.24–1.36×
我們的模型採用注意力殘差。Attention Residuals,Kimi Team:Guangyu Chen 等人,2026。模型不會把每一層的輸出全部加到同一個累積總和中,而是由每一層讀取較早區塊的輸出,並學習如何自行混合這些輸出。這讓循環之間能傳遞更豐富的資訊。每次通過均以前置區塊(第一個區塊)的輸出作為起點。第二和第三次通過中間區塊時,也會讀取中間區塊在上一次通過時的輸出;我們稱之為訊息。
前置區塊會為第 2 和第 3 區塊的連續三次通過提供輸入。每次通過都會向下一次傳遞訊息,第三次則會將其輸出傳至最終區塊。
上一個循環的訊息會與前置區塊的輸出合併,合併時會經過一個閘門;該閘門會調節這兩者,以及區塊內較早各層的輸出。這個閘門在訓練期間學習:初期會完全阻隔訊息,令每個循環的起點與非循環模型相同;隨着訓練進行,則逐步提高訊息的增益。這讓我們能以穩定的方式在訓練期間引入循環。
為評估循環的影響,我們在規模擴展階梯上比較未剪枝的循環版本與未剪枝的非循環模型。非循環模型的訓練計算量少 7.5%,但在 512k-token 的 Agent 軌跡上,要達到循環版本的損失,推理計算量則多 140%。
NVFP4 與低位元量化
Inkling 2 Mini 採用 4-bit 精度訓練,詳情載於我們最近在 Connectionism 發表的文章。從預訓練到 RL 階段的所有正向傳播中,我們均在專家層使用 4-bit NVFP4 精度,並以專用核心支援,在 NVIDIA 的 GB300 平台上透過硬件加速。最後 4 層的正向傳播則以 8-bit (MXFP8) 執行。
Inkling 2 Mini 的權重部署時採用與訓練時相同的數值精度——20 層為 NVFP4,4 層為 MXFP8——因此不會因量化轉換而造成損失。
剪枝與修復
Inkling 2 Mini 開始訓練時的稀疏度為 48,並從 384 個專家中選出 8 個。在訓練中期某一時點,我們剪除三分之二的專家,每層保留最常用的 128 個專家。這樣做是為了減少模型的總參數量,讓模型運行得更快,並可在本地硬件上運行。
剪枝後,模型使用從更大型的內部 Inkling 模型蒸餾而來的 1T tokens 進行訓練。這個步驟透過訓練剩餘的專家接手已刪除專家的工作,恢復模型剪枝前的效能。
訓練 Inkling 2 Mini
剪枝與修復後,Inkling 2 Mini 接受了 SFT,所用的數據組合與 Inkling 2 Small 相近。其後進行 RL 訓練,歷時 2,000 步,總計 2.2T tokens。與 Inkling 2 Small 一樣,訓練後階段亦包括用於對齊訓練的同策略蒸餾。
循環 Transformer 的可監察性
瞭解及監督 AI 系統的重要工具之一,是監察其思維鏈(CoT),即模型解題時寫出的推理。CoT 監察之所以有用,部分原因在於標準的非循環 Transformer 架構:每個 token 只會通過固定的層堆疊一次。這限制了模型在必須輸出 token 前可執行的連續計算步數,因此需要更多步驟的推理必須在生成的文字中進行,因而可以被讀取。
循環執行 Transformer 的層會提高這個上限。透過多次執行相同的層,循環式模型可在不增加參數的情況下提高其序列深度,亦即在透過 CoT 將思維過程表達出來之前,於內部對每個 token 進行更多計算。從未在 CoT 中呈現的推理,CoT 監察器就無法捕捉,這引起了人們對循環式 Transformer 可能較難監督的憂慮。
我們推出 Inkling 2 Mini 的其中一個原因,是讓社羣能夠研究循環式 Transformer。我們特別期待研究人員探討可監察性,並開發可解讀性技術,以瞭解循環內部的計算。
為了探究不同的循環次數如何影響可監察性等模型特性,我們亦訓練了可變循環模型 TML-d24-varloop-research,因為 Inkling 2 Mini 只支援固定的循環次數。為支援可變循環,TML-d24-varloop-research 的訓練採用了 1 至 5 次循環。TML-d24-varloop-research 主要以 3 次循環訓練,對 1、2、4 及 5 次循環的訓練較少。在這些循環次數下的表現,可能低估了專門針對這些次數訓練可達到的水平。詳情請參閲模型卡。我們亦已在 Hugging Face 公開這個模型。
以下是我們對循環執行如何影響可監察性的初步分析。總括而言,我們發現循環執行提升了這些模型在不以文字表達思維鏈的情況下可完成的工作,但在這個規模下,我們沒有發現其推理的可監察性有明顯下降。
不使用 CoT 的能力
首先,我們比較相同規模的循環式和非循環式模型,測量循環執行能帶來多少額外推理能力;比較的任務完全不使用 CoT 作答。我們使用Think Fast,這項基準測試會估算模型的無 CoT 時間範圍:以人類完成任務所需時間衡量任務長度,模型在不使用 CoT 的情況下以 50% 可靠度完成任務的時間範圍。這些模型並非經訓練以在不使用 CoT 的情況下回答問題。為引出無 CoT 答案,我們預先填入回應開頭,令模型必須直接作答,略過推理。其他引導方式,例如微調,可能帶來更高的無 CoT 表現,值得進一步探索。
一如預期,循環執行提升了無 CoT 能力,但這些提升最終會趨於平緩。TML-d24-varloop-research 的無 CoT 時間範圍由一次循環的 16 秒增至三次循環的 37 秒。部分提升大概來自循環執行所帶來的額外序列計算。超過三次循環後,時間範圍大致持平。有趣的是,該模型從未以超過五次循環進行訓練,但以十次循環執行並未令其表現明顯下降。
無 CoT 時間範圍
以人類秒數表示的無 CoT 時間跨度及 95% bootstrap 信賴區間。Inkling 2 Mini,3 次循環:41 秒,區間為 3 至 59.4 秒。TML-d24-varloop-research,1 次循環:16 秒,區間為 0.2 至 25.2 秒。TML-d24-varloop-research,2 次循環:26 秒,區間為 1.3 至 37.8 秒。TML-d24-varloop-research,3 次循環:37 秒,區間為 3.6 至 51.6 秒。TML-d24-varloop-research,5 次循環:42 秒,區間為 4.8 至 56.4 秒。TML-d24-varloop-research,10 次循環:40 秒,區間為 4.8 至 52.8 秒。
循環次數超過三次後,增益較小,而在大部分任務中,我們觀察到的表現相若。N-Hop Lookup 是一個例外;這項任務能清晰評估序列推理:模型會獲提供數個含有虛構條目的查找表,並須在不寫下任何內容的情況下,按次序完成一連串查找。我們發現,增加循環次數後,模型能跟隨更長的查找鏈,表現一直改善至十次循環。
N-Hop Lookup
在採用 CoT 的標準評估中,我們觀察到,增加循環次數主要有助多跳推理,而非回憶。長上下文檢索(MRCR)的增益最大,其次是數學及科學推理(HMMT、GPQA Diamond、HLE),以及長時程 Agent 任務(SWE-bench Pro、BrowseComp)。閉卷事實問答的表現幾乎不受循環次數影響(SimpleQA Verified、WorldVQA)。完整評估結果請參閲模型卡。
CoT 可監察性
接下來,我們透過兩項評估,測量隨着循環次數增加,模型的 CoT 是否會較少揭示其推理過程。首先,我們評估循環如何影響模型 CoT 的壓縮程度和可讀性。其次,我們測量模型 CoT 的可控程度,即模型能否刻意調整 CoT 以符合指定限制。為研究循環的影響,我們以 1 至 5 次循環執行 TML-d24-varloop-research。
請注意,TML-d24-varloop-research 在中期訓練期間只接受過 1 至 5 次循環的變動次數訓練,而其 RL 則以 3 次循環進行。因此,這些實驗無法説明在較高循環次數下接受 RL 訓練的模型會學到甚麼,而這類模型或會更積極地壓縮推理過程。更嚴謹的比較應在 RL 中涵蓋所有循環次數,這留待未來研究。
壓縮程度和可讀性。由於循環讓模型能在每個 token 上使用更多運算資源,我們預期模型只需較少 CoT token,便能達到相同表現。我們以 1 至 5 次循環執行變動循環模型,發現隨着循環次數增加,模型一般能在每個推理 token 預算下達到更高準確率,但超過 3 次後收益遞減。值得注意的是,GPQA Diamond 上的 token 效率由 3 次至 5 次循環略有提升,儘管模型只在 3 次循環下接受過 RL 訓練;這顯示即使沒有在該循環深度進行 RL,額外運算本身也能帶來一定程度的壓縮。
準確率與推理 token 數量
1 次循環2 次循環3 次循環5 次循環Inkling 2 Mini
GPQA Diamond 準確率(%)
GPQA Diamond。準確率(%)隨每個答案的平均推理 tokens 變化(對數刻度)。1 次循環:5,343 tokens 時為 61.4%,6,204 tokens 時為 63.3%,9,006 tokens 時為 66.4%,11,896 tokens 時為 67.8%,12,083 tokens 時為 71.4%。2 次循環:3,029 tokens 時為 73.2%,3,064 tokens 時為 74.4%,5,087 tokens 時為 77.5%,6,791 tokens 時為 80.7%,7,962 tokens 時為 81.5%。3 次循環:2,337 tokens 時為 77.5%,2,649 tokens 時為 77.3%,4,557 tokens 時為 80%,6,196 tokens 時為 81.3%,7,053 tokens 時為 82%。5 次循環:2,082 tokens 時為 74.4%,2,319 tokens 時為 77.3%,4,306 tokens 時為 81.8%,5,942 tokens 時為 84.1%,7,157 tokens 時為 82.8%。Inkling 2 Mini:1,599 tokens 時為 78%,1,887 tokens 時為 77.5%,5,638 tokens 時為 83.3%,13,287 tokens 時為 87%,16,342 tokens 時為 86.1%。
DeepSWE v1.1 準確率(已解決任務百分比)
DeepSWE v1.1。已解決任務的準確率(%)隨每項任務的平均推理 tokens 變化(對數刻度)。1 次循環:78,859 tokens 時為 0%,73,349 tokens 時為 0.2%,74,103 tokens 時為 0.2%,76,607 tokens 時為 0%,73,840 tokens 時為 0%。2 次循環:54,598 tokens 時為 20.5%,59,431 tokens 時為 20.4%,77,348 tokens 時為 26.8%,105,142 tokens 時為 26.8%,130,256 tokens 時為 29.9%。3 次循環:46,283 tokens 時為 32.5%,49,500 tokens 時為 38.1%,79,662 tokens 時為 42.6%,118,100 tokens 時為 40.9%,151,774 tokens 時為 43.2%。5 次循環:44,017 tokens 時為 35.6%,48,395 tokens 時為 38.1%,85,385 tokens 時為 40.8%,123,903 tokens 時為 45.8%,159,133 tokens 時為 49.5%。Inkling 2 Mini:32,902 tokens 時為 28.8%,35,303 tokens 時為 29.3%,87,893 tokens 時為 44.2%,110,250 tokens 時為 42.2%,110,660 tokens 時為 44.6%。
觀察到的思維鏈(CoT)壓縮引出一個關於可監察性的問題:推理篇幅縮短後是否仍然易讀,還是省略了模型思考過程的重要細節?我們比較了可變循環模型在 GPQA Diamond 中五種循環次數下均答對的問題推理軌跡。5 次循環的推理長度不到 1 次循環的一半(平均 1,661 對 3,703 tokens),但可讀性並未降低:句子長度及英文詞典收錄詞語所佔比例均沒有改變。初步分析顯示,差異在於模型更直接,解答時較少回頭修正。以下例子以一道簡單問題説明這個差異。
| 指標 | 1 次循環 | 3 次循環 | 5 次循環 |
|---|---|---|---|
| 平均推理 tokens | 3703 | 1731 | 1661 |
| 每句平均詞數 | 8.9 | 8.7 | 8.7 |
| 英文詞典收錄詞語所佔比例 | 94.6% | 94.5% | 94.4% |
| 不確定性指標例如「等等」、「其實」和「嗯」 | 9.7 | 3.9 | 3.6 |
某個非閏年的 3 月 1 日是星期二。同一年 5 月 20 日是星期幾?請將最終答案單獨放在最後一行,格式為 ANSWER: <value>。
1 次循環582 個推理 tokens
思考中……(節錄)
Day of year March 1 = 32 (Jan 1=1, Feb 1=32, Mar 1=60? Let's index Jan1 day 1, Feb1 day 32, Mar1 day 60 (since leap? non-leap: …). Wait Jan 1 day1; Jan31 day31; … Difference = 80 days (May20 - Mar1 = 80 days later). 80 mod 7 = 5 (70 remainder 10 -> 80 mod7=3? Wait 7*11=77 remainder3. Let's compute: Mar1 to Apr1 =31 days … Total 31+30+19=80. Yes 80 mod7 = 3 because 77+3.
由 3 月 1 日至 5 月 20 日相隔 80 日。由於 80 ≡ 3 mod 7,而星期二加 3 日等於星期五。
ANSWER: 星期五
5 次循環240 個推理 tokens
思考中……(節錄)
March 1 to April 1 = 31 days (since March has 31). April 1 to May 1 = 30 days. May 1 to May 20 = 19 days. Total 31+30+19 = 80 days. Mod 7: 80 mod 7 = 3 (77 multiple, remainder 3). Tuesday + 3 days = Friday? Let's map: Tue +1 Wed, +2 Thu, +3 Fri. Answer Friday.由 3 月 1 日至 5 月 20 日相隔 80 日。由於 80 ≡ 3 mod 7,星期二加 3 日等於星期五。
ANSWER: 星期五
可控性。模型逃避監察的一種方式,是引導其思維鏈避開任何會被監察器標記的內容。CoT-Control-QA 評估《推理模型難以控制其思維鏈》,Yueh-Han 等人,2026會以 GPQA、HLE 和 MMLU-Pro 的問題,配合關於思維鏈本身的指示(例如避免使用問題中的某個關鍵詞),來衡量這項能力。思維鏈越長,一般越難控制,因此我們合併五種推理強度設定(0.1、0.2、0.7、0.9 和 0.99)的回應,並展示思維鏈長度相同時的可控性。
Inkling 2 Mini 和 TML-d24-varloop-research 對其思維鏈的控制能力都較弱。在長度為 750–1,250 個 token 的思維鏈中,Inkling 2 Mini 和 TML-d24-varloop-research(進行 3 次循環)遵從指示的比例最高只有 0.1%;Inkling 2 Small 為 0.3%、Inkling-Small 為 0.4%,Qwen3.8-27B 則為 1.3%。由於可控率非常低,這項評估無法區分不同循環次數下的可控性。
思維鏈可控性
Agentic 情境下的可監察性
為了衡量 Agentic 情境下的可監察性,我們使用了 LinuxArena。這項對照評估會衡量攻擊者模型在被要求執行一項符合現實情況的軟件工程任務時,能否在不被察覺的情況下執行惡意附帶任務。由於已發布的模型會拒絕許多附帶任務,我們評估了 Inkling 2 Mini 僅提供協助的微調版本。就絕對表現而言,Qwen3.8-27B 等模型很容易監察這個模型和 TML-d24-varloop-research;在我們的評估中,這些監察模型幾乎偵測到所有附帶任務的嘗試。為了比較可監察性的相對排名,我們測試了較弱的模型 Qwen3.6-35B-A3B 作為監察器。
LinuxArena 隱蔽率
監察器只能查看工具呼叫及輸出時,會漏掉相當多攻擊。不過,我們看不出循環次數與結果之間有明確趨勢。
在規模更大的模型中,Agentic 情境下的可監察性將是重要的追蹤指標,尤其是採用能進行更多未以言語表達的思考的架構;我們鼓勵繼續研究循環推理在這種情境下的影響。
機制可解釋性
可監察性的目標是瞭解模型正在做甚麼,而我們主要透過閲讀模型以文字表達的推理來達成這點。直接研究模型內部的計算過程,即機制可解釋性的目標,則是另一種做法。由於循環式 Transformer 有更多計算在內部進行,我們認為這是可解釋性研究中特別有趣且重要的研究環境,並希望我們的循環式模型能成為對研究社羣有用的資源。
我們正與National Deep Inference Fabric (NDIF)合作,讓可解釋性研究人員更容易使用這些模型。我們亦讓可解釋性研究實驗室Goodfire提早使用我們的循環式模型。他們正致力從機制層面理解循環式模型,並已在此整理初步研究結果。
立即試用 Inkling 2 Mini
高效智能令 Inkling 2 Mini 成為推理速度至關重要的場景,或在本機硬件上執行時的理想選擇。推出時,我們支援透過 Ollama 在任何配備至少 32GB RAM 的 Mac 系統(MacBook、Mac Mini)上執行 Inkling 2 Mini。Inkling 2 Mini 採用原生 NVFP4 訓練及推理精度,可在 NVIDIA 的 DGX Spark 桌面 AI 電腦上高效執行。可透過 Unsloth 和 llama.cpp 取得量化 GGUF 版本,以便在本機進行推理。
Inkling 2 Mini 可在 Tinker 上用於推理和微調,亦可在 Tinker Playground 上用於聊天。SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo 和 TokenSpeed 均支援開源推理;SkyRL、Miles 和 NVIDIA AutoModel 則支援 RL 微調。Inkling 2 Mini 及其可變循環版本的完整權重可在 Hugging Face 取得。
我們致力讓人們使用功能強大的模型、讓他們按自己的需要改造模型的工具,以及能增進公眾對 AI 理解的研究。Inkling 2 Mini 讓研究人員研究循環式 Transformer,也讓任何人都能在自己的手提電腦上,以模型訓練時所用的精度執行一個能力出眾的模型。
來源:Thinking Machines Lab:News · thinkingmachines.ai