Thinking Machines Lab 發佈可在筆電運行的 Inkling 2 Mini 開放權重模型
Thinking Machines releases Inkling 2 Mini, a looped AI model for laptops
Thinking Machines Lab 發佈 Inkling 2 Mini,這款開放權重模型約佔 20GB 記憶體,可在筆電運行。
文章並列 Inkling 2 Mini 的基準成績、循環計算取捨與監察測試結果,呈現其本機運行效率和推理可監察性的不同面向。
Thinking Machines Lab 已推出 Inkling 2 Mini,這款開放權重模型體積小巧,足以在手提電腦上運行。該實驗室表示,在 DeepSWE 等程式編碼基準測試中,它領先所有參數少於 100bn 的開放權重模型。Mira Murati 創辦的初創公司於星期五公佈了這款模型。
它的訣竅是循環執行。Inkling 2 Mini 會為每個 token 將中間層運行三次,因此能在寫下較少內容的同時進行更多推理。該實驗室也明言,這項提升伴隨着取捨。
「循環執行讓模型無須寫下推理過程,也能進行更長時間的推理,這對監察很重要。」Thinking Machines 寫道。
專為循環執行而打造的模型
Inkling 2 Mini 是一款混合專家模型,總參數量為 26.4bn,每個 token 啟用 3.4bn 個參數。計入循環次數後,每個 token 的權重啟動量為 5.4bn。它有 24 層,分成四個各有六層的區塊。第一和最後一個區塊各運行一次,兩個中間區塊則各運行三次。
整個模型約佔用 20GB 記憶體。大部分權重均以 Nvidia 的 4-bit NVFP4 格式訓練及運行,因此之後轉換格式不會造成損失。該實驗室亦在訓練期間削減模型三分之二的專家網絡,然後使用較大型內部 Inkling 模型的 1tn 個 token 重新訓練。
循環執行在該實驗室自己的測試中發揮了作用。沒有循環執行的版本,訓練成本低 7.5%,但在運行時需要多 140% 算力,才能達到循環版本的表現。
為了展示模型的能力,該實驗室的研究人員帶它搭飛機。在飛行模式下於 MacBook Pro 離線運行時,它只用了幾分鐘便建成一個可玩的飛行模擬器。另一個示範中,單一部離線 MacBook 執行了模型建造的像素小鎮內全部 20 名村民。
以基準測試衡量,成本更低、速度更快
該實驗室報告,模型在 DeepSWE v1.1 的得分為 48.2%,在一組難度較高的 SWE-bench Pro 任務中得分為 77.9%。Alibaba 的 Qwen3.8-27B 在相同測試中的得分分別為 42.2% 和 73.8%。模型權重已上載至 Hugging Face;記憶體至少有 32GB 的 Mac 可透過 Ollama 運行這款模型。
獨立測試模型的 Artificial Analysis 在其 Intelligence Index 上給 Inkling 2 Mini 評分 20。它的活躍參數量約為 Qwen3.8 27B 的五分之一,得分卻與之相同。這款模型以 Apache 2.0 授權釋出,上下文視窗為 1m 個 token。
這家基準測試機構發現,與 Qwen3.8 27B 相比,Inkling 2 Mini 每項任務的成本約低六倍,速度約快四倍。每項任務耗資 $0.59,需時九分鐘;Qwen3.8 27B 則耗資 $3.53,需時 38.2 分鐘。同等得分下,它使用的輸出 token 亦多約 38%。作為比較,OpenAI 的 GPT-6 Luna 每項任務耗資 $0.15,得分為 28。
該實驗室也列出模型的弱點。Inkling 2 Mini 並非在多輪對話或處理包含多項限制的指令方面表現最佳的小型模型;在這些方面,Qwen3.8-27B 的表現更好。在高難度推理測試中,它落後於較大型模型,而循環執行也無助它記住更多事實。
還有人看得到它的思考過程嗎?
AI 實驗室監察模型的其中一種方式,是閲讀模型寫下的推理過程,這稱為思維鏈。循環模型可以在內部進行更多推理,監察者卻看不到這些內容。OpenAI 的 Astra 在 9 月於基準測試中表現出色時,也引發了同一疑慮。
Thinking Machines 亦會推出一款研究模型,讓它可以循環執行一至五次,供外界研究其影響。在該實驗室的測試中,循環五次時,模型的推理長度不到循環一次時的一半,分別為 1,661 個 token 和 3,703 個。推理內容的可讀性則維持不變。增加循環次數並未令模型更擅長向監察者隱藏蓄意破壞行為。
「在這個規模下,我們看不到其推理可監察性有任何有意義的下降,」該實驗室寫道。
該實驗室稱,這些結果屬初步結果。研究模型只經過三個循環的強化學習訓練,而訓練得更深入的模型可能會進一步壓縮其推理過程。只觀察工具呼叫和輸出的監察器,也漏掉了相當數量的攻擊。
這次發布緊接着Inkling 於 7 月推出的首個模型。該實驗室承認,這個大型開放模型並非最佳模型。它在本地裝置上的新競爭對手包括Recursive 的 Flint,後者亦出現在該實驗室自己的編碼排行榜上。
來源:TNW · thenextweb.com