跳到正文
Hugging Face Blog·· 2 天前精選AI 評分71

Inkling 2 Mini 發佈,面向本地部署的多模態 MoE 模型

Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

AI 導讀

Thinking Machines Lab 與 Hugging Face 發佈 Inkling 2 Mini,一款支援 1M-token 上下文及圖像、文字輸入的本地多模態 MoE 模型。

推薦理由

文章拆解 Inkling 2 Mini 如何重用中間層權重、透過跨輪訊息逐步修正計算,讓 24 個實體層執行相當於 48 個邏輯層的計算,呈現循環式架構的設計。

正文 · 繁體中文

簡而言之:Inkling 2 Mini 是一款新型循環式 Transformer 模型。它是多模態混合專家模型,實體總參數約為 26B,每個 token 啟用 3B 個參數。模型運用一種巧妙方法增加容量:部分層會以循環方式重複執行三次,令模型的運作方式如同擁有更多參數。它支援 1M-token 上下文長度,並接受圖片和文字輸入。Thinking Machines Lab 以混合精度格式發布此模型,專家權重採用 NVFP4 和 MXFP8。模型亦隨附 DSpark 草稿模型,只需少量額外記憶體,便可進一步提升速度。

Inkling 2 Mini 比 Inkling 2 Small 小得多,專為本機 AI 配置而設。我們認為這是一款令人耳目一新的出色本機模型。在我們的 vibe 測試中,它至少可媲美 Qwen 3.8 27B。仍需更多驗證,但我們對這次發布感到非常興奮!

我們提供 transformers、Llama App (llama.cpp) 和 MLX 支援。SGLang 亦為在數據中心硬件上進行的正式部署提供 day-zero 推理支援。

本文會介紹 Inkling Mini 的不同之處、我們的一些 vibe 測試,以及如何在你的配置中使用它。

Inkling 2 Mini 有哪些新特點?

Inkling 2 Mini 是一款混合專家模型,包含 24 個解碼器層,但中間 12 層會在循環中執行三次。因此,模型的運作方式如同擁有 48 (6+ 3*12 + 6) 個邏輯層,實際上卻只有 24 個實體層。

與 Inkling 2 Small 相似,Inkling 2 Mini 每個 token 都會經過 48 次層訪問。其隱藏層維度為 2,304,而非 4,608。每次訪問一層時,兩個版本都會將 token 路由至 8 個專家;但 Mini 是從每層 128 個專家中挑選,Small 則是從 384 個中挑選。
解碼器會執行一次第 0–5 層、三次第 6–17 層,以及一次第 18–23 層。第 6–17 層的三次運算都會重用相同權重。

Nanbeige 等架構以往曾探索循環式設計,但 Inkling 2 Mini 採用了一種有趣的方法。每次執行循環核心(第 6–17 層)時,起點都是相同輸入,即前六層的輸出。各遍之間的資訊透過跨遍 messages 傳遞。每個循環層都會使用自身學習到的查詢,從上一遍的輸出讀取訊息(查詢、鍵、值及 MLP 輸入各自讀取一則訊息)。小型閘控控制器接着會同時查看該層目前的輸入和訊息,決定要忘記多少目前輸入,以及要加入多少訊息。因此,每一遍都會進一步完善上一遍的計算結果。

Inkling 2 Mini architecture

  • 每個六層區塊由五個滑動視窗層和一個完整注意力層組成。本地視窗最多可容納 1,024 個 token。
  • 注意力機制使用 24 個查詢頭和 8 個 KV 頭,並採用學習式相對位置 logits、學習式 sink,以及輸出閘門。完整注意力層會使用動態鍵和值卷積。
  • 路由器會為每個 token 從 128 個 SwiGLU 專家中選出 8 個,將所選分數正規化,並把權重乘以 8。
  • 在第 2 和第 3 遍中,每個核心層都會關註上一遍的兩個殘差區塊。四個 rank-64 閘門會將不同訊息混入查詢、鍵、值及 MoE 輸入。

文字解碼器的寬度為 2,304,每個專家的中間層寬度為 1,152。重用核心權重可減少檢查點儲存的不同層數量。模型仍會執行全部 48 次層訪問,而每次訪問都會保留自己的 KV 和短卷積狀態。

除了旗艦型號 Inkling 2 Mini,亦發布了一個研究版本。它採用相同架構,但這個變體經訓練,可接受可變的迴圈執行次數 🤯。將迴圈次數設為 1 或 2 次而非 3 次,可大幅提升推理速度,但生成結果的品質可能稍低。我們測試過這個變體,確認它能正常運作,但尚未深入評估。

基準測試結果

Inkling 2 Mini 在 Artificial Analysis Intelligence Index v5 (AAv5) 中達到同級最佳水平,在多個不同類別的基準測試中亦然。與 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,Inkling 2 Mini 在 48 項基準測試中有 32 項領先。這些測試涵蓋編碼和自動化研究、Agent 式搜尋和知識工作中的工具使用、視覺理解和創作、推理和知識,以及安全和對齊。完整的基準測試和評分清單,請參閲 Inkling 2 Mini 模型卡。

Inkling 2 Mini 是出色的本機編碼助手。它在 FrontierCode v2.0 中領先,與 Qwen3.8-27B 在 Terminal-Bench 4.0 中並列,並在 AutomationBench-AA v1.0.6 中落後於 Qwen。以下是我們挑選的幾項編碼和知識工作亮點。請注意,AA Briefcase 採用 ELO 評分,分數越高越好。

Inkling 2 Mini selected benchmarks

推理支援

本節介紹如何在 transformers、llama.cpp、MLX 和 SGLang 中使用 Inkling 2 Mini。

Transformers

我們支援 Inkling 2 Mini(固定迴圈)和 TML-d24-varloop-research(可變迴圈)研究版本。

使用 Inkling 2 Mini 執行固定迴圈

你可以使用 AutoModelForMultimodalLM 類別。

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling-2-Mini"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
)

messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]

inputs = processor.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

可變迴圈

若要設定研究檢查點的迴圈次數,可按以下方式修改 text_config 中的 loop_num_passes。下方範例使用兩次迴圈。

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/TML-d24-varloop-research"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    text_config={"loop_num_passes": 2},
)

messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]

inputs = processor.apply_chat_template(
    messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", 
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

圖像與文字

如要使用圖像提示詞,請將任一範例中的 messages 替換為以下清單,然後照常執行推理。

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "/path/to/image.jpg"},
            {"type": "text", "text": "What is in this image?"},
        ],
    }
]

推理力度

將 reasoning_effort="medium" 傳入 processor.apply_chat_template(...),即可設定要求的推理力度。聊天範本會以系統訊息形式,將數值加入提示詞。預設值為 high (0.9)。

inputs = processor.apply_chat_template(
    messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", 
).to(model.device)

可用級別包括 none (0.0)、minimal (0.1)、low (0.2)、medium (0.7)、high (0.9;預設)、xhigh (0.99) 和 max (0.99)。你亦可傳入 0.0 至 0.99 之間的數值,例如 reasoning_effort=0.35。

工具呼叫

讓模型呼叫一些工具。

在此範例中,我們詢問模型指定地點目前的氣温。我們也在提示詞中提供用來完成這項工作的工具(get_current_temperature)。模型要求呼叫工具,我們代它呼叫工具,然後將輸出加入下一組指令。模型會使用工具的輸出,並提供最終結果。

如想進一步瞭解工具呼叫,建議參閲官方文件。

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")


def get_current_temperature(location: str, unit: str):
    """
    Get the current temperature at a location.

    Args:
        location: The location to get the temperature for, in the format "City, Country"
        unit: The unit to return the temperature in. (choices: ["celsius", "fahrenheit"])
    """
    return 22.0  # A real function would call a weather API here


def ask(messages):
    inputs = processor.apply_chat_template(
        messages, tools=[get_current_temperature], reasoning_effort="low", tokenize=True, return_dict=True, return_tensors="pt"
    ).to(model.device)
    output = model.generate(**inputs, max_new_tokens=1024)[0][inputs["input_ids"].shape[-1] :]
    parsed = processor.parse_response(output, prefix=inputs["input_ids"][0])
    return parsed


messages = [{"role": "user", "content": "Hey, what's the temperature in Paris right now?"}]

reply = ask(messages)
call = reply["tool_calls"][0]["function"]
print("Model calls:", call["name"], call["arguments"])  # the model fills in the arguments itself

temperature = get_current_temperature(**call["arguments"])
messages += [reply, {"role": "tool", "name": call["name"], "content": str(temperature)}]
print(ask(messages)["content"])

# Model calls: get_current_temperature {'location': 'Paris, France', 'unit': 'celsius'}
# Right now in Paris it’s about **22°C** (roughly **71.6°F**).

Llama App 和 Llama.cpp

Llama App 讓你輕鬆在 macOS(從選單列)或 Windows(系統匣)上執行和管理本機語言模型。它以 llama.cpp 為基礎,並由同一團隊開發。這款應用程式亦提供本機 OpenAI 相容 API,方便與編碼 Agent、編輯器和指令碼整合。

Inkling 2 Mini 發布時,我們為兩個模型均提供 GGUF 4-bit (IQ4_NL) 和 8-bit (Q8_0) 量化版本。

如果你使用 Linux,或想從 CLI 提供模型服務,可以為固定迴圈模型執行以下命令:

llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

如要執行可變迴圈模型,可以執行

llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL

如要載入 8-bit 權重,請將後綴改為 :Q8_0。

在這裏,我們要求 4-bit 模型為一款名為 plant therapy 的 SaaS 產品製作網站,讓植物配對至持牌治療師。模型的自主性相當高,不但自行製作網站視覺效果所用的 SVG,甚至建立了配對邏輯。

SGLang

Inkling 2 Mini 在 SGLang 中提供 Day 0 支援。你可以安裝最新版本的 SGLang,並執行以下指令啟動伺服器。請先確保在 SM103 上執行。

export MODEL="thinkingmachines/Inkling-2-Mini"

python -m sglang.launch_server \
  --model-path $MODEL \
  --served-model-name inkling \
  --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \
  --tp 1 --page-size 128 --grammar-backend xgrammar \
  --host 0.0.0.0 --port 30000

伺服器啟動後,你應該可以按以下方式呼叫 API

curl -s localhost:30000/health_generate && echo OK
curl -s localhost:30000/v1/models | python -m json.tool

curl -s localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
        "model": "inkling",
        "messages": [{"role": "user", "content": "What is 17 times 24?"}],
        "max_tokens": 512,
        "reasoning_effort": "low"
      }' | python -m json.tool

亦可透過設定 --enable-multimodal 啟用多模態功能。

推測解碼

SGLang 可以使用三層 DSpark 草稿模型,提出供目標模型驗證的 token。草稿模型會讀取解碼器第 5、23 和 41 次迭代的輸入,以及索引 48 的最終正規化狀態。加入草稿權重後,將 --speculative-algorithm DSPARK --context-length 131072 加入伺服器指令。

我們測試了啟用和未啟用推測解碼的模型,並在單張 NVIDIA B300 GPU 上測量生成速度。每個請求都有 1,024 個 token 的提示詞,並恰好生成 1,024 個 token;並行數分別為 1、4、16 和 64。

顯示 SGLang 基準測試指令碼

MODEL=thinkingmachines/Inkling-2-Mini

for TAG in base mtp; do
  EXTRA=""; [ $TAG = mtp ] && EXTRA="--speculative-algorithm DSPARK"

  # Start the server (with or without MTP)
  python -m sglang.launch_server --model-path $MODEL \
    --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \
    --tp 1 --page-size 128 --context-length 131072 --max-running-requests 64 \
    --port 30000 $EXTRA > $TAG.log 2>&1 &
  until curl -sf localhost:30000/health_generate > /dev/null; do sleep 10; done

  # Benchmark at increasing concurrency
  for C in 1 4 16 64; do
    python -m sglang.bench_serving --backend sglang --port 30000 --model $MODEL \
      --dataset-name random --apply-chat-template \
      --random-input-len 1024 --random-output-len 1024 --random-range-ratio 1.0 \
      --num-prompts $(( C*4 < 32 ? 32 : C*4 )) --max-concurrency $C \
      --output-file results_$TAG.jsonl
  done

  kill %1; wait
done

SGLang throughput and time per token with and without MTP

MLX

我們已將 MLX 支援合併至 mlx-lm 專案,包括多模態圖像和文字輸入,並透過 mlx-community 組織分享量化版本。

MLX 推理也支援使用原始檢查點。在這種情況下,系統會直接使用原生 nvfp4 + mxfp8 量化方案,無須重新轉換:你可以獲得作者原本預期的品質。

以下是 CLI 指令範例:

mlx_lm generate --model thinkingmachines/Inkling-2-Mini --image image.jpg --prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" -m 1000

示範與 Vibe 測試

我們讓 Inkling 2 Mini 嘗試了許多有趣的任務,請看本節的內容。

3D 着色器飛越動畫

相同的提示詞生成了兩段日落場景飛越動畫,場景中有程序生成的山脈和反光水面;兩段動畫均以單一 WebGL fragment shader 渲染。

日落山脊(Inkling 2 Mini)

靜海之上(Qwen 3.8 27B)

顯示共用的飛越動畫提示詞

打造你能做到最出色的原創即時場景:以緩慢而具電影感的鏡頭,飛越程序生成的山脈、穿過立體雲層,再低空掠過映照倒影的水面;所有景物均由日落照亮。請在目前目錄中製作一個獨立完整的 index.html,使用單一 WebGL fragment shader 全螢幕渲染所有內容,並且完全以程式碼生成(不得使用任何紋理、圖像、字型、程式庫、外部檔案或網絡請求)。場景必須能在桌面版 Chrome 以 1920x1080 流暢執行,目標是在桌面 GPU 上達到 60 fps;並須具備自動解析度縮放後備機制,當影格率下降時降低內部渲染解析度,而且飛行必須能無限持續,不出現故障。要檢查成果,請執行 node shot.cjs index.html shot.png 6(第三個引數是等待秒數;如 3,12,25 這類以逗號分隔的清單會按每個時間點儲存一張截圖;可選的第四個引數用來設定大小,預設為 1280x720):它會在無頭模式的 Chrome 中渲染頁面、儲存截圖,並顯示 WebGL 渲染器、約略影格率及任何主控台錯誤;然後查看圖像。這部機器上的無頭渲染器可能只使用軟件,因此其影格率可能遠低於真正桌面 GPU 的表現,這並非目標。請自行判斷何時完成,然後簡短描述你製作的內容。

躍然眼前的星夜

Van Gogh’s original Starry Night painting, with a swirling blue sky above a village

Vincent van Gogh,《星夜》(1889)

Inkling 2 Mini 重現版

我們在 Pi 編碼環境中,向 Inkling 2 Mini 提供了一張梵高畫作的參考圖,以及一個截圖輔助工具。Inkling 編寫了一個自包含的 HTML 頁面,內含單一 WebGL2 片段着色器。着色器直接以程式碼繪製場景,不會載入參考圖或任何其他素材。它利用時間變化,讓旋轉的天空、星星的光芒、搖曳的柏樹,以及村莊窗戶的閃爍動起來。

Inkling 經過 24 輪截圖檢查,渲染並檢視作品。我們在 Apple M4 Max 上以 1080p、60 fps 逐格錄下最終動畫。

顯示提示詞

在這個資料夾中,starry-night.jpg 是 Vincent van Gogh 的《星夜》(1889 年,屬公有領域)。將它重現為一幅會動的畫作:製作一個自包含的 index.html(所有程式碼均內嵌,不使用外部檔案、程式庫或網絡請求),填滿瀏覽器視窗,並在桌面版 Chrome 以 1920x1080 流暢運行。所有內容都必須以程式碼程序化生成,例如使用 WebGL 着色器;頁面不得載入、嵌入或取樣 starry-night.jpg 或任何其他圖片。忠於畫作的構圖和色調(天空中巨大的螺旋與旋流、帶光環的星星、發光的新月、左側火焰般的深色柏樹、起伏的山丘,以及有教堂尖塔的村莊),以梵高濃厚而有方向性的筆觸呈現,並讓畫作活起來:天空的旋流流動,星星和月亮明暗脈動,柏樹搖曳,村莊窗戶發光並閃爍。盡可能製作出最令人驚豔的效果。另有輔助工具:執行 node shot.js --help,查看如何在不同時間為 index.html 擷取截圖;將截圖與參考圖對照,並持續改進,直到滿意為止,然後以簡短摘要説明你的作品。

由草圖到應用程式

Hand-drawn Trip Split wireframe with Expenses, Add expense, and Balances screens

輸入草圖

Inkling’s Trip Split app showing three trip expenses and a $405 total

生成的 Trip Split 應用程式

我們在 Pi 編碼環境中,向 Inkling 2 Mini 提供了一張手繪 Trip Split 線框圖的照片,以及一段單段落提示詞。Inkling 使用草圖上的標籤、示例開支和手寫備註,在單一 HTML 檔案中以原生 CSS 和 JavaScript 建立支出清單、加入支出表單和結餘檢視畫面。更改開支時,應用程式會更新總額和結餘、建議用來結清旅程開支的付款安排,並將資料儲存在瀏覽器的 localStorage,讓資料在重新載入後仍然保留。

我們進行了三次互相獨立的 Inkling 測試,並使用 Playwright 逐一點按每個版本;需要視覺判斷時,則檢查截圖。此處展示的第一次測試通過了全部 13 項檢查。加入草圖中的 $90 晚餐開支後,總額由 $405 增至 $495,並重新計算每人應付的金額。

顯示提示詞

這個資料夾中的 photo sketch.jpg 是一位產品設計師手繪的小型應用程式線框圖。請把它真正開發成應用程式,盡你所能打造出最出色、最具原創性、達到產品級品質的版本:在這個資料夾中建立一個完全獨立的 index.html,只使用原生 HTML、CSS 和 JavaScript(不可使用框架、CDN、外部檔案或網絡請求;可以使用 localStorage),並確保它能在桌面版 Chrome 的 1920x1080 視窗中順暢運作。把紙上的所有內容都視為規格:每個畫面、標籤、按鈕和數字、示例資料,以及每一則紅色註記,都描述了必須實際運作的行為;至於視覺設計、字體和動態效果,則由你發揮,打造得賞心悦目。請仔細查看草圖,並再次運用你的視覺能力檢查成果:node shot.cjs --help 説明瞭一個現成的輔助工具,它會在無頭 Chrome 中,於點擊或執行其他 JavaScript 步驟後,按任何視窗尺寸為 index.html 擷取畫面(如想使用自己的腳本,也已安裝 Playwright);你可以使用 read 工具查看任何截圖。請逐一點擊測試每項功能,將每個畫面與草圖比較,並持續改進,直到你完全滿意;然後簡短總結你完成了甚麼。

4-bit 模型

我們請 4-bit GGUF 量化版 Inkling 2 Mini(IQ4_NL)為一款名為 plant therapy 的 SaaS 製作網站,讓植物配對持牌治療師。

這個模型相當自主,不但為網站視覺設計自行製作 SVG,還建構了配對邏輯;它只根據一段簡短提示詞便完成了所有工作:「你可以為我的 SaaS 製作一個網站嗎?它叫 plant therapy,會為室內植物配對持牌治療師,讓植物不會枯死,並以單一 HTML 檔案返回。」

「把自己變成瀏覽器代理」

我們將 Inkling 2 Mini 與 Pi 編碼代理配合,利用 Helium、Chromium 和 Hugging Face Sandboxes,讓它自行建構成瀏覽器代理。我們在這個儲存桶中提供了執行軌跡和最終檔案(可用作瀏覽器代理)。

總結

我們非常高興與 Thinking Machines Lab 合作推出 Inkling 2 Mini。這是一款效能出色、適合本機環境使用的中型模型。歡迎試用這個模型,並在留言中告訴我們你的想法!

來源:Hugging Face Blog · huggingface.co