LFM2.5-24B-A2B 面向快速、私隱保護的本機智能體

LFM2.5-24B-A2B 是一個具備 24B 參數的推理模型，但僅啟用 2B 參數，專為在裝置上快速、私隱安全地運行 Agent 而打造。它會先思考再作答、呼叫工具，並在常用的 Agent 執行框架中處理多步驟任務。由於每個 token 僅啟用 2B 參數，每個推理 token 的成本都很低，因此你可以在自己的硬件上持續運行 Agent。

同級最佳 Agent：在 Agent 型任務及工具使用任務上，表現可媲美 Qwen3.6-35B-A3B；後者的總參數和活躍參數均多約 50%。此模型在 LiveClaw 得分為 48.09，對比之下，Qwen3.6-35B-A3B 得分為 38.19。
以 MoE 速度進行推理：每次作答前都會先思考。每個 token 僅啟用 2B 參數，因此每個推理 token 的成本都很低。
高效推理：在 Apple M5 Max 上達到 184 tok/s，並可在單張 NVIDIA B300 GPU 上達到最高 21K output tok/s。

我們如何打造一個僅啟用 2B 參數的推理 Agent

LFM2.5-24B-A2B 以 LFM2-24B-A2B 為基礎，並沿用其架構：40 層、每個 MoE 區塊有 64 個專家並採用 top-4 路由，以及相同的閘控短卷積與 GQA 混合架構。上下文視窗由 32K 擴大至 131K tokens；此外，透過原位分詞器擴展，詞彙表由 65K 加倍至 128K tokens，以改善非拉丁文字的分詞效果。與前代模型不同，這是純推理模型，會在提供最終答案前明確生成思維鏈。

預訓練規模由約 17T tokens 擴大至約 33T tokens。其後的中期訓練在 32K 上下文長度下加入 2T tokens，並提高推理、數學、程式碼、指令遵循及多語言文字的比重；另在 131K 上下文長度下加入 300B tokens，並提高長上下文資料的比重。兩個階段均涵蓋工具呼叫及多輪互動軌跡。後訓練分為五個階段，將基礎模型打造為 Agent：

監督式微調（SFT）
教師模型專項化
多領域同策略蒸餾（MOPD），非 Agent 任務：在非 Agent 任務上對專項化教師模型進行蒸餾。
MOPD，Agent 型任務：第二階段蒸餾，專注於 Agent 型任務。
Agent 型強化學習（Agentic RL）：在 Agent 執行框架中訓練模型，例如 OpenClaw、Hermes Agent、Pi 及 OpenCode。

基準測試結果

我們以 16 項基準測試評估 LFM2.5-24B-A2B，並與 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 及 Nemotron-3.5-Lightning 比較。測試涵蓋工具使用及 Agent 工作流程、知識、指令遵循、數學及程式編寫。它是組別中規模最小的模型，但表現可媲美總參數和活躍參數均多約 50% 的 MoE 模型。

基準測試	LFM2.5-24B-A2B	Qwen3.6-35B-A3B	Gemma-4-26B-A4B-it	Nemotron-3.5-Lightning (30B-A3B)
AutomationBench	27.69	8.72	5.46	2.61
BFCLv4	65.01	65.00	57.09	53.78
ToolSandbox	80.71	75.02	72.09	75.13
LiveClaw	48.09	38.19	41.25	37.72
PinchBench	83.18	89.93	77.12	84.20
τ³-Bench Banking	8.04	7.63	4.54	7.01
WebArena Verified	26.75	37.62	25.62	28.69
GPQA Diamond	74.42	83.69	74.90	72.42
AA-Omniscience	-24.90	-24.35	-59.39	-3.58
HLE	7.40	7.69	8.57	5.65
IFEval	96.75	93.06	92.00	94.19
IFBench	74.69	64.21	47.44	71.67
Multi-IF	84.38	81.53	82.19	82.34
MATH-500	96.04	96.73	95.66	96.40
SWE-Bench Verified (OpenCode)	51.00	66.20	25.80	53.40
SciCode	32.71	37.35	35.42	27.78

*所有模型均使用 vLLM 評估，並採用各基準測試建議的生成參數。

對你的應用程式而言，LFM2.5-24B-A2B 的優勢在於工具使用和遵循指示。在八項工具使用及智能代理基準測試中，LFM2.5-24B-A2B 在五項（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking）領先或追平其他模型；在 AutomationBench 上，其得分更超過次佳模型的三倍。在全部三項指示遵循基準測試中，它亦均居首。較大型模型在 GPQA Diamond、HLE 和 AA-Omniscience 等知識密集型基準測試，以及 SWE-Bench Verified (OpenCode) 和 SciCode 等編碼基準測試中仍具優勢，因此處理知識密集型工作負載時，建議將 LFM2.5-24B-A2B 配合檢索或網絡搜尋使用。

這些結果令 LFM2.5-24B-A2B 成為強大的基礎模型，適合需要推理、呼叫工具，並在你的裝置上穩定執行的 Agent。

CPU 和 GPU 上的推理速度

LFM2.5-24B-A2B 推出首日即獲推理生態系統支援，包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

邊緣推理。在受比較的 MoE 模型中，LFM2.5-24B-A2B 速度最快，在 M5 Max 上以 184 tokens/s 解碼，在 Ryzen AI Max+ 395 上則達 114 tokens/s。其速度最高可達次佳模型的 1.7 倍，同時記憶體用量最低。

GPU 推理。LFM2.5-24B-A2B 是同等規模模型中速度最快的一款，在單一 B300 上高並行度執行時，每秒輸出超過 21K 個 tokens。

如何使用 LFM2.5-24B-A2B

當你需要能夠推理、呼叫工具，並在你的裝置上穩定執行的 Agent 時，可選用 LFM2.5-24B-A2B。

安裝 transformers 的最新版本（兼容 transformers>=5.0.0）：

pip install -U transformers

然後載入並執行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
#   attn_implementation="flash_attention_2" <- uncomment on compatible GPU
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

在 Agent 執行框架中使用

透過任何與 OpenAI 相容的後端，在本機提供 LFM2.5-24B-A2B 服務，然後將你的 Agent 執行框架指向該服務。以下以 Hermes Agent 為例：

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

埠號視乎你使用的服務後端而定：llama.cpp 和 MLX 使用 8080，vLLM 使用 8000，SGLang 使用 30000，LM Studio 使用 1234。如需 OpenClaw 和 Pi 的設定，請參閲模型卡；完整設定方法請參閲我們的指南。如需影片示例，請參閲發布網誌。

開始使用 LFM2.5-24B-A2B

LFM2.5-24B-A2B 和 LFM2.5-24B-A2B-Base 均採用開放權重，現已可於 Hugging Face 取得：

下載：在 Hugging Face 取得LFM2.5-24B-A2B-Base和LFM2.5-24B-A2B。
在你的執行框架中使用：按照指南，瞭解如何執行本機 Agent，例如 OpenClaw、Hermes Agent 和 Pi。
微調：按照我們的微調教學，將 LFM2.5-24B-A2B 調整至符合你的任務需求。

我們期待看到你會打造出甚麼。

引用

如使用本項成果，請引用發布網誌：

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}