跳到正文
原文
Liquid AI 模型與工程博客·· 6 小時前AI 評分66

Liquid AI 發佈端側 MoE 模型 LFM2.5-8B-A1B

LFM2.5-8B-A1B: An Even Better On-Device Mixture of Experts

AI 導讀

Liquid AI 發佈端側模型 LFM2.5-8B-A1B,將上下文窗口擴至 128K,並把預訓練規模由 12T 增至 38T tokens。該模型採用推理專用設計,詞表由 65,536 擴至 128,000,AA-Omniscience Index 由 -78.42 升至 -24.70。

來源:Liquid AI 模型與工程博客 · liquid.ai