跳到正文
熱點事件持續更新

Mamba-3B-SlimPJ模型發佈

1 篇報道1 個報道來源1 小時前更新

先了解這件事

AI 綜述

2026年10月8日,Cartesia 與 Together 發佈 Mamba-3B-SlimPJ。這款模型有 2.8B 參數,使用 600B tokens 訓練,採用 Apache 2.0 授權。報道指出,它以少 17% 的訓練 FLOPs,達到 BTLM-3B-8K 等強勁 3B Transformer 的模型品質。訓練使用 SlimPajama 數據集,上下文長度為 2048;模型亦可作為實驗,以及聊天和指令微調模型的基礎。

AI 根據報道生成 · 55 分鐘前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月8日
  1. Cartesia 產品與研究
    Mamba-3B-SlimPJ 發佈,訓練 FLOPs 少 17% 並匹配同級 Transformer

    Cartesia 與 Together 發佈 Mamba-3B-SlimPJ,這款 2.8B 參數模型以 600B tokens 訓練,採 Apache 2.0 授權。它以少 17% 訓練 FLOPs,達到 BTLM-3B-8K 等強勁 3B Transformer 的模型品質。訓練使用 SlimPajama 數據集、上下文長度為 2048,模型亦可作為實驗及聊天和指令微調模型的基礎。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。