第一財經·· 11 小時前AI 評分64
百度開源 ERNIE 5.5 Flash Base 基座模型
百度开源最新基座模型文心5.5 Flash Base
AI 導讀
百度於11月5日正式開源基座模型 ERNIE 5.5 Flash Base。據介紹,該模型在知識、推理、數學、程式碼、多語言和長上下文等多項基準測試中,取得同尺寸模型 SOTA 表現。模型採用 MoE 架構,總參數量2800億,每個 Token 啟用140億參數,使用33.5萬億個 Token 完成預訓練;預訓練上下文長度最高達128K,微調與推理階段支援最長100萬 Token 上下文。
正文
來源:第一財經 · yicai.com