Mistral AI·· 2023-12-11精選AI 評分84
Mistral AI 的 Mixtral 8x7B 採用稀疏專家混合架構並提供開放權重
Mixtral of experts
AI 導讀
Mistral AI 發佈開放權重模型 Mixtral 8x7B，並同步推出經監督式微調與 DPO 優化的 Mixtral 8x7B Instruct。
推薦理由
Mixtral 8x7B 同時披露總參數量、每個 token 的啟用參數量及基準對照，可用來理解稀疏 MoE 在模型規模、推理成本與表現間的取捨。
來源：Mistral AI · mistral.ai