Hugging Face Blog·· 2024-05-24AI 評分58
Falcon 2 發佈 11B LLM 與 11B VLM，LLM 以逾 5000B tokens 訓練並涵蓋 11 種語言
Falcon 2: An 11B parameter pretrained language model and VLM, trained on over 5000B tokens and 11 languages
AI 導讀
TII 發佈 Falcon 2 系列的 11B LLM 與 11B VLM，VLM 可接收圖像並回答相關問題。LLM 使用逾 5000B tokens 訓練，主要支援英語，並對另外 10 種語言具備良好能力。VLM 結合 CLIP ViT-L/14 視覺編碼器，先以 558K 圖像描述配對訓練多模態投影器，再以 1.2M 圖像文字指令資料微調。
來源：Hugging Face Blog · huggingface.co