跳到正文
Hugging Face Blog·· 2022-07-12精選AI 評分82

BLOOM:全球最大型開放多語言大語言模型正式發佈

Introducing The World's Largest Open Multilingual Language Model: BLOOM

AI 導讀

BLOOM 已正式發佈,這款具 176 billion parameters 的開放多語言大語言模型可生成 46 種自然語言及 13 種程式語言文本。最後一輪訓練歷時 117 days,並公開訓練中間 checkpoint 與 optimizer states,供研究者下載、運行及研究。

推薦理由

BLOOM 除模型外亦公開訓練中間 checkpoint 與 optimizer states,並提供下載及本地或雲端使用途徑,讓研究者能檢視模型行為與訓練過程。

正文 · 繁體中文

大型語言模型(LLM)對 AI 研究帶來重大影響。這些強大而通用的模型,能按照用戶指示處理各種新的語言任務。然而,學術界、非牟利機構和規模較小公司的研究實驗室,往往難以建立、研究,甚至使用 LLM;因為只有少數具備所需資源和專有權利的工業實驗室能全面使用這些模型。今天,我們發佈 BLOOM,這是首個在完全透明的過程中訓練的多語言 LLM,旨在改變現狀。它是迄今參與同一研究項目的最大規模 AI 研究人員合作成果。

BLOOM 擁有 176 billion 個參數,能以 46 種自然語言和 13 種程式語言生成文字。對其中幾乎所有語言(例如西班牙語、法語和阿拉伯語)而言,BLOOM 將會是首個具備超過 100B 個參數的語言模型。這項成果來自為期一年的工作,涉及來自 70+ 個國家和 250+ 個機構的超過 1000 名研究人員;最後於 3 月 11 日至 7 月 6 日在法國巴黎以南的Jean Zay 超級電腦上,花 117 日訓練 BLOOM 模型。法國研究機構 CNRS 和 GENCI 提供了估值 €3M 的運算資助。

研究人員現在可以下載、執行和研究 BLOOM,深入探究近期開發的大型語言模型的效能和行為,直至其最深層的內部運作。更廣泛而言,任何個人或機構只要同意模型Responsible AI License(由 BigScience 項目本身制定)的條款,便可在本機或雲端服務供應商上使用和改進模型。秉持合作和持續改進的精神,我們亦首次公開訓練過程的中途檢查點和優化器狀態。沒有 8 張 A100 可以試用嗎?一個目前由 Google TPU 雲端及模型 FLAX 版本支援的推論 API,也可供快速測試、原型開發和小規模使用。你現在已可在 Hugging Face Hub 上試用。

這只是開始。隨著研究團隊繼續試驗和改進模型,BLOOM 的能力也會持續提升。我們已開始著手令它像早前的 T0++ 一樣能遵循指示,並計劃加入更多語言、把模型壓縮成效能相同而更易使用的版本,以及以它作為更複雜架構的起點……研究人員和實踐者一直想進行的各種實驗,如今都能借助這個 100+ billion 參數模型的力量實現。BLOOM 是一個持續發展的模型家族的種子;我們打算不斷壯大它,而非只發佈一次便了事,並準備好支援社羣擴展它的工作。

來源:Hugging Face Blog · huggingface.co