跳到正文
Mistral AI·· 2023-09-27精選AI 評分79

Mistral AI 推動開放 AI 模型邁向前沿,並介紹 Mistral 7B

Bringing open AI models to the frontier

AI 導讀

Mistral AI 發佈 Mistral 7B,這是其首個 7B-parameter 模型;公司稱該模型在所有標準英文及代碼基準上,超越所有目前可用、參數量不超過 13B 的開放模型。

推薦理由

Mistral 7B 的比較對象涵蓋不超過 13B 參數的可用開放模型,文章亦交代 Apache 2.0 授權,便於一併理解其基準定位與開放使用方式。

正文 · 繁體中文

生成式 AI,尤其是大型語言模型,正透過根據人類指示生成媲美人類的文字、內容和命令,徹底改變內容創作、知識檢索和問題解決方式。未來數年,生成式 AI 將徹底重塑我們的文化和生活,以及我們與機器和同伴互動的方式。

如同軟件發展的早期階段,專有方案率先面世;我們很感激這些方案讓世界看到生成模型的力量。然而,正如網絡、網頁瀏覽器(Webkit)、作業系統(Linux)和雲端編排(Kubernetes)一樣,在大部分用途上,開放方案很快便會超越專有方案。成功的開源專案一直由社羣力量和對技術卓越的追求推動。

Mistral AI 相信,生成式 AI 必須採用開放方式。由社羣支持的模型開發,是對抗審查和偏見最可靠的途徑,而這項技術正塑造我們的未來。

我們深信,只要自行訓練模型、以開放方式發布,並鼓勵社羣參與,就能建立可信的替代方案,抗衡正在形成的 AI 寡頭格局。開放權重生成模型將在即將到來的 AI 革命中發揮關鍵作用。

Mistral AI 的使命是引領開放模型革命。

生成式 AI 需要開放模型

使用開放模型,是供應商和用戶圍繞 AI 方案建立可持續業務的最佳方式。開放模型可精細調整,以解決各行各業眾多新的核心業務問題,成效遠勝黑箱模型。未來將由大量不同的專用模型組成,每個模型都針對特定任務調整,並盡可能壓縮,再連接至特定模態。

在開放模型模式下,開發者可全面控制應用程式所用的引擎。模型規模和成本可按任務難度調整,從而控制成本和延遲。對企業而言,在自家基礎設施部署開放模型,並使用封裝完善的方案,可簡化依賴並保障數據私隱。

封閉、不透明的 API 會帶來眾所周知的技術風險,尤其是知識產權外洩;在生成式 AI 領域,它還會造成文化層面的風險,因為生成內容完全受 API 供應商控制,自訂空間有限。取得模型權重後,終端用戶應用程式開發者便可按需要自訂防護措施和內容語氣,而不必依賴黑箱模型供應商的選擇和偏見。

開放模型亦能有效防範生成式 AI 遭濫用。公共機構和私人公司可審核生成系統的缺陷,並偵測生成模型遭不當使用的情況。它們是我們有效偵測錯誤資訊的最大希望;未來數年,這類內容的數量勢必增加。

Mistral AI 的起步

我們志在成為開放生成式 AI 社羣的領先支持者,並推動開放模型達至最先進的效能。我們會讓開放模型成為大部分生成式 AI 應用的首選方案。我們不少成員曾在 LLM 發展的重要階段發揮關鍵作用;如今我們很高興以社羣為本的理念,一起開發新一代前沿模型。

未來數月,Mistral AI 會循序漸進、有系統地推出新模型,縮小黑箱方案與開放方案之間的效能差距,令開放方案在愈來愈多企業用途上成為最佳選擇。同時,我們亦會致力支持社羣改進下一代模型。

作為這項工作的其中一環,我們今天推出 [Mistral 7B]( {{< ref "news/announcing-mistral-7b" >}} ),這是我們首個 7B 參數模型,在所有標準英語和程式碼基準測試中,效能均超越目前所有可用、參數量不高於 13B 的開放模型。這是團隊密集工作三個月的成果,期間我們組建了 Mistral AI 團隊、重建頂尖 MLops 技術堆疊,並從零設計最先進的數據處理管道。

Mistral 7B 的表現證明,只要有足夠決心,小型模型也能做到很多事情。追蹤在 MMLU 得分高於 60% 的最小模型,頗具啟發:短短兩年間,模型由 Gopher(280B,DeepMind,2021),發展至 Chinchilla(70B,DeepMind,2022)、Llama 2(34B,Meta,2023 年 7 月),再到 Mistral 7B。

Mistral 7B 只是我們開發路線圖中前沿模型的第一步,但已能處理摘要、結構化整理和問答等多種任務。它處理和生成文字的速度遠高於大型專有方案,成本亦只佔其一小部分。

Mistral 7B 以 Apache 2.0 授權發布,可在任何地方不受限制地使用。

接下來呢?

為了積極與用戶社羣交流,並推動負責任地使用我們以開源授權發布的模型和工具,我們現正開設 GitHub 程式碼庫和 Discord 頻道,作為協作、支援和透明溝通的平台。

我們承諾,在發展商業產品的同時,亦會同步發布最強大的開放模型。我們會為本地或虛擬私人雲端部署提供最佳化的專有模型。這些模型會以白箱方案形式分發,並公開模型權重和原始碼。我們正積極開發託管方案和企業專用部署服務。

我們已開始訓練規模大得多的模型,並正轉向全新架構。敬請期待今年秋季推出更多模型。

來源:Mistral AI · mistral.ai