跳到正文
Hugging Face Blog·· 2025-03-04精選AI 評分69

深入解析 Aya Vision:多語言多模態模型的技術設計與評測

A Deepdive into Aya Vision: Advancing the Frontier of Multilingual Multimodality

AI 導讀

Cohere For AI 發佈 Aya Vision 8B 和 32B,這組開放權重視覺語言模型支援 23 種語言。Aya Vision 32B 在 mWildVision 的 23 種語言平均比較中,對參數量超過其 2 倍的模型取得 52% 至 72% 勝率。團隊亦公開 AyaVisionBench,涵蓋 23 種語言、9 類任務,每種語言有 135 組圖像與問題配對,供研究使用。

推薦理由

文章拆解合成標註、多語言資料擴充與多模態模型合併等訓練做法,呈現 Aya Vision 的多語言視覺語言建模路徑。

正文 · 繁體中文

隨着 Aya Vision 系列推出,我們以全新8B和32B參數視覺語言模型(VLM),應對 AI 領域其中一項最大挑戰:讓多模態模型具備多語言效能。

Aya Vision 是 Cohere For AI 最新的開放權重多語言多模態模型系列,旨在為涵蓋23 種語言的語言和視覺理解提供穩固基礎。它承接最先進多語言語言模型 Aya Expanse 的成果,並結合多種進階技術加以擴展,包括合成標註、透過翻譯和改寫擴大多語言數據規模,以及多模態模型合併。這些方法有助提升多語言環境下的語言和視覺理解。

因此,我們的模型在多種任務上表現出色,包括圖像描述、視覺問答、文字生成,以及把文字和圖像轉換成清晰自然語言文字。我們以多個資料集評估 Aya Vision 模型,包括全新的開放式視覺語言基準測試 AyaVisionBench,以及翻譯成 23 種語言的 Wild Vision Bench 多語言版本(mWildVision);兩者均公開供研究用途。

以兩兩比較方式評估時,Aya Vision 32B 的勝率在 AyaVisionBench 為 50% 至 64%,在 mWildVision 跨 23 種語言的平均值為 52% 至 72%,表現勝過體積大逾 2 倍的模型,例如 Llama-3.2 90B Vision、Molmo 72B 和 Qwen2.5-VL 72B。

aya vision win rates

精巧且更有效率的 Aya Vision 8B,在同級參數量中取得最佳多語言多模態效能;在 AyaVisionBench 的勝率最高達 79%,在 mWildBench 則達 81%,表現超越 Qwen2.5-VL 7B、Pixtral 12B、Gemini Flash 1.5 8B、Llama-3.2 11B Vision、Molmo-D 7B 和 Pangea 7B 等領先模型。

efficiency vs performance trade offs

我們以開放權重形式發布8B和32B模型,讓研究社羣進一步加快多語言多模態領域的發展。本文會分享 Aya Vision 模型背後的主要技術細節。

Aya Vision 架構與訓練

aya vision architecture

要打造高效能視覺語言模型,必須能以任意解像度處理圖像,尤其是高解像度圖像。為令 Aya Vision 具備這項能力,我們會動態調整較高解像度圖像的大小,並將其分割成多個圖塊,從圖像編碼器擷取豐富的圖像特徵。Aya Vision 模型以最近發布的 SigLIP2-patch14-384 模型初始化視覺編碼器。

動態調整大小雖然能處理高解像度圖像,卻會令更多圖像 token 經視覺語言連接器和 LLM 解碼器傳遞。為改善延遲和吞吐量,我們使用名為 Pixel Shuffle 的下採樣方法,把圖像 token 數量壓縮 4 倍。下採樣後,圖像 token 會透過視覺語言連接器與語言模型輸入嵌入對齊,再傳送至 LLM 解碼器。

文字解碼器則使用我們的多語言模型。Aya Vision 8B 使用以 Cohere Command R7B 初始化的 LLM,以改善指令遵循和世界知識;之後再以 Aya Expanse 訓練方案進一步訓練,當中包括多元多語言數據、模型合併和偏好訓練。Aya Vision 32B 的語言模型則以 Aya Expanse 32B 初始化,受惠於其最先進的多語言效能。

訓練流程

Aya Vision 模型分2 個階段訓練:視覺語言對齊和監督式微調(SFT)。在視覺語言對齊階段,只訓練視覺語言連接器,視覺編碼器和語言模型權重則保持凍結。這樣便可把圖像編碼器特徵映射到語言模型嵌入空間,實現基本的視覺語言理解。SFT 階段會以涵蓋 23 種語言的多元多模態任務,同時訓練連接器和語言模型。

step by step improvement

多模態數據增強與擴展語言覆蓋範圍

multilingual synthetic annotation

開發多語言視覺語言模型的一大挑戰,是確保模型在資源不足的語言中仍有出色表現。為此,我們先從多元高質素英文資料集收集合成標註,作為多語言多模態標註的基礎。完成英文資料集的合成標註後,我們把大量數據翻譯成 23 種語言。為避免翻譯痕跡,並確保回答文字流暢自然、準確度高,我們再參照原有高質素合成樣本,改寫翻譯後的提示詞和生成內容配對,以擴展真實世界資料集稀少的語言覆蓋範圍。這有助同時提升語言流暢度,以及視覺與文字之間的對齊,令 Aya Vision 能以多種語言更深入理解圖像。

我們的 8B 模型若只以原始學術資料集作監督式微調,在 AyaVisionBench 涵蓋的 23 種語言中,對比多語言 VLM Pangea 7B 的勝率為 40.9%。加入合成標註並擴大多語言數據後,勝率升至 58.1%,提高 17.2 個百分點。這項顯著進步展現大規模投資多語言數據覆蓋範圍的成效。

多模態模型合併

multimodal merging

最先進的視覺語言模型不但要擅長理解圖像,也要掌握對話上下文,並能根據圖像和文字輸入生成高質素回應。為此,我們參考先前有關模型合併的研究,把基礎語言模型與經微調的視覺語言模型合併;模型合併是一種結合多個已訓練模型的技術。

模型合併提升最終模型的生成能力,使它在 23 種語言中對比 Pangea 7B 的 AyaVisionBench 勝率達 70%;相比合併前,多模態勝率提高 11.9%。

多模態模型合併亦令 Aya Vision 模型在 mArenaHard 資料集測試的純文字任務中表現出色,勝過其他領先的視覺語言模型。

stages
Aya Vision 訓練流程概覽

擴展至 32B

最後,我們把訓練方案由 8B 擴展至 32B,推出最先進的開放權重多語言視覺語言模型 Aya Vision 32B。由於文字骨幹網絡的初始化更強,模型勝率顯著提升,並在 AyaVisionBench 的勝率達 49% 至 63%,在 mWildVision 跨 23 種語言的平均勝率則達 52% 至 72%,表現勝過 Llama-3.2 90B Vision、Molmo 72B 和 Qwen2.5-VL 72B 等大逾 2 倍的模型。

aya vision benchmark

Aya Vision 基準測試:多語言評估資料集

我們亦隨 Aya Vision 模型發布高質素多語言視覺語言基準測試 AyaVisionBench。它以真實應用場景為基礎,涵蓋 23 種語言、9 個不同任務類別,每種語言有 135 組圖像與問題配對。

我們向研究社羣公開這套評估資料,推動多語言多模態評估發展。資料集旨在評估模型執行多種視覺語言任務的能力,包括圖像描述、圖表和圖形理解、辨識兩張圖像之間的差異、一般視覺問答、OCR、文件理解、文字轉錄、邏輯和數學推理,以及把截圖轉換成程式碼。透過涵蓋多種語言和任務,資料集提供廣泛且具挑戰性的評估框架,用來評估跨語言和多模態理解能力。

建立資料集時,我們先從Cauldron保留測試集中挑選圖像;這個大型集合由 50 個高質素資料集組成,確保所選圖像未曾用於訓練。然後,我們為每張圖像生成一條必須依賴視覺上下文才能回答的問題。問題先由模型合成生成,再經兩階段驗證流程修訂。首先由人工標註員檢視並驗證每條問題,確保內容清晰、切題,而且確實需要依據圖像。這種嚴謹的篩選和驗證流程,確保資料集可作為穩健基準,在多語言和真實應用場景中評估視覺語言模型。

為真實應用場景而設

溝通方式和語言各有不同。憑藉領先的研究和開發成果,我們推出這款模型,讓用戶今天便能以 23 種不同語言,透過文字或視覺方式互相連繫。

Aya Vision 有廣泛的實際用途,其中一個值得注意的例子是支援 WhatsApp。WhatsApp 是全球最普及的通訊平台之一,讓龐大的全球用戶羣體可透過日常使用的平台,運用 Aya Vision 的能力進行多語言溝通。

開始使用 Aya

開始使用:

從 Hugging Face 的 Aya Vision 系列下載權重和資料集。
透過我們的 Hugging Face Space試用 Aya Vision,或在 WhatsApp傳訊息給它。
使用我們的 Colab 範例,以 Aya 開始開發。

瞭解我們在多語言方面的持續工作。

鳴謝

Aya Vision 核心技術團隊的努力,令這項工作得以實現:

Saurabh Dash、Oliver Nan、John Dang、Arash Ahmadian Dehkordi、Shivalika Singh、Alejandro Salamanca、Bharat Venkitesh、Vlad Shmyhlo、Walter Beller-Morales、Jeremy Pekmez、Jason Ozuzu、Madeline Smith、Marzieh Fadaee、Manoj Govindassamy、Sudip Roy、Matthias Gallé、Beyza Ermis、Ahmet Üstün 和 Sara Hooker。

同樣不可或缺的,還有以不同方式提供支持的 Cohere For AI 和 Cohere 團隊。特別感謝 Sungjin Hong、Michael Kozakov、Pierre Richemond、Brittawnya Prince、Jim Payne、Kyle Lastovica、Jeff Colen、Jenna Cook、Viraat Aryabumi、Trent Fowler、Linus Chui、Meor Amer、Lucas Fayoux、Kyle Lastovica、Billy Trend、Acyr Locatelli、Morgan Norman、Florian Strub、Jon Ander Campos、Nick Frosst、Phil Blunsom、Aidan Gomez、Ivan Zhang。

特別感謝 Hugging Face 協助促成此項工作:Yoni Gozlan、Arthur Zucker、Pedro Cuenca、Aritra Roy Gosthipaty、Merve Noyan 和 Vaibhav Srivastav。

參考資料

[1] Aya Expanse:結合研究突破,開拓多語言新境界
[2] Pangea:支援 39 種語言的全開放多語言多模態 LLM
[3] WildVision:以人類偏好評估真實環境中的視覺語言模型
[4] SigLIP 2:具備更佳語義理解、定位和密集特徵的多語言視覺語言編碼器
[5] 建構視覺語言模型時,哪些因素最重要?
[6] Molmo 和 PixMo:最先進視覺語言模型的開放權重與開放數據
[7] 我們距離 GPT-4V 還有多遠?以開源套件縮窄與商業多模態模型的差距

來源:Hugging Face Blog · huggingface.co