跳到正文
Hugging Face Blog·· 2025-05-21精選AI 評分69

Falcon-LLM Team 發佈 Falcon-H1 混合架構模型系列,規模涵蓋 0.5B 至 34B

Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance

AI 導讀

Falcon-LLM Team 發佈 Falcon-H1 開放權重混合架構模型系列,涵蓋六種規模、由 0.5B 至 34B,並提供 base 與 instruction-tuned 版本。

推薦理由

文中對照 Qwen2.5-32B 的短、長上下文吞吐,並説明混合 Attention-SSM 設計,呈現 Falcon-H1 隨序列長度變化的效率取捨。

正文 · 繁體中文

image/png

簡介

亦可參閲我們的官方網誌文章

image/png

今天,我們很高興推出 Falcon-H1 系列,一組由六款開源模型組成的系列,參數規模介乎 0.5B 至 34B,每款均提供基礎版和指令微調版。模型的核心是混合架構,結合傳統 Transformer 注意力機制的優點,以及以長上下文記憶和運算效率見稱的狀態空間模型(SSM)。這項架構創新亦配合訓練動態和資料運用方面的根本改進,令 Falcon-H1 在涵蓋的各種模型規模中,均能提供不遜於頂尖 Transformer 模型的效能。

此次發佈包括六款開放權重模型:0.5B、1.5B、1.5B-Deep、3B、7B 和 34B,以及各自的 Instruct 版本。我們所有開源模型均採用以 Apache 2.0 為基礎的寬鬆授權。

模型規模 基礎模型 Instruct 模型
0.5B 🤗 Falcon-H1-0.5B-Base 🤗 Falcon-H1-0.5B-Instruct
1.5B 🤗 Falcon-H1-1.5B-Base 🤗 Falcon-H1-1.5B-Instruct
1.5B-Deep 🤗 Falcon-H1-1.5B-Deep-Base 🤗 Falcon-H1-1.5B-Deep-Instruct
3B 🤗 Falcon-H1-3B-Base 🤗 Falcon-H1-3B-Instruct
7B 🤗 Falcon-H1-7B-Base 🤗 Falcon-H1-7B-Instruct
34B 🤗 Falcon-H1-34B-Base 🤗 Falcon-H1-34B-Instruct

Falcon-H1 的主要特色

  • 混合架構(Attention + SSM): 我們在混合 mixer 區塊中平行結合注意力和 Mamba-2 head。重要的是,注意力和 Mamba head 的數量可以獨立調整,從而找出最佳的 attention/SSM 比例。這種混合設計可帶來更快的推理速度、更低的記憶體用量,並在不同任務中具備強大的泛化能力。

  • 多種模型規模: 提供六種規模——0.5B、1.5B、1.5B-deep、3B、7B 和 34B——並同時提供基礎版和指令微調版,適合由邊緣裝置到大規模部署等各種用途。

  • 原生多語言設計: 原生支援18 種語言,包括阿拉伯文(ar)、捷克文(cs)、德文(de)、英文(en)、西班牙文(es)、法文(fr)、印地文(hi)、意大利文(it)、日文(ja)、韓文(ko)、荷蘭文(nl)、波蘭文(pl)、葡萄牙文(pt)、羅馬尼亞文(ro)、俄文(ru)、瑞典文(sv)、烏爾都文(ur)和中文(zh)。由於多語言 tokenizer 使用多元語言資料集訓練,支援語言亦可擴展至100 種以上。

  • 小模型,大效能: Falcon-H1-0.5B 的效能媲美 2024 年常見的7B 模型;Falcon-H1-1.5B-Deep 則可與目前許多領先的7B–10B 模型一較高下。Falcon-H1 每款模型的設計目標,都是媲美或超越參數量至少為其兩倍的模型,因此即使在資源有限的環境及邊緣裝置部署,也毋須犧牲能力。

  • 支援 256K 上下文: Falcon-H1 模型最多支援 256K 上下文長度,適用於長文件處理、多輪對話和長距離推理等應用。

  • 卓越的 STEM 能力: Falcon-H1 模型在數學和科學領域表現出色,這歸功於訓練時專注使用高質素 STEM 資料。

  • 穩健的訓練策略: 採用高效率資料策略和自訂的最大更新參數化(μP),確保不同規模的模型均能平穩且可擴展地訓練。

image/png

構建 Falcon-H1 的主要原則

開始開發 Falcon-H1 系列時,我們決定從根本上重新思考訓練方法。LLM 開發領域已採納許多行之有效、能穩定訓練出強大模型的成熟做法,但這些慣例主要在傳統 Transformer 架構上驗證。由純注意力機制轉向 attention-SSM 混合設計,是一項重大的架構變革,因此我們不確定這些標準做法是否仍然最佳。

面對這種不確定性,我們在開始最終訓練前進行了大量實驗,系統性地重新檢視幾乎所有模型設計和訓練方法。完整詳情將於即將發佈的技術報告中提供;在此,我們先分享塑造 Falcon-H1 模型的主要心得。

架構

image/png

attention-SSM 混合模型的架構參數組合空間較大。我們的目標是逐一探究各項配置參數對模型效能和效率的影響。結果顯示,某些模型配置可提升效能,而效率代價有限。混合模型的配置空間大致可分為以下四個部分:

  • SSM 專用參數。我們的 SSM 層以 mamba-2 架構為基礎,並像現代 Transformer 模型中的注意力機制一樣,將 head 編組。我們發現,偏離文獻中常用的羣組或 head 數量,並不會提升效能,反而可能降低效率。相較之下,增加記憶體大小這項 SSM 專用變數(注意力機制沒有對應參數),只會輕微影響效率,卻能提升效能。
  • 注意力專用參數。我們採用標準的完整注意力層。不過,我們發現,在旋轉位置嵌入(RoPE)中使用極大型參數,可顯著提升模型效能。我們的假設是,與純 Transformer 相比,混合模型中部分位置資訊由 SSM 部分原生處理,因此可以採用這類大型數值。
  • 結合 Mamba 與注意力。在同一模型中結合注意力和 SSM 的方法很多,主要設計選擇是採用串聯或平行方式。我們最後採用上圖所示的平行方式。這種平行混合設計的主要特點,是可以調整注意力和 SSM head 的比例;我們發現,只需相對少量的注意力便足以取得良好效能。
  • 一般參數。實驗顯示,增加模型深度對效能的影響最大,但會犧牲效率。因此,模型深度的選擇需要按具體用途作出艱難取捨。Falcon-H1-1.5B-deep 正是基於這項取捨而設計,針對參數量較少但需要最高效能的使用情境。

資料策略

語言模型的能力主要來自訓練資料,Falcon-H1 系列亦不例外。除了準備原始資料,訓練期間以甚麼次序、何時呈現資料亦十分重要。其中一種資料策略稱為課程式學習:訓練初期使用較簡單的資料,將需要更高階推理的樣本留到後期。出乎意料的是,對我們而言,完全相反的策略效果最好。從訓練一開始便提供最複雜的資料,例如進階數學問題或長上下文樣本,似乎讓模型有更多時間學習處理相應複雜任務所需的特徵。

另一項重要因素是高質素資料的稀缺。訓練大型模型時,常見的疑慮是模型會以蠻力方式記住資料,而非真正理解內容。為了減低這種記憶風險,常見做法是訓練時不重用資料樣本,或只對最高質素的樣本重用少數幾次。這種策略的副作用,是資料組合會由網絡樣本主導,因為網絡資料量遠高於高質素來源。我們發現,記憶效應可能被稍為高估;只要仔細估算模型的記憶窗口,便能更頻繁地重用高質素樣本,同時不損害模型的泛化能力。

自訂最大更新參數化(μP)

傳統 μP 深深植根於神經網絡理論,但有明確的實際用途:在單一基礎模型規模找到最佳訓練超參數後,便可使用 μP 縮放規則,輕易將它轉移到其他、通常更大的模型規模。我們為整個 Falcon-H1 系列採用了 μP 超參數轉移,大幅縮短實驗時間,並令六款模型可以同時訓練。

除此之外,我們進一步探究 μP 的內部機制,以提升模型效能。簡單來説,模型的每個組件都有各自理想的訓練強度,而該強度會隨組件大小而變化。μP 縮放規則透過所謂的「μP multiplier」考慮這種關係,讓超參數得以最佳轉移。不過,傳統 μP 在基礎模型規模會使用值為 1 的簡單 multiplier,等同假設所有組件在基礎規模時已處於最佳訓練強度。我們不採用這項假設,而是在基礎模型規模調校 multiplier。具體而言,我們將模型參數分成 35 個細緻羣組,並共同最佳化相應的 35 個 multiplier。

訓練動態

開發 Falcon-H1 系列初期,其中一項工作是處理並消除尖峯;這已知是 SSM 模型的嚴重問題。我們發現最有效的解決方案,是在 SSM 區塊的特定位置加入具阻尼作用的 μP multiplier。消除尖峯除了有助模型平穩完成最終訓練,亦是後續實驗取得清晰訊號的必要條件。

我們觀察到,訓練動態的許多方面都與噪音的理解和控制有關,包括學習率和批次大小排程、學習率隨批次大小的縮放方式,以及參數範數的表現。尤其是,我們發現參數範數主要由訓練超參數決定,而非模型對資料的擬合程度。為考慮這一點,我們將主要用於控制參數範數的超參數 weight decay,同時納入訓練排程和 μP multiplier。

效能

Instruct 模型

目前的 Falcon-H1 模型未經推理專用微調,但已展現強大的通用指令遵循能力。為突顯其表現,我們詳細比較 Falcon-H1-34B-Instruct 與其他同級或更大型的頂尖 Transformer 模型,包括 Qwen3-32B(非思考模式)、Qwen2.5-72B、Qwen2.5-32B、Gemma3-27B、Llama-4-Scout-17B-16E(109B)和 LLaMA3.3-70B。完整評估設定和方法請參閲 Falcon-H1 GitHub 頁面。

image/png

Falcon-H1 系列的一大亮點,是小型模型也有強勁表現。以下比較 1.5B 規模的 Instruct 模型。Falcon-H1-1.5B-Deep-Instruct 明顯勝過同級領先模型,例如 Qwen3-1.7B-Instruct。更值得注意的是,它的表現媲美甚至超越許多 7B 模型,包括 Falcon3-7B-Instruct 和 Qwen2.5-7B-Instruct。

🔎 注意:Falcon-H1-1.5B-Deep 和 Falcon-H1-1.5B 使用相同設定訓練,兩者唯一差異在於架構深度和寬度。

image/png

多語言能力

為展示 Falcon-H1 在不同語言中的表現,我們列出 30B 規模模型在 Hellaswag 和 MMLU 的平均分數,並涵蓋阿拉伯文、德文、西班牙文、法文、印地文、意大利文、荷蘭文、葡萄牙文、羅馬尼亞文、俄文和瑞典文等指定語言。結果亦顯示,模型在其他支援語言中的表現相若。

image/png

長上下文基準測試

Falcon-H1 的一項突出能力,是處理長上下文輸入;在這方面,狀態空間模型(SSM)於記憶體效率和運算成本方面有顯著優勢。

為展示這些能力,我們以多項長上下文基準測試,將 Falcon-H1-34B-Instruct 與 Qwen2.5-72B-Instruct 比較。我們聚焦於 Helmet 基準套件中的三類核心任務:檢索增強生成(RAG):Natural Questions、TriviaQA、PopQA、HotpotQA;記憶任務:JSON KV、RULER MK Needle、RULER MK UUID、RULER MV;長文件問答任務:∞BENCH QA、∞BENCH MC。這些評估突顯 Falcon-H1 在擴展至更長序列時,仍能維持高效能和高效率。

image/png

此外,我們亦以 23 項基準測試,全面評估 Falcon-H1 系列及多款領先的 Transformer 模型,涵蓋多個領域和模型規模。你可在下方查看互動式結果,只需選取最符合用途的基準測試,即可查看相應的彙總效能分數(下方是官方網誌互動圖表的截圖)。

image/png

基礎模型

我們詳細比較 Falcon-H1-34B-Base 與同級或更大型的其他領先基礎模型,包括 Qwen2.5-72B、Qwen2.5-32B、Llama-4-Scout-17B-16E(109B)和 Gemma3-27B。

🔎 注意:Qwen3-32B 目前沒有基礎模型檢查點。

image/png

以下比較 1.5B 規模的基礎模型。Falcon-H1-1.5B-Deep-Base 明顯勝過同級領先模型,例如 Qwen3-1.7B-Base。值得留意的是,它的表現媲美 Falcon3-7B,在數學和推理任務上甚至更勝一籌,因此非常適合作為建構小型推理模型的基礎。

image/png

基礎模型方面,我們亦在官方網誌提供互動圖表,展示模型在涵蓋多個領域和不同規模的 14 項基準測試中的表現(下方是官方網誌互動圖表的截圖)。

image/png

模型效率

下方圖表比較 Falcon-H1 和 Qwen2.5-32B 的輸入(預填)及輸出(生成)吞吐量。上下文較短時,Transformer 稍快;但隨着上下文增長,我們的混合模型效率明顯提升,長序列下輸入吞吐量最高快4 倍,輸出吞吐量最高快8 倍。基準測試使用我們的 Falcon-H1 vLLM 實作,以及 Qwen2.5-32B 官方 vLLM 實作執行。

這項效能提升突顯 Falcon-H1 架構的可擴展性。我們認為,短上下文時吞吐量差距較小,是因為目前推理流程中的注意力機制最佳化較為成熟,相比之下,狀態空間模型(SSM)的實作仍有進步空間。

⚙️ 我們邀請社羣參與 SSM 實作的進一步最佳化——這是推動下一代高效率 LLM 發展的一個有前景方向。

image/png

🔎 注意:輸入吞吐量衡量模型讀取或編碼文字時處理 token 的速度;輸出吞吐量則衡量模型生成新 token 的速度。比例線顯示 Falcon-H1 與 Qwen2.5 的效能比較。

開源承諾

秉持推動 AI 普及和協作的使命,我們以 Falcon-H1 為名,根據 Falcon LLM 授權條款 發佈模型。我們希望 AI 社羣認為這些模型有助研究、應用程式開發及進一步實驗。Falcon-H1 延續了我們打造更強大、更高效率基礎模型的努力。隨着我們繼續改良和提升模型能力,歡迎社羣提供意見及合作。

實用連結

引用

@misc{tiifalconh1,
    title = {Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance},
    url = {https://falcon-lm.github.io/blog/falcon-h1},
    author = {Falcon-LLM Team},
    month = {May},
    year = {2025}
}

來源:Hugging Face Blog · huggingface.co