跳到正文
Hugging Face Blog·· 2024-12-19精選AI 評分74

Answer.AI 與 LightOn 發佈 ModernBERT,提供 8,192-token 上下文窗口

Finally, a Replacement for BERT: Introducing ModernBERT

AI 導讀

Answer.AI 與 LightOn 發佈 ModernBERT,提供 base(149M params)及 large(395M params)兩種僅編碼器版本。

推薦理由

文章將 ModernBERT 的架構、效率與訓練改動連結至長上下文檢索及程式碼檢索場景,呈現編碼器更新對實際應用的意義。

正文 · 繁體中文

簡而言之

本文介紹 ModernBERT,這是一系列最先進的純編碼器模型,全面改進上一代編碼器,提供8192 序列長度、更佳下游效能及大幅加快的處理速度。

ModernBERT 可作為任何類 BERT 模型的直接替代品,提供base(149M 個參數)和large(395M 個參數)兩種規模。

按此查看如何透過 transformers 使用這些模型

ModernBERT 將於 transformers v4.48.0 納入。在此之前,需要從 main 安裝 transformers:

pip install git+https://github.com/huggingface/transformers.git

ModernBERT 是遮罩語言模型(MLM),因此可使用 fill-mask pipeline,或透過 AutoModelForMaskedLM 載入。如要將 ModernBERT 用於分類、檢索或問答等下游任務,可依照標準 BERT 微調方法進行微調。

⚠️ 如果你的 GPU 支援,我們建議搭配 Flash Attention 2 使用 ModernBERT,以取得最高效率。請按以下方式安裝 Flash Attention,然後照常使用模型:

pip install flash-attn

使用 AutoModelForMaskedLM:

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_id = "answerdotai/ModernBERT-base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id)

text = "The capital of France is [MASK]."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token:  Paris

使用 pipeline:

import torch
from transformers import pipeline
from pprint import pprint

pipe = pipeline(
    "fill-mask",
    model="answerdotai/ModernBERT-base",
    torch_dtype=torch.bfloat16,
)

input_text = "He walked to the [MASK]."
results = pipe(input_text)
pprint(results)

注意:與部分早期 BERT 模型不同,ModernBERT 不使用 token type IDs。大部分下游用法與 Hugging Face Hub 上的標準 BERT 模型相同,但可省略 token_type_ids 參數。

簡介

BERT 於 2018 年發布(以 AI 年代來説已是數千年以前!),但至今仍廣泛使用:事實上,它目前是 Hugging Face Hub 下載量第二高的模型,每月下載超過 6,800 萬次,僅次於另一個經微調用於檢索的編碼器模型。這是因為它的純編碼器架構非常適合日常實際問題,例如檢索(如 RAG)、分類(如內容審核),以及實體抽取(如私隱和法規遵循)。

終於,6 年後,我們有了替代品!今天,我們 Answer.AI、LightOn(以及合作夥伴)推出 ModernBERT。這個全新模型系列在速度和準確度兩方面均優於 BERT 及其後續版本。它將近年大型語言模型(LLM)研究的數十項進展應用於 BERT 風格模型,包括更新架構和訓練流程。

我們預期 ModernBERT 會成為純編碼器模型目前廣泛部署的各類應用的新標準,例如 RAG 流程(檢索增強生成)及推薦系統。

ModernBERT 不但速度更快、準確度更高,上下文長度亦提升至 8k token(大部分編碼器僅有 512),而且是首個在訓練數據中納入大量程式碼的純編碼器模型。這些特性開拓了開放模型以往無法實現的新應用,例如大規模程式碼搜尋、新 IDE 功能,以及基於檢索完整文件而非小片段的新型檢索流程。

不過,要解釋我們做了甚麼,先退一步看看一路以來的發展。

純解碼器模型

近期備受矚目的 LLM 進展,來自 GPT、Llama 和 Claude 等模型。這些都是純解碼器模型,亦即生成式模型。它們能產生近似人類的內容,開拓了生成藝術和互動聊天等令人驚嘆的新生成式 AI 應用。這些出色應用吸引大量投資、推動研究蓬勃發展,並帶來快速技術進步。簡單而言,我們所做的就是將這些進展移植回純編碼器模型。

為甚麼?因為許多實際應用需要精簡又高效的模型!而且不一定需要生成式模型。

説得直接一點,對許多工作而言,純解碼器模型都太大、太慢、太私密而且太昂貴。原版 GPT-1 有 117 million 個參數;相比之下,Llama 3.1 有 405 billion 個參數,而其技術報告描述的數據合成及整理流程,對大多數企業而言過於複雜和昂貴,難以重現。因此,若要使用 ChatGPT 等模型,你便要以分計費,並等上數秒,才能從不受你控制的大型伺服器取得 API 回覆。

當然,這些大型生成式模型具備開放式能力,必要時可勉強用於分類等非生成式或判別式任務。這是因為你可以用普通英文描述分類任務,然後……直接要求模型分類。不過,這種流程很適合原型製作;進入大量生產後,就不想再付原型階段的成本。

生成式 AI 的熱潮掩蓋了純編碼器模型的角色。它們是實際語言處理的主力模型,目前正用於許多科研及商業應用的相關工作負載。

純編碼器模型

純編碼器模型的輸出是一系列數值(即嵌入向量)。可以説,編碼器模型不以文字作答,而是將其「答案」編碼成這種壓縮數值形式。該向量是模型輸入的壓縮表示,因此純編碼器模型有時亦稱為表示模型。

純解碼器模型(如 GPT)雖可完成純編碼器模型(如 BERT)的工作,但受一項關鍵限制:由於它們是生成式模型,在數學上「不可以」偷看後面的 token,只能向後看。相反,純編碼器模型受雙向訓練,每個 token 均可向前 及 向後查看。它們為此而設,因而能非常高效地完成工作。

基本上,OpenAI 的 O1 等前沿模型就像 Ferrari SF-23。它們是工程上的明顯傑作,專為贏得賽事而設,所以備受討論。不過,光是換輪胎也需要專業維修團隊,而且你買不到一輛屬於自己。相較之下,BERT 模型就像 Honda Civic。它同樣是工程傑作,但較為低調,因為它專為價格相宜、省油、可靠和極具實用性而設。因此,它們幾乎無處不在。

從幾個角度都可以看出這一點。

支援生成式模型:理解表示模型(純編碼器)普及程度的一種方法,是留意它們多常與純解碼器模型搭配使用,建立安全又高效的系統。

RAG 是最明顯的例子。系統不依賴 LLM 參數中訓練得來的知識,而是使用文件儲存庫,向 LLM 提供與查詢相關的資訊。不過,這只是將問題延後處理。如果 LLM 不知道哪些文件與查詢相關,系統便需要其他程序選出文件。它需要一個速度夠快、成本夠低的模型,來編碼大量資訊,令 LLM 發揮作用。這通常就是類 BERT 的純編碼器模型。

另一個例子是監督架構:系統可能使用廉價分類器,確保生成文字不違反內容安全要求。

簡而言之,每當你看到純解碼器模型部署使用時,系統亦很可能包含純編碼器模型;但反過來則不一定成立。

以編碼器為基礎的系統:GPT 出現之前,社交媒體及 Netflix 等平台早已有內容推薦,也有在這些平台、搜尋引擎及其他地方投放廣告,並以內容分類偵測垃圾訊息、濫用行為等。這些系統並非建基於生成式模型,而是使用純編碼器等表示模型。所有這些系統至今仍在運作,而且規模龐大。想像一下,全球每秒有多少廣告正在投放!

下載量:在 Hugging Face 上,主要 BERT 系列模型之一 RoBERTa 的下載量,比 Hugging Face 上最受歡迎的 10 個 LLM 加起來還多。事實上,純編碼器模型目前每月下載量合計超過 10 億次,接近純解碼器模型每月 3.97 億次的 3 倍。由 ModernBERT 等編碼器「基礎模型」組成、可供微調以應用於下游任務的 `fill-mask` 模型類別,實際上是整體下載量最高的模型類別。

推理成本:以上內容顯示,每年在純編碼器模型上執行的推理次數,遠多於純解碼器或生成式模型。一個有趣例子是 FineWeb-Edu,它需要對 15 兆個 token 進行模型品質篩選。FineWeb-Edu 團隊選擇使用純解碼器模型 Llama-3-70b-Instruct 生成標註,再使用經微調的 BERT 模型執行大部分篩選。這項篩選共耗用 6,000 H100 小時,按 Hugging Face Inference Endpoints 每小時 10 美元計算,總費用為 60,000 美元。相比之下,即使採用成本最低的選項,例如使用每百萬 token 推理成本為 0.075 美元的Google Gemini Flash,將 15 兆個 token 輸入熱門純解碼器模型,成本仍會超過 100 萬美元!

效能

概覽

以下概覽 ModernBERT 和其他模型在一系列任務中的準確度,數據來自標準學術基準測試。如你所見,ModernBERT 是唯一在每個類別均取得最高分的模型,因此可用於所有以編碼器為基礎的任務:

如果你曾在 Kaggle 參加 NLP 競賽,就會知道多年來得獎者一直選用 DeBERTaV3。但現在不同了:ModernBERT 不但是首個在 GLUE 上超越 DeBERTaV3 的 base 規模模型,記憶體用量亦不到 DeBERTa 的 1/5。

當然,ModernBERT 速度也很快,比 DeBERTa 快兩倍;在輸入長度混合這種更常見的情況下,甚至快4 倍。其長上下文推理速度快近3 倍,超越 NomicBERT 和 GTE-en-MLM 等其他高質素模型。

ModernBERT 的上下文長度為 8,192 token,比大部分現有編碼器大16 倍以上。這對 RAG 流程尤其重要,因為上下文太短會令文字片段細得不足以作語意理解。ModernBERT 配合 ColBERT 亦是最先進的長上下文檢索器,得分比其他長上下文模型高 9 個百分點。更令人印象深刻的是,這個快速訓練的模型只需調整至可與其他骨幹模型比較,在長上下文任務上的表現便超越廣泛使用的檢索模型!

在程式碼檢索方面,ModernBERT 獨一無二。由於此前從未有類似的編碼器模型以大量程式碼數據訓練,因此沒有真正可比較的模型。例如,在混合程式碼和自然語言的 StackOverflow-QA 數據集(SQA)上,ModernBERT 專門的程式碼理解能力及長上下文能力,令它成為唯一在此任務得分超過 80 的骨幹模型。

這表示很可能會出現全新的應用。例如,可以想像一個連接 AI 的 IDE,使用 ModernBERT 嵌入將整個企業程式碼庫編入索引,迅速從所有儲存庫檢索相關程式碼並支援長上下文。又或者,一個程式碼聊天服務,可説明某項應用功能如何整合數十個不同專案。

與主流模型相比,ModernBERT 在檢索、自然語言理解和程式碼檢索三大任務類別中幾乎都表現更佳。雖然它在一個範疇(自然語言理解)的表現略遜於 DeBERTaV3,速度卻快很多。請注意,ModernBERT 與其他基礎模型一樣,開箱即用時只可執行遮罩詞語預測。如要執行其他任務,必須按照這些範例程式碼微調基礎模型。

與專門模型相比,ModernBERT 在大部分任務中不遜色,甚至更佳。此外,它在大部分任務上都比其他模型快,並可處理最多 8,192 個 token 的輸入,長度是主流模型的 16 倍。

效率

以下是在 NVIDIA RTX 4090 上測得的 ModernBERT 及其他解碼器模型記憶體效率(最大批次大小,BS)和推理效率(每秒數千個 token):

你可能首先會留意到,我們是在價格相宜的消費級 GPU 上分析效率,而非最新、難以取得又被炒作的硬件。最重要的是,ModernBERT 着重實用,而非炒作。

基於這個目標,我們亦確保 ModernBERT 適用於實際應用,而非只在基準測試中表現良好。這類模型通常只會在最適合的單一尺寸(最大上下文長度)進行測試,亦即表格中的「固定」欄。不過,現實世界的輸入大小各異,因此我們努力最佳化其效能,也就是「可變」欄。如你所見,對於長度各異的輸入,ModernBERT 比所有其他模型快得多。

對於我們認為將成為未來最有價值、最重要應用基礎的長上下文輸入,ModernBERT 比次快模型快2-3 倍。而在「實用性」方面,ModernBERT 不需要額外且龐大的「xformers」相依套件,只需安裝現已普及的 Flash Attention。

此外,ModernBERT 效率高,批次大小可超越幾乎所有其他模型,並能在更小、更便宜的 GPU 上有效運行。尤其是 base 規模的效率,可能令直接在瀏覽器、手機等平台運行的新應用成為可能。

ModernBERT 為何稱得上「現代」?

至此,我們已説明為何應該更重視編碼器模型。它們是可靠但未獲充分賞識的主力模型;令人意外的是,自 2018 年 BERT 問世後,這類模型便少有更新!

更令人意外的是,自 RoBERTa 以來,還沒有編碼器能在不付出取捨的情況下全面提升(學術術語稱為「Pareto 改進」):DeBERTaV3 的 GLUE 和分類效能較佳,卻犧牲效率及檢索能力。AlBERT 等其他模型,或較新的 GTE-en-MLM,都在某些方面超越原版 BERT 和 RoBERTa,但在其他方面有所退步。

然而,自兩者最初發布以來,我們對如何建立更好的語言模型已有大量新認識。如果你用過 LLM,對此一定很熟悉:編碼器領域很少見的Pareto 改進,在解碼器領域卻不斷出現,模型各方面持續進步。正如大家現在都知道的,模型改進只有一部分是魔法,大部分來自工程。

ModernBERT 項目(希望名稱貼切)的目標相當簡單:將這些現代工程技術帶到編碼器模型。我們透過三種主要方式做到:

  1. 現代化 Transformer 架構
  2. 特別着重效率
  3. 現代化數據規模及來源

新 Transformer,與舊 Transformer 相同

Transformer 架構已成為主流,現今絕大多數模型都使用它。不過,值得記住的是,Transformer 並非只有一種,而是有很多種Transformer。它們的共同點,是深信注意力機制就是一切所需,因此都圍繞注意力機製作出各種改進。

ModernBERT 大量參考 Transformer++(由 Mamba 命名),最初用於 Llama2 模型系列。具體而言,我們以改良版本取代舊式類 BERT 組件,包括:

  • 以「旋轉位置嵌入」(RoPE)取代舊式位置編碼,令模型更能理解詞語之間的位置關係,並可擴展至更長序列。
  • 以 GeGLU 層取代舊式 MLP 層,改良原版 BERT 的 GeLU 啟動函數。
  • 移除不必要的偏差項,簡化架構,讓參數預算運用得更有效。
  • 在嵌入後加入額外正規化層,有助穩定訓練

為 Honda Civic 升級,駛上賽道

如上所述,編碼器不是 Ferrari,ModernBERT 也不例外。不過,這不代表它不能快。你駛上公路時,通常不會把自己的車換成賽車,而是希望日常可靠的座駕可以輕鬆達到速度限制。

事實上,對於我們上文提及的所有應用,速度都十分重要。編碼器在需要處理大量數據的用途中特別常見,即使微小的速度提升也會迅速累積;在 RAG 等極重視延遲的情境亦然。許多情況下,編碼器甚至會在 CPU 上運行;若希望在合理時間內取得結果,效率就更加重要。

與大部分研究工作一樣,我們站在巨人的肩膀上,並大量運用 Flash Attention 2 的速度改進。我們的效率提升依賴三個關鍵部分:交替注意力以提高處理效率、取消填充及序列打包以減少運算浪費,以及硬件感知模型設計以盡量提高硬件使用率。

全域及局部注意力

ModernBERT 最重要的特色之一是採用交替注意力,而非全域注意力。從技術角度來説,注意力機制每隔 3 層才查看完整輸入(全域注意力),其他層則使用滑動視窗,讓每個 token 只注意距離自己最近的 128 個 token(局部注意力)。
由於注意力的運算複雜度會隨每個額外 token 急速增加,ModernBERT 處理長輸入序列的速度便遠快於其他模型。

實際上,它的運作方式如下:

概念上,這樣做的原因很簡單:想像你正在看書。每讀一句話,你都需要掌握整個故事情節,才能理解大部分內容(全域注意力)嗎?還是瞭解目前章節便已足夠(局部注意力),只要偶爾回想它對整個故事的意義(全域注意力)?絕大多數情況下,後者就夠了。

取消填充及序列打包

ModernBERT 效率提升的另一個核心機制,是取消填充及序列打包。

為了在同一批次中處理多個序列,編碼器模型要求所有序列長度相同,才能平行運算。傳統上,我們會透過填充做到這一點:先找出最長句子,再加入沒有意義的 token(填充 token),補足其他序列。

填充雖然解決了問題,做法卻不理想:大量運算都浪費在不含任何語意資訊的填充 token 上。

Padding vs sequence packing
填充與序列打包的比較。序列打包(「取消填充」)避免將運算浪費在填充 token 上,並令每個批次中非填充 token 的數量更一致。透過謹慎遮罩,各樣本仍會個別處理。

取消填充可解決此問題:我們不再保留填充 token,而是將它們全部移除,並合併成批次大小為 1 的小批次,避免不必要的運算。如果使用 Flash Attention,我們的取消填充實作甚至比以往方法更快;以往方法會在模型處理序列時反覆取消填充及重新填充,而我們進一步開發自家取消填充實作,大量運用 Flash Attention 最近加入的 RoPE 支援。這讓 ModernBERT 只需取消填充一次,並可選擇在處理後重新填充,較以往方法快 10–20%。

為進一步加快預訓練,模型會將取消填充與序列打包搭配使用。序列打包是順理成章的下一步:既然我們會將輸入串接成單一序列,而 GPU 非常擅長平行處理,自然希望盡量提高單次前向模型運算的效率。為此,我們使用貪婪演算法,將個別序列分組並串接,令其長度盡可能接近模型可接受的最大輸入長度。

兼顧硬件

最後,ModernBERT 效率的第三個層面是硬件設計。

我們嘗試平衡過往研究強調的兩項見解:

  1. 深而窄與寬而淺:研究顯示,層數較多、層寬較窄的深層模型,往往比層數較少、層寬較大的淺層模型表現更佳。不過這是一把雙刃劍:模型愈深,平行處理能力愈低,因此參數數量相同時運行速度會更慢。
  2. 硬件效率:模型維度需要與 GPU 硬件配合,才能取得最佳效能;不同目標 GPU 亦帶來不同限制。

可惜,沒有能令模型在各種 GPU 上都同樣高效運行的神奇配方,但有一本很好的指南:《模型架構與硬件協同設計的理由》,當中仔細説明如何為指定 GPU 最佳化模型架構。我們提出一套啟發式方法,擴展相關做法以支援多種 GPU,同時遵守指定限制。按理説,第一步是訂明限制;本例包括:

  • 將目標 GPU 定為常見推理用型號(RTX 3090/4090、A10、T4、L4)
  • 將目標模型大小粗略定為 ModernBERT-Base 的 130 至 150 million 個參數,以及 ModernBERT-Large 的 350 至 420 個參數。
  • 最終嵌入大小必須與原版 BERT 的維度一致:base 為 768,large 為 1024,以盡量提高向後相容性
  • 設定在各目標 GPU 中普遍適用的效能限制

之後,我們透過受限網格搜尋測試多種模型設計,同時調整層數及層寬。找出看似效率最高的形狀後,我們確認啟發式方法符合真實世界的 GPU 效能,並確定最終模型設計。

訓練

def data(): return [‘text’, ‘bad_text’, ‘math’, ‘code’]

https://media1.tenor.com/m/xJSM2Ky3WpgAAAAd/steve-ballmer-microsoft.gif
想像一下這個場景一模一樣,只是將 Developers 換成 Data

編碼器另一個明顯落後的方面是訓練數據。人們往往只想到訓練數據的規模,但實情並非如此:DeBERTaV3 等以往編碼器已訓練足夠長時間,甚至可能早已使用超過一兆 token!

真正問題在於訓練數據的多樣性:許多舊模型只使用有限語料,通常只有 Wikipedia 和 Wikibooks。這些混合數據非常明顯屬於單一文字模態,當中只有高質素自然語言文字。

相比之下,ModernBERT 使用多種英文來源的數據訓練,包括網頁文件、程式碼及科學文章。它以2 trillion 個 token訓練,其中大部分均為獨有內容,而非上一代編碼器常見的 20 至 40 次重複。

這項改進的影響顯而易見:在所有現有開源編碼器中,ModernBERT 在程式設計相關任務上獨樹一幟。我們尤其期待它在下游應用中如何改善程式設計助理。

流程

我們沿用原版 BERT 訓練方案,只作少量受後續研究啟發的改進:移除已證明增加額外負擔、卻沒有明顯收益的 Next-Sentence Prediction 目標,並將遮罩率由 15% 提高至 30%。

兩個模型均採用三階段流程訓練。首先,以 1024 序列長度使用 1.7T 個 token 訓練。接着進行長上下文調整階段,以 8192 序列長度使用 250B 個 token 訓練,並降低批次大小,令每批次所見的總 token 數大致維持一致。最後,使用按不同方式抽樣的 500 億個 token 進行退火,並遵循 ProLong 提出的長上下文擴展理想混合比例。

三階段訓練可確保模型各方面都表現良好,結果亦反映這一點:它在長上下文任務上具競爭力,又不會犧牲處理短上下文的能力……

……此外,這種做法還有另一項好處:在首兩個階段,暖身完成後會以固定學習率訓練,只在最後 50 billion 個 token 進行學習率衰減,採用梯形(或暖身-穩定-衰減)學習率方案。此外,受 Pythia 啟發,我們會發布穩定階段每一個即時中間檢查點。這樣做主要是為了支援未來研究和應用:任何人都可從我們任何一個衰減前檢查點重新開始訓練,並使用適合其用途領域的數據進行退火!

秘訣,全部都是秘訣!

如果你讀到這篇公告的這裏,可能已經猜到:我們當然也會使用秘訣加快流程。具體而言,我們有兩個主要技巧。

先説第一個相當常見的技巧:由於最初訓練步驟會更新隨機權重,我們採用批次大小暖身:先使用較小批次,讓相同數量的 token 更頻密地更新模型權重,再逐步增加批次大小至最終訓練規模。這能大幅加快模型學習最基本語言理解能力的初始訓練階段。

第二個技巧較少見:透過平鋪將權重初始化至較大型模型,靈感來自 Microsoft 的 Phi 模型系列。此方法基於以下想法:既然手上已有一組相當不錯(若容許我們自誇)的 ModernBERT-base 權重,為甚麼還要用隨機數字初始化 ModernBERT-large 的初始權重?

事實證明,將 ModernBERT-base 權重平鋪至 ModernBERT-large,效果比以隨機權重初始化更好。它亦可與批次大小暖身完美配合,進一步加快初始訓練。

結語

本文介紹了 ModernBERT 模型:一系列全新、最先進、小型而高效的純編碼器模型,終於令 BERT 得以大幅改進。

ModernBERT 證明可透過現代方法改進純編碼器模型。它們在部分任務中仍能提供極佳效能,尺寸與效能比例尤其吸引。

最重要的是,我們非常期待看到社羣想出哪些創新方法使用這些模型!為鼓勵大家參與,我們現公開徵集示範作品,截止日期為 2025 年 1 月 10 日:最佳 5 個作品會加入本文的展示專區,並可獲得 100 美元(或等值當地貨幣)Amazon 禮品卡,以及 6 個月 Hugging Face Pro 訂閲!如需入門提示,可參考我們構思的示範:程式碼相似度 HF Space!請記住,這是編碼器模型,因此最酷的下游應用很可能需要某種微調(使用真實數據,或許也可使用解碼器模型生成的合成數據?)。幸好,已有許多優秀框架支援微調編碼器:🤗 Transformers 可處理分類等多種任務,GliNER 可執行零樣本命名實體識別,而 Sentence-Transformers 則適用於檢索及相似度任務!

連結

使用 Sentence Transformers 微調 ModernBERT

ModernBERT 與 Sentence Transformers 配合良好,適用於檢索和相似度任務。以下網誌文章會示範如何將 ModernBERT(或任何編碼器)微調為嵌入、reranker 或稀疏模型:

LightOn 為此項目在 Orange Business Cloud Avenue 上的運算資源提供贊助。

來源:Hugging Face Blog · huggingface.co