跳到正文
Hugging Face Blog·· 2023-08-23精選AI 評分76

Hugging Face 將 AutoGPTQ 整合至 Transformers,支援大語言模型 GPTQ 量化

Making LLMs lighter with AutoGPTQ and transformers

AI 導讀

Hugging Face 將 AutoGPTQ 整合至 Transformers,支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略,小批次推理速度與 fp16 基準相若;整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。

推薦理由

文章列出 4-bit 量化的精度變化與小批次推理速度,並説明 GPU 支援範圍及 TGI 大批次下的速度限制,呈現 GPTQ 的部署取捨。

正文 · 繁體中文

大型語言模型展現出色能力,能理解和生成近似人類的文字,並在不同領域革新各種應用。然而,訓練和部署這些模型對一般硬件的需求愈來愈難以滿足。

🤗 Hugging Face 的核心使命是讓優質機器學習普及化,其中包括盡可能讓所有人都能使用大型模型。本着與bitsandbytes 合作相同的理念,我們剛把AutoGPTQ函式庫整合至 Transformers,讓用戶可使用 GPTQ 演算法(Frantar 等人,2023),以 8、4、3 甚至 2-bit 精度量化和執行模型。採用 4-bit 量化時,準確度下降微不足道;小批次的推論速度亦與 fp16 基準相若。請注意,GPTQ 方法與 bitsandbytes 提出的訓練後量化方法略有不同,因為它需要傳入校準資料集。

這項整合同時支援 Nvidia GPU 和由 RoCm 驅動的 AMD GPU。

目錄

資源

這篇網誌和此次發布附有多項資源,助你開始使用 GPTQ 量化:

淺談 GPTQ 論文

量化方法通常分為兩類:

  1. 訓練後量化(PTQ):使用校準資料集和數小時運算等中等資源,量化預訓練模型。
  2. 量化感知訓練(QAT):在訓練或進一步微調前進行量化。

GPTQ 屬於 PTQ 類別,對大型模型尤其重要,因為完整訓練甚至微調此類模型的成本都可能非常高。

具體而言,GPTQ 採用 int4/fp16 混合量化方案:權重會量化為 int4,而啟動值則維持 float16。推論期間,權重會即時反量化,實際計算則以 float16 執行。

這種方案有兩大優點:

  • int4 量化的記憶體節省接近 x4,因為反量化會在融合核心中、靠近計算單元的位置進行,而非在 GPU 全域記憶體中進行。
  • 權重所用位元寬度較低,資料通訊所需時間縮短,因此有機會提升速度。

GPTQ 論文處理的是逐層壓縮問題:

對於一層 ll,其權重矩陣為 WlW_{l},層輸入為 XlX_{l};我們希望找出權重的量化版本 W^l\hat{W}_{l},以最小化均方誤差(MSE):

W^l∗=argminWl^∥WlX−W^lX∥22{\hat{W}_{l}}^{*} = argmin_{\hat{W_{l}}} \|W_{l}X-\hat{W}_{l}X\|^{2}_{2}

逐層解決這個問題後,便可結合各層的解,得出整體問題的解。

為瞭解決逐層壓縮問題,作者採用 Optimal Brain Quantization 框架(Frantar 等人,2022)。OBQ 方法從一項觀察出發:上述方程式可以寫成 WlW_{l} 每一列的平方誤差總和。

∑i=0drow∥Wl[i,:]X−W^l[i,:]X∥22 \sum_{i=0}^{d_{row}} \|W_{l[i,:]}X-\hat{W}_{l[i,:]}X\|^{2}_{2}

這表示我們可以逐列量化,稱為逐通道量化。對於每一列 Wl[i,:]W_{l[i,:]},OBQ 每次量化一個權重,同時持續更新所有尚未量化的權重,以補償量化單一權重造成的誤差。更新所選權重的公式是封閉形式,並運用 Hessian 矩陣。

GPTQ 論文透過一系列最佳化改進此框架,在保留模型準確度的同時降低量化演算法的複雜度。

與 OBQ 相比,GPTQ 的量化步驟本身亦更快:使用 OBQ 量化一個 BERT 模型(336M)需要 2 GPU 小時;使用 GPTQ 則可在少於 4 GPU 小時內量化一個 Bloom 模型(176B)。

如要了解確切演算法,以及困惑度和速度提升的不同基準測試,請參閲原始論文。

AutoGPTQ 函式庫:高效運用 GPTQ 處理 LLM 的一站式函式庫

AutoGPTQ 函式庫讓用戶可使用 GPTQ 方法量化 🤗 Transformers 模型。社羣亦有其他平行開發項目,例如GPTQ-for-LLaMa、Exllama和llama.cpp,但它們只為 Llama 架構實作量化方法;AutoGPTQ 則因順暢支援多種 Transformers 架構而廣受歡迎。

由於 AutoGPTQ 函式庫支援更廣泛的 Transformers 模型,我們決定提供整合式 🤗 Transformers API,令所有人更容易使用 LLM 量化。目前,我們已整合最常用的最佳化選項,例如 CUDA 核心。如需 Triton 核心或融合注意力相容性等進階選項,請參閲AutoGPTQ函式庫。

🤗 Transformers 原生支援 GPTQ 模型

安裝 AutoGPTQ 函式庫和 optimum(pip install optimum)後,現在只需以下步驟,便可在 Transformers 中執行 GPTQ 模型:

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("TheBloke/Llama-2-7b-Chat-GPTQ", torch_dtype=torch.float16, device_map="auto")

請參閲 Transformers文件,瞭解所有功能。

整合 AutoGPTQ 帶來多項優點:

  • 量化模型可序列化,亦可在 Hub 分享。
  • GPTQ 大幅降低執行 LLM 所需的記憶體,而推論延遲與 FP16 推論相若。
  • AutoGPTQ 支援多種架構的 Exllama 核心。
  • 整合亦原生支援 AMD GPU 的 RoCm。
  • 現已支援使用 PEFT微調。

你可以在 Hub 查看喜愛的模型是否已完成量化。Hugging Face 的頂尖貢獻者之一 TheBloke 已使用 AutoGPTQ 量化大量模型,並分享到 Hugging Face Hub。我們與他合作,確保這些儲存庫可直接配合我們的整合使用。

以下是批次大小為 1 的基準測試樣本。測試在單張 NVIDIA A100-SXM4-80GB GPU 上進行,提示長度為 512,並準確生成 512 個新 token。第一列是未量化的 fp16 基準,其餘各列則顯示使用不同 AutoGPTQ 核心時的記憶體消耗和效能。

gptq act_order 位元數 group_size 核心 載入時間(秒) 每 token 延遲(毫秒) 吞吐量(token/秒) 峯值記憶體(MB)
False None None None None 26.0 36.958 27.058 29152.98
True False 4 128 exllama 36.2 33.711 29.663 10484.34
True False 4 128 autogptq-cuda-old 36.2 46.44 21.53 10344.62

此處提供更全面、可重現的基準測試。

使用 Optimum 函式庫量化模型

為了把 AutoGPTQ 無縫整合至 Transformers,我們採用Optimum中精簡版的 AutoGPTQ API。Optimum 是 Hugging Face 用於訓練和推論最佳化的工具套件。此做法讓我們輕鬆整合至 Transformers,同時用戶仍可按需要使用 Optimum API 量化自己的模型!如要量化自己的 LLM,請參閲 Optimum文件。

使用 GPTQ 方法量化 🤗 Transformers 模型,只需幾行程式碼:

from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig

model_id = "facebook/opt-125m"
tokenizer = AutoTokenizer.from_pretrained(model_id)
quantization_config = GPTQConfig(bits=4, dataset = "c4", tokenizer=tokenizer)

model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", quantization_config=quantization_config)

量化模型可能需要很長時間。請注意,若要量化 175B 模型,使用大型資料集(例如 `"c4"``)時至少需要 4 GPU 小時。如上所述,Hugging Face Hub 已提供許多 GPTQ 模型,因此大多數情況下都毋須自行量化模型。不過,你亦可以使用適合特定領域的自有資料集量化模型。

透過 Text-Generation-Inference 執行 GPTQ 模型

在把 GPTQ 整合至 Transformers 的同時,我們亦為Text-Generation-Inference 函式庫加入 GPTQ 支援。此函式庫專為正式環境提供大型語言模型服務而設。現在,GPTQ 可與動態批次、分頁注意力和 Flash Attention 等功能一併使用,並支援多種架構。

例如,這項整合讓你可在單張 A100-80GB GPU 上提供 70B 模型服務!使用 fp16 檢查點無法做到這一點,因為它會超出可用 GPU 記憶體。

如要進一步瞭解如何在 TGI 使用 GPTQ,請參閲文件。

請注意,TGI 整合的核心在較大批次下擴展效能不太理想。此方法雖然節省記憶體,但批次較大時預期會變慢。

使用 PEFT 微調量化模型

你無法使用一般方法進一步訓練量化模型。不過,利用 PEFT 函式庫便可在模型上訓練 adapters!做法是凍結量化模型的所有層,再加入可訓練的 adapters。以下是使用 PEFT 配合 GPTQ 模型的示例:Colab 筆記本和微調指令碼。

仍有改進空間

我們的 AutoGPTQ 整合以輕微的預測品質代價,帶來了顯著效益。量化技術和核心實作仍有改進空間。

首先,據我們所知,AutoGPTQ 已整合exllama 實作中效能最佳的 W4A16 核心(權重使用 int4,啟動值使用 fp16),但核心仍很可能有改進空間。Kim 等人提出的其他實作,以及MIT Han Lab的實作亦相當有前景。此外,根據內部基準測試,目前似乎仍沒有以 Triton 編寫、效能良好的開源 W4A16 核心;這可以是值得探索的方向。

至於量化方面,我們再次強調,此方法只量化權重。其他 LLM 量化方法則可同時量化權重和啟動值,並只對預測品質造成輕微影響,例如LLM-QAT可採用 int4/int8 混合方案,亦有方法量化 key-value 快取。這項技術的一大優點,是能在運算時使用真正的整數算術,例如Nvidia Tensor Core 支援 int8 運算。不過,據我們所知目前沒有開源 W4A8 量化核心,但這或許是值得探索的方向。

在核心方面,如何為較大批次設計高效能 W4A16 核心仍是尚待解決的挑戰。

支援的模型

在此初期實作中,只支援採用 decoder-only 或 encoder-only 架構的大型語言模型。這可能聽來有點受限,但已涵蓋大部分最先進 LLM,例如 Llama、OPT、GPT-Neo 和 GPT-NeoX。

目前不支援非常大型的視覺、音訊和多模態模型。

總結和結語

這篇網誌介紹了把AutoGPTQ 函式庫整合至 Transformers,讓社羣所有人都能使用 GPTQ 方法量化 LLM,並以此建構精彩的工具和應用。

此整合同時支援 Nvidia GPU 和由 RoCm 驅動的 AMD GPU,是讓量化模型普及至更多 GPU 架構的重要一步。

我們與 AutoGPTQ 團隊合作成果豐碩,非常感謝他們對此函式庫的支持和付出。

希望這項整合能讓所有人更容易在應用程式中使用 LLM;我們期待看到你會用它建構甚麼!

請不要錯過上文分享的實用資源,以深入瞭解這項整合並迅速開始使用 GPTQ 量化。

鳴謝

我們感謝William對出色的 AutoGPTQ 函式庫的支持和付出,以及協助整合。 我們亦感謝TheBloke使用 AutoGPTQ 量化大量模型、分享到 Hub,並協助整合。 我們也要特別感謝qwopqwop200一直為 AutoGPTQ 函式庫作出貢獻,並為函式庫加入 CPU 支援;這項功能預計會在 AutoGPTQ 後續版本推出。

最後,感謝Pedro Cuenca協助撰寫這篇網誌。

來源:Hugging Face Blog · huggingface.co