跳到正文
Hugging Face Blog·· 2024-07-10精選AI 評分65

Hugging Face 與 KerasHub 宣佈共用模型保存格式

Announcing New Hugging Face and KerasHub integration

AI 導讀

Hugging Face 與 KerasHub 宣佈共用模型保存格式,讓 Hugging Face Hub 上部分 Transformers 模型可直接載入 KerasHub。首批涵蓋 Gemma 1、Gemma 2、Llama 3 和 PaliGemma;KerasHub 可透過 TensorFlow、JAX 或 PyTorch 後端運行這些模型。

推薦理由

共享模型保存格式讓受支援架構的 Transformers 模型可直接載入 KerasHub,並透過 TensorFlow、JAX 或 PyTorch 後端運行,呈現跨框架使用的實際路徑。

正文 · 繁體中文

Hugging Face Hub 是一個龐大的模型庫,目前託管 超過 750K 個公開模型, 涵蓋多種機器學習框架的預訓練模型。當中, 346,268 個(截至本文撰寫時)使用熱門的 Transformers程式庫構建。 KerasHub程式庫最近加入了與 Hub 的整合,首批支援 33 個模型。

在首個版本中,KerasHub 用戶僅限使用 Hugging Face Hub 上基於 KerasHub 的模型。

from keras_hub.models import GemmaCausalLM

gemma_lm = GemmaCausalLM.from_preset(
    "hf://google/gemma-2b-keras"
)

他們可以訓練或微調模型,再上載回 Hub(請注意,模型仍然是 Keras 模型)。

model.save_to_preset("./gemma-2b-finetune")
keras_hub.upload_preset(
    "hf://username/gemma-2b-finetune",
    "./gemma-2b-finetune"
)

他們無法使用以 Transformers 程式庫構建、數量多達 300K 以上的豐富模型。圖 1 顯示 Hub 上的 4k 個 Gemma 模型。

models on hf
圖 1:Hugging Face Hub 上的 Gemma 模型(來源:https://huggingface.co/models?other=gemma)

不過,如果現在可以透過 KerasHub 存取和使用這些 300K 以上模型,大幅擴展模型選擇和功能,你會怎麼看?

from keras_hub.models import GemmaCausalLM

gemma_lm = GemmaCausalLM.from_preset(
    "hf://google/gemma-2b" # this is not a keras model!
)

我們很高興宣佈,Hub 社羣向前邁出重要一步:Transformers 和 KerasHub 現在採用共用模型儲存格式。這代表 Hugging Face Hub 上使用 Transformers 程式庫的模型,現在亦可直接載入 KerasHub,立即讓 KerasHub 用戶使用大量微調模型。初期整合會優先支援 Gemma(1 和 2)、Llama 3及 PaliGemma模型,並計劃在不久將來擴展至更多架構。

支援更多框架

由於 KerasHub 模型可順暢使用 TensorFlow、JAX或 PyTorch後端,現在只需一行程式碼,就能把大量模型檢查點載入其中任何一個框架。你在 Hugging Face 找到出色的檢查點,卻希望部署到 TFLite 提供服務,或移植到 JAX 進行研究?現在都可以!

使用方法

使用這項整合前,需要更新 Keras 版本。

$ pip install -U -q keras-hub
$ pip install -U keras>=3.3.3

更新後,只需以下簡單步驟即可試用這項整合:

from keras_hub.models import Llama3CausalLM

# this model was not fine-tuned with Keras but can still be loaded
causal_lm = Llama3CausalLM.from_preset(
    "hf://NousResearch/Hermes-2-Pro-Llama-3-8B"
)

causal_lm.summary()

運作原理

Transformers 模型以一組 JSON 格式配置檔、一個 tokenizer(通常也是 .JSON 檔案),以及一組 safetensors權重檔儲存。實際模型程式碼則包含在 Transformers 程式庫本身。只要兩個程式庫都有相關架構的模型程式碼,把 Transformers 檢查點載入 KerasHub 就相對直接:只需在兩種格式之間對應配置變數、權重名稱和 tokenizer 字彙表,再由 Transformers 檢查點建立 KerasHub 檢查點,或反向轉換即可。

以上程序都會在內部自動處理,你只需專注試用模型,無須自行轉換!

常見用途

文字生成

語言模型的一項常見用途是生成文字。以下示範如何載入 Transformers 模型,並使用 KerasHub 的 .generate 方法生成新 tokens。

from keras_hub.models import Llama3CausalLM

# Get the model
causal_lm = Llama3CausalLM.from_preset(
    "hf://NousResearch/Hermes-2-Pro-Llama-3-8B"
)

prompts = [
"""<|im_start|>system
You are a sentient, superintelligent artificial general intelligence, here to teach and assist me.<|im_end|>
<|im_start|>user
Write a short story about Goku discovering kirby has teamed up with Majin Buu to destroy the world.<|im_end|>
<|im_start|>assistant""",
]

# Generate from the model
causal_lm.generate(prompts, max_length=200)[0]

更改精度

你可以使用 keras.config 更改模型精度,方法如下:

import keras
keras.config.set_dtype_policy("bfloat16")

from keras_hub.models import Llama3CausalLM

causal_lm = Llama3CausalLM.from_preset(
    "hf://NousResearch/Hermes-2-Pro-Llama-3-8B"
)

使用 JAX 後端載入檢查點

若要使用 JAX 測試模型,可透過 Keras 搭配 JAX 後端執行。只需把 Keras 後端切換至 JAX 即可。以下示範如何在 JAX 環境中使用模型。

import os
os.environ["KERAS_BACKEND"] = "jax"

from keras_hub.models import Llama3CausalLM

causal_lm = Llama3CausalLM.from_preset(
    "hf://NousResearch/Hermes-2-Pro-Llama-3-8B"
)

Gemma 2

我們很高興通知你,Gemma 2 模型亦與這項整合相容。

from keras_hub.models import GemmaCausalLM

causal_lm = keras_hub.models.GemmaCausalLM.from_preset(
    "hf://google/gemma-2-9b" # This is Gemma 2!
)

PaliGemma

你亦可在 KerasHub 工作流程中使用任何 PaliGemma safetensor 檢查點。

from keras_hub.models import PaliGemmaCausalLM

pali_gemma_lm = PaliGemmaCausalLM.from_preset(
    "hf://gokaygokay/sd3-long-captioner" # A finetuned version of PaliGemma
)

接下來呢?

這只是開始。我們計劃擴展這項整合,支援更多 Hugging Face 模型和架構。敬請期待最新消息,並探索這項合作帶來的巨大潛力!

藉此機會感謝 Matthew Carrigan 和 Matthew Watson 在整個過程中提供協助。

來源:Hugging Face Blog · huggingface.co