Hugging Face 與 KerasHub 宣佈共用模型保存格式
Announcing New Hugging Face and KerasHub integration
Hugging Face 與 KerasHub 宣佈共用模型保存格式,讓 Hugging Face Hub 上部分 Transformers 模型可直接載入 KerasHub。首批涵蓋 Gemma 1、Gemma 2、Llama 3 和 PaliGemma;KerasHub 可透過 TensorFlow、JAX 或 PyTorch 後端運行這些模型。
共享模型保存格式讓受支援架構的 Transformers 模型可直接載入 KerasHub,並透過 TensorFlow、JAX 或 PyTorch 後端運行,呈現跨框架使用的實際路徑。
Hugging Face Hub 是一個龐大的模型庫,目前託管 超過 750K 個公開模型, 涵蓋多種機器學習框架的預訓練模型。當中, 346,268 個(截至本文撰寫時)使用熱門的 Transformers程式庫構建。 KerasHub程式庫最近加入了與 Hub 的整合,首批支援 33 個模型。
在首個版本中,KerasHub 用戶僅限使用 Hugging Face Hub 上基於 KerasHub 的模型。
from keras_hub.models import GemmaCausalLM
gemma_lm = GemmaCausalLM.from_preset(
"hf://google/gemma-2b-keras"
)
他們可以訓練或微調模型,再上載回 Hub(請注意,模型仍然是 Keras 模型)。
model.save_to_preset("./gemma-2b-finetune")
keras_hub.upload_preset(
"hf://username/gemma-2b-finetune",
"./gemma-2b-finetune"
)
他們無法使用以 Transformers 程式庫構建、數量多達 300K 以上的豐富模型。圖 1 顯示 Hub 上的 4k 個 Gemma 模型。
![]() |
|---|
| 圖 1:Hugging Face Hub 上的 Gemma 模型(來源:https://huggingface.co/models?other=gemma) |
不過,如果現在可以透過 KerasHub 存取和使用這些 300K 以上模型,大幅擴展模型選擇和功能,你會怎麼看?
from keras_hub.models import GemmaCausalLM
gemma_lm = GemmaCausalLM.from_preset(
"hf://google/gemma-2b" # this is not a keras model!
)
我們很高興宣佈,Hub 社羣向前邁出重要一步:Transformers 和 KerasHub 現在採用共用模型儲存格式。這代表 Hugging Face Hub 上使用 Transformers 程式庫的模型,現在亦可直接載入 KerasHub,立即讓 KerasHub 用戶使用大量微調模型。初期整合會優先支援 Gemma(1 和 2)、Llama 3及 PaliGemma模型,並計劃在不久將來擴展至更多架構。
支援更多框架
由於 KerasHub 模型可順暢使用 TensorFlow、JAX或 PyTorch後端,現在只需一行程式碼,就能把大量模型檢查點載入其中任何一個框架。你在 Hugging Face 找到出色的檢查點,卻希望部署到 TFLite 提供服務,或移植到 JAX 進行研究?現在都可以!
使用方法
使用這項整合前,需要更新 Keras 版本。
$ pip install -U -q keras-hub
$ pip install -U keras>=3.3.3
更新後,只需以下簡單步驟即可試用這項整合:
from keras_hub.models import Llama3CausalLM
# this model was not fine-tuned with Keras but can still be loaded
causal_lm = Llama3CausalLM.from_preset(
"hf://NousResearch/Hermes-2-Pro-Llama-3-8B"
)
causal_lm.summary()
運作原理
Transformers 模型以一組 JSON 格式配置檔、一個 tokenizer(通常也是 .JSON 檔案),以及一組 safetensors權重檔儲存。實際模型程式碼則包含在 Transformers 程式庫本身。只要兩個程式庫都有相關架構的模型程式碼,把 Transformers 檢查點載入 KerasHub 就相對直接:只需在兩種格式之間對應配置變數、權重名稱和 tokenizer 字彙表,再由 Transformers 檢查點建立 KerasHub 檢查點,或反向轉換即可。
以上程序都會在內部自動處理,你只需專注試用模型,無須自行轉換!
常見用途
文字生成
語言模型的一項常見用途是生成文字。以下示範如何載入 Transformers 模型,並使用 KerasHub 的 .generate 方法生成新 tokens。
from keras_hub.models import Llama3CausalLM
# Get the model
causal_lm = Llama3CausalLM.from_preset(
"hf://NousResearch/Hermes-2-Pro-Llama-3-8B"
)
prompts = [
"""<|im_start|>system
You are a sentient, superintelligent artificial general intelligence, here to teach and assist me.<|im_end|>
<|im_start|>user
Write a short story about Goku discovering kirby has teamed up with Majin Buu to destroy the world.<|im_end|>
<|im_start|>assistant""",
]
# Generate from the model
causal_lm.generate(prompts, max_length=200)[0]
更改精度
你可以使用 keras.config 更改模型精度,方法如下:
import keras
keras.config.set_dtype_policy("bfloat16")
from keras_hub.models import Llama3CausalLM
causal_lm = Llama3CausalLM.from_preset(
"hf://NousResearch/Hermes-2-Pro-Llama-3-8B"
)
使用 JAX 後端載入檢查點
若要使用 JAX 測試模型,可透過 Keras 搭配 JAX 後端執行。只需把 Keras 後端切換至 JAX 即可。以下示範如何在 JAX 環境中使用模型。
import os
os.environ["KERAS_BACKEND"] = "jax"
from keras_hub.models import Llama3CausalLM
causal_lm = Llama3CausalLM.from_preset(
"hf://NousResearch/Hermes-2-Pro-Llama-3-8B"
)
Gemma 2
我們很高興通知你,Gemma 2 模型亦與這項整合相容。
from keras_hub.models import GemmaCausalLM
causal_lm = keras_hub.models.GemmaCausalLM.from_preset(
"hf://google/gemma-2-9b" # This is Gemma 2!
)
PaliGemma
你亦可在 KerasHub 工作流程中使用任何 PaliGemma safetensor 檢查點。
from keras_hub.models import PaliGemmaCausalLM
pali_gemma_lm = PaliGemmaCausalLM.from_preset(
"hf://gokaygokay/sd3-long-captioner" # A finetuned version of PaliGemma
)
接下來呢?
這只是開始。我們計劃擴展這項整合,支援更多 Hugging Face 模型和架構。敬請期待最新消息,並探索這項合作帶來的巨大潛力!
藉此機會感謝 Matthew Carrigan 和 Matthew Watson 在整個過程中提供協助。
來源:Hugging Face Blog · huggingface.co
