Hugging Face Hub 推出 Sentence Transformers 特徵擷取與句子相似度小工具
Sentence Transformers in the Hugging Face Hub
Hugging Face Hub 為 Sentence Transformers 推出特徵擷取與句子相似度兩款小工具,並提供 Inference API 端點供程式調用模型。Hub 收錄超過 90 個預訓練 Sentence Transformers 模型,涵蓋超過 100 種語言,使用者可直接載入使用。
文章梳理 Sentence Transformers 模型接入 Hugging Face Hub 的分享與使用流程,涵蓋自動生成模型卡、互動小工具及 Inference API,並交代模型在 Hub 上的展示、調用與發現方式。
過去數週,我們與機器學習生態系中的多個開源框架建立了合作關係。其中,Sentence Transformers 尤其令我們期待。
Sentence Transformers 是一個用於句子、段落和圖片嵌入的框架,可產生具語義意義的嵌入向量 (1),適用於語義搜尋或多語言零樣本分類等用途。隨着 Sentence Transformers v2 版本推出,亦帶來不少實用新功能:
Hub 上有超過 90 款預訓練 Sentence Transformers 模型,涵蓋逾 100 種語言,任何人都可受惠並輕鬆使用。只需幾行程式碼,便可直接載入和使用預訓練模型:
除此之外,使用者可能也想輕鬆展示自己的模型,或試用其他模型,因此我們很高興宣佈 Hub 推出兩款全新小工具!第一款是 feature-extraction 小工具,用來顯示句子嵌入。
sentence-transformers/distilbert-base-nli-max-tokens
託管式推理 API
特徵擷取
此模型目前已載入並在 Inference API 上運行。
看到一堆數字對你未必有用(除非你看一眼便能理解嵌入向量,那就真令人佩服!)。我們亦為 Sentence Transformers 的常見用途推出新小工具:計算句子相似度。
除了小工具,我們亦在 Inference API 提供 API 端點,讓你可以透過程式呼叫模型!
import json
import requests
API_URL = "https://api-inference.huggingface.co/models/sentence-transformers/paraphrase-MiniLM-L6-v2"
headers = {"Authorization": "Bearer YOUR_TOKEN"}
def query(payload):
response = requests.post(API_URL, headers=headers, json=payload)
return response.json()
data = query(
{
"inputs": {
"source_sentence": "That is a happy person",
"sentences": [
"That is a happy dog",
"That is a very happy person",
"Today is a sunny day"
]
}
}
)
釋放分享的力量
為甚麼這麼實用?只需幾分鐘,你便可與整個社羣分享自己訓練的模型。
from sentence_transformers import SentenceTransformer
# Load or train a model
model.save_to_hub("my_new_model")
之後,你的模型便會託管在 Hub 的儲存庫中,並自動建立模型卡。模型卡會列出各層架構,並説明如何搭配 Sentence Transformers 和 🤗 Transformers 使用模型。你亦可立即試用小工具和 Inference API!
除此之外,使用者亦可透過篩選所有 Sentence Transformers 模型,輕鬆找到你的模型。
接下來呢?
展望未來,我們希望令這項整合更加實用。按照我們的路線圖,自動建立的模型卡預計會加入訓練和評估資料,做法類似 transformers 自 v4.8 版本起提供的功能。
接下來,你又可以做甚麼?我們很期待看到你的貢獻!如果你已在 Hub 建立 Sentence Transformer 儲存庫,現在只需修改模型卡中繼資料,便可啟用小工具和 Inference API。
---
tags:
- sentence-transformers
- sentence-similarity # Or feature-extraction!
---
如果你尚未在 Hub 上架模型,並想進一步瞭解 Sentence Transformers,請瀏覽 www.SBERT.net!
想把你的程式庫整合至 Hub 嗎?
這項整合有賴 huggingface_hub 程式庫,當中包含我們所有小工具,以及支援程式庫的 API。如果你想把自己的程式庫整合至 Hub,我們為你準備了指南!
參考資料
- Sentence-BERT:使用孿生 BERT 網絡生成句子嵌入。https://arxiv.org/abs/1908.10084
來源:Hugging Face Blog · huggingface.co