跳到正文
Hugging Face Blog·· 2021-06-28精選AI 評分61

Hugging Face Hub 推出 Sentence Transformers 特徵擷取與句子相似度小工具

Sentence Transformers in the Hugging Face Hub

AI 導讀

Hugging Face Hub 為 Sentence Transformers 推出特徵擷取與句子相似度兩款小工具,並提供 Inference API 端點供程式調用模型。Hub 收錄超過 90 個預訓練 Sentence Transformers 模型,涵蓋超過 100 種語言,使用者可直接載入使用。

推薦理由

文章梳理 Sentence Transformers 模型接入 Hugging Face Hub 的分享與使用流程,涵蓋自動生成模型卡、互動小工具及 Inference API,並交代模型在 Hub 上的展示、調用與發現方式。

正文 · 繁體中文

過去數週,我們與機器學習生態系中的多個開源框架建立了合作關係。其中,Sentence Transformers 尤其令我們期待。

Sentence Transformers 是一個用於句子、段落和圖片嵌入的框架,可產生具語義意義的嵌入向量 (1),適用於語義搜尋或多語言零樣本分類等用途。隨着 Sentence Transformers v2 版本推出,亦帶來不少實用新功能:

Hub 上有超過 90 款預訓練 Sentence Transformers 模型,涵蓋逾 100 種語言,任何人都可受惠並輕鬆使用。只需幾行程式碼,便可直接載入和使用預訓練模型:

除此之外,使用者可能也想輕鬆展示自己的模型,或試用其他模型,因此我們很高興宣佈 Hub 推出兩款全新小工具!第一款是 feature-extraction 小工具,用來顯示句子嵌入。

sentence-transformers/distilbert-base-nli-max-tokens

託管式推理 API

特徵擷取

此模型目前已載入並在 Inference API 上運行。

看到一堆數字對你未必有用(除非你看一眼便能理解嵌入向量,那就真令人佩服!)。我們亦為 Sentence Transformers 的常見用途推出新小工具:計算句子相似度。

除了小工具,我們亦在 Inference API 提供 API 端點,讓你可以透過程式呼叫模型!

import json
import requests

API_URL = "https://api-inference.huggingface.co/models/sentence-transformers/paraphrase-MiniLM-L6-v2"
headers = {"Authorization": "Bearer YOUR_TOKEN"}

def query(payload):
    response = requests.post(API_URL, headers=headers, json=payload)
    return response.json()

data = query(
    {
        "inputs": {
            "source_sentence": "That is a happy person",
            "sentences": [
                "That is a happy dog",
                "That is a very happy person",
                "Today is a sunny day"
            ]
        }
    }
)

釋放分享的力量

為甚麼這麼實用?只需幾分鐘,你便可與整個社羣分享自己訓練的模型。

from sentence_transformers import SentenceTransformer

# Load or train a model

model.save_to_hub("my_new_model")

之後,你的模型便會託管在 Hub 的儲存庫中,並自動建立模型卡。模型卡會列出各層架構,並説明如何搭配 Sentence Transformers 和 🤗 Transformers 使用模型。你亦可立即試用小工具和 Inference API!

除此之外,使用者亦可透過篩選所有 Sentence Transformers 模型,輕鬆找到你的模型。

接下來呢?

展望未來,我們希望令這項整合更加實用。按照我們的路線圖,自動建立的模型卡預計會加入訓練和評估資料,做法類似 transformers 自 v4.8 版本起提供的功能。

接下來,你又可以做甚麼?我們很期待看到你的貢獻!如果你已在 Hub 建立 Sentence Transformer 儲存庫,現在只需修改模型卡中繼資料,便可啟用小工具和 Inference API。

---
tags:
  - sentence-transformers
  - sentence-similarity # Or feature-extraction!
---

如果你尚未在 Hub 上架模型,並想進一步瞭解 Sentence Transformers,請瀏覽 www.SBERT.net!

想把你的程式庫整合至 Hub 嗎?

這項整合有賴 huggingface_hub 程式庫,當中包含我們所有小工具,以及支援程式庫的 API。如果你想把自己的程式庫整合至 Hub,我們為你準備了指南!

參考資料

  1. Sentence-BERT:使用孿生 BERT 網絡生成句子嵌入。https://arxiv.org/abs/1908.10084

來源:Hugging Face Blog · huggingface.co