跳到正文
Hugging Face Blog·· 2024-08-12精選AI 評分63

Hugging Face Transformers 提供跨多款模型的統一工具調用 API

Tool Use, Unified

AI 導讀

Hugging Face 在 Transformers 中提供統一工具調用 API,讓同一套程式碼可跨多個熱門模型系列使用。API 支援 Mistral、Cohere、NousResearch 和 Llama;Transformers 亦加入輔助功能、完整文件與範例,並可將 Python 函式自動轉為 JSON schema。

推薦理由

文章説明統一 API 如何簡化工具定義與聊天紀錄格式,也交代模型輸出的工具呼叫仍需自行解析,呈現目前統一機制的範圍與缺口。

正文 · 繁體中文

多個熱門模型系列現已支援統一的工具使用 API。這代表同一套程式碼可在不同模型之間移植,使用Mistral、Cohere、NousResearch或Llama模型進行工具對話時,只需極少甚至毋須作出模型專屬修改。Transformers 亦加入輔助功能,令工具呼叫更簡單,並為整個工具使用流程提供完整文件和示例。不久後還會支援更多模型。

簡介

工具使用是一項有趣的功能——人人都覺得它很棒,但大多數人自己未試過。概念上相當直接:把一些工具(可呼叫函式)交給 LLM,讓它決定是否呼叫工具,以協助回應用戶查詢。你可以提供計算機,讓它不用依賴內部不可靠的算術能力;也可以讓它搜尋網頁或查看日曆,甚至提供對公司資料庫的唯讀存取權,讓它查找資訊或搜尋技術文件。

工具使用可克服 LLM 的許多核心限制。許多 LLM 説話流暢、內容豐富,但計算和事實往往不夠準確,對冷門主題的具體細節也掌握模糊。它們不知道訓練截止日期之後發生的事。它們是通才,除了系統訊息中提供的內容外,對你或你的工作環境一無所知。工具則讓它們存取結構化、具體、相關和最新的資訊,協助它們成為真正有用的夥伴,而不只是令人着迷的新奇玩意。

然而,真正實作工具使用時,問題便會出現。文件往往稀少、不一致,甚至互相矛盾;封閉來源 API 和開放模型皆是如此!工具使用在理論上很簡單,實際操作卻經常令人頭痛:如何把工具傳給模型?如何確保工具提示符合模型受訓時使用的格式?模型呼叫工具時,如何把結果加入對話?如果你以前試過實作工具使用,大概會發現這些問題出乎意料地棘手,而文件也不一定完整或有幫助。

更麻煩的是,不同模型的工具使用實作可能大相逕庭。單是定義可用工具這個最基本的環節,有些供應商要求 JSON 結構描述,有些則要求 Python 函式標頭。即使同樣使用 JSON 結構描述,細節也經常不同,造成嚴重的 API 不相容問題。這帶來不少阻力,通常只會令用戶更加困惑。那麼,我們可以怎樣解決?

聊天範本

熟悉 Hugging Face 電影宇宙的忠實粉絲會記得,開源社羣過去也曾在聊天模型方面遇到類似挑戰。聊天模型會使用控制 token,例如 <|start_of_user_turn|> 或 <|end_of_message|>,讓模型瞭解對話狀況;但不同模型的訓練方式和控制 token 完全不同,用戶因此要為每個想使用的模型撰寫專屬格式化程式碼。當時這是個大麻煩。

我們的解決方案是聊天範本:每個模型都附有一個小型 Jinja 範本,按該模型所需格式和控制 token 呈現聊天內容。聊天範本讓用戶可用統一、與模型無關的格式撰寫對話,並由 Jinja 範本處理任何模型專屬格式要求。

因此,支援工具使用最直接的方法,就是擴展聊天範本,讓它也能處理工具。我們正是這樣做的,但工具為範本系統帶來不少新挑戰。以下會逐一介紹這些挑戰和我們的解決方法;希望你也能藉此深入瞭解系統運作方式,以及如何善用它。

將工具傳給聊天範本

設計工具使用 API 時,我們的首要原則是讓工具定義和傳入聊天範本的方式直觀易用。我們發現,大多數用戶會先編寫工具函式,再研究如何從函式生成工具定義並傳給模型。因此,我們想到一個直接做法:用戶能否直接把函式傳給聊天範本,由範本代為生成工具定義?

不過,「傳入函式」是高度依賴程式語言的做法,而且許多人透過JavaScript或Rust而非 Python 存取聊天模型。因此,我們採取折衷方案,兼顧兩方面的優點:聊天範本預期工具以 JSON 結構描述定義;但如果你改為傳入 Python 函式,範本便會自動把它轉換成 JSON 結構描述。這樣便形成簡潔易用的 API:

def get_current_temperature(location: str):
    """
    Gets the temperature at a given location.

    Args:
        location: The location to get the temperature for
    """
    return 22.0  # bug: Sometimes the temperature is not 22. low priority

tools = [get_current_temperature]    

chat = [
    {"role": "user", "content": "Hey, what's the weather like in Paris right now?"}
]

tool_prompt = tokenizer.apply_chat_template(
    chat, 
    tools=tools,
    add_generation_prompt=True,
    return_tensors="pt"
)

在內部,get_current_temperature 函式會展開成完整的 JSON 結構描述。如要查看生成的結構描述,可以使用 get_json_schema 函式:

>>> from transformers.utils import get_json_schema

>>> get_json_schema(get_current_weather)
{
    "type": "function",
    "function": {
        "name": "get_current_temperature",
        "description": "Gets the temperature at a given location.",
        "parameters": {
            "type": "object",
            "properties": {
                "location": {
                    "type": "string",
                    "description": "The location to get the temperature for"
                }
            },
            "required": [
                "location"
            ]
        }
    }
}

如果你偏好手動控制,或使用 Python 以外的語言編碼,可以直接把類似以下的 JSON 結構描述傳給範本。不過,使用 Python 時就毋須直接處理 JSON 結構描述。你只需為工具函式提供清晰的名稱、準確的型別提示和完整的文件字串,包括參數文件字串;這些內容都會用來生成範本讀取的 JSON 結構描述。這些本來就是良好的 Python 編碼習慣,遵循這些做法便毋須額外工作,因為你的函式已可直接作為工具使用!

請記住:準確的 JSON 結構描述至關重要,無論它是根據文件字串和型別提示生成,還是手動指定,模型都要靠它理解如何使用工具。模型看不到函式內部程式碼,只會看到 JSON 結構描述;結構描述愈清晰、愈準確,效果便愈好!

把工具呼叫加入對話

用戶(以及模型文件 😬)經常忽略一點:模型呼叫工具時,實際上需要在聊天記錄中加入兩則訊息。第一則是 assistant 呼叫工具,第二則是工具回應,也就是被呼叫函式的輸出。

工具呼叫和工具回應兩者都不可或缺——請記住,模型只知道聊天記錄中的內容。如果它看不到自己發出的呼叫及為取得回應而傳入的參數,就無法理解工具回應。「22」本身沒有太多資訊,但如果你知道前一則訊息是 get_current_temperature("Paris, France"),便很有用。

不同供應商在這方面的做法可能差異極大,而我們採用的標準是:工具呼叫屬於 assistant 訊息中的一個欄位,例如:

message = {
    "role": "assistant",
    "tool_calls": [
        {
            "type": "function",
             "function": {
                 "name": "get_current_temperature", 
                 "arguments": {
                     "location": "Paris, France"
                }
            }
        }
    ]
}
chat.append(message)

把工具回應加入對話

工具回應簡單得多,尤其當工具只傳回單一字串或數值時。

message = {
    "role": "tool", 
    "name": "get_current_temperature", 
    "content": "22.0"
}
chat.append(message)

工具使用實例

讓我們使用目前的程式碼,建立完整的工具呼叫示例。如果你打算在自己的項目使用工具,建議多試用這段程式碼:親自執行、增減工具、替換模型,或調整細節,熟悉整個系統。日後在軟件中實作工具使用時,這些經驗會令工作輕鬆得多!為方便試用,這個示例亦提供筆記本版本。

首先,設定模型。我們會使用 Hermes-2-Pro-Llama-3-8B,因為它體積小、能力強、無存取限制,而且支援工具呼叫。不過,處理複雜任務時,較大型模型可能效果更好!

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

checkpoint = "NousResearch/Hermes-2-Pro-Llama-3-8B"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.bfloat16, device_map="auto")

接着設定工具和要使用的聊天內容。我們使用上文的 get_current_temperature 示例:

def get_current_temperature(location: str):
    """
    Gets the temperature at a given location.

    Args:
        location: The location to get the temperature for, in the format "city, country"
    """
    return 22.0  # bug: Sometimes the temperature is not 22. low priority to fix tho

tools = [get_current_temperature]    

chat = [
    {"role": "user", "content": "Hey, what's the weather like in Paris right now?"}
]

tool_prompt = tokenizer.apply_chat_template(
    chat, 
    tools=tools, 
    return_tensors="pt",
    return_dict=True,
    add_generation_prompt=True,
)
tool_prompt = tool_prompt.to(model.device)

現在可以根據模型可用的工具,生成它對用戶查詢的回應:

out = model.generate(**tool_prompt, max_new_tokens=128)
generated_text = out[0, tool_prompt['input_ids'].shape[1]:]

print(tokenizer.decode(generated_text))

結果如下:

<tool_call>
{"arguments": {"location": "Paris, France"}, "name": "get_current_temperature"}
</tool_call><|im_end|>

模型要求呼叫工具了!請留意它正確推斷應傳入「Paris, France」而非單單「Paris」,因為函式文件字串建議使用這種格式。

不過,模型其實無法透過程式直接存取工具——與所有語言模型一樣,它只會生成文字。由你這位程式設計師負責處理模型請求並呼叫函式。但首先,先把模型的工具請求加入聊天記錄。

請注意,這一步可能需要少量手動處理。雖然你應該始終以下方格式把請求加入聊天記錄,但不同模型的工具呼叫請求文字可能有差異,例如 <tool_call> 標籤。通常格式相當直觀,但請留意,若要在自己的程式碼實作,可能需要少量模型專屬的 json.loads() 或 re.search() 處理!

message = {
    "role": "assistant", 
    "tool_calls": [
        {
            "type": "function", 
            "function": {
                "name": "get_current_temperature", 
                "arguments": {"location": "Paris, France"}
            }
        }
    ]
}
chat.append(message)

現在,我們會在 Python 程式碼中實際呼叫工具,並把工具回應加入聊天記錄:

message = {
    "role": "tool", 
    "name": "get_current_temperature", 
    "content": "22.0"
}
chat.append(message)

最後,與之前一樣,我們會格式化更新後的聊天內容並傳給模型,讓它在對話中使用工具回應:

tool_prompt = tokenizer.apply_chat_template(
    chat, 
    tools=tools, 
    return_tensors="pt",
    return_dict=True,
    add_generation_prompt=True,
)
tool_prompt = tool_prompt.to(model.device)

out = model.generate(**tool_prompt, max_new_tokens=128)
generated_text = out[0, tool_prompt['input_ids'].shape[1]:]

print(tokenizer.decode(generated_text))

最終便會得到利用中間工具呼叫步驟資訊所生成、回覆用戶的答案:

The current temperature in Paris is 22.0 degrees Celsius. Enjoy your day!<|im_end|>

令人遺憾的回應格式分歧

閲讀這個示例時,你可能留意到,聊天範本雖然能在把聊天內容和工具定義轉成格式化文字時隱藏模型差異,但反向轉換時卻不能做到同樣效果。模型輸出工具呼叫時會使用自己的格式,因此目前在把呼叫以通用格式加入聊天記錄前,你需要手動解析。幸好大多數格式都相當直觀,通常只需幾行 json.loads(),或最多使用簡單的 re.search(),便可建立所需的工具呼叫 dict。

儘管如此,這仍是整個流程中尚未「統一」的最大部分。我們有一些解決構想,但尚未準備好正式推出。正如年輕人所説:「讓我們慢慢來。」

總結

儘管上文提到的小限制仍然存在,我們認為這比以往工具使用零散、令人困惑、文件不足的情況有重大改善。希望這能令開源開發者更容易在項目中加入工具使用,為強大的 LLM 配備各種工具,帶來嶄新能力。從較小型的Hermes-2-Pro-8B,到體型龐大、達到最先進水平的模型,例如Mistral-Large、Command-R-Plus或Llama-3.1-405B,許多前沿 LLM 現已支援工具使用。我們相信工具將成為下一波 LLM 產品不可或缺的一部分,也希望這些改進能讓你更輕鬆地在自己的項目中使用工具。祝你好運!

來源:Hugging Face Blog · huggingface.co