跳到正文
Hugging Face Blog·· 2023-05-23精選AI 評分62

safetensors 完成外部安全審計,Hugging Face 等團隊推進其成為預設格式

🐶Safetensors audited as really safe and becoming the default

AI 導讀

Hugging Face、EleutherAI 與 Stability AI 完成 safetensors 外部安全審計,未發現可導致任意程式碼執行的嚴重漏洞。

推薦理由

審計未發現可導致任意程式碼執行的嚴重漏洞,並修正規格與驗證問題,讓團隊推進 safetensors 成為預設格式有了外部檢查依據。

正文 · 繁體中文

Hugging Face 與 EleutherAI 和 Stability AI 緊密合作,委託外部機構審核 safetensors 程式庫。審核結果令三個組織可進一步推動程式庫成為模型儲存的預設格式。

由 Trail of Bits 執行的完整安全審核結果可在此查看:報告。

以下網誌文章會介紹程式庫的起源、審核結果的重要性,以及後續步驟。

safetensors 是甚麼?

🐶Safetensors 是一款程式庫,可用於在常見框架(包括 PyTorch、TensorFlow、JAX、PaddlePaddle 和 NumPy)中儲存和載入張量。

以下使用 PyTorch 作更具體的説明。

import torch
from safetensors.torch import load_file, save_file

weights = {"embeddings": torch.zeros((10, 100))}
save_file(weights, "model.safetensors")
weights2 = load_file("model.safetensors")

相較其他格式,它亦有多項實用功能,其中最重要的是載入檔案時安全,稍後會再説明。

使用 transformers 時,如果已安裝 safetensors,系統會優先使用這類檔案以避免問題,這表示

pip install safetensors

執行 safetensors 檔案時,很可能只需這項設定即可確保安全。

隨着程式庫通過驗證,往後 safetensors 會預設安裝至 transformers。下一步是將模型預設以 safetensors 格式儲存。

我們很高興看到 safetensors 程式庫已在 ML 生態系統中獲得採用,包括:

為何另創新格式?

我們開發這款程式庫,是因為 PyTorch 在底層使用 pickle,而它本質上並不安全。(來源:1、2,影片、3)

使用 pickle 時,攻擊者可編寫偽裝成模型的惡意檔案,在用戶不知情的情況下完全控制其電腦,並竊取所有比特幣 😓。

雖然電腦安全領域廣泛認識 pickle 的漏洞(PyTorch 文件亦有提及),但整體 ML 社羣未必熟悉。

由於 Hugging Face Hub 是任何人都可上載和分享模型的平台,我們必須盡力防止用戶感染惡意軟件。

我們亦正採取措施,確保現有 PyTorch 檔案沒有惡意內容,但目前最多隻能標記看來可疑的檔案。

當然,還有其他檔案格式,但似乎都不符合我們團隊訂立的全部理想要求。

除了安全之外,safetensors 亦支援延遲載入,整體載入速度更快(CPU 上約快 100x)。

延遲載入是指以有效率方式只載入張量的一部分。這項功能讓支援高效推論的程式庫(例如 text-generation-inference)可任意分片,在不同硬件上以最高效率載入 LLM(例如 LLaMA、StarCoder 等)。

由於載入速度快且不依賴特定框架,我們甚至可用同一檔案格式,在 PyTorch 或 TensorFlow 載入模型。

安全審核

safetensors 的主要價值是提供安全保障,因此我們希望確認它確實做到。Hugging Face、EleutherAI 和 Stability AI 因而合作委託外部安全審核。

重要發現:

  • 沒有發現會導致任意程式碼執行的重大安全漏洞。
  • 發現規格格式有些不精確之處,現已修正。
  • 部分驗證缺失可能容許多態檔案,現已修正。
  • 提出並實作了多項測試套件改進建議。

為秉持開放和透明,各公司同意公開完整報告。

完整報告

有一點很重要:程式庫使用 Rust 編寫,這可直接利用語言本身帶來的額外安全層。

雖然無法證明漏洞不存在,但這項審核大幅增強我們對 safetensors 安全性的信心。

未來方向

Hugging Face、EleutherAI 和 Stability AI 的長遠計劃,是預設採用這種格式。

EleutherAI 已支援在其 LM Evaluation Harness 中評估以 safetensors 儲存的模型,並正為其 GPT-NeoX 分散式訓練程式庫加入格式支援。

在 transformers 程式庫中,我們正進行以下工作:

  • 建立 safetensors。
  • 確認它能正常運作,並實現所有承諾(LLM 延遲載入、所有框架共用單一檔案、加快載入)。
  • 確認它安全。(這就是今天的公告。)
  • 將 safetensors 列為核心依賴。(已完成或即將完成。)
  • 將 safetensors 設為預設儲存格式。待幾個月後收集足夠意見,確認不會造成太大影響,而且已有足夠用戶安裝程式庫,可在相對舊版 transformers 中載入新模型後,便會推行。

至於 safetensors 本身,我們正研究加入更多 LLM 訓練進階功能,解決現有格式遇到的一系列問題。

最後,我們計劃在不久後發布 1.0 版本,由 transformers 的龐大用戶羣作最後測試。自程式庫和格式推出以來,改動很少,這是穩定性良好的跡象。

很高興能令 ML 更安全、更有效率,造福所有人!

來源:Hugging Face Blog · huggingface.co