safetensors 完成外部安全審計,Hugging Face 等團隊推進其成為預設格式
🐶Safetensors audited as really safe and becoming the default
Hugging Face、EleutherAI 與 Stability AI 完成 safetensors 外部安全審計,未發現可導致任意程式碼執行的嚴重漏洞。
審計未發現可導致任意程式碼執行的嚴重漏洞,並修正規格與驗證問題,讓團隊推進 safetensors 成為預設格式有了外部檢查依據。
Hugging Face 與 EleutherAI 和 Stability AI 緊密合作,委託外部機構審核 safetensors 程式庫。審核結果令三個組織可進一步推動程式庫成為模型儲存的預設格式。
由 Trail of Bits 執行的完整安全審核結果可在此查看:報告。
以下網誌文章會介紹程式庫的起源、審核結果的重要性,以及後續步驟。
safetensors 是甚麼?
🐶Safetensors 是一款程式庫,可用於在常見框架(包括 PyTorch、TensorFlow、JAX、PaddlePaddle 和 NumPy)中儲存和載入張量。
以下使用 PyTorch 作更具體的説明。
import torch
from safetensors.torch import load_file, save_file
weights = {"embeddings": torch.zeros((10, 100))}
save_file(weights, "model.safetensors")
weights2 = load_file("model.safetensors")
相較其他格式,它亦有多項實用功能,其中最重要的是載入檔案時安全,稍後會再説明。
使用 transformers 時,如果已安裝 safetensors,系統會優先使用這類檔案以避免問題,這表示
pip install safetensors
執行 safetensors 檔案時,很可能只需這項設定即可確保安全。
隨着程式庫通過驗證,往後 safetensors 會預設安裝至 transformers。下一步是將模型預設以 safetensors 格式儲存。
我們很高興看到 safetensors 程式庫已在 ML 生態系統中獲得採用,包括:
為何另創新格式?
我們開發這款程式庫,是因為 PyTorch 在底層使用 pickle,而它本質上並不安全。(來源:1、2,影片、3)
使用 pickle 時,攻擊者可編寫偽裝成模型的惡意檔案,在用戶不知情的情況下完全控制其電腦,並竊取所有比特幣 😓。
雖然電腦安全領域廣泛認識 pickle 的漏洞(PyTorch 文件亦有提及),但整體 ML 社羣未必熟悉。
由於 Hugging Face Hub 是任何人都可上載和分享模型的平台,我們必須盡力防止用戶感染惡意軟件。
我們亦正採取措施,確保現有 PyTorch 檔案沒有惡意內容,但目前最多隻能標記看來可疑的檔案。
當然,還有其他檔案格式,但似乎都不符合我們團隊訂立的全部理想要求。
除了安全之外,safetensors 亦支援延遲載入,整體載入速度更快(CPU 上約快 100x)。
延遲載入是指以有效率方式只載入張量的一部分。這項功能讓支援高效推論的程式庫(例如 text-generation-inference)可任意分片,在不同硬件上以最高效率載入 LLM(例如 LLaMA、StarCoder 等)。
由於載入速度快且不依賴特定框架,我們甚至可用同一檔案格式,在 PyTorch 或 TensorFlow 載入模型。
安全審核
safetensors 的主要價值是提供安全保障,因此我們希望確認它確實做到。Hugging Face、EleutherAI 和 Stability AI 因而合作委託外部安全審核。
重要發現:
- 沒有發現會導致任意程式碼執行的重大安全漏洞。
- 發現規格格式有些不精確之處,現已修正。
- 部分驗證缺失可能容許多態檔案,現已修正。
- 提出並實作了多項測試套件改進建議。
為秉持開放和透明,各公司同意公開完整報告。
有一點很重要:程式庫使用 Rust 編寫,這可直接利用語言本身帶來的額外安全層。
雖然無法證明漏洞不存在,但這項審核大幅增強我們對 safetensors 安全性的信心。
未來方向
Hugging Face、EleutherAI 和 Stability AI 的長遠計劃,是預設採用這種格式。
EleutherAI 已支援在其 LM Evaluation Harness 中評估以 safetensors 儲存的模型,並正為其 GPT-NeoX 分散式訓練程式庫加入格式支援。
在 transformers 程式庫中,我們正進行以下工作:
- 建立
safetensors。 - 確認它能正常運作,並實現所有承諾(LLM 延遲載入、所有框架共用單一檔案、加快載入)。
- 確認它安全。(這就是今天的公告。)
- 將
safetensors列為核心依賴。(已完成或即將完成。) - 將
safetensors設為預設儲存格式。待幾個月後收集足夠意見,確認不會造成太大影響,而且已有足夠用戶安裝程式庫,可在相對舊版transformers中載入新模型後,便會推行。
至於 safetensors 本身,我們正研究加入更多 LLM 訓練進階功能,解決現有格式遇到的一系列問題。
最後,我們計劃在不久後發布 1.0 版本,由 transformers 的龐大用戶羣作最後測試。自程式庫和格式推出以來,改動很少,這是穩定性良好的跡象。
很高興能令 ML 更安全、更有效率,造福所有人!
來源:Hugging Face Blog · huggingface.co