Google DeepMind 與 Hugging Face 在 Transformers v4.46.0 推出 SynthID Text
Introducing SynthID Text
Google DeepMind 與 Hugging Face 宣佈在 Transformers v4.46.0 推出 SynthID Text,讓生成時可加入文字水印,並透過分類器檢測水印。
文章梳理 SynthID Text 從生成端配置到分類器訓練的部署流程,並説明改寫、翻譯與事實性回答對水印效果的限制,便於評估適用場景。
你是否難以分辨一段文字是由人類撰寫,還是由 AI 生成?識別 AI 生成內容,對建立資訊信任至關重要,也有助處理錯誤歸屬和錯誤資訊等問題。今天,Google DeepMind 和 Hugging Face 很高興宣佈,SynthID Text 將於今日稍後在 Transformers v4.46.0 推出。這項技術讓你可在生成任務中使用logits processor為 AI 生成文字加入水印,並使用分類器偵測這些水印。
請參閲 SynthID Text 的Nature 論文,瞭解演算法的完整技術細節;如需瞭解如何在產品中應用 SynthID Text,亦可參閲 Google 的Responsible GenAI Toolkit。
運作原理
SynthID Text 的主要目標,是以不影響底層 LLM 運作或損害生成品質的方式,在 AI 生成文字中編入水印,讓你能判斷文字是否由你的 LLM 生成。Google DeepMind 開發了一種水印技術,運用稱為 g-function 的偽隨機函數來輔助任何 LLM 的生成程序,令水印對人類不可見,但受過訓練的模型能夠偵測。這項技術已實作為生成工具,可透過 model.generate() API 與任何 LLM 配合使用,毋須修改模型;此外亦提供端到端範例,示範如何訓練偵測器以識別帶有水印的文字。想了解 SynthID Text 演算法的更多細節,請參閲研究論文。
設定水印
水印透過資料類別設定,以參數控制 g-function 及其在 tournament sampling 過程中的應用方式。你所使用的每個模型都應有自己的水印設定,而且必須安全、私密地儲存,否則其他人或可複製你的水印。
每份水印設定都必須定義兩個參數:
keys參數是一個整數清單,用來計算模型詞彙表各項目的 g-function 分數。建議使用 20 至 30 個互不重複、隨機產生的數字,以平衡可偵測性和生成品質。ngram_len參數用於平衡穩健性與可偵測性;數值越大,水印越容易偵測,但也更容易受變動影響。預設值 5 是不錯的選擇,但數值至少須為 2。
你亦可按效能需要進一步設定水印。更多資料請參閲 SynthIDTextWatermarkingConfig 類別。
研究論文亦分析了特定設定值如何影響水印效能。
套用水印
要套用水印,只需簡單修改現有的生成呼叫。定義好設定後,把 SynthIDTextWatermarkingConfig 物件作為 watermarking_config= 參數傳入 model.generate(),所有生成文字便會附帶水印。請到 SynthID Text Space 查看互動示範,並試試看你能否辨認水印。
from transformers import (
AutoModelForCausalLM,
AutoTokenizer,
SynthIDTextWatermarkingConfig,
)
# Standard model and tokenizer initialization
tokenizer = AutoTokenizer.from_pretrained('repo/id')
model = AutoModelForCausalLM.from_pretrained('repo/id')
# SynthID Text configuration
watermarking_config = SynthIDTextWatermarkingConfig(
keys=[654, 400, 836, 123, 340, 443, 597, 160, 57, ...],
ngram_len=5,
)
# Generation with watermarking
tokenized_prompts = tokenizer(["your prompts here"])
output_sequences = model.generate(
**tokenized_prompts,
watermarking_config=watermarking_config,
do_sample=True,
)
watermarked_text = tokenizer.batch_decode(output_sequences)
偵測水印
水印的設計目標是能被受過訓練的分類器偵測,同時不為人類察覺。你在模型上使用的每一種水印設定,都需要配備經訓練以識別該標記的偵測器。
偵測器訓練的基本流程如下:
- 決定水印設定。
- 收集偵測器訓練集,並按有否水印及訓練或測試用途劃分;我們建議至少使用 10k 個樣本。
- 使用你的模型生成不帶水印的輸出。
- 使用你的模型生成帶水印的輸出。
- 訓練水印偵測分類器。
- 將模型、水印設定和相關偵測器部署至正式環境。
Transformers 提供Bayesian detector class,亦附有端到端範例,示範如何使用特定水印設定訓練偵測器,識別帶水印的文字。使用相同 tokenizer 的模型亦可共用水印設定和偵測器,從而共用同一水印,前提是偵測器的訓練集包含所有共用該水印的模型範例。
你可以把訓練完成的偵測器上載至私人 HF Hub,供整個機構使用。Google 的Responsible GenAI Toolkit亦提供更多資料,介紹如何在產品中部署 SynthID Text。
限制
SynthID Text 水印能抵抗部分轉換,例如裁切文字、修改少量字詞或輕微改寫,但此方法確有侷限。
- 由於可在不降低準確度的情況下調整生成內容的空間較少,因此水印在事實性回答上的效果較弱。
- 若 AI 生成文字被徹底改寫或翻譯成另一種語言,偵測器的信心分數可能會大幅下降。
SynthID Text 並非為了直接阻止蓄意作惡的對手而設。不過,它可以增加利用 AI 生成內容作惡的難度,亦可與其他方法結合,提升不同內容類型和平台的整體防護範圍。
致謝
作者謹此感謝 Robert Stanforth 和 Tatiana Matejovicova 對本項工作的貢獻。
來源:Hugging Face Blog · huggingface.co