跳到正文
Mistral AI·· 2026-08-04精選AI 評分62

Mistral AI 發佈 3B 多模態安全分類器 Shieldstral

Introducing Shieldstral.

AI 導讀

Mistral AI 發佈 Shieldstral,一款 3B 開放權重多模態安全分類器,可用自然語言政策評估文字與圖像,無須重新訓練。它將內容審核設計為可在推理時指定政策的二元問答,並輸出校準後的安全分數;Mistral 稱其在多項基準上匹配或超越模型規模最高達其 7x 的開放權重安全模型。

推薦理由

將審核政策置於推理時的自然語言問題中,使同一個 3B 模型可按部署情境調整文字與圖像判斷,無須重新訓練。

正文 · 繁體中文

思考

摘要

Shieldstral 是一款 3B 開放權重多模態安全分類器,透過將內容審核設計為可配合政策調整的問答任務,效能超越體積大最多 7 倍的模型。與傳統護欄模型不同,它可在推理時接受白話政策,無須重新訓練便能統一評估文字和圖片安全性。模型以 Apache 2.0 授權發布,在多元基準測試中提供校準後的安全分數,並可在單張 16GB NVIDIA GPU 上高效運行。

一款 3B 開放權重、政策自適應的多模態安全分類器;在文字安全方面媲美體積大最多 7 倍的模型,並在多模態審核方面創下最新最優成績。

「這項內容是否鼓吹針對受保護羣體的暴力?這張圖片適合展示給未成年人嗎?助理有沒有拒絕這項請求?」

每項推出模型的產品都需要回答這些問題,但答案取決於產品、受眾和情境。相同內容可能適合網絡安全研究工具,卻不適合心理健康平台。大部分護欄模型會將固定的傷害類別分類體系內置於模型權重中,因此要調整模型以配合新的部署情境,就必須重新訓練。再者,不同應用程式和領域對安全的定義各異,根本不存在一套適用所有情況的「正確」分類。

Shieldstral 採用不同方式:在推理時以白話問題描述政策,模型便會回傳經校準的安全分數。無須重新訓練;以同一介面處理文字和圖片;只需一個 token 即可得出判斷。請在此參閲技術報告。

作為與 NVIDIA 及其他組織共同成立的 Open Secure AI Alliance 創始成員,我們今天以 Apache 2.0 開放權重授權發布 Shieldstral,可在此下載。

以問題形式進行審核

Shieldstral 將內容審核設計為二元問答任務。每項請求包含三個部分:

  • <Instruct> — 評估情境、嚴格程度,以及(可選)何種內容會被視為不安全的定義。

  • <Query> — 一個是/否問題,例如 「這項內容是否鼓吹身體暴力?」

  • <Document> — 需要判斷的內容:提示詞、回應、提示詞與回應配對,或附有可選文字的圖片。

推理時,模型只讀取 yes 和 no 的 logits,並以 softmax 將它們正規化為連續安全分數。這個簡單設計能處理許多工作:將提示分類、回應審核、拒絕偵測和有害內容偵測統一為單一問題;亦讓政策完全寫在提示中,令同一模型檢查點可在部署時適應新政策。

重點

  • 效能出色 — 在文字安全、拒絕偵測、政策適應性和多模態基準測試中,媲美或超越體積大最多 7 倍的開源護欄模型。

  • 自適應且靈活 — 單一自然語言介面涵蓋文字、圖片和文字加圖片內容,以及提示詞、回應和提示詞與回應配對。政策以自由格式查詢提供,可在推理時重新設定,無須重新訓練。

  • 體積小,以多元來源訓練 — 這款 3B 模型只需單張 16GB GPU 即可運行;訓練資料包括真實和合成數據,標籤格式及分類體系各有不同,最後整合至同一框架。

  • 連續安全分數 — 只需一次前向傳播,即可回傳經校準的 yes/no 機率,讓你按信心水平設定門檻或排序,而不必依賴離散標籤。

  • 開放 — Apache 2.0 權重。

基準測試

我們從四個方面,將 Shieldstral 與體積大最多 7 倍的開源護欄模型比較。所有評估樣本均未用於訓練。

建構方法

核心理念是:只要數據合適,小模型也能勝過大得多的模型。要讓數據合適,我們解決了四個問題:

統一多元數據。公開安全數據集的分類體系、標籤和標註慣例各有不同,從安全/不安全二元標記,到細緻的多標籤分類皆有。我們透過每個數據集專用的處理器,將所有數據轉換成相同的指示—查詢—文件格式,並改變指示、查詢和提示詞/回應分隔符的措辭,讓模型能適應不同表達,而不是過度擬合單一風格。我們亦按來源校準嚴格程度:對抗式越獄內容採取嚴格標準,回應品質數據則較寬鬆,讓模型學會建立經校準的決策邊界。這使我們能整合原本互不相容的數據來源。

訓練模型作出區分,而非死記硬背。如果只以一組固定政策標籤訓練,模型只會分類那些預設政策,而不會推理特定政策的精確界線,因此無法泛化至新政策。我們改為建立一組刻意設計得相似、容易混淆的政策,並要求 LLM 將安全文字改寫成具對比性的配對:每次改寫都會違反其中一項政策,但不違反相近的另一項。這樣便能訓練模型辨別一段內容違反哪一項具體政策,並將這種能力轉移至推理時遇到的未見過、由用戶定義的政策。

以圖片為安全評估依據。不安全圖片不像文字般可由 LLM 合成,因此視覺安全數據較為稀少。我們以通用圖片數據集補充有限的審核數據,作為高品質負面樣本;修改查詢以擴增數據集,並透過視覺—語言重新排序模型篩選每組圖片/查詢配對,減少錯誤標籤和幻覺。

整合互補的檢查點。我們以 LoRA 微調,再透過 SLERP 合併三種模型檢查點:一個以公開數據校準、一個從生成數據學習更細緻的政策區分能力,以及基礎指示模型。合併後的單一模型兼備一般政策校準和政策適應能力,亦能將基礎模型的指示遵循能力帶到審核任務。

Forge。我們在 Forge 上端到端建構 Shieldstral;這是我們用於訓練、對齊和評估自訂模型的平台。Forge 以最先進的分佈式訓練為基礎,管理基礎設施、數據與模型分片、指標和記錄,讓團隊能專注於決定安全模型品質的數據。

下一步

Shieldstral 邁出一步,讓審核能適應情境,而不是強迫所有產品採用同一套固定分類體系。我們會繼續擴展多語言覆蓋範圍、提升長文件穩健性,以及加強多模態安全能力;期待看到社羣以此為基礎建構新成果。

順帶一提,我們正在招聘!如果你想協助改進 AI,請查看我們的 招聘頁面。

來源:Mistral AI · mistral.ai