LLMON 標記語言隨 Granite 4.1 3B 和 8B 實驗預覽模型推出
LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B
LLMON 隨兩款基於 Granite 4.1 base models 的實驗預覽模型推出:granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,支援讀取及生成 LLMON 標記文本。
文章説明 LLMON 如何以明確分隔指令與資料的方式應對靜態間接提示詞注入,並列出相對前沿及開源模型的基準比較。
LLM 依靠上下文生成下一組 token。在較長的生成過程中,上下文會逐漸填入各類元件:系統提示詞、過往對話回合、針對檢索文件的指令、工具回應或用戶數據、限制可輸出內容的要求,以及推理鏈。上下文承載着豐富的結構,但其中大部分結構對模型而言並不明確,或是以 JSON 等格式編碼;這些格式並非為供 LLM 消化而設計。這是 LLM,尤其是規模較小的模型,容易出現脆弱性、有時會以意想不到的方式失效的主要原因之一。缺乏明確結構也可能被攻擊者利用,例如以提示詞注入的形式。
為瞭解決這個問題,我們開發了 LLMON(LLM Object Notation,讀音為「lemon」),一種原生為 LLM 設計的標記語言,用以向模型明確傳達結構和語義。語義連貫的元件會以有意義的標籤標記,並由保留的特殊 token 分隔符包裹。數據結構描述(包括巢狀結構)會以因果式 LLM 能明確理解的方式列明。唯一 ID 讓我們可以指向上下文中任何位置的特定指令,並將指令綁定至其應作用的數據負載;這類似於程式語言中呼叫函式並向其傳入引數。
今天我們推出兩個實驗性預覽模型,兩者均以 Granite 4.1 基礎模型為本訓練,可讀取及生成以 LLMON 標記的文字:granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview。我們亦發布了一個 GitHub 儲存庫,內含用於處理 LLMON 的工具套件,以及工作流程和範本示例。
可實現的功能:
- 由於指令與數據明確分隔,LLMON 模型大多會忽略藏在用戶數據中的間接提示詞注入。在部分基準測試中,攻擊成功率降至接近零;相比之下,一般經指令微調的模型則很可能被劫持。與 Granite 4.1 Instruct 模型相比,這種做法同時保留了模型的通用能力。
- 不相關的段落、較早的對話回合和工具輸出不會被帶入答案,因為每項指令都只會綁定至其適用的確切數據。
- 指令、數據和要求都有清晰標記,讓模型能運用應用程式程式碼層級的結構和含義。你可以在 Mellea 試用;它已原生支援 LLMON,並會自動將 LLM 呼叫轉換為 LLMON 格式。
- 你不再需要擔心如何強制 LLM 遵守 JSON 結構。使用我們的轉換器,即可將現有 JSON 無損轉換為 LLMON。你也可以定義自己的結構和相關標籤,再基於 LLMON 模型微調 LoRA,讓模型理解該結構。
為甚麼不用 JSON?
JSON 是為剖析器而設,並非為因果語言模型而設。Tokenizer 不受文法規則約束,而結構是以符號({、\"、:)編碼,這些符號也可能出現在一般文字中。對模型而言,文件內的引號與用來結束欄位的引號是同一個 token。對剖析器而言清晰明確的跳脱規則,對模型來説只不過是統計模式。巢狀深度以計算括號數目來編碼;眾所周知,Transformer 不擅長處理這類計算,尤其是在長文本中。
另一方面,LLMON 是一種類似 XML 的標記語法,其結構分隔符是保留作特殊詞元的項目,而非字元,因此結構和內容使用詞彙表中不同的部分。每個區段的開頭都會標明標籤,區段之間的界線亦會明確標示。巢狀結構會在當地標明,模型毋須在長篇內容中追蹤層級關係。
由於大部分團隊已建立以 JSON 為基礎的流程,我們製作了轉換工具和示例筆記簿,可在 JSON 和 LLMON 之間無損轉換。
LLMON 與聊天範本有甚麼關係?
LLMON 並不取代聊天範本,而是加以擴充。一般聊天範本會告訴模型各部分分別屬於哪個角色(system、user、assistant),而 LLMON 則會告訴模型各個元件的含義,以及元件之間(包括不同角色之內和之間)的關係。
LLMON 預覽版模型隨附專用的聊天範本,因此你只需建立與傳給任何聊天模型相同的 messages 清單,並照常呼叫 apply_chat_template;範本便會產生下方所示的 LLMON。唯一不同之處是,現在可以為一個回合中的各部分命名,並將每個部分標記為 exec:True 或 False。標記為 True 的部分會綁定至輸出內容底部的 exec 區塊;該區塊會指出要執行哪項指令,以及指令作用於甚麼內容。標記為 False 的部分仍會呈現在上下文中,但不會被任何內容引用。
messages = [ { "role": "user",
"instruction": [{ "value": "Write a short paragraph about", "exec": True }],
"data": [{ "value": "IBM Company", "exec": True }],
"requirement": [ {"value": "Use less than 10 words", "exec": True},
{"value": "Do not use commas", "exec": True}]
} ]
模型接收的內容如下(此處為方便閲讀而加入換行和縮排,範本輸出時並沒有這些格式):
<|open|>instr<|:|>Ȗ<|close|>Write a short paragraph about<|open_end|>
<|open|>data<|:|>ä¦<|close|>IBM Company<|open_end|>
<|open|>req<|:|>Á¼<|close|>Use less than 10 words<|open_end|>
<|open|>req<|:|>¢¬<|close|>Do not use commas<|open_end|>
<|open|>exec<|:|>ÄÐ<|close|>
<|open|>exec<|.|>instruction<|close|>instr<|:|>Ȗ<|open_end|>
<|open|>exec<|.|>input<|close|>data<|:|>ä¦<|open_end|>
<|open|>exec<|.|>requirement<|close|>req<|:|>Á¼<|open_end|>
<|open|>exec<|.|>requirement<|close|>req<|:|>¢¬<|open_end|>
<|open|>exec<|.|>output<|close|>assistant<|:|>ãø<|open_end|>
<|open_end|>
<|open|>assistant<|:|>ãø<|close|>
兩個字元的區塊 ID 取自一組固定值,而這個分詞器會將每個值編碼為單一詞元,因此無論使用哪個 ID,指定一個區塊的成本都固定為兩個詞元。
角色仍是單一的 user 回合,但其元件會以五個可分別指定的區塊傳送至模型,並由第六個區塊(exec 區塊)綁定在一起。該區塊指出:執行這項指令,使用這些資料,並遵守以下兩項要求,然後將答案放入此處指定的區塊;模型隨後填寫的正是同一個 assistant 區塊。傳統範本會將所有元件攤平成一段文字,讓模型自行推斷哪部分是任務、哪部分是主題,以及哪些部分是限制條件。
LLMON 如何應對提示詞注入攻擊
間接提示詞注入是一種攻擊,惡意指令會隱藏在資料負載中,例如檢索到的文件、工具回應或用戶提供的資料。LLMON 的指令與資料分離設計,正是為瞭解決這個問題。
我們將 LLMON 預覽版與數款開源及閉源模型進行比較。我們使用OPI基準測試進行評估;該測試會把注入內容放在經典 NLP 任務的資料中,並採用多種攻擊策略。我們報告模型的穩健性,定義為 1 − 攻擊成功率:即模型沒有執行注入指令的攻擊所佔比例。
所有非 LLMON 模型都極易受攻擊,很可能會執行注入的指令。LLMON 幾乎完全消除了這項基準測試中的問題;相較於我們測試過的最佳前沿模型,成功避開的攻擊多 47%,相較於最佳開源模型則多 95%。我們在其他基準測試(ASB 和 StruQ)中也觀察到類似趨勢。值得注意的是,這些基準測試評估的是抵禦靜態間接提示詞注入的能力。指令/資料分離直接針對這類攻擊。我們亦正積極研究如何提升模型抵禦會跨越多輪對話逐步展開的自適應攻擊的能力。
一般能力
安全性提升並非以犧牲一般能力為代價。在各項標準基準測試類別中,LLMON 模型的表現與 Granite 4.1 Instruct 模型相若。
簡而言之,如果你現正試用 Granite 4.1 3B 或 8B,可以換用 LLMON 預覽版;它的一般效能應該相若,抵禦提示詞注入的能力則強得多。你無須使用轉換流程。只要為對話回合的各部分命名(例如上例中的指令、資料、要求)便已足夠。隨附的聊天範本會替你將這些部分轉換為 LLMON 區塊。我們的 LLMON-converters 程式庫更進一步:如果某部分本身具有結構,例如 JSON 文件,將它轉換為 LLMON 格式後,便會保留該結構,並轉為具類型、可個別定址的區塊,而不是一個不透明的字串。
模型訓練方式
模型以 Granite 4.1 基礎檢查點為起點,而非已發布的指令模型,因此 LLMON 行為是在後訓練期間學習得來,而不是疊加在既有的聊天格式上。
LLMON 定義了六個定界符,用來標示標籤的起始和結束,並支援巢狀結構與錨定;這些定界符會在詞元分析器中設為保留的單一詞元。我們將傳統指令微調語料庫重新序列化為 LLMON 格式:每個提示詞組件都會成為獨立且可定址的區塊,而每個對話回合都包含一個執行區塊,指定要執行哪項指令、指令處理哪些輸入,以及輸出要放在哪裏。任務組合與一般指令模型會接觸的一樣(聊天、多輪對話、RAG、工具呼叫),因此基準測試表現仍與採用傳統方式微調的模型相若。此外,我們在資料中加入誘餌指令和資料區塊;這些內容雖然存在於上下文中,卻刻意不作綁定,而目標輸出則保持不變。這樣,模型便會學習遵從執行區塊指定的依存關係,並忽略其他內容。隨後進行強化學習:依次進行五個 GRPO 階段,涵蓋多領域推理、RLHF、知識校準及數學;之後再進行最後一個 DPO 階段,使用一千組同策略偏好配對,這些配對取自模型對注入攻擊的自身回應。
由此形成的權限規則源自這種結構,而非額外加上的防護措施:透過執行區塊指定的指令具有權威性;至於作為輸入讀取的任何內容(資料、文件、工具結構描述、工具結果),則只供閲讀,並非要遵從的命令。此外,執行區塊未引用的指令和資料片段都會被忽略。這是學習得來的行為,並非強制執行的保證。想了解這種情況如何呈現在 LLMON 模型的注意力層中,可以在 Hugging Face Spaces 試用 LLMON Attention Visualization。
自備詞彙(ScienceWorld)
LLMON 不受固定結構描述限制:你可以選擇適合所屬領域的標籤名稱和結構,並微調 adapter,讓它讀取和寫入這些內容。我們以 ScienceWorld 展示這點。ScienceWorld 是一個以文字為基礎的基準測試,Agent 會一次發出一個指令,執行基礎科學任務(例如把水煮沸),並從模擬器取得評分。我們定義了一套詞彙,用以呈現解決這些任務時規劃軌跡的結構。這套詞彙包括 instr.task.goal、req.planning_policy.rule、data.state.room、data.state.inventory 和 assistant.next_action 等標籤。我們使用這些標籤呈現 ScienceWorld 參考解答中的每個步驟,並在 LLMON 模型上微調 LoRA。訓練完成的模型會進行未參與訓練的遊戲,並以新詞彙寫出下一個動作。這份 Notebook逐步介紹完整工作流程,從轉換參考軌跡,到進行測試遊戲,以及為 adapter 評分並與未經訓練的基礎模型比較。這份 Notebook則提供另一個工具呼叫 Agent 的例子。
立即試用
這是實驗性預覽版,適合探索和評估,但不適用於正式環境。
- 模型:granite-4.1-3b-LLMON-preview & granite-4.1-8b-LLMON-preview
- 視覺化示範:LLMON 注意力視覺化
- LLMON 儲存庫:https://github.com/generative-computing/llmon
- Mellea:https://github.com/generative-computing/mellea
- 論文:https://arxiv.org/abs/2610.38120, https://arxiv.org/abs/2603.22519
告訴我們你的發現:哪些方法奏效、哪些地方出問題,以及你希望看到哪些應用場景。請在 GitHub Discussions 發文。
來源:Hugging Face Blog · huggingface.co


