Granite Switch 4.1 推出 8B、30B 版本，單一端點整合對話、決策與語音轉文字
Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
Granite Switch 4.1 發佈 8B 和 30B 模型，讓對話、通用及專項決策與語音轉文字可透過同一個託管端點處理。兩款模型整合 Decision aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC，合併後佔用的 GPU VRAM 約與基礎模型單獨運行相若，且可重用基礎模型生成的 KV cache。
文章呈現以 aLoRA 組合通用及專項決策與語音辨識的方法，並交代共用 KV cache 如何使多項能力維持接近基礎模型的 GPU VRAM 佔用。
去年春季推出的 Granite Switch 計劃，讓模型開發可採用模組化方式。如今，配備 Decision 適配器及 OpenASR 排行榜上速度最快的 ASR 模型的 Granite Switch 4.1 模型，可透過單一託管端點，在自然語言回應、通用及專門決策，以及語音轉文字任務之間高效切換。
具體而言，Granite-Switch-4.1-8B 和 -30B 模型的設定包括：
- 一款全新的 Decision aLoRA，用於通用決策（例如 v1/systemone），
- 一款專門的 Guardian aLoRA，在安全相關決策任務上的平均表現優於 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 及 Clef-Flash，以及
- Granite-Speech-5.0-Turbo-CTC，這是 OpenASR Leaderboard 上速度最快的 ASR 模型，內置於模型中以供轉錄任務使用。
這三項技術（連同底層基礎模型）整合為單一模型，在 GPU 上佔用的 VRAM 約等於基礎模型單獨運行時所需的用量。這表示只需較少 GPU，便可具備更多功能。
此外，由於 Switch 適配器採用具快取效率的 Activated LoRAs，基礎模型生成時建立的 KV 快取可供之後任何基於適配器的決策重用。結合團隊近期對 vLLM 作出的貢獻（以加快低秩適配器推理），以及同機部署的 ASR 編碼器，Granite Switch 4.1 模型便可在聊天請求、決策請求與語音請求之間高速切換。
Granite-switch-4.1-8b 可以即時轉錄音訊、生成摘要、篩查有害內容，並測試 15+ 項通用旗標；所有功能均在單一端點上執行。
Granite Libraries：元祖決策模型
決策模型並非新事物。先前推出的 Granite Libraries 收錄了專門「決策模型」適配器及其他專門任務適配器的儲存庫，可將它們組合成自訂 Granite Switch 模型。Jev 和其他封閉式決策模型着重通用性，但我們發現，許多專門的 granitelib 適配器在專門分類任務上的表現可勝過通用模型。
在專門分類任務的評估中，比較 granitelib 適配器與通用型決策模型。
由於適配器共用基礎模型的 KV 快取，在通用決策適配器旁加入專門適配器，幾乎不會增加成本。通用模型可涵蓋廣泛任務，而專門模型則能在你關注的任務上提供更高準確度。
在 Granite-Switch-4.1-30B（凍結的 Granite 基礎模型 + 4 個專門 aLoRA）與 Jev-27B（凍結的 Qwen 基礎模型 + 1 個通用決策 LoRA）的「競賽」中，Granite-Switch-4.1-30B 完成真實環境中的 5 步驟 RAG 工作流程，速度遠快於對手。
組合並擴展自己的 Granite Switch 模型
Granite-Switch-4.1-8B 和 -30B 推出時已「配備完整功能」。這些 Granite Switch 模型由我們編譯而成，並預先配置了一組實用適配器。不過，你不必使用我們的版本。任何人都可以自行組合 Granite Switch 模型，從 Granite Libraries 混合搭配適配器，以最切合自己的需要。
展望未來，我們認為社羣有很大空間可透過自訂及第三方適配器組合和擴展 Granite Switch 模型。我們計劃推出 Adapter SDK，讓用戶在 Mellea 中訓練適配器，並提供其他教學及 Granite Switch 支援。這些適配器可以是用於增強決策工作流程的專用分類適配器，也可以是用於特定語言任務的適配器。你甚至可以使用自訂適配器，教導 3B 參數版本的 Granite 玩經典遊戲 Doom。
與 Jev 相似，我們自訂的 3B 參數 Granite Switch 模型能在瞬息之間作出決策，在 Doom 遊戲中導航；但它每秒能作出 60 - 100 次決策，相比之下，Jev 據報每秒作出 10 次決策。1 與 Jev 不同，這款 Granite Switch 模型在遊玩時還能旁述遊戲情況，並回答你的問題。
我們期待在未來數週公佈更多 Granite Switch 的詳情及數據。在此之前，我們鼓勵你試用最新的 Switch 模型，以及以下其他有助入門的實用資源。
入門資源
- Granite Switch 4.1 模型卡
- 語音轉決策示範
- Granite Switch GitHub 儲存庫
- 原版 Granite Switch 及 Granite Libraries 發布網誌
- 在 Colab 上建立自己的 aLoRA v LoRA 競速測試。
註腳
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev
來源：Hugging Face Blog · huggingface.co