Meta 發佈 Muse Glimmer 30B 多模態模型,採用 Apache 2.0 授權並面向本地智能體應用
Meta is back with Muse Glimmer: local, agentic, multimodal, and open source
Meta 發佈 Muse Glimmer,一款由 Muse 蒸餾而來、面向本地智能體應用的多模態 30B 模型,採用 Apache 2.0 授權。模型由 2B ViT-style 視覺編碼器和 28B 文字解碼器組成,支援圖像、影片輸入及多模態工具調用。
文章把 Muse Glimmer 的本地智能體定位、30B 架構與 transformers、llama.cpp、vLLM 等入口連起來,提供從本地推理到託管部署的實作參考。
開源大型語言模型界的元老帶來好消息!Muse Glimmer 是 Meta 今日推出的新多模態模型,專為本機智能體應用而設。它由 Muse 蒸餾而成,規模為 30B 參數,並以 Apache 2.0 授權釋出;無論是為了私隱、本機部署以降低成本,還是單純想動手試玩,都十分合適。它面向注重私隱的應用,例如編碼、文件分析、個人助理,以及類似 Claw 或 Hermes 的配置。
為了慶祝推出,我們與 Meta 同步提供 transformers、llama.cpp、vLLM、Inference Endpoints 及其他程式庫的首日支援。我們打造了幾項有趣功能,並在這篇網誌分享所見所得。
你可以在 Hugging Face Hub 找到 Muse Glimmer。
基準測試
基準測試結果
分數按已發布的結果列出。粗體表示所比較模型中的最佳結果;↓ 表示數值愈低愈好。
| 類別 | 基準測試 | Muse Glimmer-30B 高推理模式 |
Gemma4-31B 思考模式 |
Qwen3.6-27B 思考模式 |
|---|---|---|---|---|
| 一般智能體 | MCP Atlas | 75.5 | 54.2 | 62.5 |
| 一般智能體 | DeepSearch QA | 74.6 | 61.7 | 71.1 |
| 一般智能體 | τ³-Banking | 23.5 | 15.1 | 16.7 |
| 一般智能體 | WildClawBench | 47.6 | 37.6 | 43.2 |
| 一般智能體 | GDPval-AA | 953 | 811 | 1141 |
| 一般智能體 | GAIA2 | 43.3 | 36.4 | 40.0 |
| 一般智能體 | SkillsBench(使用技能) | 44.3 | 32.4 | 46.6 |
| 一般智能體 | OSWorld-Verified | 65.9 | 58.5 | 75.6 |
| 智能體編碼 | SWE-Bench Pro | 51.2 | 36.9 | 50.2 |
| 智能體編碼 | SWE-Bench Verified | 76.0 | 66.6 | 77.2 |
| 智能體編碼 | TerminalBench 2.1 | 51.7 | 43.4 | 60.7 |
| 智能體編碼 | SciCode | 43.6 | 43.4 | 39.8 |
| 多模態 | Charxiv Reasoning | 78.8 | 77.7 | 78.4 |
| 多模態 | ScreenSpot Pro | 75.4 | 75.9 | 76.1 |
| 多模態 | OmniDocBench v1.5 | 75.8 | 72.5 | 77.8 |
| 多模態 | MMMU Pro | 74 | 73 | 75 |
| 安全性 | CI Memories | 違規率(↓):26.4 涵蓋率:64.8 |
違規率(↓):12.1 涵蓋率:53.0 |
違規率(↓):53.4 涵蓋率:66.9 |
| 安全性 | Siren AgentDojo | 攻擊成功率(↓):28.4 效用:94.2 |
攻擊成功率(↓):25.6 效用:90.8 |
攻擊成功率(↓):40.3 效用:92.7 |
| 一般能力與推理 | IFBench | 77.0 | 76.0 | 70.8 |
| 一般能力與推理 | AIME 2026 | 94.7 | 89.2 | 94.1 |
| 一般能力與推理 | GPQA Diamond | 83.5 | 85.7 | 84.2 |
| 一般能力與推理 | Humanity’s Last Exam(文本+不使用工具) | 22.0 | 23.6 | 23.1 |
| 一般能力與推理 | AA-LCR | 80.0 | 68.3 | 73.3 |
| 一般能力與推理 | Beam 128K | 65.1 | 58.2 | 63.0 |
架構
Muse Glimmer 是一個密集型 30B 參數模型,組成部分包括:
- 用於視覺的 2B ViT 類型編碼器(Perception Encoder)
- 28B 參數文本解碼器
除了主要的 VLM,模型還配備以 DFlash 實作的推測解碼草擬器。此模組為可選項;它會佔用一些記憶體,但可大幅加快生成速度。我們發現這個草擬器特別適合生成編碼等結構化內容。
文本解碼器
語言模型採用以下架構組件:
- 混合注意力:交替使用三層滑動視窗層(視窗大小為 2,048 個 token,採用旋轉位置嵌入),之後接一層使用完整注意力和 NoPE(無位置嵌入)的層。模式因此為 (SWA, SWA, SWA, Full),重複 13 次,總共 52 層。這樣既能透過 RoPE 保留相對次序和距離資訊,亦能透過 NoPE 保留全局資訊。
- 閘控分組查詢注意力:每個鍵值頭由 16 個查詢頭共用,這可把 KV 快取記憶體需求減少 16 倍,並讓生成更快、更便宜。
- Q-K 正規化及額外查詢縮放:計算注意力之前,Muse Glimmer 會對每個查詢頭和鍵頭套用 RMS 正規化,令注意力 logits 保持穩定。之後會按比例縮放查詢,以設定正規化後的目標 logit 尺度。額外的查詢縮放在 softmax 層面上的作用類似反温度。
Perception Encoder
Muse Glimmer 使用同一個圖像編碼器處理圖像和影片。與其他 VLM 使用的相對小型視覺編碼器不同,這是一個大型 2B ViT 類型模型,按 Perception Encoder 架構設計。Meta 早前已推出 Perception Encoder,作為多種下游空間及多模態任務的骨幹模型。
編碼器會把圖像切分成形狀為 2 個影格 x 3 個通道 x 14 x 14 的區塊,並透過線性層投影。然後,將從學習所得位置表插值而成的絕對位置嵌入加到這些嵌入上,再把它們送入視覺主幹網絡。該網絡由 50 層和 GELU MLP 組成。與語言模型相似,其注意力模式由三層視窗注意力後接一層完整注意力組成。在注意力層內,查詢和鍵會套用 2D RoPE。
Transformer 之後,像素重排會串接相鄰的 2x2 空間 token 羣組,在不丟棄通道的情況下,把圖像 token 數量減至四分之一。然後,合併後的特徵會投影到文本解碼器共用的嵌入空間。
影片會逐影格經過同一個編碼器,每一格都會轉換成區塊(形狀為 [batch, temporal groups, grid height, grid width, 2 frames, 3 channels, 14, 14])。處理器以每秒 2 格為目標,並把片段上限設為 96 格,從影片中平均抽取。處理器會建立帶有時間戳記的影片佔位標記,並交錯排列文本與影格,例如「Time: 0.0s <|video|> x N」;最後的影片嵌入會在最終投影層之前替換這些佔位標記。
Transformers
請把 transformers 升級至最新版本,才能使用 Muse Glimmer。
pip install --upgrade transformers accelerate
Muse Glimmer 在推出當日已獲 transformers 支援,包括主要模型和推測解碼草擬器。你可以使用 AutoModelForMultimodalLM 和 AutoProcessor 類別載入模型及處理器。
from transformers import AutoProcessor, AutoModelForMultimodalLM
MODEL_ID = "meta-models/Muse-Glimmer-30B"
# Load model
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
MODEL_ID,
dtype="auto",
device_map="auto"
)
同一段程式碼無須修改,就能在 NVIDIA(CUDA)、AMD(ROCm)和 Intel(XPU)GPU 上執行;device_map="auto" 會把模型放到可用的加速器上。
純文本推論
載入模型後,可以如下進行純文本推論。
from transformers import AutoProcessor, AutoModelForMultimodalLM
MODEL_ID = "meta-models/Muse-Glimmer-30B"
# Load model
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
MODEL_ID,
dtype="auto",
device_map="auto"
)
# Prompt
messages = [
{"role": "user", "content": "Write a short joke about saving RAM."},
]
# Process input
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
reasoning_strength="low"
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
# Generate output
outputs = model.generate(**inputs)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
print(response)
以圖像和文本提示模型
要使用圖像和文本,我們需要安裝 torchvision。
pip install torchvision
Muse Glimmer 接受圖像作為輸入,示例如下:
from transformers import AutoProcessor, AutoModelForMultimodalLM
MODEL_ID = "meta-models/Muse-Glimmer-30B"
# Load model
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
MODEL_ID,
dtype="auto",
device_map="auto"
)
# Images + Text
messages = [
{
"role": "user", "content": [
{"type": "image", "image": "https://huggingface.co/datasets/merve/vl-test-suite/resolve/main/SF.png"},
{"type": "text", "text": "What is shown in this image?"}
]
}
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
reasoning_strength="low"
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
# Generate output
outputs = model.generate(**inputs)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
print(response)
影片推論
如要處理影片,我們建議在環境中安裝 torchcodec。
pip install torchcodec
Muse Glimmer 可以回答有關影片的複雜問題,而且不需要音訊。你可以如下進行影片推論;以下例子來自 VideoMME2,這是目前最常用的影片問答基準測試。
from transformers import AutoProcessor, AutoModelForMultimodalLM
MODEL_ID = "meta-models/Muse-Glimmer-30B"
# Load model
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
MODEL_ID,
dtype="auto",
device_map="auto"
)
# Videos + Text
messages = [
{
"role": "user",
"content": [
{"type": "video", "video": "https://huggingface.co/datasets/merve/vl-test-suite/resolve/main/IMG_8137.mp4"},
{"type": "text", "text": "Describe what happens in this video."},
],
},
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
reasoning_strength="low",
processor_kwargs={"num_frames": 96},
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs)
response = processor.decode(
outputs[0, input_len:],
skip_special_tokens=False,
)
print(response)
多模態工具呼叫
Muse Glimmer 可以呼叫多模態工具,以下示範做法。在下面的例子中,我們要求模型根據圖像中的城市呼叫天氣工具。
import json
import re
from transformers import AutoProcessor, AutoModelForMultimodalLM
MODEL_ID = "meta-models/Muse-Glimmer-30B"
# Load model
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
MODEL_ID,
dtype="auto",
device_map="auto"
)
tools = [
{
"type": "function",
"function": {
"name": "weather.get",
"description": "Get the current weather for a city.",
"parameters": {
"type": "object",
"properties": {
"city": {"type": "string"},
},
"required": ["city"],
},
},
}
]
messages = [
{
"role": "user",
"content": [
{"type": "image", "image": "https://huggingface.co/datasets/merve/vl-test-suite/resolve/main/SF.png"},
{"type": "text", "text": "I'm going to the city in this picture. What clothes should I wear?"},
],
},
]
inputs = processor.apply_chat_template(
messages,
tools=tools,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
reasoning_strength="low"
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
print(response)
物件偵測
你可以如下使用 Muse Glimmer,在圖像中進行開放式物件偵測。
from transformers import AutoProcessor, AutoModelForMultimodalLM
MODEL_ID = "meta-models/Muse-Glimmer-30B"
# Load model
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
MODEL_ID,
dtype="auto",
device_map="auto"
)
messages = [{
"role": "user",
"content": [
{"type": "image", "image": "https://huggingface.co/datasets/merve/vl-test-suite/resolve/main/SF.png"},
{
"type": "text",
"text": (
"Detect the bridge. Return only the detection in the model's "
"native object-detection format, with no explanation."
),
},
],
}]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
reasoning_strength="low",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=128)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
detections = json.loads(response.removesuffix("<|eot|>"))
print(detections)
以下是執行物件偵測的端到端指令碼:GitHub Gist
Llama.cpp
Muse Glimmer 在推出當日已獲 llama.cpp 支援。Meta 已在這個程式碼庫發布經校準的量化版本,Unsloth 亦將推出最佳化量化版本;同時也支援 DFlash 推測解碼。你可以使用預先編譯的 llama 二進位檔啟動 llama 伺服器或命令列介面。安裝 llama.cpp 的指令如下:
curl -LsSf https://llama.app/install.sh | sh
然後可以如下啟動伺服器。
llama serve -hf meta-models/Muse-Glimmer-30B-GGUF
伺服器啟動後,可以前往 localhost:8080,使用內置 WebUI 聊天。
你亦可以如下向伺服器發出查詢。
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Write a limerick about python exceptions"}
]
}'
你也可以把 llama server 與 Pi 等編碼智能體配合使用。
推測解碼
DFlash 使用輕量級區塊擴散草擬模型,在解碼階段以額外速度提升取得相同輸出。Transformers 和 llama.cpp 在 Muse Glimmer 推出當日已支援其 DFlash 草擬器。
以下示範推測解碼如何在貼近實際的配置中加快生成。影片左邊是啟用 DFlash 的 llama.cpp WebUI,右邊則是一般生成。
使用 transformers 進行推測解碼
你可以如下載入草擬器和模型;推論方式與基礎模型相同,只需額外加入一個參數(下方即將展示的程式碼片段會示範)。
import torch
from transformers import AutoProcessor, MuseGlimmerAssistantModel, MuseGlimmerForConditionalGeneration
model_id = "meta-models/Muse-Glimmer-30B"
assistant_model_id = "meta-models/Muse-Glimmer-30B-assistant"
target = MuseGlimmerForConditionalGeneration.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")
assistant = MuseGlimmerAssistantModel.from_pretrained(assistant_model_id, dtype=torch.bfloat16, device_map="auto")
processor = AutoProcessor.from_pretrained(model_id)
messages = [
{
"role": "user", "content": [
{"type": "image", "url": "https://huggingface.co/datasets/merve/vl-test-suite/resolve/main/SF.png"},
{"type": "text", "text": "What is shown in this image?"}
]
}
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
reasoning_strength="low"
).to(target.device)
input_len = inputs["input_ids"].shape[-1]
outputs = target.generate(
**inputs,
assistant_model=assistant,
speculation_type="dflash",
do_sample=True
)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
print(response)
使用 llama.cpp 進行推測解碼
你可以使用以下指令啟動 llama server。--spec-draft-n-max 參數會控制每次推測解碼步驟中 DFlash 可提出多少個後續 token。Muse Glimmer 的 DFlash 模型以區塊大小 16 訓練,即 1 個錨點 token 加上 15 個提議 token,因此任何大於 15 的值都會被限制為 15。
llama serve -hf meta-models/Muse-Glimmer-30B-GGUF --spec-type draft-dflash --spec-draft-n-max 15
你也可以如下使用帶有推測解碼草擬器的 llama CLI。
llama cli -hf meta-models/Muse-Glimmer-30B-GGUF --spec-type draft-dflash
Inference Endpoints
如要使用代管及自動擴縮部署,可開啟 Muse Glimmer 30B Inference Endpoints 預設設定。模型已預先選定:選擇組織、雲端供應商、區域、相容的 GPU 執行個體、驗證及自動擴縮設定,然後查看每小時價格並按 建立端點。端點狀態變為 Running 後,你可以在 Playground 測試,並從 Overview 複製端點 URL 和模型名稱。
部署後的模型會提供相容 OpenAI 的 Chat Completions API。請把 Hugging Face token 保存在環境變數中,把 HF_ENDPOINT_URL 設為 Overview 顯示的 URL(不含 /v1),並把 HF_ENDPOINT_MODEL 設為端點的模型名稱。
export HF_TOKEN="hf_..."
export HF_ENDPOINT_URL="https://<endpoint-id>.<region>.<cloud>.endpoints.huggingface.cloud"
export HF_ENDPOINT_MODEL="<endpoint-model-name>"
pip install --upgrade openai
import os
from openai import OpenAI
client = OpenAI(
base_url=f"{os.environ['HF_ENDPOINT_URL'].rstrip('/')}/v1/",
api_key=os.environ["HF_TOKEN"],
)
response = client.chat.completions.create(
model=os.environ["HF_ENDPOINT_MODEL"],
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Write a limerick about Python exceptions."},
],
max_tokens=256,
)
print(response.choices[0].message.content)
如需瞭解設定、自動擴縮、安全性、記錄及監控,請參閲 Inference Endpoints 文件。
使用 transformers backend 的 Muse Glimmer vLLM 支援
此版本提供使用 transformers backend 的 vLLM 支援。
# tensor parallel serving across 4 GPUs
vllm serve meta-models/Muse-Glimmer-30B --model-impl transformers --tensor-parallel-size 4
# infer
curl -s http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "meta-models/Muse-Glimmer-30B",
"messages": [
{"role": "user", "content": "Explain tensor parallelism briefly."}
],
"temperature": 0.0,
"max_tokens": 256
}'
使用 TRL 微調
你可以使用 TRL 透過多種方法微調 Muse Glimmer,涵蓋 SFT 至 Async GRPO。我們使用每張配備 80GB VRAM 的 Hopper 級 GPU,以 bf16 執行了兩項實驗。
| 工作負載 | 實際最低配置 |
|---|---|
| 推論/評估,BF16 | 1×80 GB H100 |
| LoRA SFT,BF16 | 1×80 GB H100,microbatch 1 + checkpointing |
| 完整 SFT,BF16 | 8×80 GB H100,使用 FSDP/ZeRO-3 |
| LoRA GRPO,使用 Transformers rollouts | 1×80 GB H100,但速度較慢/資源緊絀 |
| LoRA GRPO,使用獨立 vLLM rollout server | 8×H100:4 張用於 rollout + 4 張用於訓練 |
| 完整微調 GRPO | 通常 8 張 GPU 並不足夠 |
作為此版本的一部分,我們提供一個範例,示範如何在 MolmoWeb 資料集的小型切分上微調 Muse Glimmer。此範例展示如何讓模型生成結構化輸出,以及如何使用圖像進行微調。
我們亦試過使用 OpenCode 搭配 AsyncGRPO 範例執行模型。模型展現出強大的編碼能力,因此我們鼓勵你嘗試在 OpenEnv 和 TRL 的編碼環境中訓練。
示範
以下介紹幾種試用 Muse Glimmer 的有趣方法。依我們所見,這個模型最有趣之處,是它可以在本機運行,成為能夠編碼的個人助理。也就是説,你可以讓它量化自己、在 Hub 尋找量化權重、部署到 Inference Endpoints,甚至針對特定硬件自行最佳化!本機派出發 🚀
把 OpenClaw 連接至 Muse Glimmer
假設 Inference Endpoint 提供相容 OpenAI 的 /v1 API。
在 OpenClaw gateway 環境中設定 HF_TOKEN,然後把以下內容加入 ~/.openclaw/openclaw.json:
OpenClaw 設定
{
models: {
mode: "merge",
providers: {
muse: {
baseUrl: "https://YOUR-ENDPOINT.endpoints.huggingface.cloud/v1",
apiKey: {
source: "env",
provider: "default",
id: "HF_TOKEN"
},
api: "openai-completions",
authHeader: true,
models: [{
id: "meta-models/Muse-Glimmer-30B",
name: "Muse Glimmer",
reasoning: false,
input: ["text", "image"],
contextWindow: 32768,
maxTokens: 8192
}]
}
}
},
agents: {
defaults: {
model: { primary: "muse/meta-models/Muse-Glimmer-30B" }
}
}
}
重新啟動 OpenClaw:
openclaw gateway restart
在新的工作階段中驗證:
openclaw agent --message "Reply with: muse-ready"
如果端點的 /v1/models 回應提供不同的模型 ID,請使用該 ID。
嘿 Muse Glimmer,請自行量化
如果我們把 Muse Glimmer 連接至 Hugging Face MCP,並更新它的 AGENTS.md,就能讓它在 Hub 尋找自己的量化版本並於本機執行。如果你想處理私密工作,或只是想降低成本,這就很實用。
第二次執行時,Muse Glimmer 會找到快取中的權重並切換使用,因此不妨加入 /spawn 之類方便的指令。
Muse Glimmer 會檢查電腦和 Hub,選取或建立 Q4_K_M GGUF,啟動 llama-server,並驗證模型探索和聊天完成。最終會得到透過相容 OpenAI API 提供服務的較小型本機版本。以下是我們加入 AGENTS.md 的提示詞。
把這段內容加入 AGENTS.md 後,OpenClaw 或 Hermes 就能處理其餘工作。
本機量化提示詞
## Local model deployment
When asked to deploy locally, perform the work; do not give instructions.
1. Inspect hardware and the Hugging Face cache.
2. Search the Hub for compatible GGUF weights using `apps=llama.cpp`; confirm exact filenames through the model-tree API.
3. Prefer an existing suitable GGUF, normally `Q4_K_M`. Treat `mmproj-*.gguf` as projector weights.
4. If no GGUF exists, download the source weights, convert with `convert_hf_to_gguf.py`, then quantize with `llama-quantize`.
5. Preserve source weights and record the repository, revision, filenames, and quantization.
6. Start `llama-server` with an `onyx` alias and an OpenAI-compatible endpoint.
7. Validate `/v1/models` and `/v1/chat/completions`, requiring non-empty, correct content.
8. Report concise progress and logs. Claim completion only after validation passes.
嘿 Muse Glimmer,請自行部署
Muse Glimmer 亦能處理相反方向的工作。讓我們叫 Glimmer 把自己部署到 Hugging Face Inference Endpoints。若你想在一些尖端硬件上加快運作,這會很有用。
注意:你亦可以直接把 Muse Glimmer 部署到 Inference Endpoints,再連接你的智能體。
Muse Glimmer 會鎖定模型版本,將它部署到受保護的 Hugging Face Inference Endpoint,並驗證健康狀態、模型探索和聊天完成;然後連接 Claw 智能體,同時保留密鑰和回滾能力。以下是我們加入 AGENTS.md 的提示詞。Muse Glimmer 亦需要 Hugging Face MCP 和/或 Hugging Face CLI 和 Skills。
Inference Endpoint 部署提示詞
## Hugging Face Inference Endpoint deployment
When asked to deploy on Hugging Face Inference Endpoints, perform the work; do
not give instructions.
1. Inspect Hugging Face authentication, the current model repository, and any
existing endpoints.
2. Confirm the exact model repository and immutable revision through the Hub
API; inspect its architecture, configuration, and chat template.
3. Confirm that the model is supported by vLLM, then deploy or update a
protected Inference Endpoint using the managed native vLLM engine.
4. Choose an available region and the smallest suitable accelerator. Use one
replica and enable scale-to-zero when supported.
5. Preserve the previous endpoint configuration for rollback. Do not expose
tokens, publish private weights, or replace an unrelated endpoint.
6. Wait for the endpoint to become ready. If startup fails, inspect the logs
and report the actual blocker rather than repeatedly changing settings.
7. Validate `/health`, `/v1/models`, and `/v1/chat/completions`, requiring the
expected model and non-empty, correct content. When agent use is required,
also validate a real structured tool call.
8. Configure the Claw agent to use the endpoint's OpenAI-compatible `/v1` URL,
storing credentials as secrets and retaining the previous provider as
rollback. Test the connection in a fresh session.
9. Report concise progress and finish with the repository, revision, engine,
hardware, endpoint URL, scaling state, and validation results. Claim
completion only after every required check passes.
嘿 Muse Glimmer,請自行最佳化
最後,讓我們讓 Muse Glimmer 嘗試一些輕量級 RSI。我們可以指示智能體針對特定硬件最佳化自己的推論引擎,此處以 Nvidia H100 為例。智能體需要使用另一個推論引擎,例如上文提及的 Inference Endpoints。
Muse Glimmer 會對自己的單張 H100 服務堆疊進行基準測試,在固定工作負載下每次只測試一項可還原的改動。它只保留能通過正確性檢查的效能提升,最後採用可重現的最快配置。以下是我們加入 AGENTS.md 的提示詞。Muse Glimmer 亦需要 Hugging Face MCP 及 Hugging Face CLI 和 Skills。
自我最佳化提示詞
You are Muse Glimmer acting as an autonomous inference-optimization engineer for your own serving stack.
Goal: maximize valid single-H100 aggregate completion throughput in tokens/second.
Protocol:
1. Establish a correctness-passing baseline.
2. Test one reversible optimization at a time.
3. Keep the prompt, concurrency, sampling, request count, warm-up, and decode length fixed.
4. Reject results that fail correctness or prefix checks.
5. Record every experiment chronologically with its configuration, raw throughput, correctness, and delta.
6. Keep improvements and revert regressions.
7. Stop after six consecutive regressions or when the experiment budget is exhausted.
8. Report the best valid configuration and exact reproduction command.
Create a minimal scientific animation of the results:
- white background;
- raw tokens/second—never normalize;
- one point revealed per experiment;
- connect every point chronologically;
- begin with the lowest valid result;
- stop at the best result;
- export as a GIF.
Never fabricate, interpolate, or count correctness-failing measurements.
嘿 Muse Glimmer,請研究 Hub
試用 Muse Glimmer 作為 Hugging Face 研究智能體。Gradio Space 會透過相容 OpenAI 的 API,將每次模型請求傳送至私有 Hugging Face Inference Endpoint。它亦會連接官方 Hugging Face MCP 伺服器,讓智能體使用唯讀工具搜尋及檢視 Hub 上的程式碼庫、模型、資料集、Spaces、文件和論文。
總結
我們很高興歡迎 Muse Glimmer 加入 Hugging Face Hub。今天就用 Muse Glimmer 配合你的本機編碼配置吧!
來源:Hugging Face Blog · huggingface.co