跳到正文
螞蟻 inclusionAI:HuggingFace 新模型·· 11 天前AI 評分43

ZoomGain-9B 提供 GGUF 格式權重

inclusionAI/ZoomGain-9B-GGUF

AI 導讀

ZoomGain-9B 的權重已轉換為 GGUF 格式,語言模型及視覺編碼器與投影器均提供 FP16、Q8_0 和 Q4_K_M 版本。處理圖片輸入時,須同時提供語言模型和相應的 mmproj 檔案,並使用支援 Qwen3.5 多模態功能的 llama.cpp;量化可能影響準確度。

正文

GGUF-format weights for ZoomGain-9B, converted with llama.cpp.

  • Language model: FP16, Q8_0, Q4_K_M.
  • Vision encoder and projector (mmproj): FP16, Q8_0, Q4_K_M.

For image input, provide both the language model and the corresponding mmproj file.

CLI Inference (llama-mtmd-cli)

llama-mtmd-cli \
  -m ZoomGain-9B-Q8_0.gguf \
  --mmproj mmproj-ZoomGain-9B-Q8_0.gguf \
  --image /path/to/image.jpg \
  -p "Describe this image." \
  --temp 0 -n 2048

Web Chat (llama-server)

llama-server \
  -m ZoomGain-9B-Q8_0.gguf \
  --mmproj mmproj-ZoomGain-9B-Q8_0.gguf \
  --host 127.0.0.1 --port 8080

Replace Q8_0 with F16 or Q4_K_M to use another precision. Use a llama.cpp build with Qwen3.5 multimodal support. Quantization can affect accuracy.

來源:螞蟻 inclusionAI:HuggingFace 新模型 · huggingface.co