Mistral AI 發佈 Pixtral 12B 多模態模型
Announcing Pixtral 12B
Mistral AI 發佈 Pixtral 12B,這款多模態模型採用基於 Mistral Nemo 的 12B 參數解碼器,以及從零訓練的 400M 參數視覺編碼器。它支援不同尺寸與長寬比的圖像,並可在 128K tokens 上下文窗口中處理多張圖片;在 MMMU 推理基準上取得 52.5%。模型採用 Apache 2.0 授權,可透過 Le Chat 或 La Plateforme 試用。
Mistral AI 以相同評測流程比較 Pixtral 12B 與多個開源及閉源模型,並列出 MMMU 52.5% 等基準結果,便於理解其多模態表現。
Pixtral 12B 簡介:
原生多模態,以圖像和文字交錯資料訓練
多模態任務表現出色,尤其擅長遵循指示
在純文字基準測試中維持頂尖表現
架構:
全新 400M 參數視覺編碼器,從零開始訓練
以 Mistral Nemo 為基礎的 12B 參數多模態解碼器
支援不同圖像尺寸和長寬比例
支援在 128k tokens 的長上下文視窗中處理多張圖像
使用方式:
授權:Apache 2.0
立即在 La Plateforme 或 Le Chat 試用
Pixtral 經訓練後能理解自然圖像和文件,在 MMMU 推理基準測試中取得 52.5%,超越多款規模更大的模型。它在圖表和圖形理解、文件問答、多模態推理及遵循指示等任務上表現出色。Pixtral 可按圖像原生解像度和長寬比例讀取內容,讓使用者靈活控制處理圖像所用的 tokens 數量。它亦能在 128K tokens 的長上下文視窗中處理任意數量的圖像。與以往的開源模型不同,Pixtral 在多模態任務上取得佳績之餘,純文字基準測試的表現亦不打折扣。

效能
Pixtral 的訓練目標是成為 Mistral Nemo 12B 的 即插即用替代模型。它與現有開源模型最大的分別,在於提供 一流的多模態推理能力,同時 不犧牲重要的文字能力,包括遵循指示、編碼和數學。
評估方法
我們透過 同一套 評估工具重新評估多款開源及閉源模型。每個資料集所用的提示都經過挑選,目的是重現領先多模態模型(GPT-4o 和 Claude-3.5-Sonnet)的結果,然後以相同提示評估所有模型。整體而言,Pixtral 的表現大幅超越同等規模的所有開源模型;在不少情況下,亦勝過 Claude 3 Haiku 等閉源模型。即使與規模大得多的模型相比,Pixtral 在多模態基準測試中的表現亦能媲美甚至超越 LLaVa OneVision 72B。所有提示都會以開源方式發布。

Pixtral 與閉源及更大型多模態模型的效能比較。[所有模型均以同一套評估工具及相同提示進行基準測試。我們已確認這些提示能重現 GPT-4o 和 Claude 3.5 Sonnet 公佈的效能(提示將收錄於技術報告)。]
遵循指示
與其他開源多模態模型相比,Pixtral 在多模態及純文字的遵循指示能力上尤其出色。在遵循指示方面,它大幅超越 Qwen2-VL 7B、LLaVa-OneVision 7B 和 Phi-3.5 Vision;與排名最接近的開源模型相比,文字 IF-Eval 和 MT-Bench 的相對表現提升了 20%。為進一步評估這項能力在多模態應用上的表現,我們建立了這些基準測試的多模態版本: MM-IF-Eval 和 MM-MT-Bench。Pixtral 在多模態遵循指示基準測試中同樣勝過其他開源方案。我們會向社羣開源 MM-MT-Bench。

Pixtral 與開源多模態模型的效能比較。所有模型均以同一套評估工具及相同提示進行基準測試。
架構
可變圖像尺寸: Pixtral 的設計兼顧速度和效能。我們訓練了全新的視覺編碼器,原生支援不同圖像尺寸:
我們只需將圖像以原生解像度和長寬比例輸入視覺編碼器,再把圖像每個 16x16 區塊轉換成圖像 tokens
這些 tokens 會展平為一個序列,並在各行之間及圖像末端加入
[IMG BREAK]和[IMG END]tokens。[IMG BREAK]tokens 讓模型即使遇到 tokens 數目相同、長寬比例不同的圖像,也能分辨兩者。
因此,Pixtral 能準確理解高解像度的複雜示意圖、圖表和文件,同時亦能快速推論小型圖像,例如圖示、剪貼畫和方程式。

Pixtral 採用全新、從零開始訓練並原生支援不同圖像尺寸的視覺編碼器。
最終架構:Pixtral 由兩個部分組成:將圖像轉換為 tokens 的視覺編碼器,以及多模態 Transformer 解碼器。後者根據文字和圖像序列預測下一個文字 token。模型以圖像和文字交錯資料訓練,目標是預測下一個文字 token。這種架構讓 Pixtral 能在大型 128K tokens 上下文視窗中處理任意數量及尺寸的圖像。

實際示例
理解複雜圖形並進行推理
這個表格整合了兩個表格的資料,讓各模型及其在不同基準測試中的分數都集中在同一個清晰易讀的格式中。

提示:
列出歐洲 GDP 最高的 5 個國家
回應:
根據圖像,歐洲 GDP 最高的 5 個國家如下:
德國
GDP:$3.99 trillion
百分比:4.65%
英國
GDP:$2.82 trillion
百分比:3.29%
法國
GDP:$2.78 trillion
百分比:3.24%
意大利
GDP:$2.07 trillion
百分比:2.42%
西班牙
GDP:$1.43 trillion
百分比:1.66%
圖中以綠色標示這些國家。
圖表理解與分析
圖像:

提示:
dark dragon 是從甚麼時候開始出問題?
回應:
圖中是一張名為 'train/loss' 的折線圖,顯示四個模型在不同訓練步數下的訓練損失:dark-dragon-50、dainty-sunset-49、different-haze-34 和 morning-field-33。x 軸代表步數,範圍由 0 至 60k;y 軸代表對數刻度的損失,範圍由 1e-5 至 1e+5。
要判斷 dark-dragon-50 模型何時開始出問題,我們要看代表這個模型的紅線。起初,損失持續下降,表示模型學習有效。但到約 10k 步時,損失開始大幅飆升,顯示模型效能正在轉差。之後損失繼續飆升和波動,升至非常高的數值,反映模型學習成效不佳,可能出現過度擬合或其他問題。
因此,dark-dragon-50 模型大約在 10k 步時開始出現關鍵問題。
多圖像遵循指示
圖像:

提示:
把兩個表格的資料合併成一個 Markdown 表格
回應:
要把兩個表格的資料合併成一個表格,我們需要對齊各模型及其在不同基準測試中的相應分數。合併後的表格如下:
| Model | MMMU (CoT) | Mathvista (CoT) | ChartQA (CoT) | DocVQA (ANLS) | VQAv2 (VQA Match) |
|------------------------|------------|-----------------|---------------|---------------|-------------------|
| Pixtral 12B | 52.5 | 58.0 | 81.8 | 90.7 | 78.6 |
| Claude-3 Haiku | 50.4 | 44.8 | 69.6 | 74.6 | 68.4 |
| Gemini-1.5 Flash 8B (0827) | 50.7 | 56.9 | 78.0 | 79.5 | 65.5 |
| LLaVA-OV 72B | 54.4 | 57.2 | 66.9 | 91.6 | 83.8 |
| GPT-4o | 68.6 | 64.6 | 85.1 | 88.9 | 77.8 |
| Claude-3.5 Sonnet | 68.0 | 64.4 | 87.6 | 90.3 | 70.7 |
| Qwen2-VL 7B | 47.6 | 54.4 | 38.6 | 94.5 | 75.9 |
| LLaVA-OV 7B | 45.1 | 36.1 | 67.1 | 90.5 | 78.3 |
| Phi-3 Vision | 40.3 | 36.4 | 72.0 | 84.9 | 42.4 |
| Phi-3.5 Vision | 38.3 | 39.3 | 67.7 | 74.4 | 56.1 |
這個表格整合了兩個表格的資料,讓各模型及其在不同基準測試中的分數都集中在同一個清晰易讀的格式中。
從圖像生成程式碼
圖像:

提示:
編寫 HTML 程式碼,建立一個類似這樣的網站
回應:
當然可以!以下是一個簡單網頁的 HTML 程式碼範例,讓使用者選擇雪糕口味。範例包含下拉式選單和「下一步」按鈕。
```html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>Pick an Ice Cream Flavor</title>
<style>
body {
font-family: Arial, sans-serif;
display: flex;
justify-content: center;
align-items: center;
height: 100vh;
background-color: #f0f0f0;
}
.container {
background: white;
padding: 20px;
border-radius: 8px;
box-shadow: 0 0 10px rgba(0, 0, 0, 0.1);
}
h1 {
text-align: center;
}
select {
width: 100%;
padding: 10px;
margin-top: 10px;
margin-bottom: 20px;
}
button {
width: 100%;
padding: 10px;
background-color: #4CAF50;
color: white;
border: none;
border-radius: 4px;
cursor: pointer;
}
button:hover {
background-color: #45a049;
}
</style>
</head>
<body>
<div class="container">
<h1>Pick An Ice Cream Flavor</h1>
<select id="flavorSelect">
<option value="vanilla">Vanilla</option>
<option value="chocolate">Chocolate</option>
<option value="strawberry">Strawberry</option>
<option value="cookie_dough">Cookie Dough</option>
<option value="mint_chocolate">Mint Chocolate</option>
</select>
<button onclick="next()">Next</button>
</div>
<footer style="position: fixed; bottom: 0; width: 100%; text-align: center; font-size: 12px;">
© copyright MistralAI
</footer>
<script>
function next() {
const selectedFlavor = document.getElementById('flavorSelect').value;
alert('You selected: ' + selectedFlavor);
}
</script>
</body>
</html>
説明:
HTML 結構:網頁包含一個容器 div,內有標題、下拉式選單和按鈕。
CSS 樣式:套用基本樣式,將內容置中並為各個元素設定外觀。
JavaScript 函式:按下「下一步」按鈕時會呼叫 `next` 函式。它會從下拉式選單讀取所選口味,並以提示視窗顯示選擇結果。
你可以把這段程式碼複製並貼到 HTML 檔案,再用網頁瀏覽器開啟查看效果。
生成的網站:

自然場景理解

提示:這個人真的很大,還是這座建築其實很小?
回應:
圖中有人把拇指放在比薩斜塔前方,令拇指看起來比塔大得多。這造成視覺錯覺,令塔看起來比實際小。事實上,比薩斜塔是一座高大而著名的建築,這個人的拇指並沒有圖中看起來那麼大。這張照片透過把塔與拇指等熟悉物件作比較,展現其驚人的高度和規模。
如何執行 Pixtral?
Le Chat
你可以透過Le Chat輕鬆免費試用 Pixtral。這是我們易於使用的對話式聊天介面。你可以在模型清單中選擇 Pixtral,上載圖像,然後開始就圖像提問。
La Plateforme
Pixtral 亦可在 La Plateforme 使用。你可以透過 API 呼叫運用 Pixtral 的能力,並順利整合至不同應用程式和工作流程。以下是簡單範例。詳情請參閲我們的文件。
curl https://api.mistral.ai/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $MISTRAL_API_KEY" \
-d '{
"model": "pixtral-12b-2409",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "What’s in this image?"
},
{
"type": "image_url",
"image_url": "https://tripfixers.com/wp-content/uploads/2019/11/eiffel-tower-with-snow.jpeg"
}
]
}
],
"max_tokens": 300
}'
mistral-inference
要在本機執行 Pixtral,最簡單的方法是使用 mistral-inference。安裝 mistral_inference 後,你可以下載模型、載入模型,並使用以下程式碼執行模型。詳細資料請參閲此處。
# download the model
from huggingface_hub import snapshot_download
from pathlib import Path
mistral_models_path = Path.home().joinpath('mistral_models', 'Pixtral')
mistral_models_path.mkdir(parents=True, exist_ok=True)
snapshot_download(repo_id="mistralai/Pixtral-12B-2409", allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"], local_dir=mistral_models_path)
# load the model
from mistral_inference.transformer import Transformer
from mistral_inference.generate import generate
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage, TextChunk, ImageURLChunk
from mistral_common.protocol.instruct.request import ChatCompletionRequest
tokenizer = MistralTokenizer.from_file(f"{mistral_models_path}/tekken.json")
model = Transformer.from_folder(mistral_models_path)
# Run the model
url = "https://huggingface.co/datasets/patrickvonplaten/random_img/resolve/main/yosemite.png"
prompt = "Describe the image."
completion_request = ChatCompletionRequest(messages=[UserMessage(content=[ImageURLChunk(image_url=url), TextChunk(text=prompt)])])
encoded = tokenizer.encode_chat_completion(completion_request)
images = encoded.images
tokens = encoded.tokens
out_tokens, _ = generate([tokens], model, images=[images], max_tokens=256, temperature=0.35, eos_id=tokenizer.instruct_tokenizer.tokenizer.eos_id)
result = tokenizer.decode(out_tokens[0])
print(result)
vLLM
如果你選擇在本機提供 Pixtral 服務,我們亦建議使用vLLM 函式庫搭配 Pixtral,這是提升服務吞吐量的絕佳選擇。感謝 vLLM 團隊協助我們迅速整合 Pixtral。以下是簡單的使用範例。更多資料請參閲此處。
from vllm import LLM
from vllm.sampling_params import SamplingParams
model_name = "mistralai/Pixtral-12B-2409"
sampling_params = SamplingParams(max_tokens=8192)
llm = LLM(model=model_name, tokenizer_mode="mistral")
prompt = "Describe this image in one sentence."
image_url = "https://picsum.photos/id/237/200/300"
messages = [
{
"role": "user",
"content": [{"type": "text", "text": prompt}, {"type": "image_url", "image_url": {"url": image_url}}]
},
]
outputs = vllm_model.model.chat(messages, sampling_params=sampling_params)
print(outputs[0].outputs[0].text)
來源:Mistral AI · mistral.ai