DeepSeek-V3 0324 登上 Hugging Face Hub,四項基準分數均上升
Open R1: Update #4
DeepSeek-V3 0324 已登上 Hugging Face Hub,沿用原版架構並採用 MIT 授權,重點改善指令遵循、編碼和數學能力。DeepSeek 團隊列出的 MMLU-Pro、GPQA、AIME 和 LiveCodeBench 分數,分別由 75.9、59.1、39.6、39.2 升至 81.2、68.4、59.4、49.2。
文中提供 MMLU-Pro、GPQA、AIME 和 LiveCodeBench 的更新前後分數,讓讀者可按多項基準逐一比較 DeepSeek-V3 0324 相對原版的提升幅度。
歡迎 DeepSeek-V3 0324
本週,DeepSeek 的新模型悄然登上 Hub。這是作為 R1 推理模型基礎的 DeepSeek-V3 更新版本。團隊目前尚未公佈太多資料,但我們已掌握幾項資訊!
目前已知資訊
新模型與原版 DeepSeek-V3 採用相同架構,並改用 MIT 授權;舊版 V3 則採用自訂模型授權。此次發布的重點,是改善指令遵循、編碼和數學能力。一起看看!
表現如何?
DeepSeek 團隊以多種數學和編碼任務評估模型;與其他前沿模型相比,我們可以看到它的出色能力:
顯然,這款模型躋身頂級行列:表現往往媲美 GPT-4.5,整體上也勝過 Claude-Sonnet-3.7。
總括而言,模型在各項基準測試中都有顯著進步
- MMLU-Pro:75.9 → 81.2(+5.3)(整體理解能力的良好基準測試)
- GPQA:59.1 → 68.4(+9.3)
- AIME:39.6 → 59.4(+19.8)(數學能力的參考指標)
- LiveCodeBench:39.2 → 49.2(+10.0)(編碼能力指標)
具體而言,DeepSeek 在模型卡中提及以下目標改進項目:
- 前端網頁開發
- 提升程式碼可執行性
- 令網頁和遊戲前端更美觀
- 中文寫作能力
- 風格和內容質素提升
- 配合 R1 的寫作風格
- 改善中長篇寫作質素
- 功能改進
- 改善多輪互動改寫能力
- 最佳化翻譯質素和書信撰寫
- 風格和內容質素提升
- 中文搜尋能力
- 提升報告分析請求的準確度,並提供更詳細輸出
- 函數呼叫改進
- 提升函數呼叫準確度,修正先前 V3 版本的問題
那麼問題來了:他們究竟是如何做到的?我們不妨猜測一下!
他們如何做到?
從名稱和架構來看,可以相當合理地推斷新模型以先前的 V3 模型為基礎,並在其上繼續訓練。模型改進可能來自兩個方面:
- 持續預訓練:以 V3 模型為起點,可繼續預訓練流程:a)使用更新、更貼近當前資訊的數據;b)使用整理得更好、質素更高的數據。這會提升模型對近期事件的事實準確度,也能整體改善能力。
- 改進後訓練:尤其在指令遵循和風格方面,後訓練扮演最重要角色。他們很可能改善了後訓練數據組合,甚至調整了演算法。
在團隊發布技術報告之前,我們無法確定他們作了哪些調整,但後訓練流程很可能是改進重點,也可能加入少量預訓練。接著看看如何使用這些模型!
如何使用模型
Inference Providers
你可以使用 Hugging Face 的 Inference Providers 快速試用這個模型。Fireworks、Hyperbolic 和 Novita 均提供此模型。
以下示範如何使用 huggingface_hub 函式庫。你亦可像這個範例一樣使用 OpenAI 客戶端函式庫。
from huggingface_hub import InferenceClient
client = InferenceClient(
provider="fireworks-ai",
#api_key="your hf or provider token"
)
messages = [
{
"role": "user",
"content": "My first is second in line; I send shivers up your spine; not quite shining bright. I glitter in the light."
}
]
completion = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V3-0324",
messages=messages,
temperature=0.3,
)
print(completion.choices[0].message['content'])
# ...**Final Answer: ice**
Text Generation Inference
最新版本的 TGI 亦支援執行 DeepSeek V3-0324。你可以直接在配備 H100 的節點上使用已標記版本的 Docker 映像。
docker run --gpus all --shm-size 1g -p 8080:80 -v $ volume:/data \
ghcr.io/huggingface/text-generation-inference:3.2.1 --model-id deepseek-ai/DeepSeek-V3-0324
SGLang
SGLang 開箱即支援 DeepSeek V3-0324,並提供多潛在注意力和數據並行最佳化。只需在配備 H100 的節點執行以下指令即可使用。更多資訊請參閲此處。
docker pull lmsysorg/sglang:latest
docker run --gpus all --shm-size 32g -p 30000:30000 -v ~/.cache/huggingface:/root/.cache/huggingface --ipc=host --network=host --privileged lmsysorg/sglang:latest \
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V3-0324 --tp 8 --trust-remote-code --port 30000
Unsloth 和 Llama.cpp 的動態量化
執行 DeepSeek V3-0324 等大型 LLM 會消耗大量運算資源,也需要大量 GPU VRAM。量化技術可讓終端用戶以大幅較低的 VRAM 用量執行同一模型,代價是下游效能略有下降。
Unsloth AI 建立了動態量化版本,讓 DeepSeek V3 只需一個 H100 節點一半的運算資源便可執行,亦能在 llama.cpp 中運作,基準測試表現不會大幅下降。詳情請參閲:https://huggingface.co/unsloth/DeepSeek-V3-0324-GGUF
安全嗎?
自首批 GPT 模型發布以來,如何安全執行語言模型一直備受關注。DeepSeek 模型大受歡迎,加上其來源背景,令這個問題再次引起討論。以下會説明哪些操作是安全的,以及哪些方面值得小心。這不只適用於 DeepSeek,而適用於任何開放模型!
首先,下載模型本身安全嗎?
下載和執行模型
是,下載模型是安全的。Hub 設有幾項防護措施,確保下載和執行模型安全:
- Safetensors:Hub 使用
safetensors格式儲存 DeepSeek 模型權重,確保無法執行隱藏程式碼;舊版 PyTorch 的pickle格式則有這種風險。因此權重檔中不能藏入惡意程式碼。詳情請參閲 Safetensors 文章。 - 建模程式碼:執行模型時,除了權重檔,亦需下載建模程式碼。平台設有三項安全措施:1. Hub 上的檔案完全公開可見;2. 用戶必須明確設定
trust_remote_code=True,才會執行與模型相關的程式碼;3. 安全掃描器會檢查 Hub 上的檔案,並標記惡意程式碼檔案。若想格外謹慎,可透過revision設定固定模型版本,確保下載已完成審查的建模程式碼版本。
因此,下載權重是安全的;完成程式碼審查後,執行建模程式碼亦安全。這表示你可以在本機執行 DeepSeek 模型,而不必擔心後門或惡意程式碼執行。
那麼,下載和執行模型以外的主要風險是甚麼?要視乎你如何使用模型輸出!
模型輸出
以下建議並非針對某一款模型,適用於開放和封閉模型:無論風險來自模型內置的隱藏行為,還是模型意外產生不良輸出,都應注意。
以下會探討三方面風險:對齊、程式碼生成和代理程式。
對齊不一致:每家模型供應商都會決定模型要對齊哪些價值,以及如何進行對齊。這些價值和選擇方式通常不透明,也可能隨時間改變(參閲這項研究)。開放模型的優點是日後仍可透過自訂微調改變對齊方式,Perplexity 的 DeepSeek 1776 就是一個例子。
一般而言,用戶應留意任何 LLM 都有某種偏差,並相應看待模型輸出。
程式碼生成:LLM 最常見用途之一是作為編碼助理。然而,若不加判斷地使用模型輸出,這方面也可能造成最嚴重後果。模型以大量新舊已發布程式碼訓練,通常包括可能有害或含已知漏洞的程式碼。因此,模型提出程式碼解決方案時,也可能產生類似漏洞。
使用 LLM 開發程式碼時,如何防範安全問題?像審查其他程式碼貢獻一樣,徹底檢查模型提出的修改,並使用合適工具掃描漏洞。
代理程式:過去數月,代理應用程式愈來愈受關注;讓 LLM 擁有更多自主權和行動能力也會帶來風險。必須小心設定代理程式可存取的系統,以及提供給它的資訊。以下是一些良好做法:
- 沙盒:不要在可存取和控制你電腦的環境中執行代理程式,這可避免私人資訊外洩或意外刪除重要檔案。
- 私人資訊:不要向 LLM 提供登入資料等私人資訊。若需要讓模型存取系統,請使用遵守嚴格存取規則的專用存取金鑰。
- 人在迴圈中:若要用代理程式自動化高風險流程,務必讓人員參與並作最後確認。
簡而言之:執行這些模型安全嗎?安全,下載和執行模型沒有問題;但與任何模型一樣,你應採取適當安全措施使用模型生成內容。
來源:Hugging Face Blog · huggingface.co

