跳到正文
Hugging Face Blog·· 2025-03-27精選AI 評分77

DeepSeek-V3 0324 登上 Hugging Face Hub,四項基準分數均上升

Open R1: Update #4

AI 導讀

DeepSeek-V3 0324 已登上 Hugging Face Hub,沿用原版架構並採用 MIT 授權,重點改善指令遵循、編碼和數學能力。DeepSeek 團隊列出的 MMLU-Pro、GPQA、AIME 和 LiveCodeBench 分數,分別由 75.9、59.1、39.6、39.2 升至 81.2、68.4、59.4、49.2。

推薦理由

文中提供 MMLU-Pro、GPQA、AIME 和 LiveCodeBench 的更新前後分數,讓讀者可按多項基準逐一比較 DeepSeek-V3 0324 相對原版的提升幅度。

正文 · 繁體中文

image/png

歡迎 DeepSeek-V3 0324

本週,DeepSeek 的新模型悄然登上 Hub。這是作為 R1 推理模型基礎的 DeepSeek-V3 更新版本。團隊目前尚未公佈太多資料,但我們已掌握幾項資訊!

目前已知資訊

新模型與原版 DeepSeek-V3 採用相同架構,並改用 MIT 授權;舊版 V3 則採用自訂模型授權。此次發布的重點,是改善指令遵循、編碼和數學能力。一起看看!

表現如何?

DeepSeek 團隊以多種數學和編碼任務評估模型;與其他前沿模型相比,我們可以看到它的出色能力:

image/png

顯然,這款模型躋身頂級行列:表現往往媲美 GPT-4.5,整體上也勝過 Claude-Sonnet-3.7。

總括而言,模型在各項基準測試中都有顯著進步

  • MMLU-Pro:75.9 → 81.2(+5.3)(整體理解能力的良好基準測試)
  • GPQA:59.1 → 68.4(+9.3)
  • AIME:39.6 → 59.4(+19.8)(數學能力的參考指標)
  • LiveCodeBench:39.2 → 49.2(+10.0)(編碼能力指標)

具體而言,DeepSeek 在模型卡中提及以下目標改進項目:

  • 前端網頁開發
    • 提升程式碼可執行性
    • 令網頁和遊戲前端更美觀
  • 中文寫作能力
    • 風格和內容質素提升
      • 配合 R1 的寫作風格
      • 改善中長篇寫作質素
    • 功能改進
      • 改善多輪互動改寫能力
      • 最佳化翻譯質素和書信撰寫
  • 中文搜尋能力
    • 提升報告分析請求的準確度,並提供更詳細輸出
  • 函數呼叫改進
    • 提升函數呼叫準確度,修正先前 V3 版本的問題

那麼問題來了:他們究竟是如何做到的?我們不妨猜測一下!

他們如何做到?

從名稱和架構來看,可以相當合理地推斷新模型以先前的 V3 模型為基礎,並在其上繼續訓練。模型改進可能來自兩個方面:

  • 持續預訓練:以 V3 模型為起點,可繼續預訓練流程:a)使用更新、更貼近當前資訊的數據;b)使用整理得更好、質素更高的數據。這會提升模型對近期事件的事實準確度,也能整體改善能力。
  • 改進後訓練:尤其在指令遵循和風格方面,後訓練扮演最重要角色。他們很可能改善了後訓練數據組合,甚至調整了演算法。

在團隊發布技術報告之前,我們無法確定他們作了哪些調整,但後訓練流程很可能是改進重點,也可能加入少量預訓練。接著看看如何使用這些模型!

如何使用模型

Inference Providers

你可以使用 Hugging Face 的 Inference Providers 快速試用這個模型。Fireworks、Hyperbolic 和 Novita 均提供此模型。

以下示範如何使用 huggingface_hub 函式庫。你亦可像這個範例一樣使用 OpenAI 客戶端函式庫。

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="fireworks-ai",
    #api_key="your hf or provider token"
)

messages = [
    {
        "role": "user",
        "content": "My first is second in line; I send shivers up your spine; not quite shining bright. I glitter in the light."
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=messages,
    temperature=0.3,
)

print(completion.choices[0].message['content'])
# ...**Final Answer: ice**

Text Generation Inference

最新版本的 TGI 亦支援執行 DeepSeek V3-0324。你可以直接在配備 H100 的節點上使用已標記版本的 Docker 映像。

docker run --gpus all --shm-size 1g -p 8080:80 -v $ volume:/data \
    ghcr.io/huggingface/text-generation-inference:3.2.1 --model-id deepseek-ai/DeepSeek-V3-0324

SGLang

SGLang 開箱即支援 DeepSeek V3-0324,並提供多潛在注意力和數據並行最佳化。只需在配備 H100 的節點執行以下指令即可使用。更多資訊請參閲此處。

docker pull lmsysorg/sglang:latest

docker run --gpus all --shm-size 32g -p 30000:30000 -v ~/.cache/huggingface:/root/.cache/huggingface --ipc=host --network=host --privileged lmsysorg/sglang:latest \
    python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V3-0324 --tp 8 --trust-remote-code --port 30000

Unsloth 和 Llama.cpp 的動態量化

執行 DeepSeek V3-0324 等大型 LLM 會消耗大量運算資源,也需要大量 GPU VRAM。量化技術可讓終端用戶以大幅較低的 VRAM 用量執行同一模型,代價是下游效能略有下降。

Unsloth AI 建立了動態量化版本,讓 DeepSeek V3 只需一個 H100 節點一半的運算資源便可執行,亦能在 llama.cpp 中運作,基準測試表現不會大幅下降。詳情請參閲:https://huggingface.co/unsloth/DeepSeek-V3-0324-GGUF

安全嗎?

自首批 GPT 模型發布以來,如何安全執行語言模型一直備受關注。DeepSeek 模型大受歡迎,加上其來源背景,令這個問題再次引起討論。以下會説明哪些操作是安全的,以及哪些方面值得小心。這不只適用於 DeepSeek,而適用於任何開放模型!

首先,下載模型本身安全嗎?

下載和執行模型

是,下載模型是安全的。Hub 設有幾項防護措施,確保下載和執行模型安全:

  • Safetensors:Hub 使用 safetensors 格式儲存 DeepSeek 模型權重,確保無法執行隱藏程式碼;舊版 PyTorch 的 pickle 格式則有這種風險。因此權重檔中不能藏入惡意程式碼。詳情請參閲 Safetensors 文章。
  • 建模程式碼:執行模型時,除了權重檔,亦需下載建模程式碼。平台設有三項安全措施:1. Hub 上的檔案完全公開可見;2. 用戶必須明確設定 trust_remote_code=True,才會執行與模型相關的程式碼;3. 安全掃描器會檢查 Hub 上的檔案,並標記惡意程式碼檔案。若想格外謹慎,可透過 revision 設定固定模型版本,確保下載已完成審查的建模程式碼版本。

因此,下載權重是安全的;完成程式碼審查後,執行建模程式碼亦安全。這表示你可以在本機執行 DeepSeek 模型,而不必擔心後門或惡意程式碼執行。

那麼,下載和執行模型以外的主要風險是甚麼?要視乎你如何使用模型輸出!

模型輸出

以下建議並非針對某一款模型,適用於開放和封閉模型:無論風險來自模型內置的隱藏行為,還是模型意外產生不良輸出,都應注意。

以下會探討三方面風險:對齊、程式碼生成和代理程式。

對齊不一致:每家模型供應商都會決定模型要對齊哪些價值,以及如何進行對齊。這些價值和選擇方式通常不透明,也可能隨時間改變(參閲這項研究)。開放模型的優點是日後仍可透過自訂微調改變對齊方式,Perplexity 的 DeepSeek 1776 就是一個例子。

一般而言,用戶應留意任何 LLM 都有某種偏差,並相應看待模型輸出。

程式碼生成:LLM 最常見用途之一是作為編碼助理。然而,若不加判斷地使用模型輸出,這方面也可能造成最嚴重後果。模型以大量新舊已發布程式碼訓練,通常包括可能有害或含已知漏洞的程式碼。因此,模型提出程式碼解決方案時,也可能產生類似漏洞。

使用 LLM 開發程式碼時,如何防範安全問題?像審查其他程式碼貢獻一樣,徹底檢查模型提出的修改,並使用合適工具掃描漏洞。

代理程式:過去數月,代理應用程式愈來愈受關注;讓 LLM 擁有更多自主權和行動能力也會帶來風險。必須小心設定代理程式可存取的系統,以及提供給它的資訊。以下是一些良好做法:

  • 沙盒:不要在可存取和控制你電腦的環境中執行代理程式,這可避免私人資訊外洩或意外刪除重要檔案。
  • 私人資訊:不要向 LLM 提供登入資料等私人資訊。若需要讓模型存取系統,請使用遵守嚴格存取規則的專用存取金鑰。
  • 人在迴圈中:若要用代理程式自動化高風險流程,務必讓人員參與並作最後確認。

簡而言之:執行這些模型安全嗎?安全,下載和執行模型沒有問題;但與任何模型一樣,你應採取適當安全措施使用模型生成內容。

來源:Hugging Face Blog · huggingface.co