跳到正文
DEV Community· frank chu·· 6 天前精選AI 評分81

作者重現權重檢查,五款中國開放權重模型呈現 Blackwell-class GPU 指紋

12,000 banned GPUs hid in China's open weights — I checked

AI 導讀

DEV Community 作者 frank chu 重現 Will DePue 的權重指紋檢查,五款中國開放權重模型的初始權重特徵指向 Blackwell-class GPU。

推薦理由

文章拆解如何從未訓練 embedding 權重比對隨機種子與 SM 佈局,並界定指紋所能支持的硬件推論及其不能回答的地點與合規問題。

正文 · 繁體中文

中國開放權重模型中藏有 12,000 部受出口禁令限制的 GPU——我已核查

我在自己的電腦上用 6 秒重現了這項檢查:中國五個頂尖開放權重模型,都帶有受出口禁令限制的 Blackwell GPU 的精確數值指紋。作者估計,五次訓練共涉及約 12,000 部 Blackwell GPU;證據就在權重本身,而非洩漏資料。

我執行的測試

前 OpenAI 研究員 Will DePue 現於非牟利機構 Unemployment Labs 工作。他在 2026 年 11 月 12 日發表報告,並附上可重現分析的程式碼。我複製了程式碼儲存庫,並在 CPU 上執行 python replay.py。整個過程約花 6 秒,輸出結果與作者的表格完全一致:

模型 種子值 SM 數目 匹配列數 r 中位數 GPU
DeepSeek-V3-Base 953049583 132 8/8 0.999999 Hopper
DeepSeek-V4-Flash 953049583 148 461/469 0.999999 Blackwell B200/B300
Kimi-K3 20256586 152 13/13 0.999996 Blackwell GB200/GB300
MiniMax-M3 2760 148 17/17 0.999990 Blackwell B200/B300
Ling-3.1-flash-base 3952 152 384/384 0.983436 Blackwell GB200/GB300

令人信服的是對照測試,而非匹配結果本身。把種子值改動 1,相關系數便跌至約 0.0016,即屬雜訊。嘗試次佳的 SM 數目,相關系數最高也只有 0.02。這個指紋就像一把需要兩把鑰匙的鎖:種子值和執行緒配置都要正確,而且只有一組組合能解鎖。

權重如何記住自己的 GPU

訓練開始前,模型的權重會從名為 Philox 的偽隨機數產生器取得初始值,並以一個數字作為種子。PyTorch 的 CUDA normal_ 會把運算分配到每個串流多處理器(SM)的 2,048 條執行緒,因此 SM 數目決定每個數字會落在哪個位置。Hopper H100 有 132 個 SM(270,336 條執行緒);Blackwell B200/B300 有 148 個(303,104 條);GB200/GB300 則有 152 個(311,296 條)。種子值相同、晶片不同,排列也不同——只有約 6% 的數值會落在相同位置。

大部分權重都會在訓練期間被覆寫。但對於訓練期間從未出現的詞元,其嵌入列不會接收梯度,因此幾乎會原封不動地保留初始值。使用候選種子值和 SM 數目重新產生這些列,若相關系數高於 0.9999,就代表找到了產生這些列的晶片。

這個方法在已知答案的案例中也能得出正確結果:在開發者已公開披露硬件的 24 個模型中,結果全部吻合。DePue 亦在實體硬件上確認了其中兩項匹配結果——B300 重現了 DeepSeek-V4-Flash 469 列中的 461 列,其中 445 列逐位元完全相同;H100 則重現了 DeepSeek-V3 的所有列,卻沒有重現 V4-Flash 的任何一列。GB200 重現了 Kimi K3 的全部 13 列。

時間線才是關鍵

這種轉變近期才出現,而且四個研究團隊的情況一致:

  • DeepSeek 至 V3(2024 年 12 月)均判定為 Hopper;由 V4-Flash 和 V4-Pro(2026 年 4 月)起則判定為 Blackwell。
  • Moonshot 至 Kimi K2.5(2026 年 1 月)均判定為 Hopper;由 K3(2026 年 7 月)和 K3.1-Pro(2026 年 11 月)起則判定為 Blackwell。
  • MiniMax 至 M2.7(2026 年 4 月)均判定為 Hopper;M3(2026 年 6 月)則判定為 Blackwell。
  • Ant Group 的 Ling-3.0-flash(2026 年 8 月)判定為 Hopper;Ling-3.1-flash(2026 年 10 月)則判定為 Blackwell。

並非所有研究團隊都作出轉變。Alibaba(Qwen)、Zhipu(GLM)、Tencent、Xiaomi 和 StepFun 的最新模型仍判定為 Hopper。這種分野本身就是有用的檢驗:這個方法並非把所有新模型都判定為「Blackwell」。

在搜尋約 6 萬億種種子值與配置組合後,僅靠偶然匹配所能產生的最高證據強度約為 8 sigma。六個模型各自的最強證據介乎 49 至 1,385 sigma;即使最弱的單項測試也達 20 sigma。

規模計算——以及誤差範圍

DePue估算,五次運算合共需要約12,000張Blackwell GPU(範圍為7,000–22,000張):Kimi K3約需4,500張,DeepSeek-V4-Pro約需3,000張,各自運行兩至三個月。每張GPU約$70,000,最大的叢集成本約為$200–300 million,五次運算合計超過5億美元。

閲讀標題數字前,先看看誤差範圍。報告以原文表示:「我們對這些估算沒有信心。」這些估算假設GPU以約20%的峯值速度運行、部分詞元數量是根據權重估算得出,而運行時間則是根據發布時間估算——運行時間減半,所需GPU數量便會增加一倍。兩次已披露、規模相近的Blackwell運行,顯示實際數字差距甚大:Mistral使用3,800張Grace Blackwell GPU訓練了相若的模型,而Microsoft則表示,使用16,000張GPU在38天內訓練了一個模型。兩次規模最大的運行,較可信的範圍可能是8,000–9,000張GPU,而非單一數字。有一點毋庸置疑:所需的是數據中心規模的Blackwell存取能力,而不是幾張偷運入境的顯示卡。

這不能證明甚麼

硬件指紋識別出建立初始權重所用的硬件。報告措辭謹慎,只説這「支持但不能證明」Blackwell也用於訓練的推斷。它無法證明晶片所在位置、取得存取權的方式,或是否違反任何出口管制。晶片可能位於境外數據中心——報告和TechCrunch都指出,這種途徑已日漸普遍;Epoch AI估算,2024年和2025年約有275,000個Nvidia加速器進口至馬來西亞。

有一個已知的替代可能:經特別配置、採用雙路分割模式的AMD MI300X,也有152個SM。DePue表示,DeepSeek-V4-Flash並非採用這種方案,而其他五個模型採用這種方案的可能性極低——但這正是指稱使用「Blackwell級」硬件的原因,也是為何單憑152個SM相符,並不足以成為法庭呈堂證物。

這揭示的政策漏洞

美國官員此前已指稱DeepSeek和Moonshot正在使用Blackwell晶片——白宮科技顧問Michael Kratsios今年較早時曾引用美國情報作出這項説法。此前欠缺的是任何人都能核實的技術證據。這是首次有人能在手提電腦上,於數秒內透過公開資料核實這項指稱。

這一點很重要,因為現行出口管制條文追蹤的是所有權和所在地:誰買下晶片、晶片安裝在哪裏。硬件指紋追蹤的則是使用情況。如果實驗室能在自己不擁有的Blackwell硬件上初始化模型,而晶片所在司法管轄區又允許使用這些晶片,並發布權重,管制制度便沒有東西可扣押,也沒有貨運可攔截。中國鷹派長期以來一直主張,管制對象應包括哪些人使用晶片,而不只是哪些人擁有晶片。這份報告首次以技術方式展示這項分別如今為何重要,以及執行管制會有多困難,因為只有在模型發布後,相關證據才會浮現。

TechCrunch 將這篇報道與 Nvidia 本週的事件聯繫起來——Jensen Huang 在 November 12 承認與 Megaspeed 高管 Alice Huang 有婚外情後辭職。Megaspeed 是一家被指涉及走私 Nvidia 晶片到中國的公司。兩件事必須分開看。報道沒有指稱 Huang 知道任何相關情況,而 Nvidia 表示,其官員曾到訪 Megaspeed 的數據中心,並認為那些中心合規。鑑證結果本身足以説明問題:六個模型,其中五個可在手提電腦上重現,指向本不應出現的硬件。

令人不安的地方並非這項檢查確實存在,而是檢查竟然如此簡單,卻直到模型已經推出後,才有人公開進行——七個月內,四間實驗室推出了六個模型。

來源:Will DePue / Unemployment Labs,《中國頂尖前沿 AI 模型帶有受出口管制的 NVIDIA Blackwell GPU 特徵》(November 12, 2026,修訂版);重現程式碼位於 github.com/macrogrants/checkpoint-forensics——我在 python replay.py 上執行,November 13, 2026,在 CPU 上約需 6 秒,輸出結果與作者的表格完全一致;TechCrunch,《受出口禁令限制的 Nvidia 晶片支撐中國最強大的 AI 模型》(November 13, 2026);經 TechCrunch 引述的 Epoch AI 估算。規模數字(12,000 個 GPU、最大叢集為 $200–300M)是作者根據其明示假設作出的估算,並非經確認的數目。

來源:DEV Community · dev.to