LookAtMyQuant 將 Inkling-2-Mini 壓縮至 5.38 GB 和 8.87 GB
配备 5.4 GB 内存的 Inkling-2-Mini
LookAtMyQuant 使用量化編譯器將 Inkling-2-Mini 壓縮為 5.38 GB 和 8.87 GB 兩個版本,並比較其基準測試表現。5.38 GB 版本在 GSM8K 得 134/200、HumanEval 得 60/164,高於 9.14 GB 的 Unsloth UD-Q2_K_XL(132/200、49/164)。
文中比較 5.38 GB 版本與 9.14 GB 的 UD-Q2_K_XL,並列出 GSM8K 和 HumanEval 成績,呈現較小模型檔案在兩項基準上的表現。
LookAtMyQuant 是一款量化編譯器。它會量度模型中每個儲存單元在壓縮後對輸出造成的影響,然後為每個單元選擇一種編碼,令整個模型在符合容量預算的同時,把損害降至最低。
在 Gemma 4 E2B 上,LookAtMyQuant 的 GGUF 在檔案大小相同的情況下,KL 值比 Q4_K_M 低 12 倍。方法和所有結果都在網站上。
程式碼採用 MIT 授權條款。
LookAtMyQuant 2:1.2 GB 的 Qwen3.5-4B
LookAtMyQuant 2 將 Qwen3.5-4B 壓縮至 1.23 GB,每個權重 2.3 位元。該檔案在 540 道精確答案數學題中答對 330 道。Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下答對 328 道,而原始模型答對 359 道。在保留測試文字上的 KL 值為 0.45 nats,Bonsai 則為 0.59。
這套流程採用格狀碼進行訓練後量化,並以模型自行生成的數學解題過程作校準,將數字 token 的權重提高 10 倍,再按 Fisher 資訊為每一行分配位元。之後進行 4,000 步蒸餾,期間每一層都會根據原始權重重新量化一次。頁面列出研究結果、完整流程及其成本,GPU 時間費用約為 $34。
這套流程的程式碼在此,下一節會執行它。1.23 GB 的檔案本身是lm2-qwen35-4b-1.2gb 發佈版本,為 Apple Silicon 執行環境封裝。
Qwen3.8-27B,容量 7.2 GB
同一套流程將 Qwen3.8-27B 從 53.7 GB 壓縮至 7.2 GB,每個權重 2.1 位元,並以英文散文和對話、程式碼及數學內容作校準和蒸餾。該檔案在 540 道數學題中答對 401 道,與原始模型相同;Unsloth 的同尺寸 UD-IQ2_XXS GGUF 則答對 348 道。它在 HumanEval(73.8% 對 67.1%)、MMLU(78.8% 對 75.0%)和 GSM8K(94.5% 對 92.7%)的得分也高於該 GGUF。
此外還有4 位元 DSpine 草稿模型(1.02 GB,由 tencent/Qwen3.8-27B-DSpine-b16 使用 runtime_mlx/convert_dspine.py 轉換,並使用 pack_drafter.py 封裝),在 Apple 晶片上執行數學和程式碼任務時,解碼速度約為兩倍。
Inkling-2-Mini,容量 5.4 GB 和 8.9 GB
同一套編譯器及近端微調(SQYFR)擴展至一個物理參數量為 26.4B、活躍參數量為 5.4B、循環 3 次的 MoE(L6–17 循環 3× = 48 次邏輯訪問,128 個專家,top-8),將thinkingmachines/Inkling-2-Mini的 18.89 GB 文字權重壓縮至5.38 GB(1.63 位元/權重)和8.87 GB(2.69 位元/權重);過程使用 4 KB SRAM 雜湊區塊向量格狀碼(ht2/ht3)、行格狀碼(rtr1/rtr4),以及尾端 lm_head 桶的 tr2 下限(head.7)。
使用相同的 BF16 教師模型進行評估,採用 openai/gsm8k(test[:200]、貪婪解碼、reasoning_effort="none"),涵蓋全部 164 個可執行的 openai/openai_humaneval 題目、4 項 Vision VQA 測試(視覺塔維持未經修改的 637 MB BF16),以及涵蓋 16+13 種語言的 TextMix 視窗:
| 模型 | 文字 GB | free_KL(en/chat/code) |
all13_KL |
GSM8K(200) | HumanEval(164) | 相對教師模型的彙總結果 |
|---|---|---|---|---|---|---|
| 原始 BF16 教師模型 | 18.89 | 0.0000 | 0.0000 | 147 / 200 (73.5%) | 66 / 164 (40.2%) | 100.0% |
LookAtMyQuant 5.4 GB(SQYFR) |
5.38 | 0.0895 | 0.2871 | 134 / 200 (67.0%) | 60 / 164 (36.6%) | 91.2% |
Unsloth UD-IQ1_S |
7.76 | 0.0808 | 0.1236 | 127 / 200 (63.5%) | 46 / 164 (28.0%) | 81.6% |
LookAtMyQuant 8.9 GB(SQYFR) |
8.87 | 0.0208 | 0.0571 | 148 / 200 (74.0%) | 58 / 164 (35.4%) | 96.8% |
Unsloth UD-Q2_K_XL |
9.14 | 0.0486 | 0.0811 | 132 / 200 (66.0%) | 49 / 164 (29.9%) | 85.3% |
Unsloth UD-IQ3_XXS |
11.66 | 0.0189 | 0.0278 | 148 / 200 (74.0%) | 68 / 164 (41.5%) | 101.4% |
在5.38 GB下,Inkling-2-Mini-LookAtMyQuant-5.4GB以小41%的體積,在 GSM8K 和 HumanEval 兩項基準測試中均勝過 9.14 GB 的 Unsloth UD-Q2_K_XL(未調校時分別為 76/200 和 24/164)。在8.87 GB下,Inkling-2-Mini-LookAtMyQuant-8.9GB在 GSM8K 上達到 BF16 原版模型的表現,並將 English/chat/code 的 KL 散度降低 2.34×;在以下全部 13 種語言中,KL 散度亦降低 29.6%,低於 UD-Q2_K_XL。兩者均可透過 lamq 和 runtime_mlx 直接執行,並使用自訂 Apple Silicon Metal 核心;亦可選擇配搭 178.9 MB 的 4-bit DSpark 草稿模型:在 M5 Max 上,5.4 GB 版本的串行解碼速度為 73.2 tok/s,中位速度為 125.2 tok/s(數學 141.8 tok/s、推理 129.0 tok/s、程式碼 121.4 tok/s、散文 102.3 tok/s;prefill 為 1,037 tok/s,於 T=512 下使用 5.83 GB 活躍 RAM);8.9 GB 版本的串行解碼速度為 63.1 tok/s,中位速度為 101.3 tok/s(推理 133.9 tok/s、數學 118.9 tok/s;prefill 為 838 tok/s,於 T=512 下使用 9.32 GB 活躍 RAM)。
安裝及使用 Apple Silicon 執行環境
在 Apple silicon 上直接安裝執行環境套件(這會安裝 mlx、mlx-lm、numpy 和 huggingface-hub,無須安裝 PyTorch 編譯器的相依項目):
pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git
從本機複製的程式碼庫執行 pip install -e .,即可安裝 lamq 指令;亦可直接執行 python -m runtime_mlx,無須安裝。
命令列。可傳入本機模型資料夾或 Hugging Face repo ID:
lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
-p "What is 17 times 23? Show the steps."
lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
--drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter \
-p "Write a Python function that merges overlapping intervals." --stats
lamq chat shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
--drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter
lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB \
--drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter \
-p "What is 17 times 23? Show the steps." --stats省略 -p 時,lamq generate 會讀取 stdin,並支援 --raw、--system、--thinking、--temp、--mode linear|chat-fork|copy-wide、--no-adaptive 和 --json。lamq info <model> 可檢查已打包模型的格式和維度,而無須載入權重。
Python 整合。runtime_mlx.load 會傳回一組與 mlx_lm.generate 和 mlx_lm.stream_generate 相容的 (model, tokenizer),並自動偵測 opgraph-packed-1 模型(例如 Qwen3.5-4B / Qwen3.8-27B)和 lamq.json 匯出格式(例如 Gemma 4 E2B):
from mlx_lm import generate from runtime_mlx import load model, tok = load("shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB") prompt = tok.apply_chat_template( [{"role": "user", "content": "What is 17 times 23? Show the steps."}], add_generation_prompt=True, enable_thinking=False, ) print(generate(model, tok, prompt, max_tokens=200))
如要透過單一介面進行串流、多輪對話或推測解碼,請使用 Runtime:
from runtime_mlx import Runtime rt = Runtime.load( "shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB", drafter="shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter", ) for chunk in rt.stream("Solve 3x + 4y = 31 and 5x - 2y = 17.", max_tokens=256): print(chunk.text, end="", flush=True)
用三個指令在 SmolLM2-360M 上執行編譯器
安裝相依項目,並下載模型和 WikiText-2。程式碼會在啟動時讀取 SmolLM2-360M 的設定,因此請先完成這些步驟。
pip install -r requirements.txt python -c "from huggingface_hub import snapshot_download as d; d('HuggingFaceTB/SmolLM2-360M')" python -c "from datasets import load_dataset as l; l('Salesforce/wikitext', 'wikitext-2-raw-v1')"
測量。這會逐個區塊壓縮,其他部分則保持原樣,並記錄與原始模型的 KL 散度。這個模型的完整測量集共有 2,312 項,在 L40S 上約需 50 分鐘。
python compiler.py measure --model HuggingFaceTB/SmolLM2-360M --part linear --layers 0-3 --out results/batch/my_measurements.json
分配。這會為每個區塊選擇一個編碼,在預算限制內令 KL 散度總和最低。此步驟無須 GPU。這個指令使用此程式碼庫內 SmolLM2-360M 的測量結果,預算為每個權重 3.044 bits。
python compiler.py allocate --sens 'results/batch/ccSens*.json' --target disk --items linear --bits 3.044 --out results/compiler/plans/my_plan.json產生的計劃與 results/compiler/plans/sm_lin_3044.json 具有相同位寬。
建置並評分。這會逐個矩陣依照計劃量化模型,然後在 WikiText-2 測試集上報告困惑度及與原始模型的 KL 散度。
python quantize.py --program plan --model HuggingFaceTB/SmolLM2-360M --plan results/compiler/plans/my_plan.json --out results/my_run.json
我們執行該計劃的結果載於 results/batch/cc_sm_lin_3044.json。困惑度為 16.64,KL 散度為 0.0926;原始模型的困惑度為 15.31。加入 --layers 1 --calib 8 --eval 2 可快速檢查一切是否正常運作。
在 Qwen3.5-4B 上執行 LookAtMyQuant 2 配方
每個步驟都是一個具名工作;python run_batch.py --list 會列印其指令。這些工作需要磁碟區中的 models/Qwen3.5-4B 內有 Qwen3.5-4B,以及文字混合集(modal run --detach modal_fetch.py --text)。所有產生的檔案都會存放在磁碟區的 lm2/。
modal run --detach modal_app.py --jobs lm2Text modal run --detach modal_app.py --jobs lm2Calibration,lm2Solutions modal run --detach modal_app.py --jobs lm2RowImportance modal run --detach modal_app.py --jobs lm2Build modal run --detach modal_app.py --jobs lm2Finetune modal run --detach modal_app.py --jobs lm2Math,lm2Math216,lm2TextKL
| 工作 | 指令碼 | 用途 | 我們的執行結果 |
|---|---|---|---|
lm2Text |
other_text.py |
原始模型會回答科學、程式碼、指令及工具提示詞,以及 MATH 和 GSM8K 訓練題。此步驟亦會下載 MATH | |
lm2Calibration |
math_calibration.py |
校準集:原始模型對 384 道 MATH 訓練題的貪婪解碼結果,按 2,048 個 token 的視窗整理 | 15 分鐘,H100 |
lm2Solutions |
checked_solutions.py |
微調時用作蒸餾的數學文本:MATH 題目的解答,以及來自另一個隨機種子的 math_bench.py 題解答;錯誤計算經過修正,只保留正確答案 |
33 分鐘,H100 |
lm2RowImportance |
row_importance.py |
每個輸出列在預測數字的位置上的 Fisher 資訊 | 1分鐘,H100 |
lm2Build |
quantize.py |
後訓練量化:沿各行排列 trellis codes,在 Hessian 中將數字 token 的權重設為 10×,QEP 設為 α = 0.5,按行計劃設定每行位元數,使用 e-means 碼本 | 37分鐘,H100 |
lm2Finetune |
finetune.py |
進行 4,000 步蒸餾,將潛在權重拉近其代碼;每一層都從原始權重重新量化一次 | 2.7小時,B200 |
lm2Math、lm2Math216 |
math_eval.py |
540 題基準測試及另一組 216 題,涵蓋原始版本、Bonsai、建置版本及微調後的建置版本 | 每個模型 20 分鐘,H100 |
lm2TextKL |
text_kl.py |
在 WikiText-2 及文本混合資料的 13 個來源上,計算與原始模型的 KL | 每個模型 1 分鐘,H100 |
lm2BuildSmoke、lm2FinetuneSmoke 和 lm2MathSmoke 使用相同程式碼,在兩層上執行 60 步及 36 題,每個只需幾分鐘。
行計劃。 lm2Build 讀取 results/compiler/rows/q35_rowplan_1p2GB.json,後者為 1,520 個行組各分配 1 至 4 位元。計劃由 row_allocation.py 製作。其 build-control 命令會建立並封裝一個採用固定行分配方案的控制組版本;prepare-rows 使用 rowgroup_alloc.py 在控制組版本封裝後的位元組內為各行分配位元;build-rows 則按計劃建置,並核對封裝大小是否符合計劃。
碼本。 建置版本用來解碼的四個 e-means 碼本位於 cache/codes/。--trellis-fit lloyd 提供較早期的碼本;在更改前製作的計劃會沿用這些碼本,除非另有旗標指定。
近期等位元組配方改進。 編譯器和微調程式現已提供兩項不增加位元組的功能:
- Softmax-Fisher token 表排序(
--embed-order sfisher-mix位於compiler.py measure和quantize.py)。 按輸出 Softmax-FisherE[p_v (1 - p_v)]與語料頻率各佔 50% 的組合,為綁定的嵌入/輸出分桶排序;未綁定的輸出頭則只按 Softmax-Fisher 排序。 - 訓練中途的等位元組行重新分配(
--realloc-at 1000位於finetune.py)。 配合--rebuild-at 1000使用,測量每層連續值與儲存值之間的 proximal KL 差距KL(all P) - KL(layer = W),將位元分配至深層中尚未吸收的部分,同時保持檔案大小完全不變(--realloc-max-delta 1)。在 Qwen3.5-4B 上以完全相同的 1.23 GB 結合sfisher-mix使用(2.297 bpp),WikiText-2 KL 由 0.425 降至 0.387(−9.0%),13 個來源的 KL 則由 0.447 降至 0.378(−15.5%,全部 13 個來源均有改善)。
這些工作與我們的執行方式有何不同。 我們的 GSM8K 解答較早撰寫,思考模式一直關閉。我們在 13 個來源上計算文本 KL 時,使用了另一個工具從文本混合資料中挑選的 52 個窗口;--sources mix 則使用該混合資料本身的評估窗口。在這些窗口上,我們的檔案得分為 0.44,而頁面報告的分數為 0.45。
大型模型在 Modal 上執行,每項工作使用一張 GPU
run_batch.py 列出每項工作的名稱,modal_app.py 負責執行。modal_fetch.py 會下載模型,以及用於校準和評估的文本混合資料。
modal run modal_app.py::setup modal run --detach modal_fetch.py --text modal run --detach modal_fetch.py --models google/gemma-4-E2B-it modal run --detach modal_app.py --jobs ccMG4E2Noise,ccMG4E2Spot,ccMG4E2EmbKv
網站背後的運算工作使用以下機器,每台均配備 8 個 CPU 核心:
| 模型 | GPU | 時間 |
|---|---|---|
| SmolLM2-360M | L40S | 測量約需 50 分鐘,分 9 項並行工作執行 |
| Gemma 4 E2B,測量 | H100 | 每項工作需 7–26 分鐘,共 4 項工作 |
| Gemma 4 E2B,建立計劃 | H100 | 每個計劃需 28–58 分鐘 |
gguf_compiler.py 使用 llama.cpp 自身的張量類型製作計劃,因此產物可直接在 llama.cpp 中執行。public_eval.py 以與我們的計劃相同的方式評估公開量化版本。兩者均在 modal_gguf.py 的映像檔中執行;該映像檔會以 CUDA 建置 llama.cpp。
Apple Silicon 執行環境可讀取 Lloyd–Max 和 trellis 計劃
quantize.py --export <folder> 會寫出 runtime_mlx/ 可讀取格式的計劃。使用 trellis codes 的計劃還需要 --trellis-rows 16,8,它會沿矩陣的一行運行每條 trellis 路徑,令解碼單一項目時只需讀取該行。在 Apple silicon 上,pip install . 會安裝 mlx 和 mlx-lm;requirements.txt 則包含 PyTorch 編譯器的相依項目。
在 2.5 GB 的 Gemma 4 E2B 上,trellis 計劃的 KL 比 Lloyd–Max 計劃低 26%,解碼速度則慢約 22%。runtime_mlx/test_trellis_gen.py 和 runtime_mlx/test_trellis.py 會將 trellis 核心與量化器建立的矩陣進行核對。
python runtime_mlx/bench.py lamq path/to/export
草稿模型令 Apple silicon 上的 1.2 GB 檔案生成速度提升 1.5 至 2 倍
runtime_mlx/fast_q35.py 直接從 trellis 編碼逐個 token 解碼 1.2 GB 的 Qwen3.5-4B 檔案。runtime_mlx/drafter_q35.py 加入推測解碼。小型草稿模型一次提出模型最新 token 之後的七個 token。接著,模型在一次掃描其編碼權重(runtime_mlx/block_q35.py)時檢查全部八個位置,並保留與模型自身選擇一致的候選,因此生成的文字完全符合模型本身的貪婪解碼結果。
在 M5 Max 上,以最多 256 個 token 的 30 個留出提示詞進行測試,使用草稿模型生成的速度達 2.0 倍:每秒 176 個 token,而原本為 88 個;兩者在 2026-11-11 於同一程序內交替計時。每次檢查平均保留 4.3 個 token。以八個日常提示詞測試,速度達 1.5 倍。提升幅度取決於文字的可預測程度:代數題為 2.5 倍、程式碼為 2.0 倍、對話為 1.2 倍、故事為 1.05 倍;30 個留出提示詞中,有一個使用草稿模型時速度較慢。所有提示詞生成的文字都與純貪婪解碼一致。這些是首個 token 之後的生成速度;無論採用哪種方式,讀取提示詞都需時約 0.1 s。
這份程式碼還包含兩項後續改動。每項改動都以改動前的版本為基準,使用 40 組配對生成進行測量:只從最常見的 96,033 個 token 中提出候選,速度提升 6.0%;在打包乘積運算中挑選勝出 token,速度提升 5.3%。線性模式亦預設啟用自我校準的自適應回退(adaptive=True;傳入 --no-adaptive 可停用):當滾動接受率低於實測的損益平衡比率,即草稿檢查延遲與串行步驟延遲的比率(計及快取清空及草稿模型上下文重播),系統便會暫停草稿生成,短暫改用精確串行生成,並在接受率回升後恢復草稿生成。這樣既能保持位元完全一致的貪婪解碼結果,也能避免在低接受率文本上減慢速度。
草稿模型是 DSpine 模型,使用 SpecForge,以公開發布、適用於 Qwen3.5-4B 的 DFlash 草稿模型為基礎,並使用 1.2 GB 檔案本身的貪婪解碼答案進行訓練。modal_drafter.py 將訓練作業作為一個 Modal 工作執行,成本為 $42。以 300 個留出提示詞測試,訓練後的草稿模型每次檢查可獲得 4.65 個 token,高於原版 DFlash 草稿模型的 4.30 個。
pack_drafter.py 在建置版本自帶的程式碼中,以每個權重 4 bit 的格式儲存草稿模型,無需校準資料:檔案大小為 464 MB,相比之下,以 16 bit 儲存時為 1.83 GB。以 60 個留出提示詞測試,4-bit 草稿模型每次檢查保留 4.35 個 token,而原本為 4.38 個;生成的文字相同。drafter_q35.py 可載入任一格式,並在載入打包版本時將其以 dense 格式輸出。4-bit 草稿模型是 lm2-drafter-4bit 版本,可與打包後的 1.2 GB 檔案一同執行;該檔案是 lm2-qwen35-4b-1.2gb 版本。
gh release download lm2-qwen35-4b-1.2gb --repo ShinMegamiBoson/lookatmyquant -D q35-1.2gb gh release download lm2-drafter-4bit --repo ShinMegamiBoson/lookatmyquant -D drafter-4bit python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit
基準測試預設使用線性驗證。使用 --mode chat-fork 可在較早的模糊位置嘗試第二個候選,或使用 --mode copy-wide 處理已知的連續複製內容。複製模式會使用來源遊標,並為 16-slot 檢查調整 gate/up 和 down 投影。兩種模式都會使用打包後的目標模型驗證所有輸出的 token。若要測試聊天分支,請執行:
python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit --mode chat-fork --prompts chat
進行複製基準測試時,傳入 --mode copy-wide --heldout path/to/copy-prompts.json。JSON 項目會帶有 source、prompt_len 和 input_ids,這些內容來自打包模型的 tokenizer。
檢查工具,以及為自訂草稿模型準備的打包程式:
python runtime_mlx/test_fast_q35.py LAMQ_Q35_PACKED=path/to/packed python runtime_mlx/test_block_q35.py python runtime_mlx/check_drafter.py path/to/packed path/to/drafter python runtime_mlx/bench_drafted.py path/to/packed path/to/drafter --heldout path/to/drafter/heldout/heldout.json --take 30 python pack_drafter.py path/to/drafter path/to/drafter-4bit
runtime_mlx/pack_dense.py 使用微調建置版本的 dense 權重寫入打包檔案,而 runtime_mlx/modal_pack.py 則在 Modal 上執行該檔案。check_drafter.py 會在由 drafter/reference.py 寫出的參考區塊上,比較 MLX 中的草稿模型與 SpecForge 自有模型。
各項內容所在位置
| 路徑 | 內容 |
|---|---|
compiler.py |
測量及分配 |
compiler_arch.py |
編譯器如何找出模型的層、表格和階段,以及文字組合 |
quantize.py |
建立程式或計劃,然後為其評分 |
row_importance.py、rowgroup_alloc.py、row_allocation.py、compiler_artifact.py |
每列位元數:各列的重要性、位元配置、比較的建置版本,以及用來評估其成本的封裝格式 |
math_calibration.py, checked_solutions.py, other_text.py, calc_check.py, token_kinds.py |
配方用作校準及微調的文本、用來核對所列計算的檢查器,以及每個位置預測的 token 類型 |
finetune.py, finetune_lib.py, fast_delta.py |
以代碼作結的微調,以及適用於 Qwen3.5 的更快速線性注意力規則 |
math_bench.py, math_eval.py, text_kl.py |
精確答案數學基準測試、用於 Qwen3.5 系列及 Bonsai 的執行器,以及文本上相對於原始模型的 KL |
gguf_compiler.py, public_eval.py, eval_tasks.py |
llama.cpp 路線、公開的量化版本及任務基準測試 |
pyproject.toml, runtime_mlx/runtime.py, runtime_mlx/cli.py |
可安裝的 Apple Silicon 執行環境套件、統一的 load/Runtime Python API,以及 lamq CLI |
lamq_export.py, runtime_mlx/ |
匯出格式及 Apple Silicon 執行環境 |
runtime_mlx/fast_q35.py, block_q35.py, block_argmax_q35.py, pack_dense.py, modal_pack.py |
用於執行封裝 Qwen3.5-4B 和 Qwen3.8-27B 檔案的執行環境:一次一個 token、一次處理 8 或 16 個 token 的區塊,以及封裝工具 |
runtime_mlx/inkling/, runtime_mlx/test_inkling.py |
Apple Silicon MLX 執行環境、4 KB SRAM ht2/ht3 Metal 核心,以及適用於封裝 Inkling-2-Mini 模型的 4-bit DSpark block-8 推測解碼草稿模型 |
runtime_mlx/drafter_q35.py, draft_vocab_q35.py, convert_dspine.py, check_drafter.py, bench_drafted.py, drafter/, modal_drafter.py, pack_drafter.py |
使用 DSpine 草稿模型進行推測解碼、Tencent DSpine 轉換、草稿模型訓練,以及以 4 bits 儲存的草稿模型 |
opgraph/ |
語法:以張量網絡表示的模型,以及作用於其上的重寫規則和代碼 |
run_completeness.py, make_report.py |
核實九種已發布方法均獲準確重現的檢查 |
analyze_compiler.py |
方案結果表 |
run_batch.py, modal_app.py, modal_gguf.py, modal_fetch.py |
具名工作及 Modal 執行器 |
results/compiler/plans/, results/compiler/rows/ |
所有方案,以及 1.2 GB 的 Qwen3.5-4B 逐列方案 |
results/protocols/ |
包含 216 道題目的第二組數學測試集,以及所有未納入訓練文本的題目雜湊值 |
cache/codes/ |
1 至 4 bits 的 e-means trellis 碼本 |
results/batch/, results/gguf/ |
網站背後的測量結果及方案執行記錄 |
results/COMPILER.md, results/COMPLETENESS.md |
關於 SmolLM2-360M 和 Qwen3.5-4B 上的編譯器,以及重現檢查的説明 |
site/ |
網站。在網站內執行 python3 -m http.server 8000,然後前往 http://localhost:8000 |
site2/ |
LookAtMyQuant 2 頁面。執行方式相同 |
tests/ |
語法及代碼的測試 |
測試需要 SmolLM2-360M 和 WikiText-2
每個測試檔案都可在儲存庫根目錄獨立執行,七項測試全部可在一分鐘內完成。
python tests/test_frame.py python tests/test_grammar.py python tests/test_codes.py python tests/test_elements.py python tests/test_nested.py python tests/test_rowgroup_alloc.py python tests/test_reallocation.py
runtime_mlx/test_core.py 會根據量化器的數學運算核對執行環境。請先執行 python runtime_mlx/make_ref.py,它會寫入 1.6 GB 的參考檔案。
runtime_mlx/test_fast_q35.py 和 runtime_mlx/test_block_q35.py 會將 Qwen3.5 核心運算與獨立解包代碼後以 NumPy 計算的乘積作比較,無需模型。當 LAMQ_Q35_PACKED 指定封裝檔案時,第二項測試亦會將一個 token 區塊與逐個 token 解碼的結果作比較。當 LAMQ_Q38_PACKED 指定封裝的 Qwen3.8-27B 檔案時,測試會在輸出頭與嵌入層分開儲存的模型上執行相同檢查。
這個儲存庫未包含的內容
- 模型權重。所有內容均從 Hugging Face 下載。Qwen3.5-4B 工作預期該模型位於磁碟區中的
models/Qwen3.5-4B。 - 基準測試副本。
eval_tasks.py會下載基準測試資料。在離線電腦上,它會讀取從data/bench/匯出的副本,但此處並沒有這些副本。Modal 映像會離線執行,因此請先將基準測試資料快取至磁碟區。 - 組裝
site/data.json的腳本。這是由一系列一次性步驟組成。所有原始數值都在results/。 - LookAtMyQuant 2 的密集權重及結果檔案。1.2 GB 檔案是以封裝格式發布的版本。基準測試所用的密集權重並未發布,
site2/data.json背後的逐題結果,以及根據這些結果寫入頁面數值的腳本也沒有發布。 - 16 bits 的草稿模型。訓練完成的草稿模型有 1.8 GB,並未發布。4-bit 版本是發布檔案,而
modal_drafter.py會訓練它。
來源:Hacker News 熱門(buzzing.cc 中文翻譯) · github.com