LookAtMyQuant 將 Inkling-2-Mini 壓縮至 5.38 GB 和 8.87 GB
LookAtMyQuant 使用量化編譯器將 Inkling-2-Mini 壓縮為 5.38 GB 和 8.87 GB 兩個版本,並比較其基準測試表現。5.38 GB 版本在 GSM8K 得 134/200、HumanEval 得 60/164,高於 9.14 GB 的 Unsloth UD-Q2_K_XL(132/200、49/164)。
推薦理由:文中比較 5.38 GB 版本與 9.14 GB 的 UD-Q2_K_XL,並列出 GSM8K 和 HumanEval 成績,呈現較小模型檔案在兩項基準上的表現。