Strata 實測：8GB 顯存電腦有機會本地運行 1250 億參數 Qwen3.8-Flash-Next
8GB显存就够，Strata 让普通电脑也能运行千亿参数大模型
青小蛙實測開源項目 Strata，稱配備 8GB 顯存的電腦有機會在本地運行 1250 億參數的 Qwen3.8-Flash-Next。Strata 項目位於 https://github.com/Niko1221/Strata，會把部分模型放到系統記憶體及 SSD；文中把 32GB 記憶體列為入門級、64GB 列為推薦級，並提醒機械硬碟速度太慢。
文中按顯存、記憶體容量與量化版本整理多組生成速度，呈現降低顯存需求時仍須面對的記憶體門檻與速度取捨。
青小蛙幫你們試過了，可行！
RTX 5070、RTX 3060、RTX 4060 Ti、RX 9070 XT、RX 9060 XT、RX 7800 XT、RTX 3090，甚至多年前的 Quadro RTX 4000 和 TITAN RTX…
以上這些常見的顯卡，只要有 8GB 顯存、16GB 內存，一台普通電腦，就有機會在本地運行擁有 1250 億參數的大模型 Qwen3.8-Flash-Next。
這就是最近幾天，開源項目 Strata 帶來的震撼：https://github.com/Niko1221/Strata
甚至，青小蛙覺得，這可能是普通人，第一次能夠在普通電腦上，以如此低的硬件門檻，運行一個真正「能用起來」的千億參數大模型。
8GB 顯存，究竟能運行多強的大模型？
Qwen3.8-Flash-Next，這是2026年8月發佈的開源模型，1250 億參數，在部分編程和推理測試中，成績已經超過 Claude Opus 4.6。
不過，8GB 顯存顯然無法運行完整的 Qwen3.8-Flash-Next，即使經過壓縮，模型仍然需要幾十 GB 的存儲空間。
Strata 巧妙的將模型的一部分放到系統內存之中，甚至還有一部分放到 SSD 中，這樣顯卡內存的需求量就沒那麼大了。
於是普通電腦才有了機會。
（注意，不要使用機械硬盤，青小蛙試過了，太慢，慢死）
Strata 的用戶反饋了非常多的測試結果：
| 顯存 | 顯卡型號 | 系統內存 | 模型版本 | 生成速度 |
|---|---|---|---|---|
| 8GB | RTX 4060 Ti | 32GB | Coder IQ1_M | 19～21 tok/s |
| 8GB × 2 | Quadro RTX 4000 × 2 | 96GB | Swift IQ2_XS | 18～23 tok/s |
| 12GB | RTX 3060 | 64GB | IQ3_XXS | 30 tok/s |
| 12GB | RTX 5070 | 64GB | Q2_0 | 94 tok/s |
| 12GB | RTX 5070 | 64GB | IQ3_S | 53 tok/s |
| 16GB | RX 7800 XT | 約 121GiB | Coder IQ1_M | 38～44 tok/s |
| 16GB | RX 9060 XT | 64GiB | Coder IQ1_M | 27.1 tok/s |
| 16GB | RX 9070 XT | 47GB | Q2_0 | 60 tok/s |
| 16GB | RTX 4060 Ti | 96GB DDR3 | Q2_0 | 48.1～55.8 tok/s |
| 16GB | RTX 4060 Ti | 96GB DDR3 | IQ3_S | 30.5～35.1 tok/s |
| 24GB | RTX 3090 | 64GB | IQ3_XXS | 50～60 tok/s |
| 24GB | RTX 3090 | 64GB DDR4 | IQ3_S | 60～77.9 tok/s |
| 24GB × 2 | TITAN RTX × 2 | 125GiB | IQ3_S | 70.9～77.3 tok/s |
在本地運行大模型，最重要的體驗就是生成速度了，青小蛙覺得能達到40tok/s就可以用了，60tok/s以上則非常流暢。
但是！
Strata 雖然對顯卡要求不高，但是對內存要求極高。
三個門檻：
- 32GB 內存：入門級。適合運行經過大幅壓縮的 Coder 等精簡模型，需要犧牲部分模型能力。
- 48GB 內存：進階級。可以嘗試 Q2_0、IQ2_XS 等低精度量化版本，保留完整的專家結構。
- 64GB 內存：推薦級。可以運行 IQ3_XXS、IQ3_S 等更高精度的量化版本，更適合日常使用。
- 96GB 內存：高配級。可以嘗試 IQ4 等更高精度的模型，進一步減少量化帶來的能力損失。
而需要360GB顯存的原始 Qwen3.8-Flash-Next 模型，在部分編程測試中已經超過 DeepSeek-V4-Flash，甚至在部分項目中領先 Claude Opus 4.6。
雖然沒辦法直接比較模型能力，青小蛙覺得入門級的 Strata 也足夠一般家庭的大模型使用了，比如跑個龍蝦在家運行小任務、智能家居、智能問答、處理文檔、識別圖片等等，甚至就幫你安裝、維護 Linux 這一項，就很贊啊。
最重要的是，只需要電費，完全不需要任何 API 費用，並且不限量。
推薦給有顯卡的各位試試。
N卡的都在跑 Strata，我們 AMD 試試 gufo
是的了，AMD 也有自己的 Strata：https://github.com/gufo-org/gufo
原文：https://www.appinn.com/strata/
©2021 青小蛙 for 小眾軟件 | 加入我們 | 投稿 | 訂閲指南
3659b075e72a5b7b1b87ea74aa7932ff
點擊這裏留言、和原作者一起評論
來源：小眾軟件 · appinn.com