熱點事件持續更新
Janas-LLM 以 SSD 執行大型混合專家模型
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年10月13日的報道介紹,Janas-LLM 透過 NVMe SSD 串流混合專家模型每個 token 所需的專家權重,並將常用權重保留在記憶體,讓超出記憶體容量的模型可在一般電腦上執行。報道列出的測試是在配備 32 GB RAM 的筆電上運行 48.4 GB 的 Qwen3-Next-80B-A3B。效能比較方面,多數同機 llama.cpp 對照項目的速度較高;在 3-bit Qwen3-30B 測試中,提示讀取則較慢。
AI 根據報道生成 · 2 小時前更新
最新進展10月13日 17:23
最新報道展示 Janas-LLM 在 32 GB RAM 筆電上運行 48.4 GB 模型的測試結果。報道時間線
沿着報道,瞭解事件的不同側面。
10月13日
- Hacker News 熱門(buzzing.cc 中文翻譯)Janas-LLM 透過 SSD 串流專家權重,讓超出記憶體容量的混合專家模型在一般電腦上執行
Janas-LLM 透過 NVMe SSD 串流混合專家模型每個 token 所需的專家權重,並將常用權重留在記憶體,讓模型可在一般電腦上執行。在 32 GB RAM 筆電測試中,它可運行 48.4 GB 的 Qwen3-Next-80B-A3B;多數同機 llama.cpp 對照項目的速度較高,但 3-bit Qwen3-30B 的提示讀取較慢。
本事件熱度走勢
還沒有足夠的連續觀測數據,暫不繪製趨勢。