跳到正文
熱點事件持續更新

Janas-LLM 以 SSD 執行大型混合專家模型

1 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

2026年10月13日的報道介紹,Janas-LLM 透過 NVMe SSD 串流混合專家模型每個 token 所需的專家權重,並將常用權重保留在記憶體,讓超出記憶體容量的模型可在一般電腦上執行。報道列出的測試是在配備 32 GB RAM 的筆電上運行 48.4 GB 的 Qwen3-Next-80B-A3B。效能比較方面,多數同機 llama.cpp 對照項目的速度較高;在 3-bit Qwen3-30B 測試中,提示讀取則較慢。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月13日
  1. Hacker News 熱門(buzzing.cc 中文翻譯)
    Janas-LLM 透過 SSD 串流專家權重,讓超出記憶體容量的混合專家模型在一般電腦上執行

    Janas-LLM 透過 NVMe SSD 串流混合專家模型每個 token 所需的專家權重,並將常用權重留在記憶體,讓模型可在一般電腦上執行。在 32 GB RAM 筆電測試中,它可運行 48.4 GB 的 Qwen3-Next-80B-A3B;多數同機 llama.cpp 對照項目的速度較高,但 3-bit Qwen3-30B 的提示讀取較慢。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。