跳到正文
新浪科技·· 2 天前AI 評分62

3 張 NVIDIA Tesla V100 運行 Qwen 3.6 35B,128K 上下文速度勝過 M5 Max

九年前的NVIDIA旧显卡翻身!3张V100合力跑AI:性能胜过苹果M5 Max

AI 導讀

開發者 Devon Bray 用 3 張退役的 NVIDIA Tesla V100 搭建本地 AI 主機,運行 Qwen 3.6 35B 時在 128K 上下文下達到 72.7 tokens/s,高於 M5 Max 的 61.3 tokens/s。

正文

快科技11月20日消息,开发者Devon Bray利用3张退役的NVIDIA Tesla V100显卡,搭建了一台本地AI主机,运行Qwen 3.6 35B模型时,最高达到每秒100.8个Token,在长上下文测试中还超过了搭载M5 Max的苹果Mac Studio。

这套主机的核心是3张16GB显存的Tesla V100,总显存容量为48GB,开发者采用Supermicro X10DRG-Q双路主板,搭配Intel Xeon E5-2687W处理器和Corsair HX1500i电源,使用llama.cpp进行本地模型推理测试。

按照开发者提供的采购价格,3张V100合计655.16美元,主板211美元、电源147.70美元,单颗处理器28.20美元,核心硬件合计约1042美元(快科技注:约6951元人民币)。如果计入实际使用的第二颗CPU,则增加到约1070美元(快科技注:约7138元人民币)。

为了验证旧显卡的实用性,开发者对Tesla K80、P100和V100分别采用1至3张显卡的组合,围绕Qwen 2.5、Gemma 4及Qwen 3.6等模型进行了130多项测试,覆盖4K至128K上下文长度以及不同量化精度。

其中,3张V100运行8bit量化的Qwen 3.6 35B时,4K上下文下达到100.8 tokens/s,32K下为89.4 tokens/s,64K下为83.5 tokens/s,即使扩大到128K,仍能保持72.7 tokens/s。

开发者将70 tokens/s视为实时交互的参考门槛,也就是这套旧显卡配置在128K下仍达到了目标。

Qwen 3.6 35B采用混合专家(MoE)架构,总参数量约350亿,但每个Token只激活约30亿参数,这也是其生成速度明显领先同级稠密模型的重要原因。

同一平台运行Qwen 3.6 27B稠密模型,4K上下文下只有24.3 tokens/s,128K时降至14.2 tokens/s。

更有意思的是苹果Mac Studio的对比结果,搭载40核GPU、128GB统一内存的M5 Max Mac Studio售价5399美元(快科技注:约36020元人民币)。

测试数据显示,在Qwen 3.6 35B的8bit测试中,Mac Studio在4K和32K上下文下分别达到105.5和91.1 tokens/s,略高于3张V100;到了64K和128K,V100组合则以83.5和72.7 tokens/s反超Mac Studio的78.5和61.3 tokens/s,128K下领先约19%。

测试还体现出旧显卡的代际差距。3张P100运行相同模型的8位版本,在4K和128K上下文下分别只有55.2和40.2 tokens/s。

旧款Tesla显卡也有明显的装机门槛,V100属于面向服务器的加速卡,许多型号没有普通消费级显卡的主动散热设计。

开发者专门为每张卡制作了3D打印风道,并使用额外的风扇解决散热问题。旧平台的体积、噪声、耗电和配件成本,也需要一并考虑。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:黑白

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn