跳到正文
IT之家·· 18 小時前AI 評分55

律師以 12 張二手 NVIDIA V100 搭建 AI 集羣,運行 DeepSeek-V4.1-Flash 最高達每秒 184 個 token

12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元

AI 導讀

一名律師花 9,450 美元,以 12 張二手 NVIDIA V100 搭建本地 AI 集羣運行 DeepSeek-V4.1-Flash,單請求、單流的程式碼生成最高達每秒 184 個 token。

正文

IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元(IT之家注:现汇率约合 63,239 元人民币)使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。

在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元(现汇率约合 63,239 元人民币)。

这套系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用 4-bit NVFP4 量化。发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。

配置3× DGX Spark(TP3、SGLang、MXFP4 专家)4× DGX Spark(TP4;三堆叠)12× V100(本次配置)
单请求,代码未发布125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark)153–184
单请求,普通文本38–5179–8883–95
预填充,长提示词约 2,0003,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真实文本)/ 8,500(vLLM + DSpark,32K–128K)4,500–4,700
多请求4 个流合计 8532 个流时 290(TensorFold)/ 16 个流时 340–570(SGLang,从散文到结构化)3 个流时 344–443;它不是批量解码引擎
上下文配置为 256K1M配置为 524K

性能方面,该网友的测试结果如下:

上下文长度首个 token(冷启动)预填充速度(tok/s)代码法律普通文本三个代码请求合计首个 token(文档已缓存)
1K0.7 秒1,567184102864430.2 秒
8K2.5 秒3,26717693904210.2 秒
32K7.3 秒4,47817692954040.3 秒
64K13.9 秒4,69715793833640.3 秒
128K28.1 秒4,67015793863600.4 秒
256K58.0 秒4,51815392853440.6 秒

这位用户称,在单请求、单流场景下,该服务器优于已公开的 4 台英伟达 DGX Spark 组合,代码生成速度快约 15% 至 45%,普通文本生成速度也更高。

整套系统成本约 9,450 美元(现汇率约合 63,239 元人民币),约为三台 DGX Spark 组合价格的一半;不过,其代价是功耗最高可达约 2,100W,且噪音较大,并不适合普通办公环境。

参考

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

來源:IT之家 · ithome.com