律師用 12 張二手 NVIDIA V100 搭建 AI 集羣運行 DeepSeek,最高每秒 184 個 token
12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元
律師 u/TumbleweedNew6515 用 12 張二手 NVIDIA V100 搭建私人 AI 伺服器,在本地運行 DeepSeek-V4.1-Flash,最高吞吐量達每秒 184 個 token。
IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元(IT之家注:现汇率约合 63,239 元人民币)使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。

在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元(现汇率约合 63,239 元人民币)。
这套系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用 4-bit NVFP4 量化。发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。
性能方面,该网友的测试结果如下:
这位用户称,在单请求、单流场景下,该服务器优于已公开的 4 台英伟达 DGX Spark 组合,代码生成速度快约 15% 至 45%,普通文本生成速度也更高。
整套系统成本约 9,450 美元(现汇率约合 63,239 元人民币),约为三台 DGX Spark 组合价格的一半;不过,其代价是功耗最高可达约 2,100W,且噪音较大,并不适合普通办公环境。

参考
新浪科技公众号
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
科学大家

新浪科技
新浪科技为你带来最新鲜的科技资讯

苹果汇
苹果汇为你带来最新鲜的苹果产品新闻

新浪众测
新酷产品第一时间免费试玩

新浪探索
提供最新的科学家新闻,精彩的震撼图片
來源:新浪科技 · finance.sina.com.cn