跳到正文
新浪科技·· 12 天前AI 評分54

律師用二手 NVIDIA Tesla V100 搭建私有 AI,單卡約 2880 元

绝不让绝密文件出办公室!律师用二手V100搭建私有AI:单卡仅2880元

AI 導讀

一位執業律師以 8 塊二手 NVIDIA Tesla V100 搭建私有 AI 伺服器,運行 DeepSeek V4.1 Flash,以避免客戶機密法律文件離開辦公室。系統的上下文窗口為 524K,生成法律文書速度為 118 tokens/s;處理 128K 長文檔時,首 Token 延遲約 1 分鐘。律師估計系統可承接 50% 至 60% 的 AI 工作流程,所有 AI 產出仍需人工覆核。

正文

快科技11月10日消息,据报道,一位执业律师为了确保客户的机密法律文件绝不离开办公室,利用8块二手NVIDIA Tesla V100数据中心GPU,搭建了一套性能强悍的私有AI服务器。

这套系统的核心是两块各搭载4颗V100的SXM2 NVLink基板。每颗V100配备32GB HBM2显存,单卡显存带宽达900GB/s,8卡总算力汇聚成256GB的庞大显存池。

律师购入时,每块4卡基板成本约2400美元(快科技注:约合人民币1.73万元),单卡折合仅约400美元(快科技注:约合人民币2880元)。不过目前eBay上同款二手卡已涨至约900美元,翻了一倍多。

硬件搭配同样硬核。主机采用技嘉Threadripper Pro主板,搭载12核的3945WX处理器与256GB DDR4内存,由两颗总功率2800W的电源分别接入办公室的不同电路供电。

整套系统运行的是开源模型DeepSeek V4.1 Flash,权重经压缩后仍达248.8GB。

性能表现足以应对日常法务工作。实测在生成代码时,依托推测解码技术,速度可达215 tokens/s;在专门用于生成法律文书时,速度稳定在118 tokens/s。

尽管处理128K长度的长文档时,首Token延迟约需1分钟,但其上下文窗口高达524K,足以吞下海量卷宗。

律师估计,这套本地系统能接管其50%至60%的AI工作流,涵盖从案件档案中提取事实、日期、生成摘要到起草初稿。所有AI产出均需经过人工复核,在绝对保障数据隐私的同时,大幅降低了对云端API的依赖与成本。

这套方案证明,在内存与算力价格高企的当下,二手企业级硬件依然是极客玩家守住数据主权的一条硬核路径。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:红茶

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn