Sail Research 創辦人 Neil Movva 如何以更低成本生產更多 Token？
怎样用更少的钱，生产更多 Token？
Sail Research 創辦人 Neil Movva 在訪談中介紹，公司以優化 GPU 軟件、整合不同晶片和分散式算力，目標是降低開源大模型推理的 Token 成本。
任何东西便宜 10 倍，都会变成新品类。
👩 编译：Shirley
🧑🎨 排版：NCon
十字路口编者按：
所有人都意识到一个巨大的机会：**当 Agent 开始在后台连续跑上几天时，整套 AI infra 都需要重新设计：**GPU 如何分工、Context 如何存储、不同芯片如何混用、数据中心是否必须永不掉线，甚至电力能否来自不稳定的风能和太阳能。
本期播客串起 Tensor Core、NVLink、KV cache、SRAM/HBM、Cerebras、异构计算等概念，但最终都落在一个问题上：怎样用更少的钱，生产更多 Token？
嘉宾的思路另辟蹊径，很像"拾荒"——不跟英伟达争最贵的芯片和最稳定的电，而是捡起市场上被低估、被闲置的算力与能源，再把它们拼成一座更便宜的"Token 工厂"。
嘉宾背景：Neil Movva｜斯坦福大学电气工程本硕，在英伟达工作期间，亲历 Tensor Core 随 Volta 架构登上芯片；又到 Together AI 从零组建内核团队。2025 年年底，他创办 Sail Research，目标是把开源大模型的单 Token 价格做到全行业最低；半年后，公司以 4.5 亿美元估值完成 8000 万美元种子轮与 A 轮融资。
任何东西便宜 10 倍，都会变成新品类
🎙️ 主持人 (播客 Invest Like the Best 主持人)
Neil，请介绍一下你们公司？
👱♂️ Neil Movva
Sail Research 是一座 Token 工厂。任何人都可以通过我们的 API 发送请求，用开源大模型去做他们想做的任何任务；我们也支持客户在这之上搭 Agent，托管一种叫 Sailbox 的云端虚拟机，专门给要连续跑几小时、几天甚至几周的 Agent 用。
我们公司的关键词是"充裕"（abundance）。我们想把 AI 变成一种人人都用得起的新型大宗商品。任何东西只要便宜 10 倍，就可能催生一个新品类。我们也想让 Token 便宜 10 倍。机器能够思考，这件事本身就很了不起。我们的工作，是让尽可能多的机器开始思考。
🎙️ 主持人
今天 Token 成本重要吗？
👱♂️ Neil
我们的目标，就是把单个 Token 的成本做到全行业最低，而且要明显低于其他公司。
但 Token 不是衡量工作量或 AI 能力的最终标准，只是目前最直观的标准。以后，大家会越来越看重"结果"（outcomes）。今天你让 Agent 做事，并不能控制它要推理多久、调用多少次工具。未来，你只需要交给 Agent 一项任务，让它自己不断尝试。至于消耗多少 Token，由任务本身决定。
最好的延迟，就是根本没有延迟
🎙️ 主持人
也就是说，与其规定工程师每月最多能用多少 Token，不如让 Agent 自己决定完成任务需要多少。但全世界都在想办法让 Token 变得更好、更快、更便宜，你们为什么还有机会？市场还有哪些地方不够高效？
👱♂️ Neil
主要有两个原因。
第一，开源正在崛起。越来越多客户希望掌控自己依赖的技术。不管使用定制模型，还是原版开源模型，权重都在自己手里，可以自由部署，也不会被别人拿走。
这几年，大规模托管这些模型已经是相当成熟的生意。问题在于 Baseten、Fireworks、Together 这些公司全都押在低延迟推理上，而把它们拽过去的，是同一个非常重要的客户 Cursor。
一年前，这个选择是对的。但从半年前开始，大家对 Agent 的要求不再只有低延迟，还希望它能长时间工作。现在我很确定，Agent 推理的未来是长周期任务。当机器连续运行几小时甚至几天时，每秒生成 100 个 Token 并不重要，10 个也许就够了。这样还能提高整体效率。
🎙️ 主持人
你为什么这么笃定？我什么都想要越快越好。
👱♂️ Neil
如果你正在等答案，当然越快越好。但更理想的情况是，你根本不用等，Agent 会主动在后台工作。
最好的延迟，就是根本没有延迟。 你早上醒来，事情已经在夜里做完，甚至不用再开口。我们还没有完全做到这一点。但更重要的是，如果你一直要发提示词、等回复，人就会成为瓶颈，限制 Agent 能做多少事。
我们希望 Agent 按人类工作的节奏运行。你不会每 5 分钟检查一次同事的进度，而是交代一个目标，过一天，甚至一周再看结果。未来，人和 Agent 也会这样协作。
🎙️ 主持人
能不能多讲讲，有哪些早期迹象说明这件事正在发生，因此值得围绕它建立一家公司？
👱♂️ Neil
最重要的信号是**测试时计算扩展（test-time compute scaling）：给 Agent 更多时间，它就能给出更好的答案。**这个想法大约两年前就出现了，但直到去年年底 Opus 4.5 发布，它才真正值得下注。
Opus 4.5 是第一个勉强能扛长周期任务的 Agent，刚出来时其实相当平庸。可你再看更近的模型，还有我们在开源上做的事，Agent 已经能一次跑上 1 个小时。几天还谈不上，1 个小时今天完全可行。平均任务时长一路变长，用不了几个数据点，你就能把那条指数曲线画出来。
🎙️ 主持人
3 年后，长时运行的 Agent 大概能占多大的市场份额？
👱♂️ Neil
我喜欢这个市场，因为它几乎没有上限。只要不需要人一直参与，后台就可以持续消耗 Token。
但人的注意力有限。让我在 Codex 或 Claude Code 上再多用 10 倍 Token，可能做不到，因为我坐在电脑前的大部分时间已经在写代码了。所以长期来看，我认为今年年底，后台任务和实时任务会各占一半；之后会变成 9:1，后台任务占 90%。
🎙️ 主持人
有哪些事情，作为后台任务完成会比 human in the loop 好得多？
👱♂️ Neil
大部分深度研究都是。那种你想要一个确定答案的问题，要查的不是 100 个、1,000 个来源，而是 1 万个甚至更多。比如我们的客户 Parallel Web Systems，要给整个互联网建索引，还要实时监测它的变化。这是 EB（艾字节）量级的疯狂任务，得靠完全不同量级的 AI 才做得到。深度研究是我们最重要的方向之一。
网络安全也在往这个方向走。能生成的代码固然很多，但攻破同一段代码的方式，比写出它的方式要多得多，是指数级的差别。现在有一些很棒的客户，正努力找出能攻破任何软件、并主动修补漏洞的 Agent。
Fable 或 Mythos 刚出来的时候，安全圈掀起一股风潮，把写过的每一行代码都拿去让 Fable 用 20 种方式找 bug，内存错误、业务逻辑错误、网络层漏洞都查一遍。这些其实都适合为不同目标专门写不同的 Agent。你不会只让 Fable 把源码静态看一遍，而是要真给它搭好环境，对应用做渗透测试。
后来大家开玩笑说，安全已经变成一种"工作量证明"。**想知道软件有多安全，就看你花了多少钱，用 Anthropic 的 API 攻击自己。**这是很直接的衡量方式，因为那是目前最好的工具。
而且这里的能力前沿是锯齿状的。有些 bug 用 Haiku 这样的小模型就能找到，Fable 反而找不到，反过来也一样。所以它催生了一种非常多样化的采样思路：用不同的模型、不同的 Agent 自主攻击软件，再去修补。
🎙️ 主持人
我们聊了深度研究、网络安全这些很现实的应用。如果想得再大胆一点，这种非常便宜、又能长时间运行的 Agent，还会催生哪些全新的产品品类？假设你们取得了最大程度的成功，会发生什么？
👱♂️ Neil
对个人用户，我最期待的是主动型 Agent。想象一个一直在后台跑的 Siri，把你一天收到的每封邮件、每条短信都看过，对你的生活了如指掌，知道怎么帮上忙。现在的方案都是零散的，你得不停写提示词，Siri 一点也不主动，而充足的推理能补上这一块。如果你足够信任它，它甚至能摸清你是怎么跟它打交道的，你每次一解锁手机，它就把你下一步要做的事递到眼前。
🎙️ 主持人
能不能构建一个足够好的模型，预测你接下来要做什么？
👱♂️ Neil
我认为完全可以。
🎙️ 主持人
而关键就在于极其廉价的 AI。
👱♂️ Neil
关键是，你愿不愿意在没有任何回报的情况下花掉 Token。
往大了看，我们已经有一种 AI，能够处理各种可以验证答案的问题，包括大部分软件任务、许多形式化数学证明，甚至科学发现。今天，解决这些问题都需要花钱，成本取决于你能调动多少 Token。我们已经把长周期任务的成本从几百万美元降到了几千美元。再过不久，也许只要几百甚至几十美元，就能让 AI 尝试回答一个科学问题。
🎙️ 主持人
如果沿着这个未来继续想，最终限制我们的，是不是就只剩"人能提出什么问题"了？
👱♂️ Neil
基本上可以这么说。模型已经快要能接住一个高层次的问题，然后自己把每一个可能的追问都追下去。
🎙️ 主持人
于是问题就变成了：你的 Token 预算是多少？
👱♂️ Neil
而 Token 预算这个问题，我们会解决。
🎙️ 主持人
那不可验证的任务呢？
👱♂️ Neil
我把整个"人类品味"都归到这一类。人类品味我们还没有解决，我甚至不知道它从根本上能不能被解决，很期待被证明是错的。我们目前专注的是能量化的问题，写作的质量、艺术的美，就留给人。
GPU 只能在吞吐和延迟之间选一边，我们选吞吐
🎙️ 主持人
接下来聊聊你打算搭建的那整套方案：最终要造出这座巨大的"Token 工厂"，成为极低成本智能的供应商。我理解你是按软件、硬件、电力三个层次来想的。你的总体计划是什么？这和别人的思路有什么不同？
👱♂️ Neil
一定要从软件开始，先看看现有芯片和数据中心还有多少效率可以提升。
我们做的第一件事，是围绕"GPU 峰值效率"重建整套大模型软件。用的仍然是英伟达 GPU，但我们希望同一块芯片能生成更多 Token。要做到这一点，必须从最底层的内核（kernel）开始优化。
我整个职业生涯都在做 GPU 和内核，英伟达是我念大学时的第一份工作，我亲眼见证了 Tensor Core 在 2017 年挣到它在芯片上的那块位置。
🎙️ 主持人
给不熟悉芯片的人解释一下，Tensor Core 到底是什么？
👱♂️ Neil
Tensor Core 就是 GPU 上专门用来加速矩阵乘法的硬件单元，就这么简单。这些年它是怎么演进的，后面我们还可以聊。
🎙️ 主持人
那为什么矩阵乘法这么重要？
👱♂️ Neil
我说不上什么大道理，但听过一个很简洁的解释：矩阵乘法能用最简单的方式，让两组数字相互作用。而线性代数恰好能用很紧凑的形式表示各种数据关系。
英伟达在游戏图形上称霸了很久。大概从 2010 年代中期开始，他们启动了一些内部秘密项目，让 GPU 更适合机器学习。我在英伟达时读过几位主管的实验记录本，他们去参加当时还很小的 ICML（国际机器学习会议）、NeurIPS（神经信息处理系统大会），笔记里写的大意是，"深度学习好像起来了，研究生们还在用我们的游戏卡训练大模型，得深入看看"。到 2015、2016 年，至少黄仁勋已经认定这种用法只会越来越多，开始把越来越多宝贵的硅片面积分给它。
那时候还很早，你一开口要面积，就是在跟图形团队抢。在任何芯片公司，硅片面积都寸土必争，押错了技术，那块面积的机会成本就白白浪费。所以我们拼死拼活，才给第一代芯片争到大概 5%-10% 的面积，给当时计算机视觉的卷积操作做一点加速。
我在负责把性能榨到极致的软件团队里，学到最多的就是英伟达的一种气质。他们有个词叫"光速原则"（speed of light），造出的任何硬件都要去追求那个极限：如果我们认为这块芯片能跑到这个频率、每个周期能出这么多次乘法，就一定要到那儿，打破每一个瓶颈。直到今天，我还这么跟我的工程师说，我们要追求的是 100% 的"光速"。我不关心跟竞争对手比的相对数字，我只关心绝对数字。
🎙️ 主持人
在结束你在英伟达的这段经历之前，除了刚才说的这个文化上的关键点，还有什么改变了你的思考方式，或者让你对当时英伟达的经营方式和文化印象最深？
👱♂️ Neil
关于英伟达，我有一大堆故事，讲几个吧。我最喜欢的一个是任期：2015、2016 年跟我共事的人，很多今天还在那儿，留存率高得惊人。他们是我合作过最好的工程师，一直相信并行计算这个方向，这是他们的毕生事业（life's work）。
英伟达同时也是一家非常节俭的公司。2008 年之后，英伟达跟很多硅谷公司一样砍了福利，但砍得更狠，冰箱里连免费牛奶都没有。想在咖啡里加奶，得每月往"牛奶俱乐部"交 1 美元，俱乐部再去 Costco 买牛奶放冰箱。这个我记得特别清楚，但我们在 Sail 不搞这套哈哈！
🎙️ 主持人
带着这段经历，你学会了怎样通过软件更高效地利用底层硬件？把这份经验和今天的环境连起来，会是什么样？
👱♂️ Neil
GPU 本质上更擅长吞吐：一次给它很多任务，让计算单元持续满负荷运行，效率最高。
但过去几年，AI 主要被用作聊天机器人。为了让用户尽快看到答案，大家更在意生成速度，而这往往无法让 GPU 满负荷运行。GPU 很难同时兼顾吞吐和延迟。因为主要场景是聊天，所有人都优先选择了低延迟。我相信，未来一年最重要的变化，是 AI 从聊天机器人转向主动工作的后台 Agent。到那时，围绕吞吐来设计整套技术会更合理。
🎙️ 主持人
能从技术上解释一下，为什么吞吐和延迟之间的取舍无法打破吗？为什么同一块硬件不能两者兼得？
👱♂️ Neil
这几乎是所有系统都绕不开的选择：要么一次处理得少但速度快，要么一次处理得多但速度慢。整个计算机科学都在处理这个问题。
落到 GPU 上，关键是批处理（batching）。我们把很多用户的活归成一批，一次性在 GPU 上跑完。可一大批合在一起跑，总工作量变多了，每往前推一步要做的事也更多，所以这一批里任何一个用户的请求，都会因为要跟别人的请求一起走，而在 GPU 上停留得更久。
打个比方，你要去旧金山市中心，可以坐公交，也可以叫专车。专车走它自己的直线，从 A 点直达 B 点；公交得服务更多人，路线必须对所有人都说得通。
示意图：prefill、decode 与批处理
🎙️ 主持人
所以公交要走一条更慢的路线，中途还要停下来等人上下车，这个公交和专车的比喻很准确。那你们优化的第一步，就是在英伟达 GPU 上造出最好的那辆公交车？
👱♂️ Neil
这意味着要尝试不同的并行方案。
英伟达的一项重要创新，是用 NVLink 连接 GPU。它可以把一次大型矩阵乘法拆给最多 8 块 GPU 分头计算，最后再合并结果。这能明显降低单次操作的延迟，但速度不会随着硬件数量等比例提升。用了 8 倍的硬件，速度可能只提高 4 到 5 倍，因为 GPU 之间需要通信，而且每块 GPU 分到的任务更小，效率也会下降。
要最低延迟，这是唯一的提速办法，但我不会这么选。我更愿意用专家并行（expert parallelism）或流水线并行（pipeline parallelism），还可以尝试把通信延迟和计算重叠起来，将通信成本隐藏掉，这在低延迟服务器上腾挪空间就小得多。
🎙️ 主持人
所以，可以把 NVLink 理解成一项只提升延迟表现的技术吗？
👱♂️ Neil
是的。我会说，低延迟推理想做到最好，NVLink 基本是必需的。英伟达在低延迟推理上非常出色，但我要告诉你，我们其实没有那么在意低延迟。那这意味着什么？
我不指望其他厂商很快复制出 NVLink。它是一项很难做、很难扩展、也很难产品化的技术。但假设我拿到另一家厂商的芯片，它的基础计算单元很好，矩阵乘法做得很强，只是没办法像英伟达一样和其他芯片高速交换结果，那么它仍然有可能成为我技术栈里非常优秀的"每美元算力（compute per dollar）"选项。
我真正关心的，通常是每一美元能买到多少算力：一块芯片能提供多少 FLOPS（每秒浮点运算次数），以及每小时的持有和运行成本是多少。有些芯片的每美元 FLOPS 明显高于英伟达，只是互连能力较弱。我的工作，就是找到合适的并行方式，让这些芯片也能做好推理。张量并行（tensor parallelism）可能不合适，因为那是英伟达的强项，但可以尝试其他方法。
Transformer 的原罪
🎙️ 主持人
离开延迟这条线之前，你怎么看 Cerebras 这类能做到极快运算的公司？专注极低延迟的硬件会走向哪里？
👱♂️ Neil
Cerebras、Groq，还有几家正从隐身状态出来的公司，都下了一个很有意思的赌注。他们没有再造一块 GPU，造的是一种专注于不同内存层级的加速器，把芯片上的 SRAM（静态随机存取存储器）做到最大，当成存放权重和 KV cache（键值缓存，模型为当前对话保留的动态记忆）的极快内存。
给芯片配内存有两条路：
第一条是把内存直接做在逻辑芯片上，跟台积电说，我要在芯片上放这么多 MB 的存储。SRAM 的问题是太占面积，就算把一块 800 平方毫米的英伟达 Blackwell 全做成 SRAM，大概也就是个位数 GB。
第二条路换一种制程，不找台积电，找美光、SK 海力士、三星，他们造的是 DRAM（动态随机存取存储器），重心在电容而不是晶体管。SRAM 的标准做法是 6T 晶体管单元，写进一个 bit 它就一直保持，基本不用管，所以叫"静态"；DRAM 是往电容里写电荷，电荷从写进去那一刻就开始泄漏，你得每 50 毫秒左右把每个 bit 刷新一遍，等于同时抛接几十亿个球。好处是密度高得多。
把 DRAM 堆成很多层、焊在英伟达的逻辑芯片周围，就能拿到几百 GB。Blackwell 周围有 288 GB 的 HBM（高带宽内存），逻辑芯片本身的 SRAM 可能只有约 500 MB，所以 DRAM 和 SRAM 在密度上可能差好几个数量级，大约是 3 个数量级。
Cerebras 看到的是，SRAM 密度没有明显的提升办法，但它离真正做运算的逻辑门太近了，计算单元能以难以置信的速度取数。Cerebras 给第三代晶圆级引擎标的是 21 PB/s，而 Blackwell 的 HBM 大概是 10 TB/s 这个量级。HBM 容量更大，但带宽按比例更低。
所以 Cerebras 干脆不受台积电 800 平方毫米光罩上限的约束，直接拿下整片晶圆，让每块裸片都通过切割道连到其他裸片，堆出尽可能多的 SRAM。每片晶圆大概 50 GB，再把很多片堆在一起，就有接近 1 TB 的极快内存，能在大约 1 毫秒里把 Kimi 这种大模型的全部参数搬进搬出逻辑核心，每秒 Token 数自然极高。
🎙️ 主持人
这样就有了一条通往每秒 1,000 个 Token 的路径。那你怎么预测这个细分市场的未来？
👱♂️ Neil
我认为他们的**结局是某种混合形态，要把 Cerebras 最强的极快内存访问，跟另一种容量更大的东西配对。**你确实可以把 Kimi 这种 1 万亿参数的模型装进一堆 Cerebras 晶圆，但 KV cache 你没什么办法。它随着人们越用越多而增长，永远是动态的，你甚至不知道会需要多少，那取决于你有多少用户、想服务多少用户。
🎙️ 主持人
能用最基本的方式解释一下 KV cache 吗？
👱♂️ Neil
你往模型里送的每个 Token，只要对话还在继续，就一直待在上下文窗口里。如果我们聊了 10 万个 Token，第 100001 个 Token 仍然在我们身后的这段对话里，模型会参考全部历史来更好地预测接下来要说什么。
所以，KV cache 本质上是一块内存。你输入的每个 Token，都要在里面保存一份表示，它占用的空间经常比模型权重还大。可以这样理解：模型权重保存的是已经固定下来的知识，KV cache 保存的是这次对话中不断变化的信息。
🎙️ 主持人
这也是为什么有时候对话变得很长以后，大家会感觉模型能力开始退化，背后其实有技术原因？
👱♂️ Neil
KV cache 是此前一切内容的精确表征，但模型训练时主要用的是 8,000、16,000 Token 量级的对话，20 万 Token 那个长度也练过一些，却不是它的强项。怎么让模型在 20 万 Token 时和在 1 万 Token 时一样聪明，一直是前沿实验室的难题，会是一场长期战。100 万上下文窗口这个概念已经提出好几年了，我记得 Anthropic 是最早做到的。但我自己用 Claude Code，远不到 100 万就先敲 /compact 压缩掉了，我不觉得把长度用满是件好事。
🎙️ 主持人
所以，这些极快、极低延迟的路线，最终都会受到 KV cache 这个因素的限制？
👱♂️ Neil
是的。模型权重那部分你想怎么搞都行，做到无可匹敌的性能完全可能，但 KV cache 会是你身上一根很大的刺。
🎙️ 主持人
那 3 年、5 年之后，这类极低延迟芯片在异构芯片市场里会扮演什么角色？占多大份额？
👱♂️ Neil
Cerebras 和 Groq 这类，你应该把它们理解成加速器，真正擅长的是跟更传统的、关键在于自带片外内存的 GPU 类设备配合。片外内存给容量，片上内存给速度，我们想把两者混起来。
把 Transformer 推到极限，比如 100 万上下文，你会有一个计算受限的阶段，也就是 MLP（多层感知机）里的矩阵乘法，模型的大部分世界知识编码在那里；还有 attention（注意力机制）层，那是模型动态适应当前对话的地方。在极限情况下，attention 通常是内存受限的，MLP 在批次足够大时是计算受限的。
我会说，**Transformer 的"原罪"，就是把一个极度内存受限的层，与一个计算受限的层紧挨着放在了一起。**很难有一块芯片同时擅长计算和内存操作，GPU 在这方面相当平衡，但终究得选一边。Cerebras 内存访问极快，适合承载 MLP，也就是权重；GPU 能扩展到很长的上下文。所以你也许会想把 attention 放在 GPU 上，把 MLP 放在 Cerebras 上。
🎙️ 主持人
你刚才把很多核心概念解释得非常清楚。能不能再聊几分钟 Transformer？对不熟悉的人来说，2017 年这项创新到底解决了什么，它的强项和弱点是什么，未来还会继续是 AI 的主导架构吗？
👱♂️ Neil
Transformer 能让模型高效地从无监督数据中学习。简单来说，它会从一段序列数据里寻找规律。最关键的 attention 机制会动态判断序列中哪些部分最相关。**每经过一层 Transformer，模型都会重新判断之前的输入中哪些内容对下一次预测最重要。**因此，它很适合学习各种序列数据。而我们日常产生的最重要的序列数据之一，就是语言。这也是 Transformer 主导语言模型的原因。
更重要的是，Transformer 很容易 scale。它很少依赖人类预先设定的规则，而是相信只要序列里有规律，就能通过增加参数把它找出来。
Transformer 也受益于计算机视觉领域积累的经验。当年的一个难点，是很难从几千到几十万参数的量级往上走，支持向量机这类线性模型和传统机器学习模型就在这个量级。后来到了深度学习，计算机视觉模型达到几千万参数，最大的大约 1.5 亿参数，在当时已经是巨大的视觉模型。而现在，我们动辄谈论万亿参数，Transformer 就是让参数规模从百万级一路走到万亿级的那条路。
🎙️ 主持人
如果把数据和算力看成扩展的两个关键变量，而我们又特别擅长获得更多这两样东西，那 Transformer 是不是就会一直留下来？
👱♂️ Neil
数据还有很多问题没有答案。但在算力方面，Transformer 很能"吃"算力：算力提高 10 倍，性能通常还能继续提升。到目前为止，Scaling Law 一直有效。Transformer 几乎能适应各种数据集，是一种很强的通用学习方法。
它还有一点特别有用，能表示任何成对关系，序列里任何一个 Token 都能关注任何另一个 Token。你未必真需要所有 Token 看所有 Token，但需要时它给了你这个选项。在找到更好的办法把搜索空间剪小之前，attention 是一个非常好的操作。
这也让我想起计算机视觉时代学到的另一个技巧。Karpathy 以前有句老话：
拿到一个新数据集，你的第一个目标应该是把模型做成过参数化，先去过拟合这份数据，证明数据里确实存在可以建模、甚至可以记住的关系，证明你的学习算法有效，知识确实能装进模型。一旦能过拟合，就可以再去压缩，而压缩才是获得泛化的方式。你并不想真的记住眼前的数据，你想要的是泛化，所以在过拟合之后，可以倒推回去，找到能用最少参数拟合数据的通用模式。
🎙️ 主持人
你怎么预测数据的未来？数据在整个故事里到底有多重要，展开聊聊。
👱♂️ Neil
我常说，**互联网给了 AI 一笔一次性的数据补贴，而且几乎是免费的。**高质量文本大约有 30 万亿 Token，如果放宽标准，可以达到 300 万亿。模型已经反复读过整个互联网，剩下可用的人类数据已经不多了。
我心目中的下一阶段，是通过强化学习环境让模型自我改进。事实上，我们甚至不一定还能从更多随机用户与 AI 的互动里获益。以前我们很看重人们用 ChatGPT 时点击的喜欢或不喜欢，但我们服务的中位模型已经比随机的人类反馈者先进太多，无条件的人类偏好不值什么钱了，你要的是专家级偏好。
所以数据的未来，是给模型一个困难、可验证的任务，让它在隔离环境里跑，既有能取得进展的问题，也有能衡量"自己有没有进展"的度量。 编程和数学都属于这一类，而且我们越来越常直接给 Agent 一台电脑，让它像人一样干活，再根据它有没有朝目标推进给出反馈。**那个环境本身就成了数据。**我觉得这并不是什么特别独特的判断，但据我目前所见，它非常有效。
🎙️ 主持人
你觉得这条路会持续很久吗？如果把互联网数据看成一大块，那是不是另一大块也会有它的高光时刻，等我们把它吃完，再去找下一个来源？
👱♂️ Neil
我觉得这件事更深。**通往通用人工智能（AGI）的一条可行路径，是不断增加模型擅长的具体任务，直到没有明显短板。**前提是任务的结果可以验证，并且模型能给自己打分。有了这套机制，模型就能在不同任务上持续改进。前沿实验室的投入也说明了这一点：它们过去把大量资金花在数据上，现在则投入更多资金建设强化学习环境。这些环境让模型能在可验证任务上不断自我提升（Recursive Self-Improvement, RSI）。
🎙️ 主持人
回到软件这条线：你们已经做了什么？接下来想做什么？
👱♂️ Neil
很意外的是，人们以为内核已经做完了。确实有 Tri Dao 这样的高手写出了极好的内核，现代深度学习和 Transformer 都建立在 FlashAttention 之上。
译者注：Tri Dao 是斯坦福计算机科学博士，现任普林斯顿大学助理教授兼 Together AI 首席科学家。他是 FlashAttention 的主要作者——这是一种重新设计 attention 读写内存方式的算法，不改变计算结果，只改变数据在 GPU 内存层级间搬运的方式，因此大幅提升了 Transformer 训练与推理的速度，同时显著降低了显存开销。Neil 在这里提到他，正是因为 FlashAttention 是"模型算法"落到"芯片内存效率"这一过渡地带最有名的成果，也是这段"内核工程"讨论的起点。
但只要稍微偏离那条顺风路径，比如新模型换了一种编码位置信息的方式、改了 RoPE（Rotary Position Embedding，旋转位置编码，一种让模型知道每个 Token 在序列中先后顺序的方式），手上的内核突然就不适用了、得打补丁。虽然现在还没到要从零发明新内核的地步，但快速修改现有内核的能力是必需的。
内核是个泛称，指任何跑在 GPU 上的程序。过去每个内核的用途都划得很窄，矩阵乘法是一个，两个张量相加也是一个。现在我们越来越多地把它们融合起来，做完一个矩阵乘法、再加到另一个乘过的矩阵上，也许就合成一个内核，不用先把数据写回 DRAM、再为了做加法读回来。
🎙️ 主持人
"写出更高效的内核"，听起来像是 AI 应该特别擅长的工程。也许我们正在往那个方向走，只是还没到。可如果还没到，为什么今天这件事还是由人来做？
👱♂️ Neil
我不想替 Tri 发言，但我从他那里学到：内核不一定还要手写。我们更像是在白板上设计内核。先想清楚机器该做什么，再用简洁的自然语言告诉模型：输入和输出是什么，任务要怎样分配给 GPU。具体代码交给模型完成。
我不确定为什么模型现在还不是特别擅长这件事，我也不觉得这是什么护城河。但我相信 6 个月后会有好得多的内核工程模型，各家实验室也会告诉你，他们已经在很大程度上自动化了自己的内核工程。
Anthropic R&D Automation Index。按 Epoch AI 的 AL0（无 AI 参与）到 AL5（AI 完全自主）自动化量表打分。截至 2026 年 8 月，Claude 主导（AL4：能从高层指令端到端完成任务，人类监督）26% 的研发工作；处于"协作"（AL3）及以上级别的工作占比超过 90%。数据来源：Anthropic 官方
🎙️ 主持人
所以就"软件作为优势"来说：如果把软件看成让底层硬件的使用尽可能逼近"光速"，那么随着时间推移，它对你们这样的公司来说，会不会不再是优势？
👱♂️ Neil
对。像 Mythos 或 GPT-6 Astra 这样的模型，是一股抬起所有船的涨潮。我其实也不认为专门去训练一个只擅长内核工程的模型有什么意义，内核工程只是整个编程里一个很小的子集。也许可以在提示里注入一些特权信息，帮模型更会写内核，但总体上，在这项能力上我们都处在前沿模型的下游。
🎙️ 主持人
能源史上有个钟摆，我一直很喜欢。一块煤里的能量，我们能榨出多少来用？能源史一大半，就是把这个比例从 10% 提到 95%。如果 Blackwell 是那块煤，我们今天在哪？
👱♂️ Neil
GPU 在做它最开心的事，也就是大维度矩阵乘法时，我们的优化已经相当高效，能跑到峰值利用率的 70%-80%，接近饱和，这相当不错。限制它的不是软件，而是功耗。英伟达标称的峰值 FLOPS 有点乐观，因为功耗节流，你永远摸不到那个数。
但跑 Transformer 的大部分时间，并不在那条大批次矩阵乘法的顺风路径上，所以我们的工作本质上是围绕芯片造一台引擎，让 GPU 在任何时刻都被喂进大批量的活。
过去一年，GPU 领域一个很重要的变化是：编程对象不再只是一块 GPU，而是整个机架，甚至整座数据中心。英伟达现在交付的是完整机架系统。最新的 GB300，就以每个机架 72 块 GPU 的 NVL72 形式出货。现在，各家公司都在比谁能更高效地为机架级计算机编程。我认为，这种方式代表了计算效率和速度的未来。英伟达目前做得很好：要最低延迟，应该选它；要最高吞吐，很可能也应该选它。
🎙️ 主持人
有人说 Blackwell 这类最好的芯片，大家为了多拿几块无所不用其极。如果我愿意接受一块稍差、甚至差不少的芯片，市场又是什么样？
👱♂️ Neil
先说第一点，英伟达对自己所有芯片都是长期视角。面对 Blackwell 的巨大需求，他们本可以像过去的供应商那样直接抬价，让供需曲线相交。但英伟达明白，如果只让口袋最深的人买走全部芯片，而那个客户最后攒下大量权力，长期反而可能伤到自己。今天算力就是权力，所以他们在分配上相当讲策略。
关系也非常重要。没人愿意接一个刚成立几个月的初创公司发来的订单，说要租 1 万块 Blackwell 租 3-5 年，谁知道你付不付得起。今天要拿到算力，要么有极好的关系，要么有极强的资金背书。
至于其他芯片，我不会称它们为"次等芯片"。**芯片没有绝对的好坏，关键看价格。只要价格合适，我就能找到用法。**这是我们公司的信条之一。
拿 AMD 来说，整体上是好芯片，难在人们不太会给它编程。英伟达给自家芯片做优化做得挺好，我们还能再挤出一点阿尔法；别家芯片上能做的就多得多，因为厂商在开箱即用的内核上下的功夫少。别人普遍觉得"AMD 不如英伟达"，我很乐意人们继续小看它，让我尽可能多买。
不过这个说法已经不太成立了，公开信息里 Meta 和 OpenAI 都买了大量 AMD，AMD 的供给也越来越被预订一空。但后面还有一长串冒头的新公司，Etched、SambaNova、d-Matrix，它们最大的挑战是规模，能不能从台积电拿到足够的晶圆把芯片量产出来。有新芯片出来，我希望第一时间知道，评估能不能买下其中相当一部分供给。
🎙️ 主持人
所以这本质上是套利？你比别人更会从没人关注的芯片里榨取性能，再带着利润转售。
👱♂️ Neil
我们很擅长同时使用多种芯片架构，也愿意在别人不看好的地方挖掘性能。另一个优势是，我们能很快围绕新芯片重建技术栈。我们没有太多历史包袱，也有一批有创意、行动快的数据中心伙伴。TPU 合适，就用 TPU；Trainium 合适，就用 Trainium；单独不好用，就把它放进异构系统。
每块芯片都有自己的优势，我们要做的就是找到它，并充分利用。
🎙️ 主持人
插一个投资人关心的问题。
看看内存股，或者我最近特别喜欢的一张图：半导体占标普 500 的比例，历史上是 2%、3%、4%，现在是 19%、20%、21%。如果你熟悉市场史，会发现很多东西都曾冲到某个疯狂的短期高点，然后又塌回长期均值。美光、SK 海力士这类公司让很多人赚了很多钱，但大家长期还是觉得，"计算"终究是一种商品，不该永久占据全世界 1/4 甚至 1/5 的市值。所有人都承认眼下极度短缺，但很多人心里觉得"我们总会解决，这些东西会回到原来的位置"。你怎么看这种叙事？
👱♂️ Neil
比起市场史的学生，我更像历史的一员。我 1997 年出生，我妈妈在 2000 年前后互联网泡沫起落那几年在英特尔工作，我还记得思科是全世界最值钱的公司、英特尔紧随其后。
最大的区别是，当年很多网络设备投资都在赌未来需求，但那些需求最后没有出现。AI 消费则不是这样。人们购买 Token，是因为现在就能用。Token 不会被囤起来，而会立刻被消耗。
这跟两年前也很不一样。2023、2024 年 Hopper 短缺时，钱全花在训练上，而训练天生是投机性的。现在是所有人都在给 Claude Code 的开销设上限，我认为推理支出会单调上涨，其中没有投机成分。
拾荒者策略：先拾荒芯片，再拾荒电力
🎙️ 主持人
回到硬件。我们已经从芯片聊到机架、再到集群，下一层就是数据中心。你提到有些合作伙伴在做很酷的事情，你怎么看今天和未来的数据中心？要支撑这么庞大的推理需求，这显然是一个必须持续创新的环节。
👱♂️ Neil
我们这场对话里一直有一条主线：训练和推理到底有什么不同？为什么 2 年前大家都围绕训练设计，而今天正在转向推理？我认为整个 AI 技术栈里最保守的，一定是数据中心这类基础设施玩家，更保守的是台积电这样的芯片基建公司。
过去，AI 数据中心主要为训练而建。训练对网络带宽和集群规模的要求更高，所以训练集群通常也能做推理，但专门用于推理的集群未必能做训练。
数据中心在某种意义上存在规模不经济，在一处部署 10 万张 GPU 比 1 万张难得多，1 万张又比 1,000 张难。现在大家常说要多少兆瓦（MW）、多少吉瓦（GW），而在美国，1 吉瓦的数据中心基本建不起来了，100 兆瓦也越来越难，除非你是极少数特殊客户；10 兆瓦大概在今天可行的边缘，而 1 兆瓦我认为遍地都是。
所以，市场上的总电力很多，但分布得很散。建训练中心的人对此不感兴趣，因为没人愿意跨多个数据中心做训练。市场还没有完全适应这种情况，数据中心开发商仍在到处寻找 100 兆瓦或 10 兆瓦的站点。但越来越多人意识到，推理正适合分散的 1 兆瓦数据中心。我们也认同这一点，愿意在美国各地买下一小块一小块的算力，组成自己的推理网络。
🎙️ 主持人
给我们一个直观感受：1 兆瓦和 10 兆瓦的数据中心，物理上到底有多大？
👱♂️ Neil
液冷出现后，这件事变得很奇妙。1 兆瓦的算力，你本来会想象成一个大仓库，现在大概装得进 8 个机架，每个机架差不多一台冰箱大小。想象 8 台冰箱排成一排，那就是 1 兆瓦。
那么当你架起 1,000 座小数据中心，而不是 1 座 1 吉瓦的大厂，会发生什么？
你往往不会有电力冗余，也不会有柴油备用发电机，这些都很贵，我们全砍掉。很多时候连冗余网络都没有，找个电力接入好的地方，单一电源，拉一条光纤进去，不要三条带故障切换和 SLA 的光纤。这样的数据中心会偶尔宕机，有些站点的可用性可能只有 95%，这完全在我的预期之内。
🎙️ 主持人
可用性 95% 的数据中心，对别人来说是致命的，你为什么要买？
👱♂️ Neil
原因有两个。一是我们有一套很稳健的控制平面，只要故障不跟其他数据中心相关联，任何单点故障它都能处理，把负载挪走就行。对我来说，95%、98%、99% 的可用性，好坏是线性的。
第二，任务是异步运行的。我们服务的是长周期 Agent。一个请求失败后，只需要换一块 GPU 继续运行。Agent 已经跑了一个小时，某一轮因为更换 GPU 多等一两分钟，甚至十分钟，客户通常也不在意。因此我们会明确告诉客户：平均吞吐很有竞争力，但 P99，也就是最慢的那 1% 请求，延迟无法保证。作为交换，客户能获得很低的成本。
🎙️ 主持人
再聊聊电力。你现在看到哪些有意思、有创新的东西？你觉得会走向哪里？
👱♂️ Neil
我说我想要 95% 可用性的数据中心，那给对价格，80% 我能不能接受？大概可以。
我在加州长大，我爱太阳能和风能，我认为美国的风光电被严重低估了。难点一直是间歇性，持续的基础负载配一个间歇的电源，怎么办？我认为我们离解决它其实不远。我完全能容忍以天、甚至以周计的停机，这对数据中心是最糟糕的噩梦，不刮风、天上有云、雾在山谷里挂了一阵子，就得长期停机。
但这件事高度可预测。我给天气建模，算出数据中心什么时候会离线，提前把负载挪到另一个地方就行。诀窍在于，我能拿到别人根本不会碰的电，因为处理这种停机实在太烦了。而且芯片足够便宜的话，大概也不会是英伟达机架，闲置的那点资本成本我不介意。
🎙️ 主持人
我听你把这整套打法叫作"拾荒者策略"（scavenger strategy），展开讲讲。
👱♂️ Neil
我们先拾荒芯片，再为这些芯片拾荒电力。
这两件事背后的逻辑一样：我不想和 Anthropic 或 OpenAI 抢算力，因为我抢不过，也没必要抢。我拿不到大规模、集中的供给，但可以把各处分散的供给聚合起来。时间久了，这座分布式工厂也能拥有很强的成本优势。我们想造世界上最好的钢厂，但不是建一座巨型工厂，而是把许多小钢厂连在一起。
🎙️ 主持人
所以，你基本上是在做现实版的《异星工厂》（一款由捷克独立工作室 Wube Software 开发的 2D 生产建设模拟游戏，玩家利用传送带、机械臂、组装机和电力系统，打造自动化流水生产建筑群的同时，还要应对虫群的威胁）。
👱♂️ Neil
非常像。
🎙️ 主持人
顺着这个思路往下想，垂直整合可以做到多深？极端一点是什么都自己拥有，电源、数据中心、自研芯片、软件，再把成品 Token 卖给用户；另一个极端是极度轻资产，只做协调层。你怎么想？
👱♂️ Neil
我内心其实有两个自己：一个是要让公司正常运转、可持续增长的 CEO，另一个是创始人。后者更有想象力，但从 CEO 的角度，我们得更务实。
"什么都自己拥有"所需的资本是疯狂的，软件的杠杆高，所以必须从软件开始。至于最终是自己拥有发电资产，还是和公用事业公司签购电协议，我更倾向于让别人去专精他们历来擅长的事，等我们成长到某个规模、挣得资格，再把它收到自己麾下。
整套技术里还有很多效率可以提升，关键是打破供应商对客户需求的固有假设。我们押注的是计算史上最大的算力市场，未来会有数十亿甚至数万亿美元投入推理。因此，为推理专门定制软硬件是合理的。我的工作，就是找出所有值得定制的环节。合作伙伴能做，就交给他们；做不了，我们就自己做。
🎙️ 主持人
把软件、硬件、能源这一整套系统拉远来看，今天生产有用的 AI Token，你觉得效率最低的地方在哪？帮我们排个序。
👱♂️ Neil
我觉得算力扩展其实非常高效，你给我更多 FLOPS，我就会用掉，而且我们用得已经相当克制。现代模型的稠密度很少超过 10%，也就是一次激活的专家不超过全部专家的 10%，前沿模型更接近 1%。MoE（混合专家）这一侧挤得挺好，我不觉得有很多浪费。
我们不擅长的是 attention 和它对内存的使用，具体地说就是 KV cache 压得远远不够。看它的信息熵，远配不上占的位置，我们现在每个 Token 存好几 KB，大概偏了 1-2 个数量级。我不知道前沿实验室内部做到了什么程度，但 DeepSeek 一直在公开发表把它压小的工作，进展很快，每年能推进 1 个数量级，这本身就说明后面还有很长的路。
这些还只是局部优化。放大来看，我认为整个行业并没有有效调度算力。英伟达今年出货了 500 万颗 Blackwell，它们都去了哪里？是否一直在使用？我对此很怀疑。
很多算力消失进了永远见不到光的私有池，那些 GPU 就那么闲着。硅片和电力已经投进去，却没有被真正用起来，我想把全世界的算力当成一份共享资源来编排。我估计，大家爱拿 xAI 集群的利用率开玩笑，但别处的现实要糟得多，GPU 集群普遍利用率很低，一大堆 GPU 就躺在仓库里。
图：VentureBeat，2026 年 5 月 8 日。引 Cast AI《2026 State of Kubernetes Optimization Report》：企业 GPU 平均利用率约 5%，采购周期与折旧使闲置 GPU 难以释放。
🎙️ 主持人
而你们的业务几乎就是在正面解决这部分效率损失。那晶圆厂呢？大家都在想，内存公司、台积电、英特尔这些厂商，究竟会怎样扩产？美国本土会不会承担更多产能？如果我们能打个响指，让现有的芯片存量变成 100 倍，Token 大概会便宜很多。所以我想听听你怎么看这一块。
👱♂️ Neil
各个环节会互相制约。即使能立刻把现有芯片数量翻倍，解决台积电的产能瓶颈，也会马上遇到下一个瓶颈。
但我觉得有意思的是，晶圆厂认定什么"必须交付"、什么是"客户永远想要的不变量"，我认为那更像一种可以流动的关系。任何产线上最差和最好的芯片之间离散度都很大，台积电很努力地收窄工艺角，让最差的芯片尽量接近最好的那块，为此加了很多控制，而那些控制我也许并不需要。也许我愿意为那块最差的芯片找个位置，愿意接受多得多的次品。
招聘最看重的特质是好奇心与热爱
🎙️ 主持人
聊聊你是怎么设计这家公司的吧。你说过从英伟达学到了不少东西，那能不能带我们看看，在把这条"北极星"贯彻到底的前提下，你是怎么搭建团队和公司的？
👱♂️ Neil
我们很看重"极限思维"。刚开始支持一个模型时，效率通常不高。但我们不会只看现在，而会思考一个月、半年、一年后能做到什么。我们也不会把现有机器的能力当成固定不变。即使使用 Blackwell，只要遇到瓶颈，我们就会把原因弄清楚、写清楚。一方面可以反馈给英伟达或合作伙伴，另一方面也能帮助我们决定以后该买什么芯片。
那些我们认为对公司来说长期不变的规律，会融进未来的每一个决策中。
我们也非常强调协作。**招聘时我们最看重的特质之一，就是一个人既是好学生，也是好老师。**团队里很多人大学时做过助教，也很喜欢用这种方式分享知识。我们经常做白板讨论，我认为这种"每个人都有东西可以教别人，也有东西可以向别人学"的学院式氛围，对我们极其重要。
🎙️ 主持人
你想招什么样的人？3 年后，机器会承担更多工作，什么样的特质能让他们在那时的工作环境里仍然有韧性？
👱♂️ Neil
好奇心，100% 是好奇心。有一件事我教不了，就是对性能的热爱，愿意钻进机器运行的每一微秒，去弄明白那一刻机器上到底发生了什么。
对性能工程师来说，这是我认为最重要的特质，也是我招人时真正在找的东西。我不看重很多 AI 经验，也完全不看重 CUDA 经验，那其实是个巨大的干扰项。CUDA 和 GPU 这些概念在过去 5 年里已经变了太多，要求 10 年经验没有意义。技术我可以教，但对性能工程的热爱教不了，那才是我要找的。
开源不会消失，谁退出留下真空，就有新的补上
🎙️ 主持人
能不能逐一评价一下主要的实验室，再谈谈闭源和开源这两大阵营的关系，以及你觉得现在正在发生、未来会发生什么？
👱♂️ Neil
实验室为了领先 3-6 个月，付出了极其高昂的溢价。我认为大概率仍然值得，OpenAI 和 Anthropic 在做的事完全说得通。
蒸馏是个敏感话题，也是闭源模型和开源模型关系中的核心问题。有人认为"蒸馏就是盗窃"，因为用前沿模型的输出来训练新模型，等于拿走了它的能力。但即使你从不主动抓取 Anthropic 的数据，互联网上由 AI 生成的内容也越来越多。比如过去一年，GitHub 上有多少新仓库是用 Claude Code 创建的？使用这些代码训练模型，算不算蒸馏？
只用 GitHub 上你认为好的开源代码，就训练出一个 Fable 级别的模型，我不会感到惊讶。如果我们认可用户拥有自己与 AI 交互的产出，而其中很多人把它传上 GitHub，那就会长期存在一种潜在的蒸馏。在我看来，阻止信息或模型能力的扩散根本做不到，它一定会发生，问题只是有多快。
🎙️ 主持人
如果 Scaling Law 长期成立，领先 3-6 个月是不是就有价值，能让他们的 Token 比极其便宜的开源 Token 卖出更高的溢价？
👱♂️ Neil
有可能，但我不确定这份溢价能持续多久。
企业部署不按 3-6 个月的节奏走，很多企业可能还在用 Opus 4.6 或 4.7，推行任何改动都有一大堆疑问。我不认为这场竞赛能分出一个赢家，甚至不觉得它有分出胜负的那天，这是个持续的过程。从根本上说，开源不会消失，哪个领跑者退出留下真空，就会有新的补上。这里的激励太多了，训练一个前沿级别的模型每天都在变得更容易。
🎙️ 主持人
那你希望的未来是什么样子？
👱♂️ Neil
我想要每家公司、甚至每个用户都构建自己的 harness，把 Agent 变成你自己的。这种"定制"不一定靠微调权重，更多靠上下文学习，而条件就是便宜的 Token。
机器能思考，这件事本身就了不起，我们应该把它交到尽可能多的人手里。
🎙️ 主持人
你坐在一个很独特的位置上，也有很独特的视角。和那些同样消息灵通、也很关注这个领域的朋友相比，你有哪些看法会让他们觉得你长了三个脑袋？
👱♂️ Neil
大部分在芯片上。我谈定制芯片时，基本都在讲怎么绕开 HBM 短缺，把内存更极端地卸载到闪存等其他形式上。团队里每个人都知道我一直在敲这面鼓，要让 KV cache 大规模卸载到闪存上真的跑起来，模型架构得改哪些地方？我一直在白板上画这个。
在推理圈里，"如果围绕每秒 1-10 个 Token 设计一整套服务系统，能做到什么？"我们的看法跟别人不一样，那正是我们的北极星。再往外一层是个更大的问题，人们要怎么一天消耗掉 1 万亿个 Token？
这就是我们想为世界造出的能力。
🎙️ 主持人
1 万亿 Token 是多少？给大家一个体感。
👱♂️ Neil
按 OpenAI 的定价，用 GPT-5.5 或 5.6 来跑，至少需要 500 万美元。
🎙️ 主持人
一个"每人每天消耗掉价值 500 万美元 Token"的世界，长什么样？
👱♂️ Neil
我们要让单位 Token 成本至少改善 3-6 个数量级，把 500 万降到 5,000，你大概就有客户了。事实上，对某些尺寸的模型，1 万亿 Token 已经接近用几万美元来衡量，那已经是你能想象的单个任务跑一次的数字。
🎙️ 主持人
你会不会担心普通人根本不会这么用，也就是说，世界上其实没有那么多对智能的需求？
👱♂️ Neil
我永远不会相信这一点，世界上永远有对智能的需求。通向它的入口，才是我们产品社区要解决的挑战。我不是做产品的人，没法说我有最好的愿景，但我想让那些用得上的人，永远不被"我的免费用户用不起"、"我给不起这么多 Token"挡住。我一直从客户那里听到这句话，我们想要解决它。
失去台积电，没有想象中那么糟
🎙️ 主持人
反过来问，你认为哪个共识是错的？
👱♂️ Neil
谈这个问题，绕不开英伟达。短期内我看好它，也不建议和它对赌，因为这家公司总能重新找到新的增长方式。
但有件事让很多人意外，从 Hopper 到 Blackwell 再到 Rubin，同口径比较 BF16 乘法的单位功耗性能，其实没改善多少。再往前推一步，台积电 5 nm、4 nm、3 nm 到 2 nm，单位功耗性能的变化也没有那么戏剧性。
后果是，人们因地缘政治焦虑到失去理智，担心万一失去台积电怎么办。我的看法是没那么糟。供给一定会受冲击，但西方最好的制程，比如英特尔，最坏情况下，大概也就是 2 倍的单位功耗性能差距，比芯片圈舆论让你想象的要小得多。
🎙️ 主持人
AI 世界里还有什么不在你这条路上、却最让你感兴趣？
👱♂️ Neil
我们完全在模型的下游，只能尽最大努力预测做模型的人会往哪走，再照着搭我的服务架构，软件和硬件的选择都跟着走。
最有意思的一局，还是机器思考这件事本身有多深刻。用稀疏 attention 还是稠密 attention，换一种数据类型，影响都很大。我们以前用 BF16 训练，现在可以用 FP8、FP4 这种更低精度的格式，看上去只是个随意的选择，却影响着我未来能用哪些芯片、该怎么搭硬件、怎么想算力。
🎙️ 主持人
假设房间里坐着 100 个想做新计算公司的创业者，他们都想专门做芯片、系统或者机架这类硬件。你会给他们什么建议？
我说的不是具体押哪条技术路线，而是应该怎样定位公司，才更有机会在未来的计算世界里成功。我猜未来各种路线都会有人尝试，其中一些会成功，这对整个世界是好事。
👱♂️ Neil
最重要的是理解供应链瓶颈。你得先说服我或投资人：你清楚决定现代芯片供给的几个关键限制，比如台积电的晶圆产能、HBM 产能、先进封装和电力，而且对每个问题都有解决办法。说到底，做芯片就是在这些限制之间寻找机会。
你要造一块芯片，是因为你认为英伟达做了一些很难改变的选择，他们并不完美，只是平衡得非常好。所以你要变得尖锐，挑一个方向说："我认为他们低估了 HBM 会短缺到什么程度，我们要朝另一个方向狠狠推。"
🎙️ 主持人
为什么？
👱♂️ Neil
因为没有简单的办法能立马建很多内存晶圆厂。博伊西那帮人（总部在博伊西的美光）不太喜欢为一门周期性生意砸巨额资本开支，他们在这上头吃过很多次亏了。
🎙️ 主持人
"HBM 短缺"会不会反过来逼着世界绕开它，把其他所有东西都做得更高效？
👱♂️ Neil
我觉得他们会让其他所有东西都变得更贵。就好比 iPhone 会削减内存配置，也会涨价，我们只能受着。
🎙️ 主持人
英伟达为什么不干脆走到最后，自己卖 Token？
👱♂️ Neil
英伟达很聪明，他们不跟自己的客户竞争，什么事都看长线。为什么他们不干脆自己做 NeoCloud，直接从后门卖算力？
因为黄仁勋非常擅长让朋友变成亿万富翁，他把 CoreWeave 捧成了市值数十亿美元的公司，没必要毁掉这份善意。他要的是一个多元的 NeoCloud 和推理服务商，大家争着为英伟达创造需求。这样一来，哪家决定垂直整合、或者转投 AMD，后面还有三家饿着等着补位。
把每一块拼图都弄明白，是一种美
🎙️ 主持人
我给每位嘉宾的收尾问题都一样：别人对你做过的最善意的一件事是什么？
👱♂️ Neil
我第一反应是这些年遇到的所有导师。
那是一群很珍贵的人，他们从自己的日程里抽出大量时间，把"确保你真的理解某件事"当成自己的事。英伟达那帮人，在我身上种下了对"性能工程"的热爱。
我大学时的导师也一样。我是个特别没耐心的人，我记得大二那年，有次跑到他的答疑时间说："我想做 AI 芯片，我知道自己想干什么，为什么还要浪费时间学这些网络、操作系统基础课？"
他把整个技术栈展开给我看。当时，我只想研究系统里的一个点。但他告诉我，真正能从"门级硅片"一直理解到"如何搭建优秀的互联网规模服务"的人非常少，而我应该用一生去追求这种完整的理解。他让我看到，把每一块拼图都弄明白，是一件多么美的事。
这件事，在我心里留了很久。
推荐阅读
加入会员群
來源：elsewhere：文章 · elsewhere.news