騰訊混元姚順雨團隊:Hy4仍有很大改進空間,計劃訓練更大規模模型
腾讯混元姚顺雨团队:Hy4 仍有很大改进空间,计划训练更大规模模型
騰訊混元團隊表示,Hy4仍有很大改進空間,正投入大量精力進行大規模強化學習,並計劃訓練更大規模的模型。團隊稱,Hy3和Hy4表明,做得紮實的小模型也能超過更大的模型,而且成本更低。
IT之家 11 月 21 日消息,11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员,在 Reddit 进行了一场持续 120 分钟的 AMA,回答全球开发者关于混元的“任何问题”。
问答环节,有人询问:字节跳动、Kimi 等似乎都在往 3 万亿、甚至 5 万亿参数的超大模型推进,而你们还在 7000 亿。为什么?你们怎么看参数量对模型能力的实际影响?这方面有什么计划?
混元团队回应:“Hy3 和 Hy4 已经表明,做得扎实的小模型也能超过更大的模型。它们的成本也更低,而且在这个过程中,你能学到更多、收获更多。”
不过,混元团队也表示,Hy4 仍有很大的改进空间,尤其是通过后训练。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。我们还计划训练更大规模的模型。”
对于是否有可能推出 240 亿到 310 亿参数的稠密模型?该团队表示:“有可能,我们正在考虑。”
对于是否会发布对标 Qwen 27B 稠密模型的小模型?发布 100B 以下、专门做编程的模型吗?该团队表示:“第一个,有可能。第二个,大概不会。”

IT之家注:姚顺雨本科毕业于清华大学姚班,获普林斯顿大学计算机科学博士学位,2024 年加入 OpenAI 并参与智能体产品 operator 与 deep research 开发。其研究聚焦语言智能体与现实世界交互,提出 ReAct 方法首创“推理 — 行动”结合的智能体范式,被学术界与工业界广泛采纳。
2025 年 12 月,腾讯升级大模型研发架构,新成立 AI Infra 部、AI Data 部、数据计算平台部,全面强化其大模型的研发体系与核心能力。姚顺雨出任“CEO / 总裁办公室”首席 AI 科学家,向腾讯总裁刘炽平汇报;同时兼任 AI Infra 部、大语言模型部负责人,向技术工程事业群总裁卢山汇报。
今年 7 月,腾讯宣布混元多模态模型部门与大语言模型部门合并,成立基础模型部,统一由姚顺雨管理,以进一步提升模型研发和协同效率,探索全模态模型的智能上限。
來源:IT之家 · ithome.com