跳到正文
新浪科技·· 2 小時前AI 評分56

商湯科技開源 SenseNova Loop-9B-Preview,稱其表現媲美 27B 參數模型

商汤开源 SenseNova Loop-9B-Preview,宣称媲美 27B 参数大小模型

AI 導讀

商湯科技於 10 月 30 日開源 SenseNova Loop-9B-Preview,官方稱其在僅 9B 參數規模下,表現媲美 27B 模型。模型保留首尾各 4 層原始解碼器,並把中間層改為參數共享的循環計算模組,另探索 mHC 資訊傳遞機制。

正文

IT之家 11 月 1 日消息,商汤科技 10 月 30 日宣布开源商汤日日新 SenseNova Loop-9B-Preview。

官方表示,该模型采用 Looped Transformer 架构,引入循环计算、扩展模型的有效计算深度,并探索更充分的信息交互机制,提升模型在复杂任务上的处理能力,在仅 9B 的有限参数规模下,媲美 27B 参数大小模型。

SenseNova Loop-9B-Preview 以 9B 尺度模型为基座,保留首尾各 4 层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。在此基础上,模型进一步探索循环计算中的信息传递机制,尝试引入 mHC(Manifold-Constrained Hyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。

据介绍,在当前评测设置下,模型在代码生成、办公场景和智能体任务等多个方向上均优于其他模型,并在 WorkBuddy Bench、RaccoonPPT Bench 和 AutomationBench 等评测中进一步超过 Qwen3.5-27B。这些结果初步展现了通过扩展有效计算深度,提升小参数模型复杂任务处理能力的潜力。

商汤进一步通过消融实验评估了 mHC 的实际收益。采用该机制后,模型取得明显的性能提升,其中 GPQA Diamond 和 TeamBench 分别提高了 4.42 分和 13.34 分,展现出在复杂推理任务以及多步骤 Agent 任务中的应用潜力。后续还将继续探索 DSA、自适应迭代次数等机制,以提升模型的推理效率与任务表现。

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn