跳到正文
阿里雲開發者社區 AI·· 5 天前AI 評分43

阿里雲 HiExp 框架:8B 小模型在醫療場景超越千億級旗艦模型

让模型“学得准”,阿里云首创HiExp框架:8B小模型医疗场景效果超越千亿旗舰

AI 導讀

阿里雲團隊提出 HiExp 層級化經驗框架,將智能體搜尋的成功與失敗軌跡整理為可檢索的策略經驗,改善強化學習訓練。在與阿斯利康共建的醫療檢索問答場景中,經 HiExp 訓練的 8B 小模型綜合效果超越千億級旗艦模型,提升約 37%。框架已在阿里雲 AgenticRAG 產品體系中持續打磨。

正文

2026-11-17 1

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: 近日,国际计算语言学顶级会议ACL 2026公布录用结果。阿里云团队最新研究成果《Beyond Stochastic Exploration: What Makes Training Data Valuable for Agentic Search》成功入选。该研究首次系统性回答了“什么样的训练数据,对智能体搜索真正有价值”这一核心命题,攻克了基于强化学习(RL)的智能体搜索系统在规模化落地中的关键瓶颈。基于该方案训练的8B小模型,在阿里云与阿斯利康共建的医疗AgenticRAG场景中,综合效果超越Qwen3.6-Plus等千亿级旗舰大模型,为企业级AI应用提供了极具性价比的新范式。

image.png

ACL领域主席对该成果给予了高度评价

该工作跳出了“更大模型加更多rollout”的惯性思路,将焦点重新拉回到训练数据本身,提出的层级化经验框架通过对比蒸馏与多层级聚类,将原本随机散乱的轨迹转化为结构化、可复用的策略性经验,在多跳问答与数学推理两类异构任务、以及多种主流RL算法上均展现出一致且显著的提升,具有良好的通用性与工程价值。

行业痛点:智能体搜索的“随机探索”困境

随着LLM Agent与工具使用能力的快速演进,基于强化学习的智能体搜索(Agentic Search)正成为下一代企业知识系统的核心范式。然而,其规模化应用仍面临多重困境:

1.探索过度随机化,训练效益低下

主流方案高度依赖结果奖励驱动的随机轨迹采样,缺乏全局策略规划。Agent在多轮搜索-推理过程中反复“踩坑”,训练昂贵但收益降低。

2.训练严重不稳定,小模型“立不住”

多轮交互场景下奖励信号稀疏且不一致,端到端RL训练剧烈震荡,模型容易陷入次优策略,在复杂多跳问题与垂域专业问题下表现得尤为明显。

3.产业化阻力:“小模型不够用、大模型用不起”

在医疗、制药、金融等强专业领域,非专业用户使用AgenticRAG时常遭遇召回不全、证据不准等痛点。而高质量回答往往依赖千亿级大模型,企业面临“小模型不够用、大模型用不起”的真实阻力。

面向以上企业级AI训练过程中的常见问题,急需一种新型训练数据价值挖掘机制,让Agent摆脱“碰运气式”的随机探索,转而沿着可复用、可累积的经验路径不断收敛,使得小模型也能在垂域中真正“立得住”。

技术突破:HiExp双引擎|把“随机探索”升级为“经验制导”

阿里云团队提出了HiExp(Hierarchical Experience)框架,通过两大首创技术创新,破解上述难题:

image.png

1.智能经验抽取

HiExp不再把rollout当成黑箱样本喂给RL,将成功轨迹与失败轨迹配对进行对比反思。

关键动作:自动抽取出“关键决策点”与“推理陷阱”,形成原子级实例经验。

效果:让Agent在训练前先“提炼历史经验”,把暗藏在轨迹中的隐性知识显式化。

2.层级经验抽象

在原子经验之上,HiExp通过语义嵌入与凝聚式聚类,将海量实例经验自下而上抽象为更高层的策略原则。

构建HEK:构建出层级化经验知识库(HEK,Hierarchical Experience Knowledge)。

动态制导:训练阶段,系统根据当前query的语义动态检索匹配的经验进行制导,把“无方向的随机搜索”重塑为“有经验可循的策略性搜索”。

📊多项实验结果表明,HiExp展现出显著的可扩展性和有效性:

  • 多跳问答:在2Wiki、Musique、BrowseComp等主流基准上,HiExp相较强基线带来近双位数的F1提升;
  • 数学推理:在AIME、AMC等任务上同样取得显著增益;
  • 广泛兼容:在GRPO、GSPO等不同RL算法、本地检索与网页搜索等不同环境中均保持一致提升。

落地与展望:小模型解决真问题,数据价值驱动智能化

目前,HiExp方案已在阿里云AgenticRAG产品体系中持续打磨,并在与阿斯利康共建的医疗检索问答场景中完成产业级验证。在人工评测中,经HiExp训练的8B小模型在准确性、证据使用及完整性上超越千亿级旗舰大模型,综合效果相对提升约37%,真正实现了“低成本、高性能”的商业化闭环。

未来,阿里云将持续推动“小模型也能解决企业级真问题”的愿景加速落地。我们坚信,训练数据的真正价值,而非单纯的模型尺寸,将成为驱动企业智能化的核心燃料,助力医疗、制药、金融等强专业垂域以更优的成本结构释放AI核心价值。

來源:阿里雲開發者社區 AI · developer.aliyun.com