港大與清華提出 VAST：讓長程決策學習自適應選擇時間尺度

一个选择是否正确，答案往往不在做出选择的那一刻。眼前的绕行，可能是抵达终点的捷径；此刻的一点收益，也可能让后续行动付出更大的代价。对强化学习而言，连接 “当下选择” 与 “未来后果” 的，正是价值函数。它要回答的是：如此行动，未来究竟值不值得？

然而，任务越长程、阶段越复杂，这个问题就越难回答。传统的单步时序差分（TD）学习以即时奖励与下一状态的折扣价值估计构造目标，更新当前价值判断。尽管在理想条件下，贝尔曼最优迭代可收敛至最优价值函数，实际学习却依赖有限样本与函数近似。当不准确的估计被反复用作学习目标，误差便可能沿决策链条传播、累积，形成自举偏差，进而误导策略学习。

如何建模好一个真正的价值，仍是一个值得持续探索的问题。n-step TD 将更多步的真实奖励纳入价值更新，Q-chunking 等方法则围绕固定长度的动作片段建模。然而，拉长跨度，并不等于选对跨度。真实世界的长程任务具有鲜明的阶段差异。预先设定的固定步长难以兼顾这些需求，既可能模糊短期的关键选择，也可能限制对远期后果的评估，削弱价值对策略提取的精细指导。任务的关键转折，并不会恰好落在固定分段的边界上。与此同时，分布式价值建模与结构化价值表示也在探索更具表达力的价值模型，但其性能与鲁棒性的改善，有时伴随着额外的建模复杂度与计算开销。因此，一个更根本的问题是：能否不再预先规定每次价值更新的跨度，而是让智能体自己选择以哪个状态作为自举落点，再由此衔接更远的未来？

来自香港大学与清华大学的研究提出了VAST(Horizon Adaptive Offline Policy Learning via VAlue STitching)，一个能够自适应选择更新跨度的离线价值学习框架。VAST 让模型联合选择 “值得前往的未来状态” 与 “合适的时间跨度”，将不同跨度的局部回报与后续价值拼接起来。它要改变的不只是看得有多远，更是如何协调跨时间的信用分配的方式。

• 论文标题： Horizon Adaptive Offline Policy Learning via Value Stitching

• 研究机构： 香港大学、清华大学

• 论文链接：https://arxiv.org/pdf/2606.21136

• 项目链接：https://whiterrrrr.github.io/value-stitching/

先量出任意一段，再决定缝哪一段

要自由拼接不同长度的未来，首先得能回答一个具体问题：从当前状态出发，如果在 k 步后到达某个未来状态，这一段过程值多少？为此，VAST 引入了一个辅助价值函数 (G-function)：

它同时接收当前状态 s、未来状态 s+ 和时间跨度 k，估计这段过程的期望折扣累计回报。G-function 让价值监督有了可以灵活调用的估计依据。训练时，模型可以从离线轨迹中抽取一段转移回报直接作为目标。但只会给片段打分，还不够。VAST 加入了组合一致性约束，来模拟时序层面的复杂依赖关系，以此提升泛化性：

直接回报监督提供数据依据，组合约束则帮助模型建立跨时间尺度的一致性。

选目标，也选 “以多长的跨度看目标”

有了 G-function，VAST 就能构造一种新的价值更新方式：找到最优中间状态，算清到达收益，再接上继续行动的未来价值。关键在于，中间状态 

和跨度 k 不再提前固定：

VAST 为此学习一个 “拼接策略” 

，联合选择未来子目标与对应的时间跨度，寻找能让当前片段回报与后续价值共同受益的组合。理论上，论文为此定义了 stitching Bellman operator，并证明该算子在其设定下具有收缩性质，为价值更新的固定点收敛提供了理论依据。

在实现上，拼接策略使用优势加权学习，让数据中价值更高的状态 — 跨度组合获得更大的学习权重，并采用扩散／流模型增强表达能力。

想好目标，还要知道眼前怎么走

一个好的子目标，并不会自动推演出一个好的动作。VAST 将策略分成两个职责不同的部分：拼接策略负责提出未来子目标，执行策略负责根据当前状态和子目标生成动作。执行策略使用基于目标的行为克隆直接从离线轨迹中学习。一个值得注意的细节是，执行策略并不以拼接策略预测的时间跨度 k 为输入。训练数据中的跨度来自已有、可能次优的行为，而推理时的跨度来自经过优化的拼接策略。论文通过不向执行策略传入 k ，减轻这一因素造成的训练与推理不匹配。

到了测试阶段，使用拒绝采样方案，VAST 围绕选定子目标采样多个候选动作，再使用 Q 函数挑选价值最高的一个。整个过程由此形成闭环：先用价值选择值得前往的未来，再用价值筛选眼前可执行的动作。

VAST 让同一套子目标信息同时参与价值监督与动作生成，将 “怎么评价未来” 和 “怎么走向未来” 连接起来。

50 个任务：优势领先在多阶段操作

研究团队在 OGBench 上进行了评估，覆盖 10 个领域、50 个基于状态输入的任务，包括方块操作、拼图与迷宫导航等场景。实验对比了单步 TD、多步 TD、动作分块以及生成式价值建模等路线，共 8 个基线方法。每个方法离线训练 100 万步，主表记录 8 个随机种子测评 50 个 episodes 。对照覆盖现在常用的几条路线：单步价值学习（IQL、FQL、IFQL），固定 5 步价值学习（FQL-n、IFQL-n），Chunked 价值（QC），以及生成式价值（VALUE-FLOWS、FLOQ）。VAST 在多个场景里展现出了领先的性能，尤其一些需要多阶段操作与复杂规划的机械臂操作任务。

在 “排列方块” 的可视化图片里，我们发现预测的时间跨度并非机械地伸缩，而是与任务中阶段性的原子意图相呼应。 随着任务推进，策略提供一条连贯且阶段定义清晰的中间目标选择路径，将遥远的最终目标进行拆解，转化为当下可执行的行动。自适应跨度不只是改变了 “看多远”，更帮助策略判断 “下一段该走向哪里”，从而逐步趋向稳定、以价值最大化为导向的动作选择。长远决策的能力，由此体现。

结语

长时序决策的难点，不只是未来太远。通向目标的不同阶段，往往有着不同的节奏。因此，提升长远决策能力，不应只着眼于扩大模型、拉长动作序列，还应重新审视一个基础问题：我们究竟应该以怎样的时间尺度，理解一个任务？

VAST 将这一思考纳入学习过程，通过自适应分段，让价值更新的尺度更贴近任务本身的结构。它带来的启示是：对任务合理的分段与有效的衔接，能够让局部经验更好地支撑长远决策。当然，这一思路的适用边界仍需检验。当前的实验结果主要来自基于状态输入的离线基准，能否进一步拓展至视觉输入、真实机器人与更开放的环境，还有待验证。但这些结果已经指向一个值得深入探索的方向：面对漫长而复杂的任务，模型或许不必始终以同一种步幅向前，而可以学习何时细分、何时跨越，让局部经验更有效地支撑长远目标。

长远，不只是看得更远，更是把握任务的节奏，让每一段都通向终点。

关于作者

该论文由香港大学与清华大学智能产业研究院（AIR）联合团队完成。论文第一作者郑可馨为香港大学博士生，主要研究方向为强化学习与自动驾驶安全决策，迄今已在 ICLR、NeurIPS 等人工智能顶级会议发表论文 6 篇。香港大学严鑫涛团队在自动驾驶安全与强化学习领域具有深厚的研究积累，代表性成果发表于 Nature、Nature Communications 等国际顶级期刊。