跳到正文
新浪科技·· 2 小時前AI 評分48

主動式 AI 如何邁向超級智能體?UIUC、Google、斯坦福大學、UC Berkeley、CMU 聯合綜述

Proactive AI如何走向超级智能体?UIUC、谷歌、斯坦福、UC Berkeley、CMU联合综述

AI 導讀

UIUC、Google、斯坦福大學、UC Berkeley 和 CMU 的研究者聯合撰寫綜述,系統梳理主動式 AI 如何支援智能體在長程任務中主動發現需求、推進工作並配合人類指導。綜述提出由六項能力組成的 6A 框架,整理評測方法並分析 13 個應用領域;項目網頁收錄 1400 餘條引用資料,其中 80 項代表性工作有詳細對照分析。

正文

早在 1995 年,Michael Wooldridge 等学者便在智能体研究的代表性论文《Intelligent Agents: Theory and Practice》中,提出了智能体的四项核心特征:反应性(Reactivity)、社会能力(Social Ability)、自主性(Autonomy)和主动性(Proactiveness)。 

反应性意味着智能体能够感知环境变化并及时响应;社会能力使其能够与人类或其他智能体交互;自主性意味着它可以在一定程度上独立决策和行动;而主动性则要求智能体不仅对外部刺激作出反应,还能主动追求目标、发起行动。 

三十多年后,随着大语言模型、人工智能对齐和自主智能体等研究方向的发展,前三项能力已经得到广泛关注,并取得不同程度的进展。相比之下,主动性虽然同样重要,却尚未形成与之相称的系统性研究体系。 

这种缺口在长程任务中尤其明显。 

对于一个只需要回答问题的系统,等待用户输入通常并不构成障碍。但当智能体需要连续工作数小时、数天甚至更长时间时,人类很难提前穷尽所有步骤,也无法预见任务执行过程中遇到的每一种情况。一旦指令存在歧义、环境发生变化,或原定计划遭遇阻碍,智能体就需要主动澄清需求、探索替代方案、调整执行路径,而不是停下来等待下一条指令。 

因此,主动性不仅意味着智能体可以在用户开口之前发现值得做的事,也是其完成长程任务、减少持续人工监督的重要条件。 

这一方向已经开始受到产业界和学术界的关注。Meta Muse、OpenAI Dots、Anthropic Duet 等产品探索让智能体持续理解用户目标,并在适当时机主动推进工作;学术界也出现了清华大学的 Proactive Agent、香港中文大学的 ProAgent 等相关研究。不过,这些探索涉及不同的任务设定、能力边界和技术路线,仍需要一个更系统的框架加以组织。 

来自伊利诺伊大学厄巴纳-香槟分校(UIUC)、Google、斯坦福大学、加州大学伯克利分校(UC Berkeley)和卡内基梅隆大学(CMU)的研究者,在综述《Proactive AI for Superintelligent Agents》中系统考察了这一问题。 

综述将主动性与智能水平、对齐并列讨论,认为主动性是迈向未来超级智能体的一项关键能力:智能体不仅需要知道如何完成任务、如何遵循人类意图,还需要判断何时应该行动、哪些目标值得主动推进,以及何时需要征询人的意见。 

为了梳理这一研究方向,参与者汇集了人工智能智能体、具身智能、信息检索、计算生物学、经济金融等领域的研究经验。综述的写作由相关方向的研究者分别负责,再通过多轮跨领域讨论与修改,尝试将分散在不同领域的技术进展和研究问题纳入统一视角。 

在内容上,综述回顾了主动式 AI 的概念和研究历史,提出由六项相互配合的能力构成的 6A 机制框架,讨论相应的评测方法,并分析了 13 个应用领域。项目网页收录 1400 余条引用资料,其中 80 项代表性工作提供了更详细的对照分析。 

研究者希望通过这一框架回答一组相互关联的问题:智能体如何主动发现任务,如何判断行动的价值与时机,如何在不确定环境中持续推进目标,又如何确保主动行为始终与人的真实需求保持一致。 

从 1995 年智能体理论中对主动性的定义,到今天围绕长程任务、持续自主运行和人机协作展开的探索,主动性正在从一个早期的概念要求,逐渐成为智能体研究中需要独立审视的核心问题。 

这篇综述试图为仍然分散的探索绘制一张初步地图:既呈现已有研究走到了哪里,也帮助研究者理解,距离真正能够主动发现需求、采取恰当行动并持续接受人类指导的智能体,还有哪些问题需要解决。 

  • 论文名称:Proactive AI for Superintelligent Agents 

  • 论文与交互式文献库:https://empathyang.github.io/Proactive-AI-for-Superintelligent-Agents/

  • Google Research: https://research.google/pubs/proactive-ai-for-superintelligent-agents/ 

图 1|响应式行为与主动行为。主动智能体承担了发现需求、提出工作和判断介入时机的责任,行动后的反馈又会影响后续判断。 图 1|响应式行为与主动行为。主动智能体承担了发现需求、提出工作和判断介入时机的责任,行动后的反馈又会影响后续判断。 

主动式 AI 完成未明确的任务 

「把厨房收拾干净」已经说明了任务目标,却没有列出全部步骤。餐具架满了,需要先腾出位置;一件物品的用途不明,需要询问是否可以移动。智能体要完成这项委托,就必须处理指令中没有写清的情况。 

论文用「剩余决策空间」描述这些留待判断的部分,其中包括偏好取舍、未明确的操作步骤、意外风险,以及环境变化后的计划调整。主动能力可以发生在已经布置的任务内:智能体自行识别需要补充的工作,使原有目标能够继续推进。 

图 2|一项任务包含已经明确的要求,也包含尚未规定的判断。智能体在受委托的范围内处理这些问题,目标和约束仍来自人的授权。 图 2|一项任务包含已经明确的要求,也包含尚未规定的判断。智能体在受委托的范围内处理这些问题,目标和约束仍来自人的授权。 

长期委托还会产生另一类工作。例如,家庭已经约定由机器人留意日常用品的余量,它发现洗涤剂即将用完,提出补货建议。这项具体任务此前没有人提出,由机器人根据持续职责自行发现。实际系统可以同时响应明确请求、遵循配置好的规则,并在授权范围内寻找新的工作。 

工作由谁提出,哪些操作允许机器人执行,可以分别约定。机器人可以主动整理采购清单,把付款决定留给家庭成员;它也可以在收到一份明确清单后,独立完成已经授权的采购。主动提出任务与独立执行任务,是两种可以分别安排的分工。 

论文据此区分几项容易混淆的属性。 「智能水平」影响理解、推理和解决问题的能力; 「对齐」关心行为是否符合人的意图、价值和约束; 「主动性」关心智能体能否自行发现并发起有价值的行动。自主程度则取决于人允许它独立执行到哪一步。可靠的工作记录可以成为扩大授权的依据。 

智能水平、对齐、主动性与自主程度的关系,图中以代码问题、风险处理和家庭用品补货为例。 

图 3|智能水平、对齐和主动性共同影响智能体的工作表现。自主程度描述获准独立行动的范围,授权需要参考系统的可靠性。 图 3|智能水平、对齐和主动性共同影响智能体的工作表现。自主程度描述获准独立行动的范围,授权需要参考系统的可靠性。 

在这样的分工下,人的工作也会变化。逐项指定操作时,人类承担任务发现和过程组织的职责;智能体能够提出计划后,双方则可以共同调整任务安排;智能体持续跟进工作时,人类将更多地将重心放在设定优先级、规定权限和审核结果等任务上。需要注意的是,遇到紧急信号或新的明确请求,及时响应仍然必要。因此,主动行为与响应式行为会在同一个系统中配合使用。 

图 4|主动程度的连续变化,以及人的角色随之发生的变化。同一系统在不同任务、时间尺度和授权条件下,可以采取不同的协作方式。 

研究历程的起点早于大模型 

提前预测、维护目标、选择打断时机,针对这些机制的研究在大模型出现之前就已有大量积累。控制理论研究如何根据反馈调整行为,规划和世界模型研究行动可能带来的未来状态;智能体理论讨论如何形成目标,以及何时坚持或放弃已有计划。情境感知计算把地点、活动和设备状态纳入系统判断,人机交互则积累了关于提醒、打断和人机分工的证据。 

图 5|主动式 AI 所依托的研究脉络。各条研究线分别积累了反馈、预测、目标维护、情境理解和人机协作的方法。 图 5|主动式 AI 所依托的研究脉络。各条研究线分别积累了反馈、预测、目标维护、情境理解和人机协作的方法。 

大语言模型和多模态模型扩大了可以理解和处理的任务范围。智能体的运行框架 Agent harness 提供记忆、工具、技能和执行管理,让模型能够跨步骤、跨会话推进工作。综述主要沿计算机科学中的这些研究线索展开,也借助委托和不完备约定等概念,说明一项工作为何会留下需要自行判断的空间。 

六项能力,支持每一次主动行动 

论文把相关机制归为 Awareness、Anticipation、Agenda、Arbitration、Action 和 Adaptation 六项能力,简称 6A。它们分别处理当前情况、未来需求、待办目标、介入判断、实际行动和反馈调整。新证据可以改变已形成的目标,执行结果也会修正原来的预测,六项能力在工作过程中相互影响。 

图 6|6A 框架用家庭情境说明各项能力的联系。天气、日程和设备状态产生待处理的需求;执行结果与人的反馈会改变后续的信息判断、目标和行动安排。 

Awareness - 了解正在发生什么 

主动行动的依据,往往分散在多个地方:对话里有需求,日历里有时间,设备记录里有状态,过去的互动里有偏好。Awareness 把这些信息联系起来,维持对当前情况的理解。其中的记忆也有不同用途:当前工作涉及什么、过去发生过什么、哪些偏好仍然适用、有哪些可复用的技能。记忆中的时间信息也影响这些判断。沿用已经改变的偏好,可能造成多余的安排。 

信息缺失时,可以检索、检查设备,也可以提出一个有针对性的问题。例如,医疗问诊系统会根据已经获得的病史,判断还需要询问哪些症状或用药信息。询问本身也要花费人的时间,收集信息的范围需要与当前问题相称。持续感知还涉及运行费用和隐私成本,唤醒频率、数据保存范围和推理量都会影响这些成本。 

图 7|持续理解情境需要状态跟踪、信息获取、记忆和运行时调度。持续运行还会消耗计算与能源,并带来隐私成本。 图 7|持续理解情境需要状态跟踪、信息获取、记忆和运行时调度。持续运行还会消耗计算与能源,并带来隐私成本。 

Anticipation - 预判接下来可能需要什么 

当前状态为预判提供了线索。Anticipation 同时关注人的需求和环境的变化:某项困难是否会持续,当前安排是否会遇到障碍,采取行动后又会出现什么结果。用户模型帮助理解需求,世界模型帮助预测环境和行动后果。比较行动与等待的结果,可以估计提前介入究竟能带来多少收益。 

图 8|预测需要同时考虑人和环境,也需要比较行动与等待的后果。情境模拟可以检查多个可能的未来,预测的可信度仍需现实证据支持。 

教育场景能说明这项判断的难度。学生长时间停留在一道题上,可能在认真推导,也可能已经陷入误解。提前给提示会改变后续学习过程。模拟可以用于考察教学选择,实际收益仍需通过真实学习结果检验。 

Agenda - 把需求变成持续跟进的工作 

一个预测到的需求,要经过选择才能成为待办目标。Agenda 关心哪些工作值得承诺、如何排出先后,以及被打断之后如何恢复。智能体可能同时收到新请求、发现新风险,还保留着尚未完成的任务,需要处理它们之间的竞争。跨会话的工作还需要保存每项安排的依据、完成状态和重新检查的条件,以便在任务恢复或新证据出现时调整计划。 

图 9|Agenda 把候选需求转为明确目标,维护跨会话的工作,并随条件变化调整计划。已有承诺、新需求和明确请求需要共同排序。 

Arbitration - 判断介入是否合适 

候选任务进入待办之后,还需要决定是否现在行动。论文把这一步称为 Arbitration,考察四类因素:判断有多可靠,预期收益能否覆盖成本,时机是否合适,以及操作的风险与可撤回程度。 

安全分析提供了一个具体情境。陌生账户访问服务器,可能来自正常维护,也可能涉及凭据滥用。补查维护记录或询问服务负责人,可能改变判断。立即封禁账户则可能影响正常业务。需要什么证据、调查到哪里、是否采取限制措施,都要结合保护目标和授权范围决定。 

图 10|证据不足时可以查证,收益较低时可以暂缓,时机不合适时可以等待,高风险操作需要审批或更安全的处理方式。 图 10|证据不足时可以查证,收益较低时可以暂缓,时机不合适时可以等待,高风险操作需要审批或更安全的处理方式。 

模型给出的自信表述,需要经过实际表现的校准。权限和安全约束也需要由执行系统检查。涉及付款、隐私或难以撤回的操作时,单靠模型在文字中表示「已经考虑风险」,无法提供足够的控制。 

Action - 选择行动方式,保留修改余地 

同一项需求,可以通过提醒、询问、草稿、预填内容或直接操作来处理。Action 负责选择并落实这些方式。呈现方式同样影响使用。文字提醒过长,会增加阅读负担;机器人突然伸手,会让协作的人难以判断它的意图。界面中的预览、机器人动作前的提示,都可以让即将发生的操作更容易理解。需要审核的方案,也应当说明依据、改动范围和不确定之处。 

图 11|行动方式决定了系统介入的程度。确认、编辑、撤销和失败恢复,应当与具体操作一起设计。 图 11|行动方式决定了系统介入的程度。确认、编辑、撤销和失败恢复,应当与具体操作一起设计。 

Adaptation - 从真实反馈中调整 

行动之后,反馈可能来自工具执行结果,也可能来自人的接受、修改、撤销或接管。Adaptation 需要判断这些信号的含义,再调整后续行为。一次提醒没有被回应,可能是时机不合适,也可能是内容无用,单次沉默提供的信息很有限。论文区分了当前任务中的快速修正和跨任务的长期调整:新证据可以纠正正在进行的工作,积累的互动则用来更新偏好、提醒阈值和协作方式。 

图 12|反馈有时延、噪声和情境差异。快速修正与长期调整分别作用于当前工作和持续协作,更新结果会影响其他五项能力。 图 12|反馈有时延、噪声和情境差异。快速修正与长期调整分别作用于当前工作和持续协作,更新结果会影响其他五项能力。 

持续学习的目标也需要选择。推荐系统可以提高点击率,却同时收窄接触的信息范围;助手可以提高建议接受率,却增加依赖。适应过程需要检查长期利益和实际工作表现,信任应当与系统的可靠性相称。 

针对主动式 AI 的全流程测评 

许多智能体评测会先给出目标,再考察是否完成。这能够测试规划、工具使用和执行能力。主动能力的评测,还需要保留尚未明确的需求,让智能体自己判断哪些事情值得处理。任务发现的准确性、遗漏的机会和多余的介入,都应当被记录。因此,「任务发现」也应当被纳入测评标准。 

综述从三个层面整理评测。任务层面看结果是否改善,以及时间、计算和人工成本;机制层面检查信息、预测、目标和介入判断哪里出现问题;用户层面考察工作负担、控制感、信任和打扰程度。三类证据共同说明一次主动协助的价值。 

图 13|任务结果、机制判断和用户体验三层评测。任务完成率之外,还需要记录审核、纠正和管理智能体所需的人工投入。 图 13|任务结果、机制判断和用户体验三层评测。任务完成率之外,还需要记录审核、纠正和管理智能体所需的人工投入。 

在收拾餐桌的例子中,任务层面衡量餐桌是否清理妥当、有没有误收仍在使用的物品,以及花费了多少时间和资源。机制层面检查机器人是否准确识别餐具的使用状态、是否正确判断清理需求、是否选择了合适的行动时机;出现误收时,需要定位错误发生在哪一步。用户层面则记录家人在确认和纠正上花费的时间、受到打扰的程度,了解他们能否方便地修改清理范围或叫停操作,以及是否信任机器人在类似情况下的判断。 

主动式 AI 融入 13 个领域 

综述覆盖编码、图形界面操作、信息获取、具身机器人、安全、自动科研、智能家居、智慧城市、医疗、法律、教育、娱乐与媒体、农业。每个领域都需要判断什么值得做,但可获得的证据、允许的操作和结果出现的时间各有差异。 

图 14|13 个应用领域,以及持续委托下的工作方式。右侧家庭情境描绘的是未来方向:智能体发现和跟进需求,具体行动受目标和权限约束。 

在数字工作中,代码修改可以在分支或隔离环境中检查,图形界面智能体可以跨应用准备材料,信息助手可以根据当前文档提前检索。早期情境检索与今天的检索智能体,也都需要判断什么信息值得在此刻呈现。 

安全、医疗和法律领域的主动能力,常常体现在新证据带来的追加工作。已经修复的漏洞可能存在相关变体,新的检验结果可能需要重新评估,修改后的合同条款可能引出新的审查事项。智能体可以扩大调查、准备和跟进的范围,重要操作仍由专业人员或明确的审批流程把关。 

自动科研把任务选择的价值体现得更直接。候选想法的新颖性、可行性和可验证性,需要一并考虑。一份完整的实验报告,还要有可以复查的代码、测量记录和证据链,才能支持后续研究。 

机器人、智能家居、智慧城市和农业面对物理环境。机器人与人协作还涉及动作意图的表达,农业则要结合天气、作物阶段和资源安排。搬动物品、调度资源或实施处理,都会产生真实后果。 

教育和娱乐则要求仔细选择收益指标。提示可以帮助完成一道题,教学效果还要看之后的独立解答、记忆和迁移;游戏伙伴能够提前提供协助,玩家的挑战感和自主感也会受到影响。更多互动、更多点击或更快完成当前任务,都需要结合这些较长期的目标来解释。 

论文还按任务来源比较各领域的成熟程度,区分响应指令、发现已出现的情况、提前预测需求、在持续委托下寻找工作,以及修订更高层目标。广泛部署的家庭系统多集中在触发和预测层面;自动科研系统可以在给定研究方向下探索假设和实验;城市系统则常把预测交给人处理。系统普及程度、主动能力和执行权限,在这些领域呈现不同的组合。 

更长期的职责尚有许多空缺。医疗协助常止于一次诊疗,法律协助常围绕已经提出的问题,教学协助常限于当前活动。综述把跨就诊跟进、整个事项的持续管理、长期学习安排列为后续方向。在所调查的系统中,自行修订更高层目标的主动能力仍未成熟。 

三个跨领域的整体趋势 

横向比较这些领域,论文归纳了三个趋势:基础模型与领域专用方法共同承担工作,智能体负责的范围延伸到完整流程,反馈与验证条件影响持续改进。相似的推理模型进入不同领域后,会遇到不同的执行和检验条件。 

图 15|跨领域的三个趋势:通用模型与领域方法配合、承担更长期的工作流程,以及对可靠反馈和验证的依赖。 图 15|跨领域的三个趋势:通用模型与领域方法配合、承担更长期的工作流程,以及对可靠反馈和验证的依赖。 

走向超级智能体,仍需解决哪些问题? 

论文将主动能力的长期发展,放在个人助手、具身协作、多智能体协作和机构运行中考察。工作跨越更长时间、涉及更多参与者后,智能体需要持续维护目标,在条件变化时调整已有承诺,并说明每项行动服务于谁的需求。 

技术上,需要能定位具体问题的机制评测,以及跨周、跨月的长期测试。短期表现良好的策略,在偏好变化、任务中断或信息过时后,可能不再适用。部署后的学习也需要经过验证,保留回退和人工接管的办法。 

安全问题从行动开始之前就已存在。网页、邮件或文件中的恶意内容,可能诱导智能体提出未经授权的新任务;持续感知可能收集与职责无关的私人信息。控制系统需要区分可信指令与外部资料,限制任务和数据的范围,并允许人查看、取消或收回授权。 

在家庭、组织或公共服务中,一项行动还可能影响多位参与者。谁能提出目标、谁有权批准、出了问题由谁负责,都需要明确安排。审核入口也要让人看得懂、用得上,避免连续的确认请求使监督流于形式。 

综述用 calibrated proactiveness 概括贯穿这些问题的设计目标:根据证据、时机、风险、偏好和权限,调整主动行为。发现需要做的事之后,智能体可以准备、建议或执行;情况变化时,也需要修改计划、停止工作或交回决定。这样的判断能力,需要在长期使用和可核查的结果中检验。 

來源:新浪科技 · finance.sina.com.cn