從 Agent 到機器人：烏鎮探討 AI 治理的中國方案

过去，围绕大模型的安全讨论，更多集中在内容失实、算法偏见、隐私泄露等问题上。如今，随着Agent（智能体）开始代替用户下单、支付、调用软件，机器人逐步进入工厂和公共场所，AI不仅能够生成信息，还开始参与决策、执行任务。一旦发生错误，影响可能直接进入现实生活。

如何让AI在不断提升自主能力的同时，始终处于人的控制之下，正在成为全球科技企业与研究机构共同面对的问题，这也是2026年世界互联网大会乌镇峰会关注的重要议题之一。

界面新闻记者在乌镇峰会期间采访和交流发现，如今行业关注的不只是AI会不会生成错误答案，还包括Agent使用账户是否经过授权、执行任务时会不会越权，以及出现问题后由谁负责。一些企业也开始探索“用AI治理AI”的技术路径。

“你让我为什么要把我的银行账号、把我的密码告诉这个Agent呢？我凭什么相信它？”阿里巴巴集团合伙人、公共事务总裁闻佳在“人工智能技术创新与治理论坛”上提出，Agent真正进入日常生活，除了技术能力，更需要解决信任问题。在她看来，没有信任的Agent，很难真正发挥作用。

闻佳以移动支付的发展为例。早期电商面临的一个难题是，消费者付款后如何确保商家履约。支付宝通过担保交易机制解决了部分信任问题，而移动支付的普及，也离不开监管对资金安全的要求。

“你真的以为中国公众相信的是支付宝吗？”闻佳表示，“我认为大家相信的是中国政府对移动支付的监管能力。”在她看来，对资金和数据安全的严格要求，是用户愿意使用相关服务的重要前提。

她认为，智能体的发展同样面临这一问题。当用户把个人信息、银行账户甚至部分决策权交给AI时，企业不仅需要证明技术可靠，还必须明确数据安全和责任边界。

具体到个人智能体，账户授权已经成为需要解决的技术问题。

蚂蚁集团终端安全生态高级技术专家张武向界面新闻记者举了一个例子，如果用户要求AI助理每周一自动购买咖啡，Agent需要调用第三方服务、访问账户并完成支付，但模型可能出现幻觉，也可能因为安装的第三方工具被投毒，执行超出用户授权范围的操作。

“Agent的行为能力和账户操作权限需要隔离。”张武介绍，蚂蚁正在通过APASS可信基础设施解决这一问题。

张武向界面新闻记者介绍，Agent可以在独立沙箱中运行，但不能直接获取用户的账户凭据。当需要调用外部服务时，由可信网关完成权限校验，并根据用户授权的任务、时间和金额等条件判断操作是否合规。对于长期任务，用户可以提前设定授权范围，而不是让AI无限制地使用账户权限。系统还需要保留行为记录，以便用户查看异常操作并进行后续审计。

不过，这类安全机制要真正发挥作用，还面临跨平台协作问题。不同Agent使用不同的云平台、账户协议和第三方服务，统一身份认证、权限管理以及安全责任如何划分，仍需要企业之间形成共同标准。

中兴通讯首席发展官崔丽也提出类似观点。一次AI任务可能涉及终端设备、通信网络、云服务、模型和第三方应用，除了最终结果是否正确，还应关注服务由谁调用、用户是否授权，以及数据在不同系统之间如何流转。

她认为，终端厂商需要负责设备与用户信息安全，模型提供方承担训练数据、模型行为和输出安全责任，网络服务方则需要保障可信连接及服务连续性。各方还应建立风险通报和应急联动机制。

苹果公司副总裁、大中华区董事总经理葛越则从终端角度谈到隐私保护。她表示，尽可能让用户请求在设备端完成，可以减少个人信息离开设备或与第三方共享。

随着物理AI进入更多实际工作场景，机器人除了面临数据和系统安全风险，还要考虑运行过程中是否会伤人或损坏设备。

智元联合创始人、联席总裁、具身业务体系总裁姚卯青表示，机器人兼具数字属性和物理载体，需要兼顾更多安全要求。除了数据安全，还要考虑机器人在实际运行中与周围人员、环境的交互风险，将安全要求贯穿设计、研发、生产和部署全过程。

在设计阶段，需要借鉴汽车等行业的主动安全理念，完善环境感知、避障等能力。在工厂及公共场所部署时，还要做好风险提示和应急预案。姚卯青介绍，智元在实际部署中设置了物理及软件急停机制，并通过平台监控、现场人员配合等方式，降低机器人现场运行的风险。

这些问题也反映出，AI治理不能仅停留在模型训练和内容审核阶段。

11月3日，国务院总理李强在2026年世界互联网大会乌镇峰会开幕式主旨演讲中谈到算法模型的伦理问题。他指出，当算法只认效率优先，普通劳动者就可能被困在系统之中。与此同时，模型“幻觉”、数据“投毒”干扰社会客观认知，深度伪造、虚假信息冲击社会信任。

他强调，无论人工智能多么“类人”，都必须坚持人的主导性，让机器始终成为人类的可信工具。

面对不断变化的安全风险，现有技术手段该如何应对？

中国工程院院士、中关村实验室首席科学家云晓春指出，大模型从输出内容走向调用工具、执行任务后，治理对象也随之变化。传统安全防护以事后发现问题、修补漏洞为主，但随着AI能力提升，人工防御速度可能难以跟上自动化攻击。

他认为，AI安全治理需要从静态合规向动态运行中的风险评估转变，并逐步实现实时防御，在风险造成实际损失前进行识别和阻断。

“用魔法打败魔法、用AI治理AI”，是世界互联网大会期间多位嘉宾提到的技术治理思路。

崔丽提出，可以借助AI技术应对AI发展带来的安全风险。具体而言，她认为，可以通过可信接入、权限校验、异常识别等手段，提高对网络攻击和模型异常行为的应对能力。不过，仅有技术防护还不够，不同参与方仍需明确各自的安全责任，并建立风险通报和应急联动机制。

在治理规则方面，中国也在推进相关探索。今年9月，全国网络安全标准化技术委员会发布《人工智能安全治理框架3.0》，梳理更新风险分类，优化调整技术应对和综合治理措施。

从智能体身份认证、账户权限隔离，到运行过程中的风险监测，国内企业已开始探索具体做法。但不同平台如何互认安全评估结果、跨平台操作时怎样划分责任，仍有待进一步探索。

AI应用跨境流通，也让治理面临更多协调问题。2025年7月发布的《人工智能全球治理行动计划》提出，建立风险测试评估体系，推进威胁信息共享和应急处置机制建设，并加强国际标准合作。不过，各国对数据保护、隐私和模型监管的要求存在差异。如何让安全标准能够相互衔接，并在跨国AI服务出现问题时明确责任，仍需要进一步协商。

从今年乌镇的讨论来看，AI治理已经不只是防止模型输出错误信息，还要回答Agent能否获得授权、机器人如何安全运行，以及发生问题时谁来负责。当越来越多AI系统开始自主行动，安全规则能否跟上技术应用的速度，将直接影响人工智能能否进一步进入生产和生活场景。