自主人工智能系统考验物理环境中的治理

背景与问题

自主AI系统不再只生成文本、图像或执行线上任务，而是开始连接车辆、无人机、配送机器人、物流网络和关键基础设施。风险也随之发生变化：过去治理关注偏见、虚假信息、有害内容等输出问题；现在更关键的是系统在物理环境中的行动可能造成财产损失、基础设施中断或人身安全事故。

这种变化使现有AI规则暴露出空白。软件错误通常可以回滚或修复，但具身AI一旦控制设备、执行交易、更新数据库或影响交通物流，失败会直接进入现实世界。

核心内容

新加坡IMDA发布的Agentic AI治理框架1.5版，针对能够规划、决策并多步骤执行目标的AI代理，提出了更偏向部署治理的措施。核心思路包括：

• 按风险评估使用场景：重点看数据访问、外部系统访问、自主程度、任务复杂度、行动范围和可逆性。
• 限制权限：对工具和系统实行最小权限原则，避免代理拥有超出任务所需的控制能力。
• 设置人类审批：对高风险或不可逆操作保留人工确认。
• 持续监控：部署后通过监测性能和异常行为发现长尾问题。
• 可下线机制：当代理故障或行为异常时，组织应能及时让系统停止运行。

峰会讨论进一步强调，具身AI治理不能依赖一次性认证。由于真实环境不可预测，系统需要经过仿真、封闭场地测试、开放环境小规模试点，再逐步扩大部署。Grab在新加坡榜鹅试点自动驾驶车辆和配送机器人时，也采用先仿真、再少量机器人验证、最后考虑规模化的路径。

意义与影响

文章揭示的关键变化是：AI治理正在从模型输出监管转向系统运行监管。对于具身AI，真正的风险不只在模型本身，而在模型与工具、设备、外部系统和现实环境的耦合方式。

这意味着企业部署AI代理时，需要承担更强的运行责任。安全不再是上线前完成一次测试即可，而是贯穿整个生命周期：持续测试、遥测监控、异常处置、权限收敛和人工兜底都成为必要条件。

对监管者而言，具身AI更接近航空、工业系统和关键基础设施的安全治理逻辑。未来规则可能更重视部署过程、运行数据、故障响应和责任分配，而不是只审查模型能力或内容输出。