智能体 AI 模型治理框架 v1.5（上）

智能体 AI 模型治理框架（Model AI Governance Framework for Agentic AI）

版本 1.5｜发布于 2026 年 5 月 20 日（更新于 2026 年 6 月 5 日）

执行摘要（Executive Summary）

智能体 AI（Agentic AI）是 AI 的下一阶段演进，对用户和企业具有变革性潜力。与生成式 AI 相比，AI 智能体（AI agent）能够采取行动、适应新信息，并与其他智能体和系统交互，代表人类完成任务。尽管应用场景仍在快速演变，智能体已经通过编码助手、客户服务智能体以及企业生产力工作流自动化等方式改变着职场。

这些更强的能力也带来了新的风险。智能体对敏感数据的访问权限，以及其改变所处环境的能力（例如更新客户数据库或进行付款），都是双刃剑。随着我们逐步走向部署多个具有复杂交互的智能体，其结果也变得更加难以预测。

人类必须保持问责，并妥善管理这些风险。虽然透明、问责、公平等既有的可信 AI 治理原则仍然适用，但需要在实践中针对智能体加以转化落地。此外，还需要将有意义的人类控制与人类监督（human oversight）融入智能体 AI 的整个生命周期。尽管如此，仍需取得平衡——当规模扩大时，对所有智能体工作流进行持续的人类监督将变得不切实际。

《智能体 AI 模型治理框架》（Model AI Governance Framework，简称 MGF）为组织提供了智能体 AI 风险的结构化概览，以及管理这些风险的新兴最佳实践。如果风险得到妥善管理，组织便可以更有信心地采用智能体 AI。该 MGF 面向希望部署智能体 AI 的组织，无论是自行开发 AI 智能体，还是使用第三方智能体解决方案。

1. 预先评估并限定风险（Assess and bound the risks upfront）

在我们此前的模型治理框架基础上，我们围绕智能体 AI 提出了组织在四个方面需要考虑的要点：

组织应调整其内部结构与流程，以应对智能体带来的新风险。其中的关键在于，首先要理解智能体行动所带来的风险，这些风险取决于多种因素，例如智能体可采取的行动范围、这些行动的可逆性，以及智能体的自主程度（level of autonomy）。

为了尽早管理这些风险，组织可以在规划阶段通过设计适当的边界来限制智能体的影响范围，例如限制其对工具和外部系统的访问。组织还可以通过针对智能体的身份管理和访问控制等措施，确保智能体的行动可追溯、可控制。

2. 让人类承担有意义的问责（Make humans meaningfully accountable）

一旦智能体 AI 部署获得「绿灯」放行，组织就应采取措施确保人类问责。

然而，智能体的自主性可能使传统的、与静态工作流绑定的责任分配变得复杂。智能体生命周期的不同环节还可能涉及多个主体，从而稀释问责。因此，明确界定组织内部以及与外部供应商等不同利益相关方的职责非常重要，同时要强调适应性治理（adaptive governance），使组织能够快速了解新进展，并随着技术演进更新其方法。

具体而言，「人在回路中」（human-in-the-loop）必须加以调整，以应对自动化偏见（automation bias）——随着智能体能力日益增强，这一问题愈发令人担忧。这包括在智能体工作流中设定需要人类批准的重要检查点（例如高风险或不可逆的行动），并定期审计人类监督机制，以确认其长期保持有效。

3. 实施技术控制与流程（Implement technical controls and processes）

组织应通过在智能体生命周期各阶段实施技术措施，确保 AI 智能体安全可靠地投入运行。

在开发阶段，组织应针对规划（planning）、工具（tools）以及仍在成熟中的协议（protocols）等新的智能体组件纳入技术控制，以应对这些新攻击面带来的更高风险。

在部署之前，组织应测试智能体的基线安全性与可靠性，包括整体执行准确率、策略遵从性和工具使用等新的维度。评估智能体需要新的测试方法。

在部署期间和部署之后，由于智能体会与环境动态交互，且并非所有风险都能被提前预见，建议采取渐进式发布（gradual rollout），并在部署后进行持续监控。

4. 赋能终端用户承担责任（Enable end-user responsibility）

智能体的可信部署不仅依靠开发者，也依靠终端用户负责任地使用。作为赋能负责任使用的基线，应告知用户智能体的行动范围、数据访问权限，以及用户自身的责任。组织应考虑在此基础上叠加培训，使员工具备管理人机交互、实施有效监督所需的知识，同时保持其专业技艺（tradecraft）和基础技能。

这是一份「活文档」（living document）。我们已与政府机构和领先企业合作，汇总当前的最佳实践并贡献真实案例，但这是一个快速发展的领域。本框架需要持续更新，以跟上新进展。我们欢迎各方反馈以完善本框架，也欢迎更多案例研究，展示如何应用本框架实现负责任的智能体部署。

本版本更新内容（What's new in this version）

本版本纳入了自 v1.0 以来从 60 多家公司收到的反馈。主要变化包括：

1 智能体 AI 简介（Introduction to Agentic AI）

1.1 什么是智能体 AI？

关于 AI 智能体的定义尚无共识，但存在一些共同特征——智能体通常具备一定程度的独立规划、决策和行动能力（例如搜索网络或创建文件），通过多个步骤实现用户设定的目标¹。智能体 AI 系统是由一个或多个 AI 智能体组成的软件系统，这些智能体可以单独运作，也可以协同工作。

在本框架中，我们聚焦于基于生成式 AI 模型构建的智能体，这类智能体正被越来越多地采用。一般而言，此类智能体使用小型语言模型（SLM）、大型语言模型（LLM）或多模态大型语言模型（MLLM）作为其「大脑」来进行决策并完成任务。不过值得注意的是，软件智能体并不是一个新概念，还存在其他类型的智能体，例如使用确定性规则或其他神经网络²来进行决策的智能体。

1.1.1 智能体的核心组件

_简单智能体的核心组件³_

由于智能体构建在语言模型之上，从一个简单的基于 LLM 的应用的核心组件入手会很有帮助，智能体以类似的方式使用这些组件。

1. 模型（Model）：作为智能体中央推理与规划引擎（即「大脑」）的 SLM、LLM 或 MLLM。它处理指令、解读用户输入，并生成符合上下文的回应。

2. 指令（Instructions）：定义智能体角色、能力和行为约束的自然语言命令，例如 LLM 的系统提示词（system prompt）。

3. 记忆（Memory）：存储在短期或长期存储中、可供 LLM 访问的信息。有时添加记忆是为了让模型能够从先前的用户交互或外部知识来源获取信息。

此外，智能体还有其他组件，使其能够完成更复杂的任务：

4. 规划与推理（Planning and reasoning）：模型通常经过训练能够进行推理和规划，这意味着它可以输出完成一项任务所需的一系列步骤。

5. 工具（Tools）：工具使智能体能够采取行动并与其他系统交互，例如写入文件和数据库、控制设备或执行交易。模型调用工具来完成任务。智能体本身也可以作为工具被调用，例如一个监督型智能体（supervisor agent）为某项任务调用另一个专业智能体。

6. 协议（Protocols）：智能体与工具及其他智能体进行通信的标准化方式。例如，模型上下文协议（Model Context Protocol，MCP）是为智能体与工具通信而开发的，而智能体间协议（Agent2Agent Protocol，A2A）则定义了智能体之间相互通信的标准⁴。这是一个快速发展的领域，更多协议正在被开发以标准化智能体交互⁵，尤其是在智能体商务（agentic commerce）领域。

除了这些赋能组件之外，智能体通常还具备保障其安全可靠运行的组件⁶：

7. 控制（Controls）：控制限制智能体的行动空间（action-space）和自主性。控制类型很多，其中与智能体最相关的有：

a. 访问控制（Access controls）：限制智能体被允许查看、使用或更改的内容，包括限制其对敏感数据、工具和系统的访问。

b. 护栏（Guardrails）：护栏在智能体行动之前、期间或之后监控并约束其行为。它有助于检测不安全的指令、策略违规，或与用户意图明显不一致的行动。

c. 人工审批（Human approvals）：要求人类审查或批准智能体行动的机制。

8. 日志记录与监控（Logging and monitoring）：记录智能体在所有组件上的行动、决策和交互，以支持监控、调试和问责。

注 1：改编自《国际 AI 安全报告》（International AI Safety Report）。 注 2：参见世界经济论坛（WEF），《行动中的 AI 智能体：评估与治理的基础》（AI Agents in Action: Foundations for Evaluation and Governance）。 注 3：改编自新加坡政府科技局（GovTech Singapore）《智能体风险与能力框架》（Agentic Risk & Capability Framework）、新加坡网络安全局（CSA Singapore）《保障智能体 AI 安全附录（草案）》（Draft Addendum on Securing Agentic AI）以及 Anthropic《构建有效的智能体》（Building Effective Agents）。 注 4：参见 Anthropic《模型上下文协议》与 Google《智能体间协议》。 注 5：参见 OpenAI《智能体商务协议》（Agentic Commerce Protocol）、支付宝（Alipay）《智能体移动协议》（Agentic Mobile Protocol）以及 Google《通用商务协议》（Universal Commerce Protocol）。 注 6：更多信息见 2.3「实施技术控制与流程」。

1.1.2 多智能体架构（Multi-agent setups）

在智能体系统中，让多个智能体协同工作是常见做法⁷。这使得每个智能体能够专注于某项职能或任务，和／或并行工作。让多个智能体分别专注于不同任务，也意味着每个智能体的工具和权限可以单独界定和分配，相比一个可访问众多工具的单一智能体更为清晰。

多智能体系统的三种简单设计模式为：

• 顺序式（Sequential）：智能体在线性或其他结构化工作流（例如图结构）中依次工作。每个智能体的输出成为下一个智能体的输入。

• 监督式（Supervisor）：一个监督型智能体协调其下属的专业智能体，在需要时调用特定智能体作为工具。

• 蜂群式（Swarm）：智能体同时工作，在需要时将任务移交给另一个智能体。

多智能体架构不存在普遍正确的方案，手头的任务可能需要不同的模式⁸或混合模式。定义明确、具有逐步工作流的任务适合顺序式架构，而需要头脑风暴或沿不同方向探索的开放式任务则可能受益于蜂群式架构。

1.1.3 智能体设计如何影响每个智能体的限制与能力

尽管每个智能体可能拥有相同的核心组件，但每个组件的设计会显著影响智能体能做什么⁹。

在考虑智能体能做什么时，区分以下两个概念通常很有帮助：

行动空间（Action-space）（或称权限、能力）

_智能体可采取的行动范围，包括其可执行的交易，由它被允许使用的工具及对这些工具的权限决定_

自主性（Autonomy）（或称决策能力）

_智能体能够自主决定如何朝目标行动的程度，例如自行定义要采取的步骤，由其指令和人类参与程度决定_

行动空间

智能体的行动空间主要取决于它可访问的工具，这会影响：

• 它可以访问的系统：

• _仅限沙箱（Sandboxes only）_：沙箱化工具（例如用于代码执行、数据分析），无法影响任何其他系统

• _内部系统（Internal systems）_：组织内部的工具，例如能够搜索和更新组织的数据库

• _外部系统（External systems）_：使智能体能够访问外部服务的工具，例如通过第三方预定义 API 检索和更新数据。

• 它可以对所访问系统采取的行动：

• _读取与写入（Read vs write）_：智能体可能只能从系统中读取和检索信息，而不能写入和修改系统内的数据。

智能体 AI 的一种新兴形态是计算机使用智能体（computer use agent），其主要工具是对计算机和浏览器的访问。这意味着它可以采取人类使用计算机和浏览器所能采取的任何行动（例如滚动、点击、输入），而无需依赖专门定义的工具和 API。这显著扩大了智能体可访问和可执行的范围¹⁰。

自主性

智能体的自主性主要取决于其指令以及智能体系统中人类的参与程度。在企业部署中，大多数智能体实现都是将确定性规则与一定自主性相结合的混合系统。

在指令方面，可以给智能体不同层级的指令：

• 详细指令与标准作业程序（SOP）：被要求遵循详细 SOP 完成任务的智能体，在每个阶段能做出的决策会受到限制。

• 运用自身判断（Using its own judgment）：被要求运用自身判断完成任务的智能体，在定义其计划和工作流方面拥有更大自由度。

另一个相关因素是人类的参与程度。在与智能体交互时，人类可以有不同程度的参与¹¹：

• 智能体提议，人类操作（Agent proposes, human operates）：人类审查并批准智能体的每一个行动。

• 智能体与人类协作（Agent and human collaborate）：人类与智能体共同工作。智能体在重要步骤（例如写入数据库或付款之前）需要人类批准。但人类可以随时介入，接管智能体的工作，或暂停智能体并要求更改。

• 智能体操作，人类批准（Agent operates, human approves）：智能体仅在关键步骤或出现故障时才需要人类批准，例如删除数据库或进行超过预设金额的付款。

• 智能体操作，人类观察（Agent operates, human observes）：智能体在完成任务过程中不需要人类批准，但其行动可能在事后接受审计。

_软件工程智能体不同行动空间与自主性的示意图_

注 7：改编自 AWS《使用 Strands Agents 和 Amazon Nova 的多智能体协作模式》（Multi-Agent Collaboration Patterns with Strands Agents and Amazon Nova）。另见 Claude《构建多智能体系统：何时以及如何使用》（Building multi-agent systems: When and how to use them）。 注 8：示例参见 AWS《深入 AWS Security Agent：用于自动化渗透测试的多智能体架构》（Inside AWS Security Agent: A multi-agent architecture for automated penetration testing）、Langchain《选择合适的多智能体架构》（Choosing the Right Multi-Agent Architecture）。 注 9：参见 WEF《行动中的 AI 智能体：评估与治理的基础》。 注 10：关于测试计算机使用智能体的更多信息，见下文案例研究「Google x 新加坡政府：测试计算机使用智能体」。 注 11：参见哥伦比亚大学奈特第一修正案研究所（Knight First Amendment Institute at Columbia University），《AI 智能体的自主层级》（Levels of Autonomy for AI Agents）。

1.2 智能体 AI 的风险（Risks of Agentic AI）

1.2.1 风险来源（Sources of risk）

智能体的新组件构成了新的风险来源¹²。风险本身并不陌生——从根本上说，智能体是构建在 LLM 之上的软件系统。它们继承了传统软件漏洞（例如 SQL 注入）以及 LLM 特有的风险（例如幻觉、偏见、数据泄露和对抗性提示注入）¹³。

然而，风险会通过不同的组件以不同方式显现。例如：

• 规划与推理：智能体可能由于幻觉或语义偏差（对用户意图的错误解读），制定出一个无法完成所请求任务的计划，或与用户意图相悖的计划，或偏离先前计划。

• 工具：智能体可能产生幻觉并调用不存在的工具，可能因调用错误的工具、以错误的输入调用正确的工具，或以带有偏见的方式调用工具而出错。由于工具将智能体与外部系统连接起来，提示注入或代码注入还可能操纵智能体，窃取或以其他方式操纵其可访问的数据。

• 协议：随着处理智能体通信的新协议不断涌现，它们可能被部署不当或遭到破坏，例如部署一个包含窃取用户数据代码的不可信 MCP 服务器。

注 12：参见 BCG《当 AI 不再请求许可时会发生什么？》（What Happens When AI Stops Asking Permission?）。 注 13：改编自 CSA《保障智能体 AI 安全附录（草案）》。

1.2.2 风险类型（Types of risk）

由于智能体在现实世界中采取行动，一旦它们出现故障，可能导致有害的现实世界影响。组织应警惕以下负面结果：

• 错误行动（Erroneous actions）：不正确的行动，例如智能体在错误的日期安排预约，或产出有缺陷的代码。具体的有害结果取决于相关行动，例如有缺陷的代码可能导致安全漏洞被利用，错误的医疗预约可能影响患者的健康结果。

• 未授权行动（Unauthorised actions）：智能体在其允许范围或权限之外采取的行动，例如在明确的人类指令、公司政策或标准作业程序要求上报人工审批的情况下，未经上报批准就采取行动。

• 有偏见或不公平的行动（Biased or unfair actions）：有偏见或不公平的输出是 LLM 的已知问题，并可能转化为智能体的偏见行动。这些行动会导致不公平的结果，尤其是在面对不同特征和人口统计群体时，例如采购中的供应商选择偏见、拨款发放和／或招聘决策偏见。

• 数据泄露（Data breaches）：导致敏感数据暴露或被篡改的行动。此类数据可能是个人可识别信息或机密信息，例如客户资料、商业机密和／或内部通信。这可能是由于安全漏洞——攻击者利用智能体泄露私人信息，也可能是智能体未能识别数据的敏感性而将其披露。虽然这也是 LLM 的已知风险，但智能体通常拥有更大的数据访问权限，不仅可能泄露数据，还可能错误地修改数据。

• 对关联系统的破坏（Disruption to connected systems）：由于智能体与其他系统交互，当它们被攻陷或出现故障时，可能破坏关联系统，例如删除生产环境代码库，或以过量请求压垮外部系统。

1.2.3 系统性风险与多智能体风险（Systemic and multi-agent risks）

智能体系统的速度与复杂性会放大上述风险。具体而言：

• 速度与数量（Speed and volume）：智能体做出决策的速度，使监督机制难以实时检测并阻止未授权行动，防患于未然。要求人类审批者持续监督智能体作为保障措施，也可能导致自动化偏见和告警疲劳（alert fatigue）。

• 级联或叠加效应（Cascading or compounding effects）：某一步骤中的错误可能在后续步骤中传播并放大，造成超出预期的影响。例如在供应链管理中，最初一个幻觉产生的库存数字，可能导致下游行动过度补货或补货不足。

多智能体系统由于交互智能体数量的增加而加剧了这些风险。例如，多智能体系统通常要求智能体与其他智能体共享上下文、记忆和中间输出。这增加了敏感数据被无意记录、传递给安全性较低的智能体，或通过提示注入攻击而暴露的可能性。

多智能体系统在多大程度上引入了_性质上_不同的风险仍在研究中¹⁴，其中较为突出的包括：

• 智能体蔓延（Agent sprawl）：随着组织内部创建和部署的 AI 智能体越来越多，可能导致 AI 智能体在缺乏集中管理的情况下不受控地增殖。这会带来来源追溯问题、新旧智能体之间的不兼容问题，和／或管理不同世代、彼此通信不畅的智能体的困难。

• 协作失败（Collaborative failures）

• 协调失误（Miscoordination）：协同工作的智能体可能因沟通不良或协调失误导致意外失败。例如，处理同一任务的多个智能体可能对用户意图产生不同解读，从而朝不同目标努力。

• 冲突（Conflict）：优化不同目标的智能体可能发生冲突。例如，客户支持智能体可能为快速解决投诉而提供退款，而收入保护智能体可能拦截超过一定阈值的退款。

• 合谋（Collusion）：智能体可能发展出看似协同的行为，即使从未给出明确的合谋指令。例如，不同组织使用的定价智能体可能相互观察价格，并趋同于更高价格而非相互竞争。这种行为在定价算法领域已有研究¹⁵，目前也正在针对基于 LLM 的智能体进行研究。

• 不可预测性及其他涌现行为（Unpredictability and other emergent behaviours）：当多个非确定性智能体协同工作时，可能的结果数量呈指数级增长。这可能导致无法通过对每个智能体单独测试来预测的涌现行为。

最后，多个智能体既可能在同一系统内交互，也可能跨系统交互。当智能体跨越系统或组织边界时，测试并预判各种潜在结果变得更加困难，尤其是当组织对这些外部系统没有白盒访问权限时。

注 14：参见 Gradient Institute《受治理的基于 LLM 的多智能体系统的风险分析技术》（Risk Analysis Techniques for Governed LLM-based Multi-Agent Systems）。 注 15：参见 Bichler、Durmann 与 Oberlechner，《算法定价与算法合谋》（Algorithmic Pricing and Algorithmic Collusion）。

2 智能体 AI 模型治理框架（Model AI Governance Framework for Agentic AI）

1. 预先评估并限定风险

2. 让人类承担有意义的问责

4. 赋能终端用户承担责任

_智能体 AI MGF 的四个维度_

智能体 AI MGF 建立在《模型 AI 治理框架》（MGF，2020）为组织确立的负责任 AI 实践基础上¹⁶，重点介绍了应对智能体 AI 新问题的新兴最佳实践，使组织能够以必要的知识和判断力来开发和使用智能体 AI。

该框架首先帮助组织预先评估并限定风险。它指出了风险评估中应考虑的新风险、规划阶段的设计考量（以限制智能体的潜在影响范围），以及确保智能体可追溯、可控制的措施。

虽然智能体可能自主行动，但人类责任始终适用。一旦部署智能体 AI 获得「绿灯」放行，组织应立即采取措施让人类承担有意义的问责。这包括明确界定组织内外参与智能体生命周期的多个主体的责任；并采取措施确保「人在回路中」机制在自动化偏见的影响下仍能长期保持有效。

为确保智能体安全可靠地投入运行，组织应在整个 AI 生命周期中采用技术控制与流程。在开发阶段，应为 AI 智能体的新组件（如规划和工具）实施护栏。在部署之前，应测试智能体的基线安全性与可靠性。部署之后，由于智能体会与环境动态交互，应对其进行持续监控。

最后，智能体的可信部署不仅取决于开发者，也取决于终端用户。组织有责任赋能终端用户承担责任，为其提供适当使用智能体、实施有效监督所需的关键信息，同时保持其专业技艺和基础技能。

这四个维度应被视为一个迭代过程。例如，如果在实施或监控过程中发现异常，组织应重新评估此前的维度，必要时重新评估并进一步限定风险。这确保了随着部署经验带来新洞察，实现持续改进与适应。

注 16：参见《模型 AI 治理框架（第二版）》（Model AI Governance Framework, 2nd Ed）。

IMDA：将框架的四个维度应用于 OpenClaw

2.1 预先评估并限定风险（Assess and bound the risks upfront）

智能体带来了新的风险，尤其是其对敏感数据的访问权限，以及通过采取行动改变环境的能力。其适应性、自主性和多步骤特性，也增加了意外行动、涌现风险和级联影响的可能性。组织应从以下方面考虑这些新维度：

• 确定适合部署智能体的用例：考虑会影响风险发生可能性和影响程度的智能体特有因素。

• 通过设计选择预先限定风险：对智能体访问工具和系统施加限制，并定义健全的身份与权限框架。

2.1.1 确定适合部署智能体的用例

在考虑某个智能体用例是否适合开发或部署时，应首先识别风险并将其与收益进行对比评估。风险是可能性（风险发生的概率）与影响（风险发生时的严重程度）的函数。并非所有用例都适合智能体，有些用例可能更适合用确定性工作流来实现。

以下（非详尽的）因素会影响智能体用例的风险水平：

威胁建模（threat modelling）通过系统性地识别攻击者可能用来攻陷系统的具体途径，使风险评估更加严谨¹⁷。智能体系统常见的安全威胁包括记忆投毒、工具滥用和权限攻陷。由于智能体系统可能变得非常复杂，使用一种称为污点追踪（taint tracing）的方法往往很有用，它可以梳理所有工作流和交互，追踪不可信数据如何在系统中流动。关于如何对智能体系统执行威胁建模和污点追踪的更多信息，组织可参考 CSA 的《保障智能体 AI 安全附录（草案）》。

威胁建模与风险评估的关系

威胁建模通过生成情境化的威胁事件——对攻击者可能采取的行动序列、活动和场景进行详尽描述——来强化风险评估过程。有了更多相关的威胁事件，风险评估将更加严谨和稳健，从而产生更有针对性的控制和有效的分层防御。由于风险评估是持续进行的，威胁模型也应定期更新。（改编自 CSA《网络威胁建模指南》）

注 17：关于智能体 AI 系统潜在安全威胁更全面的论述，参见 OWASP《智能体 AI——威胁与缓解》（Agentic AI – Threats and Mitigations）。

Dayos：分层工单处理（案例）

2.1.2 通过定义智能体的限制与权限，在设计上限定风险

在选定合适的智能体用例后，组织可以通过为每个智能体定义适当的限制和权限策略，进一步限定风险。

智能体限制（Agent limits）

组织应考虑对以下方面定义限制：

• 智能体对工具和系统的访问：定义最小权限（least-privilege）策略¹⁸，只赋予智能体完成任务所需的最少工具和数据访问权限。例如，编码助手可能不需要广泛的网络搜索工具，尤其是当它已经拥有对最新软件文档的精选访问权限时。围绕职能边界构建智能体（例如将 IT 服务台与 HR 自助服务分开）可以起到自然约束的作用。

• 智能体的自主性：对于流程驱动的任务，SOP 和协议常被用于提高一致性、减少不可预测性¹⁹。为智能体工作流定义类似的 SOP，要求智能体受其约束，而不是赋予智能体定义工作流每一步的自由。

• 智能体的影响范围：设计相应机制和程序，在智能体出现故障时将其下线并限制其潜在影响范围。这可以包括让智能体在网络和数据访问受限的自包含环境中运行²⁰，尤其是在执行代码等高风险任务时。

总体而言，应优先采用确定性而非非确定性的限制，并通过设计来限定风险。例如，与其依赖提示词指示智能体不要访问某些工具，不如直接实施访问控制，从根本上阻止智能体调用该工具。这一点在 2.3.1「实施技术控制与流程」中有详细阐述。当限制是非确定性的或可靠性较低时，应叠加更多监控措施或引入「人在回路中」审查，以捕捉任何失败。

注 18：参见 PwC《智能体 AI 的崛起——与风险》（The rise – and risks – of agentic AI）。 注 19：Grab 推出了一个利用标准作业程序（SOP）指导 AI 驱动执行的 LLM 智能体框架（见《SOP 驱动的 LLM 智能体框架介绍》）。 注 20：参见麦肯锡（McKinsey）《安全地部署智能体 AI：技术领导者行动手册》（Deploying agentic AI with safety and security: A playbook for technology leaders）。

OCBC：在财富来源分析中限定智能体自主性

OCBC（华侨银行）是新加坡历史最悠久的银行，也是按资产计东南亚第二大金融服务集团，业务遍及 19 个国家和地区。新加坡银行（Bank of Singapore）是 OCBC 全资拥有的私人银行子公司。

新加坡银行的客户经理（Relationship Manager）和合规团队需要将客户提供的财务文件综合整理成结构化的财富来源（Source of Wealth）备忘录。该银行开发了一套智能体 AI 系统来支持这项工作，目标是：

• 提高分析的一致性和完整性

• 减少文件审阅和起草中的人工投入

该智能体 AI 系统解析收入相关文件（例如税务申报、公司年报、房产文件、股息报表），并根据内部指引和基准生成财富来源备忘录草稿。该系统仅提供决策支持，不会自主做出信贷、客户准入或风险决策——最终验证和批准仍由指定的人工审核员负责。

该智能体工作流通过定义智能体自主性的限制，在设计上限定风险：

• 仅限任务级自主性：智能体执行范围狭窄的任务（提取、起草、核查），而非端到端决策

• 不得自行发起行动：智能体仅在预定义工作流触发时运行

• 没有决策权：在关键决策点设有人工审查，包括在收入和财务文件评估完成后进行核查以确保准确性。最终，输出仅具建议性质，须经人工验证。

MSD：通过分层自主性和第三方生态边界限定智能体 AI 风险

MSD（默沙东）致力于运用前沿科学的力量拯救和改善全球生命，为世界上最棘手的疾病研发药物、疫苗和创新健康解决方案。

MSD 在多个用例中开发和部署智能体，例如精简关键试验方案的生产、减少临床文档和质量审查等劳动密集型任务。针对其 75,000 名员工，MSD 实施了一项企业级智能体 AI 治理战略，通过（除其他措施外）将治理流程与代理层级（level of agency）相匹配，以及为第三方平台降低风险，来限定风险。

将治理流程与代理层级相匹配

MSD 基于五个代理层级创建了多条经风险校准的治理路径，考虑行动与权限范围、人类监督、数据与上下文范围等因素。

• 较低层级通过轻量级治理路径快速推进；中间层级通过既定的 AI 影响评估流程推进；较高层级则需要在适当时上报企业架构审查和测试。

• 最高代理层级需要监控之外的技术措施。在启用更高层级自主性之前，MSD 正在 AI 网关（AI gateway）处实施一个程序化运行时策略执行层。

为第三方智能体平台降低风险

除智能体自主性之外，企业 AI 不可避免地包含多个第三方 SaaS 智能体平台。虽然每个第三方智能体平台都会在其自身生态系统内进行验证和测试，但当这些系统尝试执行可能未经充分测试的跨平台行动时，风险就会增加。互操作性框架仍处于起步和成熟阶段，这一点尤为突出。

为促进安全与保障，MSD 采用了遏制（containment）策略——与其允许供应商内嵌的智能体在 MSD 的数据和系统中自由行动，SaaS 工具中的智能体功能默认被限制在其自身生态系统内。这在保留获批用例生产力益处的同时，遏制了剩余风险。

智能体身份（Agent identity）

身份管理与访问控制是当今组织为人类实现可追溯性和问责的关键手段之一。随着组织部署越来越多的智能体，包括跨组织边界交互的智能体，身份管理需要扩展到智能体，以追踪单个智能体的行为，并确定每个智能体由谁承担问责。

这是一个不断演进的领域，目前在稳健处理智能体身份方面仍存在缺口。例如，当前的授权系统通常具有预定义的静态范围。然而，要在更复杂的场景中安全运行，智能体需要细粒度权限，这些权限可能根据上下文、风险等级和任务目标动态变化²¹。当前的身份验证系统通常也基于单一、唯一的个人。此类系统难以处理复杂的智能体架构，例如智能体代表多个拥有不同权限的人类用户行事，或智能体派生多个子智能体的递归委托场景。

相关解决方案正在开发中，以应对这些问题，例如将组织内部身份系统扩展到智能体²²，或将 OAuth 2.1 等成熟标准集成到 MCP 中²³。业界也在为智能体开发新的标准和解决方案，例如去中心化身份管理和动态访问控制²⁴。

在此期间，组织应考虑以下最佳实践：

• 身份标识（Identification）：智能体的身份应当：

• 唯一：智能体应拥有自己唯一的、可加密验证的身份，使其能够向组织、其人类用户或其他智能体表明身份。

• 可问责：该身份应与一个监督智能体、一个人类用户或一个组织部门绑定，以实现问责和追踪。

• 按其行事身份区分：智能体行事的不同身份（例如独立行事，或代表特定人类用户行事）应予以记录，以保证可审计性。

• 编目并集中管理：为防止智能体蔓延，所有智能体身份（及其附带权限）都应由一个集中式系统签发和追踪。这使组织能够跟踪其已部署的智能体、识别任何异常，并移除不再需要的身份。

• 授权（Authorisation）：智能体的权限应当：

• 限定范围、最小权限、不可转让：授权一般应限定范围、绑定时间或会话、不可转让，并默认遵循最小权限原则，同时为权限提升设置明确的上报路径。

• 以授权人类的权限为边界：智能体可以拥有基于其角色或任务的预定义权限，其权限也可以由授权它的人类用户动态设置，或两者结合。经验法则是，人类用户为智能体设置的权限不应超过该人类用户自身被授权的范围，例如访问超出该人类权限的数据。此类权限委托应有清晰记录。

评估剩余风险（Evaluating the residual risks）

剩余风险（residual risk）是指在实施缓解措施之后仍然存在的风险。需要注意的是，即使在识别合适的智能体用例并对智能体定义限制之后，仍总会残留一定水平的风险，尤其考虑到智能体 AI 演进速度之快。最终，组织应评估并确定其智能体部署的剩余风险是否处于可容忍水平、是否可以接受。

注 21：关于当前身份系统在适配智能体 AI 时可能面临挑战的更全面论述，参见 OpenID《面向智能体 AI 的身份管理》（Identity Management for Agentic AI）。 注 22：示例参见微软《什么是 Microsoft Entra Agent ID》（What is Microsoft Entra Agent ID）以及阿里云《Agent ID Guard 概览》。 注 23：参见 MCP《授权支持》（Authorisation support）。 注 24：参见云安全联盟（Cloud Security Alliance）提出的智能体身份框架《智能体 AI 身份与访问管理：一种新方法》（Agentic AI Identity & Access Management: A New Approach）。

PRIMARY_SOURCE: https://www.imda.gov.sg/-/media/imda/files/about/emerging-tech-and-research/artificial-intelligence/mgf-for-agentic-ai.pdf