超级智能训练与评估中的事件准备和响应关键实践

#超级智能训练与评估中的事件准备和响应关键实践

引言

本文件提出十项自愿的关键实践，用以指导在超级智能（super intelligence，SI）智能体的训练与评估期间可能发生的事件管理中正在形成的方法。这些事件凸显传统网络安全原则与实践的重要性，同时也为事件预防、响应和报告引入新的考量。这些新考量主要源于前沿 SI 系统的智能体性质和先进网络能力。

这些关键实践由美国国家标准与技术研究院推进超级智能创新与标准中心（National Institute of Standards and Technology’s Center for Advancing Innovation and Standards for Super Intelligence，NIST CAISSI）、美国国家安全局超级智能安全中心（National Security Agency’s Super Intelligence Security Center，NSA SISC）以及网络安全和基础设施安全局（Cybersecurity and Infrastructure Security Agency，CISA）撰写。这些实践旨在帮助前沿 SI 行业预防、准备，并迅速响应 SI 系统未按预期或未按授权行动的事件。

以下关键实践分为事件管理的五个阶段，用以指导这一快速演进领域中正在形成的方法，并预期新的技术解决方案将继续重塑实施细节。这些实践明确借鉴并建立在现有网络安全最佳实践之上——例如 NIST 网络安全框架（Cybersecurity Framework，CSF）2.0 [1] 和 NIST SP 800-61r3 [2]——并在全文整合了明确的 CSF 控制引用。这些关键实践应在整个事件管理生命周期中被持续查阅和实施。

#### 概览

#### 读者

这些自愿的关键实践和推荐资源主要面向在有限人工监督下、对高能力 SI 智能体进行长程任务训练或评估的组织。这些实践也可能适用于此类 SI 智能体的部署者。

#### 定义

SI 智能体（SI agents）： 能够与环境交互、接收信息，并自主执行动作以服务于指定目标的 SI 系统。SI 智能体系统通常至少由一个生成式 SI 模型和为其配备工具、使其能够采取一系列酌情动作的脚手架软件组成。这些系统可以更为扩展，包含多个子智能体以及编排其交互的软件。

SI 控制事件（SI control incident）： 一个或多个 SI 智能体采取重大的、未被指示的动作，从而破坏操作者为界定预定任务范围或确保人工监督而施加的显式或隐式策略、控制或安全措施的一次发生。“未被指示”是指该智能体并未被其操作者或任何对抗性来源指示去采取该动作。¹ 这些未被指示的动作可能发生在智能体开发、评估或使用期间，并且可能影响或不影响外部方。SI 控制事件的严重性可能因所采取的未被指示动作以及对内部或外部系统的影响程度等因素而不同；本文件中一些实践的适用性可能取决于事件的严重性（见《未来工作领域》中的“事件严重性评分”）。²

SI 控制险些事件（SI control near-miss）： 并未导致 SI 控制事件、但呈现出合理可预见或迫近的发生风险的一次发生。险些事件可能揭示旨在预防、检测或响应 SI 控制事件的控制、安全措施或流程中的潜在缺口或弱点。

¹ 例如，由对抗性提示注入或被有意植入后门的模型所导致的动作，将被视为被指示的动作，因此不作为 SI 控制事件的首要原因。

² 读者可能希望把这一定义放在 NIST 对“网络安全事件”的现有定义这一语境中来理解。该定义来自 NIST SP 800-61r3 [2] 和《美国法典》第 44 编第 3552(b)(2) 条。该定义写道：“实际或迫近地、在没有合法授权的情况下危及信息或信息系统的完整性、机密性或可用性的一次发生；或者构成对法律、安全策略、安全程序或可接受使用策略的违反或迫近的违反威胁。”SI 系统是控制事件的来源，而系统或信息是网络安全事件的目标。在 SI 控制事件期间，智能体可能造成网络安全事件，例如在没有授权或指示的情况下攻陷第三方信息系统。但这两类事件并不完全重合：SI 控制事件也可能涉及网络领域之外的未授权动作。例如，SI 控制事件可能涉及智能体以未授权方式操纵物理执行器、发起与外部方的未授权通信或交互、利用由人为错误引入的弱点或错误配置，或执行未授权的金融交易。

准备

准备是事件管理最佳实践的基础：组织在事件发生之前治理其项目（“治理（Govern）”）、识别资产与风险（“识别（Identify）”），并加固系统（“保护（Protect）”）[1][2][GV.RM]。³ 准备需要资产与风险清单、纵深防御、最小权限、零信任控制、凭据管理，以及干净的恢复基线等活动和实践 [3][4][5]；供应链风险管理 [1][6]；基础模型的安全开发实践 [7]；以及响应与恢复计划的演练 [8][9]。由于 SI 智能体的非确定性和自主行动能力，SI 控制事件引入了超出既有网络安全最佳实践的新考量。

³ 在本文件此处及其他位置，当引用 NIST 网络安全框架（CSF）2.0 的特定要素时，我们使用这一格式，与 NIST SP 800-61r3 对 NIST CSF 2.0 的映射保持一致。更多信息请见 CSF 2.0 [1] 和 NIST SP 800-61r3 [2]。

1. 设计并实施技术控制

1.1. 与最小权限相一致，把 SI 智能体的访问（例如对敏感信息、系统和工具的访问）限制在执行预定任务所必需的范围内 [PR.AA-05]。

1.2. 在可能时使用一次性基础设施，并把 SI 智能体之间的通信限制在预定信道，以防止未授权的协同 [PR.IR-01]。

1.3. 向智能体提供清楚标明任务范围以及任何界限、限制或交战规则的指令。

1.4. 识别、映射并限制跨内部和外部系统的潜在持久化机制和未授权通信。特别注意用于创建 SI 模型权重副本或执行不受监控的模型推理的信道 [ID.RA-05, PR.IR-01]。

1.5. 限制 SI 智能体的网络访问，在可能时经由严格的允许列表。把任何必需的网络访问路由通过受监控的网关 [PR.IR-01]。

1.6. 实施一项 SI 控制策略，列明对已定义情景的预定响应，以及用于自动强制的基础设施 [2]。

1.7. 建立在检测到事件或险些事件时迅速阻止、遏制或终止智能体活动的机制 [RS.MI-01]。

1.8. 在实施安全控制时预期：SI 智能体将频繁地发现并利用错误配置和漏洞 [ID.RA-05, ID.RA-06]。

1.9. 在部署之前，由人员和 SI 系统对 SI 控制措施进行测试和红队演练。仅在超出范围的动作不可能对关键系统造成伤害的情况下，才使用 SI 系统进行红队演练 [ID.IM-02]。见《未来工作领域》中的“针对关键系统的 SI 红队演练”。

1.10. 遵守良好的工程实践，以防止利用薄弱安全的、非期望或未授权的智能体活动 [PR.DS-01, PR.PS-06][3][14][15]。

2. 建立组织与人员的响应准备

2.1. 为 SI 控制事件和险些事件建立清楚的指标、准则和严重性评分 [ID.RA-06, RS.MA-03][2]。

2.2. 开展演练和模拟，为 SI 控制事件以及相关的检测、响应、恢复和报告措施作准备 [ID.IM-02][10]。

2.3. 建立入站报告信道，以接收 SI 控制事件的报告以及来自受影响第三方的信息 [2]。

2.4. 与独立的外部审计者和评估者合作，对控制、监控和事件检测规程开展评估，并核验这些系统按预期运行。

2.5. 考虑发布与 SI 评估相关联的标识符，包括特定于某个智能体的标识符，以帮助防御者理解非预期流量。见《未来工作领域》中的“智能体标识符”。

2.6. 在开始训练运行、评估或部署之前起草结构化风险评估。仅当高级领导层在适当情况下参考外部评估者的评估、并对风险水平感到满意时，才开始或恢复。风险评估可以覆盖多次训练运行或评估 [GV.RR-02, GV.RM-06]。见《未来工作领域》中的“结构化风险评估”和“对训练安全的恢复”。

检测

最佳实践要求充分的检测。组织应定义预定活动，并持续监控非预期活动 [1][3]。检测需要定义入侵指标、为系统装备以收集遥测，并设置把异常路由到自动响应或人工审查的策略 [2][11][12]。组织还应监控 SI 输出、可供能力和模型内部。启用 SI 的监控器也经常被用来监督 SI 智能体，这可能引入额外漏洞。

3. 监控非预期活动

3.1. 为每个 SI 智能体定义预定的安全边界和动作范围，包括该 SI 智能体的系统和网络访问，以便于检测偏差和异常 [PR.IR-01]。见《未来工作领域》中的“定义预定活动基线”。

3.2. 对构成 SI 控制事件风险的智能体，全面监控所有系统层，包括模型、线束（harness）、主机和网络层，使用程序性监控器和 SI 实时监控器扫描多智能体工作流、智能体轨迹、推理和输出 [PR.PS-04, DE.CM-01, DE.CM-06, DE.CM-09]。见《未来工作领域》中的“同步监控”。

3.3. 确保 SI 智能体不能访问或干扰监控进程和日志。在监控中纳入额外信号，包括硬件遥测，并在监控层之间执行一致性检查，以检测篡改企图 [DE.AE-03]。

3.4. 在可能时，使用多个模型进行监控或交叉验证，理想情况下来自不同的模型族。

3.5. 建立检测非预期活动并升级为人工审查或自动响应的机制，例如跨 SI 智能体的实时可见性方法，或在环境中放置金丝雀，以检测已获得预定边界之外访问的智能体实例 [DE.AE-02, DE.AE-06]。见《未来工作领域》中的“额外的升级机制”。

4. 验证并保护监控器，以提高运行完整性

4.1. 由人员和 SI 系统对监控器进行红队演练，以提高其可靠性 [ID.IM-02]。

4.2. 把受监控的 SI 模型输出视为可能包含针对监控器的利用 [DE.CM-09]。见《未来工作领域》中的“由 SI 辅助的调查”。

响应

最佳实践要求充分的响应措施：组织遏制并清除威胁行为者，并保全证据以供分析 [1][2][13]。充分的响应需要隔离受影响系统、撤销凭据、重建已被攻陷的环境、确定爆炸半径，并开展超越所利用的特定漏洞的根因分析 [3][4]。SI 控制事件可能导致环境被攻陷以及 SI 智能体的持久访问，因而需要全面响应。

5. 收集、保留并分析证据

5.1. 在调查 SI 控制事件所必需的程度上保全模型权重以及训练、评估和部署环境，包括中间检查点、时间戳、沙箱和网络日志，以及被拒绝的动作和工具调用 [RS.AN-07]。

5.2. 保全关于 SI 智能体配置、防护措施、相关软件组件，以及复现该事件所必需的环境的详细信息 [RS.AN-07]。

5.3. 保留带有可靠时间戳、防篡改的日志，其充分程度应足以重建智能体轨迹、工具调用、推理轨迹、用户交互、环境状态和安全控制决策 [PR.PS-04]。支持对测试环境和智能体两者的持续事件监控，以及威胁狩猎、调查、响应和取证 [RS.AN-07]。

5.4. 分析日志和遥测数据，以确定 SI 智能体在事件期间采取的动作，识别任何受到影响的内部或外部系统，以及漏洞等根因 [RS.AN-03, ID.IM-03]。

5.5. 考虑利用 SI 模型协助事件调查；然而，在可行时，通过人工审查核验关键事实，并使用多个模型交叉核对分析，包括来自事件所起源的模型族之外的模型 [RS.MA-01, DE.AE-06]。见《未来工作领域》中的“由 SI 辅助的调查”。

5.6. 调查其他类似 SI 智能体的训练和评估运行，以评估是否有任何其他智能体参与了该控制事件，或经历了类似的控制失效。

6. 缓解并关闭非期望活动

6.1. 针对非预期活动、控制失效，以及监控器中断或被篡改的情况，定义并实施关闭策略 [RS.MI-01]。使策略和响应选项与模型能力以及事件的严重性或范围相校准 [RS.AN-08]。

6.2. 在检测到控制失效或正在发生的 SI 控制事件时，自动关闭受影响的 SI 智能体轨迹 [RS.MI-02]。

6.3. 视事件的严重性或范围而定，关闭或暂停其他类似 SI 智能体的训练、评估或部署，直到控制措施能够被加强并核验。见《未来工作领域》中的“事件严重性评分”。

6.4. 撤销组织控制之下、在事件期间被访问过的凭据，并重建任何可能已被攻陷的环境 [RS.MI-02, RC.RP-05]。

6.5. 寻找并补救智能体持久化的任何可能路径，例如代码后门和隐藏通信信道 [RS.MI-02]。

恢复

恢复是既有最佳实践的另一项关键要素：组织从已知良好的基线把系统恢复到可信运行，并在重新投入服务之前核验其完整性 [1][2]。可信恢复需要事先测试恢复程序，并记录恢复决策以及所接受的任何残余风险 [13]。SI 控制事件引入新的考量：恢复措施，尤其是在模型训练期间采取的措施，可以塑造未来智能体的动作，包括无意中强化导致该事件的活动模式。

7. 在恢复 SI 智能体活动之前验证并加强遏制

7.1. 从已核验的基线（例如模型权重、线束代码、容器镜像、工具配置）重建任何可能已被攻陷的环境 [RC.RP-03]。

7.2. 修补或报告智能体在控制事件期间利用的任何漏洞 [RS.MI-02]。

7.3. 在 SI 智能体被重新启动之前，验证监控器、日志、出站允许列表、关闭机制、权限限制和其他遏制层是可用的 [RC.RP-05]。

7.4. 更新并加强控制和监控器，以防止未来事件。这至少包括核验新的控制和监控器将预防和／或检测类似的控制事件，例如通过重放该事件中的轨迹或动作 [ID.IM-03, ID.IM-04]。

7.5. 在恢复 SI 智能体活动之前，记录恢复决策和剩余风险 [RC.RP-06]。

7.6. 在适当时编写事后报告，记录该事件、响应和经验教训 [RC.RP-06]。经验教训可能需要后续调查或实验，以理解与事件期间智能体活动和一致性相关的任何失效。

7.7. 对于在模型训练期间发生的 SI 控制事件，设计恢复程序，使其既不强化导致该控制事件的活动模式，也不使未来的不利活动更难被检测，例如以降低可监控性的方式针对显式的不利思维链推理进行训练。见《未来工作领域》中的“对训练安全的恢复”。

报告

组织应遵循既有最佳实践：通知相关主管机关、与受影响方协调，并通过既有信道披露漏洞 [1][2]。除履行适用的事件报告义务（包括向 CISA 和执法部门报告）以及通过协调机制报告软件漏洞之外，还应报告 SI 控制事件和险些事件。自愿的 SI 控制事件报告应聚焦于智能体所采取的未经批准的动作以及对这些动作的解释，而不仅仅是系统被攻陷。组织应公开共享经验教训，以推进最佳实践。报告并不是恢复之后事件管理的最后阶段；报告实践应贯穿事件生命周期。

8. 与受影响方协调

8.1. 通知其系统已被 SI 控制事件攻陷或利用的各方，包括并非该事件最终目标的第三方 [RS.CO-02]。

8.2. 在可行时，为受影响方的事件响应共享相关细节，包括提供关于被利用的漏洞或受影响系统之上下文的详细时间线和记录文本 [RS.CO-03]。

8.3. 与价值链上受该事件影响、或可能从调查发现中受益的其他方共享信息，例如经验教训，例如 SI 模型的开发者，或评估与基础设施提供方。

9. 通知政府

9.1. 遵守任何适用的法定报告要求，包括向 CISA、执法部门和／或网络防御组织承担的网络安全事件报告义务。在适当时，把由 SI 控制事件引起的网络安全事件或险些事件自愿报告给 CISA [GV.OC-03, RS.CO-02][10][14]。

9.2. 使用既有机制报告由 SI 控制事件产生的软件漏洞 [16][17]。

9.3. 在完成任何法定要求的报告之后，与政府中的 SI 专家（例如 NIST CAISSI 和 NSA SISC）自愿共享关于控制事件和险些事件的、特定于 SI 的信息，以促进研究和准备。提供有助于理解导致该事件的情形、SI 智能体所采取的动作，以及与控制缺口或智能体一致性相关的根因的上下文 [RS.CO-03]，以及事件的严重性和任何不确定领域 [RS.MA-03]。

10. 公开共享信息

10.1. 在适当且尽早可行时，与公众共享细节 [2]。

10.2. 促进第三方审查，为独立分析提供充分的访问和文档 [ID.IM-01]。

10.3. 识别并公开报告因应该事件而采用的、或可能使生态中其他行为者受益的关键实践、要点或改进 [ID.IM-03, RS.CO-03]。

未来工作领域

若干重要的未来研究与发展领域，将为响应 SI 控制事件的进一步实践提供信息。这些领域包括：

• 对训练安全的恢复（Training-Safe Recovery）。 识别在训练期间响应 SI 控制失效和险些事件的最佳实践与权衡，以降低导致该事件的活动在未来再次发生的可能性，并避免使未来的不利活动更难被检测。
• 定义预定活动基线（Defining Intended Activity Baselines）。 用于定义预定 SI 智能体活动的基线和范围的更好方法与实践，以支持对异常活动的监控和检测。
• 同步监控（Synchronous Monitoring）。 对智能体轨迹、推理和输出进行同步监控的技术，在延迟、性能和安全之间取得更好平衡，或完全减少这些权衡。
• 事件严重性评分（Incident Severity Scores）。 用于 SI 控制事件的标准化严重性评分，为响应时限和程序提供信息（例如从阻止单个动作，到结束轨迹，或停止完整的评估或训练运行等干预）。
• 由 SI 辅助的调查（SI-Enabled Investigations）。 用于缓解相关失效风险、应对针对监控器的潜在对抗性攻击和提示注入，以及在处理大量日志时保持监控器有效性的实践。
• 结构化风险评估（Structured Risk Assessments）。 关于正确分解、证实并量化与 SI 智能体训练、评估和部署有关的风险与缓解的研究和方法，包括智能体采取措施掩盖不利活动的风险。
• 针对关键系统的 SI 红队演练（SI Red-Teaming for Critical Systems）。 关于使用 SI 智能体安全地对关键系统中使用的 SI 控制措施进行红队演练的研究和方法，使智能体所采取的动作不危及安全或不影响关键服务的可用性。
• 额外的升级机制（Additional Mechanisms for Escalation）。 关于 SI 智能体可以触发对动作进行人工审查的额外机制的方法，例如在多智能体场景中。
• 智能体标识符（Agent Identifiers）。 用于识别 SI 智能体及其关联网络流量的方法，包括例如发布 IP 地址范围等标识符——这有助于归属智能体流量，但也可能使 SI 智能体部署者暴露于攻击。

PRIMARY_SOURCE: https://media.defense.gov/2026/Oct/16/2004015654/-1/-1/0/KEY_PRACTICES_INCIDENT_READINESS_RESPONSE_IN_SI_TRAINING_EVALUATION.PDF