可易

智能体评估手册:内置、DeepEval 与 AutoEval

可易团队阅读约 8 分钟

在 Amazon Bedrock AgentCore 上,用内置、DeepEval 和 AutoEval 评估器,把业务结果映射到轨迹与会话,并区分按需、在线和批量三种跑法。

目录

#智能体评估手册:内置、DeepEval 与 AutoEval

当你把智能体部署到生产环境,最难的问题之一是:它到底有没有在工作?标准不是它能不能跑起来,而是它是否按业务需要、在规模上把事情做成。很多团队会告诉你,他们其实看不清这一点。他们抽查输出、看延迟,并在能收到时收集用户反馈。这些都不能告诉你:智能体有没有完成用户的任务,在很长的会话里有没有跑题,有没有泄露个人可识别信息(personally identifiable information,PII),或者有没有悄悄跳过它本应执行的一半步骤。

图 1:团队通常只看水面以上的信号,而业务结果取决于水线以下的智能体行为。

智能体评估解决的就是这个问题。客服智能体可以解决每一张工单,同时仍在回复里暴露个人信息。这种情况下,尽管完成率很高,智能体仍然是失败的。要把评估做对,就按合适的细节程度,测量对每个智能体真正重要的行为。

本文说明如何在 Amazon Bedrock AgentCore 上做这件事。我们使用 AgentCore 内置评估器,并直接从 AgentCore Evaluations 使用 DeepEval 和 AutoEval 评估器。

从业务结果开始,而不是从指标名称开始

最常见的错误,是从指标清单开始,挑那些听起来对的名字。“Helpfulness 听起来不错,所以我们就用它。”结果能跑起来并产出数字,但几乎给不出有用的洞察。指标符合它的标签,而不是符合这个智能体的成功含义。

反过来,从三步开始。

用业务语言定义成功。对客服智能体,那可能是一次接触即解决(first-contact resolution)。对研究智能体,那可能是产出一份完整、来源清楚、并且完全依据检索文档的答案。对内容审核助手,这意味着标出所有应该标出的内容,并且只标出应该标出的内容。

把结果拆成可观察的行为。一个能做到一次接触即解决的客服智能体,通常会完成用户陈述的目标,在问题需要澄清时跨轮保持连贯,把回复限制在合规边界内,并正确调用后端工具,例如创建工单或查询订单。

把每种行为映射到合适层级的评估器(evaluator)。轨迹级(trace)指标覆盖每一轮或每一次工具调用的行为。会话级(session)指标覆盖只有看完整段对话才有意义的结果。

图 2:把业务结果翻译成可观察行为,再翻译成轨迹级或会话级的具体评估器。

这三步是让评估有用的心智模型。本文其余部分讲的是 AgentCore 提供了什么来执行它。

评估器目录

AgentCore 的评估器目录来自三个来源:

内置评估器由 AWS 编写并做过质量测试。你用它们的标识引用它们(Builtin.GoalSuccessRate、Builtin.Helpfulness,以及另外 13 个),其余由服务处理。它们按可靠性做过基准测试,覆盖常见维度,因此是直接的起点。

第三方托管评估器来自 DeepEval 和 AutoEval,两个已有的开源评估库。在托管模式下使用时,AgentCore 托管代码、选择评判模型,并在自己的容量上运行推理,和内置评估器一样。如果你的团队在开发中已经用其中一个库,就可以在生产里跑同样的指标,而不必另建评估服务。

自定义评估器以内置或第三方评估器为底,这样你可以换上自己的模型,并修改提示或量规(rubric)。

图 3:三层评估器在“由 AWS 保证质量”和“对运行推理的模型与账号有更多控制”之间做交换。

创建之后,派生出的自定义评估器用法和其他评估器完全一样。

评估器版图

AgentCore 带有很宽的评估器目录,所以你很少从空白页开始。在写自定义评判之前,先检查是否已有一个在测量你关心的行为。下图是整张版图。

图 4:AgentCore 上的完整评估器版图,涵盖内置、DeepEval、AutoEval 和自定义来源。

AWS 内置评估器分成五组:

回答质量看答案是否准确、有依据、形式良好:Correctness、Faithfulness、Helpfulness、ResponseRelevance、Conciseness、Coherence、InstructionFollowing 和 Refusal。

任务与目标完成有 GoalSuccessRate。它看整段会话,问用户的目标是否达到。

工具使用有 ToolSelectionAccuracy 和 ToolParameterAccuracy,检查智能体是否选对了工具,并传入了正确参数。

技能(skills)有 SkillSelectionAccuracy 和 SkillInstructionFollowing,用于会加载技能的智能体:是否调用了正确技能,以及是否遵循了它的步骤。

安全有 Harmfulness 和 Stereotyping。

旁边还有三项对照真实轨迹的检查:TrajectoryExactOrderMatch、TrajectoryInOrderMatch 和 TrajectoryAnyOrderMatch。它们把智能体实际的工具路径和你期望的路径比较。当“它怎么到达那里”和“它产出了什么”同样重要时,用这三项。

DeepEval 在四个组里提供托管的开源指标:

任务与目标完成:TaskCompletion、GoalAccuracy 和 ConversationCompleteness。

对话质量:TurnRelevancy、KnowledgeRetention 和 Summarization。

工具使用:ToolUse。

安全:Bias、Toxicity 和 PIILeakage。

这些指标对多轮智能体尤其有用。ConversationCompleteness 抓住那种只回答最新一条消息、却悄悄丢掉更早请求的智能体。KnowledgeRetention 抓住那种忘掉用户三轮之前说过的话的智能体。

AutoEval 提供更专门的信号:

Security 标出恶意输出,例如试图注入指令或泄露系统提示。

Possible 抓住过度谨慎的智能体,它们把一个有效任务错误地宣布为不可能。

Humor 对面向消费者、个性是产品一部分的智能体有意义。

自定义评估器。当目录里没有合适的评估器时,你可以写一个自定义的以模型为评判(LLM-as-a-judge)。

每个评估器的确切定义、评分刻度和输入要求,都在 AgentCore 文档的提示模板库里。其中包括它使用的评判提示、它运行在轨迹级还是会话级,以及它是否需要参考答案或期望轨迹。你可以调用 ListEvaluators API,在一次响应里拿到完整目录和你自己的自定义评估器。

多维度评估器

到目前为止,每个评估器对每条轨迹或会话返回一个分数。这在你只测量一种行为时够用。但结果映射的第 2 步很少是一个评估器对应一种行为。一条客服回复必须解决问题、遵守退款和数据政策,并且保持专业。一个把三者放在一起权衡的评判只返回一个数字,你无法知道是哪条标准把它拉下来的。

多维度评估器是一个自定义的以模型为评判,用一份维度列表代替单一刻度。每个维度有自己的名称、说明,以及数值或分类刻度。评判读一次轨迹,在同一次调用里给每个维度打分。AgentCore 为每个维度返回一个结果。

图 5:多维度评估器在一次评判调用里给多个维度打分,每个维度返回一个结果,没有合成总分。

当成功标准可以各自失败时,使用多维度评估器。例如答案准确但不合规,或者问题解决了但态度粗鲁。它还要求每条标准都能从同一份证据评判,这样一次评判调用就取代多个几乎相同、反复重读同一轨迹的评估器。当你分开给这些标准打分,就可以对每一项做门禁。一次发布如果语气变好、但政策合规退步,就会失败;单一混合分数会把这一点藏起来。

当已有的内置或第三方指标已经覆盖这些标准时,把标准留在分开的评估器里,例如 Builtin.Correctness 或 ThirdParty.DeepEval.PIILeakage。当它们需要不同层级或不同评判模型时也要分开,因为同一个评估器里的维度共享一个层级和一个模型。当某些标准需要真实对照,例如 {expected_response} 或 {assertions} 时,同样分开。把不需要参考的标准放在自己的评估器里,意味着它仍然可以跑在实时流量上。

按智能体类型举例的评估栈

下面每一组都从最贴近业务结果的两到三个评估器开始。当你发现第一组漏掉的失败模式时,再加入其他评估器。标了“需要真实对照”的评估器只在批量评估里运行,因为实时流量没有参考答案或期望路径。

客户支持多步研究领域内容(医疗、法律、金融)
业务结果一次会话里解决问题,且没有下游风险按既定工作流给出完整、来源清楚的答案在领域内给出正确、无偏见、安全的答案
主要风险丢掉请求,或不安全、不合规的回复答案对了,但工具路径错了;或长会话里丢掉上下文答错。答错比不答更糟
先用这些Builtin.GoalSuccessRate(锚点);ThirdParty.DeepEval.ConversationCompleteness;ThirdParty.DeepEval.PIILeakageBuiltin.TrajectoryAnyOrderMatch(需要真实对照);ThirdParty.DeepEval.GoalAccuracy;ThirdParty.DeepEval.KnowledgeRetentionBuiltin.Correctness(需要真实对照);ThirdParty.DeepEval.PIILeakage;ThirdParty.AutoEval.Security
需要时再加ThirdParty.DeepEval.Toxicity;ThirdParty.AutoEval.Security(敏感账户数据);Builtin.HelpfulnessBuiltin.SkillInstructionFollowing;ThirdParty.AutoEval.PossibleThirdParty.DeepEval.Bias;Builtin.Helpfulness
派生评估器可选如果推理必须留在你的账号里,用于轨迹和技能指标几乎总是要用,以便每次评判调用都处在你的数据治理之下

运行评估:三种模式

AgentCore 支持三种评估模式。

按需评估是最快的反馈环。在开发或调试时,把一段会话直接传给 client.evaluate()。系统里的每个评估器,包括第三方的,都能在这里用。

import boto3

client = boto3.client('bedrock-agentcore')

response = client.evaluate(
 evaluatorId="ThirdParty.DeepEval.TaskCompletion",
 evaluationInput={"sessionSpans": session_span_logs}
)

for result in response["evaluationResults"]:
 print(f"Value: {result.get('value')}")
 print(f"Explanation: {result.get('explanation', '')}")

在线评估挂到你的实时智能体运行时上,按配置的比率抽样真实流量。这是你的生产健康信号。内置和第三方评估器可以自由混在同一份在线评估配置里。

批量评估针对一组固定会话运行既定的评估器栈:这是发布前做回归测试的黄金数据集。用它来确认一次提示变更或模型升级,在你关心的每个维度上都保住了质量。

三种模式使用相同的评估器标识。从按需的开发测试切到生产在线评估,是一次配置变更,不是一次代码重写。

合在一起

越来越难的部分是选择用哪些评估器。先挑出最能说明你是否达到业务结果的两三种行为,并先测量它们。当你发现当前这一组漏掉的失败时,再加一个评估器。

要看完整目录,调用 ListEvaluators API。它在一次响应里返回内置、DeepEval 和 AutoEval 评估器,以及你账号里的任何自定义评估器。在挑选其中任何一个之前,先回答两个问题:“对这个智能体来说,成功是什么样?”以及“轨迹里的哪种行为表明它发生了?”

PRIMARY_SOURCE: https://aws.amazon.com/blogs/machine-learning/the-agent-evaluation-playbook-built-in-deepeval-and-autoeval-on-agentcore

  • #智能体评估
  • #AgentCore
  • #DeepEval
  • #验收
  • 落地方法

    托管你的智能体

  • 落地方法

    用 AgentCore 可观测性监控本地与多云 AI 智能体