在 Amazon Bedrock AgentCore 中构建自定义基于代码的评估器

一、 背景与问题：为何需要“代码评估器”？

将AI智能体从原型推向生产，需要全方位的质量评估。亚马逊的 AgentCore Evaluations 服务已提供“大语言模型作为评判者”（LLM-as-a-Judge）的评估方式，但在某些关键领域，这种方式存在明显局限：

• 在金融、合规等专业领域，评估标准往往是硬性、确定性的。例如，智能体必须返回精确的股价、严格遵守客户身份识别流程、输出符合特定格式的数据、并绝对保护个人隐私信息。这些规则不容许任何概率性判断。
• “大模型评判”成本高、存在不确定性。对于纯粹的、客观的规则验证（如正则表达式匹配、数值范围判断），调用大语言模型既不经济，其非确定性的输出也可能无法满足严格的合规审计要求。

二、 核心解决方案：用 AWS Lambda 构建自定义评估逻辑

为了解决上述问题，亚马逊推出了自定义代码评估器。其核心是允许用户将自己的业务规则和验证逻辑打包为一个 AWS Lambda 函数，作为评估的“引擎”。

• 完全掌控评估逻辑：用户可以使用任何编程语言（Python、Node.js等）编写Lambda函数，实现复杂的评估规则，例如：
  • 结构化数据验证：检查工具输出的JSON是否符合预定义的 schema。
  • 业务规则校验：验证智能体是否在调用特定API前完成了必需的身份验证步骤。
  • 外部数据与状态查询：将评估与外部系统（如实时行情数据库）或自身状态（如用户历史记录）结合。
• 确定性、高可靠性：代码在相同输入下永远产生相同结果，评估过程可审计、可复现，完美满足金融、医疗等行业对确定性和合规性的严苛要求。
• 高效且节约成本：评估不消耗大语言模型的 token，对于高频或大规模的评估任务，能显著降低成本。

三、 核心应用场景：贯穿研发与生产全流程

该功能的强大之处在于其灵活性，可以集成到智能体应用的全生命周期中：

1. 研发与持续集成/交付阶段：作为 “质量门禁” 集成到CI/CD流水线中。每次代码提交或模型更新后，自动运行这些确定性测试，确保基础业务逻辑和合规性不被破坏，左移质量保障。
2. 生产监控阶段：进行 “在线评估” 。对生产环境中的真实用户交互进行实时或准实时的代码逻辑评估，监控智能体的实际表现是否符合所有既定规则，实现持续的质量监控。

四、 深层含义与行业价值

这一功能的推出，反映了AI应用部署成熟化的几个关键趋势：

• 从“泛化评估”到“领域特化评估”的演进：大模型评估适合检查“是否像人话”、“是否流畅”，而代码评估则负责检查“是否正确”、“是否合规”。两者结合，构成了立体化的质量评估体系。
• 赋予领域专家“治理”工具：业务和合规专家（如金融风控人员）无需深度参与大模型微调，只需将他们的核心规则以代码形式定义，就能直接约束和监督智能体的行为，降低了AI治理的门槛。
• 拥抱异构与开放生态：文章特别指出，即使智能体使用了不同的框架开发，只要其追踪数据（traces）格式符合标准，就可以使用同一套自定义代码评估器进行评估。这促进了AI生态的开放与互通，避免了厂商锁定。

**总结而言，Amazon Bedrock AgentCore 的自定义代码评估器，并非要取代“大模型评判”，而是为其提供了至关重要的补充。它为高风险、强规则的行业场景，提供了一