LLM 智能体有多一致？多步工具调用流水线行为可复现性测量

本文揭示的核心矛盾是应用人工智能领域中最具潜在影响力的问题之一：工程领域对确定性系统的预期与大语言模型的概率性现实之间的冲突。在生产环境中，我们构建了复杂的工作流——一个智能体的操作触发另一个操作、数据被获取、API被调用、副作用产生——所有这些都基于“若X则Y”成立的假设。本研究系统性地瓦解了针对一类特定且日益常见的智能体的这一假设：这些智能体不仅进行推理和搜索，还会调用具有现实世界影响的离散、类型化工具。这是一项至关重要的贡献，因为它将一致性争论从开放式推理或基于搜索的“ReAct”智能体领域，推进到了实际用于管理数据流、处理数据及与企业软件交互的结构化、具后果性的接口层面。

这一发现尤其令人警醒的关键在于其背景：具有类型化参数的结构化工具调用原本被认为是解决自由文本操作混乱问题的方案。其核心论点是，通过将大语言模型的输出约束到明确定义的模式中——例如“使用参数C123调用函数get_customer_data(customer_id: string)”——我们注入了一层可预测性和可调试性。这项研究表明，这层保护可能比我们所期望的更为薄弱。这种不一致性不仅关乎大语言模型偶尔生成格式错误的JSON；更在于模型在相同条件下，在工具选择或排序上会达成不同的战略决策。这指向了一个深层次问题：工具调用前的“推理”过程——这一过程固化于模型权重之中，并受其采样温度及内部随机过程的影响——从根本上仍是非确定性的。结构化输出只是覆盖在那种流动、概率性认知之上的表层。

其影响波及人工智能系统设计的整个技术栈。对开发者与机器学习运维而言，这种不一致性是一场调试噩梦。如果导致故障的智能体可能无法重现相同的错误，你该如何复现问题、审计决策路径或确保合规性？