Research Papers 论文研究 6h ago Updated 1h ago 更新于 1小时前 43

MasterControl Seventeen Every Time 每次都是MasterControl十七

A governed enterprise analytics approach separates language model intent interpretation from deterministic policy-driven execution of pre-approved analytical programs The analytical class supports relational operations, aggregation, comparison, windows, ranking, and similarity calculations while maintaining replayability through fixed rules In experiments across 440 runs, runtime-planning LLM agents (three 8B models) failed to match the full answer-and-evidence contract in any of 330 episodes Qw 提出受治理的企业分析方法:LLM仅负责意图解释,确定性策略执行预批准的分析程序,同时返回结果与证据 在定义的分析类中保持表达能力,支持关系运算、聚合、比较、窗口、排名和相似度操作 固定语义、策略、数据和执行规则使分析结果具备可重放性 实验显示:三个8B模型运行时生成SQL和选择工具,330次规划中无一匹配完整答案-证据合同;Qwen3-8B仅解释意图+策略执行方案达成110/110匹配 作者强调此为特定配置结果,不构成运行时代理在其他设计下无法成功的证据

55
Hot 热度
70
Quality 质量
60
Impact 影响力

Analysis 深度分析

TL;DR

  • 提出受治理的企业分析方法:LLM仅负责意图解释,确定性策略执行预批准的分析程序,同时返回结果与证据
  • 在定义的分析类中保持表达能力,支持关系运算、聚合、比较、窗口、排名和相似度操作
  • 固定语义、策略、数据和执行规则使分析结果具备可重放性
  • 实验显示:三个8B模型运行时生成SQL和选择工具,330次规划中无一匹配完整答案-证据合同;Qwen3-8B仅解释意图+策略执行方案达成110/110匹配
  • 作者强调此为特定配置结果,不构成运行时代理在其他设计下无法成功的证据

为什么值得看

本文针对企业级AI分析场景提出了"可控性优先"的设计思路,对追求可靠性与可审计性的工业应用具有重要参考价值。实验数据揭示了纯运行时规划方法在复杂分析任务中的可靠性瓶颈,为架构选型提供了实证依据。

技术解析

  • 架构设计:采用"解释-执行分离"模式,LLM仅承担意图理解与问题解析,确定性策略引擎负责选择并运行预批准的分析程序,确保输出同时包含结果和可追溯证据
  • 表达能力边界:在关系运算基础上扩展聚合、比较、窗口函数、排名和相似度计算,覆盖企业分析常见需求
  • 可重放性保障:通过固定数据语义、执行策略和规则集,实现相同输入下结果的确定性复现
  • 实验对比:440次运行中,3个8B模型采用运行时SQL生成+工具选择方案,Qwen3-8B采用意图解释+策略执行方案;330次运行时规划无一成功,策略执行方案110/110全匹配
  • 局限性声明:作者明确指出结果依赖特定配置,不排除其他设计下运行时代理的可行性

行业启示

  • 企业级AI应用应优先考虑"可控性"而非"灵活性",在关键业务场景中采用受治理架构可降低风险并提升可审计性
  • 运行时规划方法在复杂分析任务中存在可靠性瓶颈,混合架构(LLM理解+策略执行)可能是更务实的选择
  • 设计AI系统时需明确能力边界,通过实验数据验证假设,避免过度依赖单一范式的泛化能力

Disclaimer: The above content is generated by AI and is for reference only. 免责声明:以上内容由 AI 生成,仅供参考。

LLM 大模型 Research 科学研究 Security 安全 Evaluation 评测