从残差到原因：由表格数据引导的LLM驱动机制推理

背景与问题

在科学应用中，机器学习面临一个持续性的挑战：如何同时实现预测和理解。统计模型擅长处理结构化数据但通常作为黑盒操作；现有可解释性方法大多仅回答“哪些特征重要”，而不阐述特征之间的交互关系或逐步改进解释以适应人类的理解。直接让LLM预测目标值会迫使它搜索整个输出空间，而MARICL框架通过结合基模型和LLM来解决这一问题。

核心内容

MARICL引入了一种基于代理的框架，其中LLM分析基模型的预测错误，并从高残差示例中提出缺失结构的假设。具体步骤包括：

• 锚定预测：以基模型为基准进行预测。
• 假设生成：利用LLM识别基模型的失误并推测其缺少的结构。
• 文本梯度优化：通过多轮交互式文本梯度优化生成明确的修正项。

MARICL在九个涵盖科学、生物医学、社会经济和合成设置的数据集上进行测试，结果表明它始终优于基础模型。此外，研究者还进行了实验以验证这些修正是否反映真实的结构或批次特异性噪声，即通过冻结特定批次学习到的公式并在其他批次中应用观察其表现。

意义与影响

MARICL框架不仅提高了科学和医学领域中的预测准确性，而且在多个数据集上都取得了显著成效。更重要的是，它能够生成明确的修正项，并且这些修正可以在不同实验批次之间通用。具体而言：

• 跨批次泛化：冻结某一实验批次学习到的知识并应用于其他批次仍能提高预测准确率。
• 机制泛化边界：成功的边界与生物化学过程一致，而非单纯的批次数量，展示了直接的机制泛化证据。

这种多代理残差上下文学习方法为科学应用中的可解释性和泛化性提供了新的思路。