图对齐拓扑作为接地检测的归纳偏置

背景与问题

大型语言模型（LLMs）因其强大的生成能力而广受关注，但它们存在一些关键问题。首先，LLMs在生成内容时倾向于产生分布上合理的延续，而不是严格验证其事实性。其次，在需要严格遵循事实的领域（如临床决策支持），这些模型的表现往往不尽如人意。

现有的一些幻觉检测方法通过检索增强、自我一致性或声明验证来提高模型的事实正确性，但它们通常不会直接在对齐拓扑上进行学习。因此，对于某些特定任务而言，这些方法的效果并不理想。

核心内容

为了解决上述问题，研究者提出了一个新的解决思路——利用匹配二分图（aligned bipartite graphs）来建模LLM的输出和参考信息之间的对齐结构，并通过图神经网络（GNN）进行训练。具体步骤如下：

1. 构建一个匹配二分图：将参考信息节点与生成的LLM输出节点两两配对，形成二分图结构。
2. 使用消息传递机制训练GNN模型来学习对齐结构。
3. 在四个不同的数据集（幻觉检测及问答）上进行实验验证。

研究结果显示，该方法在所有测试的数据集上表现优异，不仅超过了其他基于检索增强、自我一致性或声明验证的方法，甚至也超越了基础的大型语言模型如GPT-4o。

意义与影响

这项研究的意义在于提供了一种新的视角来解决LLMs在特定应用场景下的事实性问题。通过直接利用对齐拓扑作为归纳偏见，这种方法能够更准确地检测幻觉并提高生成内容的质量。对于需要严格遵循事实的领域（如医疗、法律等），这种技术有望带来实质性的改进。

此外，该研究为图神经网络的应用开辟了新的方向——不仅仅局限于传统的节点分类或链接预测任务，还可以用来解决自然语言处理中的复杂对齐问题。