语言模型知道不该说什么吗？关于统计性预emption在大语言模型中的因果证据

背景与问题

在自然语言处理领域，如何解释学习者在缺乏负面证据的情况下学会哪些句子结构是不可接受的一直是个难题。传统的观点认为，学习者的知识完全依赖于正面的和负面的反馈信息。然而，在实际环境中，很多句子形式可能从没有出现过负面反馈，因此，研究者提出了统计预占理论（Statistical Preemption），即通过频繁暴露于惯用表达可以提前阻止不常见但结构上可能的形式。

核心内容

本研究使用大规模语言模型进行了一项深入的实验，首次直接区分了统计预占和竞争形式根深蒂固假说。通过对120个英语动词-构型对（包括受格、使役和定位）进行四次独立实验，结果表明：

• 大规模语言模型中的惊喜模式与人类可接受性判断高度相关（$r = 0.79$），并得到了三个独立行为数据集的验证。
• 这些规律是由竞争形式频率而非动词总体频率驱动的，通过非循环部分相关性进行了确认。
• 预占敏感性随模型大小呈幂律增长。
• 控制式微调干预实验证明，通过操控竞争形式频率可以改变预占行为，并排除了频率敏感性混淆因素。

意义与影响

这些结果提供了支持神经语言模型通过分布竞争获得负面语法知识的证据，这正是构式语法的核心机制。研究揭示了大规模语言模型如何从统计信息中学习抽象的语言规则，不仅丰富了自然语言处理领域的理论基础，也为未来相关研究提供新的视角和方法。