填词预训练的记忆动态

背景与问题

研究聚焦于因果语言模型（Causal Language Models, CLMs）在填空能力上的提升，尤其是使用FIM（Fill-in-the-middle）预训练目标。尽管FIM被广泛用于增强CLMs的填空能力，但其对精确记忆的影响尚未得到充分探索。

核心内容

研究团队在FineWeb-Gutenberg语料库上对比了两种不同的预训练策略：FIM和标准左至右（LTR）策略。通过使用前缀基探针进行分析，观察到两种方法的不同表现：

• FIM的表现：更常恢复短或部分匹配的片段。
• LTR的表现：更多地对长精确延续赋予高置信度。

此外，研究还发现，精确提取随重复次数呈线性增长。进一步评估原生FIM格式探针揭示，后缀上下文不足以解释模型的行为，精确回忆仍强烈依赖于前缀上下文的存在。

意义与影响

该研究的意义在于：

• 补充理解：明确了FIM和LTR在不同方面的表现差异，加深了对两者记忆机制的理解。
• 启发未来工作：提示在未来的研究中需要考虑多种探针长度和格式来全面评估模型的记忆行为，而不仅仅是单一的评估方式。

总体来说，这项研究揭示了FIM预训练目标对CLMs精确记忆的影响，并强调了在评估模型记忆行为时应采用多样化的方法。