模型崩塌与文化进化

背景与问题

在语言模型（LLM）训练过程中观察到的现象是，经过多轮自训练后，这些模型可能会退化或“崩溃”。尽管统计上已有研究描述了这种现象，但缺乏对具体结构、顺序及原因的详细解释。这一问题促使研究人员寻找一种理论框架来理解模型退化的机制。

核心内容

本文引入了文化进化中的迭代学习理论来解释LLM自训练过程中的模型退化。作者提出了五个可验证预测，并通过在英语、德语和土耳其语三个语言上，对LLaMA-2-7B和Mistral-7B进行10代自训练实验进行了测试。

主要发现是：组合性（compositionality）——即使用词语构建句子的能力——并不随自训练的增加而单调上升。具体表现为在初始阶段有所提升后又逐渐下降，这表明模型先从原有结构中学习复杂表达方式，但随后又倾向于简单化。此结果不受随机过滤影响，仅任务导向过滤能维持组合性的这种非单调变化趋势。

意义与影响

这项研究将模型退化重新定义为一种文化传递现象，并为自训练流水线设计提供了具体原则。通过实验证明了迭代学习理论的有效性，并揭示了语言模型在多轮训练中的复杂动态过程，不仅加深了对模型内部机制的理解，也为未来模型优化和设计提供了新思路。

结论指出，任务导向的过滤对于保持组合性的非单调变化是必要的，这为解决LLM自训练退化问题提出了新的解决方案。此外，通过将人类行为数据与模型调节梯度进行对比分析，进一步验证了理论假设的有效性，展示了其在现实应用中的潜力和价值。

这些结果不仅填补了模型退化解释的空白，还为未来研究提供了重要参考框架，有助于推动语言模型技术的发展。