基于可学习性调整的扩散语言模型微调

背景与问题

扩散语言模型（DLMs）近年来在自然语言处理领域取得了显著进展。尽管自回归模型常用的后训练技术——续写训练（SFT）——也被应用于DLMs中，但其效果并不总是理想，甚至有时会损害性能。当前研究主要集中在理解SFT在DLMs中的不足之处，尤其是它未能充分考虑token的可学习性问题：稀有token难以学习，而常见token的学习则变得相对简单且缺乏价值。

核心内容

为了解决上述问题，研究团队提出了LIFT算法。该算法的核心思想是在输入掩码程度不同的情况下动态调整训练策略。具体而言，在大部分输入被掩盖的情况下，LIFT会优先学习那些容易学习的token；而在更多上下文信息可用时，则转而学习更难掌握但同样重要的token。这种策略使得模型在不同扩散时间步骤中能够更好地利用现有的信息进行有效学习。

实验结果显示，与传统SFT方法相比，LIFT在六个推理任务上的表现显著提升，特别是在AIME'24和AIME'25两个基准测试中取得了高达3倍的相对性能改进。这些结果表明LIFT不仅克服了SFT在DLMs中的局限性，还能有效增强模型的推理能力。

意义与影响

LIFT算法的提出对于提升扩散语言模型的整体推理性能具有重要意义。首先，它提供了一种更灵活、适应性强的后训练方法；其次，通过针对不同场景下token学习难易程度的动态调整，LIFT展示了在实际应用中显著提高模型表现的可能性。此外，该研究还为进一步探索DLMs和其他复杂模型结构的有效训练策略提供了新的思路和方向。

综上所述，LIFT不仅填补了当前技术中的空白，也为未来相关领域的发展奠定了坚实的基础。