当LLMs进行推理？通过熵相变的动态系统视角

背景与问题

当前LLM在处理复杂任务时经常采用CoT策略。然而，实验数据表明，在某些情况下，CoT反而会带来负面效果，如增加令牌消耗但未显著提高性能。这一现象引发了关于何时应用显式推理才能真正提升模型表现的疑问。

核心内容

本文通过对LLM解码过程进行系统分析，发现早期阶段熵的变化可以可靠地指示出哪种任务从CoT中受益。具体而言，那些受益于CoT的任务显示稳定的低熵模式，而其他任务则表现出不稳定的或增加的熵值。研究者据此提出了一种名为EDRM（基于熵动态推理流形）的新框架。该方法利用早期解码阶段的熵轨迹来动态选择推断策略，并将这些轨迹嵌入到紧凑且可解释的流形表示中，从而实现零样本部署和细粒度实例级调整。

意义与影响

在多个基准测试（15个）以及不同规模和架构（4种）的LLM上，EDRM表现优于静态基线。具体而言，在数据集层面上，EDRM能够减少高达41-55%的令牌使用量，并通过少量校准样本提高准确性；在实例层面，它还能进一步提升高达4.7%的准确性，同时保持27-45%的令牌节省。这些结果表明，在默认情况下使用CoT可能并非最有效的方法，而基于熵驱动的解码控制可以促进LLM更加高效和适应性的推断。