读出捷径：位置数复制主导了小型语言模型的算术CoT读出

背景与问题

研究聚焦于小规模语言模型（LLMs）在解决算术问题时CoT提示的重要性，以及当步骤顺序被打乱后性能是否受到影响。具体来说，研究团队通过指令调优的LLMs在GSM8K数据集上进行实验，试图明确CoT贡献的本质是什么。

核心内容

研究通过“前缀完成”技术分离出答案读取阶段，并发现了一个关键现象：模型倾向于复制答案前导空白处末尾的那个数字，而与中间推理无关。这表明，尽管使用了CoT提示，但模型更多依赖于位置信息而非实际的推理过程来生成最终答案。这种位置捷径在正确和错误的问题上都表现出了高一致性（95-96%）。进一步分析显示，复制通道优先于保留上下文生成：当尾部数字被替换为错误值时，即便中间推理正确，模型的准确率也会显著下降；移除这个数字则能恢复部分准确性。

研究还发现，Qwen和Llama在处理新干扰项时表现出高达87-95%的概率一致性，而Gemma则选择性地进行门控。这表明不同模型架构对CoT提示的理解存在差异，并且这种差异不仅限于算术任务，还在其他非算术任务中有所体现。

意义与影响

研究揭示了小规模语言模型在处理算术问题时一种基于位置的捷径机制，并挑战了CoT提示主要用于逻辑推理的传统观点。这为理解模型内部工作机制提供了新的视角，同时也指出了CoT提示在实际应用中的局限性：其主要功能可能不是促进逻辑推理，而是利用输入序列的位置信息来生成答案。

此外，研究还提出了一个重要的警示：评估步骤级别的忠诚度（faithfulness）时需注意区分位置答案的传输与真正的计算过程，这种失败模式可能会导致CoT基于监督出现误判。这一发现强调了在开发和应用LLMs过程中应更加关注模型的具体机制而非表面现象。