设计中的多语言 steering：基于设计的多语言稀疏自编码器和原理性的层选择

背景与问题

稀疏自编码器（SAEs）在大型语言模型（LLMs）中提供特征级的机械可解释性和激活引导。然而，在多语言环境中，基于SAE的语言控制仍然不可靠：大多数SAE都是用英语数据训练的，并且选择定向层是基于经验的方法。这导致了不同语言之间的表现不一致，尤其是在翻译和跨语言摘要等任务上。

核心内容

研究者提出了一种原则性的多语言语言控制方法。首先，他们证明在多语言数据上训练SAEs可以增强跨语言表示的一致性，并提高语言控制的可靠性及质量保留。其次，研究人员引入了基于多语言对齐和语言可分性的先验定向层选择规则，该规则能够预测有效的干预深度而无需逐层搜索。研究者在LLaMA-3.1-8B和Gemma-2-9B模型上进行了评估，并使用SpBLEU、ROUGE-L、COMET和LaSE进行衡量。

意义与影响

这项工作通过提供一个可靠且可预测的多语言SAE定向方法，解决了当前SAE在多语言环境中的局限性。该方法不仅稳定了语言识别准确性和生成质量之间的权衡关系，还为理解多语言SAE提供了代表层面的解释框架。这将对未来的自然语言处理研究产生重要影响，特别是在需要跨语言一致性的场景中提供了一种有效的方法。