从语言模型轨迹中读取校准的不确定性

背景与问题

传统语言模型评估不确定性时常用最大Softmax概率（MSP）方法，但该方法往往存在误标的问题。基于内部激活的探针方法虽然可以直接读取激活值作为静态快照，但忽略了层级间表示形成的过程，未能揭示不同路径可能导致相同结果的本质差异。

核心内容

研究人员提出了一种新颖的方法，提取每层MLP更新过程中的11个尺度不变几何特征，并将这些特征输入稀疏线性探针。这种方法通过追踪深度学习过程中各个层次的动态变化来提供更准确的不确定性估计。具体而言，该方法揭示了在不同层级错误是如何积累、强化或逆转的，从而弥补了传统MSP方法的不足。

意义与影响

该研究提出的几何特征提取及探针分析方法能够显著提高不确定性量化的能力，在选择性弃权策略下表现尤为突出。其主要优势在于能够从几何角度直观地理解模型在不同层级上的错误积累情况，从而更准确地判断何时应当放弃预测以避免误报。此外，由于每个特征都有明确的几何解释，探针系数可以清楚地反映出深度上哪些层存在过早决策、矛盾或路径偏移等问题。

综上所述，该研究不仅提供了一种新的不确定性量化方法，还为理解模型内部动态过程提供了全新的视角，对于提升语言模型鲁棒性和可靠性具有重要意义。