点wise度量误导：多模态逆问题的评估协议

背景与问题

科学重建中常用的评价标准通常依赖于点估计指标（如RMSE、MAE），这些指标基于隐含假设：较低的误差意味着更好的重建结果。然而，对于具有多模态后验的概率逆问题而言，这种假设会失效。研究通过总方差定律指出，最小化MSE或MAE训练得到的点估计将导致谱的边缘严格窄于真实值，从而压缩关键特征——尾部、模式和形状。

核心内容

研究提出了一个三步评价协议来解决上述问题：

1. 事件级分布准确性：通过连续秩概率评分（CRPS）评估单个事件的概率分布。CRPS能够衡量预测分布与真实值之间的整体差异，从而提高对多模态后验的敏感性。
2. 总体边缘准确性和光谱保真度诊断：基于整个数据集的边际准确性来评价模型的整体表现。通过光谱保真度诊断工具检查重建结果是否忠实于实际光谱特征。
3. 不确定性可信度：基于置信区间覆盖来进行校准评估，确保预测分布的真实性和可靠性。

意义与影响

研究的意义在于重新定义了科学重建的评价标准，并展示了在多模态后验情况下，仅依赖点估计指标可能忽略重要信息。通过引入上述三步评价协议，不同模型之间的排名可能会发生反转。例如，在合成基准和粒子物理中的现实逆问题上，基于CRPS的事件级分布准确性与传统的MSE、MAE指标之间存在显著差异。此外，该协议还能够区分在CRPS下不可区分的不同架构，这进一步证明了评价方法对科学结论的重要性，而不仅仅是模型本身的表现。