基于信息论的多模态表征学习用于心电信号

心电图智能诊断的瓶颈：报告文本的“信息损耗”

临床报告作为文本模态，难以完整捕获ECG波形多层次的生理结构信息，从粗粒度的诊断类别到细粒度的波形形态均存在信息丢失。传统多模态方法仅将ECG与报告语义对齐，相当于用低维文本映射高维信号，必然造成表示信息的损失。

理论驱动的创新：信息论视角的框架设计

本文的核心突破在于提出一个可计算的信息论目标函数。该函数要求学习到的ECG表示同时满足：

• 结构保留：最大化表示与原始信号结构之间的互信息。
• 语义整合：最大化表示与对应临床报告语义之间的互信息。

基于此原则构建的 MERIT框架 是一个双分支预训练模型，它结合了：

1. 掩码ECG建模：专注于学习ECG信号的内部结构和上下文关系。
2. ECG-文本对比对齐：专注于建立ECG表示与临床文本语义的关联。

这种设计实现了结构学习和语义对齐的协同优化，而非简单的并行任务。

多层次优势：从精细分类到零样本泛化

MERIT的优势在实验中得到了系统验证，体现了其表示的通用性和有效性：

• 细粒度分类性能飞跃：在PTB-XL数据集上，SubClass分类的F1分数提升超过5%，这直接证明了模型对细微病理模式的捕捉能力。
• 强大的零样本与泛化能力：在零样本评估中，SubClass分类的AUC和F1分别提升2.66%和2.11%，表明学习到的表示已内化了强临床先验，即使未在特定子类数据上训练也能有效识别。
• 跨模态生成的质量提升：将MERIT表示用于指导大语言模型生成临床报告，在ROUGE和METEOR等文本质量指标上获得改善，这证明了其表示中蕴含了对临床叙述有用的关键信息。

核心洞察：MERIT的成功表明，高性能的心电图表示学习不应仅仅是“对齐”文本，而应是一个在统一信息理论框架下，有目的地、结构化地“保留”与“整合”异构信息的过程。它为多模态医学信号学习提供了一个新的、更具理论指导性的范式。