FusionSense：三阶段近传感器学习以实现运行时自适应多模态边缘智能

背景与问题

随着自主系统和智能工业部署的增长，计算资源越来越多地被分布在近传感器、边缘和云端。这种分布要求实时适应性和高度优化以满足能源限制、延迟需求及可靠性预算。然而，当多模态传感器套件（如摄像头、LiDAR/深度图等）在边缘设备上普及时，大部分先前方法要么将模态融合处理在强大的服务器上，要么使用单一模态的近传感器过滤器忽略跨模态依赖关系，导致冗余传输或事件遗漏。这一问题成为当前技术中的主要瓶颈。

核心内容

FusionSense 提出了一种融合感知框架，旨在解决上述挑战。其核心是通过三个步骤训练轻量级近传感器分类器：首先，服务器端的融合模型学习下游任务；其次，量化每个模态对最终决策的重要性（即filter-out-safe, FoS标签）；最后，在边缘侧紧凑化的融合模型中注入这些预测结果作为辅助信号。这种方法使得运行时可以做出联合减少计算和通信决策，且该过程能够随着传感器数量的增加而线性扩展。

通过在 SynDrone 环境下实施双模态（RGB+Depth/LiDAR）设置，实验验证了 FusionSense 的有效性。相比单一模态过滤器，FusionSense 能维持更高的数据缩减率并保持任务质量；具体而言，在1% FoI 预测值的情况下，能耗降低了 33 倍；在 10% FoI 预测值时，能耗减少了 11 倍。此外，当固定数据缩减率为 30% 时，FusionSense 将质量损失减少至原来的 7.7%，且相较于最佳先前过滤基线，其节能效果提高了约 50%。

意义与影响

FusionSense 的提出显著提升了多模态传感器系统在边缘设备上的运行效率和性能。通过融合感知框架的有效实施，不仅能够实现实时的数据处理和传输优化，还能在面对复杂应用场景下保持较高的任务质量。这对于推动边缘计算、物联网及自动驾驶技术的发展具有重要意义，并有望在未来实现更广泛的工业应用。

关键词: 融合感知, 多模态传感器, 边缘计算, 数据缩减, 任务质量