首页 / 资讯详情
华中师大 CoReFuse-Med：先净化再融合，让低质模态不再拖后腿｜ACM MM 2026
摘要
来源：多模态信息融合文章链接：https://mp.weixin.qq.com/s/SVr9DmtPyzORLYad-tNR-g多模态融合何时失效？ACM MM 2026 · CoReFuse-Med多模态并不是越多越好。当MRI已经空间对齐，但是T1、T2、FLAIR等模态的采样质量差别很大时，低质量模态可能会把高质量模态中产生的重采样伪影一起带入到融合网络中去。CoReFuse-Med从浅层污染和深层模态偏置这两个方面来对症下药地进行修复。论文标题：When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation作者：Yuchen Pei, Xiaoyu Hu, Yixiong Zou, Dingwen Hu, Hui Chu, Yutao Ma, Shijun Qiu, Gang Li单位：华中师范大学、华中科技大学、广州中医药大学及其第一附属医院、北卡罗来纳大学教堂山分校论文链接：https://arxiv.org/abs/2609.10261代码链接：https://github.com/lrever/CoReFuse01对齐好了，但是融合为什么还不能成功呢？FUSION FAILURE · FIG. 1论文在IH EPVS数据集中对高分辨率T1单模态DSC进行了观察，并发现了一个出乎意料的结果：高分辨率T1单模态DSC为0.703，融合T1、T2 和 FLAIR 后反而降到大约 0.695。空间对齐并不等同于信息质量的一致性。低分辨率序列经过重采样之后，其图像和T1同大小，但是可能会含有不可靠的信息。三个证据：污染和偏见作者把问题限定在了分辨率不同所引起的质量问题下降上，并没有涉及到未对齐或者模态全部缺失的情况。首先比较浅层特征的F-CNR，然后联合训练梯度和遮挡测试，最后跟踪跳跃连接的噪声传播：由此可以解释为什么“弱训练贡献”也有可能是“强推理干扰”。证据一：低分辨率产生噪声论文中提出的特征对比噪声比F-CNR：用病灶区和背景区的均值之差除以背景区的标准差来衡量可分性。第三页特征可视化显示，T1的F-CNR值是1.0283，T2的F-CNR值是0.4301，FLAIR的F-CNR值只有0.2980；T1 约为 FLAIR 的 3.4 倍。即使从几何上来说是重合的，但是浅层表征的可靠性却不一样。式(1)｜F-CNR：病灶和背景特征可以区分证据二：优化和推理不一致在EPVS的3D U-Net中，T1占据了77.4%的梯度贡献，FLAIR只占到了13.1%；但是遮挡FLAIR会使DSC降低70.2%，和遮挡T1的影响一样大。梯度更新次数少，并不代表在预测的时候就没有影响了。论文把反差看作是优化——推理不一致性的主要证据。证据三｜Skip 连接会传染U 型网络中的 skip connections 本来是用来把空间细节送入解码器的；在各向异性MRI中，它也会把重采样的结构伪影一起带到新的图像中去。网络又倾向于依靠更加“干净”的、容易被优化的高质量模态，因此出现了特征污染和贪婪模态选择的问题。T1、T2、FLAIR等浅层特征F-CNRTable 1 梯度贡献、模态遮挡之后DSC下降02首先进行净化，然后对各个模态的贡献进行平衡COREFUSE-MED·FIG.3CoReFuse-Med 不是简单的再堆一个更强大的cross-attention，而把融合分成两部分：LACE首先给每个MRI序列构建出高效的各向异性编码；