首页 / 资讯详情
模态缺失、噪声干扰怎么办？天津大学张长青：给多模态融合加上「可信度量尺」| CNCC 2026
摘要
真正的挑战，是让模型保留有效信息、识别可靠证据，并适应新的任务。 作者丨张 璐 编辑丨马晓宁 在具身智能、自动驾驶和智慧医疗等场景中，模型需要处理的数据远不止图像、文本和语音。雷达、触觉、心电、医学影像及各类传感器数据，都可能成为预测和决策的依据。然而，不同模态之间既存在关联，也包含彼此无法替代的信息；现实数据还常常面临模态缺失、噪声干扰等问题。如何在融合信息的同时保留模态差异？当不同来源的数据质量不一致时，模型又该如何判断哪些信息更可靠？如果每遇到一种新任务，都需要重新设计和训练专用模型，多模态技术的应用成本又该如何降低？10月21日，在 CNCC 2026 首日的Tutorial环节，天津大学人工智能学院英才教授、国家级青年人才张长青作了题为《广义多模态融合技术》的报告，介绍了团队围绕多模态表征、动态可信融合和通用预测基座开展的研究。从保留模态特有信息，到利用证据评估预测的不确定性，再到尝试构建能够适应不同模态组合与预测任务的基础模型，这些工作指向同一个问题：如何让多模态融合更好地适应真实世界的复杂性。01超越简单对齐：如何兼顾模态的共性与个性？多模态融合的价值，在于不同来源的信息能够相互补充。单一模态只能呈现对象或事件的部分特征，而不同模态的结合，有可能帮助模型形成更全面的判断。但模态数量增加，并不意味着预测准确率必然提高。新增信息可能包含噪声，也可能对当前任务产生误导。因此，多模态融合不仅要回答如何整合信息，还要回答如何保留有效信息、抑制无关干扰。张长青首先介绍了多模态表征中的两种思路：联合表征（Joint Representation）与协同表征（Coordinated Representation）。联合表征尝试将不同模态的信息整合到共同的表征中；协同表征则强调不同模态之间的关联。以典型相关分析（CCA）及其深度学习变体为例，相关方法会将不同模态映射到具有较强相关性的空间，以利用它们之间的共性信息。问题在于，如果过度强调共享信息，模态特有的信息可能难以得到充分保留。例如，在医学诊断中，病原学检测和 CT 影像能够从不同角度提供信息。前者可能帮助识别感染的病原体，后者能够显示肺部病灶的位置与范围。两类信息相互补充，却不能简单地相互替代。因此，多模态表征需要同时考虑共性与个性，而不是仅仅追求不同模态之间的一致性。张长青团队尝试改变表征学习的思路：不只从观测数据中提取共同特征，还通过重构不同模态的观测，学习能够容纳多种信息的潜在表征。在这一思路下，可以将每个样本背后的潜在表征视为需要学习的变量，再通过不同的映射机制重构各模态的观测数据。与单纯将不同模态映射到共同空间的做法相比，这种方式试图从重构目标出发，保留观测数据中包含的不同信息。张长青将这一思路与神经辐射场（NeRF）的立体结构恢复联系起来。NeRF 根据不同视角的观测学习场景表示，并据此生成相应视角的图像。两者在通过潜在表示解释多种观测这一思路上具有相似之处，但具体任务和技术机制并不相同。这一研究方向也与医疗、工业场景中的模态缺失问题有关。在医院中，不同患者接受的检查项目可能不同：有些患者做了 CT，有些患者没有；有些患者具有完整的化验数据，有些患者则缺少部分检查结果。如果算法必须先补齐所有缺失数据才能进行预测，就可能面临高维数据补全困难、补全结果不可靠等问题。针对这一