【科教在线】第95期：计算机与信息安全学院林煜明教授课题组两项研究成果被国际顶级会议ACM MM 2026录用（图）

近日，第34届ACM国际多媒体大会（ACM International Conference on Multimedia，ACM MM 2026）论文录用结果揭晓，我校计算机与信息安全学院林煜明教授课题组关于多模态情感推理的两篇论文被大会录用为主会长文。论文题目分别为“SCAF: Soft Contrastive Enhanced Confidence-Adaptive Fusion Framework for Multimodal Sentiment Analysis”和“Conflict-Aware Dual-Path Context Propagation for Multimodal Emotion Recognition in Conversation”。两篇论文的第一完成单位均为我校，林煜明教授为通讯作者。

ACM MM是计算机图形学与多媒体领域最具影响力的国际顶级学术会议之一，被中国计算机学会（CCF）推荐为A类国际学术会议，在国际上具有广泛的学术影响力，其发表的论文代表了该领域前沿研究成果。

成果一面向多模态情感分析，旨在融合不同模态信息理解人类情感。现有方法多采用离散监督信号引导连续情感表示，易丢失细粒度情感信息；同时，当前动态融合策略常依据特征强度分配权重，导致模型易受高强度模态噪声干扰。针对这些问题，团队提出了软对比增强的置信度自适应融合框架（SCAF，如图1所示）。该框架设计模态内软对比学习机制，通过软标签指导来构建统一且连续的特征结构；设计分层置信度自适应融合模块，利用信息熵量化语义不确定性，动态抑制不可靠特征，以获得鲁棒的融合表示。在四个基准数据集上的实验表明，SCAF能有效保留细粒度情感信息，实现更稳健的多模态融合，并取得了优越性能。

成果二聚焦于多模态对话场景中的情感识别，旨在结合对话上下文及文本、语音、视觉信息推断说话人的情感。现有方法在捕捉情感相关的上下文依赖关系及处理模态间差异方面仍存在不足。为此，团队提出了冲突感知双路径上下文传播框架（CDCP，如图2所示）。该框架通过自适应邻居选择为每个语句构建动态语义邻域，再借助说话人感知的双路径动态多跳传播建模上下文依赖，从而学习高阶单模态表示。为进一步应对模态差异，设计了冲突感知专家重建模块，在频域将模态特征分解为高低频分量，通过分量交互与融合刻画模态间一致性与特异性，捕捉潜在冲突并自适应重建情感表征。在MELD和IEMOCAP数据集上的工作实验验证了CDCP的有效性，消融研究进一步证实了各模块设计的合理性。