
3月31日下午,南京理工大学计算机科学与工程学院杨杨教授应邀访问软件学院,为软件学院师生作题为“面向模态失衡数据的鲁棒表示学习研究与应用”的学术报告。
在报告中,杨杨教授深入剖析了开放环境下多模态数据所面临的核心挑战,包括模态缺失、模态噪声以及模态竞争等模态失衡问题。针对这些挑战,提出了一系列多模态可靠表征学习方法,例如基于伪视觉提示的微调策略、类别标签干预拟合方法以及跨模态发散自适应融合的单/多模态预测策略,有效提升了下游分类和检索任务的性能,并在多模态目标检测相关实践中应用。此外,杨杨教授还结合自身的研究经验,分享了在多模态竞赛中的参赛经验,并与现场师生围绕相关前沿问题展开了深入交流与探讨,现场学术氛围热烈。
杨杨,南京理工大学计算机科学与工程学院教授、博导,主要研究方向是开放环境数据挖掘。入选国家级青年人才计划、科协青年人才托举工程,主持科技部重点研发青年科学家项目、江苏省杰出青年基金项目等,以第一作者身份发表IEEE TPAMI、TKDE、NeurIPS、KDD等CCF A类期刊和会议论文24篇,获国际会议ACML17最佳论文奖、吴文俊青年科技奖。基于研究成果,在CVPR、ICCV等国内外相关竞赛上获23项冠军。
(文/图:卢宪凯 责任编辑:戴鸿君)