金沙威尼斯欢乐娱人城计算机系师生论文被计算机视觉领域顶会CVPR录用

近日，金沙威尼斯欢乐娱人城计算机系赵素云副教授团队论文Superclass Learning with Representation Enhancement被计算机视觉和模式识别领域顶会CVPR录用。CVPR（Computer Vision and Pattern Recognition, 计算机视觉与模式识别 ）会议是计算机视觉与模式识别、人工智能领域的国际顶级会议，影响因子在泛AI领域排名第一，本届会议录用率为25.78%。

论文一作是来自DW&BI数据仓库与商务智能实验室的2021级硕士生甘泽宇，所有作者均为我校师生。

论文题目：Superclass Learning with Representation Enhancement

论文作者：甘泽宇，赵素云，康瑾龙，尚丽源，陈红，李翠平

通信作者：赵素云

研究背景：

在真实的应用场景下，图像类别的划分准则往往由人类的认知决定，而非图像本身的特征。在一些场景中，由于划分准则过于粗粒度，某类别的图像往往会包含着各种各样的小类，从而导致即便属于同一类别的图像在表征上也缺乏共同的语义特征。例如，在垃圾分类的场景下，可回收垃圾类所包含的图像包含从易拉罐到书籍各种各样的物品，其中并无明显的共性。

本文将这一现象定义为“超类问题”（SuperclassLearning），目前现有的相关研究尚未关注到这一层次的分类问题。由于同类样本间的表征差距较大，现有方法难以提取到超类层次的特征，从而造成较差的模型表现。因此，针对超类问题的特征提取方法研究意义重大。

解决方案：

针对于超类问题，本文提出了一种基于自注意力机制与监督对比学习的表征增强方法：SCLRE，用于更好的解决超类问题。

（1）算法设计：SCLRE使用一个样本间的自注意力机制（Cross-Instance Attention, CIA）模块，对同一批次的训练数据进行相互间表征注意力的计算，并依照注意力权重对其进行增强。之后，为每一超类预设一个中心锚点，并按照监督对比学习的思路对增强后的表征进行修正，从而最终得到能够表达超类维度概念的表征。

（2）理论研究：SCLRE在理论上进一步将对比学习的泛化误差上界拓展到了超类问题中，证明了超类问题的泛化误差上界主要由属于同一超类但非同一小类的样本间的注意力向量的相似度所决定。

实验效果：

SCLRE在由CIFAR100，mini-ImageNet，VOC，FMoW，Adience等数据集重构的7个超类数据集上取得了显著的性能提升。

同时，表征可视化的结果证明了SCLRE能提取到超类维度的特征，使表征提取获得明显的超类结构并有效利用。

作者简介：

甘泽宇，金沙威尼斯欢乐娱人城2021级硕士，计算机应用技术专业，主要研究方向是对比学习、弱监督学习等。

赵素云，金沙威尼斯欢乐娱人城计算机系副教授。目前主要研究方向是机器学习、不确定信息处理、弱监督学习等。主持国家自然科学基金项目三项，参与国家自然科学基金重点项目2项。现已发表文章50余篇，其中包括TPAMI，TKDE，TFS，TCB, IJCAI，ICCV, ECAI, INS, PR, JCST等多篇。文章他引合计1000余次。