基于全局自注意力的小麦图像识别

在实际应用场景下,通过图像识别的方式来识别小麦的病虫害具有极大的挑战性.与以往纯粹基于卷积神经网络(Convolutional Neural Network,CNN)的方法相比,将小麦图像转换成一系列视觉语言,并从全局视角进行小麦识别的方法是更可行和实用的.运用Convolutional Visual Transformers(CVT)来解决小麦识别分为2个环节.首先,利用2分支CNN生成的2种特征图来实现注意选择性融合(Attentional Selective Fusion,ASF).ASF通过融合多个特征和全局-局部注意力来获取有区别的信息,并投射成一系列的视觉语言.其次,受Transformers在自然语言处理方面的成功启发,用全局自注意力来建模这些视觉语言之间的关系.将CVT与经典分类网络LeNet-5、ResNet-18、VGG-16、EfficientNet对比,识别率有所提升,同时该方法具有良好的泛化能力.