基于Transformer的复合材料多源图像实例分割网络

为提高复合材料铺放质量,辅助现场人员快速对缺陷进行检测,提出一种基于Transformer的复合材料多源图像实时实例分割网络Trans-Yolact,用来对复合材料缺陷进行检测、分类、分割.在Yolact网络框架基础上,针对复合材料缺陷特点,从空间域与通道域两个维度,增强网络对复合材料缺陷的检测能力.在空间域上,常规卷积核具有空间尺度的局限性,对狭长形、大尺寸缺陷的检测效果不佳.因此,采用 CNN+Transformer架构的 BoTNet作为基础主干网络;同时将 Transformer引入Yolact网络的FPN结构中,增强网络从非局部空间中获取信息的能力.在通道域上,采用红外与可见光联立的检测方式,并改进主干网络浅层结构,将其分为可见光通道、红外通道、混合通道,混合通道中引入通道域注意力机制,进一步增强网络对红外与可见光图像的综合判断能力.实验结果表明:改进后Trans-Yolact对复合材料缺陷mAP为 88.0％,较基准Yolact网络提高 5.5％,缺丝、扭转等狭长形缺陷AP提高 15.2％、5.1％,包含部分大尺寸缺陷的异物类缺陷AP提高 9.1％.最终对Trans-Yolact网络进行结构化剪枝,剪枝后较基准Yolact网络减少 26.5％的计算量(FLOPs)、减少 44.7％的参数量;检测帧数提高 58％,达到 57.67 fps.并在大型龙门复合材料自动铺放设备上进行在线测试,可以满足生产过程最大铺放速度1.2 m/s下,复合材料缺陷的实时检测分割.