基于多模态自适应卷积的RGB-D图像语义分割

随着深度传感器的出现,很多研究开始利用颜色和深度信息解决语义分割问题.现有方法未能充分利用颜色特征和深度特征的互补信息,并且通常利用固定权重的卷积核提取多尺度特征,易造成参数量冗余且无法进行在线自适应.为了解决上述问题,提出了一种基于多模态自适应卷积的RGB-D图像语义分割方法,通过引入轻量级的多模态自适应卷积生成模块,动态地生成多尺度自适应卷积核,将多模态特征的上下文互补信息嵌入卷积滤波器中,在卷积过程中充分利用了图像的内在信息,实现高效融合多模态颜色特征和深度特征.相比于传统的卷积方法和多尺度特征提取方法,文中方法有着更高的计算效率和更好的分割效果.在公开数据集SUN RGB-D和NYU Depth v2上的结果表明,文中方法的像素精准度、平均像素精度和交并比分别达到了82.5％,62.0％,50.6％和77.1％,64.2％,50.8％,均优于对比的RGB-D语义分割方法.