轻量级注意力约束对齐网络的视频超分重建

目的 深度学习在视频超分辨率重建领域表现出优异的性能,本文提出了一种轻量级注意力约束的可变形对齐网络,旨在用一个模型参数少的网络重建出逼真的高分辨率视频帧.方法 本文网络由特征提取模块、注意力约束对齐子网络和动态融合分支3部分组成.1)共享权重的特征提取模块在不增加参数量的前提下充分提取输入帧的多尺度语义信息.2)将提取到的特征送入注意力约束对齐子网络中生成具有精准匹配关系的对齐特征.3)将拼接好的对齐特征作为共享条件输入动态融合分支,融合前向神经网络中参考帧的时域对齐特征和原始低分辨率(low-resolution,LR)帧在不同阶段的空间特征.4)通过上采样重建高分辨率(high-resolution,HR)帧.结果 实验在两个基准测试数据集(Vid4(Vimeo-90k)和REDS4(realistic and diverse scenes dataset))上进行了定量评估,与较先进的视频超分辨率网络相比,本文方法在图像质量指标峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)方面获得了更好的结果,进一步提高了超分辨率的细节特征.本文网络在获得相同的PSNR指标的情况下,模型参数减少了近50％.结论 通过极轴约束使得注意力对齐网络模型参数量大大减少,并能够充分捕获远距离信息来进行特征对齐,产生高效的时空特征,还通过设计动态融合机制,实现了高质量的重建结果.