结合时空特征和视觉感知的全参考视频质量评价

视频失真主要来源于空间和时间失真导致的视频质量退化.针对这两种视频质量退化,提出了 一种结合时空特征和视觉感知的全参考视频质量评价方法STPFVQA.首先,使用ResNet50卷积网络从参考视频和失真视频中提取空间感知特征;其次将提取的空间感知特征送入transformer编解码器中,用来构建视频的序列化关系,同时对比参考视频和失真视频,探索失真对视频序列关系造成的影响;然后将transformer的输出送入预测头,形成帧级分数;最后为了模拟人类视觉系统感知的滞后性,从短期、长期和全局记忆效应来综合考虑获得最终的视频质量分数.为了验证方法的可行性,在LIVE、IVC-IC、CSIQ和IVPL四个公开数据集上进行了实验.实验结果表明提出模型更符合人类视觉系统感知情况.在IVC-IC和CSIQ数据集上相比最先进的序列依赖模型(serial dependence modeling,SDM),SROCC 评价指标分别高出 2.6％和 3.1％,KROCC 评价指标高出 6.1％和7.9％,PLCC评价指标高出2.3％和5.5％.