密集帧率采样的视频标题生成

使用固定时间间隔取帧的方式用于视频标题生成,易导致多种静态或动态信息丢失,使得生成的句子质量难以提高。针对这一问题,提出了一种使用密集帧率采样的标题生成方法(dense frame rate sampling based captioning model,DFS-CM),将视频分为多个长度统一的片段,提取片段中所有视频帧的深度CNN(convolutional neural network)特征,然后使用均值或最大值方法,降低了特征数量,增强了特征的稀疏程度;同时,还改善了模型的训练策略,增强了模型的稳定性和泛化能力。最后在S2VT框架的基础上,使用Goog Le Net和Res Net-152两种CNN模型,对所提方法进行了验证。在Youtube2Text数据集上的实验结果表明,无论是采用均值特征还是最大值特征,其模型性能与基准模型相比均得到了改善,尤其是使用Res Net-152和最大值方式,其B@4和CIDEr分别达到了47.1%和34.1%。