基于光流和深度运动图的行为识别算法

为了融合不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于光流和深度运动图(Depth Motion Map,DMM)的人体行为识别算法.首先从RGB视频序列获取彩色信息(RGB视频帧)和光流信息,并且从同步的深度视频序列获取深度信息,以增强特征互补性,其次把3种特征信息分别作为基于ResNet101的空间流网络、时间流网络和深度流网络的输入,通过LSTMs进行特征融合,最后将特征送入Softmax层得到每个行为类别的概率值.实验结果表明,在具有挑战性的UTD-MHAD数据集和MSR Daily Activity 3D数据集上的行为识别准确率分别为94.86％和97.69％,在与该领域中的同类算法比较中表现优异.