基于注意力双向GRU网络的多模态脑电情感识别

脑电(Electroencephalogram,EEG)等生理信号凭借其独有的客观性,在情感识别领域已经成为热门的研究对象.针对单一模态特征不够完备的问题,本文提出一种基于注意力双向门控循环单元(Gated Recurrent Unit,GRU)神经网络的多模态脑电情感识别方法,用 Mul-AT-BiGRU表示.该方法首先通过注意力机制融合脑电、眼动这两种模态的三种不同特征,实现不同模态特征间的全局交互,再将得到的多模态融合特征输入带有注意力机制的双向 GRU网络进行深度语义特征提取和情感分类.该方法通过挖掘不同模态数据间的互补关系,使学习到的深层情感相关特征更具判别性.所提方法在多模态数据集 SEED-Ⅳ 上进行实验,被试内平均分类准确率达到 95.19％,比三种单一模态特征的平均分类准确率分别提升了 20.22％、20.04％和 17.5％;被试间的平均分类准确率达到 62.77％,优于目前一些同类方法,验证了所提方法在多模态脑电情感识别上的有效性和泛化性.