复杂环境下多模态特征融合的疲劳驾驶检测

为了避免因疲劳驾驶而导致交通事故的发生,维护城市道路交通和驾乘人员生命安全,该项目针对传统疲劳驾驶检测方法存在着精度低、参数复杂、泛化能力差等核心问题,采用 MTCNN模型和基于红外的 rPPG等理论,在光照变化、部分遮挡和头部偏转等复杂行车环境下精确提取驾驶员面部与生理信息;同时在深层挖掘多模态的特定疲劳信息后,结合多损失重构(MLR)的特征融合模块利用各模态间的互补信息,避免了单模态检测方法存在的局限性,进一步构建了多模态特征融合模型,增强模型的准确性与鲁棒性;最后考虑到疲劳的时序性,基于 Bi-LSTM模型建立了疲劳驾驶检测模块.在自制数据集 FAHD上展开实验,证明了红外生理特征提取模型的可靠性,多模态特征输入的有效性,同时与现有融合方法相比,本文方法融合后的预测结果与疲劳标定值间的相关系数提高了 5.6%,均方根误差减少 25%,疲劳检测系统准确率达到了 96.7%,在推动智慧交通发展的同时对维护交通安全也有较好的积极意义.