基于Transformer架构和B样条平滑约束的机器人面部情感迁移网络
Robot（2023）
Abstract
为提高类人机器人面部情感迁移的时空一致性并降低机械运动约束的影响,提出一种基于Trans-former 架构和B样条平滑约束的机器人面部情感迁移网络RFEFormer.该网络由面部形变编码子网和驱动序列生成子网组成.在面部形变编码子网中,为表征帧内不同层次、不同粒度的空间信息,基于域内形变注意力和域间协作注意力双重机制构建帧内空间注意力模块并嵌入到Transformer编码器中;在驱动序列生成子网中,利用Transformer解码器实现面部时空序列和历史电机驱动序列的交叉注意以及未来电机驱动序列的多步预测,并引入三次B样条平滑约束实现预测序列的规整.实验结果表明:RFEFormer网络的电机驱动偏差、面部形变逼真度和电机运动平滑度分别为3.21％、89.48％和90.63％,且实时面部情感迁移帧率大于25帧/秒.与相关方法相比,RFEFormer网络在满足实时性的同时提升了逼真度、平滑度等时序指标性能,而人类感官对这些指标更为敏感、也更为关注.
MoreKey words
humanoid robot,facial emotion transfer,intra-domain deformation attention,inter-domain cooperative atten-tion,cubic B-spline smoothing constraint
AI Read Science
Must-Reading Tree
Example
Generate MRT to find the research sequence of this paper
Chat Paper
Summary is being generated by the instructions you defined