一种基于三轴姿态传感器和计算机视觉的针刺手法分类系统

目的:采用计算机视觉和传感器技术探索针刺手法的动作特征,提升针刺手法识别分类精度并量化分类.方法:以针刺物理参数的时域特征与手法视频中动态手势特征相结合的方式对针刺手法进行识别分类.选取2位针灸专家和3位年轻针灸师的针灸操作过程作为研究对象.收集的数据包括提插补法、提插泻法、捻转补法、捻转泻法4种手法,以上都由右利手医生进行.针灸操作过程中,采用三轴姿态传感器采集手指移动加速度和旋转角速度,以此计算针刺过程中手部移动速度、幅度、力度、角度等参数,分析物理参数与不同手法之间在时域上形成的映射关系;计算机视觉技术提取针刺手法视频中图像的时空特征,用三维卷积神经网络(3D CNN)和长短期记忆(LSTM)神经网络的混合模型对针灸操作视频中的动态手势进行识别和分类,分类过程中将物理参数的时域特征与动态手势特征结合实现手法分类.结果:本研究中4种手法的物理参数结果显示,补法中插针速度快、用力重,提针速度慢、用力轻;泻法中提针速度快、用力重,插针速度慢、用力轻.捻转补法中左捻用力重、旋转幅度大,右捻用力轻、旋转幅度小;泻法中右捻用力重、旋转幅度大,左捻用力轻、旋转幅度小.提插手法主要体现在Z轴上的垂直作用力,捻转手法主要体现在X与Y轴水平方向作用力.该方法对提插补、提插泻、捻转补和捻转泻的识别分类有较高的准确率,分别为95.56%、93.33%、95.56%和91.11%,与单一使用传感器获取手法信息的分类方法相比,识别准确率有明显的提升.结论:该系统能实现针刺手法中物理参数的定量分析和动态手法识别,为后续针刺手法的量化与传承提供一定基础.