本技术涉及人机交互装置技术领域,具体涉及一种基于深度学习网络的多IMU动作捕捉方法、系统及介质。本发明包括如下步骤:S1、多IMU动作的捕捉:预先在SMPL人体模型的关键部位佩戴多个IMU;通过Mujoco物理引擎对多变量特征施加高斯白噪声来模拟真实的IMU数据;S2、构建深度学习网络:深度学习网络输入多变量特征,通过正向TCN和反向TCN学习得到空间特征,再将空间特征融合,经过正向GRU和反向GRU得到时序特征,时序特征融合输入多头注意力层以得到人体姿态参数;S3、人体姿态的物理约束:利用PBDL损失函数,施加物理约束后的深度学习网络,实现对人体姿态的准确识别,符合自然世界的物理规律。
背景技术
人体动作捕捉是指借助传感器数据将现实中人的动作识别并转录成数字模型的动作,在计算机视觉、机器人学、虚拟现实、健康监测等领域的起到至关重要的作用。传统的人体动作捕获方法主要依赖于摄像头或深度相机等外部设备,但这些设备存在成本高、易受环境干扰、隐私泄露等问题。因此,近年来,基于惯性测量单元(IMU)的人体姿态识别方法受到了越来越多的关注。IMU是一种可以测量加速度、角速度、磁力计等物理量的小型设备,可以捆绑在人体的各个部位,如大臂、小臂、大腿、小腿、腰部和后背等,从而获取人体的运动信息。IMU具有成本低、便携性强等优点,但也面临着数据噪声、漂移、维度高、时序复杂等挑战。
如中国专利公开号为CN115868967A,其公开了一种基于IMU的人体动作捕捉方法、系统及存储介质,其通过对IMU采集的人体动作数据进行坐标系转换、低通滤波、四元数归一化处理、转换为镜像姿态、进行帧率插值处理、矩阵变换递推活动关节的姿态从而计算关节角度,可根据IMU获取的数据计算得到人体动作过程中的所有关节的关节角度,用于实现人体动作的精准捕捉和识别,从而为病人的治疗提供更科学的诊断依据。但该方案数据导入的是unity软件,尚存在深度学习网络未得到充分优化、损失函数未考虑物理约束、识别精度不足以及应用领域有限等问题。
实现思路