基于深度学习网络的多IMU动作捕捉方法、系统及介质
2025-02-24 17:38
No.1343638382764630016
技术概要
PDF全文
本技术涉及人机交互装置技术领域,具体涉及一种基于深度学习网络的多IMU动作捕捉方法、系统及介质。本发明包括如下步骤:S1、多IMU动作的捕捉:预先在SMPL人体模型的关键部位佩戴多个IMU;通过Mujoco物理引擎对多变量特征施加高斯白噪声来模拟真实的IMU数据;S2、构建深度学习网络:深度学习网络输入多变量特征,通过正向TCN和反向TCN学习得到空间特征,再将空间特征融合,经过正向GRU和反向GRU得到时序特征,时序特征融合输入多头注意力层以得到人体姿态参数;S3、人体姿态的物理约束:利用PBDL损失函数,施加物理约束后的深度学习网络,实现对人体姿态的准确识别,符合自然世界的物理规律。
背景技术
人体动作捕捉是指借助传感器数据将现实中人的动作识别并转录成数字模型的动作,在计算机视觉、机器人学、虚拟现实、健康监测等领域的起到至关重要的作用。传统的人体动作捕获方法主要依赖于摄像头或深度相机等外部设备,但这些设备存在成本高、易受环境干扰、隐私泄露等问题。因此,近年来,基于惯性测量单元(IMU)的人体姿态识别方法受到了越来越多的关注。IMU是一种可以测量加速度、角速度、磁力计等物理量的小型设备,可以捆绑在人体的各个部位,如大臂、小臂、大腿、小腿、腰部和后背等,从而获取人体的运动信息。IMU具有成本低、便携性强等优点,但也面临着数据噪声、漂移、维度高、时序复杂等挑战。 如中国专利公开号为CN115868967A,其公开了一种基于IMU的人体动作捕捉方法、系统及存储介质,其通过对IMU采集的人体动作数据进行坐标系转换、低通滤波、四元数归一化处理、转换为镜像姿态、进行帧率插值处理、矩阵变换递推活动关节的姿态从而计算关节角度,可根据IMU获取的数据计算得到人体动作过程中的所有关节的关节角度,用于实现人体动作的精准捕捉和识别,从而为病人的治疗提供更科学的诊断依据。但该方案数据导入的是unity软件,尚存在深度学习网络未得到充分优化、损失函数未考虑物理约束、识别精度不足以及应用领域有限等问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
刘银华付铭张淋刘骢霍玉前孙武辉
技术所属: 青岛登云智谷科技有限公司 青岛登云智上科技有限公司.
相关技术
车辆模型渲染方法、装置、存储介质及电子设备 车辆模型渲染方法、装置、存储介质及电子设备
一种显示面板的检测方法及检测系统 一种显示面板的检测方法及检测系统
一种基于点云信息的螺柱检测方法 一种基于点云信息的螺柱检测方法
基于深度学习网络的多IMU动作捕捉方法、系统及介质 基于深度学习网络的多IMU动作捕捉方法、系统及介质
一种加工轨迹形变补偿方法及系统 一种加工轨迹形变补偿方法及系统
基于遥感技术的森林积蓄量监测分析方法及系统 基于遥感技术的森林积蓄量监测分析方法及系统
油罐布局信息生成方法、装置、电子设备、介质 油罐布局信息生成方法、装置、电子设备、介质
一种基于动态列车同步采样的图像校准系统 一种基于动态列车同步采样的图像校准系统
一种基于图像分形维数的TBM破岩效率评价方法 一种基于图像分形维数的TBM破岩效率评价方法
一种用于肾病人员状态数据存储方法 一种用于肾病人员状态数据存储方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利