本技术涉及一种基于双流网络的人体动作识别方法及系统,基于骨架信息分别提取无向时空图与RGB图像并分别使用GCN网络和CNN网络处理获得第一向量与第二向量分别代表空间时间特征与动作大小方向特征,从而获得较准确的人体动作类别识别效果,从提高骨骼信息数据的显性特征以及提高人体动作的识别率出发,在骨架信息的基础上提出基于GCN网络和CNN的双流网络,增强了骨架信息的表征,减少了骨骼信息噪声的影响,有效提高了人体动作的识别精度。
背景技术
现有的人体动作识别方法主要包括基于RGB的人体动作识别和基于骨架信息的人体动作识别两大类。其中,基于RGB视频基础上进行的人体动作识别应用较早,实现方法较为成熟,但普遍存在算法鲁棒性不理想、识别率不高的问题,同时人体动作识别受到RGB视频内动态背景、环境光线和遮挡等的多种影响,应用范围受到较大限制。
随着深度相机的普及应用以及RGB图像关键点检测算法的提出,现有技术已经可以较准确的提取获得人体骨架信息。骨架信息具有特征相对简单并且不受外界因素影响的特点,为人体动作识别提供了有效的支撑,有效提高了动作识别能力。常见的基于骨架信息的人体动作识别可以分为基于手工特征的人体动作识别、基于CNN的人体动作识别、基于RNN的人体动作识别以及基于GCN的人体动作识别。
但是,现有的基于骨架信息的人体动作识别普遍受到骨骼信息点噪声的影响,使人体动作识别的精度不够理想。进一步地,基于手工特征提取人体骨架信息特征计算比较繁琐,泛化能力太弱,不适合识别较为复杂的人体动作;基于RNN的动作识别可以较好的提取时间信息,但是对于空间信息提取较差,计算也较为复杂;基于CNN网络的动作识别对空间信息提取较好,但是对时间信息较为敏感。因此,现有的基于骨架信息的人体动作识别方法在实际应用中仍然存在诸多不便和限制。
实现思路