本技术介绍了一种融合时空解耦和多尺度特征的人体行为识别技术及其系统。该系统由局部时空多尺度特征融合网络MDCNN和时空解耦网络DTST组成,通过多尺度卷积神经网络提取关键特征,实现高效准确的人体行为识别。
背景技术
随着现代技术手段不断改良和进步,行为识别扩展到了使用可穿戴传感器进行识别,传感器可以采集用户的多模态数据,国内外学者展开了众多与此方面有关的研究。
然而,传统的行为识别方法往往依赖人工特征提取,模型依赖于统计特征和分布特征,这大大增加了人力成本,限制了人体行为识别方法的应用范围。随着深度学习技术的迅速进展,越来越多的研究者们开始探索使用深度学习模型处理传感器的异构时间序列数据。深度学习技术已经在基于可穿戴传感器的行为识别领域展现出了显著的效果。它通过自动提取复杂数据中的特征,极大地提高了识别精度和效率。不过,尽管深度学习模型在处理这类问题上取得了进展,但目前的研究中还存在一些盲点。许多研究工作没有充分考虑到一维惯性信号内在的时空特征信息,即信号在时间维度上的变化与空间位置上的相关信息。此外,不同传感通道的信号对最终的动作分类结果可能有着不同的影响和贡献,而这一点在当前的研究中也往往被忽视。
实现思路