本技术公开了一种基于上半身姿态的驾驶员情绪状态检测方法及系统,涉及计算机视觉技术领域,包括:基于预设人体姿态估计模型识别待检测驾驶员的上半身视频片段中的人体关键部位,得到各关节位置的时间序列;对关节位置时间序列进行预处理,转化成关节流数据和骨骼流数据;分别将关节流和骨骼流数据输入到多个经过训练之后的图卷积神经网络模型,得到多个分类结果;基于集成学习方法融合多个分类结果,得到待检测驾驶员的情绪状态识别结果。本发明缓解了现有技术中存在的在驾驶环境下的动作情绪识别准确率较差的技术问题。
背景技术
在现代社会,交通安全仍然是一个备受瞩目的问题。长期以来,极端的驾驶员情绪一直是世界范围内道路事故的主要原因之一。然而,目前驾驶辅助系统大多忽略了情绪对驾驶行为和交通安全的影响。在智能驾驶舱中,通过各种交互策略准确感知、理解和管理驾驶员的极端情绪,能有效地降低了此类情绪引发事故的风险,从而提高了道路交通安全。
情绪识别的研究主要集中在声音、面部表情和脑电信号上。然而,作为情感交流过程中最基本、最自然的非语言方式之一的人体动作却没有得到应有的重视。基于人体动作的情绪识别有几个优点。首先,与口头语言和文本相比,人体动作表现出更大的普遍性和跨文化一致性。其次,与面部表情相比,人体动作更能表达一个人的真实情绪,因为不经过训练,动作更难被抑制。最后,与生理信号(如脑电信号)相比,人体动作在数据采集过程中提供了一种更直接和更少干扰的方法,保留了受试者的自然行为。
在半封闭的驾驶座舱中,摄像头大部分情况下只能捕捉到人体的上半身动作。同时,在车载算力资源有限的情况下,智能系统需要一种更低的数据复杂度和更高的计算效率的方法,并且能在一定程度上保护个人隐私。从真实场景中采集到的数据集,往往会存在不平衡的数据分布,即少数类别含有大量的数据样本。
现有的大多数方法依赖于全身姿势和具有预先确定的邻接矩阵的图卷积网络,在驾驶场景中面临挑战,包括有限的可见性、受限的运动和不平衡的数据分布,这些因素影响模型的泛化能力和准确性。
实现思路