本申请涉及脑电波信号处理技术领域,公开一种基于EEG多分支图卷积的跨被试情绪识别方法、装置及系统和存储介质,其中方法包括:获取EEG数据;对EEG数据进行滤波得到第一信号;对第一信号进行五个频段的滤波得到第二信号;在第二信号中,以设定时间的时间窗口提取微分熵特征;基于微分熵特征,通过多分支图卷积网络提取到各频段的图特征;将各频段的图特征输入至图特征融合模块中进行融合,得到情绪特征;将情绪特征输入多层感知机,得到情绪的预测概率,并且在训练阶段使用域适应技术拉近源域和目标域之间的特征分布。本申请可有效减少跨域数据分布差异对模型性能的影响,提高情绪状态识别的准确性和鲁棒性。
背景技术
情绪是一种复杂的心理状态,在日常生活中影响人类的认知、交流和决策。情绪受个体的主观感受、外部刺激和生理信号唤醒所影响,可以通过非生理信号或者生理信号进行识别。在日常生活中,面部、身体姿态、语音和手势都可以直观的表达情绪状态。然而,个体可以通过主观意识隐藏真实情绪,从而导致非生理信号的情绪识别困难。近年来,人们越来越关注基于生理信号的情绪识别,如脑电图(EEG)、心率(HR)、皮肤电(GSR)和肌电(EMG)等。与非生理信号相比,生理信号能够直接表达个体的情绪状态,并且识别的结果更加可靠。此外,EEG信号的采集具有无创、便携、操作方便等特点。因此,基于EEG的情绪识别受到广泛的关注和研究。
在 EEG 信号处理中,由于 EEG 信号的非平稳性,采集的信号会因时间、被试和设备等差异而出现较大的分布变化。这种变化性会影响模型在跨被试任务中的泛化性,增加了模型应用在不同个体的难度。近年来,迁移学习逐渐成为解决跨被试问题的热门方法,尤其是域适应(Domain Adaptation)技术。域适应可以通过调整模型以适应目标域(新的被试)的数据分布,使模型能在新被试的数据中表现良好。由于图卷积在处理图结构数据上表现出优越的性能,而EEG信号可以被建模为图结构,其中每个节点表示一个EEG通道,节点之间的边代表不同通道之间的生理或功能连接。因此,一些研究中将图卷积与迁移学习结合,从而解决情绪的跨被试问题,例如通过使用最大均值差异(MMD)来衡量源域和目标域节点信息的分布,从而最小化两者之间的特征数据分布差异。然而,这种方法忽略了被试之间的公共空间模式。其次,与迁移学习结合的图卷积大多数采用单分支结构来捕获拓扑特征。然而,这种方法难以解决EEG数据中不同图结构的差异问题。为此,部分研究通过引入多分支结构来同时捕获不同层次或角度的图特征,以应对图结构的多样性。
因此,现有基于图卷积跨被试情绪识别的方法存在以下问题:
(1)情绪状态在不同频段下表现出明显的通道间相关性差异。例如在低频段(如α波和θ波)时,情绪通常涉及更广泛的脑区协同活动,而在高频段(如β波和γ波)时,活跃区域更集中于特定的功能区域。而单分支图卷积无法反应这种差异,导致EEG信号的通道之间的关系无法充分利用。
(2)多分支图卷积的融合方式通常采用拼接,但这种方式无法有效地促使不同图特征之间的信息交互。拼接只是简单地将各个分支的特征并列,缺乏对特征间相互关系的建模,因此限制了模型对复杂图结构的学习能力。
(3)基于图卷积的跨被试学习方法主要关注图节点信息的整体对齐,忽略了不同被试之间相同情绪的公共空间模式。
实现思路