本技术涉及一种基于脉冲图神经网络的事件驱动触觉感知方法及系统,属于触觉感知和机器人控制技术领域。该方法包括以下步骤:S1、从事件驱动触觉传感器收集的数据中提取主要特征;S2、对触觉传感器数据中提取的主要特征进行编码;S3、采用脉冲神经网络来进一步学习特征嵌入;S4、通过图神经网络对编码后的特征进行处理;S5、采用投票机制识别目标物体的类别或状态。本方案通过图神经网络,能够自动构建基于触觉传感单元空间结构的图谱,并高效提取局部和全局特征;利用脉冲神经网络处理事件驱动数据,显著降低了能耗并提高了计算效率;具有较强的泛化能力,可适应不同的触觉传感器配置和应用场景,同时在处理实时触觉感知任务时表现优异。
背景技术
触觉感知技术是机器人与外部环境交互的关键手段之一。传统的触觉传感器通过同步输出的方式,捕获如压力、温度、振动等信息,帮助机器人完成物体识别、抓取、操控等任务。然而,这些传感器的帧式数据输出模式容易导致较高的能耗与数据处理延迟,难以满足实时应用的需求。为了解决这一问题,近年来出现了事件驱动的触觉传感器,它能够基于事件异步输出数据,大幅降低延迟并提高能效。这类传感器已经应用于物体识别、抓取稳定性检测等任务中,相关研究表明,事件驱动触觉传感器在动态环境下表现出色。
当前,处理触觉数据的主要方法基于卷积神经网络(Convolutional NeuralNetwork,CNN),这些方法需要将触觉数据转换为规则的网格形式,才能进行特征提取。然而,触觉传感器中感知单元(称为taxel)分布通常是不规则的,强行将其映射为网格会引入冗余计算与信息丢失。此外,事件驱动的触觉数据是基于事件的离散数据,与传统的帧数据处理方法不兼容。因此,现有的基于CNN的解决方案不仅计算资源消耗大,还难以充分利用事件驱动传感器的优势。
为此,研究者们开始将图神经网络(GraphNeural Networks,GNN)应用于触觉感知领域,以更好地表示和处理不规则分布的taxel数据。TactileGCN是一种早期的图卷积网络模型,通过将触觉传感器的taxel构建为图节点,并基于它们的空间邻近关系生成图的边缘,从而实现对触觉数据的特征提取。然而,TactileGCN存在泛化能力差、能耗高、对大规模数据需求过高等问题,并且难以适应新物体或场景的变化。
另一类神经网络,即脉冲神经网络(SpikingNeuralNetwork,SNN),通过模拟生物神经元的工作方式来处理时空数据。这类网络在处理事件驱动数据时具有显著的能效优势,并且能够实现低延迟的数据处理。SLAYER等模型在使用SNN处理事件驱动的视觉数据方面取得了一定的成功。然而,SNN在处理图结构数据时仍面临许多挑战,例如如何融合脉冲动态与图卷积操作,以及如何在深层网络中保持训练的稳定性。
综合来看,现有技术在处理事件驱动触觉数据时存在以下主要问题:1.传统CNN方法难以有效处理不规则的taxel结构,2.基于GNN的方法能耗高且泛化能力差,3.SNN虽然在处理时空数据上具备优势,但尚未很好地与图结构数据结合。为此,需要提出一种能够结合脉冲神经网络与图神经网络优势,既能处理不规则的触觉数据结构,又能高效处理事件驱动数据的新方法。
实现思路