本技术公开了基于多模态大模型的柔性踝关节外骨骼控制方法,包括:柔性踝关节机器人利用视觉摄像头部分采集周围环境数据并进行环境识别,图像识别模块采用多模态技术将文本语言进行性质分类;下肢主控对IMU与力传感器所采集的原始数据进行运算处理分析;利用运算主控板,实时进行视觉部分信息和人体实际运动步态信息进行处理;运用CHATGPT对于代表环境的文本特征进行权重分配,与当前步态信息一同进行调度,进行下一时刻步态参数的生成以及步态控制函数的调度;主控板通过执行控制算法完成踝关节与环境实时交互下的辅助控制。本方案成功搭建出新一代低成本、轻量化、能够实现具身智能的外骨骼机器人。
背景技术
近年来,智能养老产业发展迅速,有源外骨骼能够恢复不便于行走的老年人士恢复行走,在医疗康复中有着巨大的应用前景。外骨骼的辅助结构多种多样,区别和评判其辅助性能方式的是其外骨骼控制方法。优良的控制方式是实现患者精准辅助的前提,同时也能够避免因为辅助不当而引起的摔倒,助力过度的现象。所以外骨骼的精准控制是保障老年人士恢复行走的关键环节。
现有外骨骼技术主要是使用IMU和力传感器捕获人体运动姿态的方式,IMU能够捕获踝关节的姿态角,实现对于人体姿态的特征辨识,力传感器能够通过反馈主动驱动装置给人体提供的力,保障闭环控制在预定的控制算法中,通过结合踝关节运动姿态进行划区和结算,最终实现针对一个周期内的不同区段的特征辅助控制。基于IMU和力传感器的控制策略,本质上是对于老人动作发生后的捕获,其缺乏预测性,属于粗糙的控制策略。
现有技术的缺陷和不足:
实时性不足:由于数据的捕获以及控制算法到驱动模块响应有物理上的迟滞单元,IMU和力传感器的运动控制存在700ms的延时。这在直接影响可支持辅助行走速度这一性能的同时,也表明无法对于突发情况做出辅助应对处理。
交互性不足:基于传感器的控制方式,无法对于环境进行实时监测,针对于上下台阶等辅助方式不同的场合时无法实现对应程度的辅助控制。同时,基于传统图像识别的环境预警不具备推理理解能力,无法从图像中理解潜在信息,来调整下位机的辅助策略。
智能性不足:基于健康人群肌电信号分析结果的方式,其传统步态曲线生成算法适应度低,而目前流行的基于CNN的步态预测要求使用者训练数据量大,不利于使用者的低成本日常使用。并且其训练出来的控制曲线没有普适性,无法针对不同体态步长的老年人进行适应调节。最后也无法利用所捕获的用户数据进行控制方法的迭代适配,泛化能力不强。
随着人工智能的不断发展,近些年出现了基于数据驱动,强化学习的新型控制方法。通过这些算法可以实现对于人体体态更为精准的控制以及实时响应。但是目前大多数模型需要大量的数据集进行支撑,要实现针对个人的辅助方式仍需大量的资金进行适配数据采集。并且缺乏对于周围环境的感知能力。因此,研究低成本、轻量化、能够实现具身智能的外骨骼机器人是未来的发展方向之一。现有的外骨骼机器人具有以下几个技术问题:
1.缺乏环境感知:由于采用的是传统传感器姿态监测策略,没有使用到视觉传感模块进行周围环境的采集。并且在视觉信息参与控制策略的调控时,缺乏相对成熟的调控策略进行指导。导致环境信息捕获难,环境数据使用困难的缺点。
2.泛化能力不足:基于当前传统视觉算法的视觉处理效果对于硬件资源有严苛的要求,同时传统算法只能针对特定场景进行数据集的标定和训练。致使训练成本高,且不能应对广泛区域的各种环境识别,无法满足国内产品针对广大区域的要求。
3.实时性不足:由于传统的传感器算法和控制策略在设计上存在时滞单元,力的辅助存在一定滞后性,使得针对突发状况时无法及时进行姿态的测量提供应急辅助。
实现思路