基于反馈预训练的机器人语言视觉系统
2025-02-12 17:05
No.1339281252683096064
技术概要
PDF全文
本技术介绍了一种集成反馈预训练语言和视觉模型的机器人系统。系统包括:S1阶段,机器人对操作环境进行信息感知;S2阶段,设计提示工程Prompt模板,整合机器人动作基元函数与个性化偏好,以实现更精准的交互和任务执行。
背景技术
在智能机器人领域,面对非结构化环境的任务规划一直是一项具有挑战性的任务。传统的机器人系统往往依赖于预先定义的任务规划策略,这些策略通常基于静态的环境模型和固定的任务目标,难以适应现实世界中的多样化和动态化。在非结构化场景中如家居场景、办公场景等,机器人需要具备灵活的任务规划能力,能够根据环境的变化和任务的复杂性自主调整行动策略,实现高效、智能的操作。总之,智能机器人对于非结构化环境的任务规划并且能理解到以自然语言形式表征的语言指令、推断出相应的操作目标以及生成任务执行序列,是目前智能机器人仍需解决的难题。 在智能机器人操作中,预训练模型可以应用于任务规划的各个环节。首先,它可以实现对自然语言指令和视觉图像的实时感知和理解,从而实现对人类意图的准确捕捉和理解。其次,基于预训练模型的任务推理与执行模块能够利用语言和视觉信息进行端到端的任务规划和执行,生成适用于当前环境和任务目标的智能操作策略。最后,通过任务执行情况反馈模块,智能机器人能够实时监测任务执行的进度和效果,并根据反馈信息对任务规划进行动态调整和优化,从而实现在复杂、动态的非结构化环境中的高效操作。 综上所述,有必要探索利用预训练的语言模型以及视觉模型对于解决非结构化场景的任务规划,以实现智能机器人的任务操作。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
叶峰  林永嘉  赖乙宗
技术所属: 华南理工大学
相关技术
具有准零刚度特性的三自由度并联隔振平台 具有准零刚度特性的三自由度并联隔振平台
一种基于数字孪生技术的机械臂构建方法 一种基于数字孪生技术的机械臂构建方法
一种用于机械臂的重力平衡装置 一种用于机械臂的重力平衡装置
一种机械臂抓取目标检测方法和系统 一种机械臂抓取目标检测方法和系统
一种基于双层博弈的重载机械臂人机协同控制方法 一种基于双层博弈的重载机械臂人机协同控制方法
基于光热效应的光驱动感知一体化柔性关节及其光路系统 基于光热效应的光驱动感知一体化柔性关节及其光路系统
一种基于质心动力学模型的人形机器人全身协调控制方法 一种基于质心动力学模型的人形机器人全身协调控制方法
一种可末端自锁的双层环形可展开周边桁架 一种可末端自锁的双层环形可展开周边桁架
基于模仿学习的人形机器人多运动切换控制方法及系统 基于模仿学习的人形机器人多运动切换控制方法及系统
一致性约束的检测机器人任务分配方法 一致性约束的检测机器人任务分配方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利