本技术介绍了一种利用深度学习的多机器人柔性物体协同控制方法。该方法涉及：1) 构建多机器人协作操作柔性物体的装配环境；2) 确定柔性物体的位置和抓取点，实现双机器人协同抓取；3) 协同操作柔性物体形成多组形状，记录物体点云和机器人末端位置；4) 特征提取器从点云中提取特征向量，训练形变控制模块；5) 将随机生成的形状点云信息输入形变控制模块，输出运动指令，实现双机器人协同抓取并精确控制物体形状。该技术通过深度学习、柔性物体形状控制和多机器人协同控制的整合，增强了机器人对不同材料可形变部件的形状控制能力，提升了柔性部件形状控制任务的复杂性和精确度。
背景技术
随着工业自动化的不断进步，在工业制造领域中有更多的任务需要机器人来自主完成。在航空制造领域中主要是以刚体零部件为主，但也存在一部分具有一定可形变属性的零件，比如电缆、长桁等。实现对三维可形变物体的操作，机器人能够在航空制造场景下独立或者与人协同完成更多的装配任务，例如，飞机壁板装配时，工业机器人抓取长桁零部件装配到蒙皮上；飞机舱内线缆装配中的机器人应该快速精准地抓取线缆伺服成一定形状进行装配；还包括飞机部分零件的复合材料的铺覆，通过多机器人和人协同完成，提升工艺精度和铺覆的速度。
然而，现在可形变物体操作（DOM）任然存在许多的挑战，对于刚体仅需要6个自由度（DOF）便可以表示，可形变物体形状需要潜在无限个自由度维度来表示。因此在技术层面需要解决感知变形的复杂性、软体高自由度、变形模型中非线性的复杂性这三个层面的挑战。针对上述问题我们将通过提取可形变物体的点云图像特征，利用神经网络来训练3D可变形物体形状伺服的控制器，并采用多机协同的方式来实现形状伺服控制的任务。
在工业制造领域中，针对可变形的物体相关的任务，如线缆形状识别、复合材料铺布提出了多种解决方案。有使用形状跟踪的方法，采用单目相机，或3D相机，但是这些方法的应用对象局限性较大。也有学者提出基于模型的形状伺服方法，在基于模型的形状伺服中，有限元方法（FEM）是使用最为广泛的，提出了一种基于开环模拟的控制方法，其中将期望的变形直接映射到关节角命令。在手持软物体操纵的开环控制方法中使用了FEM。但是机械模型是一种可靠的方案，但是成本高，且依赖于物体故有的机械属性。因此有人提出了无模型的形状伺服方法，一种是基于传感器的变形雅可比，如在线传感器测量被用于估计在形状伺服中使用的变形雅可比。但是这类方法算法计算复杂，并且对噪声敏感。近些年来，对可变形物体控制越来越趋向于采用基于学习的方法。其中强化学习（RL）是最广泛使用的方法。这些方法虽然相对成功，但是这些方法也存在一定的局限性。
对于3D可变形物体形状控制的解决方案可以划分为基于学习和基于非学习的两类方法。在基于非学习的方法中，一系列研究将物体上的几何特征定义为状态表示。研究人员使用这种表示执行自适应线性控制的视觉伺服。然而，这些方法仅适用于具有明显纹理的已知对象，并且无法推广到各种对象。这种表述仅控制个别点的位移，不能充分反映物体的3D形状。为了实现精确控制，必须使用大量特征点，从而使控制对噪声和遮挡高度敏感。另一方面，其他基于非学习的方法使用2D图像轮廓来表示物体形状，但这严重限制了可控的3D变形空间。
实现思路