本发明公开了一种基于深度强化学习的多模融合机器人缝制方法及系统，包括：分别获取缝制过程中的织物状态图像信息、线迹状态图像信息以及织物张力状态信息；构造并训练机器人的缝制操作技能学习网络，将采集到的缝制过程中的状态信息输入到所述缝制操作技能学习网络中，输出机械臂的关节角度，以控制机械臂动作。
本发明将图像信息与力觉信息融合，共同表示缝制过程中织物状态，从而对机器人的动作表示更加准确。
机器人通过学习掌握操作技能可以主动适应环境的变化，训练结果具有泛化能力，从而实现不同织物的自主缝制操作。

宋锐 付天宇 李凤鸣 李贻斌 田新诚

山东大学

250061 山东省济南市历下区经十路17923号

本发明公开了一种基于深度强化学习的多模融合机器人缝制方法及系统，包括：分别获取缝制过程中的织物状态图像信息、线迹状态图像信息以及织物张力状态信息；构造并训练机器人的缝制操作技能学习网络，将采集到的缝制过程中的状态信息输入到所述缝制操作技能学习网络中，输出机械臂的关节角度，以控制机械臂动作。
本发明将图像信息与力觉信息融合，共同表示缝制过程中织物状态，从而对机器人的动作表示更加准确。
机器人通过学习掌握操作技能可以主动适应环境的变化，训练结果具有泛化能力，从而实现不同织物的自主缝制操作。