一种基于大模型的双臂操作任务学习方法和系统

摘要文本

本发明公开了一种基于大模型的双臂操作任务学习方法和系统，属于神经网络学习以及机器人技术领域。该方法包括，接收用于双臂操作的任务环境图和任务描述信息，将任务环境图和任务描述信息输入视觉语言大模型，分解为多个子任务；根据每个子任务对应的任务描述信息、任务感知空间信息和动作空间信息确定奖励函数，并基于强化学习模型进行训练，以构建相应的子任务模型，子任务模型分别用于完成各个子任务；根据多个子任务的操作顺序，依次调用多个子任务模型以执行双臂操作，并采集双臂轨迹数据集，通过模仿学习算法对双臂轨迹数据集进行学习，得到双臂操作策略。本发明实现了复杂双臂操作任务的学习，提高了操作策略的鲁棒性。