基于多模态大模型的工业机器人控制方法及装置

专利主权项内容

1.一种基于多模态大模型的工业机器人控制方法，其特征在于，包括：获取待装配设备的二维图像数据以及三维点云数据；根据所述二维图像数据以及所述三维点云数据，生成用于表征所述待装配设备的尺寸以及外形的设备特征信息；将所述设备特征信息输入至用于控制工业机器人执行装配任务的控制模型中，以使所述控制模型确定用于所述待装配设备若干装配任务的装配工序信息，并根据所述装配工序信息输出用于控制所述工业机器人执行装配任务的控制指令，以使所述工业机器人根据所述控制指令抓取对应零部件对所述待装配设备进行装配；获取已装配设备上各零部件的装配结构特征，并将所述装配结构特征输入至所述控制模型，以使所述控制模型输出所述已装配设备对应的装配结果；其中，所述控制模型的构建，包括：获取存储有各类设备的结构信息以及装配工序信息的设备信息数据库，存储有各类零部件的参数信息的零部件参数数据库，以及存储有若干用于控制所述工业机器人执行各类装配任务的控制指令的指令数据库；根据所述设备信息数据库以及所述零部件参数数据库，构建各类设备的装配知识图谱；通过所述装配知识图谱以及所述指令数据库对一基础大模型进行训练，获得所述控制模型。