一种基于跨源点云与多模态信息的自动化装配方法

专利主权项内容

1.一种基于跨源点云与多模态信息的自动化装配方法，其特征在于，包括以下步骤：S1、获取待装配物体全局三维点云和二维图像，根据全局三维点云和二维图像生成相应的待装配物体的局部三维点云；S2、将待装配物体的二维图像、局部三维点云和全局三维点云输入基于自注意力机制的跨源多模态语义分割网络，将二维图像、局部三维点云和全局三维点云的特征提取后聚合，得到语义分割结果点云，最终语义分割出多对装配特征；具体过程包括以下步骤：S21、将待装配物体的二维图像输入跨源多模态语义分割网络，该网络加载一个在大规模图像数据集上训练的ResNet-50模型结构，在前向传播的过程中，截断模型，即在最后的分类头部之前停止网络的前向传播，从而不执行最终的分类任务直接获取图像的256通道特征图；S22、通过相机的外部参数[R|T]和相机的内部参数[K]将从ResNet得到的二维图像的256维特征F反投影到局部三维点云中，并与局部三维点云中对应点的坐标连接起来；S23、将根据结构光投影原理转换得到的局部三维点云进行下采样得到以保留结构细节的点云D，该点云D的点数为局部三维点云点数的50％；下采样后的局部三维点云中每个点除了欧几里得坐标x, y, z外，还连接了来自ResNet的256维特征F和顶点的法线n, n, n，以此得到了262维特征x, y, z, n, n, n, F的点，获得的点云D用作后续阶段的局部三维点云；将扫描得到的全局三维点云下采样得到点云D，以此用于学习全局特征，该点云D的点数为全局三维点云点数的10％，获得的点云D用作后续阶段的全局三维点云；11xyzxyz1222S24、将点云D和点云D输入跨源多模态语义分割网络中，首先经过四个TransitionDown向下过渡模块下采样，每次Transition Down模块将点数减少为之前的四分之一的同时进行特征编码，其中每一次的下采样后都经过了包含有Point Transformer点云变换器层的Point Transformer块，促进局部特征向量之间的信息交换，为所有数据点生成新的特征向量作为其输出；12S25、将全局三维点云的特征与局部三维点云的特征进行串联，特征串联后的局部三维点云经过四个Transition Up向上过渡模块，将点数恢复至初始状态并将特征解码，同时每个Transition Up模块后同样跟有Point Transformer块，最终的解码器阶段为输入点集中的每个点生成一个特征向量，应用MLP将此特征映射，生成语义标签，根据语义标签即可完成装配特征的分割，得到语义分割结果点云；S3、根据待装配物体点云中分割出的多对装配特征，使用ICP方法进行点云配准，使用BA优化算法进行位姿参数的融合，得到融合后的旋转矩阵R和平移矩阵T，完成位姿计算；S4、将点云配准得到融合后的旋转矩阵R和平移矩阵T分解到执行机构，对装配物体进行位姿调整，完成自动化装配。