基于图像匹配和配准的列车底部零部件的松动检测方法

专利主权项内容

1.基于图像匹配和配准的列车底部零部件的松动检测方法，包括，其特征在于：步骤S01：检测区域划分步骤：用于获取目标列车底部零部件的图片，通过按列车长度划分的方式将目标列车底部零部件划分为各检测子区域，并将各检测子区域依次标记为1、2……n；步骤S02：图片采集步骤：包括项点标定单元、目标检测模型训练单元、语义分割模型训练单元以及模板图片制作单元，用于获取各检测子区域的模板大图、模板小图以及模板标签；所述项点标定单元通过视觉传感器对各检测子区域进行图像采集，得到各检测子区域的2D模板大图，并对车底零部件类型以及项点位置进行标定，标定的零部件包括螺栓、线路管夹、管线接头、配合件、接地线端子、锁孔以及绝缘子；所述目标检测模型训练单元利用项点标定单元的标定结果，进行旋转、缩放以及添加噪声的数据增强工作，并划分训练集、测试集和验证集，然后对目标检测网络进行yolov8网络训练，得到目标检测模型；所述语义分割模型训练单元用于对所述目标检测模型得到的带有防松线的项点图进行标注，放入PP-LiteSeg轻量级语义分割网络中进行训练，得到语义分割模型；所述模板图片制作单元通过2D模板大图，传入目标检测网络，得到以待检项点为单位的模板检测小图，再把模板检测小图传入语义分割网络，得到模板标签小图；步骤S03：特征点集匹配步骤：将图片采集步骤得到的任务图片与模板大图进行特征点集匹配，得到第i个检测子区域的变换矩阵，通过变换矩阵/>实现模板图像和待检图像的变换对应，/>，其中/>表示第i个检测子区域的模板图像矩阵，/>表示第i个检测子区域的待检图像矩阵；步骤S04：图像匹配步骤：包括目标检测单元、语义分割单元以及图像匹配单元，用于获取各检测子区域的任务小图、任务标签以及任务矩阵，利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算；所述目标检测单元用于对任务2D图片进行目标检测，得到以项点为单位的任务小图，并给任务小图添加“是否包含防松线”的属性；语义分割单元通过将包含防松线的任务小图传入语义分割网络，得到项点防松线的任务标签；图像匹配单元用于对每一张任务小图，使用SuperGlue和SuperPoint匹配网络，与对应的模板小图进行匹配，得到第i个检测子区域的变换矩阵；步骤S05：图像配准步骤：将图像匹配步骤中的任务标签和对应模板标签进行图像配准得到变换矩阵，利用变换矩阵/>对任务标签进行仿射变换，并与模板标签进行交并比计算，并根据计算得出的交并比值和该类项点的设定阈值比较来确定任务小图中的项点有无松动迹象。 详见官网：