绝缘子内部缺陷检测方法和装置

专利主权项内容

1.一种绝缘子内部缺陷检测方法，其特征在于，包括：获取无人机采集的输电线路的巡检视频；所述巡检视频是通过所述无人机搭载的红外采集设备采集的红外图像；将所述巡检视频的每一帧红外图像输入至训练好的缺陷检测模型，使用所述训练好的缺陷检测模型对所述巡检视频进行逐帧的缺陷检测，以输出缺陷检测结果；所述训练好的缺陷检测模型包括主干网络；所述主干网络单独通过对比学习处于不同域的可见光图像样本集与红外图像样本集所具有的相同语义的特征，训练所述主干网络，得到已训练的主干网络；所述已训练的主干网络用于确定所述主干网络的参数；若所述缺陷检测结果为所述红外图像包含缺陷的绝缘子，则标记所述红外图像的所述缺陷的绝缘子的位置信息和类别信息；所述方法还包括：所述缺陷检测模型是通过如下方式训练得到的：获取可见光图像样本集中的可见光图像样本与红外图像样本集中的红外图像样本；对场景匹配的可见光图像样本和红外图像样本进行图像配准，获取可见光与红外图像对；将所述可见光与红外图像对输入至待训练缺陷检测模型的主干网络，学习处于不同域的可见光图像样本集与红外图像样本集所具有的相同语义的特征，训练所述待训练缺陷检测模型的主干网络，得到已训练的主干网络；并且，所述已训练的主干网络嵌入在所述待训练缺陷检测模型中，更新所述待训练缺陷检测模型，使得所述待训练缺陷检测模型的所述主干网络的参数已知确定；获取具有标签的红外图像样本集；将所述红外图像样本集输入至所述待训练缺陷检测模型，训练所述待训练缺陷检测模型，得到所述训练好的缺陷检测模型；其中，所述训练所述待训练缺陷检测模型包括训练所述待训练缺陷检测模型的网络层的初始化参数；所述训练所述待训练缺陷检测模型的主干网络，得到已训练的主干网络，包括：提取所述可见光与红外图像对的特征空间；通过对比学习将所述特征空间具有相同语义信息的可见光特征和红外光特征进行聚类；通过对比损失函数自监督地训练所述主干网络，在迭代过程中在拉近特征类内距离时增大特征的类间距离，得到已训练的主干网络；相应的，所述待训练的缺陷检测模型包括第一特征映射分支及第二特征映射分支；所述第一特征映射分支用于将所述可见光图像映射成单位特征向量，所述第二特征映射分支用于将所述红外图像映射成单位特征向量，每个分支包含待训练的缺陷检测模型的主干网络和多层感知机MLP；所述训练所述待训练缺陷检测模型的主干网络，得到已训练的主干网络，包括：A，使用随机值初始化所述主干网络和所述MLP的权重参数；B，将所述可见光图像样本和所述红外图像样本输入至所述主干网络和所述MLP，输出所述可见光图像样本映射的第一特征向量以及所述可见光图像样本映射的第二特征向量；C，使用对比损失函数，计算所述第一特征向量及所述第二特征向量之间的误差；D，根据所述对比损失函数的导数计算梯度，沿梯度最小方向将所述误差反向传播，修正所述主干网络和所述MLP的各个权重参数；E，重复执行所述A至所述D，直至达到迭代停止条件，得到所述已训练的主干网络。