基于单双目视觉协同的电网作业人员视差估计及定位方法

专利主权项内容

1.一种基于单双目视觉协同的电网作业人员视差估计及定位方法，其特征在于，是按如下步骤进行：步骤1、利用双目相机分别采集N张左、右视角下的电网作业人员图像，从而得到左视角作业人员图像集合和右视角作业人员图像集合/>其中，/>表示第n张左视角作业人员图像，/>表示第n张右视角作业人员图像，并对双目相机进行标定得到基线距离B和焦距f；步骤2、构建自监督单目视差估计网络，包括：一个基于MiDaS的单目视差估计网络，左空间变形网络STN、右空间变形网络STN，并设计自监督双目损失函数对网络进行训练；&&步骤2.1、将第n张左视角作业人员图像输入到基于MiDaS的单目视差估计网络中，得到第n张左视差图/>与第n张右视差图/>并将/>与/>输入到STN中得到第n张重构后的右视角作业人员图像/>同时将/>与/>输入到STN中得到第n张重构后的左视角作业人员图像&l步骤2.2、通过式(1)构建第n张左视角作业人员图像重构损失以及右视角作业人员图像重构损失/>式(1)中，Loss为结构相似性损失，α为加权系数，H, W表示图像的高和宽，(i, j)表示像素坐标点；ssim通过式(2)构建第n张左视角作业人员图像视差平滑损失以及右视角作业人员图像视差平滑损失/>式(2)中，为梯度算子；通过式(3)构建第n张左视角作业人员图像视差一致性损失以及右视角作业人员图像视差一致性损失/>步骤2.3、通过式(4)建立自监督双目的第n个总损失函数L；n式(4)中，λ, λ, λ为三个加权系数；123基于左视角作业人员图像集合和右视角作业人员图像集合利用梯度下降算法对自监督单目视差估计网络进行训练，并计算总损失函数以更新网络参数，当训练迭代次数达到设定的次数或总损失误差小于所设定的阈值时，训练停止，从而得到训练后的自监督单目视差估计网络；步骤3、利用单目视差图对双目视差图进行滤波优化操作；步骤3.1、利用训练后的基于MiDaS的单目视差估计网络对第n张左视角作业人员图像I进行视差估计，输出对应的单目电网作业人员视差图/>ln步骤3.2、利用SGBM半全局块匹配算法对和/>进行估计，得到第n张双目电网作业人员视差图d；n步骤3.3、通过式(5)对d进行自适应归一化处理，得到第n张归一化后的视差图n式(5)中，μ(·)、σ(·)分别为均值、标准差运算；步骤3.4、将作为引导图，对第n张双目电网作业人员视差图d进行引导滤波，从而得到第n张引导滤波后的双目视差图g；nn步骤4、通过YOLOv5模型检测中的作业人员位置的坐标，并在引导滤波后的双目视差图g中提取相应坐标区域的作业人员视差图p，再将视差图p等分为M×M个局部像素块，并将所述视差图p中的第b个局部像素块记为/>b∈[1, M]；nnnn2通过式(6)对第b个局部像素块进行评估，获取对应得分/>从而得到每个局部像素块对应的得分；选取M×M个局部像素块中得分最高的像素块并计算像素块/>的视差均值/>从而通过式(7)计算/>中作业人员的距离坐标D：n