一种场景距离实时感知方法、装置、电子设备及存储介质
摘要文本
本发明公开了一种场景实时距离感知方法、装置、电子设备及存储介质，通过对双目相机拍摄到的左右变电站场景图像进行直方图均衡化处理，使左右图像的亮度分布更加均匀，有利于后续的特征提取和匹配；采用轻量化的深度可分离变形卷积对经过处理的左右变电站场景图像进行特征提取，克服利用可变形卷积增强深度可分离卷积的感受野，从而提取更丰富的特征信息；基于多视差通道注意力代价聚合，多视差通道注意力机制可以更好地捕捉不同视差通道下的物体信息，并提高场景距离感知的精度和鲁棒性，从而更准确地构建代价聚合，提高立体匹配的准确性。
申请人信息
- 申请人:河南送变电建设有限公司; 国家电网有限公司; 南京斯泰恩智慧能源技术有限公司; 武汉大学
- 申请人地址:450051 河南省郑州市中原区金水西路76号
- 发明人: 河南送变电建设有限公司; 国家电网有限公司; 南京斯泰恩智慧能源技术有限公司; 武汉大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种场景距离实时感知方法、装置、电子设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311419098.X |
| 申请日 | 2023/10/30 |
| 公告号 | CN117422750A |
| 公开日 | 2024/1/19 |
| IPC主分类号 | G06T7/55 |
| 权利人 | 河南送变电建设有限公司; 国家电网有限公司; 南京斯泰恩智慧能源技术有限公司; 武汉大学 |
| 发明人 | 刘金柱; 闫海洋; 王石磊; 张森森; 景国明; 韩东伟; 代庆超; 张迪; 李朝阳; 王波; 黄建华; 王雷雄; 张迎晨; 宋玉存; 李智恒 |
| 地址 | 河南省郑州市中原区金水西路76号; 北京市西城区西长安街86号; 江苏省南京市江北新区浦滨路150号5号楼10楼; 湖北省武汉市武昌区八一路299号 |
专利主权项内容
1.一种场景距离实时感知方法，其特征在于：包括以下步骤：步骤1：在变电站近电作业场景下，使用双目相机对作业现场进行图像采集；步骤2：对步骤1采集到的图像进行处理，具体包括图像对齐、直方图均衡化处理、对应点标记以及数据集的保存；步骤3：将步骤2保存的数据集按左右图像输入轻量化的深度可分离变形卷积网络，进行双目图像特征提取，得到左右图像特征；步骤4：利用步骤3提取到的左右图像特征构造相关性代价体C，即使用步骤3中提取到的左右图像特征，计算左图像中的每个像素与右图像中所有像素的相关性，相关性代价体C是一个三维矩阵，i, x, yi, x, yC是相关性代价体，是一个三维矩阵；lf和rf分别是左右图像的特征，i是视差索引，x是特征的宽，y是特征的高，n是图像特征的通道数，其中每个元素表示左图像像素与右图像相对应像素的相关性程度；通过计算相关性，可以获取左图像中每个像素与右图像的匹配程度，用于后续视差计算；i, x, y步骤5：对步骤4得到的相关性代价体C使用多视差通道注意力进行代价聚合, 得到代价聚合Y；i, x, yi步骤6：使用步骤5得到的代价聚合Y进行视差回归：即计算每个像素点的视差值；视差值表示左右图像中对应像素之间的水平位移量，视差回归的目的是找到使得代价最小的视差值，转换过程涉及到校正和修正，用于提高深度图的精确性和可靠性，以获得最佳的深度估计结果；i步骤7：将得到最终的视差图转化为深度图：利用步骤6中得到的视差图，可以通过已知的摄像机参数和几何关系，进行深度值的计算和转化；深度图表示场景中每个像素点到相机的距离，可以通过将视差值转换为深度值来获得。 微信公众号马克 数据网