← 返回列表
一种基于多传感器图像结果融合的目标感知方法及系统
申请人信息
- 申请人:哈尔滨工业大学(威海)
- 申请人地址:264209 山东省威海市文化西路2号
- 发明人: 哈尔滨工业大学(威海)
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于多传感器图像结果融合的目标感知方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311739155.2 |
| 申请日 | 2023/12/15 |
| 公告号 | CN117557911A |
| 公开日 | 2024/2/13 |
| IPC主分类号 | G06V20/10 |
| 权利人 | 哈尔滨工业大学(威海) |
| 发明人 | 赵占锋; 苏慧莹; 冯翔; 周志权 |
| 地址 | 山东省威海市文化西路2号 |
摘要文本
本发明提供了一种基于多传感器图像结果融合的目标感知方法及系统，涉及电子信息工程和图像处理技术领域，为解决现有技术在恶劣天气环境下的感知精度受限、运行效率低的问题。本发明方法通过改进的YOLOv5s的网络模型对相机图像数据进行特征提取；模型采用深度可分离卷积，在图像输出到Head层时，将特征图进行降采样与Neck层提取出的特征进行多维度拼接，利用即插即用的CBAM注意力机制模块在特征提取时进行空间与通道上注意力的权重分配；同时，通过改进的Complex‑YOLOv4的网络模型，对激光雷达三维点云数据进行特征提取，模型采用深度可分离卷积，采用即插即用的CBAM注意力机制模块对空间与通道上的敏感度进行放大；将二者的识别结果进行融合，得到最终的检测的目标信息。
专利主权项内容
1.一种基于多传感器图像结果融合的目标感知方法，其特征在于，包括如下步骤：S1、通过相机和激光雷达采集环境数据，得到相机图像数据和激光雷达三维点云数据；S2、通过改进的YOLOv5s的网络模型对相机图像数据进行特征提取，得到相机图像目标识别结果；所述改进的YOLOv5s的网络模型，采用深度可分离卷积，在图像输出到Head层时，将特征图进行降采样与Neck层提取出的特征进行多维度拼接，同时，利用即插即用的CBAM注意力机制模块在特征提取时进行空间与通道上注意力的权重分配；S3、通过改进的Complex-YOLOv4的网络模型，对激光雷达三维点云数据进行特征提取，得到目标对象的识别结果；所述的改进的Complex-YOLOv4的网络模型，采用深度可分离卷积，同时，采用即插即用的CBAM注意力机制模块对空间与通道上的敏感度进行放大；S4、将相机图像检测结果与三维空间的检测结果进行融合，得到最终的检测的目标信息。