← 返回列表
一种基于跨模态融合的水下去遮挡方法
摘要文本
一种基于跨模态融合的水下去遮挡方法。本发明属于水下机器视觉的技术领域，具体而言，涉及事件和RGB两种数据模态深度融合方法，以及基于事件和RGB数据的水下场景去遮挡重建方法。本发明提供了一种基于跨模态融合的水下去遮挡方法，解决了现有技术中在水下去遮挡时都是先将事件序列与RGB图像各自的特征先进行编码后再融合，此种处理方式容易导致模型计算量和硬件要求翻倍，无法适配于资源受限的水下环境的问题。本发明所述方法将事件序列与RGB图像直接进行融合，然后再进行编码解码，在前融合阶段进行数据融合，减少了系统对计算量的要求，使网络更加轻量化。
申请人信息
- 申请人:吉林大学
- 申请人地址:130012 吉林省长春市前进大街2699号
- 发明人: 吉林大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于跨模态融合的水下去遮挡方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410182761.7 |
| 申请日 | 2024/2/19 |
| 公告号 | CN117745596A |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06T5/77 |
| 权利人 | 吉林大学 |
| 发明人 | 姜宇; 张永霁; 魏枫林; 赵明浩; 齐红; 王跃航; 郭千仞 |
| 地址 | 吉林省长春市长春高新技术产业开发区前进大街2699号 |
专利主权项内容
1.一种基于跨模态融合的水下去遮挡方法，其特征在于，所述方法包括如下步骤：S1、利用事件相机采集水下场景对应的水下事件序列、遮挡RGB帧以及未遮挡RGB帧，并构建水下事件序列—遮挡RGB帧—中间视角未遮挡RGB帧为标准的基准数据集，基准数据集中包括训练集和测试集；使用训练集对步骤S2—S5进行训练；S2、对水下场景对应的水下事件序列采用体素网格方式进行分段化表征，并将表征后的结果作为目标事件张量图；S3、利用自主设计的时序多尺度编码网络对目标事件张量图和其对应的遮挡RGB帧进行融合特征编码；S4、利用基于特征金字塔的多级Transformer编解码器对步骤S3得到的多尺度融合特征进行深度特征抽取；S5、利用基于特征金字塔的多级Transformer编解码器进行解码，得到中间视角水下重建图像；S6、利用步骤S1中的测试集对步骤S2-S4中的网络进行测试，直到解码所得的中间视角水下重建图质量符合要求，否则重复步骤S1—S5；S7、将中间视角水下重建图像与其他视角遮挡RGB帧一同送入到自主改进的U型编解码网络中进行融合，最终输出所有视角的水下重建图像。