← 返回列表
基于Swin Transformer与GAN的红外与可见光图像融合方法
摘要文本
本发明提出了基于Swin Transformer与GAN的红外与可见光图像融合方法,主要解决了在图像融合过程中如何同时保留红外图像中的显著目标信息和可见光图像中的纹理细节信息的问题。该方法通过将传统方法与深度学习方法相结合,利用Swin Transformer的全局特征提取能力和生成对抗网络的对抗训练过程,实现了高质量的融合效果。此外,采用隐式低秩表示技术对源图像进行分解,并在生成器中采用双分支结构,充分整合源图像中的互补信息。为了提高训练效率,本方法还引入了预融合技术为生成对抗网络提供先验知识。本方法旨在满足现代遥感、军事和其他领域对红外与可见光图像融合的高效、准确需求,为图像处理领域带来了新的方法。
申请人信息
- 申请人:江苏海洋大学
- 申请人地址:222005 江苏省连云港市海州区苍梧路59号
- 发明人: 江苏海洋大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于Swin Transformer与GAN的红外与可见光图像融合方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311317507.5 |
| 申请日 | 2023/10/12 |
| 公告号 | CN117333410A |
| 公开日 | 2024/1/2 |
| IPC主分类号 | G06T5/50 |
| 权利人 | 江苏海洋大学 |
| 发明人 | 康家银; 马寒雁; 姬云翔; 张文娟; 孔石泉; 李惠鑫 |
| 地址 | 江苏省连云港市海州区苍梧路59号 |
专利主权项内容
1.基于Swin Transformer与GAN的红外与可见光图像融合方法,其特征在于,该方法包括以下步骤:S1:使用隐式低秩表示分解红外图像和可见光图像为基础层图像和细节层图像,并进行归一化处理;S2:分别对基础层和细节层图像进行预融合;S3:将预融合后的基础层和细节层图像输入到一个生成对抗网络中,该网络包含一个生成器和两个判别器;S4:使用训练好的生成对抗网络生成最终的融合图像。