基于GAN和Transformer的全色与多光谱遥感图像融合方法

专利主权项内容

1.基于GAN和Transformer的全色与多光谱遥感图像融合方法，其特征在于，该方法包括以下步骤：S1：使用引导滤波器将源图像进行分解，得到多光谱基础层、多光谱细节层、全色基础层和全色细节层，并针对全色图像与多光谱图像各自的特性分别采用不同的分解策略；S2：将多光谱基础层与全色基础层在通道维度堆叠，得到输入基础层图像；将多光谱细节层与全色细节层在通道维度堆叠，得到输入细节层图像；S3：对包含主要纹理信息的细节层图像，使用卷积神经网络实现纹理信息的特征提取；S4：对含有部分纹理细节信息和较多光谱信息的基础层图像，使用Transformer网络进行特征提取，并将S3中提取的特征与此步提取的特征进行融合，然后基于融合的特征进行图像重建，从而得到融合后的具有丰富纹理信息与光谱信息的融合图像，以作为生成器的输出结果；S5：将生成器输出的融合图进行引导滤波分解，得到融合图像的基础层图像与细节层图像，并将其基础层图像与经过平均值计算的源图像基础层、其细节层图像与经过最大值计算的源图像细节层分别输入到基础层判别器、细节层判别器中，从基础层信息、细节层信息两个层面对输入的融合图像与源图像进行判别；S6：通过生成器与基础层判别器和细节层判别器不断地对抗与优化训练，直至基础层判别器与细节层判别器均无法辨别出生成器生成的融合图像，得到最终的融合结果。