一种基于多路径聚合Transformer的卫星云图超分辨率重建方法

专利主权项内容

1.一种基于多路径聚合Transformer的卫星云图超分辨率重建方法，其特征在于，包括以下步骤：S1：卫星云图数据预处理；S2：根据步骤S1处理后的图像数据制作用于超分辨率技术的彩色卫星云图数据集；S3：构建基于多路径聚合Transformer超分辨率网络模型；S4：使用步骤S2中的数据集对步骤S3搭建的重建模型进行训练、优化和测试，并保存得到的最优模型结构和权重；S5：将低分辨率卫星云图输入步骤S4得到的最优超分辨率模型中，最后生成高分辨率卫星云图；步骤S3包括以下步骤：S31：浅层特征提取部分，通过一个3×3卷积提取图像的浅层特征同时扩展图像的通道数；S32：深层特征提取部分，利用基于Transformer结构和注意力机制有效捕获卫星云图中的图像的特征细节，其中包含6个改进的多路径Transformer模块，即MTB，每个模块串联在一起；每个MTB内包含6个多路径Transformer层，即MTL；每个MTL包含双路聚合自注力机制DASA和多尺度特征聚合块MFAB；浅层特征通过残差连接与深层特征融合；DASA通过双路径卷积聚合不同深度的特征，并且利用通道注意力帮助自注意力激活更多像；DASA能够在空间，通道，深度三个维度探索特征间的相关性，并且利用卷积关注更丰富的局部信息并减小参数量，DASA中的自注意力机制计算公式为：，其中/>由双路径中1×1卷积路径生成的/>和带有通道注意力的卷积组路径生成的/>加权合并得到，B，C，H，W分别表示输入特征的批量大小，通道数，高，宽；加权公式表达为：/>，，/>，其中/>和/>为赋予/>和/>的权重，分别为0.2和0.8，/>和分别表示1×1卷积路径和带有通道注意力的卷积组路径，/>表示输入特征；是由双路径生成的特征聚合并线性变换得到的三维向量，/>由/>转置得到；/>表示输出的特征，/>表示softmax函数，其公式为：，其中/>为特征向量，/>表示/>的第/>维数据；MFAB由移位卷积和多尺度交互操作组成，移位卷积可以帮助局部像素参与不同通道组之间的特征关联计算，多尺度交互操作能够进一步建立相邻区域特征之间的关联；MFAB利用更丰富的区域特征，使模型能够与目标区域进行空间交互并自适应收敛，以减轻卫星云图的模糊和云遮挡对超分辨率任务造成的不利影响，具体公式表达为：，，其中/>为输入特征；/>为按通道维度分割后的四组特征；/>表示切分函数；/>表示移位卷积；/>表示提取的多尺度特征；/>，/>，，/>表示不同卷积核大小的深度可分离卷积；/>表示不同尺度特征经过交互后的输出；/>为可学习的权重，且/>；/>为最后的输出特征；S33：图像重建部分，融合深层特征提取部分输出的所有特征，浅层特征通过残差连接与融合的深层特征结合，再利用亚像素卷积重建得到高分辨率图像，过程公式为：，其中/>表示重建的高分辨率云图，/>包含亚像素卷积层和降维卷积层，/>和/>分别表示浅层特征提取部分和深层特征提取部分的输出。