一种基于跨模态特征注意力交互的全色锐化方法

摘要文本

（来 自 专利查询网） 本发明公开了一种基于跨模态特征注意力交互的全色锐化方法，包括以下步骤：(1)获取、预处理数据集，制作训练样例图像；(2)利用基于深度图像先验的上采样方法，获得全色图像空间尺度下的高光谱图像；(3)利用重叠补丁嵌入模块分解和转换上采样的高光谱图像与全色图像，分别获得光谱特征与空间特征表示；(4)利用若干光谱‑空间注意力交互模块，直接交互、融合光谱特征与空间特征，获得融合的跨模态特征表示；(5)利用图像重建层还原维度，获得高空间分辨率的高光谱图像；本发明针对高维且异构的高光谱图像与全色图像，直接交互高光谱图像特征与全色图像特征，以较少的成本开销，实现不同模态图像数据的自注意力机制运算。