一种基于伪样本学习的无监督SAR与光学图像变化检测方法

专利主权项内容

1.一种基于伪样本学习的无监督SAR与光学图像变化检测方法，其特征在于，包括如下步骤：步骤1：构建伪样本集；步骤1-1：构建粘贴库；对选中的时相进行无监督分类，将整个图像的像素分成C类；使用滤波核大小为K的中值滤波对分类值进行滤波，然后全图进行滑动窗口的方式搜索，每个位置包括大中小三种窗口尺寸；只要窗口内某个类别大于阈值T就加入到相应的库中，最后将得到一个具有C个类别的粘贴库，每个类别包括不同尺寸的多个粘贴片；bank步骤1-2：筛选样本；将数据集划分为patch块作为基本训练图像，通过计算先验变化图中变化像素数量是否小于阈值T筛选用来构建伪样本集的patch；unch步骤1-3：选择粘贴区域和粘贴片；随机选择位置、尺寸和粘贴的形状来生成粘贴区域，选择粘贴区域内类别一致性超过阈值T的区域；pasted计算粘贴区域内的像素中心，选择距离其最远的c个类别中的任意粘贴片；粘贴完粘贴片后，先验变化图相应的位置也会被设置为1作为变化类，从而得到了伪样本的标签；步骤2：构建真实样本训练集；从所有patch中随机选择和伪样本集数量相等的patch，使用Cut-Mix的强数据增强方式将对应的伪样本中的随机区域粘贴到真实样本中，同时粘贴两个时相和标签；步骤3：搭建网络结构；使用双分支U-Net网络，其中解码器为不共享参数的双分支结构，分别用来提取双时相的图像特征，两个编码器结构相同，解码器只进行一次下采样；在卷积模块中加入Dropout；两个编码器的各层次特征相减并取绝对值，并输入到解码器中，其中第一组特征图通过跳跃连接输入到解码器，该过程保持和U-Net一致；最后一组特征图以标签为掩码进行池化，得到两个特征向量：分别表示变化与不变；在掩码池化的时候用双线性插值将标签缩小为特征图的尺寸；步骤4：伪样本学习分支；在伪样本学习分支使用一个权重衰减伪样本学习分支损失，设置权重线性增加，其损失L为：>其中CE(·)表示交叉熵损失，c表示先验图中发生变化的区域，y表示伪样本集的标签，表示预测值；α表示系数；i、j表示对应区域中的像素；prior>步骤5：真实样本学习分支；真实样本学习分支和伪样本学习分支并行训练，共享网络参数；真实样本学习分支通过全图推理的先验变化图作为标签并使用交叉熵损失进行监督；该分支使用任意的patch进行训练，其损失L为：>其中y为先验标签；>步骤6：对比特征学习；采用对比损失约束不同分支和不同类别特征之间的距离；根据标签对编码结果进行掩码池化，每个训练分支得到变化和不变化两个特征向量；对特征的距离度量函数采用余弦相似度，四个特征向量能得到下面四个距离关系；其中D(·, ·)表示余弦相似度，表示未变化区域的类内相似性，/>表示变化区域的类内相似性，/>表示伪样本学习支路的类间差异性，/>表示真实样本学习支路的类间差异性；对变化类和不变化类分别维护一个原型向量，每次迭代得到的新的特征向量都会通过平均的方式更新原型向量；步骤7：总训练损失L如下；其中，β为权重；步骤8：推理过程；若干次训练后，将双时图像分别输入到网络的两个编码器中，最后解码器输出变化概率图p；以0.5为阈值对p进行二值化，新的变化图将会更新先验变化图，进行继续训练，直到达到指定迭代次数；11训练完毕后，在推理流程中分别使用变化和不变原型向量与编码器编码后的特征计算余弦相似度并归一化，得到p和p；最后使用加权融合的方法融合三个概率图：23p＝λp+λp+λ(1-p) (7)112233其中，λ、λ、λ分别为权重系数；123对p同样使用0.5进行阈值分割，得到最终的检测二值图。