基于元增强对比学习的无源无监督域适应方法

专利主权项内容

1.一种基于元增强对比学习的无源无监督域适应方法，其特征在于，包括以下步骤：S1：根据实际需要收集目标域的M个图像样本构成元训练数据集X；S2：根据实际需要确定源域编码器和源域分类器，提取其中参数初始化目标域模型中编码器和分类器的参数，将初始目标域模型复制一份，分别作为教师模型和学生模型构成师生网络；在教师模型的编码器和分类器之间设置一个元特征增强器，用于对编码器提取得到的特征图进行增强，随机初始化元特征增强器参数，从而构成元增强对比学习模型；S3：初始化对比学习特征库，包括正样本、负样本特征库和空间特征库，具体步骤包括：S3.1：将元训练数据集X中的每个图像样本x分别进行随机增强，得到增强样本A(x)并分别输入到教师模型的编码器和学生模型的编码器/>得到特征/>其中，/>d表示特征的维度，i＝1, 2, …, M，θ表示教师模型的参数；ii将教师模型编码器得到的特征表示/>输入到元特征增强器中，输出增强特征/>将特征和/>分别输入到教师模型和学生模型中的分类器得到对应的概率分布分别表示教师模型和学生模型中的分类器所得到的图像样本x属于类别c的概率，c＝1, 2, …, C，C表示类别的数量；iS3.2：采用如下公式确定图像样本x的伪标签y：iiS3.3：采用如下公式计算每个类别c的质心作为正样本：其中，表示类别c的质心，I(y＝c)表示二值函数，当y＝c时I(y＝c)＝1，否则I(y＝c)＝0；iiiiS3.4：构建作为负样本特征库N，负样本特征库N是包含C个长度为M的队列的列表，记类别c对应的负样本特征队列为N(c)，遍历各个图像样本x，如果满足其伪标签y＝c, 0≤υ≤τ≤1表示阈值参数，则将对应的增强特征/>加入类别c的负样本队列N(c)，否则不作任何操作；semsemsemiisemS3.5：对于元训练数据集X每个图像样本x，通过学生模型编码器得到对应的特征，按顺序填充到空间特征库中；iS4：采用元学习方式同时优化元特征增强器和学生模型，从而完成元增强对比学习模型的训练，具体方法为：S4.1：令迭代次数t＝1；S4.2：从元训练数据集X中随机选择B个图像样本作为当前批次的训练数据集X；BS4.3：将元增强对比学习模型中的学生模型的模型训练损失作为下层任务，将元特征增强器的模型训练损失作为上层任务，采用当前批次的训练数据集X对元增强对比学习模型，上层任务和下层任务交替进行迭代更新，完成元学习模型的训练；其中，下层任务损失的计算公式为：B其中，θ表示学生模型的参数，表示元特征增强器的参数，λ表示非负的调优因子，分别表示学生模型的语义对比损失和空间特征对比学习损失；语义对比损失/>基于语义负样本库计算，计算公式如下：其中，表示当前批次中的训练样本，/>表示学生模型中特征提取对训练样本/>提取得到的特征，c表示学生模型对训练样本/>的预测类别，/>表示预测类别c所对应的正样本，N(c)表示预测类别c所对应的负样本特征队列，p表示负样本，||表示求取集合中样本数量，d()表示求取距离；jjsemjj-空间特征对比学习损失的计算方法为：1)采用K近邻算法从空间特征库N中选择与图像样本的特征/>最相似的K个特征表示作为正样本，从而得到正样本集合/>spa2)将当前批次的训练数据集X中除图像样本之外的其他图像样本作为负样本，从而得到负样本集合/>B3)采用如下公式计算特征对比学习损失其中，q表示正样本集合中的特征，/>表示学生模型中编码器对负样本集合/>中的图像样本/>提取得到的特征；k上层任务损失的计算公式为：其中，A()表示对图像样本进行随机增强，分别表示学生模型中编码器对图像样本/>和增强图像样本/>提取得到的特征，/>表示一致性损失，/>表示图像样本/>的熵值；S4.4：判断是否t＜t，t表示预测的最大迭代次数，如果是，进入步骤S4.5，否则训练完成；maxmaxS4.5：采用当前学生模型的参数对教师模型的参数进行更新；S4.6：采用本批次的数据对对比学习特征库进行更新，具体方法为：S4.6.1：对于当前批次的训练数据集X每个图像样本采用步骤S3.1中的方法获取由教师模型和学生模型中的分类器对图像样本/>随机增强后的样本得到概率分布分别表示教师模型和学生模型中的分类器所得到的图像样本/>属于类别c的概率，并提取学生模型中的编码器对图像样本/>随机增强后的样本提取得到的特征/>和元特征增强器得到的增强特征/>BS4.6.2：采用如下公式确定图像样本的伪标签y：jS4.6.3：采用如下公式更新每个类别的正样本p：c其中，λ∈(0, 1)表示预设的权重；S4.6.4：遍历各个图像样本如果满足其伪标签y＝c, />则将对应的增强特征/>根据先进先出的原则对类别c的负样本队列N(c)进行更新，否则不作任何操作；jsemS4.6.5：对当前批次的训练数据集X中每个图像样本采用当前学生模型编码器提取得到对应的特征，根据先进先出的原则对空间特征库N进行更新；BspaS4.7：令t＝t+1，返回步骤S4.2；S5：从训练完成的元增强对比学习模型中提取出学生模型，作为目标域模型。