基于特征分布对齐与聚类的零样本草图检索方法及系统

专利主权项内容

1.一种基于特征分布对齐与聚类的零样本草图检索方法，其特征在于，方法步骤包括：S1、获取带标签的基础图像数据，根据所述基础图像数据构建数据集；对所述数据集进行训练集和测试集的划分；所述步骤S1中，获取带标签的基础图像数据，根据所述基础图像数据构建数据集；对所述数据集进行训练集和测试集的划分，包括：获取带标签的基础图像数据，根据所述基础图像数据构建数据集；其中，所述基础图像数据包括：自然图像和手绘图像；将所述数据集划分为训练集和测试集；其中，所述训练集和所述测试集中均包含自然图像和手绘图像；S2、构建特征提取神经网络，对所述特征提取神经网络进行初始化；所述步骤S2中，构建特征提取神经网络，对所述特征提取神经网络进行初始化，包括：构建特征提取神经网络；获取ImageNet预训练模型，通过所述ImageNet预训练模型对所述特征提取神经网络的权重进行初始化；S3、将所述训练集输入至所述特征提取神经网络，获得训练好的特征提取神经网络；述步骤S3中，将所述训练集输入至所述特征提取神经网络，获得训练好的特征提取神经网络，包括：将所述训练集输入至所述特征提取神经网络；通过分类损失对所述特征提取神经网络进行训练；通过知识蒸馏损失对所述特征提取神经网络进行训练；通过特征分布对齐损失对所述特征提取神经网络进行训练；获得训练好的特征提取神经网络；所述通过分类损失对所述特征提取神经网络进行训练，包括：分别获取自然图像域和手绘图像域的图像数据，通过下述公式(1)的交叉熵损失函数，引导所述特征提取神经网络将自然图像和手绘图像进行分类，将两个域的图像投影到同一特征空间中：
(1)其中，为交叉熵损失函数；训练特征批次/>；/>为样本编号，为第/>个图片样本经神经网络提取得到的特征，/>为模型输出层分类器的权重；/>为模型输出层分类器的偏置参数；分类器权重与偏置参数的下标/>代表参数对应的类别编号，/>代表第/>个样本对应的标签类别编号；/>为训练类别集合；所述通过知识蒸馏损失对所述特征提取神经网络进行训练，包括：基于所述ImageNet预训练模型构建教师模型，通过知识蒸馏的方式，使所述特征提取神经网络保留在ImageNet预训练模型中学习到的通用特征；所述教师模型如下述公式(2)所示：
(2)其中，所述教师模型的参数与所述初始化后的特征提取网络参数一致；为教师模型输出层分类器权重，下标/>代表参数对应的类别编号；/>为教师模型输出层偏置参数，下标/>代表参数对应的类别编号，/>, />；/>为教师模型预测输出的分类标签, 即ImageNet数据集中的1000个类别；/>为教师模型预测第/>个样本属于类别的概率；k所述通过特征分布对齐损失对所述特征提取神经网络进行训练，包括：使用分类损失和知识蒸馏损失训练后的特征提取网络，对一个训练批次的图像进行特征提取，得到特征，从正态分布/>中采样一个随机特征，特征分布对齐损失函数/>如下述公式(3)所示：
(3)KL散度如下述公式(4)所示：
(4)其中，代表/>第/>个特征通道的数值；/>代表与/>第/>个特征通道的数值；S4、获取测试集中的待检索图像，将所述待检索图像输入至所述训练好的特征提取神经网络进行特征提取，获得待检索图像的图像特征；S5、将所述图像特征进行子空间聚类、聚类簇原型提取和特征融合，获得检索所需特征；所述步骤S5中，将所述图像特征进行子空间聚类、聚类簇原型提取和特征融合，获得检索所需特征，包括：获取所述图像特征；将所述图像特征输入所述训练好的特征提取神经网络，通过所述训练好的特征提取神经网络的特征通道进行子空间划分，获得个子空间，所述图像特征的每个特征向量/>如下述公式(5)所示：
(5)其中，表示属于第/>个子空间的子向量；在每个子空间中通过KMeans聚类方法对所述图像特征进行聚类，将所述图像特征的每个子向量分配给对应子空间中最接近的簇中心，使用簇中心代替原始特征，获得原型化特征；将所述原始特征和所述原型化特征进行加权融合，获得检索所需特征；S6、输入用户手绘图像至所述训练好的特征提取神经网络，获得所述用户手绘图像特征；将所述用户手绘图像特征与所述待检索图像的检索所需特征进行距离计算，获得计算结果，完成基于特征分布对齐与聚类的零样本草图检索。