一种生成模型增强的大规模视觉预训练方法及系统

专利主权项内容

1.一种生成模型增强的大规模视觉预训练方法，其特征在于，包括：利用预训练的生成模型，自适应生成原始图像所对应的正视图；其中，生成模型包括预训练的图像编码器和扩散生成器，图像编码器用于提取原始图像的嵌入特征和潜在特征，扩散生成器用于根据图像编码器提取的特征自适应生成原始图像所对应的正视图；对原始图像和正视图进行数据增强，生成增强后的正样本对，再使用预训练的图像编码器提取增强后的正样本对的特征表示；根据正样本对的特征表示，计算注意力掩码来分隔前景区域和背景区域；计算前景区域之间的相似性和背景区域之间相似性，评估出正样本对的质量，以在生成模型训练过程中来调整每个正样本对在对比损失函数的贡献；根据每个正样本对在对比损失函数的贡献，计算每个正样本对的重新加权因子，基于重新加权因子与对比损失函数加权，得到最终的损失函数，以用来确定是否继续训练生成模型。