一种基于Cycle-GAN的图像加雾方法

专利主权项内容

1.一种基于Cycle-GAN的图像加雾方法，其特征在于，包括：获取待加雾图像；将所述待加雾图像输入预设的图像生成模型中，输出加雾后的目标图像，其中，所述图像生成模型由训练集训练获得，所述训练集包括无雾的图像数据和文本数据、有雾的图像数据和文本数据，所述图像生成模型采用Cycle-GAN网络构建；构建所述图像生成模型包括：采集所述无雾的图像数据和文本数据、有雾的图像数据和文本数据，将所述无雾的图像数据和文本数据、有雾的图像数据和文本数据分别进行特征融合；获取目标雾气生成效果，基于所述目标雾气生成效果构建文本语义约束；引入大气散射模型对特征融合后的数据进行先验约束，然后输入以所述文本语义约束作为条件输入的生成器，生成图像；将所述图像输入判决器中进行判决，获取符合预设条件的图像，并将符合预设条件的图像输入带掩码的自动编码器中进行图像去噪，获取最终图像，完成所述图像生成模型的构建；将所述图像数据和所述文本数据进行特征融合包括：将所述图像数据和文本数据输入预设的CLIP模型中，获取图像编码和文本编码；在共同编码空间中，将所述图像编码和所述文本编码进行比较，计算所述图像编码与所述文本编码之间的相似度，构建特征矩阵，完成所述图像数据和所述文本数据的特征融合；所述预设的CLIP模型包括：图片编码器和文本编码器，所述图片编码器采用卷积神经网络，为基于Transformer的图像分类模型，用于将输入的图像转换为特征向量；所述文本编码器为基于Transformer-based的语言模型，用于将输入的文本描述转换为文本向量；获取所述图像编码的方法为：
其中，/>为待编码图像，/>为图像编码函数，为图像编码，/>为实数集合，/>为样本数量，/>为图像特征维度；获取所述文本编码的方法为：
其中，/>为待编码文本，/>为文本编码函数，为文本编码，/>文本特征维度；计算所述图像编码与所述文本编码之间的相似度的方法为：
其中，/>为经过2标准化后的图像编码，/>为经过2标准化后的文本编码，/>为2标准化函数，为余弦相似度计算函数；LLL基于所述目标雾气生成效果构建文本语义约束包括：获取所述目标雾气生成效果，对所述目标雾气生成效果的文本进行预处理，将处理后的文本输入预设的CLIP模型中，获取所述文本的文本编码，将所述文本的文本编码作为文本约束语句；将所述文本约束语句加入生成器和判别器中构建所述文本语义约束；将所述文本约束语句加入生成器和判别器中构建所述文本语义约束包括：将所述文本约束语句通过文本编码器生成文本特征，将所述文本特征作为条件输入到生成器中生成约束雾图，将所述约束雾图通过图像编码器生成图像特征，比较所述文本特征和所述图像特征，计算所述文本特征和所述图像特征的语义相似度，将所述语义相似度与所述约束雾图送入判决器中进行判别，根据所述语义相似度是否在预设范围内判断所述约束雾图的真实性。