一种基于检索及分割增强的扩散图像生成方法及系统

专利主权项内容

1.一种基于检索及分割增强的扩散图像生成方法，其特征在于，所述方法包括S1模型构建、S2数据集构建、S3模型训练以及S4图像生成，具体包括：S1模型构建，其中，所构建模型的网络架构具体包括分割模型、Chinese-Clip模型、噪声生成模块、多层感知机以及扩散模型组成；S2数据集构建，包括建立与图像库的数据传输关系，通过分割模型对图像库中的图像执行语义分割，获取所有图像的主要部件构成子图，利用Chinese-Clip模型中的图像编码器对图像库中的图像及其主要部件构件构成子图执行图像编码得到向量，并在将向量归一化后与图像对应的文本向量进行配对后存储至faiss向量数据库中；S3模型训练，包括配对后存储的图像向量与图像对应的文本向量通过多层感知机进行增强融合后，利用图像和文本的融合向量对扩散模型进行训练；S4图像生成，包括获取目标描述文本，利用文本编码器对目标描述文本进行编码后在向量数据库中检索出最相似的Top-K图像向量，基于目标描述文本和Top-K图像向量通过训练完成的扩散模型得到目标生成图像。