一种通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法及生成系统

专利主权项内容

1.一种通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，包括如下步骤：步骤1、将需要生成虚拟试穿图的衣服和模特输入数据预处理模块，得到两个生成模型需要的姿势骨架图、模特蒙版图模型输入；步骤2、将对应的数据分别输入褶皱衣服生成模型和形变衣服生成模型，生成穿着白色衣服、衣服上只有褶皱的模特图以及穿着试穿衣服的模特图；步骤3、将白色褶皱衣服图片看作底图，将另一张图片看作待叠图，通过语义分割得到两张图片的衣服部分的蒙版图；步骤4、将两个蒙版图的衣服部分做按位与操作，得到蒙版的重叠部分；根据重叠蒙版将两张图片的对应位置像素的值进行叠加；将待叠图的蒙版的边缘部分以微小的比例放大，将该部分的底图的像素作为新的叠加图片的对应部分的像素，将叠加图剩余部分的像素作为新的叠加图片的对应部分的像素；步骤5、用stable-diffusion的inpainting model来处理衣服边缘的瑕疵，并用Controlnet来控制图片的生成；步骤6、利用SAM得到的语义蒙版固定人物，切换背景，调整人物比例位置，生成最后的虚拟模特图。