← 返回列表
基于卷积神经网络和扩散模型的纸本经图数字化修复方法
摘要文本
西南交通大学取得“一种透气窗帘布”专利技术，本发明涉及计算机视觉及图像修复技术领域，提供一种基于卷积神经网络和扩散模型的纸本经图数字化修复方法，包括：1、图像预处理；2、训练和微调基于CNN的边缘检测模型DexiNed，获得草图；3、加入交互信息，用户可在草图的基础上增加或者删除线条；4、训练基于DM的风格迁移模型InST；5、调整参数优化模型，获得线稿图；6、构建数据集；7、训练Stable Diffusion：使用LoRa技术进行微调，获得具有经图画风的模型；8、利用ControlNet进行推理：加入线稿条件，在经图风格的模型上输入文字实现着色功能。本发明能较佳地进行纸本经图数字化修复。
专利主权项内容
1.基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：包括以下步骤：S1、图像预处理：使用开源工具LabelMe标注纸本经图；S2、训练和微调基于CNN的边缘检测模型DexiNed，获得草图；S3、加入交互信息，用户可在草图的基础上增加或者删除线条；S4、准备高质量线稿图的数据，训练基于DM的风格迁移模型InST；S5、调整参数优化模型，获得线稿图；S6、构建数据集：准备用于训练的素材图片，并为每张图片标注文字作为标签；S7、训练Stable Diffusion：使用LoRa技术进行微调，获得具有经图画风的模型；S8、利用ControlNet进行推理：加入线稿条件，在经图风格的模型上输入文字实现着色功能。 更多数据：
专利申请信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于卷积神经网络和扩散模型的纸本经图数字化修复方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311537090.3 |
| 申请日 | 2023/11/16 |
| 公告号 | CN117649365A |
| 公开日 | 2024/3/5 |
| IPC主分类号 | G06T5/77 |
| 权利人 | 西南交通大学 |
| 发明人 | 龚勋; 彭会雯; 梁聪鑫 |
| 地址 | 四川省成都市二环路北一段111号 |