一种基于CycleGan的阴道镜图像模态转换方法
摘要文本
本发明公开了一种基于CycleGan的阴道镜图像模态转换方法，该方法包括以下步骤：将阴道镜白光/荧光图像从含其他各种图像的混合数据集使用预训练的VGG网络筛选出来从而得到输入图像；将输入图像经过标准化、归一化，以消除数据中的噪声和离群值；分别定义CycleGan的生成器、鉴别器以及损失函数；将经过预处理的源图像数据输入循环生成对抗网络进行训练；通过训练好的网络得到与源图像位于同一坐标系下的目标域合成图像数据；本发明可以将跨模态相关问题转化为单模态相关问题，给医学图像跨模态配准，医学图像跨模态融合等相关问题提供了一种新的更为简便的实现方法。。
申请人信息
- 申请人:南昌航空大学
- 申请人地址:330000 江西省南昌市红谷滩新区丰和南大道696号
- 发明人: 南昌航空大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于CycleGan的阴道镜图像模态转换方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311782626.8 |
| 申请日 | 2023/12/22 |
| 公告号 | CN117437514A |
| 公开日 | 2024/1/23 |
| IPC主分类号 | G06V10/80 |
| 权利人 | 南昌航空大学 |
| 发明人 | 刘君; 刘模平; 李凌; 安云婷; 郑子雯 |
| 地址 | 江西省南昌市丰和南大道696号 |
专利主权项内容
1.一种基于CycleGan的阴道镜图像模态转换方法，其特征在于：该方法包括以下步骤：(1)使用预训练的VGG16网络从混合数据集筛选出阴道镜白光/荧光图像；(2)将输入的阴道镜白光/荧光图像经过标准化、归一化的数据处理操作，以消除数据中的噪声和离群值；(3)分别定义CycleGan的生成器、鉴别器以及损失函数；(4)将经过预处理的源图像数据输入构建的CycleGan进行训练；其中，CycleGan训练细节为：CycleGan的损失函数有对抗损失、循环一致性损失；对抗损失如公式(1)、公式(2)所示：
；其中，为第一生成器，为第二生成器，表示鉴别Y空间样本的第二鉴别器，/>表示鉴别X空间样本的第一鉴别器，表示阴道镜白光空间，表示阴道镜荧光空间，x表示第一生成器从阴道镜白光空间X中取的样本，表示阴道镜荧光空间中取的样本，/>是指在阴道镜荧光空间中取的样本，/>是指从阴道镜白光空间中取的样本，/>表示第一生成器生成的Y空间图片，()表示第二生成器生成的X空间图片，/>表示第二鉴别器/>判断是否是阴道镜荧光空间中取的样本的概率，/>表示第一鉴别器/>判断是否是阴道镜白光空间中取的样本的概率，而/>是第二鉴别器/>判断第一生成器生成的图片是否是阴道镜荧光空间中取的样本的概率，/>是第一鉴别器/>判断第二生成器生成的图片是否是阴道镜白光空间中取的样本的概率；GFXYGyYGFyFyYxXGYFX循环一致性损失如公式(3)所示：
；其中，为第二生成器，是指从阴道镜白光空间中取的样本，/>表示第二生成器将第一生成器通过阴道镜白光图像合成的阴道镜荧光图像/>重建的阴道镜白光图像，/>表示第一生成器将第二生成器通过阴道镜荧光图像合成的阴道镜白光图像/>重建的阴道镜荧光图像；FFGxGFy(5)通过训练好的网络得到与源图像位于同一坐标系下的目标域图像数据。