← 返回列表
一种基于CLIP的医学图像的细粒度分类方法
申请人信息
- 申请人:中国海洋大学
- 申请人地址:266100 山东省青岛市崂山区松岭路238号
- 发明人: 中国海洋大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于CLIP的医学图像的细粒度分类方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410089394.6 |
| 申请日 | 2024/1/23 |
| 公告号 | CN117611930A |
| 公开日 | 2024/2/27 |
| IPC主分类号 | G06V10/764 |
| 权利人 | 中国海洋大学 |
| 发明人 | 蔡青; 张朦幻; 李帅衡; 冯春梅; 刘治; 董军宇 |
| 地址 | 山东省青岛市崂山区松岭路238号 |
摘要文本
本发明公开了一种基于CLIP的医学图像的细粒度分类方法，属于计算机视觉技术领域。本发明利用clip模型以及特征对齐的思想，搭建了医学图像细粒度图像分类的通用模型，可以通过先粗粒度后细粒度分类的方式，对于不同类型的医学图像数据集进行很好的分类，并进一步在各个医学图像数据集中实现细粒度分类。本发明能够成为医学图像细粒度分类领域中的通用模型，预测效果较好，具有广阔的应用前景。 数据由马 克 团 队整理
专利主权项内容
1.一种基于CLIP的医学图像细粒度分类方法，其特征在于，包括如下步骤：S1：采集医学影像类的细粒度图像数据，进行预处理，并划分训练集和测试集；S2：首先基于CLIP于细粒度图像数据进行粗分类，得到粗分类后的图像数据集；S3：再基于ResNet对粗分类后的图像数据集进行处理，进行细粒度分类；S4 : 引入一种基于标签平滑的软监督的课程训练策略；S5：通过FPN模块生成不同空间大小的得分图金字塔；S6：根据得分图的高低，将对应的局部区域从输入图片上裁剪下来并依次送入到具有共享权重的主干网络中；S7：提出对比特征正则化的方式，对全局特征和局部特征进行对比学习，以此来过滤掉全局特征中的冗余信息；S8：提出无监督图匹配方法，以统一的顺序对提取到的多个局部特征进行排序，即对局部特征进行对齐；S9：通过训练集对CLIP和ResNet进行训练，分别得到训练好的模型之后，再进行测试，输出分类结果。