← 返回列表
一种基于多模态视网膜成像的MCI检测方法
摘要文本
本发明旨在建立一个基于多模态视网膜图像的双流注意神经网络来对MCI个体进行分类。我们的方法结合了跨模态融合技术、可变尺度密集残差模型和双流网络中的多分类器机制。该模型利用残差模块提取图像特征，采用多级特征聚合方法捕获复杂的上下文信息。在每个卷积层使用自注意和交叉注意模块来融合光学相干断层扫描(OCT)和眼底模式的特征。应用神经网络对MCI患者、阿尔茨海默病患者和认知正常的对照组进行分类。通过对预训练模型进行微调，我们根据认知障碍测试分数将社区居住参与者分为两组。为了识别与准确预测相关的视网膜成像生物标志物，我们使用了梯度加权类激活映射技术。该方法对MCI和认知障碍阳性测试分数的分类准确率分别达到84.96%和80.90%。
申请人信息
- 申请人:杭州师范大学; 南京信息工程大学
- 申请人地址:310000 浙江省杭州市余杭区余杭塘路2318号
- 发明人: 杭州师范大学; 南京信息工程大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于多模态视网膜成像的MCI检测方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311151559.X |
| 申请日 | 2023/9/7 |
| 公告号 | CN117426748A |
| 公开日 | 2024/1/23 |
| IPC主分类号 | A61B5/00 |
| 权利人 | 杭州师范大学; 南京信息工程大学 |
| 发明人 | 潘志庚; 高和蓓; 李洪 |
| 地址 | 浙江省杭州市余杭区余杭塘路2318号; 江苏省南京市江北新区宁六路219号 |
专利主权项内容
1.一种基于多模态视网膜成像的MCI预测方法，其特征在于，包括以下步骤：S1、构建双流注意神经网络，包括模态特征提取模块、跨模态融合单元和分类器，所述分类器包括融合分类器，所述模态特征提取模块设置有两个，包括眼底特征提取器和OCT特征提取器，将成对的眼底照片和OCT图像输入，对于每对图像，一对模态特征提取模块会提取得到一对特征图，每对特征图通过跨模态融合单元进行融合，并传播到下一层卷积层进行进一步的特征提取，每个跨模态融合单元的融合结果都会传递给融合分类器，通过多步卷积层传播合并的多模态特征对测试对象的认知能力进行分类；S2、根据实际需要确定一个预测模型，将双流注意神经网络和预测模型组成MCI图像预测网络，将眼底照片和OCT图像作为输入，对MCI图像预测网络进行训练，从训练好的MCI图像预测网络中提取出训练好的双流注意神经网络；S3、将预测对象的眼底照片和OCT图像输入至步骤S2训练好的双流注意神经网络，得到预测对象认知能力所属类别的预测结果。