← 返回列表
一种基于多模态医学图像的模态融合方法及装置
摘要文本
本申请提供了一种基于多模态医学图像的模态融合方法及装置，所述方法包括：将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；将第二模态图像输入第二粗提取结构，得到第二粗提取特征图；将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；将所述融合特征图输入特征提取结构，得到融合参数。本申请中，通过对第一模态图像和第二模态图像进行粗提取，从而将模态图像转换为低维度的特征图，在一定程度上排除图像失真的干扰；然后通过交叉融合的方式，对不同维度的特征图进行融合，从而排除空间位置、图像失真、分辨率等的影响，提高模态融合的准确性。
申请人信息
- 申请人:北京长木谷医疗科技股份有限公司; 张逸凌
- 申请人地址:100176 北京市大兴区北京经济技术开发区荣华南路2号院1号楼22层2201(北京自贸试验区高端产业区亦庄组团)
- 发明人: 北京长木谷医疗科技股份有限公司; 张逸凌
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于多模态医学图像的模态融合方法及装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311719666.8 |
| 申请日 | 2023/12/14 |
| 公告号 | CN117710227A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06T5/50 |
| 权利人 | 北京长木谷医疗科技股份有限公司; 张逸凌 |
| 发明人 | 张逸凌; 刘星宇 |
| 地址 | 北京市大兴区北京经济技术开发区荣华南路2号院1号楼22层2201(北京自贸试验区高端产业区亦庄组团); |
专利主权项内容
1.一种基于多模态医学图像的模态融合方法，其特征在于，包括：将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；将第二模态图像输入第二粗提取结构，得到第二粗提取特征图，所述第一模态图像和第二模态图像为多模态医学图像中的任意两个模态；将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；将所述融合特征图输入特征提取结构，得到所述第一模态图像和所述第二模态图像的融合参数。 来自：马 克 团 队