基于多模态影像的脑胶质瘤病理可视化方法及装置

专利主权项内容

1.一种基于多模态影像的脑胶质瘤病理可视化方法，其特征在于，包括以下步骤：S1、获取脑胶质瘤影像集，所述脑胶质瘤影像集中的每个影像样本包括脑胶质瘤的多模态影像序列，所述影像序列中的每个影像还包括脑胶质瘤区域边框标签；S2、获取所述影像样本所示的脑胶质瘤的若干点位的组织病理检测结果标签，基于所述点位的坐标获取所述点位在影像样本中对应的点位区域，所述组织病理检测结果标签包括对应点位的分子亚型标签和组织级别病理等级标签；S3、对所述影像样本的多模态影像进行融合以获得融合特征嵌入；S4、将所述融合特征嵌入输入多任务预测模型进行预测分析，预测分析结果包括脑胶质瘤边框、点位区域的分子亚型和点位区域的组织级别病理等级，基于点位区域对应的分子亚型标签和组织级别病理等级标签与所述预测分析结果之间的差异确定损失值，基于所述损失值对所述多任务预测模型进行训练；S5、通过训练得到的多任务预测模型根据输入的脑胶质瘤多模态影像输出脑胶质瘤边框，所述脑胶质瘤边框中各点位区域的分子亚型和组织级别病理等级，重复步骤S5直到遍历影像序列；S6、基于影像序列中各影像的脑胶质瘤边框和所述脑胶质瘤边框中各点位区域的分子亚型和组织级别病理等级行模型重建以获得脑胶质瘤的分子可视模型。。