← 返回列表
多模态统一特征提取方法、装置、设备及介质
摘要文本
本发明提供一种多模态统一特征提取方法、装置、设备及介质，该多模态统一特征提取方法包括：获取多模态目标医疗数据；根据目标医疗数据的模态，采用特征提取模型对目标医疗数据执行提取，得到第一特征提取结果；通过第一特征提取结果对缺失特征进行补全，得到第二特征提取结果；对第二特征结果进行融合，得到融合特征；对融合特征进行识别，得到目标医疗数据的医疗特征识别结果。本发明的有益效果为：将多模态数据，通过专家知识的大模型提示工程，诱导大模型产生相应的特征，并进行循环聚合，使不同模态的数据融合成统一的表示，实现了医疗多模态数据间融合和补全，提高了医疗数据特征提取及识别的稳定性和准确性。。更多数据：
申请人信息
- 申请人:中国人民解放军总医院
- 申请人地址:100853 北京市海淀区复兴路28号
- 发明人: 中国人民解放军总医院
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 多模态统一特征提取方法、装置、设备及介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311434500.1 |
| 申请日 | 2023/10/31 |
| 公告号 | CN117370933A |
| 公开日 | 2024/1/9 |
| IPC主分类号 | G06F18/25 |
| 权利人 | 中国人民解放军总医院 |
| 发明人 | 何昆仑; 赵亚威; 柳青河 |
| 地址 | 北京市海淀区复兴路28号 |
专利主权项内容
1.一种多模态统一特征提取方法，其特征在于，包括：根据医疗特征提取请求，获取目标医疗数据，所述目标医疗数据为多模态数据，所述目标医疗数据的模态包括多媒体数据、文本数据及结构化数据；根据所述目标医疗数据的模态，采用特征提取模型对所述目标医疗数据执行提取，得到第一特征提取结果；根据所述第一特征提取结果确定所述目标医疗数据中的缺失特征，通过所述第一特征提取结果对所述缺失特征进行补全，得到第二特征提取结果；对所述第二特征结果进行融合，得到融合特征，所述融合特征表示所述目标医疗数据的统一表征；对所述融合特征进行识别，得到所述目标医疗数据的医疗特征识别结果。