← 返回列表
一种基于多模态数据融合的风险预测方法
摘要文本
本申请公开了一种基于多模态数据融合的风险预测方法，涉及大数据处理技术领域，包括：分别采集文本数据、图像数据和音频数据并进行包含时空校准的预处理；分别提取文本语义特征、图像特征和音频特征；根据提取的特征，分别构建基于自然语言处理的第一预测模型；基于计算机视觉的第二预测模型；基于语音分析的第三预测模型；基于深度学习框架，构建风险预测模型；其中，在第一预测模型、第二预测模型和第三预测模型时，通过机器学习识别训练数据中的时空异常点，标记并移除时空异常点。针对现有技术中存在的多源异构数据融合中时空异常点引起的预测精度低的问题，本申请通过构建知识图谱与时空规则进行异常点检测与过滤，提高了模型的预测精度。
申请人信息
- 申请人:北京长河数智科技有限责任公司; 长河信息股份有限公司
- 申请人地址:100071 北京市丰台区汽车博物馆西路8号院3号楼7层705
- 发明人: 北京长河数智科技有限责任公司; 长河信息股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于多模态数据融合的风险预测方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410155105.8 |
| 申请日 | 2024/2/4 |
| 公告号 | CN117708746A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06F18/2433 |
| 权利人 | 北京长河数智科技有限责任公司; 长河信息股份有限公司 |
| 发明人 | 张煇; 杨勇; 李龙 |
| 地址 | 北京市丰台区汽车博物馆西路8号院3号楼7层705; 山西省太原市山西综改示范区太原学府园区东沺二巷3号高新国智大厦A座707室 |
专利主权项内容
1.一种基于多模态数据融合的风险预测方法，包括：分别采集文本数据、图像数据和音频数据；分别对采集的文本数据、图像数据和音频数据进行包含时空校准的预处理；对预处理后的文本数据，通过自然语言处理算法提取文本语义特征；对预处理后的图像数据，通过计算机视觉算法提取图像特征；对预处理后的音频数据，通过语音分析算法提取音频特征；根据提取的文本语义特征，构建基于自然语言处理的第一预测模型；根据提取的图像特征，构建基于计算机视觉的第二预测模型；根据提取的音频特征，构建基于语音分析的第三预测模型；基于深度学习框架，融合第一预测模型、第二预测模型和第三预测模型，构建风险预测模型；利用构建的风险预测模型，对用户输入的多模态数据进行风险预测；其中，在第一预测模型、第二预测模型和第三预测模型时，通过机器学习识别训练数据中的时空异常点，标记并移除时空异常点。