← 返回列表
基于多模态大模型的图表问答方法、系统、介质和设备
摘要文本
本申请涉及图表问答技术领域，特别是涉及一种基于多模态大模型的图表问答方法、系统、介质和设备。该方法包括：提取待处理图表中的目标文本信息，得到图表文本特征向量；提取上述待处理图表中目标图像信息，得到图表图像特征向量；将综合文本特征向量和图表图像特征向量进行对齐；根据对齐后的综合文本特征向量和图表图像特征向量生成待处理图表对应的问题对应的目标回答。本申请对于待处理图表的信息提取分为两部分进行，提供的待处理图表的信息更具针对性，更精确，则最终得到的图标问答对应的回答的准确性也越高。。马-克-数据
申请人信息
- 申请人:北京中科闻歌科技股份有限公司
- 申请人地址:100080 北京市海淀区北四环西路9号楼7层717室
- 发明人: 北京中科闻歌科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于多模态大模型的图表问答方法、系统、介质和设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311409539.8 |
| 申请日 | 2023/10/27 |
| 公告号 | CN117390165A |
| 公开日 | 2024/1/12 |
| IPC主分类号 | G06F16/332 |
| 权利人 | 北京中科闻歌科技股份有限公司 |
| 发明人 | 罗引; 魏靖烜; 陈博; 郝艳妮; 马先钦; 徐楠; 曹家; 王磊 |
| 地址 | 北京市海淀区北四环西路9号楼7层717室 |
专利主权项内容
1.一种基于多模态大模型的图表问答方法，其特征在于，包括：提取待处理图表中的目标文本信息，得到图表文本特征向量；其中，所述目标文本信息为第一文本信息集和第二文本信息集的交集对应的文本信息；第一文本信息集为基于第一光学字符识别单元得到的文本信息集；第二文本信息集为基于第二光学字符识别单元得到的文本信息集；提取所述待处理图表中目标图像信息，得到图表图像特征向量；将综合文本特征向量和图表图像特征向量进行对齐；其中，所述综合文本特征向量为将图表文本特征向量和问题文本特征向量进行拼接得到的；问题文本特征向量为根据待处理图表对应的问题生成的特征向量；根据对齐后的综合文本特征向量和图表图像特征向量生成待处理图表对应的问题对应的目标回答。