← 返回列表
基于多模态自适应检索式增强大模型的问答方法及系统
申请人信息
- 申请人:哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院); 山东大学
- 申请人地址:518051 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区
- 发明人: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院); 山东大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于多模态自适应检索式增强大模型的问答方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410121781.3 |
| 申请日 | 2024/1/30 |
| 公告号 | CN117648429A |
| 公开日 | 2024/3/5 |
| IPC主分类号 | G06F16/332 |
| 权利人 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院); 山东大学 |
| 发明人 | 吴建龙; 丁沐河; 张贤; 聂礼强; 宋雪萌; 甘甜 |
| 地址 | 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区; 山东省青岛市即墨区滨海公路72号山东大学(青岛第周苑C座) |
摘要文本
本发明属于问答模型技术领域，为解决现有生成答案的准确率低的问题，提供一种基于多模态自适应检索式增强大模型的问答方法及系统。其中，基于多模态自适应检索式增强大模型的问答方法包括接收待回答的问题；基于多模态自适应检索式增强大模型及多模态知识库，生成预测答案；多模态自适应检索式增强大模型包括检索器、检索排序器和生成器；检索器提取问题及多模态知识库中的每个知识对应的多模态融合特征，计算每个知识和问题的相似度，选取TOP‑K知识；根据问题及知识标签，利用检索排序器从TOP‑K知识中判定出与问题相关的知识，得到检索的相关知识；生成器生成预测答案，其能够大大提高了模态问答的检索和生成答案的准确率。
专利主权项内容
1.一种基于多模态自适应检索式增强大模型的问答方法，其特征在于，包括：接收待回答的问题；基于多模态自适应检索式增强大模型及多模态知识库，生成所述问题的预测答案；其中，多模态自适应检索式增强大模型包括检索器、检索排序器和生成器；生成所述问题的预测答案的过程包括：利用检索器提取问题及多模态知识库中的每个知识对应的特征，并映射到统一的多模态语义空间中，计算多模态知识库中的每个知识和问题的相似度，选取相似度排名前K名的知识作为TOP-K知识；其中，K为大于或等于2的正整数；根据问题及知识标签，利用检索排序器从检索器检索的TOP-K知识中判定出与问题相关的知识，得到检索的相关知识；根据问题和检索排序器检索的相关知识，利用生成器生成预测答案。