← 返回列表
多模态知识图谱校验方法、装置、电子设备及存储介质
摘要文本
本发明涉及一种多模态知识图谱校验方法、装置、电子设备及存储介质，该方法包括：从待校验多模态知识图谱中查询并获取待校验多模态知识对，待校验多模态知识对至少包括第一实体以及第一实体对应的第一图像。调用多模态大模型对第一图像进行处理，以生成并输出与第一图像对应的第一描述文本。通过预训练大语言模型从第一描述文本中提取多个第二实体，以生成用于判断第一实体与第二实体之间是否存在实体关系的第一问题文本。将第一问题文本作为预训练大语言模型的输入，以输出与第一问题文本对应的第一答案，第一答案至少包括肯定词汇或否定词汇。当第一答案通过词汇匹配后存在肯定词汇时，输出第一实体与第一图像之间的实体关系。
申请人信息
- 申请人:中国电子科技集团公司第十五研究所
- 申请人地址:100083 北京市海淀区北四环中路211号
- 发明人: 中国电子科技集团公司第十五研究所
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 多模态知识图谱校验方法、装置、电子设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410179226.6 |
| 申请日 | 2024/2/18 |
| 公告号 | CN117725232A |
| 公开日 | 2024/3/19 |
| IPC主分类号 | G06F16/36 |
| 权利人 | 中国电子科技集团公司第十五研究所 |
| 发明人 | 魏鑫磊; 马慧生; 张伟 |
| 地址 | 北京市海淀区北四环中路211号 |
专利主权项内容
1.一种多模态知识图谱校验方法，其特征在于，所述方法包括：从待校验多模态知识图谱中查询并获取待校验多模态知识对，所述待校验多模态知识对至少包括第一实体以及所述第一实体对应的第一图像；调用多模态大模型对所述第一图像进行处理，以生成并输出与所述第一图像对应的第一描述文本；通过预训练大语言模型从所述第一描述文本中提取多个第二实体，以生成用于判断所述第一实体与所述第二实体之间是否存在实体关系的第一问题文本；将所述第一问题文本作为所述预训练大语言模型的输入，以输出与所述第一问题文本对应的第一答案，所述第一答案至少包括肯定词汇或否定词汇；当所述第一答案通过词汇匹配后存在所述肯定词汇时，输出所述第一实体与所述第一图像之间的实体关系。。来源：马 克 团 队