一种基于知识增强的知识图谱问答方法

专利主权项内容

1.一种基于知识增强的知识图谱问答方法，其特征在于，包括如下步骤：S100：将目标图像、目标问题输入到已训练完成的医学视觉语言模型中，所述医学视觉语言模型包括视觉编码器、文本编码器、跨模态注意力融合机制和答案分类器；S200：将目标图像通过图像编码器编码得到目标图像特征，将目标问题通过文本编码器编码得到目标语言特征；S300：计算目标图像特征与预训练后医学视觉语言模型的知识表示池中图像特征表示之间的相似度得分，将按降序排列的前个相似度得分的加权相加并结合知识表示池中知识特征表示得到目标图像知识表示；S400：基于跨模态注意力融合机制融合目标图像知识表示、目标图像特征和目标语言特征，以输出知识增强的多模态表示特征；S500：将多模态表示特征输入到答案分类器中以输出与目标问题对应的医学回答；所述医学视觉语言模型的预训练过程如下：S1：构建预训练数据集，提取训练数据集中所有医学文本中的医学实体，将医学实体链接到知识库中得到知识图谱子图，对知识图谱子图使用图表示学习的方法得到所有医学实体的嵌入表示，基于所有医学实体的嵌入表示构建知识实体集，所述预训练数据集包括医学图像、知识实体集和医学文本；S2：使用视觉编码器、文本编码器、知识编码器分别对医学图像、医学文本、知识实体集进行编码得到视觉表示、语言表示/>和知识表示/>；S3：使用基于跨模态注意力融合机制融合视觉表示、语言表示/>和知识表示/>，得到基于知识增强的视觉多模态表示特征/>和语言多模态表示特征/>，医学视觉语言模型预训练结束后，基于视觉表示/>和知识表示/>构建知识表示池P，P的组织形式为(/>，其中为图像特征表示，/>为知识特征表示，/>表示序号，/>，/>为知识表示池P的大小。