一种基于多模态输入和知识图谱的问答方法及装置

专利主权项内容

1.一种基于多模态输入和知识图谱的问答方法，其特征在于，所述方法包括：S1、获取多模态数据；所述多模态数据为用户输入的问题数据；S2、对所述多模态数据进行融合，获得融合后的多模态数据；S3、在预先构建的知识图谱中，找到与所述融合后的多模态数据多个相关的实体与关系，并构成实体集合与关系集合；利用上下文感知技术对实体集合与关系集合中元素的权重进行调整，获得调整权重后的实体集合与关系集合；S4、根据所述调整权重后的实体集合与关系集合，利用自适应路径探索方法，在预先构建的知识图谱中，找到所有可能导向最终答案的路径；S5、对所述所有可能导向最终答案的路径进行评估与优化，选择最有可能导向最终答案的路径；S6、从所述最有可能导向最终答案的路径中提取信息，并根据提取到的信息生成最终答案。