一种视觉语言理解方法、装置、设备及可读存储介质

专利主权项内容

1.一种视觉语言理解方法，其特征在于，包括：获取初始视觉模型和样本数据集；根据待处理视觉理解任务的任务目标对所述初始视觉模型进行损失优化训练，并在训练中根据所述样本数据集搜索视觉模态和文本模态的视觉文本跨模态共识信息以进行基于视觉文本跨模态共识信息的视觉文本跨模态编码，直至达到迭代结束条件，输出视觉理解模型；响应于所述待处理视觉理解任务，调用所述视觉理解模型对输入的视觉信息进行处理，得到视觉理解结果；其中，所述样本数据集为具有文本标注的图像数据集，所述视觉理解模型为图像语言模型；或，所述样本数据集为具有文本标注的视频数据集，所述视觉理解模型为视频语言模型；所述视觉文本跨模态共识信息通过视觉模态和文本模态之间的互信息构建。