图像文本分类的方法及装置

专利主权项内容

1.一种图像文本分类的方法，其特征在于，包括：根据待识别文本和待识别图像进行对比学习，获取所述待识别文本与所述待识别图像之间的相似度特征向量；对所述待识别文本与所述待识别图像之间的相似度特征向量、所述待识别图像的第一特征向量、以及所述待识别文本的第一特征向量进行融合处理，得到第一图文融合特征向量；对所述第一图文融合特征向量进行编码处理和注意力处理，得到第一表示特征向量；对所述待识别文本的第一特征向量和所述待识别图像对应的文本特征向量进行注意力处理，得到第二表示特征向量；对所述待识别图像的第一特征向量和所述待识别文本对应的图像特征向量进行注意力处理，得到第三表示特征向量；对所述第一表示特征向量、所述第二表示特征向量、所述第三表示特征向量进行融合处理，得到第二图文融合特征向量；基于所述第二图文融合特征向量对所述待识别文本进行分类，得到所述待识别文本的分类结果，所述分类结果用于指代所述待识别文本的对象的类别结果；所述对所述待识别文本的第一特征向量和所述待识别图像对应的文本特征向量进行注意力处理，得到第二表示特征向量，包括：通过文本解码器对所述待识别图像的第一特征向量进行解码处理，得到所述待识别图像对应的文本特征向量；将所述待识别文本的第一特征向量作为键向量与值向量将所述待识别图像对应的文本特征向量作为查询向量进行交叉注意力处理，得到所述第二表示特征向量；所述对所述待识别图像的第一特征向量和所述待识别文本对应的图像特征向量进行注意力处理，得到第三表示特征向量，包括：通过图像解码器对所述待识别文本的第一特征向量进行解码处理，得到所述待识别文本对应的图像特征向量；将所述待识别图像的第一特征向量作为键向量与值向量将所述待识别文本对应的图像特征向量作为查询向量进行交叉注意力处理，得到所述第三表示特征向量。