一种多模态模型的训练方法及装置

专利主权项内容

1.一种多模态模型的训练方法，所述多模态模型包括编码网络以及可训练的任务网络，所述任务网络包括路由层，以及若干并行设置的专家网络，所述方法包括：获取所述编码网络处理样本图像以及文本形式的任务指令得到的第一词元特征序列，所述第一词元特征序列包括，各图像词元以及各文本词元各自对应的第一词元特征；利用所述第一词元特征序列，通过所述路由层，确定各个词元对应的概率集合，单个词元对应的概率集合包括，各个专家网络相对于该词元被激活的概率；基于各个词元对应的概率集合和第一词元特征，通过各个词元各自对应的激活专家网络，得到各个词元对应的第二词元特征；基于各个词元的第二词元特征，预测针对所述样本图像执行所述任务指令的任务结果；基于所述任务结果以及所述任务指令对应的标签结果，调整所述任务网络。