图文识别大模型的训练方法、装置、设备以及存储介质

摘要文本

本公开提供了一种图文识别大模型的训练方法、装置、设备以及存储介质，涉及人工智能技术领域，具体涉及计算机视觉、深度学习、大模型等技术领域，可应用于基于人工智能的图文对话等场景。该方法包括：获取训练样本集，训练样本集中的训练样本包括样本图片、样本图片的提示词prompt、样本图片的人脸识别结果、样本图片的图片描述信息；将样本图片输入至图像处理模块，输出得到图片特征信息；将图片特征信息输入至图像文本语义对齐模块，输出得到语义特征信息；将语义特征信息、人脸识别结果以及prompt作为输入，将图片描述信息作为输出，对预先构建的大语言模型进行训练，得到图文识别大模型。