垂直领域大语言模型的训练方法及装置、存储介质、设备

专利主权项内容

1.一种垂直领域大语言模型的训练方法，其特征在于，所述方法包括：获取基于通用领域的初始大语言模型、以及所述初始大语言模型对应的多个第一训练样本集，其中，各第一训练样本集中训练样本的语料配比各不相同，所述语料配比为目标应用领域语料样本和通用领域语料样本之间的数量比例；基于不同领域语料样本按对应的语料配比交替的顺序分别确定各第一训练样本集的语料样本训练顺序，利用各第一训练样本集分别对所述初始大语言模型进行训练，得到各第一训练样本集各自对应的第一测试大语言模型，并通过第一测试样本集分别对各第一测试大语言模型进行测试，根据得到的第一测试结果确定所述第一测试大语言模型中的第一被选大语言模型，其中，所述第一测试样本集包括通用领域测试样本和目标应用领域测试样本；将训练所述第一被选大语言模型所使用的第一训练样本集的语料配比作为目标语料配比，按所述目标语料配比构建目标训练样本集，并基于不同领域语料样本按目标语料配比交替的顺序确定所述目标训练样本集的语料样本训练顺序，利用所述目标训练样本集对所述初始大语言模型或所述第一被选大语言模型进行第一轮训练，利用包含多种知识问答类型的测试样本对训练得到目标大语言模型进行测试，基于测试结果对训练样本的内容种类比例进行调优，按调优后的内容种类比例和所述目标语料配比构建下一轮训练样本集进行下一轮训练，对目标大语言模型进行多轮训练直到满足训练结束条件为止，其中，所述目标大语言模型用于通用领域和目标应用领域下的知识问答，各知识问答类型与各语料样本内容种类之间具有对应关系。