一种基于通用大语言模型的行业知识大模型构建方法

专利主权项内容

1.一种基于通用大语言模型的行业知识大模型构建方法，其特征在于，包括如下步骤：S1.利用数据提取工具从多渠道提取无监督行业知识语料，构建预训练行业知识语料库；S2.将行业业务流程数据以“指令-输入-输出”的格式构建微调行业知识语料库，并按照业务流程，实现多指令递归，即上一条的输出对应着这一条的指令，保证模型根据业务处理过程依次训练学习以实现全链条业务流程闭环；S3.使用预训练行业知识语料库对通用大语言模型进行增量化预训练，使通用大语言模型对本行业领域内知识具有更高的泛化性能，构建形成增量化预训练大模型；S4.使用微调行业知识语料库对增量化预训练大模型进行定制化微调，构建形成行业知识大模型，行业知识大模型能够按照行业业务流程引导用户提供材料并向用户提供行业知识服务；S5.加载行业知识大模型，根据不同的使用需求选择不同的行业知识服务。