← 返回列表

基于提示词工程的文本生成模型训练方法和文本生成方法

申请号: CN202410193318.X
申请人: 中国铁道科学研究院集团有限公司电子计算技术研究所; 中国铁道科学研究院集团有限公司; 北京经纬信息技术有限公司
申请日期: 2024/2/21

摘要文本

本申请实施例公开了一种基于提示词工程的文本生成模型训练方法和文本生成方法,涉及大语言模型技术领域,包括:获取文本数据集;确定文本数据集中每个文本数据的公文种类;针对每一种类型的文本数据,按照对应的标注维度进行标注;构建第一模型,包括多种语言模型和特定任务层;使用标注好的文本数据对第一模型进行训练;评估每种语言模型的输出结果,选择每种类型的文本数据对应的语言模型,得到训练好的文本生成模型。通过选择具有明显各类公文特征的数据,并根据公文类型,对特定的内容特点、类型标志、涵盖要素等能够区分公文类型的特征进行标注,使模型能够学习电子公文领域的特定语言风格、词汇、句式和模板,以输出精确严谨的公文文本。

专利详细信息

项目 内容
专利名称 基于提示词工程的文本生成模型训练方法和文本生成方法
专利类型 发明申请
申请号 CN202410193318.X
申请日 2024/2/21
公告号 CN117744661A
公开日 2024/3/22
IPC主分类号 G06F40/295
权利人 中国铁道科学研究院集团有限公司电子计算技术研究所; 中国铁道科学研究院集团有限公司; 北京经纬信息技术有限公司
发明人 张轩铭; 王伟萌; 朱韦桥; 刘承亮; 张向阳; 樊春雷; 惠伟; 马龙; 刘帅龙; 孙晶; 麻磊; 李健; 蒲照欣; 王喆; 解辰辉; 蔡宇晶; 刘辰
地址 北京市海淀区大柳树路2号一区12幢2层201-203、206; 北京市海淀区大柳树路2号; 北京市海淀区大柳树路2号

专利主权项内容

1.一种基于提示词工程的文本生成模型训练方法,其特征在于,所述方法包括:获取文本数据集,所述文本数据集为具有特定格式的公文数据的集合;确定所述文本数据集中每个文本数据的公文种类;针对每一种类型的文本数据,按照对应的标注维度进行标注;构建第一模型,使用标注好的文本数据对第一模型进行训练,所述第一模型包括多种语言模型和特定任务层,所述特定任务层用于将标注好的文本数据转换成多种语言模型能够识别的数据;评估每一种语言模型的输出结果,根据评估结果选择每种类型的文本数据对应的语言模型,得到训练好的文本生成模型。