一种测评文档生成方法、装置及设备

专利主权项内容

1.一种测评文档生成方法，其特征在于，包括如下步骤：将目标信息化项目的项目描述信息和测评内容提取提示输入预设的测评文档生成模型，通过所述测评文档生成模型根据所述测评内容提取提示从所述项目描述信息中提取目标测评内容并输出目标测评文档模板；将所述目标测评文档模板和测评流程生成提示输入所述测评文档生成模型，通过所述测评文档生成模型生成所述目标测评内容所对应的目标测评流程并输出目标测评文档；其中，所述目标测评内容至少包括目标测评需求和目标预期结果；所述目标测评流程至少包括目标前置条件和目标测评步骤；所述测评文档生成模型为基于预设的通用文本数据集和测评文本数据集对自然语言模型进行训练、指令微调和对齐微调所获得的预训练模型；所述方法具体通过如下步骤对所述自然语言模型进行训练：对所述通用文本数据集和所述测评文本数据集进行预处理，获得预训练文本数据集；利用所述预训练文本数据集对所述自然语言模型进行训练，并在所述自然语言模型的训练过程中对所述自然语言模型的每一层多头自注意力层进行批量训练优化、学习率优化、优化器优化和训练稳定性优化，获得初始预训练模型；所述方法具体通过如下步骤对所述初始预训练模型进行指令微调：获取OIG任务集合以作为格式化实例，并将所述通用文本数据集、所述测评文本数据集和所述OIG任务集合合并，获得混合数据集；基于所述混合数据集和预设的实例数量上限，采用实例比例混合策略对所述初始预训练模型进行指令微调，并在指令微调过程中提高所述测评文本数据集的采样比例，获得指令微调后的初始预训练模型；所述方法具体通过如下步骤对所述指令微调后的初始预训练模型进行对齐微调：构建包含与测评内容、测评流程相关的若干输入提示及期望输出的监督数据集；将所述监督数据集中的各输入提示分别输入所述指令微调后的初始预训练模型，获得各输入提示所对应的若干输出文本；获取若干所述输出文本所对应的满足预设对齐标准的人类反馈数据，并利用强化学习算法和所述人类反馈数据对奖励模型进行训练，以使训练后的奖励模型在获取各输入提示所对应的若干输出文本时，确定若干所述输出文本所对应的满足所述预设对齐标准的输出排序结果；将所述训练后的奖励模型与所述指令微调后的初始预训练模型对接，以将所述指令微调后的初始预训练模型根据所述输入提示所生成的输出内容输入所述训练后的奖励模型，并根据所述训练后的奖励模型生成的所述输出内容所对应的满足所述预设对齐标准的输出排序结果，对所述指令微调后的初始预训练模型进行参数优化，获得所述测评文档生成模型。