一种目标语言模型的训练方法、装置和电子设备

专利主权项内容

1.一种目标语言模型的训练方法，其特征在于，所述方法包括：获取用于训练待对齐处理的语言模型的待训练数据集，所述待训练数据集包括：基于帮助性偏好度的第一排序数据集，基于安全性偏好度的第二排序数据集，以及基于安全性维度上的多个安全性标签；所述待对齐处理的语言模型包括第一子模型和第二子模型，所述第一子模型为：基于帮助性偏好度，能够将所述目标数据在多个不同的第一子维度上进行拆分处理的语言处理子模型；所述第二子模型为：基于安全性偏好度，能够将所述目标数据在多个不同的第二子维度上进行拆分处理的语言处理子模型；基于所述第一排序数据集中的第一训练数据、以及第一待训练模型的建模偏好关系，对第一待训练模型进行迭代训练，得到对应的奖励模型，所述奖励模型能够预测对应的第一偏好度，所述第一待训练模型对应有第一损失函数；基于所述第二排序数据集中的第二训练数据、以及所述多个安全性标签，对第二待训练模型进行迭代训练，得到对应的代价模型，所述代价模型能够预测对应的第二偏好度，所述代价模型还能够预测所述第二排序数据集中的不同回复对应的安全性标签，所述第二待训练模型对应有第二损失函数；获取所述奖励模型对应的奖励信号，以及获取所述代价模型对应的代价信号；基于所述奖励信号、所述代价信号和拉格朗日乘子，对所述待对齐处理的语言模型进行安全强化学习的训练处理，得到对应的目标语言模型；在所述训练处理中，通过拉格朗日乘子，控制所述奖励信号对应的帮助性偏好度和所述代价信号对应的安全性偏好度之间的平衡度，以使得所述目标语言模型对应有更高的输出奖励值、且所述目标语言模型对应有低于预设阈值的输出代价值。