基于AI大语言模型的上下文构造方法及系统

专利主权项内容

1.一种基于AI大语言模型的上下文构造方法，其特征在于，所述方法包括：分别获取大语言模型的上游任务及下游任务的训练集，所述训练集中包括所有用于对应任务训练的切分文本构成的句子对；根据上游任务及下游任务对应所述训练集间对应文本的主题重合度，获取上游任务与下游任务的任务相关性；在上游任务的预训练过程中，根据上游任务的预测准确性及所述任务相关性获取预训练过程中损失的奖惩参考权重；根据所述奖惩参考权重调整大语言模型；以调整后的大语言模型进行上游任务的预训练，获取相应预训练过程中的奖惩参考权重并调整大语言模型，不断迭代获取奖惩参考权重并调整大语言模型，直至满足预设截止条件；将满足预设截止条件的大语言模型作为预训练的最终大语言模型；所述任务相关性的获取方法包括：分别获取上游任务及下游任务对应所述训练集对应文本的主题集合，以及每个主题对应的主题分布概率；根据任务相关性的计算公式获取上游任务与下游任务的任务相关性；任务相关性的计算公式为：
; 其中，/>为上游任务与下游任务之间的任务相关性；/>为上游任务对应主题集合与下游任务对应主题集合的并集中的主题数量，/>为上游任务对应主题集合与下游任务对应主题集合的交集中的主题数量；/>为上游任务对应主题集合与下游任务对应主题集合中第/>个相同主题间的主题分布概率的差值，/>为预设正常数；所述大语言模型的调整方法包括：在上游任务的首次预训练过程中，获取上游任务在首次预训练时的初始训练损失；将所述奖惩参考权重乘以所述初始训练损失，得到奖惩训练损失，基于所述奖惩训练损失对大语言模型进行训练，并将训练后所得到的大语言模型作为调整后的大语言模型；在上游任务的每次非首次预训练过程中，以上一次预训练过程获取的奖惩训练损失为本次预训练过程的初始训练损失，并将本次预训练过程的奖惩参考权重乘以本次预训练过程的初始训练损失，得到本次预训练过程的奖惩训练损失，基于本次预训练过程的奖惩训练损失对大语言模型进行训练，并将训练后所得到的大语言模型作为调整后的大语言模型；预设截止条件为所述奖惩训练损失小于等于预设常数值。