← 返回列表
预训练模型与下游序列任务双向迭代方法、设备及介质
摘要文本
本申请实施例提供一种预训练模型与下游序列任务双向迭代方法、设备及介质，在本申请实施例中，提供一种新的基于软提示词的微调训练方式，在微调训练的每个轮次中，既包括历史下游任务到预训练模型的反馈链路，又包括预训练模型到当前下游任务的适应链路。针对每个当前轮次，基于反馈链路利用当前轮次之前出现的历史下游任务对预训练模型进行一次微调，以提升预训练模型的能力；基于适应链路利用当前轮次的当前下游任务对已经微调过的预训练模型进行二次微调，以训练更加适应下游任务的任务模型。由此，预训练模型能够更好地在下游任务中的落地应用，特别在少样本场景下能取得更好的模型性能。。来自：马 克 团 队
申请人信息
- 申请人:淘宝(中国)软件有限公司
- 申请人地址:311121 浙江省杭州市余杭区五常街道文一西路969号3幢5层554室
- 发明人: 淘宝(中国)软件有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 预训练模型与下游序列任务双向迭代方法、设备及介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311797012.7 |
| 申请日 | 2023/12/25 |
| 公告号 | CN117474084A |
| 公开日 | 2024/1/30 |
| IPC主分类号 | G06N3/0985 |
| 权利人 | 淘宝(中国)软件有限公司 |
| 发明人 | 曾航; 吴帆; 牛超越; 唐少杰; 裴垒浩; 吕承飞; 陈贵海 |
| 地址 | 浙江省杭州市余杭区五常街道文一西路969号3幢5层554室 |
专利主权项内容
1.一种预训练模型与下游序列任务双向迭代方法，其特征在于，包括：确定当前轮次的初始预训练模型，当前轮次的初始预训练模型是上一轮次进行微调得到的目标预训练模型；利用当前轮次之前出现的历史下游任务的训练数据，对当前轮次的初始预训练模型进行基于软提示词的微调，以得到当前轮次的目标预训练模型；利用当前轮次中出现的当前下游任务的训练数据，对所述当前轮次的目标预训练模型进行基于软提示词的微调，以得到所述当前下游任务对应的任务模型。 来自：马 克 团 队