← 返回列表
基于梯度校准的持续学习方法、系统、设备及存储介质
申请人信息
- 申请人:中国科学技术大学
- 申请人地址:230026 安徽省合肥市包河区金寨路96号
- 发明人: 中国科学技术大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于梯度校准的持续学习方法、系统、设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311845308.1 |
| 申请日 | 2023/12/29 |
| 公告号 | CN117521767A |
| 公开日 | 2024/2/6 |
| IPC主分类号 | G06N3/084 |
| 权利人 | 中国科学技术大学 |
| 发明人 | 丁虎; 林伟晨; 陈嘉祥; 黄若民 |
| 地址 | 安徽省合肥市包河区金寨路96号 |
摘要文本
本发明公开了一种基于梯度校准的持续学习方法、系统、设备及存储介质，它们是一一对应的方案，方案中：只需要额外保存训练阶段递归计算的全梯度的无偏估计结果，仅增加少量的内存开销，并且提升训练效率，提升模型的性能；并且，可以加速模型的收敛，增加模型训练过程中损失下降的稳定性，更有利于模型的参数调整以及模型效果提升；例如，图像分类模型通过本发明提供的方法进行训练后，能够提升后续图像分类任务的准确率；文本识别模型通过本发明提供的方法进行训练后，能够提升后续文本识别任务的准确率。
专利主权项内容
1.一种基于梯度校准的持续学习方法，其特征在于，包括：获取待学习的模型，以及训练数据集；利用训练数据集对待学习的模型进行训练，在每一时间点，从训练数据集中取出相应的训练数据，通过待学习的模型进行预测，获得预测输出，利用训练数据与对应的预测输出计算损失函数，并结合递归计算的全梯度的无偏估计结果计算出对应的校准梯度，并以此更新模型参数，在每一时间点的训练完毕后，结合更新获得的模型参数更新全梯度的无偏估计结果并应用于下一时间点的训练过程；重复多个时间点的训练，获得最终模型参数。