← 返回列表
一种模型的训练方法、装置、存储介质及电子设备
摘要文本
本说明书公开了一种模型的训练方法、装置、存储介质及电子设备，首先可获取待训练的图像处理模型中网络层的连接权重，并根据连接权重，确定所述待训练的图像处理模型中的成熟连接权重以及非成熟连接权重。然后，获取样本图像以及样本图像对应的标注，并根据样本图像以及样本图像对应的标注，分别调整成熟连接权重以及非成熟连接权重，得到训练完成的图像处理模型。最后，根据得到的训练完成的图像处理模型中的各连接权重，确定训练完成的图像处理模型中的非成熟连接权重并剪枝，得到最终的图像处理模型。该方法在实现模型压缩的同时，兼顾了非成熟连接权重对模型性能造成的影响，进一步提高了模型的性能。
申请人信息
- 申请人:之江实验室
- 申请人地址:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 发明人: 之江实验室
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种模型的训练方法、装置、存储介质及电子设备 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311293164.3 |
| 申请日 | 2023/10/8 |
| 公告号 | CN117058525B |
| 公开日 | 2024/2/6 |
| IPC主分类号 | G06V10/82 |
| 权利人 | 之江实验室 |
| 发明人 | 缪锐; 施航; 任祖杰; 刘洋; 朱琦; 孙沁璇; 袁勇; 彭风光; 庞心健 |
| 地址 | 浙江省杭州市余杭区之江实验室南湖总部 |
专利主权项内容
1.一种模型的训练方法，其特征在于，所述方法包括：获取待训练的图像处理模型中网络层的连接权重的权重矩阵，所述连接权重为前向传递特征向量时的传播权重；根据所述连接权重的权重矩阵，确定所述待训练的图像处理模型中的成熟连接权重以及非成熟连接权重；获取样本图像以及所述样本图像对应的标注；根据所述样本图像以及所述样本图像对应的标注，分别调整所述成熟连接权重以及所述非成熟连接权重，得到训练完成的图像处理模型；根据得到的训练完成的图像处理模型中的各连接权重，确定所述训练完成的图像处理模型中的非成熟连接权重并剪枝，得到最终的图像处理模型；其中，所述成熟连接权重以及所述非成熟连接权重进行调整时，顺序不分先后；针对每轮训练，在调整该轮的成熟连接权重时，恢复上一轮迭代训练过程中剪枝或者冻结的非成熟连接权重和成熟连接权重，并对该轮的非成熟连接权重进行剪枝或者固定，在调整非成熟连接权重时，恢复上一轮迭代训练过程中剪枝或者冻结的非成熟连接权重，并对该轮的成熟连接权重剪枝或者固定。 详见官网：www.macrodatas.cn