← 返回列表
用于星上神经网络的微调方法、装置、设备及存储介质
摘要文本
本发明提供了一种用于星上神经网络的微调方法、装置、设备及存储介质，可以应用于卫星技术领域。该方法包括：S1，利用低秩模块和预训练的神经网络，构建待微调的神经网络；S2，在微调过程中，保持所述待微调的神经网络的权重不变，利用所述低秩模块计算梯度；S3，将所述权重和所述梯度相加，生成更新参数；S4，利用所述更新参数优化所述待微调的神经网络；S5，重复执行S2‑S4，直至所述待微调的神经网络达到最优收敛结果，可极大地降低调参成本。
申请人信息
- 申请人:中国科学院空天信息创新研究院
- 申请人地址:100190 北京市海淀区北四环西路19号
- 发明人: 中国科学院空天信息创新研究院
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 用于星上神经网络的微调方法、装置、设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410010793.9 |
| 申请日 | 2024/1/4 |
| 公告号 | CN117521764A |
| 公开日 | 2024/2/6 |
| IPC主分类号 | G06N3/082 |
| 权利人 | 中国科学院空天信息创新研究院 |
| 发明人 | 付琨; 孙显; 王智睿; 赵良瑾; 成培瑞; 陈凯强 |
| 地址 | 北京市海淀区北四环西路19号 |
专利主权项内容
1.一种用于星上神经网络的微调方法，其特征在于，包括：S1，利用低秩模块和预训练的神经网络，构建待微调的神经网络；S2，在微调过程中，保持所述待微调的神经网络的权重不变，利用所述低秩模块计算梯度；S3，将所述权重和所述梯度相加，生成更新参数；S4，利用所述更新参数优化所述待微调的神经网络；S5，重复执行S2-S4，直至所述待微调的神经网络达到最优收敛结果。