← 返回列表
面向资源受限场景的遥感基础模型轻量化方法、装置
摘要文本
本发明提供了一种面向资源受限场景的遥感基础模型轻量化方法、装置，可以应用于遥感技术领域。该方法包括：将训练好的第一模型做为专家模型，未完成训练的第二模型作为学生模型，对该未完成训练的第二模型进行蒸馏，得到训练好的第二模型；将该训练好的第二模型作为专家模型，未完成训练的第三模型作为学生模型，对该第三模型进行蒸馏，得到训练好的第三模型，第一模型的参数量等级大于第二模型的参数量等级，第二模型的参数量等级大于第三模型的参数量等级，可显著提高遥感大规模基础模型蒸馏过程的稳定性。
申请人信息
- 申请人:中国科学院空天信息创新研究院
- 申请人地址:100190 北京市海淀区北四环西路19号
- 发明人: 中国科学院空天信息创新研究院
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 面向资源受限场景的遥感基础模型轻量化方法、装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311498052.1 |
| 申请日 | 2023/11/10 |
| 公告号 | CN117521848A |
| 公开日 | 2024/2/6 |
| IPC主分类号 | G06N20/00 |
| 权利人 | 中国科学院空天信息创新研究院 |
| 发明人 | 孙显; 付琨; 冯瑛超; 裴健宁; 刁文辉; 戴威; 毕涵博 |
| 地址 | 北京市海淀区北四环西路19号 |
专利主权项内容
1.一种面向资源受限场景的遥感基础模型轻量化方法，其特征在于，包括：将训练好的第一模型做为专家模型，未完成训练的第二模型作为学生模型，对所述未完成训练的第二模型进行蒸馏，得到训练好的第二模型；将所述训练好的第二模型作为专家模型，未完成训练的第三模型作为学生模型，对所述第三模型进行蒸馏，得到训练好的第三模型；其中，所述第一模型、所述第二模型和所述第三模型均为遥感基础模型；所述第一模型、所述第二模型和所述第三模型的参数量等级不同，所述第一模型的参数量等级大于所述第二模型的参数量等级，所述第二模型的参数量等级大于所述第三模型的参数量等级。