← 返回列表
基于空间距离对齐的知识蒸馏方法及装置
申请人信息
- 申请人:深圳须弥云图空间科技有限公司
- 申请人地址:518054 广东省深圳市南山区粤海街道海珠社区滨海大道3369号有线信息传输大厦25F2504
- 发明人: 深圳须弥云图空间科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于空间距离对齐的知识蒸馏方法及装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311788159.X |
| 申请日 | 2023/12/25 |
| 公告号 | CN117474037A |
| 公开日 | 2024/1/30 |
| IPC主分类号 | G06N3/042 |
| 权利人 | 深圳须弥云图空间科技有限公司 |
| 发明人 | 蒋召; 周靖宇 |
| 地址 | 广东省深圳市南山区粤海街道海珠社区滨海大道3369号有线信息传输大厦25F2504 |
摘要文本
深圳须弥云图空间科技有限公司取得“一种透气窗帘布”专利技术，本公开涉及知识蒸馏技术领域，提供了一种基于空间距离对齐的知识蒸馏方法及装置。该方法包括：分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化学生模型的模型参数。
专利主权项内容
1.一种基于空间距离对齐的知识蒸馏方法，应用于目标检测领域，其特征在于，包括：获取训练数据，将所述训练数据中的多个训练样本按照批次分别输入教师模型和学生模型，输出各个批次中各个训练样本的教师模型特征和学生模型特征，其中，训练数据为检测对象的图像；分别计算各个批次中所有训练样本的教师模型特征和学生模型特征各自对应的教师模型中心特征和学生模型中心特征；计算各个批次对应的教师模型中心特征和学生模型中心特征之间的中心特征损失；分别计算各个批次中任意两个训练样本的教师模型特征和学生模型特征各自对应的教师模型特征距离和学生模型特征距离；计算各个批次中任意两个训练样本对应的教师模型特征距离和学生模型特征距离之间的特征距离对齐损失；依据各个批次对应的中心特征损失和各个批次中任意两个训练样本对应的特征距离对齐损失优化所述学生模型的模型参数，以完成从所述教师模型至所述学生模型的知识蒸馏。。来源：马 克 数 据 网