← 返回列表
模型压缩方法、装置、电子设备以及存储介质
摘要文本
本公开提供了模型压缩方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及大语言模型领域。具体实现方案为：响应于接收到待压缩模型的初始模型参数以及针对初始模型参数设置的目标压缩精度，从初始模型参数中读取待压缩模型的模型权重矩阵；对模型权重矩阵进行稀疏化处理，得到稀疏权重矩阵；对稀疏权重矩阵中的目标权重进行融合，得到融合权重，目标权重表征待压缩模型中具有耦合关系的子网络的模型权重；根据目标压缩精度，对包括融合权重的目标模型参数进行量化，得到量化参数，目标模型参数包括稀疏权重矩阵所表征的模型权重以及基于稀疏权重矩阵确定的激活值；以及根据量化参数，确定与待压缩模型相对应的压缩后模型。 更多数据：搜索专利查询网来源：
申请人信息
- 申请人:北京百度网讯科技有限公司
- 申请人地址:100085 北京市海淀区上地十街10号百度大厦2层
- 发明人: 北京百度网讯科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 模型压缩方法、装置、电子设备以及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311280391.2 |
| 申请日 | 2023/9/28 |
| 公告号 | CN117371508A |
| 公开日 | 2024/1/9 |
| IPC主分类号 | G06N3/082 |
| 权利人 | 北京百度网讯科技有限公司 |
| 发明人 | 金义博 |
| 地址 | 北京市海淀区上地十街10号百度大厦2层 |
专利主权项内容
1.一种模型压缩方法，包括：响应于接收到待压缩模型的初始模型参数以及针对所述初始模型参数设置的目标压缩精度，从所述初始模型参数中读取所述待压缩模型的模型权重矩阵；对所述模型权重矩阵进行稀疏化处理，得到稀疏权重矩阵，其中，所述初始模型参数包括所述模型权重矩阵，根据所述稀疏权重矩阵确定的模型的目标精度与所述待压缩模型的初始精度的差值小于预设阈值；对所述稀疏权重矩阵中的目标权重进行融合，得到融合权重，所述目标权重表征所述待压缩模型中具有耦合关系的子网络的模型权重，所述待压缩模型包括至少一个子网络；根据所述目标压缩精度，对包括所述融合权重的目标模型参数进行量化，得到量化参数，所述目标模型参数包括所述稀疏权重矩阵所表征的模型权重以及基于所述稀疏权重矩阵确定的激活值；以及根据所述量化参数，确定与所述待压缩模型相对应的压缩后模型。