← 返回列表
一种基于阻变存储器的模型量化方法、装置以及设备
申请人信息
- 申请人:之江实验室
- 申请人地址:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 发明人: 之江实验室
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于阻变存储器的模型量化方法、装置以及设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410064436.0 |
| 申请日 | 2024/1/16 |
| 公告号 | CN117787358A |
| 公开日 | 2024/3/29 |
| IPC主分类号 | G06N3/0495 |
| 权利人 | 之江实验室 |
| 发明人 | 高丽丽; 时拓; 张徽; 顾子熙 |
| 地址 | 浙江省杭州市文一西路1818号 |
摘要文本
本说明书提供的一种基于阻变存储器的模型量化方法、装置以及设备中，通过根据待量化模型构建压缩模型，确定压缩模型各网络层预设的输入位宽和预设的权重位宽，然后再将训练样本输入所述压缩模型，确定输出结果，根据所述输出结果以及所述训练样本对应标注之间的差异，确定损失；以所述损失最小为优化目标，调整所述压缩模型的各网络层的所述输入位宽以及所述权重位宽，并确定若干组符合优化条件的输入位宽以及权重位宽，根据压缩模型的模型精度确定各网络层对应的输入位宽以及权重位宽。使得量化后的模型在保证模型精度满足要求的前提下，可通过阻变存储器精确表示模型的权重，增大了阻变存储器的资源利用率。 来自
专利主权项内容
1.一种基于阻变存储器的模型量化方法，其特征在于，包括：确定待量化模型、训练样本以及待部署模型的阻变存储器的存储位宽；根据所述待量化模型构建压缩模型，并确定所述压缩模型各网络层预设的输入位宽和预设的权重位宽；将所述训练样本输入所述压缩模型，确定输出结果，根据所述输出结果以及所述训练样本对应标注之间的差异，确定损失；以所述损失最小为优化目标，调整所述压缩模型的各网络层的所述输入位宽以及所述权重位宽，并确定若干组符合优化条件的输入位宽以及权重位宽，其中，所述优化条件包括调整后的权重位宽小于所述存储位宽或所述权重位宽为所述存储位宽的整数倍；针对确定出的每组权重位宽和输入位宽，计算以该组权重位宽和输入位宽为参数时，所述待量化模型的模型精度；根据各模型精度，确定所述待量化模型的各网络层对应的输入位宽以及权重位宽，根据确定出的各网络层的输入位宽以及权重位宽确定量化后的模型，并将所述量化后的模型部署到所述阻变存储器上。 该数据由<>整理