一种卷积神经网络模型的加载方法、装置及存储介质
申请人信息
- 申请人:广州汇思信息科技股份有限公司
- 申请人地址:510000 广东省广州市天河区天河路490号1702号房(仅限办公用途)
- 发明人: 广州汇思信息科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种卷积神经网络模型的加载方法、装置及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410002869.3 |
| 申请日 | 2024/1/2 |
| 公告号 | CN117762642A |
| 公开日 | 2024/3/26 |
| IPC主分类号 | G06F9/50 |
| 权利人 | 广州汇思信息科技股份有限公司 |
| 发明人 | 傅金波 |
| 地址 | 广东省广州市天河区天河路490号1702号房(仅限办公用途) |
摘要文本
本发明公开了一种卷积神经网络模型的加载方法、装置及存储介质，本发明通过在边缘设备中设置若干小型神经网络模型，并计算出了各个小型神经网络模型的单次推理时间、模型推理时间以及运行内存；而后，即可基于此，来进行模型匹配，即将边缘设备的运算能力，与各小型神经网络模型的运行内存进行比较，来选取出备选模型；接着，再选取出单次推理时间符合使用需求的模型；最后，则可从符合使用需求的模型中，选取出尺寸最大的模型作为最优模型来进行模型加载；由此，本发明能够为边缘设备匹配出兼具效率以及精度的本地模型，避免了传统技术采用云端加载模型所存在的易受网络带宽和延时影响的问题，能够提高用户的体验感，适用于大规模应用与推广。
专利主权项内容
1.一种卷积神经网络模型的加载方法，其特征在于，包括：获取模型运行参数表以及若干第一神经网络模型，其中，任一第一神经网络模型是以第二神经网络模型的输出作为训练数据而训练得到的，所述任一第一神经网络模型的模型种类与所述第二神经网络模型相同，所述第二神经网络模型的模型复杂度高于任一第一神经网络模型，各个第一神经网络模型的模型尺寸互不相同，且所述模型运行参数表中存储有运行各个第一神经网络模型的最小内存、各个第一神经网络模型的单次推理时间以及模型推理时间；读取目标边缘设备的空闲内存容量，并基于所述空闲内存容量和所述模型运行参数表，从若干第一神经网络模型中选取出符合目标边缘设备运行能力的至少一个第一神经网络模型，以作为备选神经网络模型，其中，任一备选神经网络模型对应的最小内存小于所述空闲内存容量；基于所述模型运行参数表，从所述备选神经网络模型中选取出单次推理时间小于预设值的备选神经网络模型，并将选取出的备选神经网络模型中模型推理时间最大的备选神经网络模型，作为所述目标边缘设备的最优模型；加载所述最优模型，以完成所述最优模型在所述目标边缘设备中的部署。 数据由马 克 数 据整理