← 返回列表
基于图的模型划分的边端协同推理方法及系统
申请人信息
- 申请人:南京邮电大学
- 申请人地址:210046 江苏省南京市栖霞区文苑路9号
- 发明人: 南京邮电大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于图的模型划分的边端协同推理方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410162969.2 |
| 申请日 | 2024/2/5 |
| 公告号 | CN117707795A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06F9/50 |
| 权利人 | 南京邮电大学 |
| 发明人 | 郭永安; 白晨浩; 王宇翱; 齐帅 |
| 地址 | 江苏省南京市新模范马路66号 |
摘要文本
本发明提供了一种基于图的模型划分的边端协同推理方法及系统,该方法包括:获取CNN模型以及边缘网络系统的工作负载信息和网络质量信息;将CNN模型转换为有向无环图;采用等价节点合并的方法对有向无环图进行压缩;对时延优化问题进行建模,协同推理时延由计算时延和数据传输时延组成。基于图神经网络和DQN算法,根据边缘网络系统的工作负载信息和网络质量信息进行DAG划分模型的训练,以最小化时延为目标求解时延优化问题,得到最优的划分策略。根据划分策略,将CNN模型划分为2个CNN模型分段,分别分配给端设备和边缘服务器进行计算,用以解决现有的CNN推理任务的推理时间没有得到最大限度的减少的问题。
专利主权项内容
1.一种基于图的模型划分的边端协同推理方法,其特征在于,基于边缘网络系统,所述边缘网络系统至少包括相连接的端设备和边缘服务器;所述方法包括以下步骤:步骤1,获取CNN模型以及边缘网络系统的工作负载信息和网络质量信息;步骤2,将CNN模型转换为有向无环图;步骤3,采用等价节点合并的方法对所述有向无环图进行压缩;步骤4,对时延优化问题进行建模,CNN协同推理时延由计算时延和数据传输时延组成;步骤5,基于图神经网络和DQN算法,根据所述边缘网络系统的工作负载信息和网络质量信息进行DAG划分模型的训练,以最小化时延为目标求解所述时延优化问题,得到最优的划分策略;根据划分策略,将CNN模型划分为2个CNN模型分段,分别分配给端设备和边缘服务器进行计算。