← 返回列表

基于图的模型划分的边端协同推理方法及系统

申请号: CN202410162969.2
申请人: 南京邮电大学
更新日期: 2026-03-17

专利详细信息

项目 内容
专利名称 基于图的模型划分的边端协同推理方法及系统
专利类型 发明申请
申请号 CN202410162969.2
申请日 2024/2/5
公告号 CN117707795A
公开日 2024/3/15
IPC主分类号 G06F9/50
权利人 南京邮电大学
发明人 郭永安; 白晨浩; 王宇翱; 齐帅
地址 江苏省南京市新模范马路66号

摘要文本

本发明提供了一种基于图的模型划分的边端协同推理方法及系统,该方法包括:获取CNN模型以及边缘网络系统的工作负载信息和网络质量信息;将CNN模型转换为有向无环图;采用等价节点合并的方法对有向无环图进行压缩;对时延优化问题进行建模,协同推理时延由计算时延和数据传输时延组成。基于图神经网络和DQN算法,根据边缘网络系统的工作负载信息和网络质量信息进行DAG划分模型的训练,以最小化时延为目标求解时延优化问题,得到最优的划分策略。根据划分策略,将CNN模型划分为2个CNN模型分段,分别分配给端设备和边缘服务器进行计算,用以解决现有的CNN推理任务的推理时间没有得到最大限度的减少的问题。

专利主权项内容

1.一种基于图的模型划分的边端协同推理方法,其特征在于,基于边缘网络系统,所述边缘网络系统至少包括相连接的端设备和边缘服务器;所述方法包括以下步骤:步骤1,获取CNN模型以及边缘网络系统的工作负载信息和网络质量信息;步骤2,将CNN模型转换为有向无环图;步骤3,采用等价节点合并的方法对所述有向无环图进行压缩;步骤4,对时延优化问题进行建模,CNN协同推理时延由计算时延和数据传输时延组成;步骤5,基于图神经网络和DQN算法,根据所述边缘网络系统的工作负载信息和网络质量信息进行DAG划分模型的训练,以最小化时延为目标求解所述时延优化问题,得到最优的划分策略;根据划分策略,将CNN模型划分为2个CNN模型分段,分别分配给端设备和边缘服务器进行计算。