← 返回列表
任务处理方法、装置、云边端系统、设备及介质
摘要文本
本发明涉及人工智能技术领域,公开了一种任务处理方法、装置、云边端系统、设备及介质,应用于云边端系统的边缘服务器,包括:响应于推理请求,将待处理任务输入至深度学习模型中进行推理,以获取相应的任务结果;在推理的过程中,针对待处理任务进行上下文查询,获取待处理任务的重复利用效率;根据重复利用效率,动态调整深度学习模型对应的缓存数据;缓存数据包含待处理任务在深度学习模型中推理产生的中间数据和任务结果;同时,将上下文查询到的数据发送至人工智能生成内容应用程序对应的其他边缘服务器。深度学习模型对应的缓存会随着输入任务的重复利用效率被动态调整,可以提高任务处理速度和数据传输效率,节省计算资源,降低总成本。
申请人信息
- 申请人:浪潮电子信息产业股份有限公司
- 申请人地址:250000 山东省济南市高新区草山岭南路801号9层东侧
- 发明人: 浪潮电子信息产业股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 任务处理方法、装置、云边端系统、设备及介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410224860.7 |
| 申请日 | 2024/2/29 |
| 公告号 | CN117808036A |
| 公开日 | 2024/4/2 |
| IPC主分类号 | G06N3/04 |
| 权利人 | 浪潮电子信息产业股份有限公司 |
| 发明人 | 范宝余; 王晓敏; 赵雅倩; 郭振华; 李仁刚; 王丽 |
| 地址 | 山东省济南市高新区草山岭南路801号9层东侧 |
专利主权项内容
1.一种任务处理方法,其特征在于,应用于云边端系统中的边缘服务器,所述云边端系统包括云服务器和多个边缘服务器;所述云服务器部署有深度学习模型;各边缘服务器部署有人工智能生成内容应用程序涉及的服务;一个所述人工智能生成内容应用程序对应至少两个边缘服务器;所述方法包括:响应于所述人工智能生成内容应用程序的推理请求,将待处理任务输入至所述深度学习模型中进行推理,以获取相应的任务结果;在所述深度学习模型进行推理的过程中,针对所述待处理任务进行上下文查询,获取所述待处理任务的重复利用效率;根据所述待处理任务的重复利用效率,动态调整所述深度学习模型对应的缓存数据;所述缓存数据包含所述待处理任务在所述深度学习模型中推理产生的中间数据和任务结果;同时,将上下文查询到的数据发送至所述人工智能生成内容应用程序对应的其他边缘服务器,以使其他边缘服务器继续执行上下文查询和动态调整所述深度学习模型对应的缓存数据的步骤。 数据由马 克 数 据整理