一种基于AIGC的分布式算力感知及调度系统
摘要文本
关注微信公众号马克数据网 。本发明提供了一种基于AIGC的分布式算力感知及调度系统,涉及电数字数据处理领域,包括网关感知模块、智能规划模块和跨服调度模块,所述网关感知模块用于感知网关的硬件信息和软件信息并处理得到对应节点的算力应用信息,所述智能规划模块用于对在同一个服务器系统内的算力进行规划调整,所述跨服调度模块用于向其余服务器进行算力调度;本系统通过对每个分布式节点各个服务程序完成任务的算力情况进行监控,并基于AIGC技术进行预测模拟,根据模拟情况对算力进行分析调配,使得系统在处理任务时更加高效。
申请人信息
- 申请人:环球数科集团有限公司
- 申请人地址:518063 广东省深圳市南山区粤海街道高新南九道10号深圳湾科技生态园10栋B座17层01-03号
- 发明人: 环球数科集团有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于AIGC的分布式算力感知及调度系统 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311812180.9 |
| 申请日 | 2023/12/27 |
| 公告号 | CN117478529B |
| 公开日 | 2024/3/12 |
| IPC主分类号 | H04L41/16 |
| 权利人 | 环球数科集团有限公司 |
| 发明人 | 张卫平; 李显阔; 邵胜博; 王丹; 张伟 |
| 地址 | 广东省深圳市南山区粤海街道高新南九道10号深圳湾科技生态园10栋B座17层01-03号 |
专利主权项内容
1.一种基于AIGC的分布式算力感知及调度系统,其特征在于,包括网关感知模块、智能规划模块和跨服调度模块;所述网关感知模块用于感知网关的硬件信息和软件信息并处理得到对应节点的算力应用信息,所述智能规划模块用于对在同一个服务器系统内的算力进行规划调整,所述跨服调度模块用于向其余服务器进行算力调度;所述网关感知模块包括硬件检测单元、软件分析单元和算力处理单元,所述硬件检测单元用于负责收集和网关连接的节点的硬件信息,所述软件分析单元用于分析和网关连接的节点上运行的软件环境,所述算力处理单元用于计算出网关节点的算力应用情况;所述智能规划模块包括需求分析单元、策略定制单元和调整执行单元,所述需求分析单元用于对系统内的所有节点的算力需求进行分析,所述策略定制单元基于需求分析制定算力资源分配和调整的策略,所述调整执行单元用于实时资源分配策略;所述跨服调度模块包括跨服检测单元、资源协调单元和通信管理单元,所述跨服检测单元用于检测其他服务器的可用算力资源,所述资源协调单元用于协调和实施跨服务器的资源调度,所述通信管理单元用于管理与其他服务器的通信接口并进行数据与资源的传输;所述算力处理单元包括资源算力处理器、算力消耗处理器和效率分析处理器,所述资源算力处理器用于计算出节点的算力总量,所述算力消耗处理器用于计算出每个服务程序的算力消耗量,所述效率分析处理器用于计算出每个服务程序的算力消耗效率值f;所述需求分析单元包括单项分析处理器、任务预测处理器和服务预测处理器,所述单项分析处理器用于对队列中的每个任务的处理时间进行计算,所述任务预测处理器用于对每个服务程序中处于队列中的任务开启时间进行预测,所述服务预测处理器用于对每个服务程序处理完所有队列中任务的时间进行预测;所述单项分析处理器根据下式计算出每个单项任务的处理时间Tov:
;其中,为该单项任务所处服务程序的平均算力消耗量,Tk为该任务的任务量;所述任务预测处理器的处理过程包括如下步骤:S1、选择队列中的一个任务作为预测任务;S2、获取预测任务在队列中的所有前置任务的处理时间;S3、将所有前置任务的处理时间累加得到预测任务的开启时间Tbg;S4、将开始时间根据下式转换为等待指数Wa:
;其中,T为基准时间;0所述服务预测处理器将队列中的所有任务的处理时间累加得到结束时间Ted,并将结束时间根据下式转换为结束指数Ed:
;所述策略定制单元包括调度筛选处理器和任务匹配处理器,所述调度筛选处理器用于筛选出需要调度的任务信息,筛选出的任务称为目标任务,所述任务匹配处理器用于将目标任务与其余节点的服务程序进行匹配。。更多数据: