一种基于AIGC的分布式算力调度系统

专利主权项内容

1.一种基于AIGC的分布式算力调度系统，其特征在于，所述系统包括节点获取模块、任务管理模块、算力调度模块、监控模块和用户服务模块；所述节点获取模块用于获取系统内可用的分布式算力节点；所述任务管理模块用于获取算力任务信息，并将算力任务分解为多个子任务以便执行；所述算力调度模块用于结合算力节点的历史数据和实时数据完成对各算力节点的算力任务分配；所述监控模块用于监控算力节点的任务执行情况；所述用户服务模块用于提供用户界面完成用户与系统之间的信息交互；所述节点获取模块包括节点注册单元和节点状态同步单元；所述节点注册单元用于将可用的分布式算力节点注册至系统中以供调度，所述节点状态同步单元用于对系统中所有的算力节点状态实时更新同步；所述任务管理模块获取的算力任务信息为包含有完成优先级的算力任务，所述算力任务分解的子任务为可通过算力节点执行的最小任务单元；所述算力调度模块包括预测调整单元和实时调整单元；所述预测调整单元基于AIGC技术根据历史数据预测具有时间特征的各算力节点的预测使用率，所述实时调整单元基于预测调整单元的预测结果和计算任务的分布对各算力节点制定调度决策；所述监控模块监控算力节点的任务执行情况具体包括各算力节点的使用率、各算力任务的完成度和各算力任务的预测完成时间；所述预测调整单元获取历史数据中具有时间特征的算力任务信息，并通过结合算力任务与各算力节点之间延迟信息建立各算力节点具有时间特征的使用率信息，并根据所述各算力节点具有时间特征的使用率信息建立预测模型，通过预测模型获取未来时间具有时间特征的各算力节点的预测使用率；所述实时调整单元通过以下步骤完成对调度决策的制定：S131：将当前未分配的算力任务按优先级大小排序；S132：计算当前优先级最高的算力任务与各算力节点之间的匹配指数：
；其中，为优先级最高的算力任务，/>为某个算力节点，/>为算力任务/>与算力节点/>的匹配指数，/>为算力任务/>与算力节点/>的网络延迟，通过历史通信记录或预先的实验获取；为算力节点/>的负载平衡参数，/>为通过预测模型获取的当前时间算力节点/>的预测使用率；S133：将上一步骤中的算力任务分解为多个子任务，并按匹配指数由小到大分配给对应的算力节点；在所述的分配过程中，当时，其中/>为算力节点/>的当前使用率，通过监控模块对各算力节点的实时监测获取；/>为系统中所有已使用算力节点的平均使用率；停止对该算力节点的任务分配，并对下一匹配指数对应的算力节点进行任务分配；S134：依次对剩余未分配的算力任务按优先级高低执行S132~ S133步骤，直至所有的算力任务都被分配完为止。