一种数据采集任务编排方法、装置

专利主权项内容

1.一种数据采集任务编排方法，其特征在于，所述方法包括：获取对M个系统进行业务数据采集的M个采集任务，并获取各个所述采集任务的任务特征信息和待执行所述采集任务的N个节点各自的节点特征信息；N＜M；根据所述节点特征信息和所述任务特征信息，确定各个所述节点执行各个所述采集任务的适配度；确定将所述M个采集任务随机分配给所述N个节点的第一任务编排策略，并根据所述任务特征信息确定所述第一任务编排策略的第一任务效率得分；基于所述第一任务效率得分和预设的价值计算函数，计算所述第一任务编排策略的第一全局价值；根据所述适配度和所述N个节点当前的资源可用性，确定第二任务编排策略，并计算所述第二任务编排策略对应的第二全局价值；若所述第二全局价值大于所述第一全局价值，则根据所述适配度和所述节点当前的资源可用性确定下一步任务编排策略；若所述第二全局价值小于或等于所述第一全局价值，则回退到上一步，将所述第一任务编排策略确定为下一步任务编排策略；如此进行多次迭代更新，直至全局价值收敛，得到目标任务编排策略；根据所述目标任务编排策略将所述M个采集任务分配给所述N个节点，并开始执行所述采集任务；其中，所述任务特征信息至少包括：所述采集任务对应的源数据的预计占用磁盘空间量、所述源数据所在业务系统的预计响应时长，以及执行所述采集任务预计占用的CPU核数；所述节点特征信息至少包括：所述节点的CPU核数、所述节点的存储容量；所述根据所述节点特征信息和所述任务特征信息，确定各个所述节点执行各个所述采集任务的适配度，包括：对于其中一个节点，确定所述节点的CPU核数与所述存储容量的乘积；对于其中一个采集任务，确定所述采集任务的占用磁盘空间量与所述采集任务的CPU核数的和；将所述乘积与所述和的商，确定为所述其中一个节点与所述其中一个采集任务的适配度。