基于hbase亲和性计算的二阶段调度的分布式执行方法和系统

专利主权项内容

1.一种基于hbase亲和性计算的二阶段调度的分布式执行方法，其特征在于，所述方法包括：步骤S1：获取待调度的节点集，确定节点集中每个节点的亲和因子以及调度因子，所述节点集包括计算节点集和存储节点集；步骤S2：根据每个节点的亲和因子以及调度因子，在计算节点集的每个计算节点中构建至少一个虚拟节点；步骤S3：启动第一阶段调度，调度所述计算节点集中的计算任务至构建的虚拟节点；步骤S4：启动第二阶段调度，均衡各个虚拟节点的负载；步骤S2包括：步骤S21：根据节点的亲和因子，将计算节点集拆分成No_affinity计算节点集和No_reomte计算节点集；步骤S22：根据拆分的两个计算节点集中计算节点的并发参数，计算并发width扰动参数和亲和度并发参数；步骤S23：采用No_affinity计算节点集、No_remote计算节点集、width扰动参数和亲和并发度参数，在每个计算节点中构建至少一个虚拟节点，并得到虚拟节点的集合；步骤S3包括：步骤S31：根据是否在计算节点内将数据分片拆分为R_affinity集合和R_remote集合，确定每个虚拟节点的最小分片数minPerTaskSlot和最大分片数maxPerTaskSlot，其中，所述数据分片是作为数据载体设置于所述虚拟节点中的；步骤S32：调度R_affinity集合中的数据分片到对应的虚拟节点容器中，基于预先配置的区域通讯代价矩阵对每一个虚拟节点容器由小到大进行排序；步骤S33：在虚拟节点中的数据分片中，从Mrn集获取数据亲密集合R_affinity中的数据分片的对应节点集合，并从所述集合中移除该虚拟节点挂载的节点，其中，所述Mrn集为数据分片与通讯代价的映射关系对；步骤S34：初始化minSlots集合和maxSlots集合，其中minSlots集合用于存放数据分片数小于平均负载的虚拟节点，maxSlots集合用于存放数据分片数大于平均负载的虚拟节点；步骤S35：基于预先配置的第一调度规则，将虚拟节点集中的所有虚拟节点分发到minSlots集合和maxSlots集合，并按照虚拟节点容器的大小由大到小排序。