数据处理方法、数据容错方法和装置及存储介质

专利主权项内容

1.一种数据处理方法，其特征在于，包括：向数据分发节点发送容错处理请求，所述容错处理请求用于请求数据分发节点对中间数据集进行所述容错处理；通过数据处理节点向数据分发节点发送第一数据获取请求，其中，所述数据处理节点为用于根据中间数据集进行数据处理的任务节点，所述数据分发节点用于将经过数据预处理得到的中间数据集转发至对应的所述数据处理节点，所述第一数据获取请求用于获取经过目标数据预处理得到的目标中间数据集；在所述数据分发节点处于异常运行状态的情况下，获取所述数据分发节点预先发送的容错日志，其中，所述容错日志中包括所述数据分发节点在满足数据容错条件的情况下对所述中间数据集进行的容错处理的处理记录；根据所述容错日志确定所述目标中间数据集中包括的第一数据子集已经过所述容错处理的情况下，通过所述数据处理节点向目标存储节点发送第二数据获取请求，其中，所述第二数据获取请求用于获取所述第一数据子集，所述目标存储节点用于存储经过容错处理的数据集；获取用于产生所述目标中间数据集的数据预处理任务所对应的目标任务标识集，其中，所述目标任务标识集中包括多个目标任务标识，每个所述目标任务标识分别指示一个所述数据预处理任务；从所述容错日志中获取第一任务标识集，其中，所述第一任务标识集中包括多个所述第一任务标识，所述第一任务标识指示的所述数据预处理任务所产生的所述中间数据集已经过所述数据分发节点的所述容错处理；将所述目标任务标识集和所述第一任务标识集的差集确定为第二任务标识集，并根据所述第二任务标识集中包括的第二任务标识通知数据预处理节点执行数据重算任务，得到第二数据子集，所述数据预处理节点用于根据数据处理任务对原始数据进行数据预处理；向调度节点发送标识获取请求，其中，所述标识获取请求用于获取处于正常运行状态的所述数据分发节点的节点标识；获取所述调度节点返回的目标分发节点标识，并通知数据预处理节点将所述第二数据子集发送至所述目标分发节点标识指示的目标数据分发节点；向所述数据处理节点发送目标分发节点标识，其中，所述目标分发节点标识指示用于对经过数据重算后得到的第二数据子集进行转发的所述目标数据分发节点；通过所述数据处理节点向所述目标数据分发节点发送第三数据获取请求，其中，所述第三数据获取请求用于获取所述第二数据子集；获取所述第二数据子集，并根据所述第一数据子集和所述第二数据子集进行数据处理，得到目标处理结果；向所述数据分发节点发送所述容错处理请求包括以下至少之一：在数据预处理节点已完成的数据预处理任务的任务数量满足第一数据容错条件的情况下，向所述数据分发节点发送容错处理请求；在当前时间戳满足第二数据容错条件的情况下，向所述数据分发节点发送容错处理请求。