数据训练方法及装置、存储介质、电子装置

专利主权项内容

1.一种数据训练方法，其特征在于，包括：通过处理器执行以下步骤：确定样本数据和可用的集群资源；将总训练模型拆分为多个子模型；使用所述集群资源在所述多个子模型上并行训练所述样本数据；其中，将总训练模型拆分为多个子模型包括以下至少之一：将所述总训练模型拆分为多个第一子模型，其中，所述多个第一子模型并行连接；将所述总训练模型拆分为多个第二子模型，其中，所述多个第二子模型串行连接；其中，将所述总训练模型拆分为多个第一子模型：根据算子的类型将所述总训练模型拆分为多个第一子模型，其中，所述总训练模型由一个或多个所述算子组成；其中，使用所述集群资源在所述多个子模型上并行训练所述样本数据包括：将所述样本数据划分为M个分片后，并行输入到所述集群资源的M*K个子模型上进行训练，其中， K为配置一个子模型所需要的最小集群资源，M为大于0的整数，K为大于0的整数；其中，确定样本数据和可用的集群资源包括：接收训练作业，从所述训练作业中获取对应的样本数据；确定集群资源中当前空闲的处理器资源，其中，所述集群资源包括所述处理器资源。