一种基于多路NPU的模块化神经网络训练平台

专利主权项内容

1.一种基于多路NPU的模块化神经网络训练平台，其特征在于，包括训练数据及NPU数据获取模块、划分模块、第一核心初始化模块、第一更新模块、第二核心初始化模块、第二更新模块、循环模块以及输出模块；所述训练数据及NPU数据获取模块用于，获取待训练神经网络模型，并确定多路NPU中空闲的核心，得到多个目标核心；所述划分模块用于，将多个所述目标核心划分为两部分，得到第一核心组以及第二核心组，所述第一核心组用于进行第一并行训练，所述第二核心组用于进行第二并行训练；所述第一核心初始化模块用于，在第一核心组中每个第一核心上部署多个待训练神经网络模型，得到第一待训练神经网络模型，并分别为多个第一待训练神经网络模型生成初始的网络参数值，得到第一待训练神经网络模型对应的第一网络参数向量，完成第一核心的初始化；所述第一更新模块用于，采用并行运行的方式同时运行所有第一核心，且针对第一核心中每个第一待训练神经网络模型，采用全局最优网络参数引导算法以及并行数据优化算法对每个第一待训练神经网络模型的第一网络参数向量进行第一更新，直至第一更新的次数到达上限，根据第一网络参数向量确定每个第一核心中的局部最优网络参数向量；所述第二核心初始化模块用于，在第二核心组中第二核心上部署多个待训练神经网络模型，得到第二待训练神经网络模型，根据第一核心中的局部最优网络参数向量，采用归约法确定全局最优网络参数向量，并将该全局最优网络参数向量作为第二核心上第二待训练神经网络模型初始的网络参数，得到第二待训练神经网络模型对应的第二网络参数向量，完成第二核心的初始化；所述第二更新模块用于，采用并行运行的方式同时运行所有第二核心，且针对第二核心中每个第二待训练神经网络模型，采用并行权重优化算法对每个第二待训练神经网络模型的第二网络参数向量进行第二更新，直至第二更新的次数到达上限或者满足迭代结束要求，结束第二更新；所述循环模块用于，当第二更新的次数到达上限时，将第二核心中的第二网络参数向量作为全局最优网络参数向量，并返回第一更新步骤；所述输出模块用于，当满足迭代结束要求时，将第二核心中的第二网络参数向量作为待训练神经网络的最终网络参数，完成待训练神经网络模型的训练。