一种高效灵活的协作学习框架及方法

专利主权项内容

1.一种高效灵活的协作学习系统，其特征在于，所述系统包括：协作学习训练环境初始化模块，用于提供协作学习的多种开发方式和训练配置；任务个性化定制模块，用于用户选择性的对模型训练任务进行自定义设置；智能打包传输模块，用于智能选择和打包所述模型训练任务对应的代码，并通过可执行文件的形式传输至客户端；任务扩展模块，用于根据需求添加辅助功能，以满足不同应用场景的需求；其中，所述任务个性化定制模块包括：数据处理模块，用于提供多种数据集来源选择，并对用户选择的数据集进行数据预处理；模型自定义模块，用于获取用户上传的自定义协作学习模型架构及参数；客户端训练模块，用于定义协作学习中客户端的本地模型的训练，其中，所述本地模型的训练过程中的参数包括参与训练的训练集、指定计算设备的参数和系统配置参数；服务端测试模块，用于定义协作学习中服务端的测试实现，其中，所述服务端的测试实现过程中的参数包括参与测试的测试集、指定计算设备的参数、系统配置参数和评价指标；所述任务扩展模块包括：安全算法模块，用于提供多个安全算法函数，以对协作学习过程进行安全保护；动态组件支持模块，用于提供动态组件，直接操作YAML配置文件和应用程序编程接口；日志模块，用于实时记录模型训练过程中的数据信息；所述安全算法模块，具体用于：从底层通信算法中抽象出多个安全算法函数，并将其封装开放给用户，其中，所述多个安全算法函数包括用于实现客户端/服务端发送信息操作的函数、用于实现接收服务端传输的信息/所有客户端聚合后的信息操作的函数以及用于将所有参与协作学习训练的节点的局部模型聚合并更新为全局模型的函数。