← 返回列表
一种数据处理系统、方法及介质
申请人信息
- 申请人:苏州元脑智能科技有限公司
- 申请人地址:215100 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢
- 发明人: 苏州元脑智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种数据处理系统、方法及介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410220698.1 |
| 申请日 | 2024/2/28 |
| 公告号 | CN117806833A |
| 公开日 | 2024/4/2 |
| IPC主分类号 | G06F9/50 |
| 权利人 | 苏州元脑智能科技有限公司 |
| 发明人 | 赵谦谦; 王彦伟; 郝锐; 肖麟阁 |
| 地址 | 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢 |
摘要文本
本申请公开了模型训练技术领域内的一种数据处理系统、方法及介质。本申请借助主机中的加速设备执行模型训练任务，借助主机中的内存板卡存储训练数据、中间结果和权重数据，从而不必由主机执行任务，也不必由主机存储数据，因而降低了主机的负载，加速设备执行模型训练任务能够提高模型训练效率，整个训练过程仅需主机进行任务分配，将大量计算和访存工作卸载到加速设备和内存板卡，可降低训练过程中的宕机风险和模型权重数据恢复难度。
专利主权项内容
1.一种数据处理系统，其特征在于，包括多个主机，任意主机包括：多个加速设备和至少一个内存板卡；所述多个主机中包括控制主机，所述控制主机将同一模型训练任务划分为多个子任务，并分发所述多个子任务至所述多个主机；所述多个主机并行利用自身中的多个加速设备执行接收到的子任务，利用自身中的内存板卡存储相应子任务对应的训练数据、中间结果和权重数据；所述控制主机利用自身中的内存板卡收集并处理所述多个主机中的内存板卡存储的权重数据，将处理得到的最新权重数据写回所述多个主机中的内存板卡。