数据处理方法、装置、电子设备及存储介质
申请人信息
- 申请人:腾讯科技(深圳)有限公司
- 申请人地址:518057 广东省深圳市南山区高新区科技中一路腾讯大厦35层
- 发明人: 腾讯科技(深圳)有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 数据处理方法、装置、电子设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410177698.8 |
| 申请日 | 2024/2/8 |
| 公告号 | CN117724856A |
| 公开日 | 2024/3/19 |
| IPC主分类号 | G06F9/50 |
| 权利人 | 腾讯科技(深圳)有限公司 |
| 发明人 | 白旭东; 张婧婧 |
| 地址 | 广东省深圳市南山区高新区科技中一路腾讯大厦35层 |
摘要文本
本公开关于一种数据处理方法、装置、电子设备及存储介质,涉及计算机技术领域,该方法包括:分发节点对第一待处理矩阵数据进行第一切分处理,得到第一子矩阵数据和第一位置信息;分发节点对第二待处理矩阵数据进行第二切分处理,得到第二子矩阵数据和第二位置信息;分发节点基于第一位置信息和第二位置信息,对第一子矩阵数据和第二子矩阵数据进行组合处理,得到子矩阵数据对,并将子矩阵数据对分发给计算节点;每个计算节点对子矩阵数据对进行处理得到计算处理结果,并基于目标计算节点对计算处理结果进行叠加处理得到目标矩阵数据。利用本公开实施例可以在兼顾到减少矩阵数据存储占用和减少节点间通讯成本的基础上,实现系统计算效率的提升。
专利主权项内容
1.一种数据处理方法,其特征在于,应用于数据处理系统,所述数据处理系统包括分发节点和第一数量个计算节点,所述方法包括:所述分发节点基于所述第一数量,对第一待处理矩阵数据进行第一切分处理,得到所述第一数量个第一子矩阵数据和每个第一子矩阵数据在所述第一待处理矩阵数据中对应的第一位置信息;所述第一待处理矩阵数据对应的矩阵行数量小于等于预设行数量,所述每个第一子矩阵数据对应的矩阵列数量与所述第一待处理矩阵数据对应的矩阵行数量相同;所述分发节点基于所述第一数量,对第二待处理矩阵数据进行第二切分处理,得到所述第一数量个第二子矩阵数据和每个第二子矩阵数据在所述第二待处理矩阵数据中对应的第二位置信息;所述第二待处理矩阵数据对应的矩阵列数量小于等于预设列数量,所述每个第二子矩阵数据对应的矩阵列数量与所述第二待处理矩阵数据的矩阵列数量相同;所述分发节点基于所述第一位置信息和所述第二位置信息,对所述第一数量个第一子矩阵数据和所述第一数量个第二子矩阵数据进行组合处理,得到所述第一数量个子矩阵数据对,并将所述第一数量个子矩阵数据对分别分发给所述第一数量个计算节点,每个计算节点上分发到一个子矩阵数据对;每个计算节点对所述每个计算节点上的每个子矩阵数据对进行处理,得到所述每个子矩阵数据对对应的计算处理结果,并基于目标计算节点,对所述第一数量个子矩阵数据对各自对应的计算处理结果进行叠加处理,得到目标矩阵数据;所述目标计算节点为所述第一数量个计算节点中的任一计算节点。 搜索马 克 数 据 网