← 返回列表
用于GPU集合通信的方法和计算系统
摘要文本
本公开提供了一种用于GPU集合通信的方法和计算系统。该方法包括：接收用于多个GPU的集合通信的操作命令，所述操作命令至少指示所述集合通信的运算操作的类型、每个GPU待处理的数据大小和切片数量，并且所述多个GPU被分为相同数量的两组GPU；基于待处理的数据大小将待处理的数据划分为所述切片数量个数据切片；以及在一个时钟循环，基于所述集合通信的运算操作的类型并行地执行针对一个数据切片的运算操作和针对所述数据切片的前一数据切片的数据交换操作。
申请人信息
- 申请人:北京壁仞科技开发有限公司; 上海壁仞科技股份有限公司
- 申请人地址:100102 北京市朝阳区望京东园四区13号楼-4至33层101内10层201室
- 发明人: 北京壁仞科技开发有限公司; 上海壁仞科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 用于GPU集合通信的方法和计算系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410173378.5 |
| 申请日 | 2024/2/7 |
| 公告号 | CN117725019A |
| 公开日 | 2024/3/19 |
| IPC主分类号 | G06F15/163 |
| 权利人 | 北京壁仞科技开发有限公司; 上海壁仞科技股份有限公司 |
| 发明人 | 请求不公布姓名; 请求不公布姓名; 请求不公布姓名; 请求不公布姓名 |
| 地址 | 北京市海淀区上地信息路26号1层0106-508室; 上海市闵行区陈行公路2388号16幢13层1302室 |
专利主权项内容
1.一种用于GPU集合通信的方法，包括：接收用于多个GPU的集合通信的操作命令，所述操作命令至少指示所述集合通信的运算操作的类型、每个GPU待处理的数据大小和切片数量，并且所述多个GPU被分为相同数量的两组GPU；基于待处理的数据大小将待处理的数据划分为所述切片数量个数据切片；以及在一个时钟循环，基于所述集合通信的运算操作的类型并行地执行针对一个数据切片的运算操作和针对所述数据切片的前一数据切片的数据交换操作。