← 返回列表
一种基于计算图和重计算的数据分配优化方法及装置
摘要文本
本发明提供一种基于计算图和重计算的数据分配优化方法及装置，涉及优化技术领域。所述方法包括：获取存储开销和计算开销；根据存储开销和计算开销、流水并行的大小、流水节当前序号和各子图分别对应的计算单元数量，以中间结果的显存上界为上限，且各子图中所有计算单元节省最多计算时间为第一目标，确定与各计算单元分别对应的最优重计算策略；根据流水节总数，微样本数量，与各子图分别对应流水节中的最优重计算策略，以及与各子图分别对应流水节前向计算时间和流水节反向计算时间，以总训练时间最短为第二目标，确定每个流水节对应子图中所包含的解码层数量。所述装置执行上述方法。本发明实施例提供的方法及装置，能提高模型整体计算效率。。详见官网：
申请人信息
- 申请人:清华大学
- 申请人地址:100084 北京市海淀区清华园
- 发明人: 清华大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于计算图和重计算的数据分配优化方法及装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311416139.X |
| 申请日 | 2023/10/27 |
| 公告号 | CN117453361A |
| 公开日 | 2024/1/26 |
| IPC主分类号 | G06F9/48 |
| 权利人 | 清华大学 |
| 发明人 | 孙桢波; 陈文光 |
| 地址 | 北京市海淀区双清路30号清华大学 |
专利主权项内容
1.一种基于计算图和重计算的数据分配优化方法，其特征在于，包括：获取与计算图中的各子图分别对应的计算单元的存储开销和计算开销；其中，所述计算图包含有解码层；根据所述存储开销和所述计算开销、流水并行的大小、流水节当前序号和各子图分别对应的计算单元数量，以中间结果的显存上界为上限，且各子图中所有计算单元节省最多计算时间为第一目标，确定与各计算单元分别对应的最优重计算策略；根据流水节总数，微样本数量，与各子图分别对应流水节中的最优重计算策略，以及与各子图分别对应流水节前向计算时间和流水节反向计算时间，以总训练时间最短为第二目标，确定每个流水节对应子图中所包含的解码层数量。 来自马克数据网