← 返回列表
用于数据计算的方法、电子设备和存储介质
申请人信息
- 申请人:北京壁仞科技开发有限公司; 上海壁仞科技股份有限公司
- 申请人地址:100102 北京市朝阳区望京东园四区13号楼-4至33层101内10层201室
- 发明人: 北京壁仞科技开发有限公司; 上海壁仞科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 用于数据计算的方法、电子设备和存储介质 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311814151.6 |
| 申请日 | 2023/12/27 |
| 公告号 | CN117472591B |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06F9/50 |
| 权利人 | 北京壁仞科技开发有限公司; 上海壁仞科技股份有限公司 |
| 发明人 | 请求不公布姓名; 请求不公布姓名; 请求不公布姓名; 请求不公布姓名 |
| 地址 | 北京市朝阳区望京东园四区13号楼-4至33层101内10层201室; 上海市闵行区陈行公路2388号16幢13层1302室 |
摘要文本
本发明的实施例涉及一种用于数据计算的方法、电子设备和存储介质。在该方案中，针对多个批量的数据，通过同时执行当前批量的数据的解码过程和下一批量的数据的编码过程，使得当前批量的数据的由解码器执行的推理计算部分与下一批量的数据的由编码器执行的推理计算部分的相融合以同时进行计算，从而能够更平衡地利用高带宽内存和张量计算核心的算力，改善计算单元的整体利用效率，提高推理过程的数据吞吐速率。 关注微信公众号专利查询网
专利主权项内容
1.一种用于数据计算的方法，其特征在于，针对多个批量的数据中的每个批量的数据的计算包括编码过程和解码过程，所述方法包括：响应于确定完成当前批量的数据的编码过程，确定是否接收到下一批量的数据；以及响应于确定接收到下一批量的数据，同时执行所述当前批量的数据的解码过程和所述下一批量的数据的编码过程，其中同时执行所述当前批量的数据的解码过程和所述下一批量的数据的编码过程包括：确定所述当前批量的数据在解码过程中产生的词符的词符长度；确定所述下一批量的数据的批量大小；基于所述下一批量的数据的批量大小和所述当前批量的数据在解码过程中产生的词符的词符长度，对所述下一批量的数据在第一维度进行切分，以获取多个数据块；以及当所述当前批量的数据在解码过程中产生第一词符的同时，针对所述下一批量的数据中的多个数据块中的第一数据块执行编码过程。