用于进行注意力运算的方法、设备和存储介质

摘要文本

本公开提供一种用于进行注意力运算的方法、设备和存储介质。其中方法包括确定查询张量的关于序列长度的第一维度的第一数值、以及关于批量大小的第二维度的第二数值；根据第一数值以及第二数值，确定目标维度；以及基于目标维度，将查询张量划分为多个第一子张量，以便多个处理器核中的每一个处理器核分别针对多个第一子张量中的一个第一子张量进行注意力计算。本公开的方案能够显著提高注意力运算的效率。