基于运动估计注意力的光场重建模型训练方法及相关设备

专利主权项内容

1.一种基于运动估计注意力的光场重建模型训练方法，其特征在于，包括：获取光场的时序图像数据集，包括：获取光场数据集；将所述光场数据集的子孔径图像转换为宏像素图像；将所述宏像素图像转换为光场的时序图像数据集；在所述时序图像数据集中确定目标图像，生成所述目标图像对应的运动矢量图，按照所述运动矢量图，计算所述目标图像对应的注意力参数，包括：将所述运动矢量图中同一行的运动矢量确定为目标运动矢量；按照所述目标运动矢量提取所述目标图像的目标特征，根据所述目标特征计算注意力参数；其中，所述目标特征包括图像关注特征、图像键值特征和图像内容特征；根据所述目标特征计算注意力参数，包括：按照如下公式计算硬注意力参数和软注意力参数：其中，表示硬注意力参数，/>表示软注意力参数，/>表示图像关注特征，/>表示图像键值特征；利用所述硬注意力参数和所述图像内容特征计算图像内容参数；根据如下公式计算注意力内积：其中，表示软注意力参数，/>表示图像内容参数；将所述图像关注特征和所述注意力内积作为注意力参数；基于所述注意力参数生成所述目标图像对应的目标重建图像，将所述目标图像和所述目标重建图像作为一组训练集数据，以得到训练集；利用所述训练集进行模型训练，得到基于运动估计注意力的光场重建模型。