基于极平面注意力的光场重建模型训练方法及相关设备

专利主权项内容

1.一种基于极平面注意力的光场重建模型训练方法，其特征在于，包括：获取光场数据集以及网络重建系数，基于所述光场数据集生成极平面图像数据，按照指定角度方向对所述极平面图像数据进行分组，得到所述光场数据集对应的多组三维光场数据；按照指定角度方向对所述极平面图像数据进行分组，包括：按照第一指定角度方向对所述极平面图像数据进行分组，以及按照第二指定角度方向对所述极平面图像数据进行分组；其中，所述第一指定角度方向和所述第二指定角度方向相互垂直；基于第一卷积核对所述三维光场数据分别执行第一卷积操作和第二卷积操作，得到第一卷积结果和第二卷积结果，基于第二卷积核对所述三维光场数据执行第三卷积操作，得到第三卷积结果；包括：基于第一卷积核对所述三维光场数据执行第一卷积操作，得到第一五维特征数据，基于第一卷积核对所述三维光场数据执行第二卷积操作，得到第二五维特征数据，基于第二卷积核对所述三维光场数据执行第三卷积操作，得到第三五维特征数据；将所述第一五维特征数据转换为三维张量，得到第一卷积结果，将所述第二五维特征数据转换为三维张量，得到第二卷积结果，将所述第三五维特征数据转换为三维张量，得到第三卷积结果；其中，所述第二卷积核根据所述第一卷积核和所述网络重建系数确定；所述第一卷积核用于提取所述三维光场数据的相位特征；所述第一五维特征数据、所述第二五维特征数据和所述第三五维特征数据分别包括：训练样本数量维度数据、高度维度数据、宽度维度数据、角度维度数据和卷积核通道数据；将所述第一五维特征数据转换为三维张量，得到第一卷积结果，将所述第二五维特征数据转换为三维张量，得到第二卷积结果，将所述第三五维特征数据转换为三维张量，得到第三卷积结果，包括：利用所述第一五维特征数据的训练样本数量维度数据和高度维度数据确定第一卷积结果的第一维数据，利用所述第一五维特征数据的宽度维度数据和角度维度数据确定第一卷积结果的第二维数据，将所述第一五维特征数据的卷积核通道数据作为第一卷积结果的第三维数据；利用所述第二五维特征数据的训练样本数量维度数据和高度维度数据确定第二卷积结果的第一维数据，将所述第二五维特征数据的卷积核通道数据作为第二卷积结果的第二维数据；利用所述第二五维特征数据的宽度维度数据和角度维度数据确定第二卷积结果的第三维数据；利用所述第三五维特征数据的训练样本数量维度数据和高度维度数据确定第三卷积结果的第一维数据，利用所述第三五维特征数据的宽度维度数据和角度维度数据确定第三卷积结果的第二维数据，将所述第三五维特征数据的卷积核通道数据与所述网络重建系数的乘积作为第三卷积结果的第三维数据；所述第一五维特征数据对应三维张量的尺寸为：；所述第二五维特征数据对应三维张量的尺寸为/>；其中：B 表示批量大小即一次训练中输入的样本数量；H 表示空间高度即光场图像在垂直方向上的像素数量；W 表示空间宽度即光场图像在水平方向上的像素数量；A 表示角度分辨率即光场图像在角度方向上的角度数量；C 表示通道数；/>表示通道数的变换；BH 表示空间高度和批量大小的乘积即总共的样本数量；WA 表示角度分辨率即光场图像在角度方向上的角度数量；根据所述第一卷积结果和所述第二卷积结果计算注意力图，将所述注意力图和所述第三卷积结果的乘积作为极平面注意力数据；其中，所述注意力图用于描述所述三维光场数据中极平面图像数据之间的对应关系；将所述极平面注意力数据作为引导图数据，基于所述三维光场数据和所述引导图数据进行引导滤波处理，得到目标三维光场数据；利用所述三维光场数据和所述目标三维光场数据构造训练集数据，利用所述训练集数据进行模型训练，得到光场超分辨率重建模型。