一种全息立体画面同步方法、装置、设备及存储介质

专利主权项内容

1.一种全息立体画面同步方法，其特征在于，所述全息立体画面同步方法包括：通过预置的图像采集终端对预设的目标区域进行图像采集，得到初始图像集，对所述初始图像集进行图像配对，得到多个左右图像对；将多个所述左右图像对输入预置的CNN网络进行特征提取，得到每个所述左右图像对的初始特征集合；具体包括：对多个所述左右图像对进行色彩信息提取，得到每个所述左右图像对的色彩数据；对每个所述左右图像对的色彩数据与预置的色彩比对数据进行色彩数据比对，得到每个所述左右图像对的色彩差异数据；基于每个所述左右图像对的色彩差异数据，分别对每个所述左右图像对进行色彩校正，得到多个色彩校正图像对；将多个所述色彩校正图像对输入所述CNN网络进行图像特征映射，得到每个所述色彩校正图像对的浅层边缘特征集以及深层语义特征集；分别对每个所述色彩校正图像对的浅层边缘特征集以及深层语义特征集进行特征信息量筛选，得到每个所述色彩校正图像对的特征信息量；基于每个所述色彩校正图像对的特征信息量，分别对每个所述色彩校正图像对的浅层边缘特征集以及深层语义特征集进行特征筛选，得到每个所述左右图像对的初始特征集合；将每个所述左右图像对的初始特征集合输入预置的联合区域生成网络进行特征融合，得到每个所述左右图像对的融合特征集合；具体包括：分别对每个所述左右图像对的初始特征集合进行特征通道遍历，得到每个所述左右图像对的特征通道集合；分别对每个所述左右图像对的特征通道集合进行特征矩阵转换，得到每个所述左右图像对的特征通道集合对应的特征矩阵集合；分别对每个所述左右图像对的特征通道集合对应的特征矩阵集合进行权重系数计算，得到权重系数集合；通过所述权重系数集合，分别对每个所述左右图像对的特征通道集合对应的特征矩阵集合进行加权融合，得到每个所述左右图像对的融合特征集合；分别对每个所述左右图像对的融合特征集合进行3D边界框分析，得到每个所述左右图像对的3D边界框；具体包括：将每个所述左右图像对的融合特征集合输入预置的立体回归网络进行图像深度分析，得到每个所述左右图像对的图像深度数据；基于每个所述左右图像对的图像深度数据，分别对每个所述左右图像对的融合特征集合进行图像姿态信息计算，得到每个所述左右图像对的图像姿态信息；通过每个所述左右图像对的图像姿态信息，对每个所述左右图像对进行预测关键点标定，得到多个预测关键点；通过多个所述预测关键点以及每个所述左右图像对的图像姿态信息进行初始边界框生成，得到每个所述左右图像对的初始边界框；分别对每个所述左右图像对的初始边界框进行边界位置修正，得到每个所述左右图像对的3D边界框；通过每个所述左右图像对的3D边界框进行全息立体画面构建，得到对应的全息立体画面数据；具体包括：分别对每个所述左右图像对的3D边界框进行边界框参数提取，得到边界框参数集合；获取全息显示光源的位置信息，并通过所述位置信息对所述边界框参数集合进行光线路径模拟，得到多个模拟光线路径；基于所述模拟光线路径对预置的全息展示屏幕进行光强信息分析，得到所述全息展示屏幕的模拟光强数据；通过多个所述模拟光线路径以及所述模拟光强数据，对每个所述左右图像对的3D边界框进行多层深度融合，得到对应的深度参数集合；通过所述深度参数集合进行全息立体画面构建，得到所述全息立体画面数据；采集当前用户的环境信息，并根据所述环境信息对所述全息立体画面数据进行同步控制参数计算，得到对应的同步控制参数，并通过所述同步控制参数对所述全息立体画面数据进行数据同步修正，得到目标全息立体画面数据；具体包括：对所述当前用户进行用户位置信息采集，得到所述当前用户的用户位置信息；基于所述用户位置信息对所述当前用户进行参数采集区域分割，得到对应的参数采集区域；通过所述参数采集区域对所述当前用户进行环境信息采集，得到所述当前用户的环境信息；通过所述环境信息以及所述用户位置信息，对所述当前用户进行视点计算，得到所述当前用户的视点信息；基于所述当前用户的视点信息，对所述当前用户进行视觉焦点计算，得到所述当前用户对应的视觉焦点；根据所述视觉焦点以及所述视点信息进行全息显示透视参数计算，得到目标透视参数；通过所述目标透视参数对所述全息立体画面数据进行同步控制参数计算，得到对应的同步控制参数，其中，所述同步控制参数包括亮度控制参数、视角控制参数以及透视控制参数；通过所述同步控制参数对所述全息立体画面数据进行数据同步修正，得到目标全息立体画面数据；其中，得到目标透视参数，包括：通过所述视觉焦点以及所述视点信息进行全息显示前景焦点位置分析，得到前景焦点位置；通过所述视觉焦点以及所述视点信息进行全息显示背景焦点位置分析，得到背景焦点位置；通过所述前景焦点位置以及所述背景焦点位置进行观察角度计算，得到目标观察角度；对所述目标观察角度进行透视投影矩阵转换，得到对应的透视投影矩阵，并根据所述透视投影矩阵进行全息显示透视参数计算，得到所述目标透视参数。