一种自动驾驶场景的重建与补全方法、系统及存储介质

专利主权项内容

1.一种自动驾驶场景的重建与补全方法，其特征在于，包括：获取所述自动驾驶场景的立体相机图像，生成所述立体相机图像的深度图和语义图；其中，所述立体相机图像是由立体摄像机对所述自动驾驶场景进行拍摄而得到的；所述深度图用于表征所述立体相机图像的深度信息，所述语义图用于表征所述立体相机图像的语义信息；利用所述语义图对所述深度图进行优化，以获得优化后的深度图；利用所述优化后的深度图建立所述立体相机图像的当前帧的局部面元模型，对所述当前帧的局部面元模型和与所述当前帧之前的所有图像帧对应的全局面元模型相冲突的冲突信息进行剔除，利用剔除所述冲突信息后的所述当前帧的局部面元模型与所述全局面元模型进行融合，直到与所述自动驾驶场景的所有图像帧对应的全局面元模型构建完成；对所述与所述自动驾驶场景的所有图像帧对应的全局面元模型进行自适应渲染而得到自适应渲染后的所述全局面元模型，从所述自适应渲染后的所述全局面元模型中获取与所述自动驾驶场景对应的新视角场景图像序列；其中，所述新视角场景图像序列包括多个新视角场景渲染图像；获得所述新视角场景渲染图像的渲染图像金字塔、与所述新视角场景渲染图像对应的参考图像的参考图像金字塔和与所述新视角场景渲染图像对应的掩码图像的掩码图像金字塔，将所述渲染图像金字塔、所述参考图像金字塔和所述掩码图像金字塔输入训练好的对抗生成网络模型，以利用所述对抗生成网络模型对所述新视角场景渲染图像中缺失信息的区域进行补全而生成完整新视角场景图像序列；其中，所述完整新视角场景图像序列包括多个完整新视角场景图像；所述参考图像是来自于所述新视角场景渲染图像的邻近视角的所述立体相机图像，所述掩码图像是基于所述新视角场景渲染图像中缺失信息的区域而得到的。