一种基于局部纹理的单视图三维重建方法

专利主权项内容

1.一种基于局部纹理的单视图三维重建方法，其特征在于：所述方法包括以下步骤：一、输入图像到ResNet-50卷积神经网络提取图像的全局特征向量和每个下采样前的特征图；二、在标准空间中预设128分辨率的空间点，对每个点通过相机参数投影到图像平面和特征图平面，找到其对应的不同尺度局部特征向量；三、将步骤一中提取的特征图，通过一个由纹理解码网络解码为纹理细节偏移图，通过相机参数投影得到每个预设空间点的纹理偏移；四、将步骤二所预设的空间点送入空间点编码网络，该网络包含两层多层感知机，神经元个数分别为256和512，激活函数为ReLU，该网络将3维的空间坐标编码成长度为512维向量的点特征；然后将步骤一中提取的全局特征向量和步骤二中提取的局部特征向量分别与512维的点特征拼接，分别送入两个解码网络，两个解码网络均包含两个三层的多层感知机，神经元个数分别为512、256和1，激活函数为ReLU，两个多层感知机分别得到一个全局的符号距离场值和一个局部细节的符号距离场值；另外通过相机参数将预设空间点投影到纹理偏移图上，得到对应空间点的细节纹理偏移的符号距离场值；最终空间点的符号距离场值F为三者相加，表达式为：，训练过程中采用代表三维信息的符号距离场监督，总的损失函数表达式为/>，其中，代表基本损失，为与Ground Truth之间误差，代表符号距离场损失，为最终与Ground Truth之间的误差，代表拉普拉斯损失，为纹理偏移梯度和图像梯度之间的误差；FlocalFlocalFtextureLBFglobalLsdfFLlap五、将步骤四中得到的符号距离场通过Marching Cube算法提取零值面，得到重建物体的三维网格模型。