一种基于单幅RGB图像的交互双手三维重建方法及系统

专利主权项内容

1.一种基于单幅RGB图像的交互双手三维重建方法，其特征在于，所述三维重建方法包括：目标检测与语义分割预处理步骤：将待处理的单幅人体全身RGB图像分别传递给手部目标检测模块和手部语义分割模块；手部目标检测模块检测单幅人体全身图像中与手部相关的目标，标识出手部区域的位置和边界框，从而标识出的手部区域的位置和方向；手部语义分割模块根据手部目标检测模块标识出的手部区域的位置和边界框，将所述单幅人体全身RGB图像分割成包括手部区在内的不同的语义区域；左右手区域图像提取步骤：基于手部目标物体检测模块标识出的手部区域的位置和边界框，确定左手区域图像和右手区域图像的位置和边界框；同时，利用语义分割模块的结果，将手部区域分成左手区域图像和右手区域图像；基于几何感知的手部重建步骤：设计基于几何感知的手部重建模块，采用卷积神经网络从左手区域图像和右手的区域图像中提取左手与右手的3D网格及左手与右手的2.5D姿态信息；为了能够捕获手部的几何特征和形状变换，所述卷积神经网络中利用变形卷积实现几何感知；基于几何变换感知的相对位置细化模块：将所述左手与右手的2.5D姿态信息输入卷积神经网络中，利用卷积神经网络中的变形卷积进一步细化左手与右手的2.5D姿态信息，计算左手与右手之间的相对位置关系；交互双手3D网格恢复步骤：结合左手与右手的3D网格及左手与右手之间的相对位置关系，恢复交互双手的3D网格。