虚拟场景中师生化身服饰可视化方法及系统

专利主权项内容

1.虚拟场景中师生化身服饰可视化方法，其特征在于该方法包括以下步骤：(1)师生数据采集，按照师生分布情况，使用深度摄像机分段采集教学场景的深度、纹理、动态范围和色彩信息；对齐相邻图像帧中师生同名特征点对，将相邻图像拼接成整幅图像；运用立体视觉算法计算不同视角之间的视差像素信息，采用增强学习算法提取师生的密集点云数据；(2)教学对象生成，采用卷积神经网络层和全连接随机场算法提取、定位教学场景中对象的边界框，使用语义分割算法获得师生的语义对象；使用曲面拟合算法将体素数据转换成表面模型，构建成师生3D模型；采用隐式表面重建算法重构师生3D模型的头发、皮肤、衣服和面部细节以及纹理、法线和漫反射贴图；(3)模型骨架构建，使用逆投影算法，计算关节点在三维全局坐标系中的位置，将其映射到师生的表面模型，得到师生骨架模型；运用迭代最近点算法调整和优化链式关节点的位置，得到师生3D模型的链式骨架；采用最小二乘算法最小化损失函数，获取师生3D模型匹配的链式骨架，将骨架绑定到师生3D模型上；(4)师生化身驱动，运用曲线差值算法获取每个关节点的铰链对象，生成与师生骨架模型形状相同的铰链模型；按照控制策略使用基于无监督学习算法推断师生化身模型的位置和姿态变化指令；采用强化学习算法计算身体模型铰链对象的位置和旋转方向，根据铰链对象的前后变化值，推断关节的变化；(5)师生化身服装映射，运用基于深度学习的三维建模算法构建适合不同身材的虚拟服装模型；使用形状描述符号表示虚拟服装的几何轮廓和纹理材质特征，采用卷积神经网络分类描述虚拟服装形状；运用有限元算法模拟服装的形变和褶皱，当关节点发生变化时，采用网格变形算法呈现骨架模型上服装的形变和褶皱；(6)服饰匹配，使用等距变换算法计算各个服饰部分的新形状，匹配对应尺寸的师生化身骨架模型；依据匹配条件，构建师生化身各个服饰部分的组合规则，使用基于规则的前向推理算法推荐适合教学场景的服装；运用生成对抗网络算法调整服装纹理细节、方向性、尺度、均匀性、对比度和亮度；(7)动态切换，使用基于区域的卷积神经网络定位师生手部区域的铰链对象，使用长短时记忆神经网络推测手部动作的时长、幅度和速度特征；采用时序卷积神经网络算法分类数据变化值，确定手势铰链对象的动作手势；使用差值过渡算法为服饰更新操作添加淡入淡出和平滑过渡效果。