基于单目自旋转视频的可驱动3D人体模型生成方法与系统
申请人信息
- 申请人:南京英麒智能科技有限公司
- 申请人地址:211100 江苏省南京市江宁区麒麟科技创新园智汇路300号
- 发明人: 南京英麒智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于单目自旋转视频的可驱动3D人体模型生成方法与系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202211707554.6 |
| 申请日 | 2022/12/28 |
| 公告号 | CN117557715A |
| 公开日 | 2024/2/13 |
| IPC主分类号 | G06T17/00 |
| 权利人 | 南京英麒智能科技有限公司 |
| 发明人 | 王永哲; 高桓; 吴冶; 李昂 |
| 地址 | 江苏省南京市江宁区麒麟科技创新园智汇路300号 |
摘要文本
本发明公开了一种基于单目自旋转视频的可驱动3D人体模型生成方法与系统，本发明首先利用单目相机获取人的自旋转视频，根据每帧图像获取对应的SMPL参数，将每帧姿态参数与均值形状参数结合，得到SMPL模型，并通过3D模型渲染图像与2D图像人像之间的轮廓损失优化姿态参数；然后构建神经网络模型，根据姿态参数生成SMPL模型顶点的偏移量；通过SMPL‑D模型渲染图像与原始图像之间的人像轮廓差为误差，优化网络模型参数；再通过训练好的神经网络模型重新计算每帧图像的偏移量，并设置权重；最后将每帧带有权重的偏移量加权平均，与均值形状参数下的SMPL模型叠加，得到最终的SMPL‑D模型。本发明操作便捷、获取速度快，生成的可驱动3D数字人与真实对象之间的相似度高。
专利主权项内容
1.一种基于单目自旋转视频的可驱动3D人体模型生成方法，其特征在于，包括如下步骤：利用固定好的单目相机获取人的自旋转视频；将所述自旋转视频中每帧图像输入SMPL参数预测网络得到对应的SMPL参数，包括形状参数及姿态参数；计算所有图像的形状参数的均值，将每帧图像的姿态参数与均值形状参数结合，得到SMPL模型，并通过3D模型渲染图像与2D图像人像之间的轮廓损失优化每帧图像的姿态参数，从而得到优化后的每帧SMPL模型；构建神经网络模型，其输入为每帧图像的姿态参数，输出为SMPL模型每个顶点的偏移量；所述偏移量叠加到对应的每帧SMPL模型上得到SMPL-D模型，通过所述SMPL-D模型渲染图像与原始图像之间的人像轮廓差为误差，优化网络模型参数，得到训练好的神经网络模型；通过训练好的神经网络模型计算每帧图像的偏移量，并通过每帧的可视范围附上权重；将每帧带有权重的偏移量加权平均，得到最终的偏移量，并将其与均值形状参数下的SMPL模型叠加，得到最终的SMPL-D模型。 该数据由<马克数据网>整理