← 返回列表
一种姿态分布指导的三维虚拟人模型重建方法
申请人信息
- 申请人:之江实验室
- 申请人地址:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 发明人: 之江实验室
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种姿态分布指导的三维虚拟人模型重建方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410250378.0 |
| 申请日 | 2024/3/5 |
| 公告号 | CN117830564A |
| 公开日 | 2024/4/5 |
| IPC主分类号 | G06T17/20 |
| 权利人 | 之江实验室 |
| 发明人 | 王宏升; 林峰 |
| 地址 | 浙江省杭州市余杭区文一西路1818号人工智能小镇10号楼 |
摘要文本
本说明书公开了一种姿态分布指导的三维虚拟人模型重建方法，该方法适用于从视频中生成出三维人体网格序列，首先可以提取得到视频数据对应的视频图像特征、语义特征以及视频序列特征，将视频图像特征和语义特征输入到重建模型中的U形神经网络中，得到中间层输出结果，将语义特征、视频序列特征和U形神经网络的中间层输出结果输入到重建模型中的稳定扩散网络中，得到人体姿态特征，以及确定出视频数据对应的原始分布，通过流方法将视频数据中人体的原始分布进行转换，得到姿态分布，根据姿态分布对人体姿态特征进行强化，得到强化后的人体姿态特征，以根据强化后的人体姿态特征，进行人体三维模型重建，从而提高了人体三维模型重建的准确度。
专利主权项内容
1.一种姿态分布指导的三维虚拟人模型重建方法，其特征在于，包括：获取视频数据；将视频数据输入到重建模型中，提取得到所述视频数据对应的视频图像特征、语义特征以及视频序列特征；将所述视频图像特征和语义特征输入到所述重建模型中的U形神经网络中，得到中间层输出结果，以及将所述语义特征、所述视频序列特征和所述U形神经网络的中间层输出结果输入到所述重建模型中的稳定扩散网络中，得到人体姿态特征，以及确定出所述视频数据对应的原始分布，将所述原始分布输入到所述重建模型中的流模块中，得到姿态分布；根据所述姿态分布对所述人体姿态特征进行强化，得到强化后的人体姿态特征；根据所述强化后的人体姿态特征，对所述视频数据对应的动态的人体三维模型进行重建。 数据由马 克 团 队整理