一种建模模型的训练方法、三维人体建模的方法以及装置
申请人信息
- 申请人:之江实验室
- 申请人地址:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 发明人: 之江实验室
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种建模模型的训练方法、三维人体建模的方法以及装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410171192.6 |
| 申请日 | 2024/2/6 |
| 公告号 | CN117726907A |
| 公开日 | 2024/3/19 |
| IPC主分类号 | G06V10/774 |
| 权利人 | 之江实验室 |
| 发明人 | 王宏升; 林峰 |
| 地址 | 浙江省杭州市余杭区文一西路1818号人工智能小镇10号楼 |
摘要文本
本说明书提供的一种建模模型的训练方法、三维人体建模的方法以及装置,获取人体二维图像,并将人体二维图像的图像代理特征输入到第一编码层,得到顶点特征、关节点旋转特征、形状特征,并将采集人体二维图像的相机的相机参数输入到第一编码层中,得到相机特征。将图像代理特征、顶点特征、关节点旋转特征、形状特征以及相机特征输入到第二编码层,第二编码层可以将图像代理特征、顶点特征、关节点旋转特征、形状特征以及相机特征关联,得到编码特征,并根据编码特征,得到三维人体模型中包含顶点坐标集以及关节点坐标集,以最小化顶点坐标集与实际顶点坐标集之间的偏差,和最小化关节点坐标集与实际关节点坐标集之间的偏差,训练建模模型。
专利主权项内容
1.一种建模模型的训练方法,其特征在于,包括:获取人体二维图像;根据所述人体二维图像,得到针对所述人体二维图像的图像代理特征,所述图像代理特征用于表征针对所述人体二维图像的整体的特征;将所述图像代理特征输入到建模模型中的第一编码层,得到针对所述人体二维图像的顶点特征、关节点旋转特征、形状特征,以及将采集所述人体二维图像的相机的相机参数输入到所述第一编码层中,以得到相机特征;将所述图像代理特征、所述顶点特征、所述关节点旋转特征、所述形状特征以及所述相机特征输入到所述建模模型中的第二编码层,以使所述第二编码层将所述图像代理特征、所述顶点特征、所述关节点旋转特征、所述形状特征以及所述相机特征关联,得到编码特征;根据所述编码特征,得到所述人体二维图像对应的三维人体模型中包含的各模型顶点的顶点坐标集以及各关节点的关节点坐标集;以最小化所述顶点坐标集与所述人体二维图像对应的实际顶点坐标集之间的偏差,以及最小化所述关节点坐标集与所述人体二维图像对应的实际关节点坐标集之间的偏差,对所述建模模型进行训练。