← 返回列表
一种三维数字人生成和交互方法及系统
申请人信息
- 申请人:南京理工大学
- 申请人地址:210094 江苏省南京市玄武区孝陵卫街200号
- 发明人: 南京理工大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种三维数字人生成和交互方法及系统 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311809947.2 |
| 申请日 | 2023/12/27 |
| 公告号 | CN117496072B |
| 公开日 | 2024/3/8 |
| IPC主分类号 | G06T17/00 |
| 权利人 | 南京理工大学 |
| 发明人 | 王康侃; 王冲; 李绍园 |
| 地址 | 江苏省南京市玄武区孝陵卫200号 |
摘要文本
本发明属于三维重建技术领域，公开了一种三维数字人生成和交互方法及系统。本发明方法包括如下步骤：从单目视频中进行人体实例分割捕捉视频中人体动作；使用神经辐射场重建包含细节的三维数字人形象；采用哈希表编码的方法加速重建；使用扩散模型生成运动序列；通过编辑生成的方式生成任意长度序列；恢复可用于驱动的动作参数；对人脸单独建立三维神经辐射场模型；使用低分辨率特征图和二维神经渲染合成任意视角的二维图像；将脸型、表情等人脸特征映射到一组参数，控制不同参数实现人脸表情驱动和编辑。本发明能够从单目视频快速重建任意的包含精细头像的数字人形象，提供了多样且智能的交互方式。。来自马-克-数-据
专利主权项内容
1.一种三维数字人生成和交互方法，其特征在于，包括如下步骤：步骤1. 数字人生成和交互处理；步骤1.1. 从单目视频中进行人体实例分割，以精准捕捉视频中人体动作；步骤1.2. 使用神经辐射场建立三维人体模板空间下的神经辐射场，包括人体的颜色和几何模型，重建包含细节的三维数字人形象；步骤1.3. 在生成三维数字人形象时，采用哈希表编码的方法加速重建过程；步骤1.4. 使用扩散模型根据输入文本或语音信息生成动作序列，其中，动作序列由预先定义好的若干人体关节点位置表示；步骤1.5. 通过编辑生成的方式生成任意长度动作序列；步骤1.6. 采用基于Transformer的模型恢复用于驱动的动作参数，以驱动数字人模型；步骤1.7 使用多模态数据驱动数字人，以实现数字人的交互；步骤2. 数字头像生成和交互处理；步骤2.1. 对人脸单独建立三维神经辐射场模型；步骤2.2. 使用低分辨率特征图和二维神经渲染合成任意视角的二维图像；步骤2.3. 将人脸特征映射到一组参数，通过控制不同参数实现人脸的表情驱动和编辑。