← 返回列表
视频生成方法、装置及设备
申请人信息
- 申请人:广州趣丸网络科技有限公司
- 申请人地址:510630 广东省广州市天河区平云路163号之二1601室
- 发明人: 广州趣丸网络科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 视频生成方法、装置及设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410217756.5 |
| 申请日 | 2024/2/28 |
| 公告号 | CN117788656A |
| 公开日 | 2024/3/29 |
| IPC主分类号 | G06T13/40 |
| 权利人 | 广州趣丸网络科技有限公司 |
| 发明人 | 张顺四; 卢增; 徐列; 冯智毅 |
| 地址 | 广东省广州市天河区平云路163号之二1601室 |
摘要文本
本申请公开了一种视频生成方法、装置及设备，该方法可以获取用于生成目标形象的LoRA形象权重参数，将LoRA形象权重参数融合于动画扩散模型，得到目标动画模型；基于此，通过融合有LoRA形象权重参数的目标动画模型，在视频的每一帧中生成指定形象的数字人，保证视频的形象稳定性；可以确定每一帧对应的上下文窗口，每个上下文窗口中包含对应的当前帧以及环绕当前帧的若干帧；将同一上下文窗口的各个控制信息进行融合，得到融合控制信息；可以将各帧的融合控制信息输入至目标动画模型，得到驱动目标形象的连续视频；可见，本申请可以从数字人形象以及驱动控制信息两个方面，保证生成的连续视频的连贯性，提高生成连续视频的质量。
专利主权项内容
1.一种视频生成方法，其特征在于，包括：获取目标连续视频中每一帧的控制信息，以及，用于生成目标形象的LoRA形象权重参数；将所述LoRA形象权重参数融合于预设的动画扩散模型，得到目标动画模型；确定每一帧对应的上下文窗口，每个上下文窗口中包含对应的当前帧以及环绕所述当前帧的若干帧；针对每一帧，将对应上下文窗口的各个控制信息进行融合，得到对应的融合控制信息；将各帧的融合控制信息输入至所述目标动画模型，得到驱动目标形象的连续视频。