一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统
申请人信息
- 申请人:广州市大湾区虚拟现实研究院; 韶关市博物馆(韶关市文物考古研究所)
- 申请人地址:510535 广东省广州市黄埔区云埔街道开发区开源大道136号穗开科技园B1幢501/502/503/504室
- 发明人: 广州市大湾区虚拟现实研究院; 韶关市博物馆(韶关市文物考古研究所)
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311827070.X |
| 申请日 | 2023/12/28 |
| 公告号 | CN117475117B |
| 公开日 | 2024/3/8 |
| IPC主分类号 | G06T19/00 |
| 权利人 | 广州市大湾区虚拟现实研究院; 韶关市博物馆(韶关市文物考古研究所) |
| 发明人 | 张炜; 何露 |
| 地址 | 广东省广州市黄埔区云埔街道开发区开源大道136号穗开科技园B1幢501/502/503/504室; |
摘要文本
广州市大湾区虚拟现实研究院; 韶关市博物馆(韶关市文物考古研究所)获取“一种透气窗帘布”专利技术，本发明提供一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统，涉及增强显示AR技术领域，方法包括：利用训练好的实例分割网络分割非刚性物体的轮廓，将非刚性物体的分割掩码图像与虚拟物体的深度值进行比较，最后根据比较结果进行虚实遮挡处理；针对深度相机获取高反射率物体的深度图像存在较大误差的问题，通过构建高反射率物体的三维模型并结合其掩码图像对其深度值进行校正，最后基于混合参数将高反射率物体的合成图像设置为虚拟物体和真实场景的混合；本发明能够有效提高分割精度和分割效率，提高虚实遮挡处理的实时性，而且能够实现非刚性物体、高反射率物体和虚拟物体之间像素级别的精确、连续、多层虚实遮挡效果。
专利主权项内容
1.一种基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，包括以下步骤：S1：获取若干张带有非刚性物体的真实场景图像，并对所有真实场景图像进行预处理，获取预处理后的真实场景图像数据集；S2：建立实例分割网络，并将预处理后的真实场景图像数据集输入实例分割网络中进行优化训练，获取训练好的实例分割网络；S3：获取带有非刚性物体的待融合真实场景图像，并利用深度相机获取待融合真实场景图像每个像素的深度；S4：利用训练好的实例分割网络对待融合真实场景图像中的非刚性物体轮廓进行分割，获取非刚性物体的分割掩码图像；S5：获取待融合虚拟物体图像及其中每个像素的深度，并将所述待融合虚拟物体图像投影至二维平面，获取待融合虚拟物体图像的投影图；S6：比较待融合虚拟物体图像的投影图与非刚性物体的分割掩码图像中每个像素之间的深度关系，根据比较结果获取虚实物体的遮挡关系；S7：根据虚实物体的遮挡关系将待融合真实场景图像与待融合虚拟物体图像进行融合，获取虚实融合图像，完成非刚性物体的虚实遮挡处理。