← 返回列表
一种实例感知的单目语义场景补全方法、介质及设备
申请人信息
- 申请人:华南理工大学
- 申请人地址:510640 广东省广州市天河区五山路381号
- 发明人: 华南理工大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种实例感知的单目语义场景补全方法、介质及设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311743384.1 |
| 申请日 | 2023/12/19 |
| 公告号 | CN117422629A |
| 公开日 | 2024/1/19 |
| IPC主分类号 | G06T5/00 |
| 权利人 | 华南理工大学 |
| 发明人 | 康文雄; 肖海鸿; 谷文聪 |
| 地址 | 广东省广州市天河区五山路381号 |
摘要文本
华南理工大学获取“一种透气窗帘布”专利技术，本发明涉及图像数据处理技术领域，具体提供了一种实例感知的单目语义场景补全方法、介质及设备；其中方法为：将单张RGB图像输入到单目深度估计模型估计得到深度图；反投影出伪点云；将三维空间体素网格分配二进制值得到初始的二进制体素占用网格；通过基于区域量化的变分自编码器预测，生成细粒度的体素查询特征；从RGB图像中挖掘先验特征向量和辅助特征向量；依次通过实例感知注意力模块、可变形交叉注意力模块、可变形自注意力模块进行处理，得到视觉增强的体素特征；进而得到最终的语义场景补全结果。该方法可实现精确地感知室外场景的几何信息和语义信息，计算量低，可提高计算效率。
专利主权项内容
1.一种实例感知的单目语义场景补全方法，其特征在于：包括如下步骤：步骤S1、将单张RGB图像输入到单目深度估计模型，估计得到对应的深度图；利用相机参数、相机中心和焦距对深度图进行反投影，得到对应的伪点云；将伪点云三维空间所划分的每一个体素网格分配一个二进制值，得到初始的二进制体素占用网格；步骤S2、通过基于区域量化的变分自编码器预测得到三维体素占用网格，进而生成细粒度的体素查询特征；Vcq步骤S3、从所述RGB图像中挖掘先验特征向量和辅助特征向量；fmfr步骤S4、将先验特征向量和辅助特征向量采用实例感知注意力模块进行处理，得到实例增强的RGB图像特征；fmfrfu步骤S5、采用可变形交叉注意力模块实现体素查询特征和RGB图像特征之间的有效交互；利用掩码策略选择性地掩码交互体素查询特征，并使用可变形自注意力模块得到视觉增强的体素特征；通过上采样插值技术和基于多层感知机的轻量级分割头得到最终的语义场景补全结果。qfuqI3D