一种基于全局结构编码的全景图像修复方法
申请人信息
- 申请人:松立控股集团股份有限公司
- 申请人地址:266000 山东省青岛市市南区宁夏路288号软件园6号楼11层
- 发明人: 松立控股集团股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于全局结构编码的全景图像修复方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311797008.0 |
| 申请日 | 2023/12/26 |
| 公告号 | CN117474806A |
| 公开日 | 2024/1/30 |
| IPC主分类号 | G06T5/77 |
| 权利人 | 松立控股集团股份有限公司 |
| 发明人 | 刘寒松; 王永; 王国强; 刘瑞; 谭连盛; 董玉超; 李贤超 |
| 地址 | 山东省青岛市市南区宁夏路288号软件园6号楼11层 |
摘要文本
本发明属于图像处理技术领域，涉及一种基于全局结构编码的全景图像修复方法，先构建全景图像修复数据集，对全景图像分别进行视觉特征和结构特征编码，再进行视觉结构特征交互后过滤噪声，然后对全景全局特征引入编码层并进行全景特征缺失区域相似性约束，最后特征精细化输出以及网络训练和测试；通过引入全局结构编码，更全面地理解全景图像的整体语境，在修复过程中提供更准确、更自然的结果，全局结构信息的有效利用有助于恢复缺失区域，使修复的图像更贴近原始的全景场景。
专利主权项内容
1.一种基于全局结构编码的全景图像修复方法，其特征在于，具体包括如下步骤：(1)收集并整理包含全景图像构建全景图像修复数据集；(2)将全景图像修复数据集中的全景图像作为输入图像，采用ViT方式将输入图像分割成小块并通过线性层进行特征嵌入得到视觉特征，在特征嵌入过程中，将输入特征划分为像素级的卷积输入；(3)对全景图像进行角点检测和边缘检测，将角点检测和边缘检测的结构输入深度学习网络提取全景图像结构特征分别得到角点特征和边缘特征，并将角点特征和边缘特征进行拼接融合得到结构特征；(4)采用结合深度特征的奇异值分解方式进行视觉特征和结构特征之间的交互得到增强后的视觉特征；(5)使用滤波或去噪技术对增强后的视觉特征进行处理得到经过噪声过滤的视觉特征，再将经过噪声过滤的视觉特征输入到convGRU神经网络中得到输出结果；(6)采用全局池化层对步骤(2)得到的视觉特征进行操作，将其转化为一个高维度的向量，得到全局特征，并从全局特征中提取高维度语义信息得到高纬度的全局特征；(7)将全局特征进行修复，得到增强后的特征；(8)对步骤(7)得到的增强后的特征，通过对当前局部区域与其他区域之间的相似性进行约束得到经过约束处理后的特征；(9)对经过约束处理后的特征进行精细化处理后输出；(10)采用 Adam 优化器训练整个网络模型，并对训练好的网络模型进行测试。