一种基于小波变换和卷积神经网络的图像超分辨率重建方法
摘要文本
本发明公开了一种基于小波变换和卷积神经网络的图像超分辨率重建方法：在训练阶段，对训练数据集中的高分辨率图像Ih进行高斯滤波以及降采样处理生成低分辨率图像Il；对Ih做单尺度二维离散小波变换提取其低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH四个频率成分；将Il作为输入数据、Ih的四个频率成分分别作为标签，训练四个卷积神经网络模型。在超分辨率重建阶段，将低分辨率图像Il输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的四个频率成分并对其作单尺度二维离散小波反变换生成高分辨率图像Ih。该方法从不同频率上对图像进行超分辨率重建，充分利用卷积神经网络的学习能力，显著增强超分辨率重建效果。
申请人信息
- 申请人:中国石油大学(华东)
- 申请人地址:266580 山东省青岛市黄岛区长江西路66号
- 发明人: 中国石油大学(华东)
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于小波变换和卷积神经网络的图像超分辨率重建方法 |
| 专利类型 | 发明授权 |
| 申请号 | CN201710227448.0 |
| 申请日 | 2017年4月10日 |
| 公告号 | CN106991648B |
| 公开日 | 2024年1月2日 |
| IPC主分类号 | G06T3/40 |
| 权利人 | 中国石油大学(华东) |
| 发明人 | 任鹏; 孙文健; 王廷伟 |
| 地址 | 山东省青岛市黄岛区长江西路66号 |
专利主权项内容
1.一种基于小波变换和卷积神经网络的图像超分辨率重建方法，其特征在于，所述图像超分辨率重建方法包括以下步骤：步骤一：将训练数据集中的高分辨率图像I进行高斯滤波以及降采样处理生成对应的低分辨率图像I；hl步骤二：将训练数据集中的高分辨率图像I按照公式(1)做单尺度二维离散小波变换以提取其低频分量F、水平低频垂直高频成分F、水平高频垂直低频成分F和对角方向高频分量F四个频率成分：hLLLHHLHHH和G分别为一维尺度函数和一维小波函数对应的滤波器系数矩阵，且H和G满足HH+GG＝I，上标符号*表示矩阵的共轭转置；**步骤三：以步骤一中得到的低分辨率图像I作为输入数据，以步骤二中得到的高分辨率图像I的低频分量F、水平低频垂直高频成分F、水平高频垂直低频成分F和对角方向高频分量F分别作为标签，训练四个卷积神经网络模型，模型结构如下所述：lhLLLHHLHH第一层包含一个卷积层(Conv.1)和一个激活层(Relu.1)，第一层的输出结果为Y(I)＝max(0, W*I+B)，W表示第一卷积层的卷积核，包含n个大小为s×s的卷积核，*表示卷积操作，B表示第一卷积层的偏置向量，f(x)＝max(0, x)表示激活层的激活函数；第二层包含一个卷积层(Conv.2)和一个激活层(Relu.2)，第二层的输出结果为Y(I)＝max(0, W*Y(I)+B)，W表示第二卷积层的卷积核，包含n个大小为s×s的卷积核，B表示第二卷积层的偏置向量；第三层包含一个卷积层(Conv.3)，第三层的输出结果为Y(I)＝W*Y(I)+B，W表示第三卷积层的卷积核，包含一个大小为s×s的卷积核，B表示第三卷积层的偏置向量，Y是该卷积网络模型的输出；1l1l1111112l21l2222223l32l333333步骤四：将测试低分辨率图像I输入四个经训练得到的卷积神经网络模型中以生成高分辨率图像的低频分量F、水平低频垂直高频成分F、水平高频垂直低频成分F和对角方向高频分量F，如公式(2)所示：lLLLHHLHHI＝HFH+GFH+HFG+GFG (2)h*LL*LH*HL*HH对高分辨率图像的四个频率成分做单尺度二维离散小波反变换生成高分辨率图像I。h