基于事件引导的图像去模糊方法
摘要文本
本发明涉及图像处理技术领域，尤其涉及一种基于事件引导的图像去模糊方法，包括：S1：获取事件相机的去模糊数据集；S2：采用事件时空体素网格表示法对事件流进行处理，获得事件体素；S3：构建基于事件引导的去模糊网络，基于事件引导的去模糊网络包括特征提取网络和去模糊主干网络；S4：构建总损失函数，利用总损失函数和GT图像对基于事件引导的去模糊网络进行训练，获得训练好的基于事件引导的去模糊网络；S5：将模糊图像和事件体素输入至训练好的基于事件引导的去模糊网络进行特征提取和特征融合，获得去模糊后的清晰图像。本发明能够解决现有的去模糊方法的计算量大和不具备实时性等问题。
申请人信息
- 申请人:中国科学院长春光学精密机械与物理研究所
- 申请人地址:130033 吉林省长春市经济技术开发区东南湖大路3888号
- 发明人: 中国科学院长春光学精密机械与物理研究所
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于事件引导的图像去模糊方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410172051.6 |
| 申请日 | 2024/2/7 |
| 公告号 | CN117726549A |
| 公开日 | 2024/3/19 |
| IPC主分类号 | G06T5/73 |
| 权利人 | 中国科学院长春光学精密机械与物理研究所 |
| 发明人 | 赵宇宸; 吕恒毅; 孙铭; 冯阳; 张以撒 |
| 地址 | 吉林省长春市经济技术开发区东南湖大路3888号 |
专利主权项内容
1.一种基于事件引导的图像去模糊方法，其特征在于，具体包括如下步骤：S1：获取事件相机的去模糊数据集，所述去模糊数据集由模糊图像、GT图像和事件流构成；所述步骤S1具体包括如下步骤：S11：将在Gopro数据集中选取的来自270个视频的清晰图片序列作为待测数据集，所述待测数据集的分辨率为1280*720；S12：利用事件相机模拟器的帧插值算法对所述待测数据集进行处理，使所述待测数据集的帧速率提升为360fps，获得GT图像；S13：对所述GT图像所包含的图片依次进行灰度和双三次插值的下采样操作，使所述GT图像所包含图片的分辨率均调整为240*180；S14：利用所述事件相机模拟器生成与所述GT图像相对应的事件流；S15：将调整后的GT图像所包含的每个视频中的每13张连续视频帧均划分为一组，并对每组连续帧进行平均，获得占空比t=13/15的模糊图像；S2：采用事件时空体素网格表示法对所述事件流进行处理，获得事件体素；S3：构建基于事件引导的去模糊网络，所述基于事件引导的去模糊网络包括特征提取网络和去模糊主干网络；S4：构建暗通道损失函数，所述暗通道损失函数与L1损失函数构成总损失函数，利用所述总损失函数和所述GT图像对所述基于事件引导的去模糊网络进行训练，获得训练好的基于事件引导的去模糊网络；所述总损失函数：
(1)；
(2)；
(3)；其中，λ为平衡参数，为L1损失函数，/>为暗通道损失函数，/>为所述GT图像对应的暗通道图像，/>为去模糊后的清晰图像对应的暗通道图像，L(gt)为所述GT图像，L(pred)为去模糊后的清晰图像；S5：将所述模糊图像和所述事件体素输入至训练好的基于事件引导的去模糊网络进行特征提取和特征融合，获得去模糊后的清晰图像。