基于通道和空间调制的Raw域图像及视频去摩尔纹方法

专利主权项内容

1.基于通道和空间调制的Raw域图像及视频去摩尔纹方法，其特征在于，具体包括以下步骤：S1、建立Raw域视频去摩尔纹数据集：给定原始视频V，将其以10fps帧率播放于显示屏上，用手机以30fps的帧率拍摄播放内容V，并通过时域对齐和空域对齐算法获得完全成对的输入数据对(V，V)，进而获得Raw域视频去摩尔纹数据集；gtmmgtS2、构建网络框架：设计一个基于通道调制和空间调制的Raw域图像及视频去摩尔纹网络，所述网络包括基线网络模块、分支网络模块、通道调制模块和空间调制模块；S3、设计方案、搭建模型：基于Raw域摩尔纹的通道分布特性，结合S1～S2中所述Raw域去摩尔纹数据集和Raw域图像及视频去摩尔纹网络，搭建去摩尔纹模型，所述去摩尔纹模型具体包括如下内容：①视频去摩尔纹基线网络：将S1中所得的数据对(V，V)输入Baseline；所述Baseline包括数据预处理模块、多帧特征提取模块、多帧对齐模块、多帧融合模块和图像重建模块；在训练阶段输入3帧相邻的视频帧。所述数据预处理模块将Bayer模式的Raw域输入数据(H×W)重组为通道顺序为RGGB的数据(4×H/2×W/2)，并对其进行黑电平校正和白平衡校正；所述多帧特征提取模块将3帧输入数据通过卷积运算处理为高维特征；所述多帧对齐将第1和第3帧特征向第2帧对齐以消除位移差；所述多帧融合将对齐后的3帧特征融合为1帧；所述图像重建模块将融合后的特征进行多尺度的去摩尔纹和重建，最终得到一帧输出图像V；所述基线网络中的特征为颜色混合特征；<gtdm②视频去摩尔纹分支网络：所述分支网络包含多帧特征提取模块、多帧对齐模块、多帧融合模块及多帧重建模块，所述多帧特征提取模块和多针重建模块使用分组卷积；所述①中预处理后的数据经过分支网络的各模块处理后，生成多个尺度的颜色分离特征；③通道调制与空间调制模块：将②中生成的颜色分离特征通过通道调制和空间调制模块与①中基线网络的颜色混合特征进行融合；④图像去摩尔纹网络：所述图像去摩尔纹网络包含类似于①、②、③中的基线网络、分支网络和调制模块，但基线网络和分支网络中不包含多帧对齐和多帧融合模块；⑤损失函数设计：将V和V求损失函数，所述损失函数包括L1损失、感知损失和颜色校正损失；dmgtS4、训练模型：对于视频去摩尔纹，利用深度学习Pytorch框架训练模型，遍历S1中所构建的视频去摩尔纹数据集，先训练S3中的①中的基线网络直到收敛，再加入S3中的②中的分支网络二次训练直到收敛，得到最终的稳定模型；对于图像去摩尔纹，遍历RDNet提出的图像数据集，重复上述两阶段训练，得到最终的稳定模型；S5、输出结果：将S1中获得的数据集中的数据对输入到S4中所得的稳定模型中，获得视频去摩尔纹或图像去摩尔纹结果。