复杂环境下退化图像综合质量提升方法
【专利摘要】本发明提出了一种复杂环境下退化图像综合质量提升方法，用于解决现有复杂环境下退化图像处理过程中因退化因素解决不够全面导致的图像质量差的问题。步骤如下：根据暗通道先验理论，计算待处理多帧退化图像中各帧退化图像的暗通道，得到多帧暗通道图像；利用得到的多帧暗通道图像，对每一帧待处理退化图像进行去雾，得到多帧去雾后图像；对多帧去雾后图像进行去噪声，得到多帧去噪后图像；利用盲复原方法对多帧去噪后图像进行去模糊，得到多帧清晰图像；对得到的多帧清晰图像进行多帧结合单帧的超分辨率重建，最终得到高分辨率清晰图像。本发明获取的图像细节信息丰富，可用于安全监控、交通检测、安全验证系统等领域中。
【专利说明】
复杂环境下退化图像综合质量提升方法
技术领域
[0001] 本发明属于综合图像处理技术领域，涉及一种复杂环境下退化图像的质量提升方 法，具体涉及一种通过去雾、去噪、盲复原以及超分辨率重建，对复杂环境下退化图像进行 综合处理的质量提升方法，可以用于安全监控、交通检测、安全验证系统等领域。
【背景技术】
[0002] 在现今信息化时代中，图像在各领域中的应用越来越广，对其进行画质改善和分 辨率提升的要求也愈加重视。在复杂环境下采集图像过程中，由于客观因素的影响，不可避 免的引入了噪声;受到恶劣天气如雨天、雾天等影响，图像对比度降低、解译性变差；由于拍 摄环境恶劣，拍摄时要求增加曝光时间，易引起设备抖动，造成图像模糊，引起画质下降；而 传感器本身性能尺寸的限制，导致图像本身分辨率不足，不能满足辨认图像细节信息的要 求。因此，复杂环境下拍摄到的图像，存在能见度低、噪声大、图像模糊、分辨率低等问题，利 用综合质量提升方法来改善图像质量，获取高分辨率、高质量的清晰图像变得极其重要。
[0003] 现有的图像质量提升方法中，通常只是解决某一具体问题，而复杂环境下拍摄的 图像，存在多种退化因素，若只是利用一种具体算法如去噪、去雾或者去模糊对退化图像进 行处理，只能解决算法针对的具体退化因素，不能解决图片中所有的退化问题，最终处理结 果的清晰度和分辨率不能满足要求。
【发明内容】
[0004] 本发明的目的在于克服上述现有技术存在的缺陷，提出了一种复杂环境下退化图 像综合质量提升方法，用于解决现有复杂环境下退化图像处理过程中存在的因退化因素解 决不够全面导致的图像质量差的技术问题。
[0005] 为了实现上述目的，本发明采取的技术方案，包括如下步骤：
[0006] 步骤1:根据暗通道先验理论，计算待处理多帧退化图像中各帧退化图像的暗通 道，得到多帧暗通道图像；
[0007] 步骤2:利用得到的多帧暗通道图像，对所述待处理多帧退化图像的每一帧进行去 雾，得到多帧去雾后图像；
[0008] 步骤3:对所述多帧去雾后图像进行去噪声，得到多帧去噪后图像；
[0009] 步骤4:利用盲复原方法对所述多帧去噪后图像进行去模糊，得到多帧清晰图像；
[0010] 步骤5:对得到的多帧清晰图像进行超分辨率重建，具体实施步骤如下：
[0011] 步骤5a:利用多帧超分辨率重建算法，对所述的多帧清晰图像进行重建，得到一帧 中分辨率清晰图像；
[0012] 步骤5b:利用单帧超分辨率重建算法，对所述一帧中分辨率清晰图像进行二次重 建，得到最终的高分辨率清晰图像。
[0013] 本发明与现有技术相比，具有如下优点：
[0014] 1、本发明中通过暗通道先验去雾算法解决图像能见度低的问题，恢复出有雾图片 中淹没的信息;采用基于Context模型系数分类和贝叶斯自适应阈值估计相结合的非下采 样轮廓波变换NSCT图像噪声处理方法进行去噪声和基于稀疏约束的图像复原方法进行去 模糊处理，解决了拍摄过程中引入的噪声污染和抖动造成的图像退化，增强了图像对比度 和清晰度，改善了图像的画面质量;采用基于贝叶斯的多帧图像超分辨率重建算法与基于 字典学习和稀疏表示单帧图像超分辨率重建算法相结合的方法对图像进行二次超分辨率 重建，有效提高图像分辨率，最终获取高分辨率的清晰图像，以便获取更多细节信息。
[0015] 2、本发明中在去模糊处理之前进行了去噪处理，有效的解决了盲复原算法对噪声 敏感的问题，提高了图像复原的精确度，增加了复原图像的清晰度。
[0016] 3、本发明中的图像盲复原方法中，加入了自动选择模糊核大小的操作，与人工手 动去定义模糊核的大小相比，稳定性更高，而且避免模糊核过大引起的复原时间过长，复原 图像的振铃效应严重的现象，提高了运算速度，同时减少了计算机内存的消耗，并且对模糊 核的准确计也不会产生影响。
【附图说明】
[0017] 图1是本发明的系统流程框图。
【具体实施方式】
[0018] 以下结合附图，对本发明的技术方案作进一步描述。
[0019] 参照图1，
[0020] 步骤1:根据暗通道先验理论，计算待处理多帧退化图像中各帧退化图像的暗通 道，
[0021] 步骤la):对于给定的雾天拍摄图像J(x)，像素点处的暗原色可以表示为：
[0022] JJ"!l'(x)= min ( min {./'(y))) L J ce (R,G,B) ve\Q(x)
[0023] Q(x)表示以点^为中心的小正方形区域，cG(R，G，B)代表该图像的颜色通道，y 是Q (x)中的点，Jly)表示y点的像素值，ni&,代表最小滤波器；
[0024]步骤lb):对简化的大气模型1(1)=】(1)1:(1) + (1-1:(1)4)进行最小值滤波，并求得 三个颜色通道之间的最小值，即图像的暗通道：
[0026] 步骤2:利用步骤1求出的暗通道对退化图像进行去雾，
[0027] 步骤2a):利用步骤1已经求出的暗通道粗略估算透射率F(x)，
[0028] 由于无雾条件下图像的暗通道JdaA值应该趋近于0，并且由于大气光强Ae通常是一 个比较大的值，因此
[0030] 求出图像的透射率?(x):
[0032] 步骤2b):由雾天图像的光学模型以及参数和估计得出的透射率，复原出原图本身 的亮度。
[0033] 根据大气散射模型反解清晰场景图像：
[0035]步骤3:针对图像中的各类噪声，对去雾后多帧图像的每一帧采用非下采样轮廓波 变换NSCT的综合噪声抑制技术进行去噪，
[0036]步骤3a):通过非下采样轮廓波变换将图像进行多尺度分解，获得各尺度、各方向 上的子带图像；
[0037]步骤3b):利用Context模型统计非下采样轮廓波变换系数的局部相关性并进行系 数分类，利用贝叶斯自适应法对不同尺度空间和不同方向上分类后的系数进行阈值估计， 按照阈值对图像进行降噪处理；
[0038] 步骤3c):对处理后的所有子带图像分别进行非下采样轮廓波逆变换，得到噪声抑 制后图像。
[0039] 步骤4:针对特殊环境成像时抖动造成的运动模糊，利用盲复原方法对步骤3得到 的多帧去噪后图像的每一帧进行去模糊，
[0040] 步骤4a):根据去噪后图像的模糊程度确定分层级数，利用降采样对去噪后图像进 行分层，得到尺度由粗到细的多层模糊图像；
[0041 ]步骤4b):由于进行模糊核估计时用到的是高频信息，利用双边滤波器和冲击滤波 器，对多层模糊图像的每一层进行预处理，得到边缘突出的模糊图像；
[0042] 步骤4c):利用得到强边缘图像对去噪后图像的模糊核k进行盲估计，
[0043] 步骤4cl):利用离散滤波算子=[1-1]，▽,. =[:1，-If对得到预处理后图像进行 滤波，得到图像的高频部分g，并利用g对模糊核进行盲估计，空间不变模糊核的能量函数 为：
[0045] 满足约束条件:k>0,5!>/ = 1 '其中*表示二维的卷积操作，x是未知清晰图像的高 i 频部分，k是未知的模糊核，g是预处理后图像的高频部分，A为权重项，0为正则化系数；
[0046] 步骤4c2):多层模糊图像从粗尺度向细尺度，逐层交替迭代更新清晰图像x和模糊 核k，将上一尺度估计的图像和模糊核上采样后作为下一尺度的输入，直至估计出精确的模 糊核k;
[0047]更新清晰图像x时，目标方程
[0049] 采用的是快速迭代收缩阈值算法求解；
[0050] 更新模糊核k时，将前一次更新的图像X作为已知量，则可以得到化简后的能量函 数，表达式如下：
[0051 ] min凡ll/c*x-容f+州IML .x，k.
[0052]采用无约束迭代重加权最小二乘法求解；
[0053]判断模糊核是否收敛时采用判断准则，公式如下：
[0057]矩阵A与B为模糊核估计的相邻尺度层，Bdim(A)xdim(A)为矩阵B中的虚线区域，m表示 当前分解的层数，当C低于设定的阈值时，认为模糊核已经收敛，自动选择模糊核大小； [0058]步骤4d):利用超拉普拉斯先验的快速去卷积算法，对去噪后图像和估计出的精确 模糊核k进行解卷积，恢复出清晰图像。
[0059] 步骤5:为了获取更多图像细节信息，采取多帧超分辨率重建技术与单帧超分辨率 重建技术相结合的方式对去模糊后得到的多帧图像进行超分辨率重建，
[0060] 步骤5a):针对多帧低分辨率图像，利用贝叶斯公式，将高分辨率图像、图像的获取 过程、运动参数以及其它参数建立数学模型，并通过变分贝叶斯的分析，对所有参数进行联 合估计，不需要参数调整，实现对输入的序列低分辨率图像进行超分辨率图像重建，获得一 帧中分辨率的图像；
[0061] 步骤5b):对多帧图像超分辨率重建获取的图像继续进行单帧超分辨率重建，采用 基于双稀疏字典的单帧图像超分辨率重建方法，利用K-SVD算法与主元分析法降维方法相 结合进行双字典学习，同时得到高分辨率字典和低分辨率字典，并通过正交匹配追踪算法 对得到的字典进行稀疏编码，通过计算低分辨率字典所对应的稀疏系数得出其所对应的高 分辨率图像块，从而实现图像的超分辨率重建。
[0062] 以上描述和实施例，仅为本发明的优选实例，不构成对本发明的任何限制，显然对 于本领域的专业人员来说，在了解了本
【发明内容】
和设计原理后，都可能在基于本发明的原 理和结构的情况下，进行形式上和细节上的各种修正和改变，但是这些基于本发明思想的 修正和改变仍在本发明的权利要求的保护范围之内。
【主权项】
1. 一种复杂环境下退化图像综合质量提升方法，其特征在于，包括如下步骤： 1) 根据暗通道先验理论，计算待处理多帖退化图像中各帖退化图像的暗通道，得到多 帖暗通道图像； 2) 利用得到的多帖暗通道图像，对所述待处理多帖退化图像的每一帖进行去雾，得到 多帖去雾后图像； 3) 对所述多帖去雾后图像进行去噪声，得到多帖去噪后图像； 4) 利用盲复原方法对所述多帖去噪后图像进行去模糊，得到多帖清晰图像； 5) 对得到的多帖清晰图像进行超分辨率重建，具体实施步骤如下： 5a)利用多帖超分辨率重建算法，对所述的多帖清晰图像进行重建，得到一帖中分辨率 清晰图像； 5b)利用单帖超分辨率重建算法，对所述一帖中分辨率清晰图像进行二次重建，得到最 终的高分辨率清晰图像。2. 根据权利要求1所述的复杂环境下退化图像综合质量提升方法，其特征在于，步骤2) 中所述的去雾，采用基于暗通道先验的图像去雾算法。3. 根据权利要求1所述的复杂环境下退化图像综合质量提升方法，其特征在于，步骤3) 中所述的去噪声，采用基于Context模型系数分类和贝叶斯自适应阔值估计相结合的非下 采样轮廓波变换NSCT图像噪声处理方法。4. 根据权利要求1所述的复杂环境下退化图像综合质量提升方法，其特征在于，步骤4) 中所述的去模糊，采用基于稀疏约束的图像复原方法，对所述多帖去噪后图像中各帖图像 去模糊，具体实现步骤如下： 4a)根据去噪后图像的模糊程度确定分层级数，利用降采样对去噪后图像进行分层，得 到尺度由粗到细的多层模糊图像； 4b)利用双边滤波器和冲击滤波器，对多层模糊图像的每一层进行预处理，得到强边缘 图像； 4c)利用得到强边缘图像对去噪后图像的模糊核k进行盲估计， 4cl)利用离散滤波算子V,=[l，-I]，V,. = [i，-^f对得到预处理后图像进行滤波，得到图 像的高频部分g，并利用g对横魁日*材化^;官化^巧I巧击*首魁日巧的能量函数为：满足约束条件:4>0，：2><:=1'其中*表示二维的卷积操作，^是未知清晰图像的高频部 i 分，k是未知的模糊核，g是预处理后图像的高频部分，A为权重项，0为正则化系数； 4c2)多层模糊图像从粗尺度向细尺度，逐层交替迭代更新清晰图像X和模糊核k，将上 一尺度估计的图像和模糊核上采样后作为下一尺度的输入，直至估计出精确的模糊核k; 4d)利用超拉普拉斯先验的快速去卷积算法，对去噪后图像和估计出的精确模糊核k进 行解卷积，恢复出清晰图像。5. 根据权利要求4所述的基于稀疏约束的图像复原方法，其特征在于，所述步骤4c2)更 新清晰图像X时，目标方程利用快速迭代收缩阔值算法FISTA求解。6. 根据权利要求4所述的基于稀疏约束的图像复原方法，其特征在于，所述步骤4c)对 去噪后图像的模糊核k进行盲估计时，利用一个判断准则来判断模糊核是否收敛，判断准则 公式如下： 其牛矩阵A与B为模糊核估计的相邻尺度居，Bdim(A)Xdim(A)为矩阵B中的虚线区域，m表示当前 分解的层数，当C低于设定的阔值时，认为模糊核已经收敛，自动选择模糊核大小。7. 根据权利要求1所述的复杂环境下退化图像综合质量提升方法，其特征在于，步骤 5a)所述的多帖超分辨率重建，采用基于贝叶斯的多帖图像超分辨率重建算法，步骤5b)所 述的单帖超分辨率重建，采用基于字典学习和稀疏表示单帖图像超分辨率重建算法。
【文档编号】G06T3/40GK105913392SQ201610216832
【公开日】2016年8月31日
【申请日】2016年4月8日
【发明人】宫睿, 张雁云, 王怡, 邵晓鹏
【申请人】西安电子科技大学昆山创新研究院, 西安电子科技大学