一种视频帧图像去雾方法及装置制造方法
【专利摘要】本发明公开了一种视频帧图像去雾方法及装置，主要内容包括：确定当前帧图像相对于设定的参考帧图像的静止区域及其暗原色图像，在暗原色图像的静止区域中提取亮度值大于设定亮度值的像素点，将在当前帧图像的处于与提取的像素点的位置相同的像素点中选择的亮度值最大的像素点的亮度值作为大气亮度值，利用大气亮度值和确定的当前帧图像的传播图对当前帧图像进行去雾。在本发明方案中，因利用了视频帧之间的关联性，确定当前帧图像中的静止区域，并利用静止区域对大气亮度值进行估计，排除了当前帧图像场景中过亮的运动目标对大气亮度值的估计造成的干扰，故获得的大气亮度值较现有技术中的大气亮度值准确，进而在去雾时，能取得较好的去雾效果。
【专利说明】一种视频帧图像去雾方法及装置
【技术领域】
[0001]本发明涉及数字图像处理【技术领域】，尤其涉及一种视频帧图像去雾方法及装置。
【背景技术】
[0002]户外景物的光学图像往往会由于有雾天气的影响而呈现出对比度降低及颜色偏灰白色等降质现象，这将直接限制和影响了室外目标识别和室外视觉监控等各种视觉系统效用的发挥。
[0003]目前，对图像去雾的研究可以主要分为两类:基于图像增强的去雾方法和基于图像退化物理模型的去雾方法。前者主要是主观的处理，而后者主要是通过使用退化的先验知识来试图重建一副因天气而退化的图像。基于图像增强的去雾方法通常计算量大、可靠性不稳定；基于退化的物理模型的去雾方法中，在取景对象在较大范围内不与天空接近或没有阴影覆盖的情况下去雾效果较好的是何凯明在2009年提出的一种基于暗原色的单帧图像去雾算法，该算法建立在麦卡特尼(McCartney)提出的大气散射物理模型基础上:在天气状况不良的情况下，由于大气中存在灰尘颗粒或者雨滴等悬浮物，场景中反射到相机的光线在其传播路径上经过颗粒的吸收和散射，到达相机时已经退化，造成了成像后的图片对比度低、色彩失真及图像雾化。大气颗粒的光散射模型如图1所示，由此建立的带雾图像的数学模型为:
【权利要求】
1.一种视频帧图像去雾方法，其特征在于，包括: 确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域以及当前帧图像的暗原色图像，所述当前帧图像为视频帧图像中的除第一帧图像外的图像； 在所述暗原色图像的静止区域中提取亮度值大于设定亮度值的像素点，在当前帧图像的处于与提取的像素点的位置相同的像素点中选择亮度值最大的像素点，并将选择的像素点的亮度值作为大气亮度值，其中，构成当前帧图像的暗原色图像的静止区域的像素点的位置与构成该当前帧图像的静止区域的像素点的位置相同； 根据所述大气亮度值和当前帧图像，确定当前帧图像的传播图； 根据带雾图像的数学模型，利用所述大气亮度值和确定的当前帧图像的传播图，对当前帧图像进行去雾，获得去雾后的当前帧图像。
2.如权利要求1所述的方法，其特征在于，在确定当前帧图像的传播图之后，所述方法还包括: 对当前帧图像的传播图进行滤波处理； 对滤波处理后的当前帧图像的传播图和与当前帧图像相邻的前一帧图像的传播图进行加权求和，得到优化的当前帧图像的传播图； 所述根据带雾图像的数学模型，利用所述大气亮度值和确定的当前帧图像的传播图，对当前帧图像进行去 雾，获得去雾后的当前帧图像，具体为: 根据带雾图像的数学模型，利用所述大气亮度值和优化的当前帧图像的传播图，对当前帧图像进行去雾，获得去雾后的当前帧图像。
3.如权利要求2所述的方法，其特征在于，利用以下公式对当前帧图像的传播图进行滤波处理:
其中，X代表当前帧图像的传播图，g代表当前帧图像的灰度相关图，Wk表示以像素点k为中心的窗口，μ,表示以像素点k为中心的窗口内的像素点的亮度值的均值，σ〗表示以像素点k为中心的窗口内的像素点的亮度值的方差，ω为归一化系数，δ为调节参数，i表示像素点，j表示像素点i邻域内的像素点，Oi表示滤波处理后的当前帧图像的传播图，当前帧图像的灰度相关图为当前帧图像的灰度图或当前帧图像的红、绿、蓝分量图中的任一分量图。
4.如权利要求1所述的方法，其特征在于，在确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域以及当前帧图像的暗原色图像之前，所述方法还包括: 确定当前帧图像的对比度和亮度比，所述亮度比是指当前帧图像中像素的亮度值在设定范围内的像素个数占当前帧图像中包含的全部像素个数的百分比； 判断当前帧图像是否满足去雾条件，所述去雾条件为:第一条件或第二条件，所述第一条件为:当前雾的浓度值大于设定雾浓度值，其中，在当前帧图像为第一帧图像时，所述当前雾的浓度值为设定的初始雾浓度值；所述第二条件为:当前帧图像的对比度小于设定对比度且当前帧图像的亮度值大于设定亮度比；所述确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域以及当前帧图像的暗原色图像具体为: 在当前帧图像满足去雾条件时，确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域以及当前帧图像的暗原色图像。
5.如权利要求4所述的方法，其特征在于，在当前帧图像不满足去雾条件时，利用该当前帧图像更新所述设定的参考帧图像，并将该当前帧图像的下一帧图像作为当前帧图像，执行确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域以及当前帧图像的暗原色图像的操作。
6.如权利要求1所述的方法，其特征在于，在确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域以及确定当前帧图像的暗原色图像之前，所述方法还包括: 对当前 帧图像进行去噪处理。
7.如权利要求1所述的方法，其特征在于，在获得去雾后的当前帧图像之后，所述方法还包括: 分别确定去雾后的当前帧图像的直方图和当前帧图像的直方图，并根据确定的去雾后的当前帧图像的直方图和当前帧图像的直方图确定当前雾的参考浓度值； 根据确定的当前雾的参考浓度值和当前雾的浓度值加权和对当前雾的浓度值进行更新，其中，在当前帧图像为第一帧图像时，所述当前雾的浓度值为设定的初始雾浓度值； 将当前帧图像的下一帧图像作为当前帧图像，执行确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域以及当前帧图像的暗原色图像的操作。
8.如权利要求7所述的方法，其特征在于，利用以下公式根据确定的去雾后的当前帧图像的直方图和去雾前的当前帧图像的直方图确定当前雾的参考浓度值:
其中，P ^为当前雾的参考浓度值，Htl为去雾前的当前帧图像的直方图的向量表示，H1为去雾后的当前帧图像的直方图的向量表示； 利用以下公式根据确定的当前雾的参考浓度值和当前雾的浓度值加权和对当前雾的浓度值进行更新:
P c = α P ρ+(1-α ) P r 其中，P。为更新后的当前雾的浓度值，Pp为当前雾的浓度值，α为设定的更新率。
9.如权利要求4所述的方法，其特征在于，利用以下公式根据带雾图像的数学模型，利用所述大气亮度值和确定的当前帧图像的传播图，对当前帧图像进行去雾:..、 Ii(x) - E,
其中，J (X)为去雾后的当前帧图像，E(x)为当前帧图像，E 为确定的大气亮度值，t(x)为确定的当前帧图像的传播图，tf^XPp+0.1，其中，β为设定的相关性系数，Pp为当前雾的浓度值。
10.一种视频帧图像去雾装置，其特征在于，所述视频帧图像去雾装置包括: 运动检测模块，用于确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域，所述当前帧图像为视频帧图像中的除第一帧图像外的图像；暗原色图像确定模块，用于确定当前帧图像的暗原色图像； 大气亮度值确定模块，用于在所述暗原色图像的静止区域中提取亮度值大于设定亮度值的像素点，在当前帧图像的处于与提取的像素点的位置相同的像素点中选择亮度值最大的像素点，并将选择的像素点的亮度值作为大气亮度值，其中，构成当前帧图像的暗原色图像的静止区域的像素点的位置与构成该当前帧图像的静止区域的像素点的位置相同； 传播图确定模块，用于据所述大气亮度值和当前帧图像，确定当前帧图像的传播图； 去雾模块，用于根据带雾图像的数学模型，利用所述大气亮度值和确定的当前帧图像的传播图，对当前帧图像进行去雾，获得去雾后的当前帧图像。
11.如权利要求10所述的装置，其特征在于，所述装置还包括: 滤波模块，用于对当前帧图像的传播图进行滤波处理； 传播图优化模块，用于对滤波处理后的当前帧图像的传播图和与当前帧图像相邻的前一帧图像的传播图进行加权求和，得到优化的当前帧图像的传播图； 所述去雾模块，具体用于根据带雾图像的数学模型，利用所述大气亮度值和优化的当前帧图像的传播图，对当前帧图像进行去雾，获得去雾后的当前帧图像。
12.如权利要求11所述的装置，其特征在于，滤波模块，具体用于利用以下公式对当前帧图像的传播图进行滤波处理:
其中，X代表当前帧图像的传播图，g代表当前帧图像的灰度相关图，Wk表示以像素点k为中心的窗口，μ k表示以像素点k为中心的窗口内的像素点的亮度值的均值，σ)表示以像素点k为中心的窗口内的像素点的亮度值的方差，ω为归一化系数，δ为调节参数，i表示像素点，j表示像素点i邻域内的像素点，Oi表示滤波处理后的当前帧图像的传播图，当前帧图像的灰度相关图为当前帧图像的灰度图或当前帧图像的红、绿、蓝分量图中的任一分量图。
13.如权利要求10所述的装置，其特征在于，所述装置还包括: 亮度及对比度确定模块，用于在确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域以及当前帧图像的暗原色图像之前，确定当前帧图像的对比度和亮度比，所述亮度比是指当前帧图像中像素的亮度值在设定范围内的像素个数占当前帧图像中包含的全部像素个数的百分比； 判断模块，用于判断当前帧图像是否满足去雾条件，所述去雾条件为:第一条件或第二条件，所述第一条件为:当前雾的浓度值大于设定雾浓度值，其中，在当前帧图像为第一帧图像时，所述当前雾的浓度值为设定的初始雾浓度值；所述第二条件为:当前帧图像的对比度小于设定对比度且当前帧图像的亮度值大于设定亮度比； 运动检测模块，具体用于在当前帧图像满足去雾条件时，确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域，所述当前帧图像为视频帧图像中的除第一帧图像外的图像； 暗原色图像确定模块，具体用于在当前帧图像满足去雾条件时，确定当前帧图像的暗原色图像。
14.如权利要求13所述的装置，其特征在于，所述装置还包括:参考帧图像更新模块，用于在当前帧图像不满足去雾条件时，利用该当前帧图像更新所述设定的参考帧图像； 跳转模块，用于将参考帧图像更新模块中用于更新设定的参考帧图像的当前帧图像的下一帧图像作为当前帧图像，并触发运动检测模块。
15.如权利要求10所述的装置，其特征在于，所述装置还包括: 去噪模块，用于确定当前帧图像相对于设定的参考帧图像的运动区域和静止区域以及确定当前帧图像的暗原色图像之前对当前帧图像进行去噪处理。
16.如权利要求10所述的装置，其特征在于，所述装置还包括: 当前雾的参考浓度值确定模块，用于在获得去雾后的当前帧图像之后，分别确定去雾后的当前帧图像的直方图和当前帧图像的直方图，并根据确定的去雾后的当前帧图像的直方图和当前帧图像的直方图确定当前雾的参考浓度值； 当前雾的浓度值更新模块，用于利用确定的当前雾的参考浓度值和当前雾的浓度值加权和对当前雾的浓度值进行更新，其中，在当前帧图像为第一帧图像时，所述当前雾的浓度值为设定的初始雾浓度值； 跳转模块，用于将当前帧图像的下一帧图像作为当前帧图像，并触发运动检测模块。
17.如权利要求16 所述的装置，其特征在于，当前雾的参考浓度值确定模块，具体利用以下公式根据确定的去雾后的当前帧图像的直方图和去雾前的当前帧图像的直方图确定当前雾的参考浓度值:
其中，P ^为当前雾的参考浓度值，Htl为去雾前的当前帧图像的直方图的向量表示，H1为去雾后的当前帧图像的直方图的向量表示； 当前雾的浓度值更新模块，具体用于利用以下公式根据确定的当前雾的参考浓度值和当前雾的浓度值加权和对当前雾的浓度值进行更新:
P c = α P ρ+(1-α ) P r 其中，P。为更新后的当前雾的浓度值，Pp为当前雾的浓度值，α为设定的更新率。
18.如权利要求13所述的装置，其特征在于，去雾模块，具体用于利用以下公式根据带雾图像的数学模型，利用所述大气亮度值和确定的当前帧图像的传播图，对当前帧图像进行去雾:
其中，J (X)为去雾后的当前帧图像，E(X)为当前帧图像，E 为确定的大气亮度值，t(x)为确定的当前帧图像的传播图，tf^XPp+0.1，其中，β为设定的相关性系数，Pp为当前雾的浓度值。
【文档编号】H04N5/21GK104168402SQ201310189056
【公开日】2014年11月26日 申请日期:2013年5月17日 优先权日:2013年5月17日
【发明者】刘敏, 潘石柱, 樊斐佳, 倪寒竹, 张兴明, 傅利泉, 朱江明, 吴军, 吴坚 申请人:浙江大华技术股份有限公司