一种天空分割方法、图像去雾方法、电子设备和存储介质与流程

1.本发明涉及但不限于视频监控领域，尤其涉及一种天空分割方法、图像去雾方法、电子设备和存储介质。


背景技术：

2.随着城市交通和工业的飞速发展，空气污染变得越来越严重，进而产生雾霾和沙尘天气。在雾霾条件下拍摄的户外图像，由于受到大气中悬浮的微小颗粒散射的影响，其质量往往会出现比较严重的退化，如对比度降低，物体边缘模糊，颜色失真等。图像的视觉效果变差，许多图像的细节被雾霾掩盖而难以察觉。这些现象直接影响了许多图像处理算法和户外视觉采集系统的效果，因此雾天图像的清晰化处理在图像处理和机器视觉等领域成为关键的技术之一。
3.相关方案中图像去雾方案与天空分割方案密切相关，因此提出一种更准确的天空分割方案，能够有效提升图像去雾效果。


技术实现要素：

4.本公开实施例提供一种天空分割方法、图像去雾方法、电子设备和存储介质，利用多阈值分割使天空分割结果更准确，自适应性更强，进而基于更准确的天空分割提升图像除雾效果。
5.一方面，本公开实施例提供一种天空分割方法，包括：
6.根据设定的方向，将拍摄图像的像素级暗通道图划分为多个条带图；
7.针对每一个所述条带图，分别确定所述条带图的天空分割阈值，并根据所述条带图的天空分割阈值，对所述条带图进行天空分割，得到各所述条带图的天空分割结果；
8.合并所述多个条带图的天空分割结果，确定所述拍摄图像中的第一非天空区域；
9.根据所述拍摄图像进行边缘检测提取所述拍摄图像中的第二非天空区域；
10.根据所述第一非天空区域和所述第二非天空区域，确定所述拍摄图像中的天空区域。
11.另一方面，本公开实施例还提供一种图像去雾方法，包括：
12.根据如本公开任一实施例所述天空分割方法对含雾的拍摄图像进行天空分割，确定所述含雾的拍摄图像的天空区域和非天空区域；
13.根据所述含雾的拍摄图像的天空区域获取大气光值；
14.根据所述大气光值，获取所述含雾的拍摄图像的天空区域的透射率；
15.根据所述大气光值，获取所述含雾的拍摄图像的非天空区域的透射率；
16.根据所述大气光值、所述天空区域的透射率和所述非天空区域的透射率进行图像复原，确定复原结果为去雾后的拍摄图像。
17.另一方面，本公开实施例还提供一种电子设备，包括：
18.一个或多个处理器；
19.存储装置，用于存储一个或多个程序，
20.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任一实施例所述的天空分割方法，或实现本公开任一实施例所述的图像去雾方法。
21.另一方面，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任一实施例所述的天空分割方法，或实现本公开任一实施例所述的图像去雾方法。
22.在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
24.图1是本发明实施例提供的一种天空分割方法的流程图；
25.图2是本发明实施例提供的另一种天空分割方法的流程图；
26.图3是本发明实施例提供的一种图像去雾方法的流程图；
27.图4是本发明实施例提供的另一种图像去雾方法的流程图。
28.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
31.另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
32.在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
33.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种
技术方案的结合不存在，也不在本发明要求的保护范围之内。
34.视频监控领域中图像去雾是指除去天气中尘埃、雾气对画面清晰度的影响，使画面更加通透清晰。图像去雾的相关方法主要可分为两类：一类是基于图像退化模型的复原方法，首先分析大气散射规律并建立物理模型，再补偿图像退化造成的信息损失，复原出的无雾图像比较自然。如暗通道先验去雾方法(single image haze removal using dark channel prior)等，但是此类方法一般存在着复杂度高，天空区域的光晕效应，色彩失真和去雾结果偏暗等问题，去雾的效果也受雾天环境影响。另一类图像去雾方法是基于图像增强的方法，通过提高图像的对比度来提高图像的清晰度，如直方图均衡化(histogram equalization,he)方法等。这些方法在一定程度上可以使图像清晰化，但相比于前一类图像去雾方法，此类方法中没有分析图像降质的原因，所以很可能会使图像中有用的信息丢失。近年来图像融合理论被引入雾天图像复原中，但图像处理过程中算法的复杂度较高。
35.本公开实施例提供一种天空分割方案和图像去雾方案，采用多阈值与边缘提取相结合的方法精确分割出天空区域，基于此进行图像去雾，提升了大气光值计算的准确性，解决了大气光被错误估计于大面积明亮非天空区域上，进而导致复原图像出现偏色的问题，显著提升了图像去雾效果。
36.本公开实施例提供一种天空分割方法，如图1所示，包括：
37.步骤110，根据设定的方向，将拍摄图像的像素级暗通道图划分为多个条带图；
38.步骤120，针对每一个所述条带图，分别确定所述条带图的天空分割阈值，并根据所述条带图的天空分割阈值，对所述条带图进行天空分割，得到各所述条带图的天空分割结果；
39.步骤130，合并所述多个条带图的天空分割结果，确定所述拍摄图像中的第一非天空区域；
40.步骤140，根据所述拍摄图像进行边缘检测提取所述拍摄图像中的第二非天空区域；
41.步骤150，根据所述第一非天空区域和所述第二非天空区域，确定所述拍摄图像中的天空区域。
42.一些示例性实施例中，所述像素级暗通道图i
dark
(x)＝min
c∈{r,g,b}
ic(x)，以准确保留边界信息。其中，i
dark
(x)为像素级暗通道图，ic(x)为所述拍摄图像。
43.一些示例性实施例中，所述设定的方向为纵向，则步骤110包括：
44.将所述拍摄图像的像素级暗通道图纵向划分为所述多个条带图。
45.需要说明的是，一般情况下，由于天空位于拍摄图像的上方，所以将拍摄图像纵向分成多个条带，此时设定的方向为纵向。可选地，如果某些情况下天空位于拍摄图像的左侧或右侧的情况下，设定的方向为横向，即将拍摄图像横向分为多个条带。可以看到，所划分的多个条带图中各自包括一部分天空区域，各自独立进行分割阈值确定并分割，能够克服相关方案中整个拍摄图像采用一个分割阈值进行分割造成的分割不准确。可选地，根据拍摄图像中天空位置的不同，还可以按照其他设定方向对拍摄图像进行条带划分，使得天空区域分布在多个条带图中，以提升整体天空划分的准确性。
46.一些示例性实施例中，所划分的多个条带图可以是等宽的，也可以是不等宽的。划分为多个(n个，n大于1)条带图，一些示例性实施例中，n取4，即划分为4个条带图。在纵向划
分的情况下，对有些图像，在左，右条带图的阈值变化较大，可适当提高n的值；在左、右条带图阈值变化较小的情况下，则可以适当的减小n的值，不限于特定的数值。根据该记载，本领域技术人员可以知晓其他划分方式下，如何调整n的数值。
47.一些示例性实施例中，步骤120中针对每一个所述条带图，分别确定所述条带图的天空分割阈值，包括：
48.对所述条带图进行灰度直方图统计，在统计直方图中最右侧波峰的左侧范围内，选择最靠近所述最右侧波峰的波谷位置对应的灰度值作为所述条带图的天空分割阈值。
49.一些示例性实施例中，步骤120中针对每一个所述条带图，分别确定所述条带图的天空分割阈值，包括：
50.对所述条带图进行灰度直方图统计，对统计直方图进行高斯滤波，得到灰度统计图；
51.在所述灰度统计图中最右侧波峰的左侧范围内，选择最靠近所述最右侧波峰的波谷位置对应的灰度值作为所述条带图的天空分割阈值。
52.需要说明的是，每个条带图分别进行直方图统计(灰度直方图统计)，直方图最右侧主峰代表天空区域，因此选择右侧主峰的左侧波谷值作为该条带内天空分割的阈值，即：选取位于右侧波峰左侧的第一个局部最小值，对于波峰我们则选取最右侧的局部最大值。一些示例性实施例中，由于直方图分布不够平滑，很难在单个像素级上取得位于波谷的局部最小值和最右侧波峰的局部最大值，因此在选取阈值之前先对直方图使用高斯滤波进行平滑处理。根据上述方式可以分别确定每一个条带图的天空分割阈值，各条带图根据自身的天空分割阈值将自身分割得到天空区域和非天空区域，即执行步骤120后，对于每一个条带图均得到对应的天空分割结果，每一个分割结果包括天空区域和/或非天空区域。
53.一些示例性实施例中，步骤130，包括：
54.合并所述多个条带图的天空分割结果中的非天空区域，得到整体的非天空区域作为所述拍摄图像中的第一非天空区域。
55.一些示例性实施例中，步骤130，包括：
56.合并所述多个条带图的天空分割结果中的天空区域，得到整体的天空区域；所述整体的天空区域包括至少一个亮区；
57.分别确定每一个亮区的总像素数占所述拍摄图像的总像素数的比例；
58.将所述比例小于预设比例阈值的亮区从所述整体的天空区域中删除，得到所述拍摄图像的第一天空区域；
59.根据所述第一天空区域，得到所述拍摄图像中的第一非天空区域。
60.可以看到，为了避免将一些明亮的非天空区域误分为天空区域，将分割结果中像素数量小于某一阈值的亮区删除。例如，预设比例阈值为0.5％，即将整体的天空区域中像素数小于拍摄图像总像素数0.5％的亮区，从分割结果整体的天空区域中删除。
61.一些示例性实施例中，步骤140包括：根据梯度运算检测所述拍摄图像中的边缘，将所述边缘围成的最大连通区域确定为所述拍摄图像中的第二天空区域；根据所述第二天空区域，确定所述拍摄图像中的第二非天空区域。
62.需要说明的是，一些示例性实施例中，根据梯度运算检测图像的边缘的方案中，如果场景中的雾太浓，场景远处的梯度比较小，边缘不够明显，这样会导致不能检测出完整的
边缘，影响分割结果。因此直接根据梯度值无法获得准确的分割结果，因此在这里需要对梯度图进行增强来使边缘更加清晰，相应地，步骤140包括：
63.获取所述拍摄图像的梯度图g(x)，确定所述梯度图中的最大梯度值g
max
；
64.将所述梯度图中大于梯度阈值的梯度值按第一比例缩小，得到压缩后的梯度图；
65.将所述压缩后的梯度图中的梯度值在设定的第一梯度值范围内等比例拉伸，得到增强后的梯度图；
66.将所述增强后的梯度图进行滤波和边缘检测后，将边缘围成的最大连通区域确定为所述拍摄图像中的第二天空区域；
67.根据所述第二天空区域，得到所述拍摄图像中的第二非天空区域。
68.一些示例性实施例中，所述梯度阈值＝第二比例*最大梯度值g
max
。
69.例如第二比例为25％，则梯度阈值＝25％*g
max
；第一比例为25％；第一梯度范围为0-255。则上升步骤对应为：
70.获取所述拍摄图像的梯度图g(x)，确定所述梯度图中的最大梯度值g
max
；
71.将所述梯度图中大于25％*g
max
的梯度值按25％的比例缩小，即将梯度图中这些梯度值大于25％*g
max
的梯度值向下压缩为原来梯度值的25％，其余梯度值不变，得到压缩后的梯度图g1(x)；
72.将所述压缩后的梯度图中的梯度值在0-255范围内等比例拉伸，得到增强后的梯度图g2(x)，即g2(x)＝255
×
g1(x)/25％g
max
。
73.将所述增强后的梯度图g2(x)进行滤波和边缘检测后，将识别出的边缘围成的最大连通区域确定为所述拍摄图像中的第二天空区域，将所述拍摄图像中的其余部分确定为第二非天空区域。
74.一些示例性实施例中，对增强后的梯度图g2(x)进行滤波包括：高斯滤波。
75.一些示例性实施例中，进行边缘检测包括：对滤波后的梯度图采用canny边缘检测算法进行边缘检测，得到识别后的边缘。
76.可以看到，通过高斯滤波和canny边缘检测，能够去除天空区域内的杂质，使得后续在进行闭操作之后求出最大连通区域作为分割结果更为准确。
77.一些示例性实施例中，步骤150包括：
78.将第一非天空区域和第二非天空区域进行与操作得到的结果确定为所述拍摄图像的非天空区域，非天空区域以外的其他区域确定为天空区域。
79.本公开实施例还提供一种天空分割方法，如图2所示，包括：
80.步骤2110，根据含雾图像确定暗通道图像；
81.步骤2120，暗通道图像纵向分成n条；
82.步骤2130，分别绘制每条图像的直方图；
83.步骤2140，分别确定每条图像的分割阈值；
84.步骤2150，各条图像进行天空分割；
85.步骤2160，移除天空区域中的小块亮区；
86.步骤2210，根据含雾图像确定梯度图；
87.步骤2220，梯度图增强处理；
88.步骤2230，高斯平滑处理；
89.步骤2240，边缘检测；
90.步骤2250，确定最大连通区域；
91.步骤2300，合并确定天空区域。
92.其中，步骤2240也称为形态学闭操作，以确定区域边缘。
93.可以看到，本公开实施例提供的天空分割方案对拍摄图像进行分区域分割，可以分别确定各区域的分割阈值，使得各区域分割阈值的确定具有更好的自适应性；有效的提升了在天空区域与非天空区域大小比例悬殊、分界不明显、暗原色值相近的情况下天空分割结果的准确性。
94.本公开实施例还提供一种图像去雾方法，如图3所示，包括：
95.步骤310，确定含雾拍摄图像的天空区域和非天空区域；
96.步骤320，根据所述含雾的拍摄图像的天空区域获取大气光值；
97.步骤330，根据所述大气光值，获取所述含雾的拍摄图像的天空区域的透射率；
98.步骤340，根据所述大气光值，获取所述含雾的拍摄图像的非天空区域的透射率；
99.步骤350，根据所述大气光值、所述天空区域的透射率和所述非天空区域的透射率进行图像复原，确定复原结果为去雾后的拍摄图像。
100.一些示例性实施例中，步骤310根据本公开实施例任一所述的天空分割方案确定所述含雾拍摄图像的天空区域和非天空区域。
101.一些示例性实施例中，步骤320包括：
102.根据所述天空区域所有像素的均值作为大气光值a。
103.可以看到，由此确定大气光值a可以确保大气光被准确的估计于天空区域。可选地，也可以采用其他方式确定大气光值，不限于本公开实施例所记载的方面。
104.一些示例性实施例中，步骤330中考虑到天空区域内各点的景深和颜色近似相同，所以可以认为天空区域是一个恒定透射率的整体区域，即透射率的值为常数。根据大气散射模型：
[0105][0106]
其中，t
sky
为天空区域透射率，ω
sky
为天空区域，ac为每个通道大气光的估计值(大气光值)，为有雾图像的天空区域，为无雾图像的天空区域。
[0107]
在这里利用天空区域在无雾和有雾时暗通道之间具有线性关系可得到整体天空区域的透射率为：
[0108][0109]
其中，所述线性关系为
[0110][0111]ar
为r通道大气光值，为有雾的天空区域r通道图像，η为调节去雾程度的权重，为无雾的天空区域r通道图像。一些示例性实施例中，η取值0.9。
[0112]
一些示例性实施例中，步骤340中采用何凯明的暗通道先验方法进行非天空区域透射率的估计，即：
[0113][0114]
其中，t
nosky
为非天空区域透射率，权重ω用来调节去雾程度，它的取值通常情况为0.95，ω
sq
(x)为以x为中心的正方形的区域，ic为有(含)雾图像。上述函数或变量中右上角的c表示颜色空间，包括：红，绿，蓝(r，g，b)。
[0115]
可选地，也可以采用其他方式确定天空区域的透射率和非天空区域的透射率，不限于本公开实施例所记载的方面。
[0116]
一些示例性实施例中，步骤350中包括：
[0117]
在求得大气光强度值a和图像的透射率t之后，可以依据大气散射模型恢复出无雾图像j(x)，即：
[0118][0119]
其中，i(x)为所述拍摄图像，t包括t
sky
和t
nosky；
为了防止透射率的值过小而产生噪声，通常会给透射率t(x)限制一个最小值t0。一些示例性实施例中，将图像中的天空区域透射率的最小值t0设置为0.3，非天空区域的透射率最小值t0设置为0.1。
[0120]
一些示例性实施例中，步骤350中包括：
[0121]
使用导向滤波对透射率t进行平滑，得到平滑后的透射率t’，其中，t包括t
sky
和t
nosky
；
[0122]
在求得大气光强度值a和平滑后的透射率t
′
之后，可以依据大气散射模型恢复出无雾图像j(x)，即：
[0123][0124]
其中，i(x)为所述拍摄图像；为了防止透射率的值过小而产生噪声，通常会给透射率t(x)限制一个最小值t0。
[0125]
可选地，也可以采用其他方式进行图像还原，不限于本公开实施例所记载的方面。
[0126]
一些示例性实施例中，步骤320之前，所述方法还包括：
[0127]
步骤311，对所述含雾的拍摄图像的天空区域和所述含雾的拍摄图像的非天空区域进行白平衡，得到白平衡处理后的天空区域和非天空区域；
[0128]
步骤350还包括：图像复原后，对所述复原结果进行亮度和/或色调调整，将调整后的复原结果确定为所述去雾后的拍摄图像。
[0129]
可以看到，对复原结果进行亮度和/或色调调整，有效的解决了复原后图像的亮度和色调在视觉上偏暗，与真实场景不符的问题。
[0130]
本公开实施例还提供一种图像去雾方法，如图4所示，包括：
[0131]
步骤410，对含雾拍摄图像进行天空分割；
[0132]
步骤420，对分割结果进行白平衡处理；
[0133]
步骤430，根据天空区域获取大气光值；
[0134]
步骤440，根据大气光值，获取天空区域的透射率；
[0135]
步骤450，根据大气光值，获取非天空区域的透射率；
[0136]
步骤460，对透射率进行导向滤波；
[0137]
步骤470，根据大气光值和透射率进行图像复原；
[0138]
步骤480，对复原结果进行亮度和/或色调调整。
[0139]
可以看到，本公开实施例提供的图像去雾方法，是基于天空区域精确分割的去雾方法：采用多阈值结合边缘提取的方法，精确分割出天空区域与非天空区域，同时提高了大气光值的计算精度，有效解决了相关方案中天空区域出现光晕与颜色失真的问题，显著提升了图像去雾效果。一些示例性实施例放那，解决了雾天场景中光学成像系统色偏导致的去雾效果偏色问题，使结果从视觉上更像晴天场景，最终的去雾图像亮度和色调在视觉上不再偏暗，更加清晰。
[0140]
本公开实施例还提供一种电子设备，包括：
[0141]
一个或多个处理器；
[0142]
存储装置，用于存储一个或多个程序，
[0143]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任一实施例所述的天空分割方法。
[0144]
本公开实施例还提供一种电子设备，包括：
[0145]
一个或多个处理器；
[0146]
存储装置，用于存储一个或多个程序，
[0147]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任一实施例所述的图像去雾方法。
[0148]
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器实现如本公开任一实施例所述的天空分割方法。
[0149]
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器实现本公开任一实施例所述的图像去雾方法。
[0150]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如
计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0151]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。