一种用于救援机器人的火灾场景低质量图像恢复方法

1.本发明属于救援机器人图像处理领域，具体涉及一种用于救援机器人的火灾场景低质量图像恢复方法。


背景技术：

2.在救援火灾环境下，燃烧通常伴随着不均匀的火光和烟雾，此类场景中救援机器人执行任务时，采集的图像通常会受到光线、火焰，雾气等环境因素的影响。
3.火灾场景中图像由于环境光分布不均匀，雾浓度不均匀，因此现有方法在处理火灾场景情况出现估计失真问题。通过对救援火灾环境低质量图像清晰化方法的研究，将低质退化图像恢复为高质量图像，为救援机器人的现场检测、识别、环境建图与路径规划提供了数据基础。


技术实现要素：

4.为了解决背景技术中的问题，本发明提出了一种用于救援机器人的火灾场景低质量图像恢复方法。
5.本发明采用的技术方案如下：
6.一、一种用于救援机器人的火灾场景低质量图像恢复系统
7.包括区域大气光估计模块、透射率估计优化模块和图像重建恢复模块，所述区域大气光估计模块包括火光区域大气光估计模块和全局大气光估计模块；
8.火光区域大气光估计模块，用于将原始图像分割为火光区域图像和非火光区域图像；
9.全局大气光估计模块，用于对非火光区域图像进行超像素分割并设计大气光检测算子，得到全局大气光的估计值；
10.透射率估计优化模块，用于估计粗略透射率，并运用双边加权引导滤波方法计算精确透射率；
11.图像重建恢复模块，用于重建恢复清晰图像。
12.二、采用上述系统的用于救援机器人的火灾场景低质量图像恢复方法
13.步骤1：通过火光区域大气光估计模块将原始图像i分割为火光区域图像if和非火光区域图像i
nf
；
14.步骤2：全局大气光估计模块通过构建大气光检测算子计算全局大气光估计值a0；
15.步骤3：将暗通道图及全局大气光估计值输入透射率估计优化模块估计粗略透射率，运用双边加权滤波透射率优化得到精确透射率t；
16.步骤4：通过图像重建恢复模块恢复得到最终清晰图像。
17.所述步骤1)具体为：
18.1.1)结合rgb色彩空间判据及hls色彩空间判据分割原始图像i得到初始火光区域图像i1；
19.1.2)将初始火光区域图像i1执行先开后闭的形态学处理，删除图像中的孤立点并填充区域图像i1内部的孔洞，进一步对形态学处理后的图像进行高斯滤波，得到最终的火光区域图像if；并根据原始图像i和火光区域图像if获得非火光区域图像i
nf
。
20.所述步骤2)具体为：
21.2.1)对原始图像i的r,g,b三通道进行最小值滤波，得到图像的暗通道图id；
22.2.2)对原始图像i，构建大气光检测算子score：
23.score＝(1-s)id24.其中，s为原始图像i的饱和度分量；
25.2.3)对非火光区域图像i
nf
进行超像素分割，得到分割图is，计算分割图is(si∈is)中每个超像素块si的大气光检测算子得分
[0026][0027]
其中，为超像素块si中像素点的个数，x为超像素块si中的像素点；
[0028]
2.4)将每个超像素块对应的值按由大到小的顺序进行排序，选取大气光检测算子得分最大的超像素块，记为s
max
，计算超像素块s
max
中所有像素点的像素值平均值得到全局大气光的估计值a0：
[0029][0030]
其中，为超像素块s
max
中像素点的个数，i(x)为像素块s
max
中像素点x的像素值。
[0031]
所述步骤3)具体为：
[0032]
3.1)通过原始图像i1的l通道，计算自适应置信度t
*
(x)：
[0033][0034]
其中，ω为最小值滤波区间，p为置信度调节参数，l(y)为区域ω中像素点y的l通道值；
[0035]
2)根据原始图像i1的暗通道图id和全局大气光估计值a0计算图像的粗略透射率特征图t0，计算公式如下：
[0036][0037]
3)运用双边加权引导滤波对t0优化，得到图像透射率t，计算公式如下：
[0038]
t＝a*ig+b
[0039]
其中，ig为原始图像i的灰度图，a、b为引导滤波系数，计算公式如下：
[0040][0041][0042]
其中，ε为容差因子，d为滤波区间，ω(i,j,k,l)为滤波加权系数，(k,l)表示滤波窗口中心坐标，(i,j)表示窗口其他坐标，ωm为核函数，m取值为{1,2,3,4}，计算公式如下：
[0043][0044]
其中，σd为空域权重，σr为值域权重；
[0045]
其中，im(i,j)，im(k,l)，m∈{1,2,3,4}表示对应图像在点(i,j)，(k,l)的像素值，计算公式如下：
[0046][0047]
i2＝t0[0048]
i3＝ig[0049][0050]
其中，表示矩阵哈达马积。
[0051]
所述步骤4)中，图像恢复模块输出最终清晰图像j，表示为：
[0052][0053]
本发明的有益效果：
[0054]
本发明提出的一种用于救援机器人的火灾场景低质量图像恢复方法通过区域阈值分割算法分割了火焰区域，避免火焰光源对全局大气光估计的失真影响，设计大气光检测算子，基于超像素块得到准确的大气光参数，解决了全局大气光估计失真问题；构建透射率估计优化模块，基于双边加权引导滤波方法实现了透射率的精细化，解决了通用方法引起的光晕等问题。本发明提出的方法有助于提高火灾现场图像恢复的清晰化程度，提升救援机器人的现场检测、识别、环境建图与路径规划提供了数据基础。
附图说明
[0055]
图1为救援火灾现场图像清晰化流程图；
[0056]
图2为本发明实施例中的原始图像；
[0057]
图3为火光区域分割模块和过二值化处理后的火光区域图；
[0058]
图4为粗略透射率估计图；
[0059]
图5为经双边加权引导滤波处理后的精细透射率估计图。
具体实施方式
[0060]
下面结合附图和实施例对本发明作进一步说明。
[0061]
1、本发明包括救援火灾现场图像清晰化系统。包括区域大气光估计模块、透射率估计优化模块和图像重建恢复模块。区域大气光估计模块包括火光区域大气光估计模块和全局大气光估计模块。
[0062]
2、如图1所示，输入的原始图像i通过区域大气光估计模块估计大气光，设计区域阈值分割算法分割火焰区域，进一步对图像超像素分割并设计大气光检测算子，得到全局大气光；构建透射率估计优化模块，估计粗略透射率，进一步基于双边加权引导滤波方法计算精细化的透射率；输入图像恢复模块恢复得到高质量图片。
[0063]
3、火光区域大气光估计模块对图2所示的原始图像i区域分割为火光区域图像if和非火光区域图像i
nf
。
[0064]
具体包括：
[0065]
步骤1：将原始图像i结合rgb色彩空间判据及hls色彩空间判据分割火光区域，得到区域图像i1。
[0066]
rgb色彩空间判据为：
[0067]
r》r
t
[0068]
r≥g≥b
[0069]
hls色彩空间判据为：
[0070][0071]
l
min
≤l≤l
max
[0072]
r，g，b分别为图像rgb色彩空间的红、绿、蓝分量，r
t
为红色阈值，s，l分别为图像hls色彩空间的饱和度、亮度分量，l
min
为亮度最小阈值，l
max
为亮度最大阈值。
[0073]
步骤2：将区域图像i1执行先开后闭的形态学处理，删除图像中的孤立点并填充目标区域内部的孔洞，进一步对图像形态学处理后的结果高斯滤波，得到图3所示的火光区域图像if，非火光区域图像i
nf
。
[0074]
4、全局大气光估计模块通过构建大气光检测算子计算全局大气光值a0。
[0075]
具体包括：
[0076]
步骤一：输入图像i的r,g,b三通道进行最小滤波，得到图像的暗通道图id；
[0077]
步骤二：输入图像i，设计大气光检测算子score：
[0078]
score＝(1-s)id[0079]
其中，s为图像i的饱和度分量。
[0080]
步骤三：非火光区域图像i
nf
超像素分割，得到分割图is，计算每一个si∈is超像素块的大气光检测算子得分
[0081][0082]
其中，为超像素块si像素点个数。
[0083]
步骤四：将值按由大到小的顺序进行排序，选取score值最大的超像素块s
max
将该超像素中所有像素点的平均值计算大气光最大值的估计值a0。
[0084][0085]
其中，为超像素块s
max
像素点个数。
[0086]
5、透射率估计优化模块，输入暗通道图及全局大气光估计值估计粗略透射率，由双边加权引导滤波透射率优化精确透射率t。
[0087]
具体包括：
[0088]
步骤一：通过图像的l通道，计算自适应置信度t
*
(x)：
[0089][0090]
其中，ω为最小值滤波区间，p为置信度调节参数：
[0091]
步骤二：如图4所示，计算图像的粗略透射率特征图t0，计算公式如下：
[0092][0093]
步骤三：如图5所示，运用双边加权引导滤波对t0优化，估计图像精确透射率t。计算公式如下：
[0094]
t＝a*ig+b
[0095]
a，b为双边加权引导系数，计算公式如下：
[0096][0097][0098]
其中，ε为容差因子，d为滤波区间，为ω(i,j,k,l)为滤波加权系数，(k,l)表示窗口中心坐标，(i,j)表示窗口其他坐标，ωm为核函数，m取值为{1,2,3,4}，计算公式如下：
[0099][0100]
其中，σd空域权重，σr为值域权重。
[0101]
其中，im(i,j)，im(k,l)表示对应图像该点的像素值，计算公式如下：
[0102][0103]
i2＝t0[0104]
i3＝ig
[0105][0106]
表示矩阵哈达马积。
[0107]
6、图像恢复模块输出最终清晰图j，表示为：
[0108][0109]
与其他方法对比，本发明的优点为对火灾场景低质量图像恢复质量高，同时仅占用极少的计算资源，有效应用于救援机器人火灾现场检测、识别等的图像前处理工作。