一种海上雾天图像模拟方法与流程

1.本发明涉及一种海上雾天图像模拟方法，涉及雾效模拟、深度学习和计算机视觉领域。


背景技术：

2.当在空气中相对湿度达到100％，水汽充足，且大气稳定的条件下，空气中的水汽凝结成细微的水滴或冰晶，悬浮于和地面相近的大气中，便形成了雾。雾天是一种无论海上还是陆地上都比较常见的自然现象，其出现往往伴随着大气能见度的下降，可视距离的缩短，严重影响着交通、航行等的安全性，因此，其在计算机视觉任务中是不可忽视的场景。在利用深度学习进行海上目标的识别、分割等任务时，若仅用晴天下的图片进行神经网络的训练，当遇见雾天天气时则会出现准确率严重降低的问题，但海面雾天的天气图片又比较难以获得，数量稀少，远远不足以支持神经网络的训练，利用传统的仿射变换等样本增广方法对数量绝对稀缺的雾天图片增广效果有限，风格迁移仅通过改变图像的风格、纹理很难真实的模拟出雾天场景。


技术实现要素：

3.针对上述现有技术，本发明要解决的技术问题是提供一种海上雾天图像模拟方法，可以基于大气散射模型模拟出较为真实的雾天下海上场景图片，从而实现该场景下的样本数量的增广。
4.为解决上述技术问题，本发明的一种海上雾天图像模拟方法，包括以下步骤：
5.步骤1：准备数据集，具体为：
6.获取海上场景图片数据集，并对其进行人工标注，要求标签文件将数据集图片分为天空、海面和海上目标三部分；
7.步骤2：训练语义分割网络，具体为：
8.将步骤1的数据集及其标签送入网络中采用deeplab v3+语义分割算法进行训练，得到语义分割网络；
9.步骤3：深度图模拟，具体为：
10.从数据集中挑选出一张图片，经过步骤2中训练好的语义分割网络，得到其语义分割结果，构建与该图片相同形状的单通道灰度矩阵，将语义分割结果中对应的天空部分灰度置为255，模拟出无限远的距离；海面部分与天空接触处灰度置为255，图片底部灰度置为0，模拟摄像头所处的位置，其他海面部分从0到255变化且满足x3的变化规律，模拟图片中像素点代表的景物距离摄像头由近及远变化；海上目标部分设置为与其在x轴方向上与海面接触部分海面的灰度值相同，代表了海上目标在纵向上与摄像头之间的距离不变，得到的灰度矩阵为模拟的海面场景的深度图；
11.步骤4：将步骤3模拟得到的深度图进行三次卷积滤波，平滑深度图；
12.步骤5：模拟不均匀雾团，具体为：
13.将平滑后的深度图的随机位置上与横纵方向皆满足-ax2+b变化趋势的灰度块相加，其中横纵方向上系数a,b不相同，随机变化，且保持灰度块儿边缘的灰度为0，模拟得到场景中不同区域雾的浓度可能不同的情况；
14.步骤6：将模拟得到的深度图带入大气散射模型中得到模拟的海面雾天图片，具体为：
15.大气散射模型为i(x)＝j(x)t(x)+a(1-t(x))，其中i(x)表示雾天下的最终成像图像，j(x)为x＝0处的光照强度，即没有衰减的目标反射光，即晴天下正常拍摄得到的图片，t(x)＝e-β(λ)d
，表示大气光的散射效果，即透射率，β与目标与成像设备之间的距离d有关，a为无穷远处的大气光强，为常值，设置r
m
为(400,600)之间的随机数，将晴天下海面上场景照片作为j(x)，步骤5模拟得到的深度图作为d，即可输出该场景对应的雾天下的图片。
16.作为本发明的一个优选方案，步骤4中将步骤3模拟得到的深度图进行三次卷积滤波，平滑深度图具体为：第一次使用卷积核形状为(15,1)的均值滤波，平滑其横向的深度变化，之后进行两次卷积核为(9,9)的高斯模糊，来对深度图整体进行平滑。
17.本发明的有益效果：由于从物联网上能够直接获得的海上场景雾天照片数量稀少，无法满足深度学习中神经网络的训练需求，如果仅使用晴天下海上场景图片进行训练，将造成神经网络的过拟合，导致其在雾天下的性能降低，无法进行准确的识别、跟踪等任务。本发明提供了一种海上雾天图像模拟方法，通过该方法可以由单张的晴天下海上场景图片直接模拟出其对应的雾天下海上场景图片，从而扩充雾天下海上场景数据集，解决该场景下样本图像数量稀少的问题。
附图说明
18.图1为部分所使用的晴天下训练集图片及其标签；
19.图2为部分测试集图片及其语义分割结果；
20.图3为由分割结果模拟所得深度图；
21.图4为深度图平滑前后生成雾天图像结果对比图；
22.图5为最终生成的雾天图。
具体实施方式
23.下面结合附图对本发明具体实施方式做进一步说明。
24.雾天是一种无论海上还是陆地上都比较常见的自然现象，其出现往往伴随着大气能见度的下降，可视距离的缩短，严重影响着交通、航行等的安全性，因此，其在计算机视觉任务中是不可忽视的场景。在利用深度学习进行海上目标的识别、分割等任务时，若仅用晴天下的图片进行神经网络的训练，当遇见雾天天气时则会出现准确率严重降低的问题，但海面雾天的天气图片又比较难以获得，数量稀少，远远不足以支持神经网络的训练。本发明中提供了一种对海面场景的深度进行模拟，得到其深度图，之后基于大气散射模型模拟出较为真实的雾天下海上场景图片的方法，从而实现雾天下的样本数量的增广。
25.本发明首先通过互联网或其他途径构建具有一定数量的海上场景样本图片数据
集，并对其进行人工标注，将数据集分为天空、海面和前景目标三部分，并利用基于深度学习的语义分割算法deeplap v3+对其进行语义分割训练，得到能够直接进行语义分割的网络参数；之后假设天空部分距离摄像头为无穷远，海面部分与天空接触处为无穷远，图片最下方距离摄像头距离为0，其他海面部分满足x3变化趋势由近及远变化，前景目标的深度与最下方跟海面接触处的深度保持一致，从而得到模拟出的深度图；对深度图进行一次卷积核形状为(15,1)的均值滤波和两次卷积核为(9,9)的高斯模糊来进行平滑，并将其与横纵方向皆满足-ax2+b变化趋势且边缘的灰度为0的灰度块儿相加，a,b为随机数，来模拟不均匀的雾团，最后利用深度图基于大气散射模型模拟出雾天下的海面场景图片。
26.本发明的目的是这样实现的：
27.1、准备数据集
28.通过网络下载或其他方法得到海上场景图片数据集，并对其进行人工标注，要求标签文件将数据集图片分为三部分：天空、海面、海上目标。
29.2、训练语义分割网络
30.deeplab v3+为一种常用的基于深度学习的图像语义分割算法，将准备的数据集及其标签送入网络中进行训练，即可得到语义分割网络。
31.3、深度图模拟
32.从数据集中挑选出一张图片，经过步骤2中训练好的语义分割网络，得到其语义分割结果。构建与该图片相同形状的单通道灰度矩阵，将语义分割结果中对应的天空部分灰度置为255，模拟出无限远的距离；海面部分与天空接触处灰度置为255，图片底部灰度置为0，模拟摄像头所处的位置，其他海面部分使得其满足x3的变化规律，从0到255变化，模拟图片中像素点代表的景物距离摄像头由近及远变化；海上目标部分设置为与其在x轴方向上与海面接触部分海面的灰度值相同，代表了海上目标在纵向上与摄像头之间的距离不变。最终得到的灰度矩阵即为模拟的海面场景的深度图。
33.4、平滑深度图
34.将上一步模拟得到的深度图进行三次卷积滤波，第一次使用卷积核形状为(15,1)的均值滤波，平滑其横向的深度变化，之后进行两次卷积核为(9,9)的高斯模糊，来对深度图整体进行平滑。
35.5、模拟不均匀雾团
36.对平滑后的深度图的随机位置上与横纵方向皆满足-ax2+b变化趋势的灰度块儿相加，其中横纵方向上系数a,b不相同，随机变化，且保持灰度块儿边缘的灰度为0。从而模拟出场景中不同区域雾的浓度可能不同的情况。
37.6、将模拟得到的深度图带入大气散射模型中得到模拟的海面雾天图片。
38.大气散射模型为i(x)＝j(x)t(x)+a(1-t(x))，其中i(x)表示雾天下的最终成像图像，j(x)为x＝0处的光照强度，即没有衰减的目标反射光，即晴天下正常拍摄得到的图片，t(x)＝e-β(λ)d
，表示大气光的散射效果，即透射率，其大小与目标与成像设备之间的距离d有关，a为无穷远处的大气光强，为常值。
39.设置a＝(200,200,200),r
m
为(400,600)之间的随机数，将晴天下海面上场景照片作为j(x)，上一步中模拟得到的深度图作为d，即可输出该场景对应的雾天下的图片。
40.本发明的海上雾天图像模拟方法包括以下步骤：
41.步骤1、从网络上下载晴天下海上场景图片数据集并对其进行标注，要求标签将图片分为天空、海面、前景目标三部分，如附图1所示。
42.步骤2、将训练集图片放入语义分割网络deeplab v3+中进行训练，得到其语义分割结果，如附图2所示。
43.步骤3、根据语义分割结果初步模拟出其深度图。构建与图片大小相同的单通道灰度矩阵，其中将分割结果中天空部分置为255，模拟出与摄像头距离为无限远，海面部分与天空接触处灰度置为255，图片底部灰度置为0，模拟摄像头所处的位置，其他海面部分使得其满足x3的变化规律，从0到255变化，模拟图片中像素点代表的景物距离摄像头由近及远变化；海上目标部分设置为与其在x轴方向上与海面接触部分海面的灰度值相同，代表了海上目标在纵向上与摄像头之间的距离不变。最终得到的灰度矩阵即为模拟的海面场景的深度图，结果如附图3所示。
44.步骤4、平滑深度图。将步骤3中模拟得到的深度图进行三次卷积滤波，第一次使用卷积核形状为(15,1)的均值滤波，平滑其横向的深度变化，之后进行两次卷积核为(9,9)的高斯模糊，来对深度图整体进行平滑，平滑前后结果与直接利用其生成的雾天图像如附图4所示，左边为平滑前，右边为平滑后。
45.步骤5、模拟不均匀雾团。对平滑后的深度图的随机位置上与横纵方向皆满足-ax2+b变化趋势的灰度块儿相加，其中横纵方向上系数a,b不相同，随机变化，且保持灰度块儿边缘的灰度为0。从而模拟出场景中不同区域雾的浓度可能不同的情况。
46.步骤6、利用大气散射模型生成雾天下海上场景图片。
47.大气散射模型为i(x)＝j(x)t(x)+a(1-t(x))，其中i(x)表示雾天下的最终成像图像，j(x)为x＝0处的光照强度，即没有衰减的目标反射光，即晴天下正常拍摄得到的图片，t(x)＝e-β(λ)d
，表示大气光的散射效果，即透射率，其大小与目标与成像设备之间的距离d有关，a为无穷远处的大气光强，为常值。
48.设置a＝(200,200,200),r
m
为(400,600)之间的随机数，将晴天下海面上场景照片作为j(x)，上一步中模拟得到的深度图作为d，即可输出该场景对应的雾天下的图片。最终模拟结果如附图5所示。
49.实施例：
50.1、准备数据集
51.通过网络下载或其他方法得到海上场景图片数据集，并对其标注，要求标签文件将数据集图片分为三部分：天空、海面、海上目标。
52.2、训练语义分割网络
53.deeplab v3+为一种常用的基于深度学习的图像语义分割方法，将准备的数据集及其标签送入网络中进行训练，即可训练得到语义分割网络。
54.3、深度图模拟
55.从数据集中挑选出一张图片，经过步骤2中训练好的语义分割网络，得到其语义分割结果。构建与该图片相同形状的单通道灰度矩阵，将语义分割结果中对应的天空部分灰度置为255，模拟出无限远的距离；海面部分与天空接触处灰度置为255，图片底部灰度置为
0，模拟摄像头所处的位置，其他海面部分使得其满足x3的变化规律，从0到255变化，模拟图片中像素点代表的景物距离摄像头由近及远变化；海上目标部分设置为与其在x轴方向上与海面接触部分海面的灰度值相同，代表了海上目标在纵向上与摄像头之间的距离不变。最终得到的灰度矩阵即为模拟的海面场景的深度图。
56.4、平滑深度图
57.将上一步模拟得到的深度图进行三次卷积滤波，第一次使用卷积核形状为(15,1)的均值滤波，平滑其横向的深度变化，之后进行两次卷积核为(9,9)的高斯模糊，来对深度图整体进行平滑。
58.5、模拟不均匀雾团
59.对平滑后的深度图的随机位置上与横纵方向皆满足-ax2+b变化趋势的灰度块儿相加，其中横纵方向上系数a,b不相同，随机变化，且保持灰度块儿边缘的灰度为0。从而模拟出场景中不同区域雾的浓度可能不同的情况。
60.6、将模拟得到的深度图带入大气散射模型中得到模拟的海面雾天图片。
61.大气散射模型为i(x)＝j(x)t(x)+a(1-t(x))，其中i(x)表示雾天下的最终成像图像，j(x)为x＝0处的光照强度，即没有衰减的目标反射光，即晴天下正常拍摄得到的图片，t(x)＝e-β(λ)d
，表示大气光的散射效果，即透射率，其大小与目标与成像设备之间的距离d有关，a为无穷远处的大气光强，为常值。
62.设置a＝(200,200,200),r
m
为(400,600)之间的随机数，将晴天下海面上场景照片作为j(x)，上一步中模拟得到的深度图作为d，即可输出该场景对应的雾天下的图片。