一种基于多分支融合的轻量型雾天街景语义分割算法

本发明提出一种基于多分支融合的轻量型雾天街景语义分割算法，采用的是一种基于deeplabv3+网络模型改进的分割算法；该网络主体与deeplabv3+网络结构相似，网络主干采取轻量级网络，设计构造全局信息提取层，与空洞空间金字塔池化层相连，两条不同的支路分别提取全局信息和多尺度信息后进行融合；改进的deeplabv3+网络模型可用于更精确地分割雾天模糊物体图像，它可以在保证整体分割精度的同时，提升特征复用效率，解决了原始deeplabv3+网络结构复杂导致的训练时间缓慢问题，有效地捕捉雾天能见度低而导致信息模糊、分割准确率较低。

背景技术：

1、街道是城市中的重要组成部分，对于城市街道场景的理解是实现自动驾驶、智能导航、智能监控等智慧城市新兴应用的重要基础；近年来，随着车载摄像头、监控摄像头等设备快速发展，获取到的城市街道场景图像数量与质量均有大幅度提升；而道路场景中物体尺度差异较大，物体类别多样，天气环境多变且场景复杂，造成道路场景分割不准确、分割速度缓慢的问题；因此，在训练数据量有限的情况下，通过综合利用模型改良、数据增强、数据生成等多种方法，提高雾天城市街景分割模型性能和泛化能力的方法研究，并使模型能够在不同天气状况下有着较高的鲁棒性，对于城市街景分割算法的实际应用有着非常重要的意义。

2、随着深度学习技术的进步和大规模数据集的开发，语义分割任务得到了突飞猛进的发展；特别是deeplab系列网络的出现，对街景语义分割取得了巨大进展；deeplabv3+是一种基于空间特征金字塔的上下文信息聚合语义分割网络，使用扩张卷积获取上下文信息；但deeplabv3+在运行时往往会产生大量参数，耗费大量的运行时间，且只考虑分割精度而没有考虑网络的实时性，而应用街景分割最多的智能驾驶领域不仅要求分割准确度，对算法的实时性也非常敏感，要求语义分割算法拥有实时的处理速度和快速的交互、响应能力，所以如何在提升运行速度的同时保证精度，是城市街景分割算法的关键。

技术实现思路

1、本发明所解决的技术问题是针对deeplabv3+网络存在语义信息不全面和上下文信息联系不紧密导致的分割精度低问题和网络参数量大、运行速度缓慢的问题，提出一种基于多分支融合的轻量型雾天街景语义分割算法,设计的全局信息提取层解决了deeplabv3+网络的语义信息不全面和上下文信息联系不紧密问题，从而使得雾天城市街景目标分割效果更佳；轻量级主干网络mobilenetv2解决了网络结构复杂导致的训练速度缓慢问题，同时也保证了目标分割精度。

2、为了实现上述目的，本发明的技术方案如下：

3、一种基于多分支融合的轻量型雾天街景语义分割算法，包括以下步骤：

4、步骤一：数据预处理，将数据集根据需求改为网络可训练的大小并进行数据增强；

5、步骤二：构建轻量级主干网络mobilenetv2和全局信息提取层；

6、步骤三：用该模型对训练集进行训练，获取雾天街景图像分割结果，保存最好的网络模型；

7、步骤四：加载网络模型，对测试集进行测试获取雾天街景图像分割结果。

8、所述步骤一中的具体过程如下：

9、（1）收集雾天街景图像的语义分割数据集，并划分为训练集、验证集和测试集；

10、（2）选用合成雾天城市街景数据集foggy driving，该数据集使用cityscapes精细标注的道路场景图像，并采用大气散射模型模拟雾气衰减系数值在0.005到0.02共3种不同浓度的雾天情况(能见度分别为200、100和50米)，构建一个具有多种不同浓度的混合雾天道路场景数据集；选用foggycityscapes数据集分为薄雾场景、中雾场景和浓雾场景三部分，每部分包含汽车、人、马路等19个类别，三部分共13900张图像；

11、（3）为提升神经网络的鲁棒性、扩充数据集，对雾天数据集进行数据增强操作；在现有图像的基础上对图像进行几何变换，将图片翻转、随机旋转、平移变换、随机裁剪、变形缩放、噪声扰动等各类操作；增加整个网络在方向上的不变性，降低网络模型的误判几率；采用三种不同浓度的雾天图像作为训练样本，提高模型泛化能力。

12、所述步骤二中的具体情况如下：

13、（1）构建轻量级网络mobilenetv2作为主干网络提取高级语义特征：

14、①mobilenetv2网络核心操作是引入深度可分离卷积替换标准，深度可分离卷积对网络参数量和速度的控制更加理想和高效；

15、②深度可分离卷积包含depthwise卷积和pointwise卷积2部分；depthwise卷积是完全在二维平面内进行的卷积操作，通道和卷积核是一一对应的关系；pointwise卷积是卷积核大小为1×1的普通卷积，位于depthwise卷积之后，用于融合多个通道的信息，增强网络表达能力；

16、在卷积运算过程中，若输入通道数为ci，卷积核大小为k×k，输出通道数为co，输出特征尺寸为h×w ，则深度可分离卷积与标准卷积的参数量之比如下公式所示：

17、

18、计算量之比如下公式所示：

19、

20、由两个公式可知，深度可分离卷积的计算复杂度与标准卷积相比降低了很多，达到了参数量少、运算速率快的要求；

21、mobilenetv2网络由多个倒残差模块堆叠而成，倒残差模块有助于提高精度构建更深的网络；首先使用1×1卷积增加特征图的通道数，实现特征图的扩张，丰富特征数量，提高精度；其次用3×3的深度可分离卷积提取每个通道的特征，减少了运算量；最后用1×1卷积进行缩减通道数；其中扩张卷积和深度可分离卷积过程后使用的激活函数为relu6函数，而压缩卷积后的激活函数为linear函数，防止relu6函数进一步破坏压缩后特征；

22、（2）构建全局信息提取层：

23、①全局信息提取层具有补充目标边缘信息，进行边缘预测，提升模型对小目标分割性能的功能；

24、②全局信息提取层由卷积层和极化注意力机制两部分组成；将主干网络生成的高级语义特征图传入1×1卷积中，保留目标信息完整性；然后传入极化注意力机制，使用正交的方式保证了低参数量的同时，提高了高通道分辨率和高空间分辨率；在通道分支和空间分支加入softmax和sigmoid的混合增加非线性，去拟合更真实更有细腻度的输出分布；

25、极化注意力机制分为两个分支，通道分支和空间分支；通道分支的权重计算公式如下：

26、

27、先用1×1的卷积将输入的特征x转换成了q和v，其中q的通道被完全压缩，而v的通道维度依旧保持在一个比较高的水平（也就是c/2）；因为q的通道维度被压缩，就需要通过hdr进行信息的增强，因此用softmax对q的信息进行了增强；然后将q和k进行矩阵乘法，并在后面接上1x1卷积、ln将通道上c/2的维度升为c；最后用sigmoid函数使得所有的参数都保持在0-1之间；

28、空间分支计算权重的公式如下：

29、

30、与通道分支相似，先用1x1的卷积将输入的特征转换为了q和v，其中，对于q特征，还用了globalpooling对空间维度压缩，转换成了1x1的大小；而v特征的空间维度则保持在一个比较大的水平（h×w）；由于q的空间维度被压缩了，就用了softmax对q的信息进行增强；然后将q和k进行矩阵乘法，接上reshape和sigmoid使得所有的参数都保持在0-1之间。

31、所述步骤三中的具体情况如下：

32、（1）搭建多分支融合的轻量型网络模型；

33、（2）在原始语义分割deeplabv3+模型上进行改进，使用编码解码的框架和mobilenetv2作为骨干网络；在编码器阶段，图像先由主干网络提取完整信息，生成的高级特征图分别送入空洞空间金字塔池化层和全局信息提取层；空洞空间金字塔池化层由3个空洞率分别为6，12，18的空洞卷积、1个1×1 的卷积和1个全局平均池化层构成；然后将获得的5个特征图在通道上直接进行级联完成多尺度的采样过程；它可以利用不同尺度的空洞卷积和额外一个全局平均池化有效的提取关键信息、扩大感受野；全局信息提取层补充因多尺度膨胀卷积造成的边缘信息丢失；融合后的特征图连接一个1×1卷积降低其通道数，最后与低级特征图一起输出至下一层；低级特征图提供细节信息，高级特征图提供语义信息；

34、（3）解码器阶段，采用简单高效的算法模块；首先对解码器输出的高级特征层进行双线性上采样，放大为原图的4倍；接下来对特征提取网络主干具有相同特征的相应低级特征层进行1×1卷积以减少其通道数量；然后将得到的两个特征层串联在一起，用3×3卷积来细化特征，最后在采取4倍上采样完成解码操作。

35、所述步骤四中的具体情况如下：

36、（1）训练过程采用随机梯度下降优化算法，设置动量为0.9，二阶矩估计的指数衰减率为0.999，初始学习率为0.01，学习率权重衰减为5×10-4，学习率下降方法选择 poly，学习率下降指数为0.9；损失函数使用基于softmax函数的交叉熵损失函数，交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为：

37、

38、softmax函数将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失；

39、（2）将数据集放入网络进行训练和评估，得到最优的网络分割结果，并将该网络最优分割结果的网络模型保存；

40、（3）对测试集进行测试，保留测试结果与生成的街景分割图。

41、与现有技术相比，本发明技术方案的有益效果是：

42、（1）本发明基于卷积神经网络，使用轻量级主干网络替换原主干网络xception，解决了deeplabv3+网络模型参数量大、运行缓慢的问题；

43、（2）本发明通过设计全局信息提取层模块，将模糊目标的边缘信息进行细分提取，与多尺度信息融合，保留了目标信息的完整性，解决了分割不准确、错分漏分的现象，提高了网络的精确度。