用于街景理解的融合点与区域特征的语义分割方法及系统与流程
本发明涉及计算机视觉技术领域，具体涉及一种用于街景理解的融合点与区域特征的语义分割方法及系统。
背景技术：
图像语义分割是人工智能领域中计算机视觉的一个重要分支，是机器视觉中关于图像理解重要的一环。图像语义分割就是将图像中的每一个像素准确地归类到其所属类别，使其与图像本身的视觉表示内容一致，所以图像语义分割任务也被称为像素级的图像分类任务。
由于图像语义分割与图像分类有一定的相似性，所以各式各样的图像分类网络常常在剔除最后的全连接层后，作为图像语义分割网络的主干网，并相互之间可替换。有时也会通过移除主干网中的池化层或使用带孔卷积等修改获得更大尺寸的特征，最后使用卷积核为1的卷积层获得语义分割结果。在与图像分类对比之下，图像语义分割的难度要更高，因为它不仅需要全局的上下文信息，还需要结合精细的局部信息来确定每个像素点的类别，所以常常利用主干网来提取较为全局的特征，然后再结合主干网中的浅层特征进行特征分辨率重建恢复到原始图像大小。基于特征尺寸先变小再变大的特征，所以常常把前者称为编码网络，后者称为解码网络。同时在编码过程中，为了能更好捕获不同大小物体的特征，常常结合不同感受野和尺度信息，比如带孔空间金字塔池化技术。在现有的语义分割模型中，编码过程和解码过程都是直接为优化语义分割效果而设计的，以融入更多信息来得到更强大的语义特征，如前者融合多尺度信息以及后者补充编码过程中遗漏的细节信息，因此这两个不同的过程没有能够对不同的目标进行优化，所以他们结合之后的表现能力也有限。实际上使用解码网络主要是因为硬件条件受限使用了降低分辨率的编码网络，因此需要进行分辨率重建，同时尽可能地优化其效果。所以自然地，编码结果代表的即是它本身分辨率下的优秀语义分割特征，而解码的过程则是在这之上利用对应的区域信息来扩大其分辨率，针对不同像素点以不同的方式来参考区域信息，从而自然地将互补的点信息和区域信息很好的融合起来，而这正是目前方法所没有考虑到的。
技术实现要素：
本发明的目的在于提供一种用于街景理解的融合点与区域特征的语义分割方法及系统，该方法及系统有利于提高图像语义分割的准确性和鲁棒性。
为实现上述目的，本发明的技术方案是：一种用于街景理解的融合点与区域特征的语义分割方法，包括以下步骤：
步骤a：对训练集输入图像进行预处理，首先让图像减去其图像均值使其标准化，然后随机对图像进行统一尺寸的剪切获取相同尺寸的预处理图像；
步骤b：用卷积网络提取通用特征fbackbone，再基于通用特征fbackbone获取多重上下文对比点特征fcaspp，然后以这两部分级联作为编码网络提取编码特征fencoder；
步骤c：从所述卷积网络中选取中间层特征fmiddle，结合编码特征fencoder计算区域特征fregion，融合点域特征扩大解码特征分辨率，把这部分多次迭代作为解码网络，进行图像分辨率重建，计算解码特征fdecoder；
步骤d：用解码特征fdecoder获取语义分割概率图，利用图像语义分割标注计算边缘增强权重，并利用语义分割标注计算得到边缘增强的语义分割损失，以最小化边缘增强的语义分割损失为目标来对整个深度神经网络进行训练；
步骤e：利用训练好的深度神经网络模型对待分割图像进行语义分割，输出分割结果。
进一步地，所述步骤b中，用卷积网络提取通用特征fbackbone，再基于通用特征fbackbone获取多重上下文对比点特征fcaspp，然后以这两部分级联作为编码网络提取编码特征fencoder，包括以下步骤：
步骤b1：使用卷积网络对预处理图像提取通用特征fbackbone；
步骤b2：使用1×1卷积对特征fbackbone进行特征降维，得到特征
步骤b3：用孔率为ras的卷积核对fbackbone进行带孔卷积得到特征
其中，
然后使用如下公式计算得到孔率为ras的上下文对比点特征特征
步骤b5：对fbackbone整张图像进行平均池化，然后再使用最近邻插值恢复到原尺寸，再经过1×1卷积得到图像级特征fimage；
步骤b6：使用不同的孔率重复步骤b4，直至获得ncaspp个特征，然后将这ncaspp个特征与fc1aspp和fimage进行拼接，得到多重上下文对比点特征fcaspp；
步骤b7：使用1×1卷积对fcaspp进行降维，然后再用深度学习中的dropout进行正则化，得到最后的编码特征fencoder。
进一步地，所述步骤c中，从所述卷积网络中选取中间层特征fmiddle，结合编码特征fencoder计算区域特征fregion，融合点域特征扩大解码特征分辨率，把这部分多次迭代作为解码网络，进行图像分辨率重建，计算解码特征fdecoder，包括以下步骤：
步骤c1：将fencoder作为当前的解码特征fdecoder；
步骤c2：从提取通用特征的卷积网络中选取尺寸与fdecoder相同的的中间层特征fmiddle；
步骤c3：使用最近邻插值处理编码特征fencoder，得到与fdecoder尺寸相同的特征图fus；
步骤c4：将fmiddle与fus拼接后使用1×1卷积进行降维，然后使用多孔空间金字塔池化网络处理得到含有多尺度上下文信息的区域特征fregion；
步骤c5：拼接fdecoder和fregion，使用1×1卷积进行降维后，再使用3×3卷积提取特征得到解码特征fdecoder；
步骤c6：定义最初输入图像尺寸与特征尺寸的比率为该特征的输出步幅；选取所述卷积网络中输出步幅为os的中间层特征的尺寸作为下一级解码特征尺寸；如果此输出步幅在选取的处理列表内，则使用双线性插值fdecoder扩大到该尺寸，重复步骤c2至c5，否则解码特征提取完成。
进一步地，所述步骤d中，用解码特征fdecoder获取语义分割概率图，利用图像语义分割标注计算边缘增强权重，并利用语义分割标注计算得到边缘增强的语义分割损失，以最小化边缘增强的语义分割损失为目标来对整个深度神经网络进行训练，包括以下步骤：
步骤d1：用双线性插值将fdecoder缩放到与输入图像的尺寸相同，并通过使用softmax作为激活函数的1×1卷积计算得到语义分割概率，softmax计算公式如下：
其中，σc为c类别的概率，e为自然指数，γc和γk分别表示类别为c和k的未激活特征值，c为总类别数；
步骤d2：利用图像语义分割标注获得边缘增强权重，计算公式如下：
其中wedge(i,j)表示坐标(i,j)位置的边缘增强权重wedge，
步骤d3：利用语义分割概率图与其对应标注，计算像素级的交叉熵，得到语义分割损失ls，然后计算加权和损失l：
l＝(1+wedge)ls
最后通过随机梯度下降优化方法，利用反向传播迭代更新模型参数，以最小化加权和损失l来训练网络得到最后的模型。
本发明还提供了一种用于街景理解的融合点与区域特征的语义分割系统，包括：
预处理模块，用于对训练集输入图像进行预处理，包括让图像减去其图像均值使其标准化，以及随机对图像进行统一尺寸的剪切获取相同尺寸的预处理图像；
编码特征提取模块，用于用卷积网络提取通用特征fbackbone，再基于通用特征fbackbone获取多重上下文对比点特征fcaspp，然后以这两部分级联作为编码网络提取编码特征fencoder；
解码特征提取模块，用于从所述卷积网络中选取中间层特征fmiddle，结合编码特征fencoder计算区域特征fregion，融合点域特征扩大解码特征分辨率，把这部分多次迭代作为解码网络，进行图像分辨率重建，计算解码特征fdecoder；
神经网络训练模块，用于用解码特征fdecoder获取语义分割概率图，利用图像语义分割标注计算边缘增强权重，并利用语义分割标注计算得到边缘增强的语义分割损失，以最小化边缘增强的语义分割损失为目标来对整个深度神经网络进行训练；以及
语义分割模块，用于利用训练好的深度神经网络模型对待分割图像进行语义分割，输出分割结果。
相较于现有技术，本发明的有益效果是：首先在编码网络针对性地计算多重上下文对比点特征，强化了对各个像素点信息的获取。然后在解码网络利用浅层特征学习区域性特征，同时利用辅助边缘监督优化区域性特征的学习，针对性地利用其互补性将点域特征进行结合。与现有方法相比，本发明能在编码后获得更有点针对性的特征，在解码过程中获取与之互补，更有区域针对性且受边缘监督的特征，使得两个针对优化点强强联合，从而可以得到更精确的语义分割结果。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例的系统结构示意图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种用于街景理解的融合点与区域特征的语义分割方法，如图1所示，包括以下步骤：
步骤a：对训练集输入图像进行预处理，首先让图像减去其图像均值使其标准化，然后随机对图像进行统一尺寸的剪切获取相同尺寸的预处理图像。
步骤b：用通用的卷积网络提取通用特征fbackbone，再基于通用特征fbackbone获取多重上下文对比点特征fcaspp，然后以步骤b中所述这两部分级联作为编码网络提取编码特征fencoder；具体包括以下步骤：
步骤b1：使用通用的卷积网络(本实施例中采用deeplabv3+网络中提供的xception网络)对预处理图像提取通用特征fbackbone；
步骤b2：使用1×1卷积对特征fbackbone进行特征降维，得到特征
步骤b3：用孔率为ras的卷积核对fbackbone进行带孔卷积得到特征
其中，
然后使用如下公式计算得到孔率为ras的上下文对比点特征特征
步骤b5：对fbackbone整张图像进行平均池化，然后再使用最近邻插值恢复到原尺寸，再经过1×1卷积得到图像级特征fimage；
步骤b6：使用不同的孔率重复步骤b4，直至获得ncaspp个特征(本实施例为3个特征，孔率分别为6，12，18)，然后将这ncaspp个特征与
步骤b7：使用1×1卷积对fcaspp进行降维，然后再用深度学习中的dropout进行正则化，得到最后的编码特征fencoder。
步骤c：从所述卷积网络中选取中间层特征fmiddle，结合编码特征fencoder计算区域特征fregion，融合点域特征扩大解码特征分辨率，把步骤c中这部分多次迭代作为解码网络，进行图像分辨率重建，计算解码特征fdecoder；具体包括以下步骤：
步骤c1：将fencoder作为当前的解码特征fdecoder；
步骤c2：从提取通用特征的卷积网络中选取尺寸与fdecoder相同的的中间层特征fmiddle；
步骤c3：使用最近邻插值处理编码特征fencoder，得到与fdecoder尺寸相同的特征图fus；
步骤c4：将fmiddle与fus拼接后使用1×1卷积进行降维，然后使用多孔空间金字塔池化网络处理得到含有多尺度上下文信息的区域特征fregion；此处，本方法可以选择任意卷积网络模块，只要能捕获多尺度上下文信息即可，本实施例采用了多孔空间金字塔池化，孔率为6，12，18；
步骤c5：拼接fdecoder和fregion，使用1×1卷积进行降维后，再使用3×3卷积提取特征得到解码特征fdecoder；
步骤c6：定义最初输入图像尺寸与特征尺寸的比率为该特征的输出步幅；选取所述卷积网络中输出步幅为os的中间层特征的尺寸作为下一级解码特征尺寸；如果此输出步幅在选取的处理列表内，则使用双线性插值fdecoder扩大到该尺寸，重复步骤c2至c5，否则解码特征提取完成。
步骤d：用解码特征fdecoder获取语义分割概率图，利用图像语义分割标注计算边缘增强权重，并利用语义分割标注计算得到边缘增强的语义分割损失，以最小化边缘增强的语义分割损失为目标来对整个深度神经网络进行训练；具体包括以下步骤：
步骤d1：用双线性插值将fdecoder缩放到与输入图像的尺寸相同，并通过使用softmax作为激活函数的1×1卷积计算得到语义分割概率，softmax计算公式如下：
其中，σc为c类别的概率，e为自然指数，γc和γk分别表示类别为c和k的未激活特征值，c为总类别数；
步骤d2：利用图像语义分割标注获得边缘增强权重，计算公式如下：
其中wedge(i,j)表示坐标(i,j)位置的边缘增强权重wedge，
步骤d3：利用语义分割概率图与其对应标注，计算像素级的交叉熵，得到语义分割损失ls，然后计算加权和损失l：
l＝(1+wedge)ls
最后通过随机梯度下降优化方法，利用反向传播迭代更新模型参数，以最小化加权和损失l来训练网络得到最后的模型。
步骤e：利用训练好的深度神经网络模型对待分割图像进行语义分割，输出分割结果。
本发明还提供了用于实现上述方法的用于街景理解的语义分割系统，如图2所示，包括：
预处理模块，用于对训练集输入图像进行预处理，包括让图像减去其图像均值使其标准化，以及随机对图像进行统一尺寸的剪切获取相同尺寸的预处理图像；
编码特征提取模块，用于用卷积网络提取通用特征fbackbone，再基于通用特征fbackbone获取多重上下文对比点特征fcaspp，然后以这两部分级联作为编码网络提取编码特征fencoder；
解码特征提取模块，用于从所述卷积网络中选取中间层特征fmiddle，结合编码特征fencoder计算区域特征fregion，融合点域特征扩大解码特征分辨率，把这部分多次迭代作为解码网络，进行图像分辨率重建，计算解码特征fdecoder；
神经网络训练模块，用于用解码特征fdecoder获取语义分割概率图，利用图像语义分割标注计算边缘增强权重，并利用语义分割标注计算得到边缘增强的语义分割损失，以最小化边缘增强的语义分割损失为目标来对整个深度神经网络进行训练；以及
语义分割模块，用于利用训练好的深度神经网络模型对待分割图像进行语义分割，输出分割结果。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！