基于最优传输的边界校正方法及其系统、介质及设备

本技术涉及计算机视觉领域，特别是涉及一种通过提高语义边界预测准确性来提高语义分割性能的方法及其系统。

背景技术：

1、当前，语义边界区域分割准确度不高，并且准确的边界分割是提高小物体分割性能的一种重要方法，因此目前语义分割研究关注提高语义边界的准确性，来提高语义分割的性能。目前常用的做法是引入边界分支，并通过二元交叉熵(binary crossentropy,bce)损失对预测边界进行监督：

2、现有方案一：gated-scnn

3、如图1所示，gated-scnn提出了一个双流网络如图1所示，上面分支用以提取语义特征，下面分支用以提取边界特征，在推理过程中将语义特征和边界特征融合用以语义分割预测，并使用真实的语义边界对预测的边界通过二元交叉熵损失进行监督：

4、现有方案二：decouplesegnets

5、如图2所示，decouplesegnets提出将网络提取到的图像特征分解为物体内部特征和物体边界特征分别进行监督，然后在将特征合并用以最后的语义分割。同样的，该方法也使用二元交叉熵对预测的语义边界进行监督：

6、上述方法都是使用二元交叉熵损失对预测的语义边界进行监督，损失定义如下：

7、

8、该损失是将边界预测的问题看做逐像素分类的问题，通过计算预测边界分类错误的像素来对边界分割的结果进行评价，但该损失没有考虑到预测边界和真实边界的空间距离，监督不够精准，给出一个示例来阐述上述问题，如图3所示：

9、其中bpred1，bpred2代表两个预测边界的结果，bgt代表真实的语义边界，从空间位置上看，预测的结果bpred1是优于bpred2，因为bpred1距离真实的语义边界bgt更近，但对于二元交叉熵损失来说，bpred1和bpred2在局部的区域边界全部预测错误，因此其难以区分两次边界预测结果的优劣，这说明使用二元交叉熵损失来监督边界预测的结果是不够准确和全面的。

10、因此，亟需提出一种新型基于最优传输的边界校正的方法，可以解决目前现有技术中存在的针对边界的二元交叉熵损失函数没有考虑到预测边界和真实边界的距离，对边界监督不够精准，导致边界分割准确度不高，影响语义分割性能的缺陷。

技术实现思路

1、为了解决上述现有技术的缺陷，本技术实施例提供了一种基于最优传输的边界校正方法，以解决使用二元交叉熵损失对语义边界监督不准确的问题，提出了一种基于最优传输的边界校正方法。

2、第一方面，本技术实施例提供了一种基于最优传输的边界校正方法，该方法包括：

3、通用语义分割步骤：基于通用语义分割网络进行特征提取、特征增强及逐像素的分类操作，输出语义分割监督的损失值；

4、边界预测步骤：在通用语义分割网络后引入一边界分支，基于边界分支计算预测边界的初始位置，并通过语义边界损失进行监督；

5、边界校正步骤：将边界分支的每个像素预测结果进行归一化，通过最优传输计算语义边界定位损失，通过不断训练进行语义边界损失的校正，达到边界区域分割的最优准确度。

6、优选的，本发明具体实施例中，上述通用语义分割步骤进一步包括：基于语义分割监督的损失函数lce对预测语义的结果lpred及真实的语义结果lgt，进行语义分割监督，输出语义分割监督的损失值。

7、优选的，本发明具体实施例中，上述边界预测步骤包括：在所述通用语义分割网络后通过一个边界预测分支进行边界预测，由卷积层和sigmoid激活层组成，预测结果通过二元交叉熵损失进行监督。

8、优选的，本发明具体实施例中，上述边界校正步骤包括：

9、预测边界的结果计算步骤：计算bpred(i,j)的归一化结果其中，bpred(i,j)为预测边界的结果；

10、边界区域的目标分布计算步骤：计算btarget(i,j)的归一化结果其中，btarget(i,j)为目标边界的结果；

11、传输代价计算步骤：计算源分布上每个位置像素ps到目标分布pt每个位置像素的欧氏距离作为传输的代价，cst＝(ps-pt)2，完成传输代价矩阵的构建；

12、边界监督步骤：计算边界最优传输问题的目标值其中，π为最优传输方案，c为传输代价矩阵，u为最优传输方案的集合，代表从源分布到目标分布的传输矩阵集合；

13、边界最优传输的约束条件为：其中，ns代表离散的源分布存在情况，nt代表离散的目标分布存在情况；

14、最小传输代价对预测的边界进行了监督，定义lopt为语义边界校正损失函数：

15、其中，bpred为预测边界的结果，bgt代表真实的语义边界，α和β代表目标分布和源分布的转移概率矩阵。

16、优选的，本发明具体实施例中，上述边界校正步骤还包括：

17、网络损失函数为：

18、

19、其中，lce是用以语义分割监督的损失函数，lopt是语义边界校正损失函数，lbce是二元交叉熵损失，代表语义边界定位损失函数，ypred为语义分割预测结果，ygt为真实语义分割结果，λ1及λ2为权重参数。

20、优选的，本发明具体实施例中，上述边界监督步骤还包括：

21、边界最优传输问题的目标为：

22、其中，α代表目标分布的转移概率矩阵，β代表源分布的转移概率矩阵，rn代表转移矩阵。

23、优选的，本发明具体实施例中，上述边界分支包括：卷积层、正则化层及激活层堆叠而成，所述激活层的激活函数为sigmoid，将所述边界分支每个像素预测的结果归一化到(0,1)范围，每个所述像素的值代表其属于边界的概率。

24、第二方面，本技术实施例提供了一种基于最优传输的边界校正系统，采用如上所述基于最优传输的边界校正方法，所述系统包括：

25、通用语义分割模块：基于通用语义分割网络进行特征提取、特征增强及逐像素的分类操作，输出语义分割监督的损失值；

26、边界预测模块：在通用语义分割网络后引入一边界分支，基于边界分支计算预测边界的初始位置，并通过语义边界损失进行监督；

27、边界校正模块：将边界分支的每个像素预测结果进行归一化，通过最优传输计算语义边界定位损失，通过不断训练进行语义边界损失的校正，达到边界区域分割的最优准确度。

28、第三方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的基于最优传输的边界校正方法的步骤。

29、第四方面，本技术实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的基于最优传输的边界校正方法的步骤。

30、相比于相关现有技术，具有以下突出的有益效果：

31、1、本发明将语义边界预测建模为最优传输问题，计算预测边界到真实边界的最小传输代价对语义边界进行更准确的监督，提高了边界区域分割的准确性，进而提高了语义分割的性能；

32、2、本发明提出了一种基于最优传输边界校正的语义分割方法，该方法只是在训练阶段通过最优传输为语义边界提供额外监督，在推理阶段可以将边界分支去除，从而不增加推理阶段的计算量和参数量。