一种基于形状先验学习的弱监督图像分割方法

本发明涉及图像分割，具体为一种基于形状先验学习的弱监督图像分割方法。

背景技术：

1、随着弱监督图像分割研究的推进，弱监督图像分割方法越来越受到研究人员的关注。在弱监督的学习中，由于数据集并不完善，算法模型在训练过程中无法学习到所有的场景。针对图像分割，模型在进行测试时背景和目标区域都可能没见过，未知性和不确定性增加，可能会导致分割效果变差。此时目标区域的先验信息作为额外的输入，可以提高模型的分割效果。目标区域先验信息也分为几种类型，包括：用户交互、外观先验、正则项以及形状先验等。

2、用户交互需要使用者使用交互界面或工具手动传递先验信息给算法模型，虽然容易实现，但是操作比较麻烦，并且容易受到疲倦等因素的影响。

3、外观先验是通过利用目标区域的一些统计信息，例如平均灰度、灰度方差或者纹理，将分割目标与先验信息匹配，完成目标分割，但是只适用于比较简单的特征信息，难以很好的表达较为复杂的信息。

4、正则项主要是表达目标区域的周长或者空间关系等一些特征，在模型训练的过程中进行限制，虽然可以直接将特征体现在损失函数中，但是复杂的先验知识难以匹配合适的正则项。

5、形状先验就是利用目标区域的形状特征，包括目标区域的轮廓、几何模型或者物理特征等，虽然形状先验比较直观，但是对于复杂的形状先验，没有很好的显式表达。

6、实际场景中，如图1所示为cvsd(conference video segmentation dataset会议视频分割数据集)中部分视频会议中人像分割的示例。从图1中可以看出，虽然不同人、不同动作具有不同的分割轮廓，但是整体的分割形状是大致相同的，也就是形状先验是可以合理的指导模型训练的。然而，从图中也可以看出，常见的目标，例如人、飞机等，形状都比较复杂，无法直接通过数学表达式直接显式表达出来。

7、一些传统算法，例如水平集分割算法，通过迭代和能量函数的方式，使用形状先验，将分割输出逐渐逼近真值，但传统方法需要迭代的次数多，并且面对复杂的形状不一定能够有很好的契合。近些年，随着深度学习的发展，一些深度学习的方法也将形状先验加入到模型中。tricyclegan将形状先验作为数据合成的模板，使用合成的数据进行训练，从而将形状先验加入到模型中。但是tricyclegan只能针对一些形状比较简单的目标，否则无法生成形状的模板。虽然已经有很多方法都是用形状先验获得了比较好的效果，但大部分都是将形状先验隐藏在模型的训练中，并没有显式地将形状先验表达出来。而显式表达形状先验，针对复杂形状可以通过学习的方式，对于简单的形状，可以直接构造表达式，灵活并且方便。因此，如何显式地表达形状先验并用于图像分割中，是值得研究的问题。

8、目前使用形状先验的分割方法，有些是使用目标区域重心、半径或者周长等波动比较大的统计信息，数据集整体的统计信息针对单个样本来说差异可能会比较大，特别是对于较为复杂的目标区域，使用统计信息作为先验，不一定能够获得比较好的效果。另一些弱监督方法使用形状先验模拟生成目标区域的训练样本，不仅解决了数据集标注问题，而且训练样本中本身就包含了形状信息。但是当目标区域比较复杂时，难以表达形状先验，也就无法生成目标区域，这种方法就会失效。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种基于形状先验学习的弱监督图像分割方法，将目标区域的形状先验加入到损失函数中，由此指导模型的训练，提高了图像分割精度。技术方案如下：

2、一种基于形状先验学习的弱监督图像分割方法，包括以下步骤：

3、步骤1：构建数据集

4、针对不同种类的目标，选择对应的数据集，选择带有标记的样本用于预训练，并将其与随机背景图片进行结合人工生成训练数据集；

5、步骤2：模型训练

6、采用基于形状的图像分割网络，其包括形状学习子网络和分割子网络；

7、形状学习子网络使用卷积受限玻尔兹曼机作为backbone，卷积受限玻尔兹曼机加入卷积操作，每个卷积核的卷积操作都对应一个隐空间输出节；且采用多个卷积受限玻尔兹曼机堆叠的形式；

8、分割子网络使用深度残差网络提取输入图像的特征，对提取到的特征在进行上采样，恢复到原始图像尺寸，特征融合过程使用通道叠加的方式以上减少采样过程信息的丢失；

9、训练开始时，随机初始化形状学习子网络和分割子网络权重，使用带有标记的样本预训练形状学习子网络，然后使用人工合成的训练数据集训练形状学习子网络和分割子网络，两个子网络训练过程互相独立，梯度传递也相互独立，分割子网络使用形状先验用于指导参数更新方向；

10、步骤3：图像分割

11、将测试样本输入分割子网络中，分割子网络输出初步的分割结果图，再将分割结果图输入形状学习子网络中，利用形状先验对分割结果图进行进一步的确定，得到精确的图像分割结果。

12、进一步的，通过形状学习损失函数提取形状先验的优化目标，形状学习损失函数采用卷积受限玻尔兹曼机的能量函数；将卷积受限玻尔兹曼机中每个卷积核的偏置作为易辛模型的外场，将卷积核作为易辛模型的内部耦合系数，则定义卷积受限玻尔兹曼机的能量函数为：

13、

14、其中，·代表矩阵相乘，*代表卷积操作，k为卷积核的数量，wk为第k个卷积核，为wk旋转180°，h为隐藏层输出，hk为隐藏层第k个输出单元，v为输入图像，nh为隐藏层输出尺寸，nv为输入图像尺寸，bk为第k个卷积核的偏置，c为输入层的偏置，为隐藏层第k个输出单元的第i行第j列的值，vij为输入图像第i行第j列的像素值；

15、根据易辛模型和损失函数的定义，得出输入和隐藏层输出的联合概率分布为：

16、

17、其中，z为归一化因子，包含所有输入样本的信息；

18、根据联合概率分布，计算得出输入样本的边缘分布为：

19、

20、其中，为第i个卷积核旋转180°后的结果，bi为第i个卷积核的偏置。

21、更进一步的，通过分割损失函数指导分割子网络的训练以及衡量分割子网络的模型效果；分割损失函数包括衡量分割输出与真值图差异的差异损失函数，以及衡量分割输出与形状先验之间距离的形状损失函数；

22、1)差异损失函数

23、差异损失函数使用不存在样本不均衡问题的焦点损失函数，针对不同的分割目标，选择不同的平衡系数和聚焦参数；整体的差异损失函数定义为：

24、

25、其中，yij和分别代表输入图像第i行第j列像素点的分类真值和输出值，n和m分别代表输入图像的总行数和总列数，为焦点损失函数，表示如下：

26、

27、其中，α为平衡系数，γ为聚焦参数，描述对难分类实例的权重；

28、2)形状损失函数

29、形状损失函数代表分割输出与形状先验概率分布之间的差异，也即描述两个分布之间的差异，且采用wasserstein距离作为形状损失函数，具体表示如下：

30、

31、其中，y和分别为形状先验图和分割子网络输出图。代表形状先验图y和分割子网络输出图的联合分布集合，η代表y和的一个联合分布，e(x,y)～η(||x-y||)表示期望值，x和y分别表示形状先验图的像素值和分割自网络输出图的像素值；

32、则分割损失函数定义为：

33、lseg＝lshape+λshapeldiff                             (7)

34、其中，λshape为形状超参数，用于平衡两部分损失函数。

35、更进一步的，所述步骤2中基于形状的图像分割网络的训练过程为：

36、a)初始化基于形状的图像分割网络模型参数，设定总迭代次数m，当前迭代次数i＝0；

37、b)使用一部分训练样本和cd-1算法对形状学习子网络进行预训练；

38、c)使用训练样本x和随机图像集构建人工合成训练集

39、d)如果迭代次数i小于迭代次数m，则循环执行步骤e)-h)；

40、e)将训练集中的分割真值图送入形状学习子网络进行训练，更新形状学习子网络参数；

41、f)分割子网络使用训练集进行训练，计算差异损失函数ldiff；

42、g)根据分割子网络输出与形状学习子网络的输出，计算形状损失函数lshape；

43、h)使用adam优化器更新分割子网络参数；

44、i)训练结束。

45、更进一步的，所述cd-1算法训练流程为：

46、1)设定总迭代次数m′，当前迭代次数i′＝0；

47、2)如果迭代次数i′小于迭代次数m′，则循环执行步骤3)-步骤6)；

48、3)将训练样本x0输入模型，令可视单元v0＝x0；

49、4)根据下式中条件概率p(h|v)，计算出隐藏层输出h；

50、

51、

52、其中，δ(·)为sigmoid函数，*代表卷积操作，wk为第k个卷积核，为wk旋转180°，h为隐藏层输出，v为输入图像，bk为第k个卷积核的偏置，c为输入层的偏置，为隐藏层第k个输出单元的第i行第j列的值，vij为输入图像第i行第j列的像素值；

53、5)根据上式中条件概率p(v|h)，计算出隐藏层对应的可视层单元v1，即第一层可视单元，可以取v为输入图像，与隐藏层第一个输出单元h1计算得到；v1是v0的下一层。

54、6)更新crbm参数，基本梯度计算公式为：

55、

56、其中，θ为crbm的参数，v0为上一层的可视单元；

57、7)训练结束。

58、本发明的有益效果是：

59、1)本发明将目标区域的形状先验加入到损失函数中，由此指导模型的训练，提高图像分割精度。

60、2)本发明针对复杂形状难以表达的问题，设计了形状先验学习模块，该模块可以学习目标区域的形状，将形状信息记录在网络的权重中，最终可以通过数学表达式显式表达出目标区域的形状概率分布

61、3)本发明分割模块在训练过程中，将学习到的形状先验作为基准，衡量分割输出的形状分布与形状先验的距离，使用该距离作为损失函数的一部分，指导分割模块的训练；

62、采用卷积受限的玻尔兹曼机作为形状先验的学习结构，在衡量分割输出形状分布和形状先验之间的距离时，采用wasserstein距离，即使在两个分布毫无关系的情况下，也能够反应两个分布之间的差异，产生梯度信息，使得模型在训练过程中更容易收敛。