基于主动轮廓和深度学习的模糊边界图像自动分割方法与流程

本发明属于模糊边界图像处理的技术领域，具体涉及一种基于主动轮廓和深度学习的模糊边界图像自动分割方法。

背景技术：

模糊图像分割的难点在于难以准确的定位复杂的边界和正确分割微小的孤立目标。复杂的边界包括边界模糊、边界消失、边界复杂相互作用、形状多变等。超声图像是一种常见的模糊图像，其低对比度和多噪声的特性往往使得目标边缘模糊甚至消失，目标的实际边界容易受到伪影的影响，甚至部分被大量的伪影掩盖。模糊边界图像的精准分割成为当下的一个挑战。

近年来，深度卷积神经网络模型在语义分割上取得显著的成果，在低对比度图像上也取得了瞩目的结果。模糊边界具有一定的歧义性，在训练阶段容易产生噪声，使得深度模型在模糊边界图像分割的应用上仍然存在模糊边界分割能力不足的问题。在传统的超声图像分割方法中，基于水平集的活动轮廓模型具有对噪声不敏感，能够在目标模糊边界上演化轮廓，使轮廓贴近目标边界的优点。但活动轮廓模型需要初始化轮廓，难以应对复杂的图像。深度卷积神经网络模型已经能够取得较好的模糊边界图像分割结果，在这个分割结果上使用主动轮廓模型能够有效地减轻初始化轮廓对活动轮廓模型的限制，经过局部区域的精调进一步提升模糊边界的分割能力和边界分割结果的准确性。

本发明提出的基于主动轮廓和深度学习的模糊边界图像自动分割方法，结合主动轮廓模型和深度卷积神经网络模型，能够精准地分割模糊边界图像。

技术实现要素：

本发明基于主动轮廓和深度学习的模糊边界图像自动分割方法，实现自动化分割模糊边界图像的同时，进一步提高模糊边界分割的准确度，实现在图像中精准分割具有模糊边界的目标。首先使用深度学习模型分割模糊边界图像，得到初始化的目标分割结果；然后使用主动轮廓模型精调模型的分割结果，得到更加精准的正常边界和模糊边界分割结果。本发明提出的深度主动轮廓模型采用轮廓点局部演化的方式驱使轮廓向目标边界移动，同时使用初始化轮廓约束轮廓过度演化。

本发明的目的至少通过如下技术方案之一实现。

基于主动轮廓和深度学习的模糊边界图像自动分割方法，包括以下步骤：

s1、使用深度学习模型分割模糊边界图像，得到初始化的目标分割结果；

s2、使用主动轮廓模型精调模型的分割结果，得到更加精准的正常边界和模糊边界分割结果，具体包括：

s2.1、使用s1中得到的初始化的目标分割结果中的区域边界初始化主动轮廓模型，构造初始的水平集；

s2.2、使用水平集来表示能量函数，通过能量函数得到曲线演化的偏微分方程；

s2.3、进行轮廓点所在区域的判定；

s2.4、确定各个轮廓点所在的区域之后，计算偏微分方程的值，并迭代演化轮廓，直到达到最大迭代次数或轮廓变动微小或不变则完成分割。

进一步地，步骤s2.1中，通过深度学习模型的分割结果构造主动轮廓模型的初始水平集φi(x,y)，初始水平集的定义如下：

其中r(x,y)＝{0,1}为深度学习模型分割结果，r(x,y)＝0表示点(x,y)属于目标区域，r(x,y)＝1表示点(x,y)属于非目标区域；处于目标区域与非目标区域分界处的点构成目标边界b，d(x,y)为图像上每个点(x,y)与目标边界b的最短距离。

进一步地，步骤s2.2中，能量函数中共包含三个部分：1)轮廓的周长、面积；2)轮廓局部区域能量；3)轮廓约束能量；

整个能量函数的定义如下：

其中，c表示当前的分割轮廓，c0表示初始化的分割轮廓，length(c)表示轮廓c的周长，area(inside(c))表示轮廓c内部区域的面积，μ0(x,y)是指源图像i在(x,y)处的像素强度，c1是指轮廓c内部像素强度均值，c2是指轮廓c外部像素强度均值，p是指轮廓c上的点，p∈n(c)表示轮廓点p处于目标边缘区域内，p∈f(c)表示轮廓点p处于前景(目标)区域内，p∈b(c)表示轮廓点p处于背景区域内，ia(p)是指处于轮廓点p周围且在轮廓c内部的点，oa(p)是指处于轮廓点p周围且在轮廓c外部的点，cip是指满足ia(p)的点的像素强度均值，cop是指满足oa(p)的点的像素强度均值，所述轮廓点p周围是指以p为圆心，r为半径的圆的范围内；能量函数中的第一项和第二项表示轮廓的周长和面积，作用是使轮廓保持连续、光滑，只与轮廓本身的大小、形状有关；能量函数中的第三项和第四项是轮廓局部区域能量，作用是使轮廓向目标的边界演化，与图像数据有关；能量函数中的第五项是轮廓约束能量，作用是限制当前轮廓向极大偏离初始化轮廓的区域演化，u,v,λ1,λ2,λ3是相应能量项的系数。

进一步地，在能量函数f中，使用水平集方法来表示轮廓c以及轮廓内部和外部；在水平集方法中，图像域ω中轮廓c表示为零水平集即φ＝0，定义为：

使用零水平集即φ＝0表示轮廓c；

heaviside函数h和dirac函数δ0的定义如下：

使用h表示轮廓c内部和外部：

使用水平集φ、函数h、函数δ0表示轮廓的周长、面积：

area{φ>0}＝∫ωh(φ(x,y))dxdy；

轮廓约束能量是当前轮廓c和初始化轮廓c0的差异，使用水平集φ、函数h、φi表示，轮廓约束能量表示为当前水平集φ与初始化水平集φi的差异：

(c-c0)²＝∫ω(h(φ(x,y)))-h(φi(x,y))²dxdy；

轮廓局部区域能量是所有轮廓点周围内部和外部能量的总和；轮廓周围区域的能量采用局部计算的方式，对每个轮廓点单独计算其局部区域内轮廓内部和轮廓外部的能量，然后叠加得到总体的能量；使用水平集φ、函数h表示后，轮廓周围区域的能量中的各项定义为：

其中，对于轮廓点c上的点p(xp,yp)，φ(p)＝0；a(p)表示处于轮廓点p周围，所述轮廓点p周围是指以p为圆心，r为半径的圆的范围内；ia(p)表示处于轮廓点p周围且在轮廓c内部的点，对于满足ia(p)的点a(xa,ya)，φ(xa,ya)>0且oa(p)表示处于轮廓点p周围且在轮廓c外部的点，对于满足oa(p)的点a(xa,ya)，φ(xa,ya)<0且

进一步地，在使用水平集方法表示各个能量项后，能量函数f定义为：

其中c1是指轮廓c内部像素强度均值，c2是指轮廓c外部像素强度均值，分别满足：c1(φ)＝average(u0)in{φ≥0}，c2(φ)＝average(u0)in{φ<0}；通过水平集φ定义c1和c2：

cip为满足ia(p)的点的像素强度均值，cop为满足oa(p)的点的像素强度均值；

定义为：

能量函数f通过欧拉-拉格朗日变分法和梯度下降流得到曲线演化的偏微分方程：

其中(x,y)∈a(p)表示点(x,y)处于轮廓点p周围，所述轮廓点p周围是指以p为圆心，r为半径的圆的范围内；在曲线演化过程中，第n次迭代的水平集为φⁿ,第n+1次迭代的水平集使用有限差分的方式计算二维图像中水平方向和竖直方向的偏导数。

进一步地，步骤s2.3中，通过轮廓内外的像素强度差异判定轮廓点p在目标边缘区域内或者非目标边缘区域内，具体方法如下：在模糊边界图像中，目标边缘区域中轮廓周围内部和外部的像素强度均值差异较大，而非目标边缘区域中轮廓周围内部和外部的像素强度均值差异较小；当轮廓点p在非目标边缘区域时，cip与cop的值相近，即cip≈cop,|cip-cop|≤cd，cd是判定cip与cop是否相近的阈值；判定方法按照以下步骤：

s2.3.1、按照逆时针的顺序计算轮廓上每个轮廓点的cip与cop的差值dp，按照dp得到的顺序构建闭环队列d；

s2.3.2、使用宽度为r的高斯滤波器平滑闭环队列d；

s2.3.3、寻找闭环队列d中长度大于2r且dp≤cd的片段δc；

s2.3.4、若存在满足步骤s2.3.3的片段，则片段中所有轮廓点处于非目标边缘区域，其他轮廓点处于目标边缘区域；

处于目标边缘区域轮廓点的局部区域内轮廓内部的能量和为：

处于目标边缘区域轮廓点的局部区域内轮廓外部的能量和为：

进一步地，若轮廓点p处于非目标边缘区域，进一步确定轮廓点p处于前景区域或背景区域；由于轮廓点周围的区域特性和所处区域相似，因此将模糊边界图像根据图像特性分为若干个子区域，在这些子区域中确定轮廓点p处于前景区域或背景区域；具体方法如下：

s2.3.5、首先将模糊边界图像根据图像特性分为若干个子区域，确定轮廓片段δc所处的子区域o；

s2.3.6、在图像子区域o中建立二维坐标系，以处于轮廓片段δc中间的轮廓点坐标位置为二维高斯函数f(x,y)中心点center(x0,y0)，以x0与子区域边界1/6最大距离作为高斯函数x轴部分的标准差σx，以y0与子区域边界的1/6最大距离作为高斯函数y轴部分的标准差σy；使用二维高斯函数给子区域中的每个点赋予权值wij，并分别对轮廓内部和外部的权值wij做标准化处理，得到轮廓内部标准化后的权值wij_in以及轮廓外部标准化后的权值wij_out；

s2.3.7、使用标准化的权值wij_in、wij_out和像素强度μ0(i,j)计算子区域o中轮廓内外的均值co1和co2；当点(i,j)处于子区域o中轮廓内部时，n为处于子区域o中轮廓内部的点的个数；当点(i,j)处于子区域o中轮廓外部时，m为处于子区域o中轮廓外部的点的个数；

s2.3.8、计算轮廓片段δc中所有轮廓点周围区域的像素强度均值mδc，比较mδc与co1和co2的差异，若|mδc-cο1|≤|mδc-cο2|，则轮廓片段δc中的轮廓点处于前景区域，否则处于背景区域。

进一步地，若轮廓点p处于前景区域，则轮廓点p的演化方向朝向轮廓外部，在能量函数中，演化方向矫正体现为增加前景轮廓点的局部区域内轮廓外部的能量，增加的能量定义为：

若轮廓点p处于背景区域，则轮廓点p的演化方向朝向轮廓内部，在能量函数中，演化方向矫正体现为增加背景轮廓点的局部区域内轮廓内部的能量，增加的能量定义为：

进一步地，步骤s2.4中，通过迭代演化轮廓，直到达到最大迭代次数iter或轮廓变动微小或不变；其中，200≤iter≤10000；轮廓变动表示轮廓的变化情况，若连续多次变动微小则迭代停止。

与现有的技术相比，本发明的优点在于：

本发明将活动轮廓模型运用于模糊边界图像分割领域，在深度卷积神经网络模型的分割结果上进一步优化。在构造能量函数时，首次利用每个轮廓点周围区域的特性叠加计算的方式得到与图像像素相关的能量，同时加入对轮廓点所处区域的判定和轮廓点演化方向矫正，使得本方法具备分割模糊边界的能力并提升边界分割的精准度。

附图说明

图1为本发明实施例中的模糊边界原图像——甲状腺超声图像。

图2为本发明实施例的中边界标签图像，白色线条表示甲状腺区域示意图。

图3为本发明实施例中的u-net深度卷积神经网络分割甲状腺区域的结果示意图。

图4为本发明实施例中基于深度模型u-net和主动轮廓模型分割甲状腺区域的结果示意图。

图5为本发明实施例中轮廓点p局部区域示意图。

图6为本发明实施例中的甲状腺超声横向扫描图像以及子区域划分示意图。

图7为本发明实施例中的甲状腺超声纵向扫描图像以及子区域划分示意图。

图8为本发明实施例的步骤流程图。

具体实施方式

以下结合附图和实施例对本发明的具体实施作进一步说明，但本发明的实施和保护不限于此。需指出的是，以下若有未特别详细说明之处，均是本领域技术人员可参考现有技术实现的。

实施例：

基于主动轮廓和深度学习的模糊边界图像自动分割方法，如图8所示，包括以下步骤：

s1、对于一张模糊边界图像，如图1所示的甲状腺超声图像，使用训练好的u-net卷积神经网络模型分割甲状腺区域，得到u-net分割结果图像；

s2、使用主动轮廓模型精调模型的分割结果，得到更加精准的正常边界和模糊边界分割结果，如图8所示，包括以下步骤：

s2.1、使用图3中的甲状腺区域边界初始化主动轮廓模型，构造初始的水平集φi(x,y)；设置主动轮廓模型的参数为μ＝1,v＝0,λ1＝1,λ2＝1,λ3＝1,δt＝0.1,r＝8,cd＝8,ε＝1；初始水平集的定义如下：

其中r(x,y)＝{0,1}为深度学习模型分割结果，r(x,y)＝0表示点(x,y)属于目标区域，r(x,y)＝1表示点(x,y)属于非目标区域；处于目标区域与非目标区域分界处的点构成目标边界b，d(x,y)为图像上每个点(x,y)与目标边界b的最短距离。

s2.2、使用水平集来表示能量函数，通过能量函数得到曲线演化的偏微分方程；

能量函数中共包含三个部分：1)轮廓的周长、面积；2)轮廓局部区域能量；3)轮廓约束能量；

整个能量函数的定义如下：

其中，c表示当前的分割轮廓，c0表示初始化的分割轮廓，length(c)表示轮廓c的周长，area(inside(c))表示轮廓c内部区域的面积，μ0(x,y)是指源图像i在(x,y)处的像素强度，c1是指轮廓c内部像素强度均值，c2是指轮廓c外部像素强度均值，p是指轮廓c上的点，p∈n(c)表示轮廓点p处于目标边缘区域内，p∈f(c)表示轮廓点p处于前景(目标)区域内，p∈b(c)表示轮廓点p处于背景区域内，ia(p)是指处于轮廓点p周围且在轮廓c内部的点，oa(p)是指处于轮廓点p周围且在轮廓c外部的点，cip是指满足ia(p)的点的像素强度均值，cop是指满足oa(p)的点的像素强度均值，所述轮廓点p周围是指以p为圆心，r为半径的圆的范围内；能量函数中的第一项和第二项表示轮廓的周长和面积，作用是使轮廓保持连续、光滑，只与轮廓本身的大小、形状有关；能量函数中的第三项和第四项是轮廓局部区域能量，作用是使轮廓向目标的边界演化，与图像数据有关；能量函数中的第五项是轮廓约束能量，作用是限制当前轮廓向极大偏离初始化轮廓的区域演化，u,v,λ1,λ2,λ3是相应能量项的系数。

进一步地，在能量函数f中，使用水平集方法来表示轮廓c以及轮廓内部和外部；在水平集方法中，图像域ω中轮廓c表示为零水平集即φ＝0，定义为：

使用零水平集即φ＝0表示轮廓c；

heaviside函数h和dirac函数δ0的定义如下：

使用h表示轮廓c内部和外部：

使用水平集φ、函数h、函数δ0表示轮廓的周长、面积：

area{φ>0}＝∫ωh(φ(x,y))dxdy；

轮廓约束能量是当前轮廓c和初始化轮廓c0的差异，使用水平集φ、函数h、φi表示，轮廓约束能量表示为当前水平集φ与初始化水平集φi的差异：

(c-c0)²＝∫ω(h(φ(x,y)))-h(φi(x,y))²dxdy；

轮廓局部区域能量是所有轮廓点周围内部和外部能量的总和；轮廓周围区域的能量采用局部计算的方式，对每个轮廓点单独计算其局部区域内轮廓内部和轮廓外部的能量，然后叠加得到总体的能量；使用水平集φ、函数h表示后，轮廓周围区域的能量中的各项定义为：

其中，对于轮廓点c上的点p(xp,yp)，φ(p)＝0；a(p)表示处于轮廓点p周围，所述轮廓点p周围是指以p为圆心，r为半径的圆的范围内；ia(p)表示处于轮廓点p周围且在轮廓c内部的点，对于满足ia(p)的点a(xa,ya)，φ(xa,ya)>0且oa(p)表示处于轮廓点p周围且在轮廓c外部的点，对于满足oa(p)的点a(xa,ya)，φ(xa,ya)<0且

进一步地，在使用水平集方法表示各个能量项后，能量函数f定义为：

其中c1是指轮廓c内部像素强度均值，c2是指轮廓c外部像素强度均值，分别满足：c1(φ)＝average(u0)in{φ≥0}，c2(φ)＝average(u0)in{φ<0}。通过水平集φ定义c1和c2：

cip为满足ia(p)的点的像素强度均值，cop为满足oa(p)的点的像素强度均值；

定义为：

能量函数f通过欧拉-拉格朗日变分法和梯度下降流得到曲线演化的偏微分方程：

其中(x,y)∈a(p)表示点(x,y)处于轮廓点p周围，所述轮廓点p周围是指以p为圆心，r为半径的圆的范围内；在曲线演化过程中，第n次迭代的水平集为φⁿ,第n+1次迭代的水平集使用有限差分的方式计算二维图像中水平方向和竖直方向的偏导数。

s2.3、进行轮廓点所在区域的判定；如图5所示，黑线方框表示一块图像区域，闭合黑色曲线为轮廓c，轮廓c内部区域表示为inside(c)，轮廓c外部区域表示为outside(c)，点p为轮廓c上的一点，ia(p)是指处于轮廓点p周围且在轮廓c内部的区域，oa(p)是指处于轮廓点p周围且在轮廓c外部的区域，所述轮廓点p周围是指以p为圆心，r为半径的圆的范围内，如图中的黑色虚线所画的圆；

通过轮廓内外的像素强度差异判定轮廓点p在目标边缘区域内或者非目标边缘区域内，具体方法如下：在模糊边界图像中，目标边缘区域中轮廓周围内部和外部的像素强度均值差异较大，而非目标边缘区域中轮廓周围内部和外部的像素强度均值差异较小；当轮廓点p在非目标边缘区域时，cip与cop的值相近，即cip≈cop,|cip-cop|≤cd，cd是判定cip与cop是否相近的阈值；如图8所示，判定方法按照以下步骤：

s2.3.1、按照逆时针的顺序计算轮廓上每个轮廓点的cip与cop的差值dp，按照dp得到的顺序构建闭环队列d；

s2.3.2、使用宽度为r的高斯滤波器平滑闭环队列d；

s2.3.3、寻找闭环队列d中长度大于2r且dp≤cd的片段δc；

s2.3.4、若存在满足步骤s2.3.3的片段，则片段中所有轮廓点处于非目标边缘区域，其他轮廓点处于目标边缘区域；

处于目标边缘区域轮廓点的局部区域内轮廓内部的能量和为：

处于目标边缘区域轮廓点的局部区域内轮廓外部的能量和为：

进一步地，若轮廓点p处于非目标边缘区域，进一步确定轮廓点p处于前景区域或背景区域；由于轮廓点周围的区域特性和所处区域相似，因此将模糊边界图像根据图像特性分为若干个子区域，在这些子区域中确定轮廓点p处于前景区域或背景区域；在本实例中，使用甲状腺超声图像作为测试图像。甲状腺超声图像分为横向扫描图和纵向扫描图，如图6和图7所示。图6中左右分割线分开支气管和劲动脉区域，上下分割线降低声波衰减的影响，部分甲状腺超声图像中像素强度会随深度加深而减弱，上面普遍比下面要高亮，同时分出肌肉区域。图7上下分割线同样是降低声波衰减的影响，同时分出肌肉区域。在这些子区域中，子区域a、b、c、d确定轮廓点p处于前景区域或背景区域。具体步骤如下：

s2.3.5、首先将模糊边界图像根据图像特性分为若干个子区域，确定轮廓片段δc所处的子区域o∈{a,b,c,d}；

s2.3.6、在图像子区域o中建立二维坐标系，以处于轮廓片段δc中间的轮廓点坐标位置为中心点center(x0,y0)，得到二维高斯函数以x0与子区域边界1/6最大距离作为高斯函数x轴部分的标准差σx，以y0与子区域边界的1/6最大距离作为高斯函数y轴部分的标准差σy；使用二维高斯函数给子区域中的每个点赋予权值wij，并分别对轮廓内部和外部的权值wij做标准化处理，得到轮廓内部标准化后的权值wij_in以及轮廓外部标准化后的权值wij_out；

s2.3.7、使用标准化的权值wij_in，wij_out和像素强度μ0(i,j)计算子区域o中轮廓内外的均值co1和co2；当点(i,j)处于子区域o中轮廓内部时，n为处于子区域o中轮廓内部的点的个数；当点(i,j)处于子区域o中轮廓外部时，m为处于子区域o中轮廓外部的点的个数。

s2.3.8、计算轮廓片段δc中所有轮廓点周围区域的像素强度均值mδc，比较mδc与co1和co2的差异，若|mδc-cο1|≤|mδc-cο2|，则轮廓片段δc中的轮廓点处于前景区域，否则轮廓点处于背景区域；

若轮廓点p处于前景区域，则轮廓点p的演化方向朝向轮廓外部，在能量函数中，演化方向矫正体现为增加前景轮廓点的局部区域内轮廓外部的能量，增加的能量定义为：

若轮廓点p处于背景区域，则轮廓点p的演化方向朝向轮廓内部，在能量函数中，演化方向矫正体现为增加背景轮廓点的局部区域内轮廓内部的能量，增加的能量定义为：

s2.4、确定各个轮廓点所在的区域之后，计算偏微分方程的值，并通过迭代演化轮廓，直到达到最大迭代次数iter＝1000或轮廓变动微小或不变则完成分割。其中，轮廓变动表示轮廓的变化情况，若连续多次变动微小则迭代停止。

本实施例中，图2为标准分割的图像，由经验丰富的医生标注。图3中u-net的分割结果呈现分割错误和分割不足的问题，而在使用主动轮廓模型后，如图4所示，结果图像去除了分割错误的区域，并使轮廓在模糊区域向外扩张覆盖部分分割不足的区域。

基于主动轮廓和深度学习的模糊边界图像自动分割方法，目的是使分割模型能够分割模糊边界区域，同时精调分割轮廓，使分割轮廓尽可能的贴近目标边界。本发明采用深度卷积网络模型和主动轮廓模型结合的方式，使模型达到精准的分割结果。本发明的实验数据为甲状腺超声图像，数据集包含309张图像，其中150张作为训练集，其余159张作为测试集。使用150张训练图像训练u-net模型，训练好的模型分割159测试图像，然后在使用主动轮廓模型进一步精调u-net分割结果。分割结果的量化指标如下：

其中tp,tn,fp,fn,ap,andan分别表示真正类(truepositive)，真负类(truenegative)，假正类(falsepositive)，假负类(falsenegative)，正类(allpositive)，负类(allnegative)。对159张图像进行分割后得到的平均量化指标如表1所示。

表1

由上表可知，本发明结合u-net和主动轮廓模型相比只使用u-net，在细粒度分割上像素分类准确度更高，accuracy达到0.9933；在分割为甲状腺的区域中有0.9278为正确的甲状腺区域，提升2.78％的精确度；分割为甲状腺的区域与真正的甲状腺区域的交并比为0.9026，相比只使用u-net提升1.54％。本发明在量化指标accuracy、ppv、iou上的提升，说明本发明能够进一步提高模糊图像中目标分割的精准度，在模糊边界得出精细且精准的分割结果。本发明在u-net的基础上使用主动轮廓模型得到了更好的模糊边界图像分割结果。基于主动轮廓和深度学习的模糊边界图像自动分割方法具备分割模糊边界图像中的模糊边界的能力，同时精调分割轮廓使轮廓向目标边界贴近。