一种基于轻量级孪生网络的医学图像分割方法及装置

1.本技术属于图像分割技术领域，尤其涉及一种基于轻量级孪生网络的医学图像分割方法及装置。


背景技术：

2.图像分割一直是图像处理和分析领域的难点，也是计算机视觉领域的关键问题之一。在医学图像的处理和分析中，医学图像分割是三维重建、定量分析等处理的基础，医学图像分割的目的是将医学图像中需要强调的部分(例如血管、肿瘤、器官)分割出来，并提取相关特征，并以此来为临床治疗和病理学研究提供一些可靠的依据，辅助专家进行诊断。
3.通常，在医学图像中存在几个比较明显的难点，不同组织之间的对比度较低，分割目标与其他组织的差异性差，不易分辨，导致边界分割不清晰；另外，对于三维医学图像，现有的各种方法并没有专注于发掘切片间的关系。
4.医学图像分割网络的结构较为复杂，同时输入多个切片进行跨切片操作会导致巨大的计算量，运行效率会比较低。


技术实现要素：

5.本技术的目的是提供一种基于轻量级孪生网络的医学图像分割方法及装置，以克服在图像分割时，需要获取切片上下文信息计算量巨大，运行效率比较低的问题。
6.为了实现上述目的，本技术技术方案如下：
7.一种基于轻量级孪生网络的医学图像分割方法，包括：
8.获取用于训练的医学图像样本；
9.将医学图像相邻两个切片输入到构建的深度神经网络模型进行训练，获得训练好的深度神经网络模型，所述深度神经网络模型包括编码网络和解码网络，所述编码网络包括一个轻量级孪生网络和一个联系模块，所述轻量级孪生网络包括第一分支和第二分支，每个分支包括依次连接的卷积块、第一级轻量级模块、第二级轻量级模块和第三级轻量级模块，两分支对应的各级轻量级模块之间设置有对应第一级差异模块、第二级差异模块和第三级差异模块，所述第一分支的第三级轻量级模块和所述第二分支的各个轻量级模块连接到所述联系模块，所述解码网络包括与所述各级差异模块对应的第一级解码器、第二级解码器和第三级解码器，所述联系模块的输出与第一分支的第三级轻量级模块的输出融合后输入到第三级解码器，所述第三级解码器上采样后输入到第二级解码器，所述第二级解码器上采样后输入到第一级解码器，所述第一级解码器、第二级解码器和第三级解码器的输出经过上采样融合后输入到分类器中进行分类，输出图像分割结果；
10.采用训练好的深度神经网络模型对医学图像进行分割。
11.进一步的，所述第一级差异模块、第二级差异模块和第三级差异模块，执行如下操作：
12.对来自第一分支和第二分支的两个特征图作元素减法得到差异部分；
separable convolution，dwconv)代替普通卷积减少参数量，通过孪生网络和轻量级模块的结合来达到更好的轻量化效果。同时，在特征图之间加入了一个差异模块(difference module，dif
‑
m)，通过对两个特征图作差获取两个相邻切片的差异并用它监督训练，获得更好的边界效果；如果目标本来就比较小，由于在编码的过程中图像信息会被压缩，可能会看不见，在编码最后加入了一个联系模块(relation module，rel
‑
m)，通过参照其他切片对应位置的信息能更好指导当前切片的分割，减少假阳性，减少误差。
附图说明
31.图1为本技术一种基于轻量级孪生网络的医学图像分割方法流程图；
32.图2为本技术深度神经网络模型结构示意图；
33.图3为本技术实施例差异模块结构示意图；
34.图4为本技术实施例联系模块结构示意图；
35.图5为本技术实施例轻量级神经网络结构示意图。
具体实施方式
36.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
37.本技术的总体思路是：在医学图像分割时，考虑切片间的关系。为此，采用了孪生网络，孪生网络由两个结构、参数完全相同的子网络构成，非常善于对两个目标进行对比，并且孪生网络的两个子网络之间权值共享，可以减少很多参数，能够提升网络的运行效率。另外，深度可分离卷积不仅可以达到普通卷积的效果，并且参数量和计算量远小于普通卷积，能够大幅减少网络运行压力，提高整体效率。
38.在一个实施例中，如图1所示，提供了一种基于轻量级孪生网络的医学图像分割方法，包括：
39.步骤s1、获取用于训练的医学图像样本。
40.本技术构建了用于医学图像分割的深度神经网络模型，然后对构建的深度神经网络模型进行训练，采用训练好的深度神经网络模型来对医学图像进行分割。
41.为了训练构建的深度神经网络模型，首先需要采集三维医学图像，并对采集到的医学图像进行预处理，生成用于训练的医学图像样本。
42.本实施例对医学图像进行预处理，包括对图像进行平移、翻转、旋转变换、灰度变化、透视变换以及添加高斯噪声等数据增强预处理，以增强网络的泛化能力。
43.在实际的应用中，还将生成的医学图像样本分为训练集和测试集，训练集用于对构建的深度神经网络模型进行训练，而测试集用于评估训练好的深度神经网络模型的实际效果。
44.步骤s2、将医学图像相邻两个切片输入到构建的深度神经网络模型进行训练，获得训练好的深度神经网络模型，所述深度神经网络模型包括编码网络和解码网络，所述编码网络包括一个轻量级孪生网络和一个联系模块，所述轻量级孪生网络包括第一分支和第二分支，每个分支包括依次连接的卷积块、第一级轻量级模块、第二级轻量级模块和第三级
轻量级模块，两分支对应的各级轻量级模块之间设置有对应第一级差异模块、第二级差异模块和第三级差异模块，所述第一分支的第三级轻量级模块和所述第二分支的各个轻量级模块连接到所述联系模块，所述解码网络包括与所述各级差异模块对应的第一级解码器、第二级解码器和第三级解码器，所述联系模块的输出与第一分支的第三级轻量级模块的输出融合后输入到第三级解码器，所述第三级解码器上采样后输入到第二级解码器，所述第二级解码器上采样后输入到第一级解码器，所述第一级解码器、第二级解码器和第三级解码器的输出经过上采样融合后输入到分类器中进行分类，输出图像分割结果。
45.本技术构建的深度神经网络模型如图2所示，包括编码网络和解码网络。其中所述编码网络包括一个轻量级孪生网络和一个联系模块rel
‑
m，所述轻量级孪生网络包括第一分支和第二分支。
46.每个分支包括依次连接的卷积块conv3*3、第一级轻量级模块lw
‑
m+pooling、第二级轻量级模块lw
‑
m+pooling和第三级轻量级模块lw
‑
m+se+pooling，两分支对应的各级轻量级模块之间设置有对应第一级差异模块dif
‑
m1、第二级差异模块dif
‑
m2和第三级差异模块dif
‑
m3，其中第一级轻量级模块与第一级差异模块对应，第二级轻量级模块与第二级差异模块对应，第三级轻量级模块与第三级差异模块对应。所述第一分支的第三级轻量级模块和所述第二分支的各个轻量级模块连接到所述联系模块rel
‑
m。本技术第一级轻量级模块和第二级轻量级模块均分别包括一个轻量级神经网络层lw
‑
m和一个池化层pooling；所述第三级轻量级模块包括一个轻量级神经网络层lw
‑
m、一个squeeze and excitation层(简称se)和一个池化层pooling。如图2所示，第一级轻量级模块和第二级轻量级模块均记为lw
‑
m+pooling，第三级轻量级模块记为lw
‑
m+se+pooling。
47.所述解码网络包括与所述各级差异模块对应的第一级解码器decoder1、第二级解码器decoder2和第三级解码器decoder3。即第一级差异模块dif
‑
m1连接第一级解码器decoder1，即第二级差异模块dif
‑
m2连接第二级解码器decoder2，即第三级差异模块dif
‑
m3连接第三级解码器decoder3。
48.联系模块rel
‑
m的输出与第一分支的第三级轻量级模块的输出融合后输入到第三级解码器decoder3，所述第三级解码器decoder3上采样后输入到第二级解码器decoder2，所述第二级解码器decoder2上采样后输入到第一级解码器decoder1，所述第一级解码器decoder1、第二级解码器decoder2和第三级解码器decoder3的输出经过上采样融合后输入到分类器sigmoid中进行分类，输出图像分割结果。
49.训练的过程如下：
50.将相邻两个切片slice1和slice2输入到编码网络，slice1输入到轻量级孪生网络的第一分支，slice2输入到轻量级孪生网络的第二分支。slice1和slice2是相邻的两帧图像，在医学图像中，也称为切片。例如一个ct数据包中，有多个切片。
51.slice1和slice2分别在两个分支中同时进行处理，以一个分支为例，切片经过一个3
×
3的卷积后，再经过lw
‑
m和一次池化操作后，得到第一张特征图(s表示第s个切片)；然后经过lw
‑
m和一次池化操作后，得到第二张特征图然后经过lw
‑
m、se操作以及池化操作后，得到第三张特征图孪生网络的两个子网络每个步骤都采取相同的
策略和参数，达到权值共享的效果。本技术用表示i级轻量级模块输出的特征图，s表示第s个切片。
52.两个分支的第一级轻量级模块输出的第一张特征图送入到第一级差异模块，第二级轻量级模块输出的第二张特征图送入到第二级差异模块，第三级轻量级模块输出的第三张特征图送入到第三级差异模块。
53.本实施例差异模块的结构示意图如图3所示，差异模块进行如下操作：
54.对来自第一分支和第二分支的两个特征图作元素减法得到差异部分；
55.将差异部分与来自第一支路的特征图作元素加法得到临时特征图；
56.将临时特征图经过sigmoid函数后得到差异特征图。
57.具体的，差异模块通过对两个特征图作元素减法得到差异部分(dif
‑
part)，记为并且每次记录差异部分的置信度，具体计算公式如下：
[0058][0059]
其中，s表示是第s张切片，表示第i级轻量级模块输出的特征图，i等于1、2或3。
[0060]
差异部分(dif
‑
part)与slice1的特征图作元素加法得到临时特征图(temp feature)，临时特征图经过sigmoid函数后得到该差异模块输出的差异特征图(dif
‑
feature)，记为并通过跳跃连接输送到解码器。表示第i级差异模块输出的特征图，i等于1、2或3。
[0061]
在一个具体的实施例中，本技术联系模块，执行如下操作：
[0062]
采用池化操作将第二分支各个轻量级模块输出的各个尺度的特征图统一尺寸，然后拼接起来，经过门限阈值筛选置信度大于置信度阈值的像素之后，再作softmax处理，然后与第一分支第三级轻量级模块输出的特征图作元素乘法，再将得到的结果与第一分支第三级轻量级模块输出的特征图作元素加法，生成输出的特征图。
[0063]
具体的，本实施例slice2对应的分支网络产生的三个特征图被输入到联系模块rel
‑
m，在联系模块rel
‑
m中，采用池化的方法将slice2各个尺度的特征图统一尺寸，然后拼接起来，经过门限阈值筛选置信度大于0.75的像素之后，再作softmax处理，然后与slice1最后的特征图作元素乘法，再将得到的结果与slice1最后的特征图作元素加法，生成特征图记录的置信度，最后将输入到解码器。
[0064]
如图4所示，第二分支产生的三个特征图经过池化操作将slice2各个尺度的特征图统一尺寸，然后拼接起来(concat)，经过门限阈值筛选(gate)之后，再作softmax处理，然后与slice1最后的特征图作元素乘法，再将得到的结果与slice1最后的特征图作元素加法，生成特征图输入到第三级解码器decoder3。
[0065]
在解码网络中，第三级解码器decoder3接收第三级差异模块dif
‑
m3的结果同时也接收联系模块rel
‑
m输出的特征图与slice1最后的特征图作元素加法得到特征图，并开始解码，生成一个新的特征图x
out3
，具体计算公式如下：
[0066][0067]
其中x
out1
表示第三级解码器decoder3的输出，表示第s个切片第三级差异模块的输出，另外λ+μ＝1，0<λ,μ<1，λ,μ为和的置信度。
[0068]
再将x
out1
进行上采样，恢复到与第二级差异模块得到的差异特征图的尺寸，同时把这个差异特征图输入到第二级解码器decoder2进行解码，生成新的特征图x
out2
，其中up()为上采样操作，其他参数同上，同理，进行上采样再把第一个差异模块得到的结果输入decoder1，得到尺寸更大的特征图x
out3
，
[0069]
最后，将所有解码器的输出的各个尺度的特征图进行上采样统一尺寸，并且把结果相加进行特征融合，经过sigmoid函数处理后生成最后的分割结果。
[0070]
在一个具体的实施例中，本技术轻量级神经网络层如图5所示，执行如下操作：
[0071]
输入分两路，第一路经过一个1*1的卷积块生成特征图f1，继续经过一个深度可分离卷积dwconv生成特征图f2，第二路经过一个深度可分离卷积dwconv生成特征图f3；
[0072]
所述特征图f2与特征图f3进行连接处理后，依次经过mish激活操作、深度可分离卷积dwconv操作、mish激活操作和1*1卷积操作申城特征图f4；
[0073]
所述特征图f1和特征图f4进行连接处理后输出。
[0074]
具体的，如图5所示，轻量级神经网络层的一路输入(input)经过一个1*1的卷积块生成特征图f1，继续经过一个深度可分离卷积dwconv生成特征图f2，另一路经过一个深度可分离卷积dwconv生成特征图f3。特征图f2与特征图f3进行连接处理(concat)后，依次经过mish激活操作、深度可分离卷积dwconv操作、mish激活操作和1*1卷积操作生成特征图f4。特征图f1和特征图f4进行连接处理(concat)后得到输出(output)。本实施例通过轻量级神经网络层可减少网络参数，进一步轻量化网络。
[0075]
步骤s3、采用训练好的深度神经网络模型对医学图像进行分割。
[0076]
在训练好深度神经网络模型之后，对于待分割的医学图像，将待分割的医学图像输入到训练好的深度神经网络模型，得到图像分割结果。
[0077]
本技术在获取训练样本时，还生成测试样本，使用训练好的深度神经网络模型对测试样本进行测试并得到评测数据，来验证深度神经网络模型的效果。
[0078]
本技术深度神经网络模型的损失函数由以下几部分组成：
[0079]
dice系数是一种统计量，用来测量分割预测p
seg
和相应的真实值g
seg
之间的重叠。具体地说，dice分数被定义为：
[0080][0081]
l
dice
＝1
‑
dice
[0082]
差异模块损失计算具体如下：
[0083]
[0084]
其中，表示第i级差异模块的损失，0<α<1，α为的置信度，n为输入切片的总像素数，y
j
和为两张输入切片第j个像素。
[0085]
联系模块损失计算具体如下：
[0086][0087]
其中c为联系模块门限中置信度大于置信度阈值的像素数，n为总像素数，为联系模块输出的特征图，表示第一分支最后一级轻量级模块输出的特征图。置信度阈值在本实施例中可以设置为0.75。
[0088]
整体损失表示为：loss
total
＝l
dif
+l
rel
+l
dice
。
[0089]
本技术针对输入多个切片计算量大的问题，引入了共享权值和参数的孪生网络来减少参数量，降低计算量，同时加入轻量级模块，更大程度减少了网络负载；针对医学图像易出现边界分割不清晰的问题，引入了一个差异模块，可以获取与相邻切片的边界差异信息进行边界细化；为了更好定位目标位置和排除假阳性预测，引入了联系模块，根据相邻切片的信息可以更好确定当前切片信息，消除一些假阳性。
[0090]
需要说明的是，本技术差异模块、联系模块、轻量级神经网络均给出了一种优选的实施例，本领域技术人员还可以对上述网络结构进行不影响功能的调整，这里不再赘述。
[0091]
在一个实施例中，本技术还提供了一种基于轻量级孪生网络的医学图像分割装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于轻量级孪生网络的医学图像分割方法的步骤。
[0092]
关于基于轻量级孪生网络的医学图像分割装置的具体限定可以参见上文中对于基于轻量级孪生网络的医学图像分割方法的限定，在此不再赘述。上述基于轻量级孪生网络的医学图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0093]
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
[0094]
其中，所述存储器可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read
‑
only memory，prom)，可擦除只读存储器(erasable programmable read
‑
only memory，eprom)，电可擦除只读存储器(electric erasable programmable read
‑
only memory，eeprom)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
[0095]
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通
用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0096]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。