一种息肉分割方法、装置、计算机设备及存储介质

1.本发明涉及图像处理技术领域，特别涉及一种息肉分割方法、装置、计算机设备及存储介质。


背景技术：

2.大肠癌是全球发病率第三和死亡率第二高的癌症，成为威胁人类生命安全的主要杀手之一。而大多数大肠癌开始于腺瘤性息肉，随着时间的推移，从最初的良性息肉转变成恶性肿瘤。对大肠息肉进行早期筛查可将大肠癌的生存率提高至90％，因此早期发现并切除息肉对遏制大肠癌的发生至关重要。在临床工作中，内窥镜检查有利于医生直观地观察病灶的形态特征，被认为是筛查大肠息肉的金标准。但由于息肉大小、位置和纹理的多样化，以及内窥镜收回技术、肠道质量准备情况和内窥镜医师的技能不同，准确检测大肠息肉仍然是一个挑战。据调查显示，大多数大肠癌发生在未及时进行内窥镜检查的患者中，而即使在及时进行内窥镜检查后，仍有6％～9％的概率发生大肠癌，造成这一现象的主要原因在于内窥镜检查中扁平型息肉和小型息肉的漏诊率较高。因此，提高大肠息肉的准确率，减低扁平型息肉和小型息肉的漏诊率尤为重要。随着计算机技术和深度学习的快速发展，使用计算机辅助设备帮助临床医师筛查并诊断疾病已逐渐走进人们的视野。由于息肉尺寸大小和形态的多样性，使得设计精准的息肉分割方法面临着一定挑战。
3.在各种各样的息肉分割方法中，传统的息肉分割方法依赖手工制作的特征，如颜色、纹理、形状、外观或这些特征的组合。而这些手工制作的特征表征能力有限，当涉及到息肉的高类内变化和息肉的低类间变化时，这种传统的方法往往有较高的漏检率。近几年，随着深度学习的快速发展，已有许多全卷积神经网络被用于息肉分割。例如，为了利用特征图的上下文信息，pranet网络通过反向注意力机制获取多尺度上下文信息，并通过聚合多尺度特征提取息肉的粗略位置及息肉的轮廓信息来生成粗略分割图；acsnet网络通过在解码器分支中结合全局上下文信息和局部信息来获取息肉区域的轮廓信息等特征；dcrnet网络在这些网络的基础上提出结合通过两个并行注意力模块来提取息肉的边缘信息，第一个模块是内部上下文关系模块，用来估计图像内部每一个位置和其他位置的相似性，且根据估计的相似度将所有位置的特征聚合成该位置的特征，第二个模块是外部上下文关系模块，用来估计每个位置和其他不同图像的位置之间的相似性。基于这种跨图像的相似性，每一个位置的特征都能通过嵌入的另一张图片聚合的特征而得到增强。然而，上述这些方法只考虑了特征图的上下文信息而忽略了上下层特征图之间的信息互补及信息传递，导致获取的息肉特征不够丰富，进而导致分割息肉图像的精度不足。


技术实现要素：

4.本发明实施例提供了一种息肉分割方法、装置、计算机设备及存储介质，旨在通过丰富息肉特征以提高对于息肉图像的分割精度。
5.第一方面，本发明实施例提供了一种息肉分割方法，包括：
6.获取待分割的息肉图像，利用res2net网络对所述息肉图像进行特征提取，得到多层特征图；
7.利用纹理增强模块对每一层特征图进行细化处理，然后利用跨层特征融合模块对多层特征图进行特征融合，得到目标息肉分割粗略预测图；
8.将每一层特征图分别输入至分组监督上下文模块，通过所述分组监督上下文模块将所述目标息肉分割粗略预测图与多层特征图进行上下文结合；
9.将上下文结合结果作为最终的息肉分割预测图，以此构建息肉分割网络；
10.利用所述息肉分割网络对指定的息肉图像进行分割处理。
11.第二方面，本发明实施例提供了一种息肉分割装置，包括：
12.特征提取单元，用于获取待分割的息肉图像，利用res2net网络对所述息肉图像进行特征提取，得到多层特征图；
13.特征融合单元，用于利用纹理增强模块对每一层特征图进行细化处理，然后利用跨层特征融合模块对多层特征图进行特征融合，得到目标息肉分割粗略预测图；
14.第一结合单元，用于将每一层特征图分别输入至分组监督上下文模块，通过所述分组监督上下文模块将所述目标息肉分割粗略预测图与多层特征图进行上下文结合；
15.构建单元，用于将上下文结合结果作为最终的息肉分割预测图，以此构建息肉分割网络；
16.分割处理单元，用于利用所述息肉分割网络对指定的息肉图像进行分割处理。
17.第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的息肉分割方法。
18.第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的息肉分割方法。
19.本发明实施例提供了一种息肉分割方法、装置、计算机设备及存储介质，该方法包括：获取待分割的息肉图像，利用res2net网络对所述息肉图像进行特征提取，得到多层特征图；利用纹理增强模块对每一层特征图进行细化处理，然后利用跨层特征融合模块对多层特征图进行特征融合，得到目标息肉分割粗略预测图；将每一层特征图分别输入至分组监督上下文模块，通过所述分组监督上下文模块将所述目标息肉分割粗略预测图与多层特征图进行上下文结合；将上下文结合结果作为最终的息肉分割预测图，以此构建息肉分割网络；利用所述息肉分割网络对指定的息肉图像进行分割处理。本发明实施例通过考虑层级特征图之间的信息互补以及多视野下的特征融合，来提取更丰富的息肉特征，从而提高对于息肉图像的分割精度。
附图说明
20.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明实施例提供的一种息肉分割方法的流程示意图；
22.图2为本发明实施例提供的一种息肉分割方法的子流程示意图；
23.图3为本发明实施例提供的一种息肉分割方法的另一子流程示意图；
24.图4为本发明实施例提供的一种息肉分割方法中跨层特征融合模块的网络结构示意图；
25.图5为本发明实施例提供的一种息肉分割方法中分组监督上下文模块的网络结构示意图；
26.图6为本发明实施例提供的一种息肉分割方法中息肉分割网络的网络结构示意图；
27.图7为本发明实施例提供的一种息肉分割装置的示意性框图；
28.图8为本发明实施例提供的一种息肉分割装置的子示意性框图；
29.图9为本发明实施例提供的一种息肉分割装置的另一子示意性框图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
32.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
33.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
34.下面请参见图1，图1为本发明实施例提供的一种息肉分割方法的流程示意图，具体包括：步骤s101～s105。
35.s101、获取待分割的息肉图像，利用res2net网络对所述息肉图像进行特征提取，得到多层特征图；
36.s102、利用纹理增强模块对每一层特征图进行细化处理，然后利用跨层特征融合模块对多层特征图进行特征融合，得到目标息肉分割粗略预测图；
37.s103、将每一层特征图分别输入至分组监督上下文模块，通过所述分组监督上下文模块将所述目标息肉分割粗略预测图与多层特征图进行上下文结合；
38.s104、将上下文结合结果作为最终的息肉分割预测图，以此构建息肉分割网络；
39.s105、利用所述息肉分割网络对指定的息肉图像进行分割处理。
40.本实施例中，对于待分割的息肉图像，首先利用res2net网络提取所述息肉图像对应的多层特征图，res2net网络是一种以更细粒度(granular level)表示多尺度特征，并增加每个网络层的感受野(receptive fields)范围的网络。然后将提取的多层特征图进行细化处理，并通过跨层特征融合模块进行特征融合，此时，可以得到一目标息肉分割粗略预测
图。再将该目标息肉分割粗略预测图与多层特征图通过分组监督上下文模块进行上下文结合，而结合的结果便可以作为最终的息肉分割预测图。通过上述步骤可以构建得到一息肉分割网络，从而可以利用所述息肉分割网络对后续指定的息肉图像进行分割。
41.通过临床观察发现，息肉的大小和形状多种多样，并且由于固定大小的卷积核仅能捕获有限的上下文信息，不能充分提取息肉特征。而本实施例可以通过分组监督上下文模块提取更加丰富的息肉特征。另外，神经科学研究表明，人类视觉系统通过一组不同大小的感受野来突出视网膜中央附近的目标区域。据此，本实施例通过所述纹理增强模块和跨层特征融合模块对提取的特征图进行多尺度分析，更好的挖掘息肉的判别特征。综上所述，本发明实施例通过考虑层级特征图之间的信息互补以及多视野下的特征融合，来提取更丰富的息肉特征，从而提高对于息肉图像的分割精度。
42.还需说明的是，本实施例特别适用于大肠息肉分割问题，基于大肠息肉的生理结构特征，通过本实施例提供的息肉分割网络辅助内窥镜医师准确快速的完成息肉筛查及诊断操作。
43.在一实施例中，所述步骤s101包括：
44.利用res2net网络提取所述息肉图像的前五层特征图，并分别标记为其中，r代表实数域，h表示特征图的高度，w表示特征图的宽度，i表示第i层特征图，i∈{1,2,3,4,5}，c
i
表示第i层特征图的通道维度，c
i
∈{64,256,512,1024,2048}。
45.本实施例中，考虑到res2net网络中的全连接层在图像分类领域中常用，但是在图像分割领域并不常用，因此，本实施例在通过res2net网络提取特征图之前，先移除res2net网络中的全连接层，然后针对一幅息肉图像i∈r3×
h
×
w
，通过所述res2net网络提取前五层特征图
46.在一实施例中，所述步骤s102包括：
47.选取五层特征图中的四层特征图作为第一目标特征图输入至所述纹理增强模块，其中，选取的四层特征图为x
i
,i∈{2,3,4,5}；
48.利用纹理增强模块对每一第一目标特征图依次进行1
×
1卷积、(2λ
‑
1)
×
(2λ
‑
1),(λ∈{1,2,3,4})卷积和3
×
3空洞卷积操作，然后输出每一层第一目标特征图对应的第二目标特征图
49.其中，3
×
3空洞卷积的空洞率为(2λ
‑
1)，λ≥2，λ表示第i层第一目标特征图对应的纹理增强模块分支。
50.本实施例中，首先，将选取的第一目标特征图x
i
,i∈{2,3,4,5}输入至纹理增强模块(texture enhanced module，tem)处理。具体来说，tem模块包含4个并行分支，每一个分支都先后经过1
×
1卷积、(2λ
‑
1)
×
(2λ
‑
1),(λ∈{1,2,3,4})卷积和3
×
3空洞卷积操作。其中，3
×
3空洞卷积的空洞率为(2λ
‑
1)，λ≥2，λ代表分支。进一步的，在每一次卷积后都会经过batch normalization(批标准化)和relu(激活函数)操作处理。
51.在一实施例中，如图2所示，所述步骤s102还包括：步骤s201～s205。
52.s201、利用空间注意力模块计算得到第二层第二目标特征图x'2的空间权重信息
53.s202、按照下式，对剩余第二目标特征图进行3
×
3卷积和相邻层连接操作：
[0054][0055]
式中，cbr3代表第二目标特征图依次经过3
×
3卷积操作、批标准化处理和激活函数处理，u(
·
)表示进行上采样操作；表示像素级相乘；
[0056]
s203、基于连接操作的结果，按照下式对剩余第二目标特征图进行融合处理，得到融合特征x
cc
∈r
32
×
h/8
×
w/8
：
[0057][0058]
式中，表示在通道维度进行拼接；
[0059]
s204、利用通道注意力模块计算得到所述融合特征的通道权重信息
[0060]
s205、按照下式，基于所述空间权重信息和通道权重信息对四层第二目标特征图进行融合，得到所述目标息肉分割粗略预测图p
c
：
[0061][0062]
式中，cbr
331
表示依次经过两个3
×
3卷积、1个3
×
3卷积、批标准化处理和激活函数处理，代表在通道维度进行拼接，代表像素级相乘。
[0063]
本实施例中，结合图4，第一目标特征图经过tem模块细化处理后得到第二目标特征图(即四层第二目标特征图)，然后将四层第二目标特征图输入至跨层特征融合模块进行特征融合处理。具体的，首先将第二层第二目标特征图x'2输入至空间注意力模块sa(self
‑
attention)处理得到对应的空间权重信息然后对第三层第二目标特征图、第四层第二目标特征图以及第五层第二目标特征图进行3
×
3卷积和相邻层连接操作并融合的操作，得到融合特征x
cc
∈r
32
×
h/8
×
w/8
，并进一步的将x
cc
经过通道注意力模块ca处理得到通道权重信息并且第三层第二目标特征图、第四层第二目标特征图以及第五层第二目标特征图在进行卷积操作之间会先进行上采样处理，在完成卷积操作后，会进行批标准化处理和激活函数relu处理。为了实现信息互补，对空间信息丰富的第二层第二目标特征图x'2和语义信息丰富的第三层、第四层和第五层第二目标特征图得到粗略的目标息肉分割粗略预测图p
c
。具体为，空间权重信息和经过上采样处理的融合特征x
cc
∈r
32
×
h/8
×
w/8
相乘后，第二层第二目标特征图x'2与通道权重信息相乘后，两个输出进行结合，再依次进行卷积、批标准化和激活函数处理，并利用sigmoid函数进一步处理，从而得到所述目标息肉分割粗略预测图p
c
。
[0064]
在一实施例中，如图3所示，所述步骤s103包括：步骤s301～s303。
[0065]
s301、在五层特征图中选取特征图x
i
,i∈{3,4,5}作为第三目标特征图，并利用卷积核为1
×
1的卷积层对所述第三目标特征图进行卷积处理，得到对应的第四目标特征图
[0066]
s302、利用多个卷积核为3
×
3的空洞卷积层对所述第四目标特征图进行卷积处理，得到第五目标特征图其中，n为空洞率大小，n≤7；
[0067]
s303、对每一第五目标特征图与经过激活函数处理的目标息肉分割粗略预测图进行通道维度拼接，并对通道维度拼接结果进行二次通道维度拼接，得到第六目标特征图；
[0068]
s304、按照下式，基于级联的方式将所述目标息肉分割粗略预测图与所述第六目标特征图进行上下文结合：
[0069][0070][0071]
式中，表示所述目标息肉分割粗略预测图与第i层第六目标特征图的上下文结合结果，表示所述目标息肉分割粗略预测图与第i+1层第六目标特征图的上下文结合结果，conv1表示1
×
1卷积，和均表示在通道维度进行拼接，cbr
n
表示依次经过空洞率为n的3
×
3卷积、批标准化处理和激活函数处理，σ(
·
)表示sigmoid函数，u(
·
)表示上采样操作，p
i+1
表示目标息肉分割粗略预测图。
[0072]
本实施例中，结合图5，首先，将第三目标特征图x
i
,i∈{3,4,5}经过1个1
×
1卷积核的卷积操作处理，得到第四目标特征图
[0073]
然后，对所述第四目标特征图进行多个3
×
3的空洞卷积操作处理，得到多视野下的特征图，即所述第五目标特征图，其中空洞率将根据当前特征图分辨率大小从{1,3,5,7}中选择。具体来说，第三层第四目标特征图χ
′3经过空洞率为{1,3,5,7}，大小为3
×
3的空洞卷积处理，得到四个新的第五目标特征图；第四层第四目标特征图χ
′4经过空洞率为{1,3,5}，大小为3
×
3的空洞卷积处理，得到三个新的第五目标特征图；第五层第四目标特征图χ
′5经过空洞率为{1,3}，大小为3
×
3的空洞卷积处理，得到两个新的第五目标特征图。并且，以上每次空洞卷积处理后都会再经过batchnormalization和relu处理。
[0074]
第四目标特征图经过上述处理后得到第五目标特征图其中n为空洞率大小，n最大为7。同时更高一层的输出p
i+1
,i∈{3,4,5}经过sigmoid函数处理得到的特征图将分别与第五目标特征图在通道维度拼接，并得到特征图然后再将得到的多个特征图在通道维度进行拼接，并进行1
×
1卷积处理，得到所述第六目标特征图。然后基于所述目标息肉分割粗略预测图，将第六目标特征图与经
过gcm模块得到的进行上下文结合，便可以得到当前层的输出即：
[0075][0076][0077]
需要说明的是，针对第五层第五目标特征图χ
′5，由于其是最高层特征图，所以没有更高一层特征经过gcm模块处理的特征图输入到该层gcm模块，即第五层第五目标特征图不存在另外，公式中的p
i+1
即为p
c
。进一步的，在具体实施场景中，可以采用八倍的分辨率下采样代替公式的2倍分辨率上采样。
[0078]
在一实施例中，所述息肉分割方法还包括：
[0079]
基于深度监督神经网络对所述息肉分割网络进行学习训练；其中，所述深度监督神经网络的批次大小为16，epoch为50，学习率为0.0001；
[0080]
利用多项评价指标对所述息肉分割网络进行评价。
[0081]
本实施例中，在对所述息肉分割网络进行学习训练时，首先需获取用于学习训练的数据集，并按照8：2的划分方式将数据集分别划分为训练集和测试集，且将batchsize设置为16，epoch设置为50，学习率设置为0.0001。进一步的，为了减少随机误差，本实施例将数据集随机划分10次，并训练得到10个息肉分割网络模型，在测试时，采用10个息肉分割网络模型的平均值作为最终的评估值。在此，本实施例采用的评价指标有：dice(dice similarity coefficient，戴斯相似性系数)，ioup(iou of polyp，息肉交并比)，se(sensitivity，敏感度)，acc(accuracy，精度)，f2(f2
‑
score，f2得分)，和mae(mean absolute error，平均绝对误差)。其中，dice、ioup、se、acc以及f2的值越大表示网络性能越好，mae则是值越小表示网络性能越好。
[0082]
在一具体实施例中，采用kvasir息肉数据集(息肉医学影像数据集)训练所述息肉分割网络的数据集，该数据集由1000张高分辨率白光图像组成，图像分辨率大小从332
×
482到1920
×
1072不等，为统一尺寸，本实施例在训练和测试阶段将图片大小重置为352
×
352。
[0083]
在一实施例中，所述息肉分割方法还包括：
[0084]
按照下式，采用二值交叉熵损失函数和iou损失函数对所述息肉分割网络进行优化更新：
[0085][0086][0087]
式中，和分别表示有权重的二值交叉熵损失函数和iou损失函数，gt表示息肉图像对应的二值化真值图。
[0088]
本实施例中，为了提高所述息肉分割网络的性能，对所述跨层特征融合模块的输出结果和所述分组监督上下文模块的输出结果均采用深监督训练方式，并使用具有权重的二值交叉熵损失函数和具有权重的iou(intersection
‑
over
‑
union)损失函数之和约束所述息肉分割网络训练，以此实现对所述息肉分割网络中的参数更新优化。
[0089]
在一实施例中，如图6所示，首先将息肉图像输入(input)至res2net网络，依次经
由卷积处理、批标准化处理、激活函数处理以及最大层池化处理后，提取得到第一层特征图，然后第一层特征图依次经由平均池化、卷积和批标准化处理后得到第二层特征图，以此类推，最终提取前五层特征图。然后考虑到底层特征图(即第一层特征图)所包含的信息对于网络性能的提升贡献较低，因此选择将第二层、第三层、第四层和第五层特征图作为所述第一目标特征图分别输入至tem模块(即所述文理增强模块)，由所述tem模块输出细化处理后的第二目标特征图，再将四层第二目标特征图输入至跨层特征融合模块(cfm)，由所述跨层特征融合模块经过上采样处理对四层第二目标特征图进行特征融合，得到目标息肉分割粗略预测图。
[0090]
同时，将第三层特征图、第四层特征图和第五层特征图分别作为第三目标特征图输入至gcm(分组监督上下文模块)进行上下文结合处理。具体的，将第三目标特征图x
i
,i∈{3,4,5}经过1个1
×
1卷积核的卷积操作处理，得到第四目标特征图
[0091]
然后，对所述第四目标特征图进行多个3
×
3的空洞卷积操作处理，得到多视野下的特征图，即所述第五目标特征图，其中空洞率将根据当前特征图分辨率大小从{1,3,5,7}中选择。具体来说，第三层第四目标特征图χ
′3经过空洞率为{1,3,5,7}，大小为3
×
3的空洞卷积处理，得到四个新的第五目标特征图；第四层第四目标特征图χ
′4经过空洞率为{1,3,5}，大小为3
×
3的空洞卷积处理，得到三个新的第五目标特征图；第五层第四目标特征图χ
′5经过空洞率为{1,3}，大小为3
×
3的空洞卷积处理，得到两个新的第五目标特征图。并且，以上每次空洞卷积处理后都会再经过batch normalization和relu处理。
[0092]
然后第四目标特征层经过上述处理后得到第五目标特征图其中n为空洞率大小，n最大为7。同时更高一层的输出p
i+1
,i∈{3,4,5}经过sigmoid函数处理得到的特征图将分别与第五目标特征图在通道维度拼接，并得到特征图然后再将得到的多个特征图在通道维度进行拼接，并进行1
×
1卷积处理，得到所述第六目标特征图。然后基于所述目标息肉分割粗略预测图，将第六目标特征图与经过gcm模块得到的进行上下文结合，便可以得到当前层的输出其中，在每次进行卷积操作后，均会经过批标准化、激活函数和最大池化处理，即图6中的conv+bn+relu+maxpool处理。进一步的，第五层第六目标特征图与目标息肉分割粗略预测图进行上下文结合，得到的结合结果经过上采样处理和sigmoid函数处理后，输出对应的第五层特征预测图。同时，将该结合结果与第四层第六目标特征图进行上下文结合，得到的结合结果经过上采样处理和sigmoid函数处理后，输出对应的第四层特征预测图，同样的，将该结合结果与第三层第六目标特征图进行上下文结合，得到的结合结果经过上采样处理和sigmoid函数处理后，输出对应的第三层特征预测图。由此可见，第三层特征预测图所包含的特征信息最
多，即预测信息最精确，因此可以选择第三层特征预测图作为息肉图像最终的分割预测图。
[0093]
在一实施例中，将本发明实施例提供的息肉分割方法与经典的息肉分割网络pranet(用于多点分割的并行反向注意网络)、acsnet(一种用于息肉分割的网络)、dcrnet(一种深层交互关系网络)做对比，其中在kvasir
‑
seg数据集上的测试结果如表1所示。从表1中可以看出，本发明实施例所提供的的息肉分割网络在各个指标中均表现最优。
[0094] diceioupseaccf2mae本发明实施例0.9100.8560.9210.9710.9120.030pranet0.8930.8360.9070.9690.8980.031acsnet0.9010.8450.9230.9680.9090.033dcrnet0.8400.7650.9170.9430.8690.060
[0095]
表1
[0096]
图7为本发明实施例提供的一种息肉分割装置700的示意性框图，该装置700包括：
[0097]
特征提取单元701，用于获取待分割的息肉图像，利用res2net网络对所述息肉图像进行特征提取，得到多层特征图；
[0098]
特征融合单元702，用于利用纹理增强模块对每一层特征图进行细化处理，然后利用跨层特征融合模块对多层特征图进行特征融合，得到目标息肉分割粗略预测图；
[0099]
第一结合单元703，用于将每一层特征图分别输入至分组监督上下文模块，通过所述分组监督上下文模块将所述目标息肉分割粗略预测图与多层特征图进行上下文结合；
[0100]
构建单元704，用于将上下文结合结果作为最终的息肉分割预测图，以此构建息肉分割网络；
[0101]
分割处理单元705，用于利用所述息肉分割网络对指定的息肉图像进行分割处理。
[0102]
在一实施例中，所述特征提取单元701包括：
[0103]
标记单元，用于利用res2net网络提取所述息肉图像的前五层特征图，并分别标记为其中，r代表实数域，h表示特征图的高度，w表示特征图的宽度，i表示第i层特征图，i∈{1,2,3,4,5}，c
i
表示第i层特征图的通道维度，c
i
∈{64,256,512,1024,2048}。
[0104]
在一实施例中，所述特征融合单元702包括：
[0105]
第一选取单元，用于选取五层特征图中的四层特征图作为第一目标特征图输入至所述纹理增强模块，其中，选取的四层特征图为x
i
,i∈{2,3,4,5}；
[0106]
输出单元，用于利用纹理增强模块对每一第一目标特征图依次进行1
×
1卷积、(2λ
‑
1)
×
(2λ
‑
1),(λ∈{1,2,3,4})卷积和3
×
3空洞卷积操作，然后输出每一层第一目标特征图对应的第二目标特征图
[0107]
其中，3
×
3空洞卷积的空洞率为(2λ
‑
1)，λ≥2，λ表示第i层第一目标特征图对应的纹理增强模块分支。
[0108]
在一实施例中，如图8所示，所述特征融合单元702还包括：
[0109]
第一权重计算单元801，用于利用空间注意力模块计算得到第二层第二目标特征图x'2的空间权重信息
[0110]
连接单元802，用于按照下式，对剩余第二目标特征图进行3
×
3卷积和相邻层连接操作：
[0111][0112]
式中，cbr3代表第二目标特征图依次经过3
×
3卷积操作、批标准化处理和激活函数处理，u(
·
)表示进行上采样操作；表示像素级相乘；
[0113]
融合处理单元803，用于基于连接操作的结果，按照下式对剩余第二目标特征图进行融合处理，得到融合特征x
cc
∈r
32
×
h/8
×
w/8
：
[0114][0115]
式中，表示在通道维度进行拼接；
[0116]
第二权重计算单元804，用于利用通道注意力模块计算得到所述融合特征的通道权重信息
[0117]
权重融合单元805，用于按照下式，基于所述空间权重信息和通道权重信息对四层第二目标特征图进行融合，得到所述目标息肉分割粗略预测图p
c
：
[0118][0119]
式中，cbr
331
表示依次经过两个3
×
3卷积、1个3
×
3卷积、批标准化处理和激活函数处理，代表在通道维度进行拼接，代表像素级相乘。
[0120]
在一实施例中，如图9所示，所述第一结合单元703包括：
[0121]
第二选取单元901，用于在五层特征图中选取特征图x
i
,i∈{3,4,5}作为第三目标特征图，并利用卷积核为1
×
1的卷积层对所述第三目标特征图进行卷积处理，得到对应的第四目标特征图
[0122]
卷积处理单元902，用于利用多个卷积核为3
×
3的空洞卷积层对所述第四目标特征图进行卷积处理，得到第五目标特征图其中，n为空洞率大小，n≤7；
[0123]
拼接单元903，用于对每一第五目标特征图与经过激活函数处理的目标息肉分割粗略预测图进行通道维度拼接，并对通道维度拼接结果进行二次通道维度拼接，得到第六目标特征图；
[0124]
第二结合单元904，用于按照下式，基于级联的方式将所述目标息肉分割粗略预测图与所述第六目标特征图进行上下文结合：
[0125][0126][0127]
式中，表示所述目标息肉分割粗略预测图与第i层第六目标特征图的上下文结合结果，表示所述目标息肉分割粗略预测图与第i+1层第六目标特征图的上下文结合结果，conv1表示1
×
1卷积，和均表示在通道维度进行拼接，cbr
n
表示依次经过空洞率
为n的3
×
3卷积、批标准化处理和激活函数处理，σ(
·
)表示sigmoid函数，u(
·
)表示上采样操作，p
i+1
表示目标息肉分割粗略预测图。
[0128]
在一实施例中，所述息肉分割装置700还包括：
[0129]
学习单元，用于基于深度监督神经网络对所述息肉分割网络进行学习训练；其中，所述深度监督神经网络的批次大小为16，epoch为50，学习率为0.0001；
[0130]
评价单元，用于利用多项评价指标对所述息肉分割网络进行评价。
[0131]
在一实施例中，所述息肉分割装置700还包括：
[0132]
优化更新单元，用于按照下式，采用二值交叉熵损失函数和iou损失函数对所述息肉分割网络进行优化更新：
[0133][0134][0135]
式中，和分别表示有权重的二值交叉熵损失函数和iou损失函数，gt表示息肉图像对应的二值化真值图。
[0136]
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
[0137]
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0138]
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
[0139]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
[0140]
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。