一种超声图像分割装置及超声图像分割方法与流程

本发明属于生物医学超声图像自动分割技术领域，尤其涉及一种超声图像分割装置及超声图像分割方法。

背景技术：

如今，乳腺癌已成为全球女性发病率最高的癌症，及早筛查出乳腺癌并接受及时治疗可以降低死亡率。目前我国主流的乳腺癌筛查方法有x线乳房摄影技术，然而该方法有一定的缺陷：一、x光有一定的电离辐射，会对人体造成危害；二、由于此方法产生二维图像，对于致密性乳腺乳房，在影像中难以区分出肿瘤；三、仪器的按压会给患者带来痛感。超声相比于x线，电离辐射很小，且成像为三维图像，同时筛查过程中不会给患者带来痛感。然而在医生滑动探头进行筛查的过程中，会扫描出大量的超声图像，医生需要对其进行判读，其中寻找肿瘤位置是很关键的一个步骤。长时间的读图会使医生产生疲劳感，造成误读漏读，而且不同医生经验不同，也给筛查过程带来了主观性等因素。因此，提出一种能帮助医生自动分割出乳房肿瘤区域的方法是有必要的。

目前，已有许多针对图像分割任务的网络被提出。frrn(full-resolutionresidualnetworks，全分辨率残差网络)是一种针对街道场景图像分割任务而提出的神经网络，并取得了较好的分割结果。

传统乳腺超声图像分割算法一般需要手动地进行特征工程，过程复杂且鲁棒性较差。对于传统方法的不足，本发明将一种改进后的神经网络模型应用到乳腺超声图像分割任务上，使网络自动学习图像特征，提高分割精度和鲁棒性。

技术实现要素：

为了解决上述已有技术存在的不足，本发明主要通过将自然语言处理领域的注意力机制引入到frrn中，设计dense模块加入该模型并实施深监督机制训练网络，构成了一种新型的基于注意力的全分辨率残差网络。本发明将此改进网络应用到了超声图像的分割任务中，取得了相比于frrn更高的分割精度。本发明的具体技术方案如下：

一种超声图像分割装置，基于通过对被检查体进行超声波扫描而生成的体数据，生成并显示检查部位的图像数据，其特征在于，包括级联的图像增强模块、frrn模块、输出模块，其中，

所述图像增强模块，通过图像增强扩充样本量；

所述frrn模块，其中，所述frrn网络中加入dense模块，所述dense模块每一层的输入都是前面所有层的输出；所述frrn网络中加入基于注意力机制的上采样模块，对所述上采样模块的每一层的输出进行2ⁿ倍的升采样，n为上采样处的网络深度，恢复到输入图像尺寸；

所述输出模块，对多个全分辨率特征同时最小化损失函数，输出网络学习最优结果。

一种超声图像分割方法，基于通过对被检查体进行超声波扫描而生成的体数据，生成并显示检查部位的图像数据，其特征在于，包括以下步骤：

s1：对超声图像手动标注；

s2：通过图像增强方法，扩充样本量；

s3：在frrn网络中加入dense模块；

s4：设计基于注意力机制的上采样模块，对frrn网络的解码部分不同层的输出进行上采样，恢复到全分辨率特征；

s5：设计深监督机制，对多个全分辨率特征同时最小化损失函数，输出网络学习最优结果模型；

s6：对于需要分割的超声图像，输入经过步骤s3-s5训练后得到的模型中即得到分割后的输出图像。

本发明的有益效果在于：

1.本发明通过在frrn中加入设计的dense模块及注意力上采样模块，提升特征使用率，产生更具分辨性的特征表示。

2.引入深监督机制训练网络，提高中间层学习过程的直接性和透明度，优化浅层特征，为深层网络提供更精确的特征表示。

3.本发明应用于超声图像分割任务上，给出了比原基础网络更准确的分割结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：

图1是frrn网络结构图；

图2(a)是乳腺超声数据样例；

图2(b)是乳腺超声数据手动标注图；

图3(a)是乳腺超声数据原图像；

图3(b)是原图像的尺寸放大图；

图3(c)是原图像的尺寸缩小图；

图3(d)是原图像的水平移动图；

图3(e)是原图像的竖直移动图；

图3(f)是原图像的水平翻转图；

图3(g)是原图像的垂直翻转图；

图3(h)是原图像的小角度旋转图；

图3(i)是原图像加噪声图；

图3(j)是原图像弹性形变图；

图4(a)是rcu模块结构图；

图4(b)是dense模块结构图；

图5是注意力上采样模块图；

图6是基于注意力的全分辨率残差网络结构图；

图7(a)是测试分割实例1的frrn结果与真值比对；

图7(b)是测试分割实例1的本发明的结果与真值比对；

图7(c)是测试分割实例2的frrn结果与真值比对；

图7(d)是测试分割实例2的本发明的结果与真值比对；

图7(e)是测试分割实例3的frrn结果与真值比对；

图7(f)是测试分割实例3的本发明的结果与真值比对。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

frrn网络结构图如图1所示，本发明与此网络的区别在于，在网络的解码部分引入注意力机制，对特征不同部分赋予权重表示特征的重要程度，辅助网络训练学习相关度更高的特征；此外，在rcu单元之间采用dense(密集)连接的方式，提高特征的利用率，加速收敛；最后采用深监督机制训练网络，使浅层特征得到更好的训练。本发明将注意力机制引入到传统的深度学习神经网络中，并且将其应用于超声图像的分割中。

为了方便理解本发明的上述技术方案，以下通过具体实施例对本发明的上述技术方案进行详细说明。

实施例1

s1：对乳腺超声图像进行手动标注。超声图像及标注图像如图2(a)和图2(b)所示。

s2：采用数据增强方法扩充数据集，避免过拟合。本发明中采用的数据增强方法包括垂直、水平移动；垂直、水平翻转；旋转；添加噪声；放大缩小；弹性变换等。各种增强方法如图3(a)-图3(j)所示。

s3：在frrn网络中加入设计的dense模块，提高特征利用率，有助于梯度反向传播。模块结构如图4(a)和图4(b)所示。每一层的输入都是前面所有层的输出，这样的设计，提高了特征利用率，有助于梯度反向传播。

s4：加入基于注意力机制的上采样模块，对网络的上采样部分的每一层的输出进行2ⁿ倍的升采样，n为该升采样处的网络深度，恢复到输入图像尺寸。注意力上采样模块如图5所示。

s5：对s4的每一个全分辨率特征添加激活层作为该深度层的输出，与正确标签计算损失值。最小化所有的损失值。最终的网络结构如图6所示。

通过本发明的模型进行分割实验，与基础网络frrn进行比较。两种模型在测试集中的分割结果实例如图7(a)-图7(f)所示，其中,图7(a)、图7(c)和图7(e)中的白线为真实轮廓,黑线为frrn的分割结果；图7(b)、图7(d)和图7(f)中的白线为真实轮廓，黑线为本发明模型的分割结果，表1为frrn网络和本发明的装置及方法的对比实验结果，数据集1为163张超声图像，是公开数据集，数据集2为980张超声图像，为私有数据集，将数据集1和数据集2的图像分别通过frrn网络和本发明的装置及方法进行分割，将分割的结果与医生手动标注的真值比较得出表1的数据。

表1frrn网络和本发明的装置及方法的分割结果对比

dice系数，即dicecoefficient，是一种集合相似度度量函数，此处用来计算标签和预测值的相似性程度，取值范围为[0,1]，值越大，标签与预测值越相似。

jaccard，jaccardsimilaritycoefficient，用于比较标签和预测值之间的相似性与差异性，jaccard系数值越大，样本相似度越高。

f1是精确率和召回率的调和平均数，最大为1，最小为0，系数值越大，相似度越高。其中，精确率是对所有预测为组织区域的样本的精确度的衡量，召回率是对所有组织区域中能够正确预测为组织的比例的衡量。

由图7(a)-图7(f)以及表1可知，本发明提出的基于注意力的全分辨残差网络给出了更好的分割结果，精准度、可行性及可靠性都更好。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。