一种基于多级变换网络的乳腺肿瘤分割方法及装置与流程

本发明涉及医学图像处理技术领域，具体的说是一种基于多级变换网络的肿瘤分割方法及装置。

背景技术：

对于女性来说，乳腺癌已成为女性的头号杀手，乳腺癌是发病率和致死率较高的疾病之一，其发病数以年均 3%-5% 的速度显著上升，且有日益严峻的趋势。研究表明，如果能早期及时检查，癌症是可以治愈的，且治愈率高达 92% 以上。可见，乳腺肿瘤的早期检测对治愈病人有着至关重要的作用，且早发现早治疗是提高治疗效率的关键。

医学影像已成为临床上辅助疾病诊断的主要方式。相比较钼靶、核磁共振等其他影像，超声具有辐射少、价格便宜、对致密性组织检测敏感等优点。因此，超声图像已成为辅助乳腺癌早期诊断的主要工具之一。由于影像医生的经验不同，使得人工对乳腺超声图像进行诊断具有一定的主观性。而利用计算机辅助诊断技术能够对乳腺超声图像进行自动分析，从而可以为临床医生提供一个客观的诊断结果。

肿瘤分割是乳腺超声分析的基础。然而肿瘤形态各异，现有方法虽然能够取得较好的效果，但是对于某些体积较小的肿瘤仍不能取得令人满意的效果。针对传统方法难以有效分割小肿瘤问题，本发明提出了一种基于多级变换网络的乳腺肿瘤分割方法及装置。

技术实现要素：

本发明针对目前技术发展的需求和不足之处，提供一种基于多级变换网络的乳腺肿瘤分割方法。

本发明的一种基于多级变换网络的乳腺肿瘤分割方法，解决上述技术问题采用的技术方案如下：

一种基于多级变换网络的乳腺肿瘤分割方法，该方法包括以下步骤：

1）训练部分：

1a）将肿瘤超声图像划分成大肿瘤超声图像和小肿瘤超声图像两类，并分别进行标记；

1b）将标记完成的大肿瘤和小肿瘤分属为两个训练集进行训练，完成体积评估网络的构建；

1c）学习大肿瘤超声图像的特点，将标记完成的小肿瘤训练集放大生成高质量的大肿瘤图像，完成图像转换网络的构建；

1d）对大肿瘤超声图像和小肿瘤放大后的超声图像进行分割，完成全卷积神经网络的构建；

2）分割部分：

2a）利用构建完成的体积评估网络将肿瘤超声图像划分成大肿瘤超声图像和小肿瘤超声图像两类；

2b）利用构建完成的图像转换网络对小肿瘤超声图像进行放大处理后生成高质量的大肿瘤图像；

3c）利用构建完成的全卷积神经网络对大肿瘤超声图像和小肿瘤超声图像转换后生成的高质量大肿瘤图像进行分割，分割完成后，再按照相同比例进行小肿瘤超声图像的缩放。

可选的，利用Resnet作为基网络，引入已经标记大肿瘤和小肿瘤的超声图像，构建灰体积评估网络。

可选的，专家根据经验设定体积阈值，根据该体积阈值完成大肿瘤和小肿瘤的分类。

可选的，所涉及图像转换网络采用TP-GAN技术实现。

可选的，在训练部分构建全卷积神经网络时，还可以首先对大肿瘤超声图像和小肿瘤放大后的超声图像进行多次分割，每次分割时将同一张大肿瘤超声图像、同一张小肿瘤放大后的超声图像分别分割成至少十份面积相同或不同的肿瘤超声图像单元，每份肿瘤超声图像单元的面积S=n*n，n为任一自然数，至少十份肿瘤超声图像单元的面积之和等于肿瘤超声图像的面积，且每次划分的肿瘤超声图像单元个数和/或肿瘤超声图像单元面积不相同，对同一张大肿瘤超声图像或小肿瘤放大后的超声图像进行下一次分割时肿瘤超声图像单元个数和/或肿瘤超声图像单元面积参考上一次分割后全卷积神经网络模块输出的分割结果。

基于上述方法，本发明还保护一种基于多级变换网络的乳腺肿瘤分割装置，该装置包括：

标记模块，用于对专家分类后的大肿瘤和小肿瘤进行分类标记；

训练构建模块一，用于根据专家标记的分类结果进行大肿瘤和小肿瘤的训练，得出分类阈值，构建体积评估网络模块；

训练构建模块二，用于学习大肿瘤超声图像的特点，来放大小肿瘤超声图像进而训练生成高质量的大肿瘤图像，构建图像转换网络模块；

训练构建模块三，用于对大肿瘤超声图像和小肿瘤放大后的超声图像进行分割训练，构建全卷积神经网络模块；

体积评估网络模块，用于根据分类阈值对大肿瘤和小肿瘤进行分类；

图像转换网络模块，用于放大小肿瘤超声图像进而生成高质量的大肿瘤图像；

全卷积神经网络模块，用于对大肿瘤超声图像和小肿瘤放大后的超声图像进行分割训练，得到分割结果后，再按照相同比例进行小肿瘤超声图像的缩放。

可选的，所涉及体积评估网络模块利用Resnet作为基网络，训练构建模块一引入已经标记大肿瘤和小肿瘤的超声图像，并根据标记结果构建体积评估网络模块。

可选的，所涉及图像转换网络模块采用TP-GAN技术实现。

可选的，所涉及全卷积神经网络模块包括全卷积神经网络单元、至少两个分层单元，每个分层单元分别对大肿瘤超声图像和小肿瘤放大后的超声图像进行分割，分层单元每次分割时将同一张大肿瘤超声图像和同一张小肿瘤放大后的超声图像分别分割成至少十份面积相同或不同的肿瘤超声图像单元，每份肿瘤超声图像单元的面积S=n*n，n为任一自然数，至少十份肿瘤超声图像单元的面积之和等于肿瘤超声图像的面积。

可选的，所涉及全卷积神经网络模块还包括反馈单元，用于将全卷积神经网络单元的分割结果输入下一个将要执行的分层单元，使得对同一张大肿瘤超声图像或小肿瘤放大后的超声图像进行下一次分割时肿瘤超声图像单元个数和/或肿瘤超声图像单元面积能够基于上一次分割后全卷积神经网络单元输出的分割结果。

本发明的一种基于多级变换网络的乳腺肿瘤分割方法及装置，与现有技术相比具有的有益效果是：

1）本发明的基于多级变换网络的乳腺肿瘤分割方法首先让专家根据肿瘤大小对肿瘤超声图像进行分类，根据分类结果多次训练后构建体积评估网络，随后学习大肿瘤的特性，以对小肿瘤超声图像进行放大处理并生成高质量的大肿瘤图像，完成图像转换网络的构建，最后将大肿瘤超声图像和小肿瘤放大后的超声图像进行分割训练，并在分割完成后，再按照相同比例进行小肿瘤超声图像的缩放，完成全卷积神经网络的构建；该方法根据构建完成的体积评估网络对肿瘤超声图像中肿瘤的大小进行分类，根据构建完成的图像转换网络将小肿瘤超声图像放大成高质量大肿瘤图像，最后根据构建完成的全卷积神经网络对大肿瘤超声图像和小肿瘤放大后的超声图像进行分割，得出分割结果，尤其可以提高小肿瘤的分割精度，提高小肿瘤超声图像的分割效率；

2）本发明的基于多级变换网络的乳腺肿瘤分割装置与上述肿瘤方法相结合，首先通过专家标记和多个训练构建模块完成体积评估网络模块、图像转换网络模块、全卷积神经网络模块的构建，进而自动完成对肿瘤超声图像的分割，尤其对小肿瘤而言，本分割装置可以高效率、高精度的分割小肿瘤。

附图说明

附图1是本发明肿瘤分割方法的训练部分流程框图；

附图2是本发明实施例三的结构框图。

附图中各标号信息表示：

10、标记模块，20、训练构建模块一，30、训练构建模块二，

40、训练构建模块三，50、体积评估网络模块，60、图像转换网络模块，

70、全卷积神经网络模块，71、全卷积神经网络单元，

72、分层单元，73、反馈单元。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清查、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。

实施例一：

本实施例提出一种基于多级变换网络的乳腺肿瘤分割方法，该方法包括以下步骤：

1）训练部分：

1a）将肿瘤超声图像划分成大肿瘤超声图像和小肿瘤超声图像两类，并分别进行标记；

1b）将标记完成的大肿瘤和小肿瘤分属为两个训练集进行训练，完成体积评估网络的构建；

1c）学习大肿瘤超声图像的特点，将标记完成的小肿瘤训练集放大生成高质量的大肿瘤图像，完成图像转换网络的构建；

1d）对大肿瘤超声图像和小肿瘤放大后的超声图像进行分割，完成全卷积神经网络的构建；

2）分割部分：

2a）利用构建完成的体积评估网络将肿瘤超声图像划分成大肿瘤超声图像和小肿瘤超声图像两类；

2b）利用构建完成的图像转换网络对小肿瘤超声图像进行放大处理后生成高质量的大肿瘤图像；

3c）利用构建完成的全卷积神经网络对大肿瘤超声图像和小肿瘤超声图像转换后生成的高质量大肿瘤图像进行分割，分割完成后，再按照相同比例进行小肿瘤超声图像的缩放。

本实施例的分割方法首先让专家根据肿瘤大小对肿瘤超声图像进行分类，根据分类结果多次训练后构建体积评估网络，随后学习大肿瘤的特性，以对小肿瘤超声图像进行放大处理并生成高质量的大肿瘤图像，完成图像转换网络的构建，最后将大肿瘤超声图像和小肿瘤放大后的超声图像进行分割训练，并在分割完成后，再按照相同比例进行小肿瘤超声图像的缩放，完成全卷积神经网络的构建；该方法可以根据肿瘤超声图像中肿瘤的大小进行分类，还能将小肿瘤放大成大肿瘤进行分割，尤其可以提高小肿瘤的分割精度，提高小肿瘤超声图像的分割效率。

实施例二：

本实施例提出一种基于多级变换网络的乳腺肿瘤分割方法，该方法包括以下步骤：

1）训练部分：

1a）专家根据经验设定体积阈值，根据该体积阈值将肿瘤超声图像划分成大肿瘤超声图像和小肿瘤超声图像两类，并分别进行标记；

1b）利用Resnet作为基网络，引入已经标记大肿瘤和小肿瘤的超声图像，将标记完成的大肿瘤和小肿瘤分属为两个训练集进行训练，完成体积评估网络的构建；

1c）采用TP-GAN技术，学习大肿瘤超声图像的特点，将标记完成的小肿瘤训练集放大生成高质量的大肿瘤图像，完成图像转换网络的构建；

1d）对大肿瘤超声图像和小肿瘤放大后的超声图像进行分割，完成全卷积神经网络的构建；

2）分割部分：

2a）利用构建完成的体积评估网络将肿瘤超声图像划分成大肿瘤超声图像和小肿瘤超声图像两类；

2b）利用构建完成的图像转换网络对小肿瘤超声图像进行放大处理后生成高质量的大肿瘤图像；

3c）利用构建完成的全卷积神经网络对大肿瘤超声图像和小肿瘤超声图像转换后生成的高质量大肿瘤图像进行分割，分割完成后，再按照相同比例进行小肿瘤超声图像的缩放。

在训练部分构建全卷积神经网络时，还可以首先对大肿瘤超声图像和小肿瘤放大后的超声图像进行多次分割，每次分割时将同一张大肿瘤超声图像、同一张小肿瘤放大后的超声图像分别分割成至少十份面积相同或不同的肿瘤超声图像单元，每份肿瘤超声图像单元的面积S=n*n，n为任一自然数，至少十份肿瘤超声图像单元的面积之和等于肿瘤超声图像的面积，且每次划分的肿瘤超声图像单元个数和/或肿瘤超声图像单元面积不相同，对同一张大肿瘤超声图像或小肿瘤放大后的超声图像进行下一次分割时肿瘤超声图像单元个数和/或肿瘤超声图像单元面积参考上一次分割后全卷积神经网络模块输出的分割结果。

本实施例的分割方法首先让专家根据肿瘤大小对肿瘤超声图像进行分类，根据分类结果多次训练后构建体积评估网络，随后学习大肿瘤的特性，以对小肿瘤超声图像进行放大处理并生成高质量的大肿瘤图像，完成图像转换网络的构建，最后将大肿瘤超声图像和小肿瘤放大后的超声图像进行分割训练，并在分割完成后，再按照相同比例进行小肿瘤超声图像的缩放，完成全卷积神经网络的构建；该方法可以根据肿瘤超声图像中肿瘤的大小进行分类，还能将小肿瘤放大成大肿瘤进行分割，尤其可以提高小肿瘤的分割精度，提高小肿瘤超声图像的分割效率。

实施例三：

本实施例提出一种基于多级变换网络的乳腺肿瘤分割装置，该装置包括：

标记模块10，用于对专家分类后的大肿瘤和小肿瘤进行分类标记；

训练构建模块一20，用于根据专家标记的分类结果进行大肿瘤和小肿瘤的训练，得出分类阈值，构建体积评估网络模块50；

训练构建模块二30，用于学习大肿瘤超声图像的特点，来放大小肿瘤超声图像进而训练生成高质量的大肿瘤图像，构建图像转换网络模块60；

训练构建模块三40，用于对大肿瘤超声图像和小肿瘤放大后的超声图像进行分割训练，构建全卷积神经网络模块70；

体积评估网络模块50，用于根据分类阈值对大肿瘤和小肿瘤进行分类；

图像转换网络模块60，用于放大小肿瘤超声图像进而生成高质量的大肿瘤图像；

全卷积神经网络模块70，用于对大肿瘤超声图像和小肿瘤放大后的超声图像进行分割训练，得到分割结果后，再按照相同比例进行小肿瘤超声图像的缩放。

所涉及体积评估网络模块50利用Resnet作为基网络，训练构建模块一20引入已经标记大肿瘤和小肿瘤的超声图像，并根据标记结果构建体积评估网络模块50。

所涉及图像转换网络模块60采用TP-GAN技术实现。

所涉及全卷积神经网络模块70包括全卷积神经网络单元71、三个分层单元72，每个分层单元72分别对大肿瘤超声图像和小肿瘤放大后的超声图像进行分割，也就是说三个分层单元72分别对同一张大肿瘤超声图像和小肿瘤放大后的超声图像进行三次分割，分层单元72每次分割时将同一张大肿瘤超声图像和同一张小肿瘤放大后的超声图像分别分割成五十份、一百份、二百份面积相同或不同的肿瘤超声图像单元，每份肿瘤超声图像单元的面积S=n*n，n为任一自然数，每次分割的所有肿瘤超声图像单元的面积之和等于肿瘤超声图像的面积。

所涉及全卷积神经网络模块70还包括反馈单元73，用于将全卷积神经网络单元71的分割结果输入下一个将要执行的分层单元72，使得对同一张大肿瘤超声图像或小肿瘤放大后的超声图像进行下一次分割时肿瘤超声图像单元个数和/或肿瘤超声图像单元面积能够基于上一次分割后全卷积神经网络单元71输出的分割结果。

本实施例分割装置与实施例一、实施例二保护的分割方法相结合，首先通过专家标记和多个训练构建模块完成体积评估网络模块50、图像转换网络模块60、全卷积神经网络模块70的构建，进而自动完成对肿瘤超声图像的分割，尤其对小肿瘤而言，本分割装置可以高效率、高精度的分割小肿瘤。

以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。