一种肿瘤超声图像分类方法及系统与流程

1.本发明涉及数字图像处理技术领域，具体是涉及一种肿瘤超声图像分类方法及系统。


背景技术：

2.目前数字图像处理技术已经得到了快速发展，在很多领域，都会运用到数字图像处理。例如人脸识别领域中，数字图像处理已经运用十分广泛。而对医学图像进行数字化处理，实现医学图像的自动分类，也具有广泛的运用前景。
3.在肿瘤的超声图像中，肿瘤周围区域的信息十分重要。目前对肿瘤图像分类，都是基于肿瘤周围区域的获取方法主要旨在获取单个区域信息，而忽略了有效融合肿瘤内部(瘤内)区域信息和肿瘤周围(瘤周)区域信息的优势。这就导致了对肿瘤超声图像进行分的准确率低的问题。


技术实现要素：

4.本发明实施例的目的在于提供一种肿瘤超声图像分类方法及系统，以克服现有肿瘤图像分类仅依赖于获取单个区域信息，而导致肿瘤超声图像分类准确性差的问题。
5.为实现上述目的，本发明提供如下技术方案：
6.一种肿瘤超声图像分类方法，应用于服务器，该方法包括：
7.获取肿瘤超声图像组成的数据集并预处理；
8.基于预构建的多区域图像识别模型，输入预处理后的所述数据集；
9.所述多区域图像识别模型融合预处理后的所述数据集中肿瘤内部区域信息和肿瘤周围区域信息，以进行自动分类。
10.上述方案，对超声图像进行预处理，然后通过多区域图像识别模型，充分地融合肿瘤内部和周围的图像信息，对超声图像进行分类，能够大大提高分类准确度。
11.作为本发明进一步的方案：所述预处理步骤如下：
12.沿所述肿瘤超声图像较短的一侧填充，使高度和宽度相等；
13.调整所述肿瘤超声图像大小以及分割标签大小；
14.勾画肿瘤轮廓，并通过对勾画的肿瘤轮廓进行扩张操作，获得组合肿瘤区域标签；
15.从所述组合肿瘤区域标签中减去瘤内区域标签以获得瘤周区域标签。
16.作为本发明进一步的方案：
17.在所述多区域图像识别模型中，经过处理后的肿瘤图像，首先依次经过第一残差模块、第二残差模块处理后，并输出至第一信息增强模块，第一信息增强模块处理后并输出至第三残差模块，第三残差模块经过处理后输出至第二信息增强模块处，第二信息增强模块经过处理后传输至第四残差模块处，经过第四残差模块处理后传输至多区域图像信息融合模块，将肿瘤图像进行分类。
18.信息增强模块，旨在逐步增强组合肿瘤区域的特征。同时多区域信息融合模块，用
于提取和融合瘤内、瘤周和组合肿瘤区域的特征，通道注意力机制可自适应地融合三个区域的特征，从而可以更好的提高分类的准确率。
19.作为本发明进一步的方案：所述至第一信息增强模块、第二信息增强模块中包括监督模块，所述监督模块的执行步骤为：
20.获取原始的所述肿瘤超声图像特征图；
21.基于已获取的原始图像特征图，与原始输入特征图相加计算以获取第一输出特征图。
22.作为本发明进一步的方案：所述获取原始图像特征图包括：
23.通过公式(1)获取原始图像特征图；
[0024][0025]
其中，f
comb
表示监督模块得到的原始图像特征图，g
c*h*w
表示监督模块输入特征图，g
′
1*h*w
表示监督得到的标签特征图；
[0026]
所述获取第一输出特征图包括：
[0027]
基于得到的原始图像特征图、监督得到的特征图，通过公式(2)获取第一输出特征图；
[0028][0029]
其中f表示原始的第一输入特征图，f
′
表示第一输出特征图，，表示特征图元素级相加。
[0030]
作为本发明进一步的方案：所述监督模块中，监督模块使用1
×
1卷积将通道数压缩为1，并使用sigmoid激活函数来获得特征图。
[0031]
作为本发明进一步的方案：所述多区域信息融合模块包括：
[0032]
获取至少一个以上的分支融合系数；
[0033]
基于所述的分支的融合系数，获取第二输出特征图。
[0034]
作为本发明进一步的方案：获取第二输出特征图包括：
[0035]
将至少一个以上的分支融合系与第二输入特征图进行相乘运算，再通过特征图串联。
[0036]
作为本发明进一步的方案：在将预处理后的所述数据集传输至多区域图像识别模型融合处步骤之前，还包括：将原始的肿瘤超声图像、分类标签、肿瘤多区域图像分割标签送入多区域图像识别模型，将监督模块、增强模块和多区域融合模块的损失之和作为最终的总损失，反向传播更新参数，以优化网络。
[0037]
本技术还提供了一种肿瘤超声图像分类系统，包括：
[0038]
获取模块，用于获取肿瘤超声图像组成的数据集并预处理；
[0039]
输入模块，用于将预处理后的所述数据集传输至多区域图像识别模型处；
[0040]
分类模块，用于通过多区域图像识别模型，对预处理后的所述数据集自动分类。
[0041]
综上所述，本发明实施例与现有技术相比具有以下有益效果：
[0042]
1、本发明提供的肿瘤超声图像分类方法，首先对超声图像进行预处理，然后通过多区域图像识别模型，充分地融合肿瘤内部和周围的图像信息，对超声图像进行分类，能够大大提高分类准确度。
[0043]
2、本发明提供的肿瘤超声图像分类方法，是一种新型的医学图像分类方法，能够实现肿瘤多区域图像的融合分类。多区域图像识别模型融合主体采用一个残差型分类网络框架。为了充分挖掘多区域图像潜在的关系，引入了瘤内瘤周组合肿瘤区域(组合肿瘤区域)信息增强模块，旨在逐步增强组合肿瘤区域的特征。同时多区域信息融合模块，用于提取和融合瘤内、瘤周和组合肿瘤区域的特征，通道注意力机制可自适应地融合三个区域的特征。
[0044]
3、相比现有图像的方法在测试阶段需要精确的肿瘤周围区域分割标签，这在临床应用中繁琐耗时。而本发明提供的肿瘤超声图像分类方法，实现对超声图像预处理，并可以提取融合融合瘤内、瘤周和组合肿瘤区域的特征特征，实现在不使用分割标签的情况下自适应地融合多个肿瘤区域的信息。
附图说明
[0045]
为更清楚地阐述本发明的结构特征和功效，下面结合附图与具体实施例来对本发明进行详细说明。
[0046]
图1为本发明提供的肿瘤超声图像分类方法流程示意图。
[0047]
图2为本发明提供的肿瘤超声图像分类系统的结构示意图。
[0048]
图3为本发明提供的多区域图像识别模型的结构示意图。
[0049]
图4为本发明提供的监督模块的分割结果。
[0050]
图5为本发明提供的多区域图像识别模型经过多个数据集训练测试的分类结果。
具体实施方式
[0051]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0052]
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0053]
应当理解，尽管在本发明实施例中术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0054]
本技术人发现，目前的肿瘤超声图像分类方法中，仅旨在获取单个区域信息，导致无法准确的分类。为此，在本发明提供一种肿瘤超声图像分类方法，获取肿瘤超声图像组成的数据集并预处理；基于预构建的多区域图像识别模型，输入预处理后的所述数据集；所述多区域图像识别模型融合预处理后的所述数据集中肿瘤内部区域信息和肿瘤周围区域信息，以进行自动分类。本发明可以对超声图像进行预处理，然后通过多区域图像识别模型，充分地融合肿瘤内部和周围的图像信息，对超声图像进行分类，能够大大提高分类准确度。
[0055]
下面结合具体附图进行详细说明所述肿瘤超声图像分类方法。
[0056]
实施例1
[0057]
参见图1所示，一种肿瘤超声图像分类方法，主要应用于服务器，包括以下步骤：
[0058]
s10、获取数据集并预处理；
[0059]
在步骤s1中，数据集主要为一系列肿瘤超声图像。同时为了保证数据集多样性，可以事先通过现有的超声设备，对不同年龄、患病时长不同的病人进行采集。
[0060]
预处理步骤如下：
[0061]
s11、为了统一输入大小所述肿瘤超声图像，首先沿所述肿瘤超声图像较短的一侧填充，使高度和宽度相等。
[0062]
s12、其次，使用双线性插值将原始的所述肿瘤超声图像调整为224
×
224，使用最近邻插值将分割标签调整为224
×
224。
[0063]
其中，双线性插值、最近邻插值为现有技术，此处不对其进行详细的说明。
[0064]
s13、然后，勾画肿瘤轮廓，并通过对勾画的肿瘤轮廓进行1.5倍边缘的标准形态学扩张操作，获得组合肿瘤区域标签。
[0065]
s14、最后从组合肿瘤区域标签中减去瘤内区域标签以获得瘤周区域标签。而瘤内区域标签是可以通过现有的计算机设备获取的，所以此处不再进行详细说明。
[0066]
此外，本技术中，肿瘤区域的原始图像和标签的点积为对应区域的肿瘤图像。
[0067]
可以理解的是，勾画肿瘤轮廓，可以通过人工来勾画，也可以通过计算机等设备进行勾画，此部分为现有技术，不再进行详细的说明。
[0068]
要说明的是，考虑到数据集的大小，采用水平翻转、垂直翻转和
‑
30到30度角之间的随机旋转等方法来增强训练集的数量。
[0069]
s20、基于预构建的多区域图像识别模型，输入预处理后的数据集；
[0070]
参见图3所示，在所述多区域图像识别模型中，经过处理后的肿瘤图像，首先依次经过第一残差模块、第二残差模块处理后，并输出至第一信息增强模块，第一信息增强模块处理后并输出至第三残差模块，第三残差模块经过处理后输出至第二信息增强模块处，第二信息增强模块经过处理后传输至第四残差模块处，经过第四残差模块处理后传输至多区域图像信息融合模块，将肿瘤图像进行分类。
[0071]
为了方便理解本技术的步骤s2，下面对肿瘤多区域图像识别模型的构建进行详细说明。
[0072]
构建多区域图像识别模型主要包括以下步骤：
[0073]
s21、构建残差型基线分类网络模型；在本技术中，残差型基线分类网络模型可以包括第一残差模块、第二残差模块、第三残差模块、第四残差模块。
[0074]
在本技术中，每个残差模块的结构，是以残差型网络作为分类的基线网络。
[0075]
残差型网络模型指的是类似resnet网络的编码型网络。原始resnet网络的编码阶段是由一系列的卷积层、批归一化层、非线性激活函数relu以及最大池化层构成。
[0076]
而在本发明中，为了兼容性以及保持更多高分辨率的细节信息，将resnet34的第一个7
×
7卷积层替换为两个保持尺寸的3
×
3卷积层，来提升resnet网络的特征提取能力并且可以避免梯度消失和梯度爆炸现象。
[0077]
此外，本技术所提及的resnet网络为现有的，所以此处不再对resnet网络进行详细的说明。
[0078]
s22、构建信息增强模块，用于增强瘤内瘤周组合肿瘤区域信息。
[0079]
本发明通过构建信息增强模块，来充分提取肿瘤区域的瘤内瘤周信息，并提升对肿瘤的良性、恶性分类的准确度。
[0080]
而信息增强模块主要包括两个部分：监督模块和增强模块。
[0081]
其中，监督模块的执行步骤如下：
[0082]
s221、通过公式(1)获取原始的肿瘤超声图像特征图；
[0083][0084]
其中，f
comb
表示监督模块得到的原始的肿瘤超声图像特征图，g
c*h*w
表示监督模块输入特征图，g
′
1*h*w
表示监督得到的标签特征图。
[0085]
s222、基于已获取的原始图像特征图，与原始输入特征图相加计算以获取第一输出特征图。具体为：基于得到的肿瘤超声图像特征图、原始的第一输入特征图，通过公式(2)获取输出特征图。
[0086][0087]
其中f表示原始的第一输入特征图，f
′
表示第一输出特征图，表示特征图元素级相加。
[0088]
其中，监督模块在组合区域的信息增强模块中起着重要作用。
[0089]
参阅图4，通过监督模块处理后的图像，可以更好地观察出肿瘤周围与内部区域。
[0090]
在本技术提出的监督模块，使用的u形模块在训练阶段以有监督的方式分割标签，解决目前基于瘤周区域的分类模型在测试阶段仍然需要分割标签的问题。
[0091]
而u形模块为现有技术，此处不做过多的说明。
[0092]
其次，本技术将特征映射逐步采样到输入图像的大小。考虑到计算参数的数量，可以通过解码器块逐渐减少模型的通道数。
[0093]
最后，监督模块使用1
×
1卷积将通道数压缩为1，并使用sigmoid激活函数来获得特征图。
[0094]
原特征图经过监督模块中的多个多尺度卷积层计算后，本发明人使用一个1
×
1卷积层和一个sigmoid激活层来生成分割标签图。最后，将原特征图与注意力图相乘，得到输出的特征图。
[0095]
本技术中增强模块的结构，主要起到增强组合肿瘤区域的特征。
[0096]
s23、构建信息融合模块，用于融合肿瘤多区域图像信息；
[0097]
步骤s23主要通过信息融合模块来充分提取肿瘤多区域图像信息，并探索一种有效的肿瘤多区域图像信息融合方式。
[0098]
多区域信息融合模块可概括为：
[0099]
s231、通过公式(3)获取若干个分支的融合系数；
[0100]
α
i
＝ca(c(f
′
i
))，i＝[1，2
…
n]
ꢀꢀꢀꢀꢀꢀ
(3)
[0101]
i表示若干个不同的分支，n为正整数，c表示卷积操作，ca表示通道注意模块，
[0102]
s232、将至少一个以上的分支融合系与第二输入特征图进行相乘运算，再通过特征图串联，即通过公式(4)获取融合模块的输出特征图，如下：
[0103]
[0104]
其中f
′
i
表示第二输入特征图(可以由公式(2)求出)，con表示特征图串联，表示元素相乘，f
″
表示第二输出特征图。
[0105]
在本步骤中，多区域信息融合模块可以被放置在通用网络中，通过自学习来更新参数，探索更有效的多区域信息融合方式。
[0106]
在信息融合模块的网络结构设计上，信息融合模块可以引入监督模块监督肿瘤多区域的分割标签，并使用三个分支分别来提取三个肿瘤区域的特征。即本技术中的i＝[1，2，3]
[0107]
除此以外，本技术人发现，不同肿瘤区域特征较为相近，不能够有效融合特征图。为此，本技术通过公式(3)公式(4)来引入一个一维通道注意力机制，通过通道注意力机制来建模不同肿瘤区域特征图之间的通道依赖关系，使用生成的通道权重来有效地融合不同区域的特征图。
[0108]
并且一维通道注意力机制不仅能够有效降低参数量，还能够保证充分的局部跨通道交互，显著提升模型的性能。
[0109]
值得一提的是，将一维注意力机制建模生成的通道权重与不同区域的特征图相乘，再使用残差连接与原图相加，即可得到有效融合不同尺度上下文信息的特征图。
[0110]
s24、建立多区域图像识别模型。
[0111]
参阅图1，本发明在步骤s21、步骤s22、步骤s23所建立的基线网络基础上，插入增强模块和信息融合模块以建立整个肿瘤的多区域图像识别模型。
[0112]
为了在整个多区域图像识别模型的多个阶段增强组合肿瘤区域信息，本发明在特征提取阶段使用了两个信息增强模块。两个信息增强模块能够建模长期的依赖关系，引导着整个多区域图像识别模型逐渐地关注组合肿瘤区域信息，利用瘤内瘤周纹理和边缘信息来获取更加准确的分类结果。
[0113]
多区域图像融合模块被应用在多区域图像识别模型的最终阶段，其能够捕捉肿瘤多区域的特征信息，并充分融合。
[0114]
本技术通过1
×
1卷积将通道数压缩为1，并通过公式(3)、公式(4)引入了一个先进的通道注意力机制，能够自适应地衡量不同区域特征对最终分类结果的贡献，探索、寻找到一种最有效的肿瘤多区域信息融合方式。通道注意力机制通过自学习更新参数，引导整个分类网络的优化。
[0115]
更进一步的，在步骤s2执行之前，参与图5，还包括输入多个训练集，训练多区域图像识别模型。
[0116]
训练多区域图像识别模型，需要将原始的肿瘤超声图像及分类标签送入整个网络进行监督学习，并且还需要送入肿瘤多区域图像分割标签。将组合区域的信息增强模块和多区域融合模块两部分的损失之和作为最终的总损失，反向传播更新参数，引导整个网络的优化。
[0117]
为了更好地进一步优化该模型，本技术人通过设计了一个联合损失函数，其中包含用于监督三个肿瘤区域标签的分割损失函数和用于分类任务的交叉熵损失函数。
[0118]
特别是，本技术可以包括五个分割损失函数，两个分别用于两个瘤内瘤周组合区域的信息增强模块中，用于监督组合区域标签；三个分别用于肿瘤的多区域信息融合模块中，用于监督三个肿瘤区域标签。
[0119]
损失函数如下：
[0120][0121]
其中l
c
表示交叉熵损失函数，l
d
表示分割损失函数。l
total
表示整个网络的联合损失，λ1和λ2表示每个损失函数的系数。
[0122]
对于s30、所述多区域图像识别模型融合预处理后的所述数据集中肿瘤内部区域信息和肿瘤周围区域信息，以实现自动分类。
[0123]
测试分类网络时只需输入待测试图片，不需要输入肿瘤多区域分割图标签，分类网络会自动根据测试图片，融合肿瘤多区域信息，分类肿瘤良恶性。
[0124]
工作原理：
[0125]
本发明提供的肿瘤超声图像分类方法，是一种新型的医学图像分类方法，能够实现肿瘤多区域图像的融合分类。
[0126]
多区域图像识别模型融合主体采用一个残差型分类网络框架。为了充分挖掘多区域图像潜在的关系，引入了瘤内瘤周组合肿瘤区域(组合肿瘤区域)信息增强模块，旨在逐步增强组合肿瘤区域的特征。同时多区域信息融合模块，用于提取和融合瘤内、瘤周和组合肿瘤区域的特征，通道注意力机制可自适应地融合三个区域的特征。
[0127]
同时实现对超声图像预处理，并可以提取融合融合瘤内、瘤周和组合肿瘤区域的特征特征，实现在不使用分割标签的情况下自适应地融合多个肿瘤区域的信息。
[0128]
实施例2
[0129]
本技术还提供一种肿瘤超声图像分类系统，包括：
[0130]
获取模块10，用于获取肿瘤超声图像组成的数据集并预处理；还用于：
[0131]
所述预处理步骤如下：
[0132]
沿所述肿瘤超声图像较短的一侧填充，使高度和宽度相等；
[0133]
调整所述肿瘤超声图像大小以及分割标签大小；
[0134]
勾画肿瘤轮廓，并通过对勾画的肿瘤轮廓进行扩张操作，获得组合肿瘤区域标签；
[0135]
从所述组合肿瘤区域标签中减去瘤内区域标签以获得瘤周区域标签。
[0136]
输入模块20，用于基于预构建的多区域图像识别模型，输入预处理后的所述数据集；还用于：
[0137]
在所述多区域图像识别模型中，包括瘤内瘤周组合肿瘤区域标签的超声图像，首先依次经过第一残差模块、第二残差模块处理后，并输出至第一信息增强模块，第一信息增强模块处理后并输出至第三残差模块，第三残差模块经过处理后输出至第二信息增强模块处，第二信息增强模块经过处理后传输至第四残差模块处，经过第四残差模块处理后传输至多区域图像信息融合模块，将肿瘤图像进行分类。
[0138]
所述至第一信息增强模块、第二信息增强模块中包括监督模块，所述监督模块的执行步骤为：获取原始的所述肿瘤超声图像特征图；基于已获取的原始图像特征图，与原始输入特征图相加计算以获取第一输出特征图。
[0139]
所述获取原始图像特征图包括：
[0140]
通过公式(1)获取原始图像特征图；
[0141]
[0142]
其中，f
comb
表示监督模块得到的原始图像特征图，g
c*h*w
表示监督模块输入特征图，g
′
1*h*w
表示监督得到的标签特征图；
[0143]
所述获取第一输出特征图包括：
[0144]
基于得到的原始图像特征图、监督得到的特征图，通过公式(2)获取第一输出特征图。
[0145][0146]
其中f表示原始的第一输入特征图，f
′
表示第一输出特征图，表示特征图元素级相加。
[0147]
所述监督模块中，监督模块使用1
×
1卷积将通道数压缩为1，并使用sigmoid激活来获得特征图。
[0148]
所述多区域信息融合模块包括：
[0149]
获取至少一个以上的分支融合系数；
[0150]
基于所述的分支的融合系数，获取第二输出特征图。
[0151]
获取第二输出特征图包括：将至少一个以上的分支融合系与第二输入特征图进行相乘运算，再通过特征图串联。
[0152]
而在在将预处理后的所述数据集传输至多区域图像识别模型融合处步骤之前，还包括：将原始的肿瘤超声图像、分类标签送、肿瘤多区域图像分割标签投喂多区域图像识别模型，将监督模块、增强模块和多区域融合模块的损失之和作为最终的总损失，反向传播更新参数，以优化网络。
[0153]
分类模块30，用于通过多区域图像识别模型，对预处理后的所述数据集自动分类。
[0154]
本领域技术人员将能够理解，信息和信号可使用任意多种不同的技术和方法来表示。例如，在以上描述中所涉及的数据、指令、命令、信息、信号、比特、符号和码片均可通过电压、电流、电磁波、磁场或粒子、光学场或粒子或者其任意组合来表示。
[0155]
域的技术人员还应当理解：与在此公开的实施方式有关的各种说明性的逻辑功能块、模块、电路和算法步骤可以作为电子硬件、计算机软件或者其组合来实现。为了清楚地举例说明硬件和软件的这种互换性，通常根据其功能来描述各种说明性的组件、功能块、模块、电路和步骤。这种功能是以硬件还是软件来实现取决于对整个系统的特殊应用和设计约束。熟练技术人员可为每个特殊应用以变化的方式来实现所描述的功能，但是这种实现不应被解释成造成对本发明的范围的偏离。
[0156]
以上结合具体实施例描述了本发明的技术原理，仅是本发明的优选实施方式。本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。