基于超声影像的乳腺肿瘤识别方法与流程

本发明涉及超声影像识别领域，具体是指一种基于超声影像的乳腺肿瘤识别方法。

背景技术：

近年来，乳腺肿瘤的发病率在世界范围内呈上升趋势。据世界卫生组织国际肿瘤症研究中心2013年公布的数据，自2008年以来，全球每年乳腺肿瘤病例以超过20％的速度增长，而死亡率每年长14％。

超声影像技术是目前为止最经济且高效的乳腺肿瘤早期筛查方法之一，减少了不必要的活体组织检查，但是乳腺超声图像的识别结果完全依靠医生的经验，具有一定的主观性。急需一个高效的计算机辅助识别(cad，computer-aideddetection)系统来提高乳腺超声图像的识别效率和准确性。

技术实现要素：

基于以上技术问题，本发明提供了一种基于超声影像的乳腺肿瘤识别方法，用于提高乳腺产生图像的识别效率和识别准确率。

为解决以上技术问题，本发明采用的技术方案如下：

基于超声影像的乳腺肿瘤识别方法，包括：采集乳腺肿瘤超声影像，并对乳腺肿瘤超声影像进行标注；对标注后的乳腺肿瘤超声影像进行预处理；将预处理后的乳腺肿瘤超声影像在蒸馏神经网络中训练，获得训练后的乳腺肿瘤识别模型；将待识别的乳腺超声影像输入乳腺肿瘤识别模型，得到乳腺肿瘤识别模型输出的识别结果。

作为一种优选的方式，蒸馏神经网络包括教师网络和学生网络；蒸馏神经网络根据蒸馏算法，通过教师网络来指导学生网络进行训练；其中，学生网络具有双层分类网络结构，教师网络中引入掩膜参数。

作为一种优选的方式，乳腺肿瘤超声影像分为清洁数据集和噪声数据集。

作为一种优选的方式，清洁数据集采用基于病理识别的强标签数据；噪声数据集采用基于双雷达系统获取的弱标签数据和基于病理识别的强标签数据。

作为一种优选的方式，标注包括良性肿瘤标注和恶性肿瘤标注。

作为一种优选的方式，预处理包括将乳腺肿瘤超声影像的空白部分、私人信息和乳腺组织的背景去除，得到仅保留乳腺肿瘤图像信息的乳腺超声影像。

作为一种优选的方式，识别结果符合bi-rads分级标准。

与现有技术相比，本发明的有益效果是：

(1)本发明针对乳腺超声波图像，采用深度学习模型，对乳腺肿瘤所在的区域进行了自动定位和识别(良性或恶性)。该深度学习模型的识别准确度远好于传统的基于图像处理和计算机视觉的方法。对于定位后的区域图片，我们用深度学习模型的方法，建立了乳腺肿瘤的良性或恶性的预测模型，提高了乳腺产生图像的识别效率和识别准确率。

(2)本发明通过蒸馏神经网络，使用了双分支学习的框架，教师网络应用了传统的学习方式，学生网络尽量遗忘复杂有歧义的数据，并通过知识蒸馏，学习教师网络的有效信息，充分挖掘基于bi-rads识别结果数据的有效信息，从而来提高识别准确率。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述，其中：

图1为基于超声影像的乳腺肿瘤识别方法流程示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1是本申请一些实施例所示的基于超声影像的乳腺肿瘤识别方法的流程示意图，以下将结合图1对本申请所涉及的基于超声影像的乳腺肿瘤识别方法进行介绍。需要注意的是，图1仅作为示例，并不对基于超声影像的乳腺肿瘤识别方法的具体流程形成限定。

参阅图1，在本实施方式中，基于超声影像的乳腺肿瘤识别方法，包括：采集乳腺肿瘤超声影像，并对乳腺肿瘤超声影像进行标注；对标注后的乳腺肿瘤超声影像进行预处理；将预处理后的乳腺肿瘤超声影像在蒸馏神经网络中训练，获得训练后的乳腺肿瘤识别模型；将待识别的乳腺超声影像输入乳腺肿瘤识别模型，得到乳腺肿瘤识别模型输出的识别结果。

具体的，建立乳腺肿瘤的良性或恶性的乳腺肿瘤识别模型，其识别精度达到美国放射学会的bi-rads分级标准。

在一些实施例中，蒸馏神经网络包括教师网络和学生网络；蒸馏神经网络根据蒸馏算法，通过教师网络来指导学生网络进行训练；其中，学生网络具有双层分类网络结构，教师网络中引入掩膜参数。

教师网络通过自主方式来对接信息，学生网络通过遗忘复杂、模糊的特征来进行简单的数据。同时，对教师网络进行了计算。利用学生网络的均方差分，学生网络从教师网络那里提取有效信息，从而提高整体识别识别率。其中，教师传授知识给学生的方法：

1、教师网络经过训练输出一个类别概率分；

2、学生网络以教师网络的输出预测为指导，输出一个类别概率分；

3、设计学生网络的损失函数，最小化两个概率分布之间的差距。

实质：训练一个学生网络模型来模仿一个预先训练好的教师网络模型预测输出概率分布使用双分支学习的框架，教师网络应用了传统的方式，学生网络引入双层分类网络(doublesoftmax，softmax即为分类网络)来平缓网络的学习，尽量遗忘复杂有歧义的数据，并通过知识蒸馏，学习教师网络的有效信息，充分挖掘基于bl-rads识别结果数据的有效信息，从而来提高识别良恶性乳腺肿瘤的准确率。其基本框架是：

首先我们将教师网络的输出loss定义如下：

即教师网络的logic输出做softmax后与label的交叉熵，其中f(xf，θt)表示参数为θt的教师网络对于输入xf的logic输出，yf表示样本xf的标签。

即学生网络的logic输出做doublesoftmax后与label的交叉熵，其中f(xf，θs)表示参数为θs的教师网络对于输入xf的logic输出，yf表示样本xf的标签。

然后进行知识蒸馏，在本蒸馏神经网络中，有教师网络和学生网络，教师网络只是一个传统的深度学习网络，我们使学生网络从教师网络中蒸馏知识，但是区别于其他方法的是，我们的学生网络中增加了doublesoftmax结构，doublesoftmax使学习更加平缓，复杂且有歧义的信息遗忘速度更快。

为了使学生网络搞笑的从教师网络中蒸馏知识，我们引入了网络一致性函数jx(θ)，来表示对于相同的输入时两个网络预测的期望距离。我们将两个网络的预测结果的不同当成一个错误，我们的目的就是最小化这个错误函数。

我们首先定义x＝{x1，x2，x3，...xn}，表示一个mini-batch的输入数据，教师网络一个mini-batch的判别函数输出为f(x，θt)和学生网络一个mini-batch的判别函数输出为f(x，θs)。所以我们定义jx(θ)为：

jx(θ)＝ex[|softmax(f(x，θt))-softmax(f(x，θs))|²]

且基于传统知识蒸馏模型的缺点，我们引入了掩膜(mask)参数，数字图像处理中的掩膜的概念是借鉴于pcb制版的过程，在半导体制造中，许多芯片工艺步骤采用光刻技术，用于这些步骤的图形“底片”称为掩膜(也称作“掩模”)，其作用是：在硅片上选定的区域中对一个不透明的图形模板遮盖，继而下面的腐蚀或扩散将只影响选定的区域以外的区域。图像掩膜与其类似，用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。

光学图像处理中，掩模可以是胶片、滤光片等。数字图像处理中，掩模为二维矩阵数组，有时也用多值图像。数字图像处理中，图像掩模主要用于：

1、提取感兴趣区，用预先制作的感兴趣区掩模与待处理图像相乘，得到感兴趣区图像，感兴趣区内图像值保持不变，而区外图像值都为0；

2、屏蔽作用，用掩模对图像上某些区域作屏蔽，使其不参加处理或不参加处理参数的计算，或仅对屏蔽区作处理或统计；

3、结构特征提取，用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征：

4、特殊形状图像的制作。

只蒸馏置信度比较高的信息在我们的框架中，mask只由教师网络计算出，所以我们定义mask如下：

mask＝max(softmax(f(x，θt)))≥confidencethreshold

其中(x，θt)表示教师网络的一个mini-batch的输入计算得到的一个logic输出。

由于我们引入了mask，经过mask后，可能会导致参与梯度下降的数据不平衡，所以我们还引入了一个惩罚网络的类间不平衡的损失函数：

losscb＝mean(crossentropy(ex(softmax(f(x，θ)，1/c))·c·ex(mask)))

其中，c表示分类数，c＝2。

所以我们定义最终的losssd如下：

losssd＝ex(jx(θ)·mask)

本研发项目采用的是双软的方法使研发更平缓，复杂且有歧义的信息遗忘速度更快。我们引入了网络一致性函数来让学生网络高效的从教师网络蒸馏知识，为了提高蒸馏的效率，我们引入了mask，只蒸馏置信度比较高的信息，从而达到了高效的学习效果。

引入了双分支学习、双软最大值、均方差、类间平衡，从而达到了最先进的效果。

在一些实施例中，乳腺肿瘤超声影像分为清洁数据集和噪声数据集。

优选的，清洁数据集采用基于病理识别的强标签数据；噪声数据集采用基于双雷达系统获取的弱标签数据和基于病理识别的强标签数据。

在本实施例中，其中，所谓清洁数据便是明确确认是良性还是恶心的乳腺肿瘤数据，而噪声数据便是大致明确，但可能需要进一步检验的数据。在实际诊断过程中，尤其在医学图像领域，获取大量的清洁数据是很难的，比如乳腺癌超声图像。因为乳腺癌的识别流程一般由以下几个步骤组成：

1、乳房检查；

2、乳腺超声或乳房x光检查；

3、取出乳腺细胞样本进行检测(活检)；

对于第一步中有疑虑的病人，会推荐到第二步进行检查，在第二步中的乳腺超声或乳房x光检查会给一个双雷达系统(所谓双雷达系统，便是相控阵乳腺肿瘤成像系统，其是用于普查乳腺肿瘤的新型医疗成像设备。采用相控阵雷达技术原理，选用低频太赫兹波，双模态工作，可同时断层成像。该系统的这些技术特征，包括采用太赫兹波源和相控阵技术，均首次应用于医疗商品，属填补世界空白的原创性医疗成像设备。)得分bi-radsscore的筛查结果，当bi-radsscore怀疑是恶性时，会被采用第三步的病理手术来进行确诊。此时，经双雷达系统获取的结果并不能明确确认乳腺肿瘤类型，属于噪声数据。

但在实际中，第二步和第三步的识别可能并不在一所医院，而医院之间的数据是不共享的，导致很多超声图像没有最终的确诊结论，只有一个bi-radsscore。另外一点是，并不是所有的乳腺超声检查数据都需要用来做病理识别，所以导致没有最终确诊结果，也是只有bi-radsscore。同时标注这些医学图像需要非常专业的医学知识，而有经验的医生又很难有时间或者经费支撑其完成标注工作。由于这些局限性，在乳腺超声应用中采集所需的清洁数据，成本高、耗时长，乳腺超声数据集通常较小，且在测试集上性能较差。相比之下，在乳腺超声识别中有大量基于双雷达系统的弱标记医学图像，能更精确通过超声图像方式筛查结果。

其中，乳腺肿瘤超声影像数据来源包括：第一是基于从双雷达系统获得的弱标签数据。我们将其数据集分为两类：良性和恶性，良性类由bi-radsscore分级为2、3、4a类图像构成，恶性类由bi-radsscore分级为4b、4c、5、6类图像构成，共收集良性577例，恶性464例。此外，每幅图像中的病变也由经验丰富的临床医生标记出来。第二是基于病理识别作为清洁的强标签数据。

如何高效的利用这些噪声数据来提高整体的学习性能。实际中如果直接使用噪声数据集来训练深度学习网络可能会引起性能退化，因为在训练过程中很容易过拟合噪声标签数据。为了克服这个问题，我们研发了一种过滤噪音，并蒸馏清洁知识的框架。在我们的框架中，我们采用了双分支设计，两个分支有不同的学习能力，教师网络负责常规学习，学生网络在学习过程中会加速遗忘复杂有歧义的特征，同时蒸馏教师网络的知识，从而加强学生网络的学习能力。通过在我们收集的乳腺超声图像数据集的实验数据对比表现，可以看到我们的框架产生的现状的结果。

在本实施例中，数据集的来源是我们一直与四川省人民医院合作，让有经验的临床医生对乳腺病变患者的乳腺超声图像进行注释。其中在强标签数据集中，每一个病人都是通过超声引导下的芯针穿刺活检(cnb)或临床手术后的手术通过病理手段来证实良性或恶性肿瘤。这个数据集收集了444名患者的799张乳腺超声图像。具体实验中，我们准备数据如下：

我们设计了清洁数据集和噪声数据集，其中清洁数据集只有基于病理识别的强标签数据，随机抽取264例良性数据和263例恶性数据作为训练集，从基于病理识别的强标签数据随机选择的以良性组139例，恶性组133例为测试集。噪声数据集由基于双雷达系统获取的弱标签数据的全部数据和基于病理识别的强标签数据随机抽取良性数据和恶性数据263例作为训练集，从基于病理识别的强标签数据随机选择的良性数据139例，恶性数据133例为测试集。

在一些实施例中，标注包括良性肿瘤标注和恶性肿瘤标注。

在一些实施例中，预处理包括将乳腺肿瘤超声影像的空白部分、私人信息和乳腺组织的背景去除，得到仅保留乳腺肿瘤图像信息的乳腺超声影像。

在一些实施例中，识别结果符合bi-rads分级标准。

综上所述，通过实验，我们的系统达到了最先进的技术效果。虽然我们的系统是基于乳腺结节超声影像数据的研究，但是我们的方法也可以应用在其他医学图像或其他图像中，市场前景广阔。利用超声成像，结合数字信号或图像处理技术，感受组织内部的相应位移变化，直接或间接地反映组织内部弹性模量等力学属性的变化差异。超声成像技术突破性地进行了冠状面成像，通过获取体积参数并重组从而得到立体三维图像。能够对各个不同的断面进行重建和显示，从而立体地展示乳腺内各组织结构的解剖特征及空间关系。超声检查已在乳腺普查、蹄查、定期复查以及早期发现肿瘤并判别肿瘤性质等方面有着异常重要的作用意义。

本申请前期主要研究乳腺结节超声影像的分类问题，在过去的很多研究中，乳腺结节超声影像数据一直限制了乳腺结节超声影像分类的准确率，为了去解决这个问题，我们收集了两个数据集，一个是有病理识别结论的清洁数据集，一个是相对容易获得的bi-rads数据集，由于bi-rads数据集有噪声标签，所以单纯用监督研究的方式很难取得比较好的泛化效果。

为了解决这个问题，本申请设计了一个新的框架来从有噪声标签的数据集中学习知识，此框架便是蒸馏神经网络。我们的框架由教师网络和学生网络双分支组成，我们一个网络分支学生网络来研究区别度明显的知识，通过双软的方式，遗忘容易迷惑的知识，另外一个网络分支教师网络，正常研究。同时系统中添加了平均差别损失，让学生网络从教师网络中蒸馏有用的知识，提高了整体系统的准确度。

如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明的验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。