基于深度学习检测甲状腺超声图像中结节的方法和装置

本公开涉及计算机生物学技术领域，具体而言，涉及基于深度学习检测甲状腺超声图像中结节的方法和装置。

背景技术：

目前已有很多运用深度学习方法在医疗图像上进行辅助诊断的技术，针对甲状腺超声图像中甲状腺结节的辅助诊断，常用的深度学习方法可以分为两类：一种是基于区域候选网络的双阶段检测器，另一种是不基于区域候选网络的单阶段检测器。两种方法概括来说均需要以下步骤：首先获得超声图像经过卷积神经网络提取特征后的特征图；其次在特征图上设置锚点(anchor)和一定数量、尺寸的锚框(anchorbox)；最后进行锚框的位置回归算法以及类别划分算法，完成甲状腺超声图像中的结节检测。

但是，现有技术方案中，具有以下两点缺点：(1)需要在实验前设置三种尺寸为64,128和256,三种比例为1:2,1:1和2:1的anchorbox，然而，由于实际情况中，输入甲状腺超声图像的尺寸不固定、图像内结节区域大小不一，anchorbox的尺寸、宽高比、个数等超参数会给实验结果带来很大的影响，在实际辅助诊断的过程中面临着巨大的考验。(2)为了给实验结果带来较高的召回率，在一张图像中往往会设置大量且密集的anchorbox，显而易见的是，每一张甲状腺超声图像中结节数量是极少的，往往是个位数，大量的anchorbox在训练阶段的类别划分时会带来极大的正负样本类别不均衡问题，并且在训练与测试阶段计算iou时会加剧计算量且消耗内存资源。

总体来说，现有技术会面临实验结果泛化性能不够好、模型训练过程缓慢、计算资源浪费等问题。

技术实现要素：

为了解决现有技术中的技术问题，本公开实施例提供了基于深度学习检测甲状腺超声图像中结节的方法和装置，能够无需设置anchorbox，并且采用一种加快anchorbox回归的算法，最大限度的加快模型训练速度、增强实验结果泛化性能。

第一方面，本公开实施例提供了基于深度学习检测甲状腺超声图像中结节的方法，所述方法包括：对甲状腺超声图像进行预处理操作；将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；对所述待训练模型进行训练以及测试操作。

在其中一个实施例中，对甲状腺超声图像进行预处理操作包括：对所述甲状腺超声图像依次进行缩放、填充与归一化处理操作。

在其中一个实施例中，将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像包括：将预处理后的所述甲状腺超声图像输入至特征提取网络进行特征提取，以获取多尺度的特征图；其中，所述特征提取网络由残差特征提取网络和多尺度特征融合网络构成。

在其中一个实施例中，所述分类与回归结构由分类网络和回归网络构成。

在其中一个实施例中，将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息包括：所述特征图像经过多个卷积模块操作，提取到图像的深层分类特征；其中，每个卷积模块中包含卷积层、批归一化层、非线性激活函数；将深层分类特征经过感受野更大的卷积层，得到尺寸为w*h*1的张量；其中，所述特征图像中每个特征点预测为结节区域的分类置信度，w*h为所述特征图像的尺寸。

在其中一个实施例中，还包括：所述分类特征经过偏移量分支执行卷积层操作，提取到图像的偏移量特征，得到所述特征图像中每个预测框至目标框中心点的偏移量预测值。

在其中一个实施例中，对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失包括：对输入至对应的分类与回归结构中的所述特征图像通过第一预设公式计算所产生的分类损失；其中，所述第一预设公式为：

lcls＝-a(1-pred)²log(pred)

其中，pred表示样本属于分类到正确类别的概率，正确样本为正样本时a＝0.75，正确样本为负样本时a＝0.25；

再通过第二预设公式计算所产生的中心点距离回归损失；其中，所述第二预设公式为：

其中，iou表示目标框与预测框的交并比，c、c^gt分别代表预测框和目标框的中心点，ρ表示两个矩形框中心点间的欧式距离，d为能够同时囊括预测框和目标框的最小矩形的对角线距离；

再通过第三预设公式计算偏移量损失；其中，所述第三预设公式为：

其中，公式中l^*，t^*，r^*，b^*分别表示预测框中心点至目标框坐标(xmin，ymin，xmax，ymax)的距离；

最后通过第四预设公式对分类损失、中心点距离回归损失以及偏移量损失加权求和获取待训练模型的总体损失；其中，所述第四预设公式为：

l＝λ1lcls+λ2lreg+λ3lctr

其中，公式中λ1＝1，λ2＝2.5，λ3＝1。

第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。

第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。

第四方面，本公开实施例提供了基于深度学习检测甲状腺超声图像中结节的装置，所述装置包括：预处理模块，用于对甲状腺超声图像进行预处理操作；特征提取模块，用于将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；获取模块，用于将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；计算模块，用于对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；训练与测试模块，用于对所述待训练模型进行训练以及测试操作。

本发明提供的基于深度学习检测甲状腺超声图像中结节的方法和装置，对甲状腺超声图像进行预处理操作；将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；对所述待训练模型进行训练以及测试操作。该方法提供了一种无需设置anchorbox、高效的对甲状腺超声图像中结节区域进行检测的方法，可以避免与anchorbox相关的计算，同时避免资源浪费、加快训练速度，增强实验结果泛化性能；同时采用一种加快预测框位置回归的中心点距离回归算法，提高实验测试指标的同时，最大限度的加快模型训练速度；以及增加偏移量预测分支，在测试阶段表征预测框与目标框中心点的距离，帮助模型筛选正确的检测框，提高测试指标。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：

图1为本发明一个实施例中的基于深度学习检测甲状腺超声图像中结节的方法的步骤流程示意图；

图2为本发明一个实施例中的基于深度学习检测甲状腺超声图像中结节的方法中特征提取网络示意图；

图3为本发明一个实施例中的基于深度学习检测甲状腺超声图像中结节的方法中分类与回归结构示意图；

图4为本发明一个实施例中的基于深度学习检测甲状腺超声图像中结节的装置的结构示意图；

图5为本发明一个实施例中的基于深度学习检测甲状腺超声图像中结节的装置的硬件框图；

图6为本发明一个实施例中的计算机可读存储介质的示意图。

具体实施方式

下面结合附图和实施例对本申请进行进一步的详细介绍。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征a、b、c，另一个实施例包含特征b、d，那么本申请也应视为包括含有a、b、c、d的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

为了使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本发明基于深度学习检测甲状腺超声图像中结节的方法和装置的具体实施方式进行进一步详细说明。需要说明的是，本公开具体为基于深度学习中anchor-free方法对甲状腺超声图像进行结节区域检测。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，为一个实施例中的基于深度学习检测甲状腺超声图像中结节的方法的流程示意图，具体包括以下步骤：

步骤11，对甲状腺超声图像进行预处理操作。

需要说明的是，对甲状腺超声图像进行预处理操作包括：对所述甲状腺超声图像依次进行缩放、填充与归一化处理操作。

具体的，缩放操作具体为：若图片短边小于800像素(pixel,下文缩写为px)，则将短边乘相应的倍率放大至800px，长边乘以同样大倍率；若长边大于1333px，则长边乘以相应的倍率缩小至1333px，短边乘以同样大倍率。即保证图片短边不短于800px，同时长边不大于1333px。此外，填充操作具体为：缩放之后图片的长宽，若不能够被32整除，则填充像素值为0的像素点，至其刚好能被32整除。进一步地，归一化操作具体为：每个像素值减去该通道的均值μc并除以方差σc，如公式其中xn表示像素值，μc∈[μr,μg,μb]表示rgb三个通道的均值，σc＝[σr,σg,σb]表示rgb三通道的方差。

步骤12，将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像。

具体的，将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像包括：将预处理后的所述甲状腺超声图像输入至特征提取网络进行特征提取，以获取多尺度的特征图；其中，所述特征提取网络由残差特征提取网络和多尺度特征融合网络构成，如图2所示。

其中，残差特征提取网络是由残差块构成的卷积神经网络，残差块是由卷积层、批归一化层、非线性激活函数经过残差连接构成的。在残差特征提取网络的每一个残差块之后，即conv1，conv2，conv3，conv4和conv5之后，分别获得一个卷积特征图，整个网络一共可获得{c1,c2,c3,c4,c5}共5个特征图。除去语义信息不够丰富的c1和c2，剩余的c3-c5级作为多尺度特征融合网络的输入特征图，分别对应于输入图片的下采样倍数为stride＝{8，16，32}。

多尺度特征融合网络将输入的相邻层级特征图融合成新特征，{c3,c4,c5}中每一级先经过一层卷积层操作，得到该层的浅层特征，若有下一级深层特征图，则再与下一级的2倍上采样结果进行相同空间位置元素相加的操作，将浅层与深层特征融合得到多尺度的特征图{p3,p4,p5}，其中，特征图p5经过两次卷积层操作，依次得到特征图p6、p7，且通道数均为256。

步骤13，将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息。其中，分类与回归结构由分类网络和回归网络构成，如图3所示。

具体的，将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息包括：所述特征图像经过多个卷积模块操作，提取到图像的深层分类特征；其中，每个卷积模块中包含卷积层、批归一化层、非线性激活函数；将深层分类特征经过感受野更大的卷积层，得到尺寸为w*h*1的张量；其中，所述特征图像中每个特征点预测为结节区域的分类置信度，w*h为所述特征图像的尺寸。此外，本公开的基于深度学习检测甲状腺超声图像中结节的方法还包括：所述分类特征经过偏移量分支执行卷积层操作，提取到图像的偏移量特征，得到所述特征图像中每个预测框至目标框中心点的偏移量预测值。

此外，回归网络中，特征图经过多个卷积模块操作，提取到深层回归特征，每个卷积模块的结构如上文所述。深层回归特征经过感受野更大的卷积层得到尺寸为w*h*4的张量，得到特征图中每个特征点预测的4维张量(l,r,t,b)，将4维张量取指数，得到(e^l,e^r,e^t,e^b)，分别表示特征点作为中心点的坐标(x,y)至预测边框坐标为(xmin,ymin,xmax,ymax)的垂直距离

即e^l＝|x-xmin|,e^r＝|xmax-x|,e^t＝|y-ymin|,e^b＝|ymax-y|。

对于不同尺度的特征，限定边框回归的范围如下：

l3∈[0,64],l4∈[64,128],l5∈[128,256],l6∈[256,512],l7∈[512,∞],其中，{l3,l4,l5,l6,l7}分别对应特征图{p3,p4,p5,p6,p7}中的预测4维张量(l,r,t,b)中的最大值。

值得注意的是，本发明中采用的正负样本选取方式是基于距离与尺寸，即目标框内的特征点在网络训练时都被认为是正样本(结节区域)，其余为负样本(背景区域)。

步骤14，对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失。

具体的，对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失包括：对输入至对应的分类与回归结构中的所述特征图像通过第一预设公式计算所产生的分类损失；其中，所述第一预设公式为：

lcls＝-a(1-pred)²log(pred)

其中，pred表示样本属于分类到正确类别的概率，正确样本为正样本时a＝0.75，正确样本为负样本时a＝0.25；

再通过第二预设公式计算所产生的中心点距离回归损失；其中，所述第二预设公式为：

其中，iou表示目标框与预测框的交并比，c、c^gt分别代表预测框和目标框的中心点，ρ表示两个矩形框中心点间的欧式距离，d为能够同时囊括预测框和目标框的最小矩形的对角线距离；

再通过第三预设公式计算偏移量损失；其中，所述第三预设公式为：

其中，公式中l^*，t^*，r^*，b^*分别表示预测框中心点至目标框坐标(xmin，ymin，xmax，ymax)的距离；

最后通过第四预设公式对分类损失、中心点距离回归损失以及偏移量损失加权求和获取待训练模型的总体损失；其中，所述第四预设公式为：

l＝λ1lcls+λ2lreg+λ3lctr

其中，公式中λ1＝1，λ2＝2.5，λ3＝1。

步骤15，对所述待训练模型进行训练以及测试操作。

具体的，其中，训练阶段，需设置好学习率、优化器、迭代次数、batchsize等深度学习训练阶段的超参数，对网络进行训练；测试阶段，将测试集读取到网络中后，可以获得网络预测的一系列预测框，此时将偏移量分支的权重值与相应的分类置信度相乘，用这个最终的得分对预测框进行分值从大到小的排序，再进行非极大值抑制(nms)操作，得到网络最终预测的结果。

本公开涉及的基于深度学习检测甲状腺超声图像中结节的方法，对甲状腺超声图像进行预处理操作；将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；对所述待训练模型进行训练以及测试操作。该方法提供了一种无需设置anchorbox、高效的对甲状腺超声图像中结节区域进行检测的方法，可以避免与anchorbox相关的计算，同时避免资源浪费、加快训练速度，增强实验结果泛化性能；同时采用一种加快预测框位置回归的中心点距离回归算法，提高实验测试指标的同时，最大限度的加快模型训练速度；以及增加偏移量预测分支，在测试阶段表征预测框与目标框中心点的距离，帮助模型筛选正确的检测框，提高测试指标。

基于同一发明构思，还提供了基于深度学习检测甲状腺超声图像中结节的装置。由于此装置解决问题的原理与前述基于深度学习检测甲状腺超声图像中结节的方法相似，因此，该装置的实施可以按照前述方法的具体步骤实现，重复之处不再赘述。

如图4所示，为一个实施例中的基于深度学习检测甲状腺超声图像中结节的装置的结构示意图。该基于深度学习检测甲状腺超声图像中结节的装置10包括：预处理模块100、特征提取模块200、获取模块300、计算模块400和训练与测试模块500。

其中，预处理模块100用于对甲状腺超声图像进行预处理操作；特征提取模块200用于将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；获取模块300用于将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；计算模块400用于对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；训练与测试模块500用于对所述待训练模型进行训练以及测试操作。

本公开涉及的基于深度学习检测甲状腺超声图像中结节的装置，首先通过预处理模块对甲状腺超声图像进行预处理操作；再通过特征提取模块将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；再通过获取模块将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；再通过计算模块对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；最终通过训练与测试模块对所述待训练模型进行训练以及测试操作。该装置提供了一种无需设置anchorbox、高效的对甲状腺超声图像中结节区域进行检测的方法，可以避免与anchorbox相关的计算，同时避免资源浪费、加快训练速度，增强实验结果泛化性能；同时采用一种加快预测框位置回归的中心点距离回归算法，提高实验测试指标的同时，最大限度的加快模型训练速度；以及增加偏移量预测分支，在测试阶段表征预测框与目标框中心点的距离，帮助模型筛选正确的检测框，提高测试指标。

图5是图示根据本公开的实施例的基于深度学习检测甲状腺超声图像中结节的装置的硬件框图。如图5所示，根据本公开实施例的基于深度学习检测甲状腺超声图像中结节的装置50包括存储器501和处理器502。基于深度学习检测甲状腺超声图像中结节的装置50中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。

存储器501用于存储非暂时性计算机可读指令。具体地，存储器501可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。

处理器502可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制基于深度学习检测甲状腺超声图像中结节的装置50中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器502用于运行存储器501中存储的计算机可读指令，使得基于深度学习检测甲状腺超声图像中结节的装置50执行上述基于深度学习检测甲状腺超声图像中结节的方法。基于深度学习检测甲状腺超声图像中结节的装置与上述基于深度学习检测甲状腺超声图像中结节的方法描述的实施例相同，在此将省略其重复描述。

图6是图示根据本公开的实施例的计算机可读存储介质的示意图。如图6所示，根据本公开实施例的计算机可读存储介质600其上存储有非暂时性计算机可读指令601。当所述非暂时性计算机可读指令601由处理器运行时，执行参照上述描述的根据本公开实施例的基于深度学习检测甲状腺超声图像中结节的方法。

以上，根据本公开实施例的基于深度学习检测甲状腺超声图像中结节的方法和装置，以及计算机可读存储介质，能够无需设置anchorbox、高效的对甲状腺超声图像中结节区域进行检测的方法，可以避免与anchorbox相关的计算，同时避免资源浪费、加快训练速度，增强实验结果泛化性能；同时采用一种加快预测框位置回归的中心点距离回归算法，提高实验测试指标的同时，最大限度的加快模型训练速度；以及增加偏移量预测分支，在测试阶段表征预测框与目标框中心点的距离，帮助模型筛选正确的检测框，提高测试指标的有益效果。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。