一种基于深度学习的甲状腺结节钙化识别装置的制作方法

1.本发明涉及辅助医学诊断技术领域，特别是涉及一种基于深度学习的甲状腺结节钙化识别装置。


背景技术：

2.甲状腺结节是指在甲状腺内的肿块，是临床常见的病症，可由多种病因引起。临床上有多种甲状腺疾病，如甲状腺退行性变、炎症、自身免疫以及新生物等都可以表现为结节。甲状腺结节可以单发，也可以多发，多发结节比单发结节的发病率高，但单发结节甲状腺癌的发生率较高。
3.作为判断结节良恶性、乃至癌症诊断的依据，钙化是甲状腺结节的重要特征之一。现有的超声波诊断方式都是采用超声波对患者的甲状腺进行超声波扫描形成甲状腺超声图片，然后医生对甲状腺超声图片进行人工识别判断，其存在的缺点是：诊断效率慢；医生工作量大，且对医生的经验水平要求较高，因此，能胜任的医生数量就有限，导致医生资源紧张，且费用成本较高。


技术实现要素：

4.本发明所要解决的技术问题是提供一种基于深度学习的甲状腺结节钙化识别装置，能够对甲状腺结节超声图像中的钙化类型进行有效检测。
5.本发明解决其技术问题所采用的技术方案是：提供一种基于深度学习的甲状腺结节钙化识别装置，包括：
6.超声图像获取模块：用于获取超声图像数据集，所述超声图像数据集中的每一张超声图像均带有甲状腺结节；
7.标注模块：用于对所述超声图像数据集中每一张超声图像的甲状腺结节边界、钙化区域和钙化类型进行标注；
8.感兴趣结节图像提取模块：用于对每一张超声图像中的甲状腺结节边界进行截取，得到感兴趣结节图像数据集；
9.卷积神经网络构建模块：用于构建卷积神经网络xdnet
‑
11222；
10.卷积神经网络训练模块：用于通过所述感兴趣结节图像数据集对所述卷积神经网络xdnet
‑
11222进行训练，并得到训练好的卷积神经网络xdnet
‑
11222；
11.甲状腺结节钙化检测模块：用于通过训练好的卷积神经网络xdnet
‑
11222来对输入的甲状腺结节超声图像进行钙化类型检测。
12.所述卷积神经网络构建模块中的卷积神经网络xdnet
‑
11222包括输入层、输出层、若干失活跳接模块da、最终模块f、若干第一特征提取组、若干第二特征提取组；
13.所述第一特征提取组包括依次连接的特征提取模块ex、下采样模块ds和压缩激发模块se；
14.所述第二特征提取组包括依次连接的特征提取模块ex和压缩激发模块se，并且每
个所述第二特征提取组输出端均连接有失活跳接模块da；
15.所述第一特征提取组和第二特征提取组依次连接构成第一子网络，并且在所述第一子网络中，第一特征提取组的输出端与失活跳接模块da连接；
16.所述第一特征提取组依次连接两个第二特征提取组构成第二子网络，并且在所述第二子网络中，第一特征提取组的输出端与第一个第二特征提取组的失活跳接模块da连接，第一个第二特征提取组的失活跳接模块da的输出端与第二个第二特征提取组的失活跳接模块da连接；
17.所述输入层依次连接有两个所述第一子网络、三个所述第二子网络、所述最终模块f和所述输出层。
18.所述特征提取模块ex包括依次连接的卷积层、批归一化层和relu激活层。
19.所述下采样模块ds包括依次连接的零填充层、卷积层、批归一化层和relu激活层。
20.所述压缩激发模块se包括依次连接的全局均值池化层、重塑层、两个卷积层和相乘层，所述全局均值池化层的输入端与相乘层连接。
21.所述失活跳接模块da包括依次连接的卷积层、批归一化层、失活层和相加层，所述卷积层的输入端与相加层连接。
22.所述最终模块f包括依次连接的卷积层、批归一化层、全局均值池化层、失活层、全连接层和sigmoid激活层。
23.所述卷积层的公式为：h(m,n)＝(f*g)(m,n)＝∑
x,y
f(x,y)g(m
‑
x,n
‑
y)，其中，h()表示输出特征图函数，f()表示输入特征图函数，g()表示卷积核函数，*表示卷积运算符，(m,n)表示输出像素值对应的坐标，(x,y)表示输入像素值对应的坐标。
24.还包括：
25.钙化初步定位模块：若输入图像的甲状腺结节存在钙化，则通过权梯度类激活映射实现对钙化进行初步定位；
26.钙化精确定位模块：用于通过均值池化、阈值比较、开闭运算或膨胀腐蚀图像处理算法来对初步定位好的钙化进行精确定位。
27.有益效果
28.由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过构建卷积神经网络xdnet
‑
11222能够对输入的甲状腺结节超声图像的钙化种类进行有效识别，并且本发明构建的卷积神经网络xdnet
‑
11222运行速度快、效率高、识别准确率较高、表现稳定；本发明通过钙化初步定位模块和钙化精确定位模块实现对超声图像中的钙化进行精确定位，以此能够快速准确地帮助医生找到病理区域，从而为医生对患者进行下一步治疗提供基础；本发明构建的卷积神经网络xdnet
‑
11222的架构设计合理简单，使得计算量并不复杂。
附图说明
29.图1是本发明实施方式的流程图；
30.图2是本发明实施方式的特征提取模块ex结构示意图；
31.图3是本发明实施方式的下采样模块ds结构示意图；
32.图4是本发明实施方式的压缩激发模块se结构示意图；
rotation)，随机横向平移(random width shift)，随机纵向平移(random height shift)，随机亮度偏移(random brightness shift)，随机错切变换(random shear)，随机缩放(random zoom)，随机通道平移(random channel shift)，随机横向翻转(random width flip)，随机纵向翻转(randomheightflip)。
53.4、网络结构(networkarchitecture)
54.在卷积神经网络构建模块中，本实施方式使用的是自主开发的卷积神经网络xdnet
‑
11222，通过卷积层(convolutionlayer)和下采样(downsampling)提取特征，结合压缩与激发网络(squeezeandexcitationnetwork)的注意力思想，引入失活(dropout)和跳越连接(skipconnection)操作，以下进行详细介绍：
55.使用的网络层包括：
56.(a)卷积层(convolutionlayer)，公式为：
57.h(m,n)＝(f*g)(m,n)＝∑
x,y
f(x,y)g(m
‑
x,n
‑
y)
58.其中，h()表示输出特征图函数，f()表示输入特征图函数，g()表示卷积核函数(也成为过滤器，filter)，*表示卷积运算符，(m,n)表示输出像素值对应的坐标，取值取决于输入特征图的尺寸与卷积步长(stride)；(x,y)表示输入像素值对应的坐标，取值取决于(m,n)和卷积核尺寸。
59.(b)批归一化层(batchnormalizationlayer)，为现有技术，此处不再赘述。
60.(c)激活层(activationlayer，relu和sigmoid)
61.relu激活层，用于隐层神经元的输出，公式为：
62.f(r)＝max(0,r)
63.其中，r表示relu激活层的输入。
64.sigmoid激活层，用于多分类神经网络的输出，公式为：
[0065][0066]
其中，r
*
表示sigmoid激活层的输入。
[0067]
(d)零填充层(zero padding layer)
[0068]
(e)全局均值池化层(global average pooling layer)，公式为：
[0069][0070]
其中，y
k
表示与第k个特征图的全局平均池化输出值；x
kpq
表示第k个特征图区域r中位于(p,q)处的元素；|r|表示第k个特征图全部元素的个数。
[0071]
(f)重塑层(reshape layer)
[0072]
(g)失活层(dropout layer)：用于提高泛化能力，防止过拟合。
[0073]
(h)相乘(multiply)
[0074]
(i)相加(add)
[0075]
(j)全连接层(fullyconnectedlayer)
[0076]
本实施方式通过上述不同网络层组合成不同功能的模块：
[0077]
(1)特征提取模块ex(feature extractionlayer)，详见图2，特征提取模块ex的作用：特征提取；
[0078]
特征提取模块ex包括依次连接的卷积层、批归一化层和relu激活层。
[0079]
(2)下采样模块ds(down samplingmodule)，详见图3，下采样模块ds的作用：下采样；
[0080]
下采样模块ds包括依次连接的零填充层、卷积层、批归一化层和relu激活层。
[0081]
(3)压缩激发模块se(squeeze andexcitationmodule)，详见图4，压缩激发模块se的作用：1)特征强化，2)控制网络的注意力机制；
[0082]
压缩激发模块se包括依次连接的全局均值池化层、重塑层、卷积层、卷积层和相乘层，所述全局均值池化层的输入端与相乘层连接。
[0083]
(4)失活跳接模块da(dropout and skip connectionmodule)，详见图5，失活跳接模块da的作用：1)特征强化，2)防止过拟合，3)提示网络训练效率；
[0084]
失活跳接模块da包括依次连接的卷积层、批归一化层、失活层和相加层，所述卷积层的输入端与相加层连接。
[0085]
(5)最终模块f(final module)，详见图6。
[0086]
最终模块f包括依次连接的卷积层、批归一化层、全局均值池化层、失活层、全连接层和sigmoid激活层。
[0087]
进一步地，再由上述各个模块组合成整个卷积神经网络xdnet
‑
11222的结构，详见图7，卷积神经网络xdnet
‑
11222的结构具体如下：
[0088]
卷积神经网络xdnet
‑
11222包括输入层、输出层、若干失活跳接模块da、最终模块f、若干第一特征提取组、若干第二特征提取组；
[0089]
第一特征提取组：包括依次连接的特征提取模块ex、下采样模块ds和压缩激发模块se。
[0090]
第二特征提取组：包括依次连接的特征提取模块ex和压缩激发模块se，并且每个所述第二特征提取组输出端均连接有失活跳接模块da。
[0091]
第一子网络：第一特征提取组和第二特征提取组依次连接构成第一子网络，并且在所述第一子网络中，第一特征提取组的输出端与失活跳接模块da连接。图5所示的失活跳接模块da中的相加层连接有一根引线，该引线就是第一特征提取组的输出端与失活跳接模块da连接的引线，以下同理。
[0092]
第二子网络：第一特征提取组依次连接两个第二特征提取组构成第二子网络，并且在所述第二子网络中，第一特征提取组的输出端与第一个第二特征提取组的失活跳接模块da连接，第一个第二特征提取组的失活跳接模块da的输出端与第二个第二特征提取组的失活跳接模块da连接。
[0093]
请参阅图7，卷积神经网络xdnet
‑
11222整体架构具体为：所述输入层依次连接有两个第一子网络、三个第二子网络、最终模块f和输出层。
[0094]
5、损失函数
[0095]
进一步地，本实施方式还包括损失函数模块，具体如下：
[0096]
由于判断钙化类型是分类问题，且数据中，5种钙化类型的超声图像数量不相等，为解决数据不平衡，本实施方式使用的是加权分类交叉熵，公式如下：
[0097]
[0098]
其中，l表示预测损失，n表示样本量，k表示分类数量(本实施方式的k取值为4)，w
j
表示第j类的权重，y
ij
表示第i个样本对应第j类的实际值，取值为1或0，分别表示第i个样本属于第j类或不属于第j类；表示第i个样本对应第j类的预测值，取值范围为[0,1]的实数。
[0099]
6、加权梯度类激活映射(grad
‑
cam)
[0100]
本实施方式还包括钙化初步定位模块：卷积神经网络训练完成后，可通过加权梯度类激活映射(grad
‑
cam)的方法，实现分类可视化。若输入图像的甲状腺结节存在钙化，则对钙化进行初步定位；例如当卷积神经网络对一张结节图像给出粗钙化的判断时，找到影响该判断的重点区域。这样就能在图像上找到钙化区域。
[0101]
7、通过图像处理方法寻找钙化区域
[0102]
本实施方式还包括钙化精确定位模块：前述的加权梯度类激活映射(grad
‑
cam)只能找到钙化的大致区域，并无法做到像素级别的精确定位，因此需要结合均值池化、阈值比较、开闭运算、膨胀腐蚀等传统图像处理的算法，与之前卷积神经网络的分类预测和加权梯度类激活映射的结果相结合，在原图上精确定位钙化区域。
[0103]
8、开发与应用流程
[0104]
将标注后的数据做结构化处理，由于前述钙化的5个类型之间并非独立互斥，因此卷积神经网络的输出层使用sigmoid激活函数，且只用4个输出值，通过组合对应5种分类：
[0105]
a)(1，0，0，0)表示胶质；
[0106]
b)(0，1，0，0)表示粗钙化；
[0107]
c)(0，0，1，0)表示细钙化；
[0108]
d)(0，1，1，0)表示粗细混合钙化；
[0109]
e)(0，0，0，1)表示无钙化。
[0110]
经过预处理和增强后，输入并训练神经网络模型，学习图像中钙化分类的特征；根据医生标注的钙化区域，调整加权梯度类激活映射算法和图像处理算法的众多参数，结合卷积网络的预测分类，得到钙化的精确定位。
[0111]
应用时，本实施方式能够不仅能输出将钙化类型，还能将钙化区域显示在原图上，详见图8，其中，类似椭圆形状的区域为结节区域，结节区域中的白点或白斑部分就是钙化区域。
[0112]
实验结果对比：
[0113]
表1实验结果对比表
[0114]
模型参数量单张图分析时间损失函数准确率vgg
‑
16138.4m0.5s0.4762.26％resnet5025.6m0.2s0.3875.47％xdnet
‑
112223.5m<0.1s0.3588.05％
[0115]
由此可见，本发明通过构建卷积神经网络xdnet
‑
11222能够对输入的甲状腺结节超声图像的钙化种类进行有效识别，并且本发明构建的卷积神经网络xdnet
‑
11222运行速度快、效率高、识别准确率较高、表现稳定。