基于经典Graf的DDH超声影像人工智能诊断系统及方法

基于经典graf的ddh超声影像人工智能诊断系统及方法
技术领域
1.本发明涉及超声影像技术领域，尤其涉及基于经典graf的ddh超声影像人工智能诊断系统及方法。


背景技术：

2.超声图像对ddh（儿童发育性髋关节发育不良）严重程度进行全谱分类的graf 法被儿童骨科医生广为接受认可。而目前大多数医院的髋部超声筛查主要是由经验丰富的临床医生进行操作和评估的，在ddh诊断中常常存在着较低准确性及可重复性等问题。人工智能通过超声图像诊断ddh是一个新兴的研究问题。目前，针对ddh超声图像诊断，hareendranathan等人设计了一种新颖的舍入索引，在临床医生手动标记的帮助下分析ddh。quader等人进而提出了一种用于ddh分析的自动骨边界检测系统。sezer等人提出了一种
‘
分割’的两步法来分析髋关节超声。利用卷积神经网络（convolutional neural network，cnn），可构建一个更为快速准确的ddh自动分析诊断系统。但这些技术均需要在临床医生手动标记的帮助下分析ddh，仍重度依赖于医生手工标注，并未完全实现自动化。


技术实现要素：

3.基于背景技术存在的技术问题，本发明提出了基于经典graf的ddh超声影像人工智能诊断系统及方法，诊断系统能够对髋关节未成熟儿童标准髋关节超声影像片段进行筛查，且诊断更快速、客观、准确。
4.本发明提出的基于经典graf的ddh超声影像人工智能诊断系统，包括：分类器，用于从超声影像中识别标准截面；回归器，用于定位标准截面中关键点的位置信息，并利用关键点的位置计算graf方法需要的软骨顶线夹角α、骨顶线夹角β，判断ddh的等级。
5.优选地，所述分类器识别标准截面的方法为：对从超声影像中截取的特征图像进行特征提取与编码，编码后的特征图像进行池化操作转化为特征向量，该特征向量经过全连接层后判断该特征图像是否为标准截面。
6.优选地，所述特征图像的特征提取的处理方法为：f_{n+1}=pool(bn(conv(f_{n})))式中：f_{n}表示第n阶段的特征；pool表示2*2的最大值池化；bn表示批正则化，conv表示卷积操作；编码后的特征图进行池化操作转化为特征向量的方法为：f=avgpool(f_m)式中：avgpool表示全局平均池化；m为输入图像进行阶段提取的总数；f_m表示输入图像进行m个阶段的特征提取后最终获得的特向特征。
7.优选地，所述全连接层通过权重和特征向量完成点积，并得到代表置信系数的数值：
p’=sigmoid(w*f)式中：sigmoid表示sigmoid激活函数，w是全连接权重，p’是最终预测的置信度。
8.优选地，所述sigmoid激活函数中的参数采用梯度下降法确定取值，所述梯度下降法依据的损失函数为：loss=plog(p’)+(1-p)log(1-p’)式中：p是代表该特征图像是否为标准截面，为标准截面时取值1，为非标准截面时取值0。
9.优选地，所述回归器定位标准截面中关键点的位置信息的方法为：s11：对从超声影像中截取的特征图像进行特征提取后得到的特征f进行3层反卷积：f^{i+1}=relu(bn(deconv(f^{i})))式中：f^i表示经过i次反卷积层获得的特征图，relu是激活函数，bn表示批正则化，deconv表示反卷积层；s12：对经3次反卷积后获得的特征图f^3进行1*1的卷积得到每个关键点的热力图h’；s13：对于标准截面的关键点的位置，利用高斯函数生成对应的目标热力图：h(i,j)=exp{-((i-i’)^2+(j-j’)^2)/(2*δ^2)}式中：i,j表示目标热力图上的坐标，i’,j’表示标准截面的关键点位置，δ表示高斯函数的衰减程度，h表示目标的热力图；s14：使用目标的热力图h和回归器输出的热力图h’可以计算损失函数来优化神经网络：loss=mse(h,h’)式中：mse表示均方误差函数。
10.优选地，所述软骨顶线夹角α为基线和软骨顶线之间的夹角，所述骨顶线夹角β为基线和骨顶线之间的夹角，所述基线为软骨膜顶点和髂骨缘点所在的直线，所述骨顶线为髂骨最低点和髋臼骨性顶点所在的直线，所述软骨顶线为软骨顶由凹变凸的转折点和盂唇中心所在的直线。
11.本发明提出的上述基于经典graf的ddh超声影像人工智能诊断系统的诊断方法，其特征在于，方法步骤如如下：s21：对从超声影像中截取的特征图进行特征提取与编码；s22：将编码后的特征图进行池化操作转化为特征向量；s23：将特征向量通过经过全连接层后判断该特征图是否为标准截面；s24：对s23中判断为标准截面的特征图进行上采样；s25：对上采样的结果用1*1卷积得到热力图，并将热力图上的响应值进行加权投片，得到最终关键点的位置坐标；s26：利用关键点的位置坐标计算graf方法需要的软骨顶线夹角α、骨顶线夹角β，判断ddh的等级。
12.本发明提出的一种处理设备，包括存储器及处理器，所述存储器中存储有至少一种指令，所述至少一种指令由所述处理器加载并执行，以实现上述方法。
13.本发明提出的一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
14.本发明的有益技术效果：本发明通过提取特征的方法是采用由卷积层，激活层，池化层，共同组合成的神经网络，处理输入的图像，本方法采用resnet架构，提取到表征图像的特征图，提取的特征包含髋关节超声影像的边缘，纹理，相对位置等信息。可以比人工标注、诊断更为敏感地识别出未成熟的髋关节，α角和β角平均误差分别小于2.22
°
和2.28
°
。
附图说明
15.图1为本发明提出的基于经典graf的ddh超声影像人工智能诊断系统的流程图；图2为本发明提出的标准截面中标注关键点后的示意图；其中1为软骨膜顶点，2为髂骨缘点，3为髂骨最低点，4为髋臼骨性顶点，5为软骨顶由凹变凸的转折点，6为盂唇中心；图3为本发明提出的按照经典graf法划线的示意图；图4为本发明提出的诊断系统检测的结果和人工诊断的结果对比图；其中
○
为人工标注的关键点，
×
为诊断系统标注的关键点。
具体实施方式
16.实施例1参照图1，本发明提出的基于经典graf的ddh超声影像人工智能诊断系统，包括：1）分类器，用于从超声影像中识别标准截面；作为本发明的一个实施例，该分类器识别标准截面的方法为：对从超声影像中截取的特征图像进行特征提取与编码，编码后的特征图进行池化操作转化为特征向量，该特征向量经过全连接层后判断该特征图是否为标准截面。
17.具体地，其中特征图像的特征提取的处理方法为：f_{n+1}=pool(bn(conv(f_{n})))式中：f_{n}表示第n阶段的特征；pool表示2*2的最大值池化；bn表示批正则化，conv表示卷积操作；编码后的特征图进行池化操作转化为特征向量的方法为：f=avgpool(f_m)式中：avgpool表示全局平均池化，进行全局池化操作后得到的特征向量可以表达图像的分类信息；m为输入图像进行阶段提取的总数；f_m表示输入图像进行m个阶段的特征提取后最终获得的特向特征，对于本实施例来说，对输入图像进行5个阶段的特征提取，其中f_0表示输入图像，f_5表示最终获得的图像特征。
18.全连接层通过权重和特征向量完成点积，并得到代表置信系数的数值：p’=sigmoid(w*f)式中：sigmoid表示sigmoid激活函数，w是全连接权重，p’是最终预测的置信度。
19.sigmoid激活函数中的参数如卷积核、全连接层权重等随机初始化后，采用梯度下降法确定最终的取值，梯度下降法依据是一个由交叉熵表达的的损失函数：loss=plog(p’)+(1-p)log(1-p’)
式中：p是人工标注的该帧超声是否属于标准帧，标准帧为1，不标准帧为0；通过梯度下降法来优化该损失函数，可以让模型学习超声影像中区分标准帧的特征。
20.2）回归器，用于定位标准截面中关键点的位置信息，并利用关键点的位置计算graf方法需要的软骨顶线夹角α、骨顶线夹角β，判断ddh的等级。
21.对于回归器来说，在训练阶段按，利用神经网络处理后的图像特征与医生在超声图像上标注的关键点位置构造损失函数，并对该网络进行优化与约束；作为本发明的一个优选的方案，该回归器定位标准截面中关键点的位置信息的方法为：s11：对从超声影像中截取的特征图像进行特征提取后得到的特征f进行3层反卷积：f^{i+1}=relu(bn(deconv(f^{i})))式中：f^i表示经过i次反卷积层获得的特征图，relu是激活函数，bn表示批正则化，deconv表示反卷积层；s12：对经3次反卷积后获得的特征图f^3进行1*1的卷积得到每个关键点的热力图h’；s13：对于标准截面的关键点的位置，利用高斯函数生成对应的目标热力图：h(i,j)=exp{-((i-i’)^2+(j-j’)^2)/(2*δ^2)}式中：i,j表示目标热力图上的坐标，i’,j’表示标准截面的关键点位置，δ表示高斯函数的衰减程度，一般取值为3个像素，h表示目标的热力图；s14：使用目标的热力图h和回归器输出的热力图h’可以计算损失函数来优化神经网络：loss=mse(h,h’)式中：mse表示均方误差函数。对于本技术的诊断系统来说，在训练整体网络的过程中，输入非关键帧是不更新回归网络的反卷积部分参数的。
22.此外，对于本发明中的软骨顶线夹角α和骨顶线夹角β来说，参照图2和图3软骨顶线夹角α为基线和软骨顶线之间的夹角，骨顶线夹角β为基线和骨顶线之间的夹角，基线为软骨膜顶点和髂骨缘点所在的直线，骨顶线为髂骨最低点和髋臼骨性顶点所在的直线，软骨顶线为软骨顶由凹变凸的转折点和盂唇中心所在的直线。
23.此外，根据图4的结果可以看出，本发明提出的诊断系统检测的结果和人工诊断的结果基本相同，软骨顶线夹角α和骨顶线夹角β平均误差分别小于2.22
°
和2.28
°
，进而说明了本发明提出的人工智能诊断系统的诊断结果的准确度高。
24.实施例2本发明提出了基于的基于经典graf的ddh超声影像人工智能诊断系统的诊断方法，方法步骤如下：s21：对从超声影像中截取的特征图进行特征提取与编码；s22：将编码后的特征图进行池化操作转化为特征向量；s23：将特征向量通过经过全连接层后判断该特征图是否为标准截面；s24：对s23中判断为标准截面的特征图进行上采样；s25：对上采样的结果用1*1卷积得到热力图，并将热力图上的响应值进行加权投片，得到最终关键点的位置坐标；
s26：利用关键点的位置坐标计算graf方法需要的软骨顶线夹角α、骨顶线夹角β，判断ddh的等级。
25.其中：特征图像的特征提取的处理方法为：f_{n+1}=pool(bn(conv(f_{n})))式中：f_{n}表示第n阶段的特征；pool表示2*2的最大值池化；bn表示批正则化，conv表示卷积操作。
26.编码后的特征图进行池化操作转化为特征向量的方法为：f=avgpool(f_m)式中：avgpool表示全局平均池化；m为输入图像进行阶段提取的总数；f_m表示输入图像进行m个阶段的特征提取后最终获得的特向特征。
27.全连接层通过权重和特征向量完成点积，并得到代表置信系数的数值：p’=sigmoid(w*f)式中：sigmoid表示sigmoid激活函数，w是全连接权重，p’是最终预测的置信度。
28.sigmoid激活函数中的参数采用梯度下降法确定取值，梯度下降法依据的损失函数为：loss=plog(p’)+(1-p)log(1-p’)式中：p是代表该特征图像是否为标准截面，为标准截面时取值1，为非标准截面时取值0。
29.最终关键点的位置坐标定位的方法为：s11：对从超声影像中截取的特征图像进行特征提取后得到的特征f进行3层反卷积：f^{i+1}=relu(bn(deconv(f^{i})))式中：f^i表示经过i次反卷积层获得的特征图，relu是激活函数，bn表示批正则化，deconv表示反卷积层；s12：对经3次反卷积后获得的特征图f^3进行1*1的卷积得到每个关键点的热力图h’；s13：对于标准截面的关键点的位置，利用高斯函数生成对应的目标热力图：h(i,j)=exp{-((i-i’)^2+(j-j’)^2)/(2*δ^2)}式中：i,j表示目标热力图上的坐标，i’,j’表示标准截面的关键点位置，δ表示高斯函数的衰减程度，h表示目标的热力图；s14：使用目标的热力图h和回归器输出的热力图h’可以计算损失函数来优化神经网络：loss=mse(h,h’)式中：mse表示均方误差函数。
30.实施例3本发明提出的一种处理设备，包括存储器及处理器，所述存储器中存储有至少一种指令，所述至少一种指令由所述处理器加载并执行，以实现实施例2中的诊断方法。
31.实施例4本发明提出的一种计算机可读存储介质，其特征在于，所述存储介质中存储有至
少一条指令，所述指令由处理器加载并执行以实现实施例2中的诊断方法。
32.以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。