基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法与流程

1.本发明涉及医学图像分析领域，具体涉及一种基于卷积神经网络和多粒度注意力的手骨关键区域获取方法。


背景技术：

2.手部放射影像的骨龄评估通常用于调查儿童生长情况。在临床实践中，通过探索非惯用手的骨化中心的延迟或加速出现，可以辅助和监测生长障碍的诊断和治疗。
3.tw方法评估手和手腕的特定骨骼的成熟度水平。不同骨骼的成熟度水平对应着不同的成熟度分数，将骨骼成熟度转化为分数并将所有关键区域的分数相加，计算出总的成熟度分数，通过总的成熟度分数最后计算出骨龄。tw3法相对更复杂，需要更多的时间。由于每个骨骼的成熟度是独立评估的，因此tw3方法对某些骨骼中的错误预测具有鲁棒性，所以此方法评估更准确并且可再现。
4.近年来，基于人工神经网络的深度学习技术发展迅速，其应用领域也不断扩大。特别是，深度学习技术已经渗透到医学图像分析的整个领域，并在一些医学成像应用中取得了最先进的成果，例如脑损伤的分割等。骨龄评估任务是一个典型的目标检测和分类问题，可以从深度学习中受益。在这种方法中，对于给定的输入，预测相应的类别。因此，卷积神经网络及其变体越来越多地用于骨龄评估自动化，并取得了优秀的评估结果。
5.骨龄评估需要结合来自手部多块骨骼的外观信息的外观信息，为了定位鉴别性区域，现有的模型要么依赖于手工注释要么依赖于注意力，尤其对于模拟tw3方法的自动评估算法只能依赖于手工注释。然而，手工注释不仅需要专家知识，而且还是昂贵的和主观的。且现有的基于注意力的方法所定位的区域也不够精细和多样。


技术实现要素：

6.本发明为了克服现有技术存在不足之处，提供一种基于卷积神经网络和多粒度注意力的手骨关键区域获取方法，以期能通过卷积神经网络自动提取手骨图片关键区域，从而能提高自动评估精度以及评估效率。
7.本发明为达到上述发明目的，采用如下技术方案：
8.本发明一种基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法的特点是按如下步骤进行：
9.步骤1：对所有手骨x光图像尺寸进行归一化，并应用随机仿射变换和随机水平翻转进行数据增强，得到输入图像集，所述输入图像集中的任意图像记为i；
10.步骤2：构建包含多粒度注意力的骨龄评估网络，包括：主干网络、注意力监督模块、两个特征融合模块、三个全连接层；
11.所述主干网络为l层的卷积神经网络；
12.所述注意力监督模块由上采样层、复制层、激活层组成；
13.所述特征融合模块是由点乘操作、平均池化层、lstm网络组成；
14.步骤2.1：依次向主干网络输入所述输入图像集中的图像，其中，任意输入图像i经过所述主干网络的卷积处理后，得到中级图像特征ff，精细注意力af，高级图像特征fc和粗略注意力ac；其中，所述中级图像特征ff是由所述主干网络的第l-1层中倒数第二个卷积块输出的结果，所述精细注意力af是由所述主干网络的第l-1层中最后一个卷积块输出的特征图并切分前mf个通道后的结果，所述高级图像特征fc是由所述主干网络的第l层中倒数第二个卷积块输出的结果，所述粗略注意力ac是由所述主干网络的第l层中最后一个卷积块输出的特征图并切分前mc个通道后的结果；
15.步骤2.2：所述精细注意力af和粗略注意力ac输入所述注意力监督模块中进行处理，得到由粗略注意力引导后的精细注意力
16.步骤2.3：所述中级图像特征ff和精细注意力af输入第一特征融合模块中进行处理，得到中级局部特征vf和中级全局特征gf；
17.所述高级图像特征fc和粗略注意力ac输入第二特征融合模块中进行处理，得到高级局部特征vc和高级全局特征gc；
18.步骤2.4：将输入图像i所对应的性别信息输入到第一个全连接层中，输出性别特征向量s；
19.将中级全局特征gf和性别特征向量s拼接后输入第二个全连接层中，输出中层预测结果
20.将全局高级特征gc和性别特征向量s拼接后输入第三个全连接层中，输出高层预测结果
21.步骤2.5：从粗略注意力图ac中随机选择第k个通道，得到单个粗略注意力并对按照输入图像i的尺寸进行上采样处理，得到归一化注意力
22.若中第i行第j列的像素点大于阈值θ，则将设置为“0”，否则，设置为“1”，从而生成掩膜mask；
23.所述输入图像i被掩膜mask擦除后生成注意力擦除图像e；
24.步骤2.6：将注意力擦除图像e重新输入骨龄评估网络中进行处理，得到注意力擦除图像e的高层预测结果
25.步骤2.7：利用式(1)、式(2)和式(3)构建中层区域一致性损失
[0026][0027][0028][0029]
式(1)、式(2)和式(3)中，v
α
表示局部特征，c
α
是输入图像集中所有图像共享的特征中心，是输入图像集中所有图像共享的临时特征中心，β是特征中心c
α
的更新权重；当α＝f时，由中级局部特征vf构建中级一致性损失当α＝c时，由高级局部特征vc构建高级一
致性损失
[0030]
步骤2.8：利用式(4)构建总损失l：
[0031][0032]
式(4)中，和分别表示和所对应的l1损失函数；
[0033]
步骤3：基于输入图像集对骨龄评估网络进行训练，同时使用adam更新网络的权重，并在总损失l趋于稳定后完成训练，得到最优模型；
[0034]
步骤4：对最优模型中由粗略注意力引导后的精细注意力进行平均以及上采样操作后得到输入图像i的关键区域注意力图ai；
[0035]
步骤5：若ai中第i行第j列的像素点ai(i,j)大于阈值σ，则令ai(i,j)为“1”，否则，令ai(i,j)为“0”，从而生成掩膜mask
*
；利用掩膜mask
*
擦除输入图像i后得到关键区域图像d即为手骨关键性区域。
[0036]
与已有技术相比，本发明的有益效果体现在：
[0037]
1、本发明设计了一个新的骨龄评估网络，首次仅通过骨龄标签即可使网络中的注意力自动学习到手骨图片中最具判别性的区域，不需要额外的注释即可获取到和tw3方法所用关键区域相一致的手骨关键区域，从而克服了昂贵且主观手工标注的弊端，在一定程度上可以辅助人工tw3方法的诊断。
[0038]
2、本发明首次联合中层特征和高层特征用于评估骨龄，并在中层获得了关注到多个手部精细骨骼的空间注意力，从而提高了获取到的关键区域的精度。
[0039]
3、本发明首次引入lstm以及提出一个新的区域一致性损失来对不同局部区域响应的特征进行建模，在区域一致性损失的辅助下，lstm有效地建模了不同局部区域中的长期依赖性，从而提高了以注意力的方法获取到关键区域的精度。
附图说明
[0040]
图1为本发明方法流程示意图；
[0041]
图2为本发明方法中的骨龄评估网络结构图；
[0042]
图3为本发明方法中的骨龄评估网络中的注意力监督模块；
[0043]
图4为本发明方法中的骨龄评估网络中的特征融合模块；
[0044]
图5为本发明方法获取关键区域样例。
具体实施方式
[0045]
本实施例中，一种基于卷积神经网络和多粒度注意力的手骨关键区域获取方法，仅利用手骨图片的骨龄标注信息即可定位到最具区分度的骨化区域，且定位到的区域与tw3方法使用的关键区域相一致。具体地说，如图1所示，是按如下步骤进行：
[0046]
步骤1：对所有手骨x光图像尺寸进行归一化，并应用随机仿射变换和随机水平翻转进行数据增强，得到输入图像集，输入图像集中的任意图像记为i；
[0047]
在本实施例中，所使用数据集为2017年北美放射学会提供的公开骨龄数据集。所有手部图像都包含骨龄和性别信息。该数据集中手骨图像的原始空间分辨率不相同，由于
卷积神经网络需要固定尺寸的图像作为输入，故需要对所有原始图片的尺寸进行归一化。数据集中所有图像被归一化到448
×
448像素。随机仿射变换和随机水平翻转被应用来进行数据增强，以克服数据量少以及网络鲁棒性不高的难题；
[0048]
步骤2：构建包含多粒度注意力的骨龄评估网络，如图2所示，包括：主干网络、注意力监督模块、两个特征融合模块、三个全连接层；
[0049]
主干网络为l层的卷积神经网络；
[0050]
注意力监督模块由上采样层、复制层、激活层组成，如图3所示；
[0051]
特征融合模块是由点乘操作、平均池化层、lstm网络组成，如图4所示；
[0052]
步骤2.1：依次向主干网络输入输入图像集中的图像，其中，任意输入图像i经过主干网络的卷积处理后，得到中级图像特征ff，精细注意力af，高级图像特征fc和粗略注意力ac；其中，中级图像特征ff是由主干网络的第l-1层中倒数第二个卷积块输出的结果，精细注意力af是由主干网络的第l-1层中最后一个卷积块输出的特征图并切分前mf个通道后的结果，高级图像特征fc是由主干网络的第l层中倒数第二个卷积块输出的结果，粗略注意力ac是由主干网络的第l层中最后一个卷积块输出的特征图并切分前mc个通道后的结果；
[0053]
本实施例中，以resnet-50作为主干网络，在layer3和layer4分别获得不同尺寸的图像特征ff和fc；空间注意力被用来表示不同区域的空间分布。高级特征由于其丰富的语义信息，更适合于分类任务。高级特征获得的注意力集中在一个粗略的区域。而中间层次的特征包含丰富的纹理和形状信息，中级特征获得的注意力集中在更精细的区域。即af关注精细的关键区域，ac关注粗略的关键区域。
[0054]
步骤2.2：精细注意力af和粗略注意力ac输入注意力监督模块中进行处理，得到由粗略注意力引导后的精细注意力
[0055]
中层特征中学习到的纹理和形状信息能够辅助高层特征进行预测。高层特征中更适合分类的语义信息又可以加强中层特征的学习。本实施例中，注意力监督模块被用来连接不同层次的空间注意力图。注意力监督模块由一个上采样层、一个复制层和一个非线性激活函数sigmoid层组成。具体来说，将粗略注意力ac上采样并在通道维度进行复制，以和精细注意力af的尺寸相匹配，然后通过一个非线性激活函数sigmoid层激活后和中层空间注意力af进行元素乘法，得到纠正后的精细注意力
[0056]
粗略注意力ac被用来指导精细注意力af的生成。一方面，中层特征集中在更精细的判别性区域。另一方面，中层特征倾向于学习更精细的判别性区域的特征，这进一步加强了高层对判别性特征的学习。注意力监督模块使得粗略注意力和精细注意力相互影响，相互加强。
[0057]
步骤2.3：中级图像特征ff和精细注意力af输入第一特征融合模块中进行处理，得到中级局部特征vf和中级全局特征gf；
[0058]
高级图像特征fc和粗略注意力ac输入第二特征融合模块中进行处理，得到高级局部特征vc和高级全局特征gc；
[0059]
本实施例中，特征融合模块首先将注意力图和特征图使用元素乘法相乘，得到局部特征图fk∈rc×w×h,k＝1,2,...,m，全局平均池化被进一步用来提取区别性的特征fk∈r1×c。连接fk,k＝1,2,3,...,m生成局部特征v；依次输入fk,k＝1,2,3,...,m到lstm，lstm最后
一个输出单元hm作为最终的全局特征，记为g。
[0060]
由于部分注意力关注于背景部分，其生成的区域加强特征对于分类是次重要的，局部特征fk,k＝1,2,3,...,m对于最终分类的重要性是不同的。而lstm中的门控机制则可以很好的对不同区域加强的特征进行全局化的处理。lstm是一个时间依赖的模型，它的输入通常是时序数据。在本实施例中，每一个注意力关注于一个特定的区域，注意力之间存在长期依赖性。那么lstm可以将不同的空间注意力视为一个时间序列。lstm的引入可以很好地捕获并处理了空间注意力之间的长期依赖性。lstm的使用有效地对高维局部特征进行了降维，巨大地缓解了分类器的压力。
[0061]
步骤2.4：将输入图像i所对应的性别信息输入到一个包含32个神经元的全连接层中，输出性别特征向量s；
[0062]
将中级全局特征gf和性别特征向量s拼接后输入第二个全连接层中，输出中层预测结果
[0063]
将全局高级特征gc和性别特征向量s拼接后输入第三个全连接层中，输出高层预测结果
[0064]
步骤2.5：从粗略注意力图ac中随机选择第k个通道，得到单个粗略注意力并对按照输入图像i的尺寸进行上采样处理，得到归一化注意力
[0065]
若中第i行第j列的像素点大于阈值θ，则将设置为“0”，否则，设置为“1”，从而生成掩膜mask；
[0066]
输入图像i被掩膜mask擦除后生成注意力擦除图像e；
[0067]
步骤2.6：将注意力擦除图像e重新输入骨龄评估网络中进行处理，得到注意力擦除图像e的高层预测结果
[0068]
来自不同通道的注意力往往会集中在同一个最具判别行的区域。注意力擦除策略擦除最显著区域后生成新的图片重新送入网络训练，有效地迫使网络学习不同的注意力。
[0069]
步骤2.7：利用式(1)、式(2)和式(3)构建中层区域一致性损失
[0070][0071][0072][0073]
式(1)、式(2)和式(3)中，v
α
表示局部特征，c
α
是输入图像集中所有图像共享的特征中心，是输入图像集中所有图像共享的临时特征中心，β是特征中心c
α
的更新权重；α＝f或α＝c时，分别由中级局部特征vf和高级局部特征vc构建中级一致性损失和高级一致性损失
[0074]
在区域一致性损失的辅助下，lstm更加有效地建模了不同局部区域中的长期依赖性，使得同一个通道的空间注意力对于不同的图片始终关注的是相同的区域，这提高了以注意力的方法获取到关键区域的精度。
[0075]
步骤2.8：利用式(3)构建总损失l：
[0076][0077]
式(4)中，和分别表示和所对应的l1损失函数；
[0078]
步骤3：基于输入图像集对骨龄评估网络进行训练，同时使用adam更新网络的权重，并在总损失l趋于稳定后完成训练，得到最优模型；
[0079]
本实施例中，初始的学习率被设定为3e-5，使用pytorch中的reducelronplateau对学习率进行调整，其中如果连续4次迭代验证集准确率没有上升，则使得学习率下降为原来的0.1倍。
[0080]
步骤4：对最优模型中由粗略注意力引导后的精细注意力进行平均以及上采样操作后得到输入图像i的关键区域注意力图ai；
[0081]
步骤5：若ai中第i行第j列的像素点ai(i,j)大于阈值σ，则令ai(i,j)为“1”，否则，令ai(i,j)为“0”，从而生成掩膜mask
*
；利用掩膜mask
*
擦除输入图像i后得到关键区域图像d即为手骨关键性区域，如图5所示。