基于深度学习的三阶段转子间骨折定位分型方法及装置与流程

本发明涉及转子间骨折分型，具体涉及一种基于深度学习的三阶段转子间骨折定位分型方法及装置。

背景技术：

1、转子间骨折属于髋部的主要骨折之一。根据一项大规模流行病学调查，髋部骨折占成人全身骨折的7.01％。在老年患者中，由于骨质疏松症，髋部骨折的风险更高，往往伴有复杂的并发症，这对老年人群构成严重的生命威胁，骨折后一年内的死亡率约为21.2％。此外，一半以上的骨折患者无法恢复到以前的身体健康水平。据专家预测，随着全球老龄化的加剧，到2025年，全球髋部骨折的发病率将达到450万。

2、转子间骨折位于髋部股骨近端区域，在2018版ao/ota分型标准中被命名为a型，其中还包括a1、a2和a3这三种亚型，a1为简单转子骨折，a2为多端转子外侧壁不完整骨折，a3为转子间(反向倾斜)骨折。转子间骨折患者的x-ray(x射线)图像是判断骨折分型的主要依据，医生通过观察患者的前后视图来确定转子间骨折的类型，并制定相应的治疗方案。每种转子间骨折亚型都对应着不同的手术和治疗方法，其中a1类骨折常用的治疗方法为保守治疗或动力髋螺钉固定法；a2类常用头髓钉固定法；a3类常用髓内钉和长型髓内钉固定法。

3、值得注意的是，治疗每延迟10小时，死亡的可能性就会增加5％。因此准确的分型和及时的治疗对患者的康复至关重要也是减少术后并发症的关键。然而，外科医生可能会因为长时间的工作而感到精神疲劳，导致注意力和判断力下降，尤其是常常在紧急情况下，分析患者x光图像的时间有限。除此之外，骨折分型种类繁多，分型规则非常复杂，临床医生难以熟记掌握，且临床分型时间长、效率低，在很大程度上依赖于医生多年的临床诊断经验，对于经验不足的医生容易导致误诊和漏诊。

4、深度学习的出现，使计算机能够模拟出人类大脑的深层抽象认知过程，替代人类完成一些复杂冗余的工作。随着进一步发展，计算机辅助诊断(computer aideddiagnosis，cad)技术逐渐应用在医学影像领域。cad可以作为一个工具，辅助医生完成各种任务，比如检测、诊断和分类等等，并且能够加快诊断过程以及提高诊疗效率，减轻医护人员的负担。此外，cad工具不受环境条件、精神疲劳和主观因素的影响，具有更好的记忆能力和适应能力。

5、现有的基于深度学习的转子间骨折分型方法主要有如下两种：

6、第一种是将骨折患者的全局x-ray图像直接导入分类网络，由于图像范围大，骨折特征小，网络识别效果较差。而且输入网络之前，图像尺寸会被极大缩小，对骨折的形态和特征会造成重大影响，其分类结果的可解释性较差。

7、第二种方法是经过人工裁剪出单个股骨近端区域，容纳后直接导入深度学习分类网络进行筛选处理，虽然这样的识别准确度得到了有效提升，但花费了大量的时间和劳动成本进行裁剪，在对骨折患者x-ray图像进行诊断时，也需要对股骨近端区域进行裁剪，外科医生的诊断效率反而会降低。

8、基于深度学习算法已经广泛应用于x-ray图像的转子间骨折检测分类任务中，但目前仍未有辅助临床外科医生对转子间骨折诊断的cad工具的实际应用，主要存在如下限制：现有的模型都存在压缩骨折x-ray图像尺寸，这样会导致骨折的裂缝和形态发生曲折并且受到周围环境和背景的影响，容易忽略掉骨折较细小的信息。除此之外，现有网络未能进行分级分阶段训练，将转子间骨折和正常区域或其他骨折类型混合，增加了训练的任务复杂度，导致模型对转子间骨折的特征识别准确度较低。且现有网络预测结果的可解释性较差，网络模型的预测属于一种“黑匣子”，无法确定预测结果是否有效识别骨折的关键特征，是否与临床外科专家的判断结果一致，无法得到专家和患者的信任。

技术实现思路

1、针对现有技术存在的不足，本发明提出一种基于深度学习的三阶段转子间骨折定位分型方法及装置，提高转子间骨折定位分型预测的准确率。

2、第一方面，本发明提供一种基于深度学习的三阶段转子间骨折定位分型方法。

3、在第一种可实现方式中，一种基于深度学习的三阶段转子间骨折定位分型方法，包括：

4、对x-ray图像进行分割定位处理，获得股骨近端区域的定位框图像和掩码分割图像；

5、根据定位框图像和掩码分割图像进行筛选处理，获得骨折图像；

6、将骨折图像中的定位框图像和掩码分割图像输入分型网络，获得骨折分型结果。

7、结合第一种可实现方式，在第二种可实现方式中，对x-ray图像进行分割定位处理，获得股骨近端区域的定位框图像和掩码分割图像，包括：

8、将x-ray图像经过由resnet50前四层卷积模块和fpn结构组合成的特征提取网络，获得分割定位特征图；

9、将分割定位特征图导入区域建议网络，生成建议框；

10、将建议框映射到分割定位特征图，并导入roi align池化层，生成7×7×256和14×14×256大小的特征图；

11、将7×7×256大小的特征图经过1×1的自适应平均池化以及全连接层，生成1024个特征点；将1024个特征点经过1024×2的全连接层，输出候选区域和背景区域的概率分数，将1024个特征点经过1024×8的全连接层，输出定位框；

12、将14×14×256大小的特征图导入多层卷积层，生成28×28×num_class的掩码分割图像；

13、裁剪出定位框图像和掩码分割图像。

14、结合第二种可实现方式，在第三种可实现方式中，将14×14×256大小的特征图导入多层卷积层，生成28×28×num_class的掩码图像，包括：

15、将14×14×256的特征图经过4次步长为1的3×3的卷积层，图像尺寸和通道数不变；经过步长为2的2×2反卷积层，获得28×28×256大小的特征图；经过步长为1的1×1大小的卷积层，得到最终的28×28×num_class的掩码分割图像，其中num_class为分类数目。

16、结合第一种可实现方式，在第四种可实现方式中，还包括：对定位框图像和掩码分割图像的边缘进行0填充扩增，形成预设尺寸的定位框图像和掩码分割图像。

17、结合第一种可实现方式，在第五种可实现方式中，根据定位框图像和掩码分割图像进行筛选处理，获得骨折图像，包括：

18、将定位框图像导入resnet50的特征提取网络，获得筛选定位特征图；将掩码分割图像导入resnet50的特征提取网络，获得筛选掩码特征图；

19、对筛选定位特征图和筛选掩码特征图进行融合，获得筛选融合特征图；

20、将筛选融合特征图导入自适应平均池化层，形成2048个输出点，经过2048×2的全连接层，输出转子间的骨折图像和未骨折图像。

21、结合第五种可实现方式，在第六种可实现方式中，通过以下公式对筛选定位特征图和筛选掩码特征图进行融合，获得筛选融合特征图：

22、

23、其中，α1和β1为可学习参数，为筛选定位特征图，为筛选掩码特征图，为筛选融合特征图。

24、结合第一种可实现方式，在第七种可实现方式中，将骨折图像中的定位框图像和掩码分割图像输入分型网络，获得骨折分型结果，包括：

25、将骨折图像中的定位框图像导入resnet50特征提取网络，获得骨折定位框特征图；将骨折图像中的掩码分割图像导入resnet50特征提取网络，获得骨折掩码特征图；

26、将骨折定位框特征图导入cbam注意力机制模块，获得优化定位框特征图；将骨折掩码特征图导入cbam注意力机制模块，获得优化掩码特征图；

27、对优化定位框特征图和优化掩码特征图进行融合，获得优化融合特征图；

28、将优化融合特征图导入自适应平均池化层，形成2048个输出点，经过2048×3的全连接层，输出骨折分型结果。

29、结合第七种可实现方式，在第八种可实现方式中，cbam注意力机制模块在通道维度和空间维度的处理过程分别如下：

30、将cbam注意力机制模块的输入特征图导入通道注意力模块，分别经过全局最大池化和全局平均池化，获得两个池化后的通道特征图；

31、将两个池化后的通道特征图导入全连接层进行叠加，获得通道特征图；

32、将通道特征图与归一化后的通道权重相乘，获得空间注意力模块的输入通道维度特征图；

33、将输入通道维度特征图分别经过基于通道维度的最大池化和平均池化，获得两个池化化的h×w×1的空间特征图；

34、将两个池化后的空间特征图在通道维度上堆叠，获得h×w×2的特征图；

35、将h×w×2的特征图导入7×7的卷积块进行特征图通道数调整，获得h×w×1的特征图；

36、将归一化后的空间权重和输入通道维度特征图相乘，获得最终的cbam注意力模块的输出特征图。

37、结合第七种可实现方式，在第九种可实现方式中，获得骨折分型结果之后还包括：

38、根据骨折分型结果对优化融合特征图进行梯度计算，获得梯度；

39、对梯度进行全局平均池化，获得多个通道权重；

40、将各通道权重与融合特征图进行加权求和，并使用relu激活函数剔除掉小于0的值，获得特征权重；

41、将特征权重在骨折的定位框图像中进行可视化处理，获得骨折特征的可视化热力图。

42、第二方面，本发明提供一种基于深度学习的三阶段转子间骨折定位分型装置。

43、在第十种可实现方式中，一种基于深度学习的三阶段转子间骨折定位分型装置，其特征在于，包括：

44、分割定位模块，被配置为对x-ray图像进行分割定位，获得股骨近端区域的定位框图像和掩码分割图像；

45、骨折筛选模块，被配置为根据定位框图像和掩码分割图像进行筛选处理，获得骨折图像；

46、骨折分型模块，被配置为将骨折图像中的定位框图像和掩码分割图像输入分型网络，获得骨折分型结果。

47、由上述技术方案可知，本发明的有益技术效果如下：

48、1.相比与现有技术，本方案将x-ray图像导入网络模型之前无需缩放图像的尺寸，避免了改变骨折特征和骨折形态，保留了骨折细小的特征信息，有利于提高对骨折分型的准确性。

49、2.采用了实例分割算法，裁剪出定位框图像和分割掩码图像，使网络能够融合两者特征，区分背景区域和骨折区域，专注于骨折特征的识别，减少无关因素的影响。

50、3.采用分阶段识别方法，首先检测了股骨近端区域所在位置，使模型能够专注于该区域，其次先区分了转子间的正常图像和骨折图像，从而减少分型时的任务量，最后再将骨折图像分型，使模型只专注于转子间的骨折特征，提高分型的准确度。

51、4.在对转子间分型网络中加入了cbam注意力机制模块，这样能够更好的使模型只专注于转子间的骨折特征，提高分型的准确度。

52、5.对骨折分型结果进行可视化处理，获得骨折特征的可视化热力图，能够显示出模型对骨折关键特征的识别，增加模型预测的可解释性。