一种骨折类型的分类方法以及骨折识别模型的构建方法与流程

本发明涉及医疗骨科股骨骨折的图像处理技术领域，特别是一种骨折类型的分类方法以及骨折识别模型的构建方法。

背景技术：

在骨科高能损伤中，股骨骨折是非常常见的，其发病率已被报道为平均每10万名患者年达37例；根据骨折部位，骨折破碎程度，肌肉软组织损伤程度，损伤机制，可发现不同类型的骨折，目前治疗股骨干骨折的金标准是髓内钉。

随着髓内钉固定的广泛应用，出现了许多并发症，如延迟愈合、骨不连、髓内钉骨折和骨折，其原因在很大程度上与骨折的分类和医生的手术技术有关；根据不同的骨折类型选择不同的治疗方案，合理准确的骨折分类对手术方案的选择至关重要，因此有效、准确的骨折诊断和分类在临床工作中起着至关重要的作用；骨折分类系统现在主要依赖三维计算机断层扫描(ct)、x射线和磁共振图像(mri)和手动视觉检查根据ao分类；然而，这些图像的信息准确性可能不是很大，外科医生虽然可以检测到一些比较明显的骨折，但是对一些不太明显的骨折检查不了，因为分辨率很低；并且随着人工智能的快速发展，基于深度学习的卷积神经网络(cnn)被称为ai模型在图像分类和目标检测都显示出了其能力，并逐渐应用于医学，该模型在训练过程中被输入了许多带有正确标签的医学图像后，可以快速识别图像中的特殊区域和病理变化，为医生提供了第二选择，目前有很多的对骨科创伤x线片的分类方式，但是现有的对骨科创伤x线片的分类主要将样本集中分类为有无骨折，有些是对骨折的位置进一步分类，但是目前的分类方式不够具体，没有将骨折类型具体分类到位，具体分类还得依赖医生，但是医生查看也有一定的误差，并不能百分百确定类型，这对后续治疗也造成了不便。

鉴于上述情况，有必要对设计一种根据图像确定骨折类型的方法，使其能够满足现在对各种不同类型骨折治疗的需要。

技术实现要素：

本发明的目的是为了解决现有的只要是检查是否有骨折，以及骨折的位置检测，但是对于骨折确定的类型并不能通过图像来判定，还需要人们对其进一步进行分类从而进行针对治疗，因此我们提供了一种针对性的股骨x射线图像数据集骨折类型的具体分类方法以及骨折识别类型的构件方法。

实现上述目的本发明的技术方案为，一种骨折类型的分类方法，根据ao/ota系统将股骨骨折分为三种类型以及三种类型下三种不同的骨折表现形式，包括单纯性骨折a型、楔形骨折b型、复杂骨折c型；所述单纯性骨折a型包括单纯螺旋断裂a1、单纯斜向断裂a2、单纯横向断裂a3；楔形骨折b型包括螺旋楔形骨折b1、弯曲楔形骨折b2、粉碎楔形骨折b3；复杂骨折c型包括复杂螺旋骨折c1、复杂多段骨折c2、复杂不规则骨折c3。

对骨折分类方法的进一步补充，还包括踝关节bp、股骨小转子tp。

一种骨折类型的分类方法进行骨折识别模型的构建方法，包括以下步骤：

s1、获取股骨干不同骨折部位的不同的骨折类型的x射线图像；

s2、通过目标检测器定位x射线图像中的股骨干骨折部位；

s3、通过物体检测系统根据骨折类型的分类方法对骨折进行预分类；

s4、采用基于锚的fasterrcnn检测模型，以resnet-50和fpn为骨干，区域生成网络根据所述图像特征粗检测的定位框来定位裂缝发生的位置；

s5、将定位框中的特征进行骨折类型目标检测和区域定位；

s6、根据骨折类型分类对定位框中目标检测区域中的骨折类型进一步确定；

其中，在识别过程中，不同的骨折类型采用包装盒定位为不同标签的对象。

对骨折识别模型的构建方法做进一步补充，分别对各个不同骨折部位的不同的骨折类型的x射线图像进行图像预处理，将图像的尺寸统一调整成1000*600mm，并在输入网络之前，通过三个不同通道的平均值和标准差进行标准化；其中三个不同通道的平均值为95.32、95.29、95.26；标准差为69.25、69.24、69.26。

对骨折识别模型的构建方法做进一步补充，步骤s6中的骨折类型分类的精度是在特定阈值0.5下对分类器的置信度进行分类。

对骨折识别模型的构建方法做进一步补充，对图像中骨折分类的顺序为c-b-a；

对骨折识别模型的构建方法做进一步补充，三种骨折类型的具体图像识别顺序为c3-c2-c1-b3-b2-b1-a3-a2-a1。

其有益效果在于，股骨骨折的精确分类有助于准确的手术策略和术后更好的预后，一个有效、准确的股骨骨折诊断和分型系统将在临床工作中发挥重要作用，每个图像都被手动标记为表示股骨干骨折及其相应类别的基本事实框，采用基于锚的fasterrcnn检测模型，在多分辨率特征金字塔网络中构建resnet-50的主干，用于定位裂缝区域并对其类型进行分类；总图像水平精度达到0.71459，高于部分骨科医生所能得到的，能够作为一定的基础进行分析骨折类型，进一步提高了骨折识别正确率。

附图说明

图1是本发明的股骨图像分类数据集；

图2是本发明物体检测系统的工作流程图；

图3-12是本发明a1型、a2型、a3型、b1型、b2型、b3型、c1型、c2型、c3型以及tp、bp的置信度数据图像集；

图13是每个不同股骨骨折以及两个特殊对象tp和bp的pr曲线。

具体实施方式

由于目前骨折分类系统主要依赖三维计算机断层扫描(ct)，x射线和磁共振图像(mri)和手动视觉检查根据ao分类，上述方式虽然能够达到一定的准确性，但是由于机器的分辨率较低及人们视觉检查范围比较局限，只能检查到是否有骨折，但是对于骨折的类型并不能检查到；因此我们提供了一个根据图像判定对骨折类型进一步分类从而便于后续辅助医生采用视觉进行查看，该方法提供的分类结果与初级骨科医生判定结果相比准确性较高，能够从基础上确定骨折类型，便于人们在检查时使用。

本发明主要是为了对骨折的类型进一步分类，从而便于后续的针对性治疗，本发明的研究人群主要为股骨骨折患者，而股骨颈间骨折患者、股骨粗隆间骨折患者、肿瘤等病理性骨折患者及有手术史者排除；那些过度曝光的x射线x线片或模糊图像也被排除在外；根据需要，我们主要收集的图像包括骨折和正常的骨折，由山东省济南市千佛山医院提供股骨x线图像，在收集的图像资料中共有2333个股骨x线片，其中，骨折由简单骨折、楔形骨折和复杂骨折三组组成；这些患者的平均年龄为45岁，年龄区间为18-76岁。

现有技术中，对于骨折的分类范围比较广泛，不是特别具体，因此本发明利用了现有的对股骨干骨折的分类方法，即ao-muller/骨科创伤协会(ao/ota)系统，我们根据ao/ota系统将股骨骨折分为了三种类型以及三种类型下三种不同的骨折表现形式，如图1所示，我们根据骨折的复杂性，将股骨干骨折分为a、b、c三种类型，然后将上述三种类型更详细的分为三组，即共有9组分类类型，下面将对上述三种类型做详细的阐述，首先是a型，其为单纯性骨折，即轴骨周围有一条骨折线，只有两块骨折，根据断裂线的走向可将a型分为三组，a1为单纯螺旋断裂，a2为单纯斜向断裂，a3为单纯横向断裂，其中，当骨皮层碎片小于皮质外周周长的10％，它们将被忽略；接着是b型，其为楔形骨折，即为多个中间骨折块，但是在主皮质骨复位后可直接接触，能够基本恢复股骨的长度和力线；按照损伤机理可将b型分为三组，b1为螺旋楔形骨折，b2为弯曲楔形骨折，b3为粉碎楔形骨折，其具有多个中间骨折肿块；最后是c型，其为复杂骨折，即有多个中间断裂块，复位后主要断裂块之间没有接触；根据骨折形态进一步将c型分为三组，c1为复杂螺旋骨折；c2为复杂多段骨折，即两级轴骨骨折；c3为复杂不规则骨折，即有大量不规则骨折块；上述骨折分类是由3名从事创伤10年以上的骨科医生和1名从事肌肉骨骼专业10年的放射学医生评估，在评估过程中，如果有无法确定的病例，回顾ct或术后影像学资料，重新评估分类，如果分类不一致，则将排除该种情况，从而最后确定了x射线薄膜，即a1型、a2型、a3型、b1型、b2型、b3型、c1型、c2型和c3型；并且在此过程中，为了便于目标检测器检测骨折部位，我们还选定了tp和bp作为两个参照，还有图中显示的bp指的是踝关节，tp指的是股骨小转子，便于指示骨折位置。

下面将对股骨x线片中的骨折类型辨别作进一步地阐述，在这过程中，我们主要通过目标检测器来定位x射线图像中的股骨干骨折部位，然后使用物体检测系统对骨折进行观察，其中观察过程中，依据上述a1型、a2型、a3型、b1型、b2型、b3型、c1型、c2型和c3型对骨折进行分类，其中物体检测系统判断骨折类型的具有工作原理是检测不同类型的裂缝区域，在此过程中，将不同的骨折类型采用包装盒定位为不同标签的对象。

以下将对物体检测系统是如何精确辨别骨折类型的作进一步地阐述，首先是对现有的2333张x射线图像手动标记上述a1型、a2型、a3型、b1型、b2型、b3型、c1型、c2型、c3型、bp、tp物体的包装盒，然后采用其中的1488张图像进行培训，372张图像进行验证，473张图像作为物体检测系统的最终测试方案，该技术方案的目的是为了对骨折类型进一步分类，从而用于辅助医生对其进行观察；采用基于锚的fasterrcnn检测模型，以resnet-50和fpn(特征金字塔网络)为骨干，该模型如图2所示，其中区域生成网络(rpn)首先给出粗检测的定位框来定位裂缝发生的位置，而定位框中的特征根据分类对其的类型进一步确定，之后在roi对齐后细化框的位置，并在mmd检测框架中实现该模型，其中物体检测系统的初始学习率为0.01，在9时下降一个因子，18^th，27^th和33^th同样，并且权重衰减、动量和训练周期的超参数分别设置为0.0001、0.9和36，由于数据集相对较小，我们选择通过随机翻转来执行数据增强，其比率为0.5；在使用过程中，由于图像的大小不同，我们将它们的尺寸统一调整成1000*600mm，并在输入网络之前，通过三个不同通道的平均值(95.32、95.29、95.26)和标准差(69.25、69.24、69.26)进行标准化。

下面将对物体检测系统的测试精度做进一步地补充：平均精度(ap)是物体检测系统常用的评价指标，测量不同类型物体的精度，它同时考虑查准率和查全率，精度是检索对象之间相关对象的分数；召回是实际检索到的相关对象总量的分数；对于给定的模型，将不同召回下的精度值绘制在pr曲线中，因此ap可以用以下方程表示。

其中p是精度，r是召回率，显然，ap实际上代表了pr曲线下的区域，通过全面考虑不同召回下的精度，而没有对p和r进行任何参考。请注意，每个类别的ap是独立的，因此计算每个类别中ap的平均值的map是对象检测的最重要度量；此外，为了计算检测任务中的ap，需要评估检索对象的相关性，通常情况下，联合上的交集(iou)比例被用于相关性；在欠条中，检测到的包装盒和基本事实之间的交集区域被它们的结合所划分；在实践中，我们将iou阈值设置为0.5，因此将iou高于其的检测框视为相关结果。

该map反映了物体检测系统的性能，并对检测到的包围盒的质量进行了评估；为了测试股骨骨折的分类精度，我们对图像水平上的分类精度做了进一步测试，其中，精度是在特定阈值0.5下对分类器的置信度得到的；由于测试图像在此阈值下可能有多个定位框，因此我们使用以下方案将它们聚合到图像级别预测中；我们首先选择分类置信度大于0.5的定位框作为候选框；然后，我们设定图像类别的优先级：c3>c2>c1>b3>b2>b1>a3>a2>a1，具体来说，我们首先检查是否有一个检测到的包装盒，它对c3的置信度大于阈值，最后检查a1。如果检测结果中没有框表示股骨干骨折，则预测图像为正常；其中，如图3-12所示，由于每种类型测试的置信度数值不同，因此便于分类。

下表1列出了一系列来自测试集的图像统计数据，第一列是不同对象类的名称；注意，tp和bp指的是股骨小转子和踝关节，用作两个特殊的物体；gts给出每组标记对象的地面真值数，而dets则提供模型检测到的对象数；最后一列列出了不同类型对象的ap；我们观察到，该模型给出了tp和bp的较高ap，因为这两个对象的训练数据最多，这意味着训练样本数量的重要性。

表一在我们的数据集上对不同类型的对象的数值

如图13显示了每个不同股骨骨折的pr曲线和两个特殊对象tp和bp，还给出了不同类型的ap值，两个特殊对象tp和bp的值高于股骨骨折。

下表2为详细的混淆矩阵，该矩阵是由与表一相同的模型得到的。在这里，每一行都表示特定基本事实类型的预测结果。

表二检测模型的分类精度

下表三列出了三名初级骨科医生的诊断和分类结果，与我们的模型结果相比。

表三初级骨科医生与人工智能模型结果的比较

平均准确率为0.71459，较高级骨科医生不太准确，然而，它已经达到了初级骨科医生的水平，这证明了它在股骨骨折分类中的潜力。且某些类的准确率约为0.8，说明了物体检测系统识别骨折类型的可行性，便于我们进行使用。

上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。