利用胸腹部正位X线片检测脊柱骨质疏松性压缩性骨折的装置

利用胸腹部正位x线片检测脊柱骨质疏松性压缩性骨折的装置
技术领域
1.本发明涉及医学影像领域，特别是一种利用胸腹部正位x线片检测脊柱骨质疏松性压缩性骨折的装置。


背景技术：

2.脊柱的骨质疏松性压缩性骨折(osteoporotic vertebral fracture,ovf)在老年人中，尤其是老年女性中，是常见病。但是约3/4的ovf不会伴有明显的疼痛,往往会造成患者的忽视。虽然建议骨质疏松患者体检，但患者常常忽视体检，以至于病情加重，导致更加严重的髋关节骨折的发生。老年人常常有机会因肺炎、支气管炎、腹痛等疾病拍摄胸腹部的正位x射线图像或者参加胸片体检，故可以使用胸腹部的正位x线片(fontal view radiograph,fr)观察ovf。但是正位x线片上的ovf常常漏诊。胸腹部的正位x线片往往用于支气管炎、尿路结石等其他疾病诊断，临床医生不会过多关注脊椎是否发生骨折。另外，其他门诊的医生对于压缩性骨折的诊断专业性也不够，因此很容易造成漏诊。相比较于ct、mri等成像方式，对于胸腹部的正位的x射线图像，其椎骨的对比度和清晰度较差，不易观察到发生压缩性骨折的椎骨，尤其是轻度骨折。
3.需要说明的是，在上述背景技术部分公开的信息仅用于对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

4.本发明的目的是基于在临床诊断中非常常见的胸腹部正位x射线图像，帮助医生发现有可能发生脊柱骨质疏松性压缩骨折的位置，并及时提醒医生及患者。
5.为实现上述目的，本发明采用以下技术方案：
6.一种检测脊柱骨质疏松性压缩性骨折的装置，包括处理器，所述处理器运行由计算机可读存储介质存储的计算机程序时，执行如下步骤：
7.s1、对原始的胸腹部正位x射线图像(即正位x线片)进行图像预处理；
8.s2、将预处理后的x射线图像输入卷积神经网络cnns进行处理，其中，所述卷积神经网络经配置使用残差模块提取图像特征，并使用类金字塔结构的网络模块提取语义特征，以便实现x射线图像中的骨质疏松性压缩性骨折位置信息的提取；
9.s3、将提取的特征经过预测输出部分进行分类和回归，输出骨质疏松性压缩性骨折的检测结果。
10.进一步地：
11.步骤s1中，将4张图片进行随机缩放、随机裁剪、随机排布的方式进行拼接，以作为卷积神经网络的输入。
12.步骤s2中，所述卷积神经网络的网络模型结构包括：
13.下采样残差卷积层，用于提取强语义特征，所述下采样残差卷积层将高层的特征
信息通过下采样的方式进行传递融合，得到进行预测的特征图，自顶向下传达强语义特征；
14.在所述下采样残差卷积层后面的特征金字塔结构，所述特征金字塔结构自底向上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合，以提取强定位特征。
15.步骤s2中，所述残差模块经配置利用中间的非线性层得到f(x)＝h(x)
–
x的映射关系，以便使得网络收敛和参数优化。
16.步骤s2中，残差网络结构包括两组卷积层、批处理层、激活函数，以及特征融合层。
17.步骤s3中，预测输出部分包含分类分支和回归分支，所述分类分支经配置以确定检测到的椎骨发生骨折的概率，并且在训练的过程中，在通过全连接层之后，对于二分类问题得到每一个类别的概率；所述回归分支经配置以确定有可能发生骨折的椎骨的位置，并用检测框将发生骨折的椎骨框出。
18.步骤s3中，所述分类分支通过交叉熵损失函数来进行反向传播，更新网络参数。
19.步骤s3中，所述回归分支使用giou损失函数来进行反向传播，并更新网络参数。
20.步骤s3中，当输出x线图像中具有骨质疏松性压缩性骨折时，对存在骨质疏松性压缩性骨折的椎体进行提示，在x射线图像中对骨质疏松性压缩性骨折的位置进行标注。
21.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序由处理器运行时，执行如下步骤：
22.s1、对原始的脊柱x射线图像进行图像预处理；
23.s2、将预处理后的x射线图像输入卷积神经网络cnns进行处理，其中，所述卷积神经网络经配置使用残差模块提取图像特征，并使用类金字塔结构的网络模块提取语义特征，以便实现x射线图像中的骨质疏松性压缩性骨折位置信息的提取；
24.s3、将提取的特征经过预测输出部分进行分类和回归，输出骨质疏松性压缩性骨折的检测结果。
25.与现有技术相比，本发明具有如下有益效果：
26.本发明提出一种检测脊柱骨质疏松性压缩性骨折的装置，能够使用在临床中非常常用的胸腹部正位x射线图像(这些胸腹部正位x射线图像可在进行其他疾病或者常规检查时获得)，通过人工智能算法提示可能发生脊柱压缩性骨折的位置，自动帮助医生及早发现有可能发生脊柱骨质疏松性压缩性骨折的位置，可以及时提醒医生，并提醒患者及早进行检查和治疗。这样既可以大大的减轻了医生的工作负担，又可以避免其他科室的医生由于专业性不够无法做出诊断的情况发生。在本发明的一个实施例中，用正位x线片作为输入，利用目标检测的卷积神经网络，如果输出x射线图像中具有ovf，则在x射线图像中进行标注。本发明实施例的测试结果为，按照ovf椎体个数检测正确的准确率为0.944，按照有无ovf的病人个数计假阳性率为0.09。
27.相比较于传统的临床诊断方法，本发明的装置使用ai算法可以大大的减少临床医生的工作量，并且可以应用的其他门诊部门，从而避免了因图像质量问题、医生关注区域不同以及其他疾病临床医生专业度不够所造成的漏诊，从而达到一个提早发现提早治疗的目的，大大减少了患者病情加重的情况。
28.本发明首次提出的利用胸腹部正位x射线图像进行脊椎压缩性骨折诊断的思想，并提出人工智能算法，辅助医生进行诊断，具有重要的临床意义和市场潜力。使用本发明的装置，可以辅助医生在进行支气管炎、肺炎等其他疾病诊断时，使用胸腹部x射线图像对脊
柱骨质疏松性压缩性骨折自动进行检测，并及时提醒医生，患者有无发生脊椎压缩性骨折，以便患者进一步诊疗。
附图说明
29.图1为本发明一种实施例的处理流程示意图。
30.图2为本发明一种实施例的整体结构示意图。
31.图3为本发明一种实施例的图像预处理效果示意图。
32.图4为本发明一种实施例的残差网络结构原理图。
33.图5为本发明一种实施例的具体残差结构示意图。
34.图6为本发明一种实施例的网络模型结构示意图。
具体实施方式
35.以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
36.参阅图1、图2和图6，在第一方面的实施例中，本发明提供一种检测脊柱骨质疏松性压缩性骨折的装置，包括处理器，所述处理器运行由计算机可读存储介质存储的计算机程序时，执行如下步骤：
37.s1、对原始的胸腹部正位x射线图像正位x线片进行图像预处理；
38.s2、将预处理后的x射线图像输入卷积神经网络cnns进行处理，其中，所述卷积神经网络经配置使用残差模块提取图像特征，并使用类金字塔结构的网络模块提取语义特征，以便实现x射线图像中的骨质疏松性压缩性骨折位置信息的提取；
39.s3、将提取的特征经过预测输出部分进行分类和回归，输出骨质疏松性压缩性骨折的检测结果。
40.参阅图1、图2和图6，在第二方面的实施例中，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序由处理器运行时，执行如下步骤：
41.s1、对原始的脊柱x射线图像进行图像预处理；
42.s2、将预处理后的x射线图像输入卷积神经网络cnns进行处理，其中，所述卷积神经网络经配置使用残差模块提取图像特征，并使用类金字塔结构的网络模块提取语义特征，以便实现x射线图像中的骨质疏松性压缩性骨折位置信息的提取；
43.s3、将提取的特征经过预测输出部分进行分类和回归，输出骨质疏松性压缩性骨折的检测结果。
44.利用临床上广泛使用的胸腹部x射线图像来进行压缩性骨折的检测已经在本发明之前的研究中验证了其可行性。本发明提出的检测脊柱骨质疏松性压缩性骨折的装置，使用在临床中非常常用的胸腹部正位x线片(这些胸腹部正位x线片可在进行其他疾病或者常规检查时获得)，通过人工智能算法，自动帮助医生及早发现有可能发生脊柱压缩性骨折的位置，并提醒患者及早进行检查和治疗。这样既可以大大的减轻了医生的工作负担，又可以避免其他科室的医生由于专业性不够无法做出诊断的情况发生。
45.以下进一步举例描述本发明具体实施例。
46.参阅图1至图6，本发明的实现过程包括以下几个部分：图像预处理部分，用于提取图像中的ovf位置信息的cnns(convolutional neural network)以及预测输出部分。
47.(1)图像预处理部分：由于x射线图像具有低分辨率、低对比度和椎骨目标较小等特点，本发明优选实施例提出一种数据增强的方式，将4张图片进行随机缩放、随机裁剪、随机排布的方式进行拼接，如图3所示，这样可以减少gpu的使用。
48.数据增强的方法不但丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络具有更好的鲁棒性；而且减少了gpu算力需求，在使用该数据增强的方法进行训练时，可以直接计算4张图片的数据，降低了mini-batch大小，单张gpu就可以使网络损失函数收敛，得到较好的模型训练效果。
49.(2)cnn模型:该部分主要是卷积神经网络。在该部分中，除了使用残差模块更好的提取图像特征以外，还构建类似于金字塔结构的网络模块来更好的提取语义特征。
50.在一些实施例中，cnn模型部分主要由不同大小的卷积核构成卷积层、池化层、上采样层和特征合并层组成。卷积层、池化层、批归一化和激活函数构成残差模块。使用残差模块与卷积层和池化层组合成网络，能更好地提取图像特征。图像批归一化使模型具有良好的泛化鲁棒性能，同时残差模块可以解决网络加深带来的模型退化问题。其结构如图4所示。
51.残差模块利用中间的非线性层得到f(x)＝h(x)
–
x的映射关系，则网络层的输出可以表示为h(x)＝f(x)+x。由图4右边所示，相比h(x)＝f(x)+x函数，f(x)＝h(x)-x函数更容易收敛，网络参数将更容易优化。本发明优选实施例的残差模块结构如图5所示。
52.同时，本发明实施例可以采用类似于金字塔结构的网络模块来更好的提取语义特征，保证模型的ovf检测具有良好的性能，其整体网络结构如图6示。
53.(3)预测输出部分：该部分主要包含分类分支和回归分支两个部分。分类分支提供检测到的椎骨发生骨折的概率，并且在训练的过程中，在通过全连接层之后，对于二分类问题会得到每一个类别的概率；优选实施例通过交叉熵损失函数来进行反向传播，更新并优化网络参数。回归分支则提供有可能发生骨折的椎骨的位置，并用检测框将发生ovf骨折的椎骨框出。在训练的过程中，由于iou损失函数的局限性，优选实施例使用giou损失函数来进行反向传播，并更新网络的训练参数，以得到最好的检测结果(bounding box检测结果)。
54.图1示出了ovf检测流程，其中，先输入原始的胸腹部正位x射线图像正位x线片，经过预处理和卷积神经网络模型处理之后，最终输出ovf的检测结果。
55.图2示出本发明优选实施例在预处理之后的x射线图像输入包括下采样残差卷积层、提取ovf位置特征的金字塔结构的网络模型中，最后将图像特征经过分类和回归，对于存在ovf的椎体可用红色边界框进行提示。其中，conv1x1表示1x1的卷积核，conv3x3表示3x3的卷积核。
56.图3示出本发明优选实施例的图像预处理，将4张图片进行随机缩放、随机裁剪、随机排布的方式进行拼接，作为卷积神经网络的输入。
57.图4示出本发明优选实施例的残差网络结构原理，残差模块利用中间的非线性层得到f(x)＝h(x)
–
x的映射关系，使得网络更容易收敛，参数更容易优化。
58.图5示出本发明优选实施例的残差模块的具体结构，包括两组卷积层、批处理层、激活函数，和特征融合层。
59.图6示出本发明优选实施例的网络模型结构，左边部分为下采样残差卷积层，其作用是用于提取强语义特征；而虚线框中结构为特征金字塔模块。下采样残差卷积层将高层的特征信息通过下采样的方式进行传递融合，得到进行预测的特征图，自顶向下传达强语义特征；在下采样残差卷积层的后面添加了一个自底向上的特征金字塔结构，自底向上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合，达到提取强定位特征的目的，保证模型的ovf检测具有良好的性能。
60.在本发明的一个具体实施例中，用正位x线片作为输入，利用目标检测的卷积神经网络，输出x线图像中如果具有ovf，其在x射线图像中进行标注。使用本发明具体实施例的测试结果为：按照ovf椎体个数检测正确的准确率为0.944，按照有无ovf的病人个数计假阳性率为0.09。
61.本发明首次将人工智能算法用于胸腹部x射线图像压缩性骨折的检测，并使用大量临床数据验证了算法的可行性。发明人使用来自不同地区、不同医院的临床数据验证了算法的可行性，并取得了较好的检测结果，其准确率(按椎体个数计，based on vertebrae)和假阳性率(按患者个数计，based on patients)分别达到了0.944和0.09。
62.根据本发明，可将算法编写成可视化的操作界面，便于临床医生进行操作。
63.相比较于传统的临床诊断方法，使用人工智能算法可以大大的减少临床医生的工作量，从而避免了因图像质量问题、医生关注区域不同以及其他疾病临床医生专业度不够所造成的漏诊，从而达到提早发现提早治疗的目的。
64.本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
65.以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。