一种基于深度学习的桡骨密度检测方法、系统、装置与流程

1.本发明属于图像识别领域，具体涉及一种基于深度学习的桡骨密度检测方法、系统、装置。


背景技术：

2.人体前臂的x射线图像中，骨骼的图像灰信息是估算人体桡骨骨密度的最重要依据。通过这种非介入式测量方法测算人体的骨密度，能够为疾病的预防和诊断提供依据，因而具有非常重要的现实意义。这种测量方法不需要对人体进行组织采样，对用户的生理损伤较轻。世界卫生组织的最新指南中认为：人体桡骨远端1/3处的特征信息是测量骨密度的最佳特征信息。
3.现有基于人体前臂x射线的的骨密度测量方法中，主要通过卷积神经网络(cnn)进行医学图像分割和特征信息提取。但是，传统的卷积神经网络在处理这一类问题时仍然存在如下缺点：(1)网络在每次运算前需要人工介入标定分割的起始位置和范围(roi感兴趣区域)，这可能会引起背景灰度统计误差和二值化分割阈值误差。通过卷积神经网络分割出的结果受人为因素影响严重，分析结果的可靠性和稳定性存在不足。(2)现有的卷积神经网络无法准确定位分割出的桡骨图形特征中对应桡骨远端1/3处的区域，因此估算出的骨密度结果与标准值之间可能存在误差。(3)传统的卷积神经网络分隔结果的准确性受到图像质量的影响较大。当人体前臂的x射线图像中，患者的摆位或设备差异造成x射线图像的与传统图像存在较大位移或图像质量差异时，会出现图像分割效果不理想甚至出现分类错误的现象。(4)传统的卷积神经网络还存在容易陷入局部最优解而得不到正确分割结果的问题。


技术实现要素：

4.为了解决现有的骨密度测试方案中，传统的医学图像分割算法存在弊端导致骨密度测量需要依赖人工，且测量结果的可靠性较低的问题，提供一种基于深度学习的桡骨密度检测方法、系统、装置。
5.本发明采用以下技术方案实现：
6.一种基于深度学习的桡骨密度检测方法，该检测方法包括如下步骤：
7.s1：构建一个基于u-net网络改进的手臂特征提取模型，手臂特征提取模型依次包含四个下采样层、四个上采样层、一个核为1的十通道全卷积层，以及一个用于分类的softmax层。其中，每个下采样层包括全卷积relu激活层、批量归一化层和最大池化层。每个上采样层包括全卷积relu激活层、反卷积层和融合层。手臂特征提取模型的输入为人体前臂的x射线图像，输出为包含桡骨特征的十分类特征图像。
8.s2：在手臂特征提取模型的softmax层后端添加一个自修正模块，自修正模块用于将网络模型最后一层的输出与预先标记的监督数据图像进行交叉熵误差运算；然后通过网络的反向传播对各层参数进行优化。
9.s3：获取真实的人体前臂的x射线图像，对图像进行预处理得到原始样本，进而得到包含多个原始样本的训练集。
10.s4：利用训练集对添加自修正模块的手臂特征提取模型进行训练，并在训练过程中，对每次输出的十分类特征图像中的桡骨特征进行人工修正，将包含修改标记的修正图像作为监督数据图像输出到自修正模块，用于对手臂特征模型进行重新训练和优化。
11.s5：获取满足训练要求的手臂特征提取模型的权重模型，使用该权重模型对待检测的人体前臂的x射线图像的原始图像进行预测，输出十分类特征图像。
12.s6：基于十分类特征图像和原始图像计算出桡骨远端1/3处的桡骨图像灰度值；计算方法如下：
13.s61：对十分类特征图像中的桡骨特征部分进行二值化处理，得到桡骨二值化图像，并采用opencv轮廓寻找算法提取桡骨二值化图像中的桡骨轮廓。
14.s62：计算桡骨轮廓的最小外切矩形，定义最小外切矩形的长度为桡骨长度，并定义轮廓宽度较大的一侧为桡骨的远端。
15.s63：定位距桡骨远端1/3处的目标基准线，提取目标基准线周围固定长宽值的区域作为目标区域。
16.s64：构造一个与原始图像或桡骨二值化图像大小一致的模板图像，将模板图像中对应目标区域的部分的像素值置为0xffff，对应目标区域外的部分的像素值置为0。
17.s65：将原始图像和所述模板图像进行逻辑位与操作，进而提取出原始图像中对应模板文件目标区域内部分的灰度值，该灰度值即为桡骨图像灰度值。
18.s7：根据上步骤得出的桡骨图像灰度值，计算出桡骨密度的准确值。
19.作为本发明进一步地改进，在手臂特征提取网络中，各个上采样层中保留对应大小的下采样层的处理结果，并在融合层中通过tf.concat函数对相应的下采样层进行图像融合处理。同时保留相应下采样层获取的图像视野和特征信息。
20.作为本发明进一步地改进，手臂特征提取模型中，每个下采样层中卷积层还用于对输出的图像进行边界填充，以使每次卷积输出的图像大小保持不变。
21.作为本发明进一步地改机，手臂特征提取网络输入的原始图像为16bits位深的人体前臂的x射线图像，原始图像经预处理后进行尺寸统一。手臂特征提取网络的输出为预测得到的与输出图像尺寸相同的十分类特征图像。十分类特征图像中预测出的特征元素分别为背景、皮肤、尺骨、桡骨、手臂骨、腕骨、指骨、铝梯、模块皮肤和模块骨头。十分类特征图像中，为每个特征元素对应区域内的像素值赋予一个专属的特征分类值。
22.作为本发明进一步地的改进，步骤s2中，预先标记的监督数据图像为含有标记的多分类图像。多分类图像中，将人体前臂的x射线图像中背景、皮肤、尺骨、桡骨、手臂骨、腕骨、指骨、铝梯、模块皮肤和模块骨头对应的十类不同特征区域按照不同特征分类值进行人工标记。
23.作为本发明进一步地改进，自修正模块中交叉熵误差e的计算公式如下：
[0024][0025]
上式中，n表示监督数据图像的序号，k表示特征元素的特征分类值，t
nk
表示第n个
监督数据图像中的第k个特征元素，y
nk
表示第n个特征输出图像的第k个特征元素。
[0026]
作为本发明进一步地改进，步骤s61中，桡骨特征图像的二值化处理过程如下：获取手臂特征提取模型的输出的十分类特征图像，然后将十分类特征中对应桡骨的特征分类值的像素点填充为0xffff，其余部分的像素点均填充为0，得到一个8bits位深的二值化图像，该二值化图像即为桡骨二值化图像。
[0027]
作为本发明进一步地改进，步骤s4中，十分类特征图像中桡骨特征的人工修正过程在计算机程序中完成，由操作人员在十分类特征图像中对预测出的桡骨区域的轮廓线进行人工调整，计算机程序自动记录调整动作对应的修改链表，进而形成新的轮廓线。
[0028]
本发明还包括一种基于深度学习的桡骨密度检测系统，该检测系统用于采用如前述的方法，根据拍摄的人体前臂的x射线图像计算出人体的桡骨密度。该检测系统包括：图像预处理模块，手臂特征提取模块，自修正模块，二值化处理模块，定位模块，模板图像生成模块，灰度值提取模块，以及骨密度计算模块。
[0029]
其中，图像预处理模块用于对待检测人体前臂的x射线图像的原始图像进行预处理，使得原始图像的位深和尺寸满足一个手臂特征提取模块的输入要求。
[0030]
手臂特征提取模块采用一种改进的u-net网络作为基础网络，手臂特征提取模块依次包含四个下采样模块、四个上采样模块、一个核为1的十通道全卷积模块，以及一个用于分类的softmax模块。其中，每个下采样模块包括核为3的全卷积relu激活层、批量归一化层和最大池化层；每个上采样模块包括全卷积relu激活层、反卷积层和融合层。手臂特征提取模块的输入为预处理后的人体前臂的x射线图像，输出为包含分类完成的背景、皮肤、尺骨、桡骨、手臂骨、腕骨、指骨、铝梯、模块皮肤和模块骨头的特征元素的十分类特征图像。十分类特征图像中，为每个特征元素区域内的像素点赋予一个相应的特征分类值。
[0031]
自修正模块位于手臂特征提取模块中softmax模块的后端。自修正模块接收经过人工修正后的监督数据图像，将监督数据图像与所述手臂特征提取模块的最后一层的输出进行交叉熵误差运算；然后通过网络的反向传播对手臂特征提取模块的各层参数进行优化。
[0032]
二值化处理模块用于提取手臂特征提取模块输出的十分类特征图像中关于桡骨特征的区域，并将反映桡骨特征的像素区域与其它区域进行二值化处理；进而得到桡骨二值化图像。
[0033]
定位模块包括轮廓提取子模块，桡骨区域框选子模块和目标区域提取子模块。轮廓提取子模块用于通过opencv函数寻找桡骨二值化图像中的桡骨轮廓。桡骨区域框选子模块用于根据轮廓提取子模块寻找出的桡骨轮廓计算出桡骨区域的最小外切矩形，并确定桡骨区域中对应桡骨远端的一侧。目标区域提取子模块用于计算最小外切矩形中距桡骨远端的1/3处的基准线，然后以基准线周围的固定长度和固定宽度的区域为目标区域。
[0034]
模板图像生成模块用于获取定位模块确定的十分类特征图像中目标区域的信息，然后生成一个模板图像；模板图像中对应目标区域的部分的像素值置为0xffff，对应目标区域外的部分的像素值置为0。
[0035]
灰度值提取模块用于将预处理后的人体前臂的x射线图像的原始图像与模板图像进行逻辑位与操作；进而提取出原始图像中对应桡骨远端1/3处区域的图像灰度值。
[0036]
骨密度计算模块用于获得灰度值提取模块获取的图像灰度值，然后将提取出的灰
度值与标准梯度模块x射线影像的灰度值进行线性拟合，进而计算出待检测对象的桡骨骨密度。
[0037]
本发明还包括一种基于深度学习的桡骨密度检测装置，该检测装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现如前述的基于深度学习的桡骨密度检测方法的步骤。
[0038]
本发明提供的技术方案，具有如下有益效果：
[0039]
1、本发明可以通过改进的手臂特征提取模型自动获取人前臂x射线图像中的桡骨区域，并自动定位桡骨前端1/3处的目标区域，进而根据目标区域的灰度值计算出可靠的骨密度值的参考值。骨密度值的计算全程不依赖人工进行介入，进而降低人力因素对骨密度预测结果的影响，以及提高骨密度预测的效率。同时，由于本发明可以准确定位世卫组织推荐的桡骨前端1/3处，进而能够提升得出的骨密度预测值的可靠性。
[0040]
2、本发明中提供的手臂特征提取模型是一种改进模型，该模型具有较高的泛化性能，能够给对不同角度和方向的x射线图像进行处理，进而准确分割出其中的桡骨区域；降低了模型对x射线图像质量的要求。同时考虑到在模型架构中作出的精简，该模型还能够有效提高分割处理的速率，降低模型运行过程对算力的要求。
[0041]
3、本发明提供的方法中使用的网络模型还具有较高的自学习性能，可以利用人工复核过程得出的监督数据图像，对网络模型进行重新训练。进而增强模型对各类型低质量x射线图像的识别效果，有效提升得出的骨密度预测结果的准确性。
附图说明
[0042]
图1为本发明实施例1中一种基于深度学习的桡骨密度检测方法的流程图。
[0043]
图2为本发明实施例1中一种基于深度学习的桡骨密度检测方法步骤s6的细化流程图。
[0044]
图3为本发明实施例1中改进后的手臂特征提取模型的结构示意图。
[0045]
图4为本发明实施例1中修改特征图像中的桡骨区域轮廓的图像处理程序的图像界面。
[0046]
图5为本发明实施例1中人体前臂x射线图像中国对应桡骨区域最小外切矩形和目标区域的位置示意图。
[0047]
图6为本发明实施例1的样本数据中，原始图像和经过不同变换方式得到的图像的对比图。
[0048]
图7为本发明实施例1的对比试验中，本实施例方法进行图像分割的处理结果图像。
[0049]
图8为本发明实施例1的对比试验中，传统方法进行图像分割的处理结果图像；其中，左半部分为处理成功的结果图像，右半部分为处理失败的结果图像。
[0050]
图9为本发明实施例1的对比试验中，本实施例方法分割失败的结果图像。
[0051]
图10为图9显示的分割失败的实例经过再学习后，重新分割成功的结果图像。
[0052]
图11为本发明实施例1的对比试验中，本实施例的方法在x影像束光器未完全开启状态下，得到的图像的分割处理结果。
[0053]
图12为本发明实施例1的对比试验中，本实施例的方法在x射线影像中存在异物的
状态下的分割处理结果。
[0054]
图13为本发明实施例1的对比试验中，本实施例的方法在手臂未能正确摆放状态下，得到的图像的分割处理结果。
[0055]
图14为本发明实施例1的对比试验中，本实施例的方法在x射线图像中未能完整包含整个桡骨区域时，图像的分割处理结果。
[0056]
图15为本发明实施例1中提供的手臂特征提取模型随着训练轮次的增加，其分割准确率和loss值的变化曲线。
[0057]
图16为本发明实施例1提供的检测方法中，骨密度检测过程的全流程时序图。
[0058]
图17为本发明实施例2中一种基于深度学习的桡骨密度检测系统的系统拓扑图。
具体实施方式
[0059]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步地详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0060]
实施例1
[0061]
本实施例提供一种基于深度学习的桡骨密度检测方法，如图1和图2所示，该桡骨密度检测方法包括如下步骤：
[0062]
s1：构建一个基于u-net网络改进的手臂特征提取模型，如图3所示，手臂特征提取模型依次包含四个下采样层、四个上采样层、一个核为1的十通道全卷积层，以及一个用于分类的softmax层。其中，每个下采样层包括全卷积relu激活层、批量归一化层和最大池化层。每个上采样层包括全卷积relu激活层、反卷积层和融合层。手臂特征提取模型的输入为人体前臂的x射线图像，输出为包含桡骨特征的十分类特征图像。
[0063]
本实施例构建的手臂特征提取模型中，针对的技术问题相对单一，主要就是将人体前臂的x射线图像中对应人体不同组织的部分进行准确分类，从而便于后期对不同部分进行分割和处理。针对这一技术问题，本实施例选择u-net网络作为基础网络，同时考虑到该应用场景的特殊性，在保证分类效果的同时对原有基础网络模型进行改进。
[0064]
首先，本实施例将u-net网络中每个下采样层的各类子层数量均简化为一个，每个下采样层的子层分别包含全卷积relu激活层、批量归一化层和最大池化层。其中，考虑到该网络可能需要处理不同x光设备的生成的x射线设备，因此本实施例在网络中每一个下采样层中都增加了一个批量归一化层(batch normal)，达到加速网络收敛速度，增强网络泛化能力的效果。
[0065]
其次，考虑到本实施例中处理的人体前臂的x射线图像中，存在的所有组织结构都相对简单，神经网络并不需要对纹理结构具有较为敏感的感知能力。而是对视觉范围的要求较高。因此本实施例进一步将传统的u-net网络中每个上采样层对应大小的下采样层的处理结果进行保留。并在融合层中通过tf.concat函数对相应的下采样层进行图像融合处理。本实施例中的图像融合处理的实质是对相应像素的图像灰度值进行加法运算，计算结果保留为新的融合后的像素的灰度值。同时在网络模型中保留下采样过程中得到的图像视野和特征信息。
[0066]
另外，在后续方法流程中需要对模型输出的特征进行图像分割，特征图像分割需
要将分类图像的原始图像进行掩模处理。因此需要使得神经网络输出的十分类特征图像的尺寸和神经网络输入的原始图像的大小一致。为了保证二者的尺寸一致，本实施例在手臂特征提取模型中，在每个下采样层中卷积层还对输出的图像进行边界填充，以使每次卷积输出的图像大小保持不变。本实施例中的网络在经过这种改进之后，输出的特征图与输入的原始图像的尺寸一致，后续进行掩模处理时，通过分类结果得到的目标区域的轮廓就可以和输入的原始图像中的像素位置一一对应，从而能够准确分割出目标区域的灰度值。
[0067]
s2：在手臂特征提取模型的softmax层后端添加一个自修正模块，自修正模块用于将网络模型最后一层的输出与预先标记的监督数据图像进行交叉熵误差运算；然后通过网络的反向传播对各层参数进行优化。
[0068]
手臂特征提取网络输入的原始图像为16bits位深的人体前臂的x射线图像，图像尺寸经预处理后统一设置为512
×
512。手臂特征提取网络的输出为预测得到的与输出图像尺寸相同的十分类特征图像。十分类特征图像中预测出的特征元素分别为背景、皮肤、尺骨、桡骨、手臂骨、腕骨、指骨、铝梯、模块皮肤和模块骨头。十分类特征图像中，为每个特征元素对应区域内的像素值赋予一个专属的特征分类值。
[0069]
本实施例中，预先标记的监督数据图像为含有标记的多分类图像，多分类图像中，将人体前臂的x射线图像中背景、皮肤、尺骨、桡骨、手臂骨、腕骨、指骨、铝梯、模块皮肤和模块骨头对应的十类不同特征区域按照不同特征分类值进行人工标记。
[0070]
其中，自修正模块中交叉熵误差e的计算公式如下：
[0071][0072]
上式中，n表示监督数据图像的序号，k表示特征元素的特征分类值，t
nk
表示第n个监督数据图像第k个特征元素，y
nk
表示第n个特征输出图像的第k个特征元素。
[0073]
s3：获取真实的人体前臂的x射线图像，对图像进行预处理得到原始样本，进而得到包含多个原始样本的训练集。
[0074]
s4：利用训练集对添加自修正模块的手臂特征提取模型进行训练，并在训练过程中，对每次输出的十分类特征图像中的桡骨特征进行人工修正。将包含修改标记的修正图像作为监督数据图像输出到自修正模块，用于对手臂特征模型进行重新训练和优化。
[0075]
具体地，本实施例中作为监督数据图像使用的修正图像即为经过人工修改的模型训练过程中输出的特征图像。当手臂特征提取模型输出一个十分类特征图像之后，操作人员对网络模型的输出进行人工复核。本实施例中关心的特征主要为预测出的桡骨特征元素的区域，因此操作人员只需检查网络模型输出的十分类特征图像中对桡骨区域的预测是否准确即可。当网络模型输出的桡骨区域的轮廓与真实轮廓不一致时，本实施例通过一个具有java语言开发的图像处理程序对输出的十分类特征图像中的特征信息进行修改。该图像处理程序的界面如图4所示。
[0076]
在图像修改程序中，修改的过程具体如下：在程序的人机交互界面中，针对出现错误的分类信息，用户点选“修改轮廓”按钮，程序弹出轮廓选择对话框，用户选择需要修改的轮廓后，移动鼠标到目标轮廓附近，软件将改变鼠标样式，指示用户可以修改，当用户按下鼠标左键并拖动鼠标后，软件通过捕获鼠标拖动事件实时获取坐标信息，通过坐标系转换
为原始影像中的坐标，并将坐标点记录到修改链表中，当用户修改完毕鼠标弹起时，软件寻找被修改轮廓到这个修改链表首尾两个坐标点的最近距离点，并在这两个点间插入修改链表，形成一个新的轮廓并刷新显示。
[0077]
修改后的具有标志信息的特征图像即为本实施例中自修正模型所需的监督数据图像。自修正模块将这些含有人工标记信息的图像再次输入到神经网络进行训练，就能进一步改进神经网络的分类准确性，同时提高网络模型针对不同x光设备产生的图像的泛化能力。
[0078]
s5：获取满足训练要求的手臂特征提取模型的权重模型，使用该权重模型对待检测的人体前臂的x射线图像的原始图像进行预测，输出十分类特征图像。
[0079]
s6：基于十分类特征图像和原始图像计算出桡骨远端1/3处的桡骨图像灰度值；如图2所示，其计算方法如下：
[0080]
s61：对十分类特征图像中的桡骨特征部分进行二值化处理，得到桡骨二值化图像，并采用opencv轮廓寻找算法提取桡骨二值化图像中的桡骨轮廓。其中，桡骨特征图像的二值化处理过程如下：获取手臂特征提取模型的输出的十分类特征图像，然后将十分类特征中对应桡骨的特征分类值的像素点填充为0xffff，其余部分的像素点均填充为0，得到一个8bits位深的二值化图像，二值化图像即为桡骨二值化图像。
[0081]
本实施例中，考虑到本实施例中处理的任务场景中需要输入和输出的特征图像均为16bits的单通道图像，而常规的opencv并不支持16位深的神经网络模型，因此本实施例还特别对opencv的源代码进行修改，使得其可以支持本实施例中手臂特征提取模型中的处理处理需求。
[0082]
s62：计算桡骨轮廓的最小外切矩形，定义最小外切矩形的长度为桡骨长度，并定义轮廓宽度较大的一侧为桡骨的远端。
[0083]
s63：定位距桡骨远端1/3处的目标基准线，提取目标基准线周围固定长宽值的区域作为目标区域。该固定长宽值可以根据数据处理的需要进行预先设定。
[0084]
s64：构造一个与原始图像或桡骨二值化图像大小一致的模板图像，将模板图像中对应目标区域的部分的像素值置为0xffff，对应目标区域外的部分的像素值置为0。
[0085]
s65：将原始图像和模板图像进行逻辑位与操作，进而提取出原始图像中对应模板文件目标区域内部分的灰度值，该灰度值即为桡骨图像灰度值。
[0086]
其中，图5给出了一张人体前臂x射线图像中对应的桡骨所在位置的外切矩形的区域(图中纵向的较大的矩形区域)，以及从其中提取出的对应人体桡骨远端1/3处的目标区域的范围(图中横向的较小的矩形区域)的图像。
[0087]
s7：根据上步骤得出的桡骨图像灰度值，计算出桡骨密度的准确值。该步骤中，通过提取出的桡骨图像灰度值计算对应的桡骨密度的方法为常规方法，本实施例中不再进行详细说明。
[0088]
本实施例中，为了使得提供的桡骨密度检测方法的性能和优点更加明显，本实施例还进行了仿真模拟试验，在试验过程中，选取全国骨密度流行病学调查图像数据4000多例中的72例进行了对比试验。共获取72张不同的人体前臂x射线图像作为试验样本，将试验样本进行预处理后，全部转换为16bits原始图像，原始图像的样本宽度和样本高度均为512，并且将这些原始图像中的每张图像进行上下镜像、左右镜像，90度旋转，180度旋转和
270旋转分别产生5张相关的图像，具体的图像变换过程如图6所示，进而得到共430张不同编号的图像作为样本数据集。
[0089]
然后分别使用传统人工介入的分割方法和本实例中基于神经网络的分割方法分别进行分割效果实验。其中，图7显示了本实施例提供的方法对不同方向的人体前臂x图像的分割实例。图8显示了传统方法在对标准图像中选定的感兴趣区的分割效果实例。本实施例的对比试验中对所有样本数据集的处理结果进行了统计，实验结果统计如表1所示。
[0090]
表1：本实施例的方法与传统人工介入方法的桡骨分割性能对照表
[0091][0092]
由表的数据可见：传统分割方法仅对标准角度下的图像有效，对旋转和镜像的图像无法处理，结果直接出现错误。而本使用本实例方法进行分割结果显著占优势。并且传统方法需要人工划定感兴趣区域，需要多人耗费很长时间才完成，而本实施例提供的方法可以快速并正确地完成分割。
[0093]
同时，考虑到传统方法的分割过程需要人工划定感兴趣区域，且需要人工进行复核，纠正分割错误；而本实施中仅需要进行机器处理，因而可以通过计算机的并行运算同时处理大批量的样本，因此本实施例可以在几分钟内对大批量的待检测样本进行处理。
[0094]
此外，在试验结果分析中，工作人员具体分析了引起分割错误的不同因素。如图9所示展示了一例在旋转270
°
后被分割错误的实例，但是在重新学习之后，如图10所示，该样本也能够被准确分割。由此可见本实施例中提供的改进后的手臂特征提取模型具有较强的自学习性能。随着样本集的不断增加，能够对自身的识别准确率继续有效提升。
[0095]
图11展示了在x影像束光器并没有完全开启状态下的桡骨分割实例，图12展示了在x射线影像存在异物状态下的分割实例。二者中的桡骨区域以及其它关键组织均被准确分割出。由此可见，本实施例提供的方法具有很强的抗干扰能力。
[0096]
如图13显示了x射线图像中手臂未正确摆放情况下的识别实例，在该状态下，桡骨末端出现了少许分割错误和不能完整分割的情况。图14进一步展示了拍摄的x射线图像未能包括完整桡骨区域的情况，在该情况下，本实施例的模型将桡骨误判为手臂骨。这两例分割异常反映了本实施例中的手臂特征提取模型中，未能分割成功的情况主要都是被测患者的影像拍位不合格，或没有覆盖全部的尺桡骨影像导致的。
[0097]
本实施例提供的方法中，在对手臂特征提取模型进行训练时，随着训练轮次增加，网络模型的损失值和准确度变化曲线如图15所示。分析图中数据可见，当训练轮次达到80
次以上，网络模型的分了准确度可以稳定在95％以上。模型的收敛速度快，准确率高。
[0098]
通过上述分析可以说明：本实施例的桡骨密度检测方法，通过对网络模型进行改良，使得深度学习算法在分割人体前臂x射线图像中的桡骨的准确率大大提高，并且该型手臂特征提取模型中无需对原始图像中的感兴趣区进行人工分割或标定，网络模型还可以实现自身参数的自我修正和优化，降低网络模型运行过程中的人工介入程度。达到提高骨密度分析任务的处理效率。
[0099]
本实施例提供的网络模型能够根据图像分割结果对桡骨特定位置进行自动定位，准确定位到距桡骨顶端1/3处的特定区域，从而提升获取的图像灰度值的准确性，使得计算出的骨密度分析结果更加可靠。
[0100]
本实施例提供的方法可以根据一张人体前臂的x射线影像完成从桡骨区域分割，到桡骨远端1/3处定位，再到灰度值提取，以及最后作出骨密度值预测等一系列的过程。该方法的处理流程具体如图16所示。可见本实施例提供的方法具有较高的自动化程度和很好的实用价值，克服了传统的骨密度预测方法的处理过程过度依赖人工的情况。
[0101]
实施例2
[0102]
本实施例提供一种基于深度学习的桡骨密度检测系统，该型桡骨密度检测系统采用如实施例1所述的方法，根据拍摄的人体前臂的x射线图像计算出人体的桡骨密度，如图17所示，该检测系统包括：图像预处理模块、手臂特征提取模块、自修正模块、二值化处理模块、定位模块、模板图像生成模块，灰度值提取模块以及骨密度计算模块。
[0103]
其中，图像预处理模块用于对待检测人体前臂的x射线图像的原始图像进行预处理，使得原始图像的位深和尺寸满足一个手臂特征提取模块的输入要求。
[0104]
手臂特征提取模块采用一种改进的u-net网络作为基础网络，手臂特征提取模块依次包含四个下采样模块、四个上采样模块、一个核为1的十通道全卷积模块，以及一个用于分类的softmax模块。其中，每个下采样模块包括核为3的全卷积relu激活层、批量归一化层和最大池化层；每个上采样模块包括全卷积relu激活层、反卷积层和融合层。手臂特征提取模块的输入为预处理后的人体前臂的x射线图像，输出为包含分类完成的背景、皮肤、尺骨、桡骨、手臂骨、腕骨、指骨、铝梯、模块皮肤和模块骨头的特征元素的十分类特征图像。十分类特征图像中，为每个特征元素区域内的像素点赋予一个相应的特征分类值。
[0105]
自修正模块位于手臂特征提取模块中softmax模块的后端。自修正模块接收经过人工修正后的监督数据图像，将监督数据图像与手臂特征提取模块的最后一层的输出进行交叉熵误差运算。然后通过网络的反向传播对手臂特征提取模块的各层参数进行优化。
[0106]
二值化处理模块用于提取手臂特征提取模块输出的十分类特征图像中关于桡骨特征的区域，并将反映桡骨特征的像素区域与其它区域进行二值化处理；进而得到桡骨二值化图像。
[0107]
定位模块包括轮廓提取子模块，桡骨区域框选子模块和目标区域提取子模块。轮廓提取子模块块用于通过opencv函数寻找桡骨二值化图像中的桡骨轮廓。桡骨区域框选子模块用于根据轮廓提取子模块寻找出的桡骨轮廓计算出桡骨区域的最小外切矩形，并确定桡骨区域中对应桡骨远端的一侧；目标区域提取子模块用于计算最小外切矩形中距桡骨远端的1/3处的基准线，然后以基准线周围的固定长度和固定宽度的区域为目标区域。
[0108]
模板图像生成模块用于获取定位模块确定的十分类特征图像中目标区域的信息，
然后生成一个模板图像；模板图像中对应目标区域的部分的像素值置为0xffff，对应目标区域外的部分的像素值置为0。
[0109]
灰度值提取模块用于将预处理后的人体前臂的x射线图像的原始图像与模板图像进行逻辑位与操作；进而提取出原始图像中对应桡骨远端1/3处区域的图像灰度值。
[0110]
骨密度计算模块用于获得灰度值提取模块获取的图像灰度值，然后将提取出的灰度值与标准梯度模块x射线影像的灰度值进行线性拟合，进而计算出待检测对象的桡骨骨密度。
[0111]
实施例3
[0112]
本发明还包括一种基于深度学习的桡骨密度检测装置，该检测装置为一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如实施例1所述的基于深度学习的桡骨密度检测方法的步骤。
[0113]
该计算机设备可以是可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。
[0114]
本实施例中，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0115]
处理器在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，以实现前述实施例中的基于深度学习的桡骨密度检测方法的处理过程，从而根据给出的患者的前臂x射线图像，得出患者的骨密度值的分析结果。
[0116]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。