一种识别髋关节X线的骨质疏松人工智能诊断装置

本发明属于医学图像处理技术领域，特别是涉及一种识别髋关节x线的骨质疏松人工智能诊断装置。

背景技术：

骨折风险随年龄呈指数增加，50岁以后，几乎每2名女性或每5名男性中就有1名会遭受脆性骨折影响，其中骨质疏松是易发骨折的一个重要原因。

目前，骨质疏松的早期诊断主要依据双能x线吸收测定法(dualenergyx-rayabsorptiometry，dxa)及进行骨密度测量，主要检测部位包括髋部及腰椎前后位,可以说是评估骨质疏松症和骨折风险的重要标准。定量计算机断层扫描(qct)是一种比较先进的检测方法，它不仅可以测量皮质骨的骨密度，还可以测量松质骨的骨密度。大量研究表明，用qct测量bmd得到的结果与dxa高度一致，其优点是没有重叠效应，但患者接受的辐射剂量较大，检查费用相对较高，所以临床应用较少。骨密度通常用t-值(t-score)表示，t-值＝(实测值－同种族同性别正常青年人峰值骨密度)/同种族同性别正常青年人峰值骨密度的标准差。基于dxa测量的中轴骨(腰椎1-4、股骨颈或全髋)骨密度或桡骨远端1/3骨密度对骨质疏松症的诊断标准是t-值≤－2.5。对于绝经后女性、50岁及以上男性，建议参照who推荐的诊断标准，骨密度值低于同性别、同种族健康成人的骨峰值1个标准差及以内属正常；降低1～2.5个标准差为骨量低下(或低骨量)；降低等于和超过2.5个标准差为骨质疏松；骨密度降低程度符合骨质疏松诊断标准，同时伴有一处或多处脆性骨折为严重骨质疏松。对于儿童、绝经前女性和50岁以下男性，其骨密度水平的判断建议用同种族的z-值表示，z-值＝(骨密度测定值－同种族同性别同龄人骨密度均值)/同种族同性别同龄人骨密度标准差。将z-值≤－2.0视为“低于同年龄段预期范围”或低骨量。

临床常规影像学检查对评估骨小梁结构的价值有限，并且缺乏相关的定量参数，对骨量减少的诊断效果并不理想。随着理论的发展和信号处理技术的进步，计算机辅助诊断(cad)已逐渐应用于医学影像的研究。近年来，越来越多的人开始关注骨骼图像的纹理分析。有研究结果表明，纹理分析对骨病诊断具有实用的潜在价值。最近，以卷积神经网络为代表的深度学习模型在医学图像处理中取得了巨大的成功。回顾大量股骨颈纹理分析中的骨质疏松分类，发现卷积神经网络具有较好的分类效果，融合深层特征和底层特征后，分类效果也会有所提高。

髋部ward三角是在大、小转子和转子间嵴，也就是在压力曲线的支持束和转子束之间，存在骨小梁的薄弱区，骨密度相对最低，称为ward三角区，为股骨颈骨折好发区，在髋部x线正位片上亦可识别。尽管ward三角区松质骨含量高,对骨密度变化敏感性高，但由于其投射面积小,取样和重复性误差导致其精确度差,限制了它的临床应用。但ward三角区含有80％以上的松质骨，是钙储备区，亦有学者认为其对骨密度变化敏感性高，对骨折的风险性预测较好。

由于dxa是二维重叠图像，其缺点是不能区分松质骨和皮质骨，不能处理脊柱重叠组织引起的伪影，如主动脉钙化、腹腔钙化等，从而影响bmd测量结果的准确性。并且以髋部和腰椎骨密度降低来确诊骨质疏松症是有局限性的。因老年骨质疏松患者病程长，慢性炎症或损伤修复导致不同程度代偿性骨质增生，相应部位的骨密度下降不明显。仅以常规dxa检测和髋部、腰椎骨密度来诊断骨质疏松有很大的漏诊率。

同时现有诊疗体系中，患者在骨质检查时往往需要同时做x线和dxa检查，既增加了患者负担，同时过量影像数据也增加了医生的工作量，容易出现漏诊和误诊。

技术实现要素：

本发明提出一种识别髋关节x线的骨质疏松人工智能诊断装置，通过对髋关节x线图像中股骨颈区及其内部ward三角区进行标注，经由深度学习模型训练，实现在髋关节x线片上预测髋关节股骨颈区及其内部的ward三角区的形态、位置和二者的骨密度值，从而实现仅识别髋关节x线片即可初筛骨质疏松的目的，简单、有效的提升骨质疏松的诊断准确度，降低漏诊和误诊，提高临床骨质疏松的诊断效率，降低患者经济负担和医生工作量。

为实现上述目的，本发明提供了如下方案：

一种识别髋关节x线的骨质疏松人工智能诊断装置，包括：数据获取模块、模型构建模块、模型训练模块、图像检测模块；

所述数据获取模块，用于获取股骨颈区及其内部ward三角区标注的医学图像；

所述模型构建模块，用于构建图像分割神经网络模型和图像分类神经网络模型；所述图像分割神经网络模型用于获取所述医学图像的分割图像；所述分类神经网络模型用于对分割图像进行分类识别，得到骨质状况信息数值；

所述模型训练模块，用于对所述图像分割神经网络模型和所述图像分类神经网络模型进行训练；

所述图像检测模块，用于将待检测的未经股骨颈区及ward三角区标注的所述医学图像通过训练后的所述图像分割神经网络模型的处理，得到分割图像，利用训练后的所述图像分类神经网络模型对所述分割图像的分类识别，获取骨质状况信息数值。

优选的，所述医学图像为髋关节x线图像。

优选的，所述图像分割神经网络模型通过获取所述医学图像的标注图像,并通过对所述标注图像和所述医学图像的图像处理，得到所述分割图像。

优选的，所述图像分割神经网络模型采用图像分割神经网络对输入的所述医学图像的图像特征进行提取与映射,得到所述标注图像；所述图像分割神经网络包含但不限于u-net卷积神经网络；

所述图像特征包括股骨颈区及其内部的ward三角区标注图像。

优选的，所述图像分割神经网络包括相互连接的编码器和解码器；

所述编码器设置有卷积层，用于对所述医学图像的所述图像特征进行提取；

所述解码器设置有反卷积层，用于从所述图像特征中获取股骨颈区及其内部的ward三角区的所述标注图像；

优选的，所述图像分类神经网络模型采用图像分类神经网络对所述分割图像进行分类判别；所述图像分类神经网络包括但不限于densenet密集卷积神经网络，

优选的，所述densenet密集卷积神经网络包括若干个稠密块和若干个过渡层；

所述过渡层与所述稠密块相间连接。

优选的，所述densenet密集卷积神经网络还包括瓶颈层；

所述瓶颈层用于减少所述分割图像的输入数量；

所述瓶颈层设于所述图像分类神经网络模型的输入端口，所述瓶颈层的输出与所述densenet密集卷积神经网络中的首个所述稠密块连接。

优选的，所述densenet密集卷积神经网络还包括全局平均池化层和分类器；

所述全局平均池化层和所述分类器与所述densenet密集卷积神经网络中的最后一个所述稠密块连接。

本发明的有益效果为：

本发明公开了一种识别髋关节x线的骨质疏松人工智能诊断装置，基于已有的dxa检查数值结果，打造骨质疏松诊断装置，实现了在髋关节x线图像上通过识别股骨颈区及其内部ward三角区来进行智能的骨质疏松初筛及辅助诊断；通过不断优化装置的识别性能，简单、有效的提升骨质疏松的诊断准确度，降低漏诊和误诊，提高临床骨质疏松的诊断效率。更进一步的，患者只需要普通的髋关节x片检查就可以得到相关的骨质健康信息，减轻患者经济压力，也减轻医生的工作量，提升医院诊疗效率，也减少了二次检查和放射线暴露。

附图说明

为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的结构示意图；

图2为本发明实施例髋部ward三角示意图；

图3为本发明实施例中u-net卷积神经网络模型示意图；

图4为采用本实施例装置诊断骨质疏松的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，为本发明提供的一种识别髋关节x线的骨质疏松人工智能诊断装置结构示意图，包括：数据获取模块、模型构建模块、模型训练模块、图像检测模块；

数据模块用于获取髋关节x线影像中股骨颈区及其内部ward三角区标注的医学图像。

图2为髋部ward三角示意图，位于大、小转子和转子间嵴，松质骨含量高，对骨密度变化敏感性高，对骨折的风险性预测较好。

模型构建模块用于构建图像分割神经网络模型和图像分类神经网络模型；

其中，图像分割神经网络模型用于获取医学图像的分割图像，在本实施例中，采用u-net卷积神经网络对输入的髋关节x线图像的图像特征进行提取与映射,得到所述标注图像，再通过对该标注图像的图像处理，得到分割图像，作为后续图像分类神经网络模型的输入数据。在本实施例中，通过剪切和缩放方式获取分割图像。

在本实施例中，u-net卷积神经网络包括相互连接的编码器和解码器；其中，编码器设置有卷积层，用于对所述医学图像的图像特征进行提取；解码器设置有反卷积层，用于从所述图像特征中获取所述标注图像；

在本实施例中，为更好地获取图像细节信息，编码器和解码器的各层之间设有用于获取髋部标注图像信息的跨层连接。

u-net整个神经网络主要有两部分组成：收缩路径和扩展路径。收缩路径主要是用来捕捉图片中的上下文信息，而与之相对称的扩展路径则是为了对图片中所需要分割出来的部分进行精准定位。在本实施例中，图像分割神经网络模型采用u-net卷积神经网络，以实现对髋关节x线图像的特征提取与映射，其输入为髋关节x线图像，输出为髋关节x线图像对应的标注图像，可以很好地精确定位图像中的关注区域。

在本实施例中，如图3所示，u-net卷积神经网络的编码器利用九个卷积层从输入数据中提取图像特征。原始图像大小为i×512×512×1，其中i为训练数据的批量大小。前三个卷积层分别为64、128、256通道，卷积核大小为4×4，重叠步长为2。第四卷积层到第九卷积层共有512个通道，卷积核大小为4×4，重叠步长为2。卷积层的激活函数为leakyrelu，斜率为0.2。解码器的目的是从所获得的髋关节x线图像特征信息中获取股骨颈区及其内部ward三角区的标注图像。解码器由相应的八个反卷积层组成。前六个反卷积层有512个通道，卷积核大小为4×4，重叠步长为2。第七个反卷积层至最后的反卷积层分别为256、128、64通道，卷积核大小为4×4，重叠步长为2。在本实施例中，为了帮助解码器更好地获取标注图像的细节，引入跨层连接的操作方式连接相应的编码器和解码器层。卷积神经网络的输出图像大小与输入图像大小相同。

在本实施例中，所述分类神经网络模型采用densenet密集卷积神经网络，根据分割图像的骨质状况，实现分割图像的分类识别，得到骨质状况信息数值；

在本实施例中，所述densenet密集卷积神经网络包括若干个稠密块和若干个过渡层；稠密块与过渡层相间连接，即稠密块位于两个过渡层之间，因此稠密块数量比过渡层数量多一个。

在本实施例中，为了减少所述分割图像的输入数量，densenet密集卷积神经网络还设有瓶颈层，包含卷积层和平均池化层；瓶颈层位于图像分类神经网络模型的输入端口，其输出与首个稠密块连接。

在本实施例中，在所述densenet密集卷积神经网络的结构中，最后一个稠密块还连接有全局平均池化层和分类器。

在本实施例中采用上述瓶颈层-densenet密集卷积神经网络-全局平均池化层和分类器的结构，能够更加有效减少输入特征图数量，提高计算效率。

所述模型训练模块，利用样本数据对图像分割神经网络模型和图像分类神经网络模型进行训练和优化，提高诊断准确度。

所述图像检测模块，用于将待检测未经股骨颈区及ward三角区标注的所述医学图像通过训练后的图像分割神经网络模型的输入，获取待检测髋关节x线图像的标注图像，通过对待检测髋关节x线图像和标注图像进行剪切和缩放，得到分割图像，利用训练后的图像分类神经网络模型对得到的分割图像进行分类识别，获取图像对应的骨质状况信息，通过模型输出的数值进行骨质疏松程度评估。

图4为采用本实施例装置诊断骨质疏松的流程示意图，包括如下步骤：

s1.获取髋关节x线图像及骨密度dxa检查图像数据，人工标注髋关节x线图像中股骨颈区及其内部的ward三角区，利用对应骨密度dxa检查数值结果进行图像赋值；

s2.构建图像分割神经网络模型和图像分类神经网络模型，其中，图像分割神经网络模型用于通过训练学习以获取髋关节x线图像，髋关节x线图像通过剪切和缩放获取分割图像，该分割图像作为图像分类神经网络模型的输入数据；分类神经网络模型用于通过训练学习对输入的分割图像进行骨质状况分类识别，得到骨质状况信息数值；

s3.利用样本数据对图像分割神经网络模型和图像分类神经网络模型进行训练；

s4.将待检测髋关节x线图像作为训练后的图像分割神经网络模型的输入，获取待检测髋关节x线图像的标注图像，通过对待检测髋关节x线图像和标注图像进行剪切和缩放，得到分割图像；

s5.利用训练后的图像分类神经网络模型对得到的分割图像进行分类判别，获取图像对应的骨质状况信息。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。