基于图像处理技术的骨组织几何形态学参数自动测量装置及方法与流程

本发明涉及智能医学影像诊断技术领域，尤其涉及x线片自动目标分析与识别、骨组织参数测量装置与方法领域，具体涉及一种基于图像处理技术的骨组织几何形态学参数自动测量装置及方法。

背景技术：

肌肉骨骼疾病(musculoskeletaldisorders，msds)是一个重大的公共卫生问题，在英国该疾病影响到16％的成年人和30％65岁以上的人，英国每年关节炎的治疗总费用估计超过300亿英镑。相关评估表示美国每年因msds支出的费用约为130-540亿美元。我国虽然缺乏全国性的msds的相关人数和费用数据，msds也尚未列入法定职业病名单，但在不同行业中的流行病学研究已表明msds在我国职业人群中是一类常见疾患。许多肌肉骨骼疾病是慢性的，会引起严重的疼痛，限制日常活动、降低生活质量、降低生产力，后续治疗和医疗保健费用也很高。大部分msds的发生率会随着年龄的增长而升高，人口老龄化也会伴随msds患者的大量增加。骨骼疾病临床上最常用的方法是拍摄x线片进行诊断、术前规划和分析治疗，如骨关节炎诊断、关节置换规划、骨质疏松症诊断(裂缝检查、骨密度测量、骨龄测定)等，通常都需要根据x线片中的骨骼轮廓进行诊断。另外，在疾病进展检测、假体设计中也需要对x线片的骨组织进行精确的参数测量。目前不论是学术界还是产业界，都没有一种快速有效的方法能够很好的解决x线片骨组织的自动分割和参数测量问题，只能靠医生手工标注、测量，费时费力且测量数据不稳定。因此，在科研、诊疗、假体定制等工作中需要相关的图像数据分析工具来辅助医生更加高效、准确的完成骨组织的参数测量。进行骨组织几何形态学参数自动测量需要先进行骨组织分割，然后进行测量。分割方面，文章<fullyautomaticsegmentationoftheproximalfemurusingrandomforestregressionvoting>中对x线片骨组织进行分割，并表示该方法是分割效果最好，但是基于轮廓形状的方法受初始轮廓选定的影响巨大，需要有经验的医生进行初始形状定位，然后通过算法迭代直至收敛来得到较好的分割效果，时间开销过大，无法实现快速自动测量。

文章<u-net:convolutionalnetworksforbiomedicalimagesegmentation>、<learningdensevolumetricsegmentationfromsparseannotation>使用一种u型深度神经网络进行医学图像分割，但并未见x线片骨组织分割的相关研究。

由于骨骼非对称、多孔、结构复杂，测量其尺寸有很大难度，目前接触式测量主要依靠医生使用游标卡尺或其他辅助测量装置进行参数测量，非接触的测量主要通过医生在x线、ct、mri图像上手工标定测量，自动化程度不高。专利申请公布的“医用x线摄影测量尺(cn203677110u)”在x线摄像时能与被摄物贴附紧密，与被摄物同倍率放大，并直接在影像上标示被摄物尺寸的医用x线摄影测量尺，解决目前x线摄影测量不准确影响诊断和治疗的问题，主要用于x线摄影的量化测量，可建立一种图像坐标和世界坐标之间的关系。专利申请公布的“眼眶修复材料的制作方法和装置(cn201610329830.8)”提供一种眼眶修复材料的制作方法，其中包括对眼部骨骼医学图像数据进行图像处理，检测出待修复部位，提取待修复部位的组织结构数据，但方法中并未提及使用的是什么分割方法，骨骼数据如何提取。

如前所述，目前的x线片骨组织分割还未见有比较快速准确的方法，参数测量主要靠医生进行标注测量，还未实现自动化。

技术实现要素：

本发明的目的在于，针对骨组织的快速自动分割、测量问题，以骨组织前段为对象，利用目前先进的gpu等硬件设备和图像分析方法进行x光骨骼分割、测量，最终实现能够准确、快速完成骨组织参数自动测量的软件系统。

为实现上述目的，本发明采用的技术方案如下：一种基于图像处理技术的骨组织几何形态学参数自动测量装置，其特征在于：由x线片数据输入接口、测量工作站、输出单元、供电系统组成；x线片数据输入接口用于接收医用x光机拍摄的x线片图像；测量工作站包括图像处理单元和测量参数存储单元，图像处理单元用于对x线片进行分割和测量处理，测量参数存储单元用于对测量的参数结果和分割图像进行存储；输出单元包括网络接口和打印机接口，网络接口用于将测量工作站生成的分割图像结果和测量参数上传到pacs系统，打印机接口用于连接打印机进行报告输出打印；供电系统用于为输入、输出接口和测量工作站供电。

其中，该装置能够处理x光机产生的dicom格式图像，并输出骨组织参数测量结果，其中，所述测量工作站利用计算机实现，计算机基本配置至少为：cpu：intele52683*2@2.0ghz，内存256gddr4，硬盘：1tbssd，显卡：gtx1080ti*2+p6000*2，用于进行分割模型训练；所述测量工作站可以是医院原有pacs系统(即影像归档和通信系统)中的计算机，可以进行dicom文件选择、骨组织选择、分割和测量选择等操作；分割结果和测量参数会显示在计算机的显示器上；所述输出单元包括网络接口，网络接口用于和整个pacs系统相连，可以进行图像分割和测量结果进行传输，打印机接口用于和打印机相连并进行测量结果报告打印。

本发明还提供一种基于图像处理技术的骨组织几何形态学参数自动测量方法，该方法利用上述的基于图像处理技术的骨组织几何形态学参数自动测量装置，该方法包括训练和分割测量两部分，具体有以下步骤：

步骤1：训练部分：

步骤1-1：骨组织x线片数据清洗；数据清洗主要包括以下三步：第一，用图像处理的方法将原始图像分类，第二，针对不同类别的数据进行校正，第三，人工判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理；

步骤1-2：样本标记：由放射科医生进行样本标记，提取骨组织区域和边缘；

步骤1-3：医学图像的小样本数据增强：首先，通过对骨组织x线片的分析确定其不变且鲁棒的特征属性，并利用这些属性指导数据增强；其次，使用基于目标轮廓形状弹性形变数据增强方法通过图像压缩、仿射变换、弹性形变进行数据增强，增加样本；

步骤1-4：x线片骨组织自动分割模型训练：利用u型网络进行分割通过下采样——上采样的策略最终得到和原图大小一致的分割结果；

步骤2：分割测量：已训练好分割模型，在分割中将dicom图像输入，即可得到骨组织的分割结果；

步骤2-1：参数确定：确定要测量的骨组织几何形态学参数，根据医学上的规定确定参数的定义和数学表达；

步骤2-2：基于步骤2分割出的骨组织区域用计算机图形学的方法进行各个参数的拟合与计算；

步骤2-3：分别用计算机方法和人工方法对一定数量的骨组织参数进行测量，并对结果进行比对分析，验证结果的准确性；

步骤2-4：基于步骤2-1至步骤2-3得到以dicom数据为输入的骨组织x线片自动测量分析系统；

步骤2-5：实现数据接口、数据存储和分析报告输出。

其中，将目前的完全依靠医生手工在pacs系统上用电子游标进行x线骨组织图像测量的方法改进为依靠计算机图像分析进行骨组织参数自动测量的方法，能够节省医生时间、提高测量效率和测量数据的稳定性。

本发明的原理在于：基于图像处理技术的骨组织几何形态学参数自动测量装置，包括医用x光机接口、电源、高性能计算机、测量工作站(含显示器)、输出接口(包括网络接口和打印机接口)，该装置能够处理x光机产生的dicom格式图像，并输出骨组织参数测量结果，其中，

所述高性能计算机基本配置至少为：cpu：intele52683*2@2.0ghz，内存256gddr4，硬盘：1tbssd，显卡：gtx1080ti*2+p6000*2，用于进行基于深度神经网络的分割模型训练；

所述测量工作站可以是医院原有pacs系统(影像归档和通信系统)中的计算机，可以进行dicom文件选择、骨组织选择、分割和测量选择等操作；分割结果和测量参数会显示在计算机的显示器上；

所述输出接口主要包括网络接口和打印机接口，网络接口用于和整个pacs系统相连，可以进行图像分割和测量结果进行传输，打印机接口用于和打印机相连并进行测量结果报告打印；

本发明还提供一种基于图像处理技术的骨组织几何形态学参数自动测量方法，该方法利用上述的骨组织参数测量装置，该方法包括训练和分割测量两部分，具体有以下步骤：

步骤1：分割神经网络训练部分。

步骤1-1：骨组织x线片数据清洗。医院影像科拍摄的原始数据比较杂乱，如图3中301所示(此处提供三种示例)，原始图像数据中混杂有含假体的x线片、90度旋转后的x线片、包含其他组织的x线片、灰度范围差异较大的x线片以及高噪声x线片等。数据清洗主要包括以下三步：第一，用图像处理的方法将原始图像分类，如通过骨组织x线片中的关键点检测判断图像是否旋转，计算图像的灰度分布判断灰度范围是否正常、是否有假体，根据初步分割目标的几何形状判断是否是大范围、含有其他组织的x线片等；第二，针对不同类别的数据进行校正，如进行图像旋转、含假体图像的剪切(只保留不含假体的骨组织图像区域)、其他组织区域的剪裁等；第三，人工判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理。

步骤1-2：样本标记。由放射科医生进行样本标记，提取骨组织区域和边缘，样本中只含有选定骨组织的区域或边缘部分。

步骤1-3：医学图像的小样本数据增强。为了解决样本数量的问题，对医学图像的小样本数据进行增强。首先，通过对骨组织x线片的分析确定其不变且鲁棒的特征属性(如旋转不变、变形鲁棒性等)并利用这些属性指导数据增强；其次，数据增强，一方面使用传统的数据增强方法，如旋转、灰度变换、加噪等策略增加标注样本，另一方面提出基于目标轮廓形状弹性形变数据增强方法，每个人的骨组织结构大体相同，但长短、宽窄、大转子小转子的相对位置等会有差异，据此通过图像压缩、仿射变换、弹性形变等方法进行数据增强，增加样本。

步骤1-4：x线片骨组织自动分割模型训练。利用u型网络进行分割，如图3中302所示，网络的左半边为通过池化提取特征的收缩部分，右半边是基于左边的特征进行上采样以实现像素定位的扩张部分，通过下采样——上采样的策略最终得到和原图大小一致的分割结果。另外，借鉴深度对抗网络的思想，除区域样本外，还将使用预先提取的边缘样本进行分割(结果为骨骼边缘)，初期分割的边缘样本可以反馈给数据增强模块进行基于边缘形变的数据增强。

步骤2：分割测量。已训练好分割模型，在分割中将dicom图像输入，即可得到骨组织的分割结果。x线骨组织的几何形态学参数数学拟合测量主要分为三部分：参数确定、参数计算、计算结果验证。

步骤2-1：参数确定。首先确定要测量的骨组织几何形态学参数，根据医学上的规定确定参数的定义和数学表达。

步骤2-2：基于分割出的骨组织区域用计算机图形学的方法进行各个参数的拟合与计算。

步骤2-3：用计算机方法和人工方法对一定数量的骨组织参数进行测量，并对结果进行比对分析，验证结果的准确性。

步骤2-4：将上述算法集成为骨组织x线片自动分割、测量、分析系统。基于上述数据预处理、自动分割和测量算法，设计以dicom数据为输入的骨组织x线片自动测量分析系统，实现数据接口、数据存储和分析报告输出。

进一步的，将目前完全依靠医生手工在pacs系统上用电子游标进行x线骨组织图像测量的方法改进为依靠计算机图像分析进行骨组织参数自动测量的方法，能够节省医生时间、提高测量效率和测量数据的稳定性。

进一步的，后期可以进行系统升级。通过进行模型选择和训练，利用整个系统框架，可以进行其他组织或器官的分割和测量。

本发明的具体方案还在于：

基于图像处理技术的骨组织几何形态学参数自动测量装置及方法，包括包括医用x光机接口、电源、高性能计算机、测量工作站(含显示器)、输出接口(包括网络接口和打印机接口)五部分。高性能计算机用于进行前期基于深度神经网络的分割模型训练。日常使用时，医用x光机生成的骨组织图像通过x光机接口输入到测量工作站中，该工作站通常和医院的pacs系统相连。在工作站上进行x线图像的分割和测量，分割结果和测量结果可以以文本报告形式和图文结合形式进行输出，可以在pacs系统中传输，也可以通过打印机接口进行打印。

所述高性能计算机主要用于进行数据增强和分割模型训练，因为本发明的数据训练使用深度神经网络模型，要处理的模型参数和输入数据量较大，因此处cpu外还使用gpu进行并行计算，加快训练速度以尽快得到训练模型；

所述测量工作站连接医院原有pacs系统(影像归档和通信系统)，用于进行dicom文件选择、骨骼部位选择、测量参数选择、分割和测量操作选择；分割结果和测量参数会实时显示在计算机的显示器上，也可以选择在pacs系统中传输或进行打印；

所述输入接口指和x光机相连，用于将x光机产生的x线片读入到高性能计算机或测量工作站中的接口；

所述输出接口主要包括网络接口和打印机接口，网络接口将测量工作站和整个pacs系统相连，将x线片的分割和测量结果在pacs系统中传输；打印机接口用于和打印机相连并进行分割测量结果报告打印。

本发明基于上述装置的骨组织参数测量方法，系统进行以下步骤：

骨组织x线片通过输入接口输入到测量工作站中，对x线片预处理，通过剪切、灰度均衡、插值与压缩等图像处理方法对原始x线片尺寸、灰度分布、骨组织在图像中的相对位置和大小等进行归一化处理，剔除背景中无关的其他组织；

预处理后的图像输入到已训练好的u型深度神经网络进行像素分类和定位以实现分割，分割完毕的骨组织将作为测量模块的输入；

由使用者通过鼠标在工作站屏幕上确定需要测量的x线骨组织几何形态学参数，工作站的图像测量模块会根据数字图像处理方法和计算机图形学原理计算骨组织几何形态学参数；

使用者可以选择将测量参数上传到pacs系统或将测量报告打印输出。

本发明与现有技术相比的优点在于：

x线片的骨骼检查是诊断骨骼肌肉类疾病、假体设计中最常用的方法之一，在医生科研和临床工作中常需要测量x线片骨组织参数，目前国内外市场上还未见针对骨组织参数自动测量的医学影像分析软件，在医生的科研、临床诊断、假体定制中主要使用影像归档和通信系统(pacs)进行x线片的手工标注测量。这种方式时间、人力成本非常高，且测量结果不够稳定。而本发明为医生提供了一种更加快捷、易用、准确的分析测量工具，节约了医生的人力和时间，能够更好的促进医生科研和临床工作的开展；对患者而言，不用长途跋涉到外地看病，可以留在基层，节约看病成本和医疗资源；医疗机构也节省了人力成本，也可一定程度上避免因误诊造成的医疗纠纷，获得更多经营成果。

由于本发明的功能模块独立设计，利于后期设备升级改造，通过用不同的组织和器官图像进行模型训练，可以将本系统由目前的骨骼参数测量升级为其他的组织分割和参数测量系统，提高了装置的可扩展性和实用性。在信号处理部分，使用智能图像信息分析方法进行骨骼参数测量，促进医疗设备的智能化，推进智能诊断技术的发展。

附图说明

图1是基于图像处理技术的骨组织几何形态学参数自动测量装置系统结构图；

图2是设备的安装布局及连接方式示意图；

图3是基于图像处理技术的骨组织几何形态学参数自动测量方法的整体流程框图。

具体实施方式

下面结合附图对本发明作进一步的说明。

参见图1本装置的具体结构如下：

基于图像处理技术的骨组织几何形态学参数自动测量装置，由x线片数据输入接口101、测量工作站102、输出单元103、供电系统104组成；x线片数据输入接口101用于接收医用x光机拍摄的x线片图像；测量工作站102包括图像处理单元和测量参数存储单元，图像处理单元用于对x线片进行分割和测量处理，测量参数存储单元用于对测量的参数结果和分割图像进行存储；输出单元103包括网络接口和打印机接口，网络接口用于将测量工作站生成的分割图像结果和测量参数上传到pacs系统，打印机接口用于连接打印机进行报告输出打印。供电系统104用于为输入、输出接口和测量工作站供电。

图2是设备的安装(连接)方式示意图。201是医用x光机，202是电源，203为测量工作站，204是打印机，205为pacs系统。电源202给医用x光机201、测量工作站203和打印机204供电。医用x光机201拍摄的x线片通过输入接口101输入到测量工作站102，测量工作站102处理完毕的图像和测量参数报告通过网络接口传输到pacs系统或发送到打印机进行打印。

图3是利用本装置进行分割测量工作的整体算法流程图。(1)骨组织x线片数据清洗、样本标记。从医院影像科拿到的数据比较杂乱，如图3中301所示(此处提供三种示例)，原始图像数据中混杂有含假体的x线片、90度旋转后的x线片、包含其他组织的x线片、灰度范围差异较大的x线片以及高噪声x线片等。数据清洗主要有三步：第一，用图像处理的方法将原始图像分类，如通过骨组织正向x线片中的关键点检测判断图像是否旋转，计算图像的灰度分布判断灰度范围是否正常、是否有假体，根据初步分割目标的几何形状判断是否是大范围、含有其他组织的x线片等；第二，针对不同类别的数据进行校正，如进行图像旋转、含假体图像的剪切(只保留不含假体的骨组织图像区域)、其他组织区域的剪裁等；第三，人工判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理。由放射科医生进行样本标记，提取骨组织前段组织区域和边缘。(2)医学图像的小样本数据增强。获取大量的已标注的样本对很多医学图像处理方面的研究来说都是一个难题，为了解决样本数量的问题，对医学图像的小样本数据进行增强。首先，通过对骨组织x线片的分析确定其不变且鲁棒的特征属性(如旋转不变、变形鲁棒性等)并利用这些属性指导数据增强；其次，数据增强，一方面使用传统的数据增强方法，如旋转、灰度变换、加噪等策略增加标注样本，另一方面提出基于目标轮廓形状弹性形变数据增强方法，每个人的骨组织结构大体相同，但长短、宽窄、相对位置等会有差异，据此通过图像压缩、仿射变换、弹性形变等方法进行数据增强，增加样本。(3)x线片骨组织自动分割。利用u型网络进行分割，如图3中302所示，网络的左半边为通过池化提取特征的收缩部分，右半边是基于左边的特征进行上采样以实现像素定位的扩张部分，通过下采样——上采样的策略最终得到和原图大小一致的分割结果。另外，借鉴深度对抗网络的思想，使用预先提取的边缘样本进行分割(结果为骨组织边缘)，初期分割的边缘样本可以反馈给数据增强模块进行基于边缘形变的数据增强。(4)x线骨组织的几何形态学参数数学拟合测量。骨组织的参数测量主要分为三部分：参数确定、参数计算、计算结果验证。首先确定要测量的骨组织几何形态学参数，如图3中303示例(a为股骨偏距，b为股骨直径，c为有效股骨颈长，d为小转子顶点上方20mm处髓腔宽度)，根据医学上的规定确定参数的定义和数学表达。其次，基于(3)分割出的骨组织区域用计算机图形学的方法进行各个参数的拟合与计算。最后，用计算机方法和人工方法对一定数量的骨组织参数进行测量，并对结果进行比对分析，验证结果的准确性。(5)骨组织x线片自动分割、测量、分析系统。基于上述数据预处理、自动分割和测量算法，设计以dicom数据为输入的骨组织x线片自动测量分析系统，实现数据接口、数据存储和分析报告输出，并对系统进行测试和优化。

系统中图像的具体处理过程如下：

x射线图像：图像通过输入接口进入测量工作站的处理器中，通过相应的算法进行骨组织分割，然后再根据用户的选择的参数进行测量计算，在液晶显示器中显示分割结果和相关参数，图像及参数一方面通过可以根据用户选择通过网络接口上传到pacs系统，也可以通过打印机接口进行报告打印。

实际应用举例如下：

本发明适用于需要进行x线片股组织参数测量的场所，如医疗机构、医学影像中心、医学研究中心等场所。

1.硬件安装与系统建立：按照图2所示将电源和x光机、测量工作站、打印机相连，通过输入接口连接医用x光机和测量工作站，利用打印机接口连接测量工作站和打印机，利用网络接口将测量工作站和pacs系统用网线相连。

2.装置初始化：系统启动后，对所有部件进行的初始化，检查各接口的连接状态，若出现连接故障，在测量工作站203的液晶显示器上显示故障信息；如果自检正常，监控系统开始工作。

3.装置工作过程：首先由使用者在工作站203的屏幕上选择要进行测量的x线片，图像会显示在屏幕左边区域，屏幕右边会出现需要测量参数的列表，可以进行多项选择，选择完毕之后可以选择“测量”按钮进行参数测量；工作站会调用相关处理算法进行图像的分割与测量，测量结果会显示在屏幕上，会以图像标注形式和文档报告两种形式显示；用户可以根据需要进行选择打印测量报告或将报告上传到pacs系统中。

4.骨组织参数测量算法：(1)训练阶段：数据清洗、样本标记，用图像处理的方法将原始图像分类，如通过x线片中的关键点检测判断图像是否旋转，计算图像的灰度分布判断灰度范围是否正常、是否有假体，根据初步分割目标的几何形状判断是否是大范围、含有其他组织的x线片等；针对不同类别的数据进行校正，如进行图像旋转、含假体图像的剪切(只保留不含假体的骨组织图像区域)、其他组织区域的剪裁等；人工判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理。由放射科医生进行样本标记，提取组织区域和边缘。为了解决样本数量的问题，对医学图像的小样本数据进行增强。首先，通过对x线片的分析确定其不变且鲁棒的特征属性(如旋转不变、变形鲁棒性等)并利用这些属性指导数据增强；其次，数据增强，一方面使用传统的数据增强方法，如旋转、灰度变换、加噪等策略增加标注样本，通过图像压缩、仿射变换、弹性形变等方法进行数据增强，增加样本。建立分割网络模型，利用u型网络进行分割，如图3中302所示，网络的左半边为通过池化提取特征的收缩部分，右半边是基于左边的特征进行上采样以实现像素定位的扩张部分，通过下采样——上采样的策略最终得到和原图大小一致的分割结果。另外，借鉴深度对抗网络的思想，将使用预先提取的边缘样本进行分割(结果为骨组织边缘)，初期分割的边缘样本可以反馈给数据增强模块进行基于边缘形变的数据增强。(2)实时处理测量阶段：测量工作站从x光机获取组织x线片。由用户确定要测量的骨组织几何形态学参数，根据医学上的规定确定参数的定义和数学表达，基于分割出的骨组织区域用计算机图形学的方法进行各个参数的拟合与计算。