基于健康人胸片的健康指标指数分类系统和方法
【专利摘要】本发明公开了一种系统和方法，在非诊断和诊断环境下，通过基于云计算的计算机辅助分析系统(CAA)从健康人的胸片中分类列出健康的程度。该系统的输入图像包括：诊断和非诊断用图像，以及个人计算机/智能手机或云端存储的图像数据。这些图像数据通过互联网传输到CAA所在的服务器。基于云计算的CAA首先会对这些图像数据进行肺部分割，产生各种影像组学特征，然后执行影像组学特征分类，最后产生分类结果。分类结果被用于检索相关的临床病例、健康状况，并与存储在数据库中的健康知识，形成一个新的数据集。该数据集发送到终端用户，并在查询系统或个人电脑/智能手机上显示。
【专利说明】
基于健康人胸片的健康指标指数分类系统和方法1.
技术领域
[0001]本发明涉及一种自动对影像进行数字图像处理的方法和系统，更具体地说，是一种运用影像组学、数字图像处理和人工智能技术对不同的健康指数进行自动分类的方法和系统。2.【背景技术】
[0002]随着空气污染的日益严重，人们非常关注他们的肺部健康程度，因为这会导致患肺癌和其它肺部疾病的可能性上升。人们渴望通过某种方式去阻止或减慢疾病发生的趋势。目前，胸部X线检查是体检例行检查项目，但大多数人的胸部X射线检查结果都显示正常。同时，随着互联网的发展，越来越多的人都获得了他们的数字胸部X射线影像并存储在他们的电脑、智能手机或云存储设备上。
[0003]通常，胸部X射线检查用于:(1)查找常见症状，如咳嗽、呼吸急促或胸痛的原因； (2)发现肺部疾病，如肺炎、肺癌、慢性阻塞性肺疾病(C0PD)、肺塌陷(气胸)和囊性纤维化， 监测这些疾病的治疗情况；(3)发现一些心脏问题，如心脏扩大、心脏衰竭、导致肺积液(肺水肿)的病因，以及监测这些疾病的治疗情况；(4)查找胸部损伤问题，如肋骨骨折或肺损伤；(5)发现异物影像，如在食道、气管或肺部中的硬币或其它小金属片。胸部X光可能无法看到食品、坚果或木纤维，但可以看见是否有试管、导管或其它医疗器械放置在气道、心脏、 胸部血管或胃部等部位。
[0004]大多数胸部疾病不是急性的。只有当症状从早期体征变化到明显或严重的症状时，症状才成为临床征兆和临床疾病。“正常”胸片中的早期症状可以用作健康指数的指标来确定健康人的健康程度。根据影像组学，胸片中的这些指标可以定量地表示为图像特征。
[0005]放射科医生分类健康X光胸片的经验包括以下几类(这可能是像正常的胸片的“B 读”):心胸比、年龄校正后肺容积、慢性阻塞性肺病(吸气)、主动脉粥样硬化血管病、顶端增厚；、骨质疏松、楔形缺损、与石棉接触导致的一种相关胸膜斑，一种罕见的癌症间皮瘤。
[0006]上述判断健康人群健康指数的推论可以同样地应用到其它的筛查图像，如乳房X 射线检查、低剂量CT筛查、宫颈涂片筛查图像等。3.
【发明内容】
[0007]本发明公开了一种系统和方法，在非诊断和诊断环境下，通过基于云计算的计算机辅助分析系统(CAA)从健康人的胸片中分类列出健康的程度。该系统的输入图像有:非诊断用图像，医疗图像采集系统获得的图像，以及个人计算机/智能手机或云端存储的图像数据。这些图像数据通过互联网传输到计算机辅助分析系统(CAA)所在的服务器。基于云计算的计算机辅助分析系统(CAA)首先会对这些图像数据进行肺部分割，肺分割方法由边缘检测的图像处理、阀值、以及其他的图像处理方法组成，包括基于图像的对比度判定肺部的内部边界;基于图像的对比度和对肺的人类感知判定左、和右肺的外部边界;判定脊椎和肺之间的边界，以及心脏和肺之间的肺门和隔膜的边界;划分肺成几个区，每个区将被进一步分成几个区域。最终输出结果生成左，右肺以及肺叶内部和外部边界。
[0008]其次产生各种影像组学特征，影像组学特征通过对左右肺、肺叶及肺部分区内外边界开展如下提取:(1)从肺边界处理进行影像组学特征提取；(2)从基于区域处理进行影像组学特征提取；(3)从聚焦斑点怀疑特征处理进行影像组学特征提取；(4)从基于对称处理进行影像组学特征提取；(5)从侧位图像处理进行影像组学特征提取。
[0009]然后执行影像组学特征分类，包括:从区域处理对影像组学特征分类;从聚焦斑点怀疑特征处理对影像组学特征分类;从对称处理对影像组学特征分类;从侧位图像处理对影像组学特征分类;并对所有的分类进行融合处理，最后产生分类结果。分类结果从CAA系统传输到服务器的数据库中，或通过互联网传输到个人计算机/智能手机。分类结果被用于检索相关的临床病例、健康状况和存储在数据库中的健康知识，并形成一个新的数据集。该数据集发送到终端用户，并在查询系统或个人电脑/智能手机上显示。4.【附图说明】
[0010]为了更彻底理解本发明及其优点，现结合附图描述如下:
[0011]图1.表示在医疗非诊断或诊断工作环境中，用户、网络云和计算机辅助分析(CAA) 系统之间的工作流程示意性框图；
[0012]图2.表示在医疗诊断和非诊断环境下，计算机辅助分析(CAA)系统与图像采集系统之间的工作流程图，包括个人计算机系统、智能手机、存储设备、媒体和数据库服务器；
[0013]图3.表示本发明的一个实施例，在图2非诊断或诊断的医疗环境中，对服务器群和数据库服务器的描述；
[0014]图4.表示一个系统，即根据本发明图3为获取健康指数而采取的服务器模式；[0〇15]图5.是本发明图4的一个实施例，处理单元示意图；
[0016]图6.是本发明的一个实施例，肺分割单元的示意图；
[0017]图7.是本发明的一个实施例，一个影像组学特征提取的示意图；
[0018]图8.是本发明的一个实施例，从肺部边界处理单元进行影像组学特征提取的示意图；
[0019]图9.是本发明的一个实施例，从基于区域处理单元进行影像组学特征提取的示意图；
[0020]图10.是本发明的一个实施例，所示从聚焦斑点怀疑特征，对称和侧位图像进行影像组学特征提取的示意图；
[0021]图11.是本发明的一个实施例，影像组学单元特征的分类示意图；
[0022]图12.是本发明的一个实施例，从肺边界处理单元进行影像组学特征分类的示意图；[〇〇23]图13.是本发明的一个实施例，从基于区域处理单元进行影像组学特征分类的示意图；
[0024]图14.是本发明的一个实施例，从聚焦斑点怀疑特征处理单元进行影像组学特征分类的示意图；[〇〇25]图15.是本发明的一个实施例，从基于对称处理单元进行影像组学特征分类的示意图；
[0026]图16.是本发明的一个实施例，从侧位图像处理单元进行影像组学特征分类的示意图；[〇〇27]图17.图示一个从本发明输出的案例；5.【具体实施方式】[〇〇28] 参照图1示意框图，在诊断或非诊断工作流程中，在用户(A-001)和互联网云(A-002)之间整合了计算机辅助分析(CAA)系统(001)。用户(A-001)将所有图像从图像采集系统，包括电脑、智能手机、存储设备传输到互联网云(A-002)。互联网云(A-002)发送的所有图像到计算机辅助分析(CAA)系统服务器。CAA系统进行健康指数分类，并将分类结果返回到云(A-002)。云(A-002)然后发送健康指数给用户(A-001)。
[0029]参照图2示意框图，在诊断或非诊断环境下，在诊断和非诊断医疗图像采集系统， 包括个人电脑系统、智能手机、存储设备、媒体，和存储/看图工作站之间整合了计算机辅助分析(CAA)系统。其中输入(005)包括网站、社交媒体、云存储、医院PACS系统，电脑，智能手机，等等。输出(〇〇6)可以是网络、社交媒体、云存储、计算机、智能手机、印刷媒体等。CAA (001)分别包括允许用户输入和接收的图像和结果的Web服务器(004)，计算健康指数的健康指数服务器(002)，和存储针对不同健康指数的相关参考知识信息的数据库服务器 (003)〇[〇〇3〇] Web服务器群位于云和CAA服务器群中，并连接到CAA数据库。用户可以通过智能手机，平板电脑，图像存储服务器，非诊断工作站和医院的PACS系统发送图像。Web服务器接收图像和应用CAA算法处理图像。然后将CAA结果发送到CAA数据库。WEB服务器将分类结果发送给用户。
[0031]如图3本发明一个实施例，描述在非诊断或诊断医疗环境中的服务器群。CAA(OOl) 服务器群包括允许用户输入和接收图像和结果的Web服务器(004)，计算健康指数的健康指数服务器(002)，和根据不同的健康指数存储相关的参考知识信息的数据库服务器(003)。 [〇〇32] 该WEB服务器包括网络端口(00401)，网络安全(00402)和帐户控制(00403)。门户网站(00401)作为用户和所有服务器之间的界面。安全服务器(00402)和访问控制服务器 (00403)通过合法用户来维护安全和访问权限。通过网络安全保护整个服务器群。此外，访问控制允许用户，管理员和供应商访问自己的域或帐户，以监测和得到报告。[〇〇33]健康指数服务器(002)包括:临时图像服务(00201)，历史图像服务(00204)，图像检测服务(00206)，图像处理服务(00208)，健康指数生成服务(00210)，图像接收服务 (00212)，社交媒体连接服务(00214)，输出指数与知识服务(00216)，大数据分析服务 (00202)，计费服务(00218)。图像的接收是通过接收服务(00212)，以维持对后续处理的正确图像顺序和记录。图像接收服务(00212)发送图像到图像处理服务(00208)进行简单的图像处理，它也可以包括一些在健康指数生成服务(00210)中的处理工作。图像检测服务 (00206)检测图像标题(例如，DIC0M的头文件)，以确定尺寸，位深度，身体的部位等是否合适，以及是否接受该图像。历史图像服务(00204)记录图像的历史并确定该图像先前确定的健康指数。它还控制处理的能力和移动部分图片到临时图像服务(00201)，暂时保存图像。 大数据分析服务(00202)分析所有的数据，如时间，地点，人名，历史等来确定总人口的某些特性。健康指数生成服务(00210)处理每个图像以确定健康指数。它的输出结果发送到数据库服务器(003)，以检索相应的知识和参考信息。健康指数服务(00216)发送指数和相应的知识和参考信息到Web服务器，并被发送到用户。计费服务(00218)统计图像和用户的数量， 并且分析结果是否已被处理。社交媒体服务(00214)用于通知用户他们结果的当前状态。信使服务器可以发送电子邮件，短信或其他社交网络方式，如微信，QQ等。[〇〇34]数据库服务器(003)包括:用户数据服务(00301)，为将来的匹配存储用户信息；图像数据库服务(00303)，存储原始图像、结果、被拒绝的案例和以前的数据;后续知识数据库 (00305)，其中包含维护广大市民的健康的知识。数据库服务器(003)还包括数据库更新 (00307)工具，允许用户、操作员等来更新知识和参考信息。[〇〇35]参照图4说明了在图3中实现健康指数生成服务器系统(00210)的一种方法；[〇〇36]健康指数生成服务(00210)接收图像输入单元(00210-15)中的图像，然后将图像发送到处理单元(00210-35)和存储单元(00210-25)。该处理单元(00210-35)也接收从先前存储在存储单元(00210-25)的图像。该处理单元产生的健康指数被发送到存储单元 (00210-25)和输出单元(00210-45)。输出单元(00210-45)还从存储器单元(00210-25)接收图像。[〇〇37]图5是图4中处理单元(00210-35)系统的框架示意图[〇〇38]该处理单元(00210-35)包括输入图像处理(00210-3501)、接收图像、预处理图像处理(00210-3505)来执行图像增强，降噪，并过滤;分割(00210-3510)划定肺区、其边界，以及子分区;影像组学(00210-3515)特征包括中提取多种临床特征，标记为影像组学特征;影像组学分类(00210-3520)将基于影像组学特征，将每个图像分成不同健康指数;分类结果 (00210-3525)的输出，表明该图像的健康等级。[〇〇39]图6是肺分割单元(00210-3510)的示意图；[〇〇4〇]肺分割单元(00210-3510)由进行边缘检测的图像处理(00210-3510-01)、阀值以及其他的图像处理方法组成;基于图像的对比度(00210-3510-5)判定肺部的内部边界;基于图像的对比度和对肺(00210-3510-10)的人类感知判定左、右肺的外部边界;判定脊椎和肺之间的边界，以及心脏和肺(00210-3510-15)之间的肺门和隔膜的边界；划分肺成几个区，每个区将被进一步分成几个区域(00210-3510-20);输出结果(00210-3510-25)生成左， 右肺以及肺叶(00210-105)内部和外部边界。
[0041]图7是影像组学特征提取单元(00210-3515)的示意图；
[0042]影像组学特征提取通过对左右肺、肺叶及肺部分区内外边界开展如下提取:(1)从肺边界处理进行影像组学特征提取(00210-3515-001); (2)从基于区域处理进行影像组学特征提取(00210-3515-003); (3)从聚焦斑点怀疑特征处理进行影像组学特征提取(00210-3515-05); (4)从基于对称性处理进行影像组学特征提取(00210-3515-007); (5)从侧位图像处理进行影像组学特征提取(00210-3515-009);[〇〇43]图8是从肺部边界处理单元(00210-3515-001)提取影像组学特征的示意图；[〇〇44]在接收到左右肺以及肺叶(00210-105)的内外部边界后，通过肺边界处理单元(00210-3515-001)提取影像组学的特征，包括:(1)肺侧边界处理(00210-3515-001-01)包括幅度、平滑度、宽度、肺部边界的侧面部分；(2)基于边界的影像组学(00210-3515-001-02)特征的计算，如边界的厚度、肺边界的完整性等；(3)顶部肺边界处理(00210-3515-001-03)，以获得轮廓和肺顶部的厚度；(4)通过肺尖特征(00210-3515-001-04)计算获得的形状，轮廓，厚度和完整性；(5)肺中间边界处理(00210-3515-001-05)，以获得轮廓和中间肺的厚度；(6)基于心脏特征(00210-3515-001-06)计算得到形状、轮廓、厚度、完整性、心胸比等；(7)肺底部边界处理(00210-3515-001-07); (8)基于隔膜特征(00210-3515-001-08)计算来获取轮廓、曲率、坡度、完整性和肺部底端的厚度；[〇〇45]图9是基于区域处理单元(00210-3515-003)提取影像组学特征的示意图；[〇〇46] 在收到左、右肺以及肺叶(00210-105)的内外部边界后，通过区域处理单元 (00210-3515-003)提取影像组学的特征，包括:(1)基于区域特性(00210-3515-003-01)如在特定区域或高或低对比度的计算；(2)在肺部不同的区域(00210-3515-003-02)，像素平均值、标准方差的计算；(3)每个感兴趣区域的平均密度与总体密度的比较，每个感兴趣区域均方差与整体的均方差(00210-3515-003-03)的比较计算。然后，生成基于区域的影像组学特征。[〇〇47]图10是从聚焦斑点怀疑特征，对称和侧位图像处理单元(00210-3515)提取影像组学特征的示意图；[0〇48]在收到左右肺以及肺叶(00210-105)的内外部边界后，通过聚焦斑点怀疑特征，对称和侧位图像(00210-3515)处理单元提取影像组学的特征包括(1)感兴趣区域(00210-3515-005-01)如结节、斑点等关注点处理(00210-3515-005)的计算；(2)基于对称处理 (00210-3515-007)，左/右肺叶之间的对称(00210-3515-007-01)性的计算。(3)侧位图像处理(00210-3515-009)，对特征(00210-3515-009-01)如尺寸、体积、隔膜相关参数的计算。
[0049]图11是影像组学特征单元分类的示意图；
[0050]接收到影像组学后，影像组学分类单元(00210-3520)执行从肺部边界处理单元 (00210-3520-001)，对影像组学特征分类，从区域处理(00210-3520-003)对影像组学特征分类，从聚焦斑点怀疑特征处理(00210-3520-005)对影像组学特征分类，从对称处理 (00210-3520-007)对影像组学特征分类，从侧位图像处理(00210-3520-009)对影像组学特征分类，并对所有的分类结果进行融合处理(00210-3520-008)。[〇〇51]图12是从肺部边界处理单元(00210-3520-001)进行影像组学特征分类的示意图； [〇〇52] 肺部边界处理单元(00210-3520-001 )对以下组件进行处理:基于心脏功能 (00210-3520-001-01)的阀值测定，基于边界影像组学特征(厚度，完整性等)(00210-3520-001-02)阀值测定，隔膜相关功能(00210-3520-001-03)的阀值测定。这些阀值被发送到基于边界影像组学特征的分类器(00210-3520-001-04)进行分类。[〇〇53]图13是从基于区域处理单元(00210-3520-003)进行影像组学特征分类的示意图； [〇〇54]基于区域处理单元(00210-3520-003)接收影像组学特征去处理在感兴趣区域密度与整体密度比较，以及感兴趣区域均方差与整体均方差(00210-3520-003-01)比较而产生的平均密度的测定阀值，和基于区域影像组学特征分类器(00210-3520-003-02)。
[0055]图14是从聚焦斑点怀疑特征处理单元(00210-3520-005)进行影像组学特征分类的不意图；[〇〇56]聚焦斑点怀疑特征处理单元(00210-3520-005)主要处理感兴趣区域(例如，结节，斑点等)(00210-3520-005-1)的阀值测定和聚焦斑点怀疑特征分类(00210-3520-005-2)。 [〇〇57]图15是从基于对称处理单元(00210-3520-007)进行影像组学特征分类的示意图；
[0058]对称处理单元(00210-3520-007)主要处理在左/右肺叶(00210-3520-007-1)之间的对称度的阀值测定和基于对称分类(00210-3520-007-2)。[〇〇59]图16是从侧位图像处理单元(00210-3520-009)进行影像组学特征分类的示意图； [〇〇6〇] 侧位图像处理单元(00210-3520-009)主要处理尺寸、体积、隔膜相关功能(00210-3520-009-1)的阀值测定和侧位图像分类(00210-3520-009-2)。
[0061]如图17本发明的一个输出例子。指数可以包括:(1)平隔膜-慢性阻塞性肺病，(2) 心胸比率-心脏扩大，(3)胸壁厚度，(4)肺的白度-胸腔积液，(5)肺的黑暗程度-灰度(慢性阻塞性肺病的迹象)，(6)结节(肺癌和其他疾病的迹象)，(7)斑点，(8)肺部顶点楔形，(9)肺体积(需要PA和LAT)，(10)支气管炎(支气管变薄)(慢性阻塞性肺病的迹象)，(11)年龄校正肺容积:慢性阻塞性肺病，(12)主动脉粥样硬化血管病，(13)心尖增厚，(14)骨质疏松，楔形的缺陷，和(15)石棉接触可以造成胸膜斑，一种罕见的皮瘤癌症。
【主权项】
1.一种在正常放射图像中分类健康指数的方法，该方法包括以下步骤:1.1图像预处理包括图像增强和标准化处理，以提高对比度；1.2图像分割去识别身体部位及其边界，也根据肺区的生理解剖结构和局部图像特征 将肺区划分成不同的区域；1.3通过影像组学(rad1mics)方式指出早期疾病症状有关的图像特征和特点；1.4基于影像组学方式确定健康指数和识别感兴趣区域的位置来进行影像组学特征分 类处理。2.如权利要求1所述，图像分割包括根据图像对比度确定内部边界，根据图像对比度和 人体轮廓确定外部边界，确定脊柱和肺之间的边界，在心脏和胸廓之间的肺部划分成几个 区域，并且每个区域被进一步划分成更小的区域。3.如权利要求1所述，影像组学特征提取包括从肺部边界处理中提取，从区域处理中提 取，从聚焦斑点怀疑特征处理中提取，从对称处理中提取，从侧位图像处理中提取。4.如权利要求3所述，其中从肺部边界处理提取影像组学特征包括从肺侧边界处理，基 于边界的影像组学特征(厚度，完整性等)计算;从肺顶部边界处理，肺尖特征的计算;从中 间肺部边界处理，根据心脏功能的计算；从肺下部边界处理，隔膜相关特征的计算中来提 取。5.如权利要求3所述，其中所述从基于区域处理提取的影像组学特征包括来自以区域 为基础的特征(例如，在特定区域或高或低对比度等)计算，在肺部平均和标准的像素值偏 差计算，在不同的区域，比较在每个感兴趣区域平均密度与总体密度，比较每个感兴趣区域 的均方差与整体的均方差。6.如权利要求3所述，其中从聚焦斑点怀疑特征处理提取影像组学特征，包括从感兴趣 区域(例如，结节，亮点等)的计算获得。7.如权利要求3所述，基于对称处理提取影像组学特征，包括左/右肺叶之间的对称度计算。8.如权利要求3所述，从侧位图像处理提取所述影像组学特征，包括尺寸，体积，隔膜相 关特征的计算。9.如权利要求1所述，影像组学分类处理包括来自肺边界处理影像组学分类、基于区域 处理的影像组学分类、聚焦斑点怀疑特征处理的影像组学分类、对称度处理的影像组学分 类、侧位图像处理的影像组学分类。10.如权利要求9所述，从肺边界处理的影像组学分类包括基于心脏特征的阀值测定， 基于边界影像组学(厚度，完整性等)的阀值测定，隔膜相关特征的阀值测定和肺部边界为 基础的影像组学分类器。
【文档编号】G06F19/00GK105956386SQ201610268961
【公开日】2016年9月21日
【申请日】2016年4月27日
【发明人】刘远明, 周浩, 权申文, 段淑婷
【申请人】深圳市智影医疗科技有限公司