专利名称：用于增强宫颈成像中的血管图案的方法
技术领域：
本发明通常涉及医学成像和图像增强。本发明更具体地涉及子宫颈癌和癌前期病 变的计算机辅助检测和/或诊断。
背景技术：
尽管本发明是有关宫颈癌被公开的，但是其可应用于许多其他医学领域。目视检 查是医学领域中用于检测和/或诊断疾病的常规实践。例如，为了识别和排序病变的严重 性，阴道镜检查包括下生殖道(宫颈、阴户和阴道)的系统性目视评估，以使得如果必要的话 可以进行代表最高级别异常的活组织检查。有时，在医学成像中采用可视化增强技术以改进对诊断上有意义的组织结构的 识别。在阴道镜中，不同的彩色滤光片(filter)被用来加重通过使用常规的白光而不能 容易看见的血管图案。通常使用绿色滤光片并且其阻止除绿光之外的所有光且考虑到 了增加的宫颈血管图案可视化。在阴道镜检查期间可以区分三种不同的异常血管图案 马赛克(mosaic)、斑点(pimctation)和非典型(atypical)；所有的这些都是宫颈的癌前 期区的识别中的主要诊断特征(Reid，R.，Herschman, B. R.，Crum, C. P.，Fu, Y. S.， Braun, L. , Shah, K. V.等人的 Genital warts and cervical cancer. V. The tissue basis of colposcopic change, Am. J. Obstet. Gynecol. 149(3): 293-303. 1984, 通过弓I用而合并于此；Reid, R.禾口 Scalzi, P. , Genital warts and cervical cancer. VII. An improved colposcopic index for differentiating benign papillomaviral infections from high-grade cervical intraepithelial neoplasia, Am. J. Obstet. Gynecol. 153(6) : 611-618. 1985，通过引用而合并于此；D. G. Ferris, J. Τ. Cox, D. Μ. 0' Connor, V. C. Wright禾口 J. Foerster, Modem Colposcopy. Textbook and Atlas, pp. 1-699, American Society for Colposcopy and Cervical Pathology, 2004,通过 引用而合并于此)。绿色滤光片视觉增强的实施方式通常通过对标准白光进行过滤来完成，所述过滤 是通过将绿颜色的光学滤光片放在光源的输出端，即用绿光照射宫颈；或者通过将绿颜 色的滤光片放在宫颈和阴道镜检测光学元件之间，即在由操作者目视地或者用成像传感器 电子地检测之前过滤反射的白光。这些方法有许多缺陷首先，彩色滤光片的使用减少了可 用光的量并且可能导致图像质量的下降。其次，彩色滤光片添加了成本和机械复杂性，因为 滤光片组件必须被合并，这考虑到在阴道镜检查期间的标准白光和绿色过滤的光二者。第 三，彩色滤光片受限于滤光片的颜色。在其中使用光敏成像传感器电子地捕获宫颈的图像或视频并将其显示在外部监 视器上的数字阴道镜中，可以采用其他可视化增强技术。本发明以数学形态学运算的形式 应用图像算法以便增强宫颈血管图案和周围组织之间的对比度，并且照此提供用于增加的 血管结构可视化的非物理实施方式，这类似于使用光学绿色滤光片的效果。数学形态学是一种用于分析和处理几何结构的技术并且已用于(如与本发明有关的)根据血管造影片对血管的自动化分析(K. Sun和N. Sang, Enhancement of vascular angiogram by multiscale morphology, in Bi ο in forma tics and Biomedical Engineering, 1311-1313 (2007)，通过引用而合并于此)，根据乳房X线照 片的微 丐化分析(Wirth, M. , Fraschini, M.禾口 Lyon, J. , Contrast enhancement of microcalcifications in mammograms using morphological enhancement and non-flat structuring elements, Proc. 17th IEEE Symposium on Computer-Based Medical Systems, (2008)，通过引用而合并于此)和脑磁共振成像(J. D. Mendiola-Santibanez, I. R. Terol-Villalobos, G. Herrera-Ruiz 禾口 k. Fernandez-Bouzas, Morphological contrast measure and contrast enhancement: One application to the segmentation of brain MRI, Signal Processing 87，(2008)，通过引用而合并于此)。通过将可视化增强实施为应用于宫颈图像的算法，与光学绿色滤光片方法相比提 供了若干个优点。首先，该算法方法不会减少光量并且将维持所捕获的图像或视频的图像 质量。其次，不会添加增加的成本或机械复杂性。第三，该算法实施方式可以通过改变一个 或若干个算法参数来提供类似于不同过滤特性(诸如颜色)的可变可视化增强的能力。第 四，该算法方法可以应用于标准白光图像，从而提供对人眼更愉悦的图像显示。第五，图像 预处理步骤可以被执行以进一步改进可视化增强。一个这样的步骤会是将图像分割成不同 的区并且仅对这些区中的某些(例如，仅那些具有发现癌前期或癌病变的高可能性的区)应 用可视化增强。将如本发明中描述的视觉增强算法应用到子宫颈图像可以给内科医生提供有时 用肉眼很难检测的血管图案的增加的可视化。这种算法可以辅助内科医生识别诊断上重要 的结构并在诊断过程中提供重要的信息。尽管本发明中描述的许多算法在本领域中是公知的，但是发明人并不知道另一种 结合识别具有疾病的高可能性的区的预处理步骤、识别高强度区和低强度区的数学形态学 步骤以及应用可变可视化增强的调谐参数(所有都将稍后描述)的对比度增强方法，其达到 意想不到的更好结果。可以认为以下专利和专利申请与本发明的领域相关
通过引用而合并于此的Krauter等人的美国专利号6，147，705公开了包括具有存储于 存储器中的颜色平衡等级的算法的系统微型计算机的视频阴道镜。视频摄像机获得主体对 象的主体电子图像，并且使用算法驱动的数字信号处理电路(DSP)，根据以前存储的DSP参 考滤光片算法和参考颜色平衡等级来修改主体电子图像的颜色饱和度、色调和强度等级， 因而产生对应于主体电子图像的修改的电子图像。随着对应的主体图像由视频摄像机获 得，该修改的电子图像连续实时地输出到显示器。该修改的电子图像仿真通过光学绿色滤 光片获得的图像并且合并模拟的白平衡。通过引用而合并于此的Blair的美国专利号6，277，067公开了一种借助于能够产 生宫颈的数字图像的手持式阴道镜组件来目视检查宫颈上皮并对其分级的方法和便携式 装置。本发明实现整个宫颈的实时成像和存档以便检测癌组织或癌前期组织，并且依靠计 算机化的图像处理来建议借助于低成本、便携式、手持式数字阴道镜对宫颈上皮进行客观 诊断。通过引用而合并于此的Flock等人的美国专利号6，032，070公开了一种以与其周围组织的高对比度查看诸如血管之类的解剖结构的系统和方法。该系统和方法被用来使用 从目标组织奇异散射的反射电磁辐射来产生解剖结构的图像。该系统和方法还提供在方便 的整体成像设备中的反射电磁辐射的同侧照射和检测。该系统和方法还提供在单个整体头 盔中的头盔式(helmet mounted)成像技术，其允许佩戴者查看位于病人内的解剖结构以便 根据头盔佩戴者的头的定向来连续地定向图像。该系统和方法还用于执行静脉穿刺。该系 统和方法提供任何解剖结构及其周围组织之间的改进对比度以用在任何成像系统中。通过引用而合并于此的Arimura等人的美国专利号7，305，111公开了一种用于 检测主体的医学图像中的至少一个小瘤(nodule)的方法、系统和计算机程序产品，包括 在医学图像中识别与感兴趣的器官的至少一部分对应的解剖区；过滤医学图像以获得差别 图像；在差别图像中检测解剖区内的第一多个小瘤候选，基于医学图像和差别图像中的至 少一个的像素值来计算来自第一多个的第一多个小瘤候选的相应小瘤特征值；基于相应小 瘤特征值从第一多个小瘤候选中移除假阳性小瘤候选以获得第二多个小瘤候选；以及通过 基于像素值和相应小瘤特征值中的至少一个而将第二多个小瘤候选中的每个分类为小瘤 或非小瘤，来确定至少一个小瘤。使用线性判别分析和/或多个大规模训练人工神经网络 (MultiMTANN)来识别真阳性小瘤。通过引用而合并于此的Susuki等人的美国专利申请号2005/0100208公开了一种 用于修改例如胸部X光片中的肋骨抑制的医学图像中的解剖结构的外观的方法、系统和计 算机程序产品。该方法包括使用第一成像模态(modality)来获取包括解剖结构的第一医 学图像；将第一医学图像应用于训练的图像处理设备以获得与在其中修改解剖结构的外观 的第一医学图像对应的第二医学图像；以及输出第二医学图像。此外，使用从与第一成像模 态不同的第二成像模态获得的多个教师图像来训练图像处理设备。在一个实施例中，该方 法还包括处理第一医学图像以获得多个处理图像，其中多个处理图像中的每个具有对应 的图像分辨率；将多个处理图像应用到相应的多个训练人工神经网络(MTANN)以获得多个 输出图像，其中训练每个MTANN从而以对应的图像分辨率之一检测解剖结构；以及结合该 多个输出图像以获得在其中增强解剖结构的外观的第二医学图像。通过引用而合并于此的Chen等人的美国专利申请号2006/0018548公开了一种用 于分析医学图像的方法、系统和计算机软件产品，包括获得代表异常的多个医学图像的图 像数据，每个医学图像对应于在相对于对比剂(contrast medium)的管理时间的不同时间 上获取的异常的图像，每个医学图像包括预定数目的体素(voxel);基于所获得的图像数据 将每个医学图像划分成至少两组，其中每组对应于预定数目的体素的子集，并且每组与多 个医学图像中的时间图像图案相关联；从时间图案当中选择增强的时间图案作为异常的代 表；以及基于所选择的时间图案来确定异常的医学状态。通过引用而合并于此的^iang等人的美国专利申请号2006/0147101公开了一种 用于微钙化簇的计算机辅助检测的方法，该方法获得单个查看图像的数字乳房X线照片数 据并且将图像数据归一化并过滤以减少噪声。第一掩模被生成并且应用于用于定义胸部结 构的图像数据，从而形成第一裁剪图像。第二掩模被生成并且应用于用来定义肌肉结构的 图像数据，从而形成第二裁剪图像。对应于血管钙化和已知成像伪影的伪影掩模被生成并 应用于第一和第二裁剪图像，从而定义第一和第二伪影遮蔽的裁剪图像。在重复的序列中， 使用增强算法和减少边缘效应来处理每个伪影遮蔽的裁剪图像的部分以获得一组微钙化簇候选和疑似微钙化簇。图像处理算法从微钙化簇的列表中移除假阳性并且为候选微钙化 簇分类以识别真阳性。通过引用而合并于此的YarnyW!等人的美国专利申请号2006/0184002公开了一 种结合来自外体积和流入血液的信号抑制的、降低的视野(FOV)成像技术。使用包括由合 适的延迟分离的两个双反转脉冲对的SFQIR (小视野四反转恢复)准备脉冲序列来实现外 体积和血液抑制二者。在每对内，反转脉冲相继应用于成像的切片和与成像平面正交的厚 片(slab)，其中厚度等于在相位编码方向上的FOV大小。每个双反转导致FOV的中央部分 中的磁化的重新反转，而FOV的外区域和流入血液保持反转。SF(HR模块被实施用于具有快 速自旋回声读出序列的单个切片和多个切片获取。对应于最大抑制效率的序列的定时参数 可以通过在发生在组织中的T. sub. 1的整个范围上使归一化信号的变化最小化而找到。通过引用而合并于此的Agam等人的美国专利申请号2007/0165921公开了一种用 于改进小瘤检测的胸廓(thoracic)诊断图像的方法。从诊断图像中移除非肺部区以提供 肺部图像。根据肺部图像的多个体素中的每个的一阶偏导数来增强肺部图像中的(一个或 多个)肺的血管和血管交叉点。根据增强的血管和血管交叉点来构建血管树表示。可以从 肺部图像中减去血管树表示以增强(一个或多个)肺中的小瘤的可视性。通过引用合并于此的Kakadaris等人的美国专利申请号2008/0051660公开了一 套血管内超声(IVUS)相关的系统、装置和方法。公开了包括对比剂引入子系统和/或多普 勒(Doppler)子系统的新导管设计。公开了用于获取和分析来自血管内超声(IVUS)导管的 多普勒数据的方法。公开了基于RF的血液和/或对比剂(诸如微气泡)的检测。公开了在 把对比效应施加到正被成像的系统上之前、期间和之后允许帧配准(registration)的帧光 栅图像数据分析的方法。公开了用于对比度检测的不同成像的方法。公开了用于IVUS数 据的量化和可视化的方法。并且公开了用于IVUS成像的方法。通过引用而合并于此的Sien等人的美国专利申请号公开了一种用于自动地检测 胸廓CT体积中的肋骨转移的方法和系统。在所述CT体积中通过递归跟踪来分割肋骨。然 后沿着每个肋骨的中线生成一系列横断面图像。在每个肋骨的每个横断面图像中分割皮质 骨和小梁骨结构。基于皮质骨和小梁骨结构的特性来计算每个横断面图像的特征，并且基 于这些特征来检测横断面图像中的变化。当在沿肋骨的中线的许多连续的横断面图像中检 测到变化时，在肋骨中检测到肋骨转移。
发明内容
本发明目前优选的实施例以其最一般的形式包括识别具有血管结构的图像中的 纹理区；检测纹理区中的高强度区域和低强度区域；以及通过使用调谐参数来可控可变地 将高强度区域添加到纹理区并从纹理区中减去低强度区域，在不引入不可接受的不需要的 噪声的情况下可控可变地增加高强度区域和低强度区域之间的对比度，以使得血管图案的 可视化被可控可变地增强。因此，本发明包括用于通过以下步骤来增加血管结构的可视化的图像对比度增强 的方法识别具有存在疾病的高可能性的纹理区；应用数学形态学运算来检测纹理区内的 高和低强度(亮度)区域；以及通过结合纹理区识别的结果、形态学运算和调谐参数来计算 对比度增强的图像。通过确定图像内具有高强度变化的区域来识别原始图像中的纹理区。
6接着，使用数学形态学运算来识别纹理区内的高强度和低强度的区域。最后，添加高强度区 域的可变量(由可选择的调谐参数确定)，并且从原始图像的纹理区中减去低强度区域，以 产生具有血管结构的可控可变的可视化增强的图像。
将参考以下附图来描述本发明的优选实施例，其中 图1示出了可视化增强方法的流程图2 (a)示出了宫颈的图像而图2 (b)示出了所识别的宫颈的纹理区；以及 图3 (a)示出了原始的宫颈图像，图3 (b)显示了无对比度增强的原始图像的 放大区(由图3 (a)中的方框指示)，以及图3 (c)、3 (d)和3 (e)示出了调谐参数 Q分别被设置为0、0. 5和1. 0的血管结构增强的结果。
具体实施例方式本发明目前优选的实施例提供了一种在子宫颈的图像中不引入伪影(噪声)的情 况下增加且可控地改变小血管图案和周围组织之间的对比度的方法，并且照此提供一种增 强所述血管图案的可视化的手段。在图1中示出本发明目前优选的实施例的流程图。下面 更详细地描述目前优选的方法的步骤。1.纹理区识别
可视化(对比度)增强方法开始于器官或组织(诸如宫颈)的图像(被标为I)。在本发明 目前优选的实施例中，将分割步骤应用于其中识别宫颈的纹理区的图像。纹理分析指的是 图像中的区由它们的纹理表征。纹理分析试图将粗糙、平滑、柔滑或凹凸量化为图像中的空 间强度变化(图像的亮度(强度)中的空间变化程度，优选地通过使用图像的黑白版本中的 亮度变化或“灰度”来测量)的函数。因此，粗糙度或凹凸度可以被理解为图像的黑白版本 中的强度值的空间变化程度或灰度级。对于宫颈而言，纹理区被称为其在纹理内容方面丰 富或者换句话说具有高强度变化(而不是强度平滑)的区。宫颈纹理区与诸如异常血管结构 的患病所见和诸如未成熟化生的正常所见二者相关联。如果宫颈血管图案不位于这些丰富 的纹理域内，则癌前期病变不太可能。因而，通过检测纹理区并且仅将增强算法应用于这些 区域，视觉上将仅增强与癌前期病变或癌病变相关联的血管图案。本发明提供了用于可控 对比度增强和利用分割的可控局部对比度增强的手段。用于本发明的优选纹理区识别是基于由Li等人(W. Li, J. Gu, D. Ferris 禾口 A. Poirsonj Automated image analysis of uterine cervical images, Proc. Of SPIE 6414, 65142P1-65142P9 (2007)，通过引用而合并于此)提出的工作，其利用 由 Forstner (Forstnerj W.，A framework for low level feature extraction, in Proc. of European Conference on Computer Vision, 383-394 (1994)，通过弓|用而合 并于此)、Grading 等人(Grading，J.禾口 Lindeberg，T.，Direct computation of shape cues using scale-adapted spatial derivative operators, International Journal of Computer Vision 17，163-191 (1996)，通过引用而合并于此)和 Carson 等人(C. Carson, S. Belongiej H. Greenspan 禾口 J. Malik, Blobworld: image segmentation using expectation maximization and its application to image querying, IEEETransactions on Pattern Analysis and Machine Intelligence, 24, 1026-1038 (2002)，通过引用而合并于此)提出的技术的部分。纹理区分析方法确定图像中的纹理对比 度(即强度变化)，并且将图像分为高和低纹理的区域。高纹理区域被簇聚在一个区中，其定 义宫颈图像中的纹理区。作为整个宫颈图像I的子部分的纹理区被标为Itoiure。图2 (a) 示出了宫颈的图像而图2 (b)示出了使用上面描述的方法而识别的纹理区。尽管检测纹理区是本发明的优选方法，但是其不是以下步骤的先决条件。宫颈的 整个图像同样可以用于以下步骤。2.定义高强度区和低强度区
在纹理区的任选检测之后的步骤优选地使用基于数学形态学的运算(J. Serra, Image Analysis and Mathematical Morphology，Academic Press, New York, 1982，通 过引用而合并于此)。数学形态学是一种用于使用来自集合理论(其是研究对象收集的数学 分支)的几个简单数学概念来分析和处理诸如血管图案之类的几何结构的技术。数学形态 学的基本思想是对照具有简单预定义形状的所谓结构化元素来比较图像中的结构，并且得 出关于该形状对图像中的结构适合或不适合(miss)程度的结论。在数学形态学中通常使 用的结构化元素包括但不限于盘形、盒形和菱形。数学形态学通常应用于数字图像，并且包 括边缘检测、噪声移除、图像增强和图像分割。用于本发明的优选形态学方法是顶帽和底帽滤光片(P. Soille, A note on morphological contrast enhancement, Technical Report Ecole des Mines d，Alds-EERIE (1997)，通过引用而合并于此；F. Meyer, Iterative image transformations for an automatic screening of cervical smears, The Journal of Histochemistry and Cytochemistry, The Histochemical Society,128-135 (1979)，通 过引用而合并于此)。顶帽滤光片捕获图像中的高强度(亮)区域。此处，顶帽滤光片是基于相邻排序并 且使用来自两个不同大小区域的排序值。将由滑动窗(优选地是盘形的结构化元素)定义的 区域中的最亮值与周围环状(环形)区域中的最亮值相比较。如果亮度差别超过阈值(典型 地被定义为周围区域的平均亮度)，则该区域被定义为亮区域。顶帽滤光片的输出定义图像 中的高亮度区域且被标为TH (Itexture)0在识别了亮区域之后，底帽滤光片可以被用来捕获诸如血管结构之类的低强度 (暗)区域。此处，滑动窗(优选地是盘形的结构化元素)的大小优选地被选择成使得其稍微 超过寻求增强的血管的大小的直径。底帽滤光片的输出定义了图像中的低强度(更暗)区域 且被标为浙(I—)。3.对比度增强
本发明的优选实施例中的最后步骤结合来自先前步骤的信息以便通过增强血管结构 和周围组织之间的对比度来改进图像的局部对比度。一种优选方法是基于低强度的对比度 增强，其包括从原始图像中减去低强度区域；并且通过这样做，增加低强度区域和其周围 之间的对t匕度(K. Sun禾口N. Sang, Enhancement of vascular angiogram by multiscale morphology, in Bioinformatics and Biomedical Engineering, 1311-1313 (2007)， 通过引用而合并于此)。另一种优选方法是高强度对比度增强，其包括添加来自顶帽运算 的输出(高强度区域)和从原始图像中减去底帽输出(低强度区域)。该方法使高强度区域
8朝增加的强度伸展而使低强度区域朝下降的强度伸展，由此将该区的对比度增加比仅减去 低强度区域更大的量(Wirth, M. , Fraschini, M.禾口 Lyon, J. , Contrast enhancement of microcalcifications in mammograms using morphological enhancement and non-flat structuring elements, Proc. 17th IEEE Symposium on Computer-Based Medical Systems, (2008)，通过弓I用而合并于此；K. Sun 禾口 N. Sang, Enhancement of vascular angiogram by multiscale morphology, in Bioinformatics and Biomedical Engineering, 1311-1313 (2007),通过引用而合并于此)。
3 (a).调谐参数
目前优选的实施例根据如下公式，通过合并可控可变的调谐参数G来详述加法和减法 的方法
权利要求
1.一种用于图像对比度增强的方法，包括在所述图像中识别具有血管结构的纹理区；检测所述纹理区中的高强度区域和低强度区域；通过使用调谐参数来可控可变地将所述高强度区域添加到所述纹理区和通过从所述 纹理区中减去所述低强度区域，在不引入不可接受的不需要的噪声的情况下可控可变地增 加所述高强度区域和所述低强度区域之间的对比度，由此可控可变地增强所述血管图案的 可视化。
2.根据权利要求1所述的方法，其中所述识别步骤包括应用使用第一结构化元素的 顶帽滤光片来定义所述图像中的所述高强度区；以及使用具有第二结构化元素的底帽滤光 片来识别所述图像使用中的所述低强度区。
3.根据权利要求2所述的方法，其中所述第一结构化元素是盘形的并且所述第二结 构化元素是盘形的且其直径稍微超过所述血管的直径。
4.根据权利要求3所述的方法，其中通过收集所述图像并使用所述图像的强度变化 来分割所述图像，执行所述识别步骤。
全文摘要
一种对比度增强方法，用于改进诸如血管之类的诊断上重要的组织结构的可视化。应用纹理分析算法以识别具有疾病的高可能性的区。应用数学形态学运算以识别高和低亮度(强度)的区域。然后低强度区域被减去，并且高强度区域的可控可变量被添加，由可选择的调谐参数控制，从而产生具有可控可变的可视化增强的图像。
文档编号G06K9/40GK102124471SQ200880130729
公开日2011年7月13日 申请日期2008年8月15日 优先权日2008年8月15日
发明者J·T·哈格罗夫, S·文卡塔拉曼, U·P·古斯塔夫松, W·李 申请人:国际科学技术医疗系统有限责任公司