专利名称：用于分割图像中的对象的方法
技术领域：
本发明大体涉及数字图像，并且更具体而言，涉及分割数字图像中的对象，以从图像中提取内容。
背景技术：
将复杂的三维材料的图像分割成离散且可识别的对象或目标供分析是有挑战性的问题，因为与材料相关联的可变性非常高，而且成像系统本身之间有不一致性，以及成像系统本身会引入异常。例如，由于与沾污生物材料和基于荧光的显微成像相关联的额外引入的可变性的原因，将生物组织样本的图像分割或刻划成其组成部分(诸如细胞和细胞核)会引起特定 重大问题。薄的组织切片的三维性质会引入扩大了超过10倍的失焦假象。作为示例，处于子细胞级别的蛋白质表达的量化在用于量化组织样本的蛋白质表达的图像分析过程中是必要步骤。这个类型的定量分析使得生物学家和病理学家能够以高的细节级别来分析给定的癌瘤内的成千上万的细胞的分子图。它还提供关于蛋白质表达的复杂路径的新见解。随着自动化图像获取平台(诸如通用电气的InCell 2000分析器)的出现，越来越多地需要呈自动化方法的形式的多内容图像分析，用于从组织样本中提取这种内容和分析该内容。尤其关于生物样本分析，存在许多与检测和刻划细胞核相关联的问题。细胞是三维对象，而且这样的细胞的图像捕捉对应于组织的给定的薄片的ニ维投影。通常观察到在聚焦面之外的部分细胞体积。核的形状和尺寸还会在不同的组织类型上有很大的变化，而且甚至在同一组织类型内也会有很大的变化。例如，肺组织中的上皮细胞的形状不同于肺组织中的基质细胞核的形状。给定的癌症的级别也可显著地影响核的形状和尺寸。例如，乳癌中的细胞核的尺寸是诊断指标。除了细胞变化之外，着色质量和组织处理还随样本的不同而变化；虽然能降低非特定粘合和组织自身荧光，但是典型地不能消除它们；图像获取系统进一歩引入噪声，特别地，例如，如果图像获取摄像机未被主动地冷却的话；而且大多数显微镜被制造成能容忍照明的高达20%的不均匀性。
发明内容
本发明的方法提供一种鲁棒性得到高度提升的方法，其中，技术效果在于将图像分割成离散的或目标对象。该方法根据多个大体较弱或较不一致的分割结果来建立强的或可靠地一致的分割結果。各个较弱的分割方法生成捕捉不同的但又互补的信息的概率图。基于各种參数或预先限定的规则，诸如例如加权平均值或总和，强分割结合了来自较弱的分割方法的概率结果。对结合的但较强的联合分割应用分水岭方法以及ー个或多个形态学约束，以识别和分割图像的核区域。首先使用较一般的工作流来描述方法，在该工作流中，将弱分割算法联合起来生成强分割算法，可出于多种目的而将该算法应用于多种图像。然后对其中生物样本的图像被分割成细胞的特定的但非限制性的示例应用一般方法。虽然特定的示例使用对生物材料的图像特别有用的分割算法的子集(其包括基于曲率的分割、图像梯度、加伯(Gabor )滤波器和強度)，但是，本发明的方法可应用于其它类型的主题，并且所以可包括备选的算法子集。用于将数字图像分割成多个目标对象的本发明的方法的实施例包括生成图像的多个概率图，其中，各个概率图源自不同的分割分类器；基于该多个概率图来生成联合概率图；基于ー个或多个局部对象最大值来映射多个图像点；至少部分地基于映射点来应用ー个或多个对象约束，以识别局部对象信息；在给定局部对象信息和背景掩模的情况下，对联合概率图应用ー个或多个区域阈值，以将图像分割成区域；至少部分地通过合并分割区域 与对应的局部对象最大值来创建分割图像；以及至少暂时将分割图像存储或显示在数字装置上。
当參照附图来阅读以下详细描述时，本发明的这些和其它特征、方面与优点将变得更好理解，在附图中，相同符号在所有图中表示相同部件，其中
图I是用于分割图像的本发明的方法和系统的示例的流程图。图2是用于分割图像的本发明的方法和系统的特定示例的流程图。
图3A至图3D是基于概率图的四个弱分类器的示例。使用基于曲率的分类器来生成图3A，使用加伯滤波器组来生成图3B，使用梯度分类器来生成图3C，以及使用強度分类器来生成图3D。图4A是使用强分割分类器的示例而生成的概率图的示例，图4B是显示了检测到的对象中心的图的示例，图4C是使用形态学约束的加权图像的示例，图4D是分割图像的示例，以及图4E是与映射核合并的最終分割图像的示例。图5A是有一部分用红色正方形描出轮廓的原来的未经分割的图像的示例，图5B是同一对应的部分用红色描出轮廓的、使用本发明的方法的示例而生成的最終分割图像的示例，图5C是图5A的描出轮廓的部分的放大视图，以及图是图5B的对应的描出轮廓的部分的放大视图。图6A是一部分用红色正方形描出轮廓的异种移植模型的原来的未经分割的图像的另ー个示例，图6B是同一对应的部分用红色描出轮廓的、使用本发明的方法的示例而生成的最终分割图像的示例，图6C是图5的描出轮廓的部分的放大视图，以及图6D是图5B的对应的描出轮廓的部分的放大视图。
具体实施例方式方法和系统对用于分割数字图像的以前的方法提供显著的改进。方法以许多(N个)弱分类器来部分地构建强分类器。术语弱分类器在此描述中仅用来表示分类器，当单独使用时，弱分类器不像本发明的较强的分类器那样提供可再现的一致的强分割图像，因为较强的分类器包括多个单独的较弱的分类器的组合。在描述的实施例中的ー个或多个中使用的各个较弱的分类器提供呈关于给定的像素是否属于目标对象(诸如细胞的核)的概率估计的形式的独特且不同的信息。本发明的联合分类器联合了较弱的単独的分类器结果的結果。较强的分类器结合了源自较弱的分割的全局信息和局部信息，以生成在精确性上较一致的分割图像。在实施例中的ー个或多个中，分水岭算法与ー个或多个局部约束一起应用于较强的数据，以识别和映射诸如细胞核的単独的目标对象。为了更清楚和简明地描述和指出声明的本发明的主题，针对在以下描述和所附权利要求中使用的特定术语来提供以下定义。在整个说明书中，特定术语的范例应视为非限制性示例。如本文所用，术语“目标对象”指的是为了从分割的数字图像中提取内容而对其应用多个不同的分类器或定义的关注的任何项目。如本文所用，术语“分类器”指的是能表达为算法的数字图像中的ー个或多个參数。如本文所用，术语“概率图”指的是数字图像中的像素或图像点的全部或一部分的图，该图基于之前对数字图像应用的分类器来指示给定的像素落在ー类内的可能性。取决 于给定的应用或系统，图可为虚拟的、真实的、被存储或暂时的。如本文所用，术语“局部对象最大值”指的是由给定的分类器限定的、在与数字图像中的离散目标对象相关联的像素或图像点之中的最高值或最高程度。如本文所用，术语“对象约束”指的是可应用于对象的ー个或多个算法语句或规贝IJ，其可包括(但不限干)限定或限制对象的内容或情形、对象的属性、品质或特性以及条件或表达限定词的那些。如本文所用，术语“局部对象信息”指的是与给定的对象相关联的任何信息，其包括(但不必限于)与对象相关联的事实、数据、结论、估计、统计数字、转换和条件。如本文所用，术语“区域阈值”指的是应用于图像以将图像分割成区域的规则或语句，诸如例如分水岭算法或基于分水岭的算法。如本文所用，术语“数字装置”指的是能至少暂时存储、显示、生成、操纵、修改或打印数字图像的任何装置。方法和系统可用来分割数字图像中的广泛种类的对象。方法和系统可用来例如分割具有椭圆形状的对象，诸如与エ业检查以及医学和生物成像相关联的图像中发现的那些。方法的一个或多个实施例使用新颖的提高方法来构建概率图，对该方法应用具有至少ー个对象约束的分水岭算法。基于多个较弱的分类器，与一个或多个形态学约束一起构建强分类器，该多个较弱的分类器提供补充信息，诸如(但不限干)形状、強度和纹理信
ο在一个示例中，检测细胞核包括对各种核属性(诸如细胞中的形状、強度和纹理)建模。例如，虽然许多类型的细胞核的整体形状为圆形或椭圆形，但是在尺寸和形状上存在相当多的变化，这取决于组织类型和形态学。关于纹理，当使细胞成像时，核纹理可部分地有所改变，因为对细胞材料或组织样本应用的荧光染料的粘合和分布不均匀。图像强度也在图像之间以及在单个图像上有所改变，并且图像强度可由许多因素导致，其中的ー些与显微系统本身相关联。在一个示例中，从三维组织切片中获得的ニ维细胞核的检测包括对各种核属性(诸如细胞中的形状、強度和纹理)建摸。例如，虽然许多类型的细胞核的整体形状为圆形或椭圆形，但是在尺寸和形状上存在相当多的变化，这取决于组织类型和形态学。关于纹理，当使细胞成像吋，核纹理可部分地有所改变，因为对细胞材料或组织样本应用的荧光染料的粘合和分布不均匀。图像强度也在图像之间以及在单个图像上有所改变，并且图像强度可由许多因素导致，其中的一些与显微系统本身相关联。可容易地应用于许多形态和目的的本发明的方法的实施例大体在图I的流程图中显示和称为方法10。在这个实施例中，在步骤14中对图像16应用三个分割分类器12A、12B和12C。作为示例，这种分类器可包括形状、強度和纹理基元。使用三个较弱的分割分类器12A-12N生成的最終概率图Ρ^··ΡΝ来生成较强的分割分类器18，较强的分割分类器18是基于较弱的分类器的加权联合的。方 法不限于使用特定数量的较弱的分类器(例如S^··Sn)或特定数量的形态学约束(例如Μ^··ΜΝ)，并且可用任何适当类型和数量的単独的分类器和约束来扩展或提高该方法。単独的较弱的分类器可包括(但不限干)形状特征(诸如规则的和不规则的椭圆形、圆形、半圆形形状)、強度特征(诸如同质性、基于直方图的方法)、纹理特征(诸如分形、小波、ニ阶或高阶统计)。在步骤22中，然后使用ー个或多个区域阈值算法以及ー个或多个局部约束来对图像16应用联合分类器18以及联合形态学约束20Α、20Β和20C，以生成至少部分地分割成目标对象(例如细胞核)的最终图像24。以下是用来示出方法和系统的各种实施例的非限制性示例。示例
以下是用于分割图像32的本发明的方法的示例，其在图2中大体显示和称为方法30。这个示例将组织样本的图像分割成具有标识的细胞核的细胞。该示例将四个不同的弱分割34A-34D (分类器)的结果联合成较强的分割36 (联合分类器)(图4Α)。第一个步骤包括使用多个较弱的分割算法来生成强分割分类器。在这个示例中，使用基于曲率的分割算法、基于两个不同的梯度的分割算法和基于强度的算法来生成强分类器，其可表达如下
P, = Η'. P,'H、+ wJ Pi,,,.,, ++ wiPi、 w + + ' '； + ''i = 1
其中，/^,表示使用基于曲率的分割算法而计算出的概念图，表示使用基于加伯滤波器的分割算法而计算出的概率图，Ar-表示使用梯度分割而计算出的概率图，并且A表示使用基于强度的分割而计算出的概率图。最終概率图是单独的弱分割算法所生成的单独的概率图的加权平均值。可按经验为依据或者使用监瞀分类算法来确定权重。方法包括生成用于四个较弱的分割算法中的各个的概率图。在这个示例中，使用基于曲率的分割算法34A来生成的概率图(图3A)由/^,表示。为了估计概率图，根据下
者来对海赛矩阵的特征值进行数值计算
X ( )_上d'Hx. V) Iii I
二.. 2 tk1 . A·" |( Ar drJdr<)v- I
并且以下两个曲率特征由以下估计
θ(.ν, ii = tun—,
( r,." J
权利要求
1.ー种用于将数字图像分割成多个目标对象的方法，包括，生成所述图像的多个概率图，其中，各个概率图源自不同的分割分类器；基于所述多个概率图来生成联合概率图；基于ー个或多个局部对象最大值来映射多个图像点；至少部分地基于所述映射点来应用ー个或多个对象约束，以识别局部对象信息；在给定所述局部对象信息和背景掩模的情况下，对所述联合概率图应用ー个或多个区域阈值，以将所述图像分割成区域；至少部分地通过合并所述分割区域与对应的局部对象最大值来创建分割图像；以及至少暂时将所述分割图像存储或显示在数字装置上。
2.根据权利要求I所述的方法，其中，所述对象约束中的至少ー个是形态学约束。
3.根据权利要求2所述的方法，其中，所述形态学约束是基于细胞核的。
4.根据权利要求I所述的方法，其中，所述目标对象是生物细胞。
5.根据权利要求I所述的方法，其中，分割分类器选自由尺寸、形状、強度、纹理、小波和分形组成的组。
6.根据权利要求I所述的方法，其中，所述联合概率图是基于所述多个概率图的加权平均值的。
7.根据权利要求6所述的方法，其中，以经验为根据来限定所述加权平均值。
8.根据权利要求6所述的方法，其中，预先限定所述加权平均值。
9.根据权利要求I所述的方法，其中，所述分割分类器中的至少ー个是基于对象曲率的。
10.根据权利要求9所述的方法，其中，所述分割分类器中的至少ー个是至少部分地源自高斯函数和调和函数的ー组数字滤波器。
11.根据权利要求9所述的方法，其中，所述分割分类器中的ー个或多个是基于梯度、强度、小波或分形的。
全文摘要
一种用于将数字图像分割成多个目标对象的方法包括生成图像的多个概率图，其中，各个概率图源自不同的分割分类器；基于该多个概率图来生成联合概率图；基于一个或多个局部对象最大值来映射多个图像点；至少部分地基于映射点来应用一个或多个对象约束，以识别局部对象信息；在给定局部对象信息和背景掩模的情况下，对联合概率图应用一个或多个区域阈值，以将图像分割成区域；至少部分地通过合并分割区域与对应的局部对象最大值来创建分割图像；以及至少暂时将分割图像存储或显示在数字装置上。
文档编号G06T7/00GK102834846SQ201180017970
公开日2012年12月19日 申请日期2011年4月6日 优先权日2010年4月9日
发明者A.坎, A.桑塔马里亚-潘格 申请人:通用电气公司