专利名称：利用外观和形状来检测和匹配解剖结构的系统和方法
技术领域：
本发明涉及用于利用外观和形状来检测和匹配对象的系统和方法，并且更具体地涉及用于利用离线训练、在线检测以及外观和形状匹配来检测并匹配解剖结构的系统和方法。
背景技术：
在医学检查过程中将医学成像系统(例如超声成像系统)用于与解剖结构(例如，诸如心脏的器官)相关联的异常的检测和诊断是非常普遍的。常常由经过训练的医学专家(例如医生或医学技师)来评价图像，以识别图像中的特征，所述特征可以指示与解剖结构相关联的异常或指示健康的解剖结构。
由于计算机技术的进步，大多数计算机可以容易地处理大量的数据并执行大规模的计算，所述大规模的计算可以提高所获得的图像的质量。此外，图像处理可被用作辅助图像的分析的工具。图像中感兴趣的解剖结构或对象的有效检测在该结构的进一步的分析中是重要的工具。常常，解剖结构的形状的异常或这种形状的经过时间的变化(例如，跳动的心脏或进行呼吸的肺)指示肿瘤或各种疾病(例如心肌的扩张或局部缺血)。
这种类型的图像处理可以被用于其它应用，诸如图像中人脸的检测。因为与不同面部特征相关的变量(例如头发颜色和长度，眼睛颜色，面部形状等)，面部检测不是无足轻重的任务。面部检测可以用于多种应用、诸如用户识别、监视或安全应用中。
各种类型的方法已经被用于检测感兴趣的对象(例如解剖结构或脸)。基于部分的对象检测器(眼睛检测器和嘴巴检测器等)可以处理姿势和照明方面的大的变化，并在遮挡和异方差噪声之下更稳健。例如，在超声心动图分析中，相同解剖结构(例如隔膜)的局部外观在病人之间是相似的，而心脏的结构或形状可以由于例如视角或疾病情况而显著不同。同样地，在脸检测中，面部特征之间的一般空间关系是相当一致的(例如眼睛相对于鼻子和嘴的一般位置)，而各种面部特征的结构和形状(例如眼睛的形状、嘴的表情，以及它们之间的相对距离)可以显著变化。
为了捕获局部外观变化，许多解决方案依靠高斯(Gaussian)假设。最近，通过诸如支持向量机(Support Vector Machine，SVM)或提升(boosting)之类的非线性学习机的使用，已经放宽了该假设。一些最成功的实时对象检测方法基于简单特征的提升的级联。通过组合所选数量的简单分类器经由提升的响应，所得到的强分类器能够实现高检测率并能够实时处理图像。然而，在存在遮挡对象的情况下，现有的方法没有解决检测问题。简单或弱分类器由于遮挡(occlusion)的错误响应将负面地影响检测结果。
对于大多数视觉跟踪应用来说，测量数据是不确定的并且有时丢失图像带有噪声和失真，同时遮挡可能使感兴趣对象的一部分变得不可见。不确定性可以在整体上是均匀的；但在大多数真实世界情况中，它实际上是异方差的，也就是各向异性和不均匀的。好的例子是超声心动图(超声心脏数据)。超声倾向于反射伪影，例如镜面反射器，诸如来自隔膜的那些镜面反射器。由于单个“观察方向”，镜面结构的垂直表面产生强的回波，但倾斜的或“离轴的”表面可以产生弱回波，或根本不产生回波(声学“信号失落(drop out)”)。对于超声心动图来说，在组织表面平行于超声射束的心脏区域处可能出现信号失落。
由于它的可用性、相对低的成本以及非侵入性，心脏超声图像被广泛地用于评价心脏功能。具体地，心室运动的分析是用以评估局部缺血和梗塞形成的程度的有效途径。心内壁的分割或检测是实现左心室的弹性和收缩性的量化的第一步骤。一些现有方法的例子包括基于像素的分割/聚类方法(例如，彩色室壁动态(Color Kinesis))，光流的变化、可变形的模板和马尔可夫随机过程/场、以及有效轮廓/动态轮廓(active snake)。在二维、三维或四维(3D+时间)空间中采用一些方法。
然而，大多数现有的分割或检测方法不尝试恢复心内壁的精确的区域运动，并且在大多数情况中，忽略沿着壁的运动分量。仅沿着当前轮廓的法线搜索的轮廓跟踪器也采用该简化的处理。这不适用于区域壁异常检测，因为异常左心室的区域运动很可能离开轮廓的法线，更必说全局运动、诸如平移或旋转(由于声谱仪操作者的手运动或病人的呼吸运动)，也引起轮廓上不正常的局部运动。为了区域壁运动异常的检测，期望跟踪心内壁的整体形状以及它的局部运动。该信息可以被用于局部缺血和梗塞形成的进一步的诊断。存在对利用外观和形状来匹配解剖结构的检测框架的需要。
发明内容
本发明涉及利用外观和形状来匹配解剖结构的检测框架。使用图像的训练组，在该训练组中在图像中注释对象形状或结构。图像的第二训练组表示这种形状和结构的负样本，也就是不包括这种对象或结构的图像。根据该训练组所训练的分类算法被用于检测在它的位置处的结构。使该结构与可以提供关于结构的形状和外观的细节的训练组中的配对物匹配。
本发明的另一个方面涉及一种用于检测包括无效数据区域的图像中的对象的方法。确定用于该图像的数据掩模(mask)，以指示图像中的哪些像素是有效的。该数据掩模被表示为积分掩模，在所述积分掩模中每一像素具有对应于在该像素之上和在该像素左边的图像中的有效像素的总数的值。将矩形特征应用于该图像，所述矩形特征至少具有一个正区域和一个负区域。利用积分掩模对矩形特征中那些有效的像素进行确定。对包括无效像素的区域的平均亮度值求近似。通过计算矩形特征的正和负区域中亮度值的总和之间的加权差，确定矩形特征的特征值。利用该特征值来确定是否已经检测到对象。
本发明的另一个方面涉及一种用于检测图像中的对象的方法。为图像的窗中的分类器计算特征值。确定该特征值是否超过预定阈值。如果该特征值超过阈值，则为图像的窗中的随后的分类器计算随后的特征值。组合该特征值和随后的特征值的值。确定组合特征值是否超过当前组合的组合阈值。如果组合特征值超过组合阈值，则计算进一步的组合特征值，包括进一步的随后的分类器，直至没有随后的分类器或者组合特征值不超过组合阈值。最后的组合特征值被用于确定是否已经检测到对象。
本发明的另一个方面涉及一种用于检测图像中的解剖结构以及使图像中的解剖结构与图像的训练组中的一个或多个解剖结构相匹配的系统和方法。接收候选图像，并且从候选图像中提取特征值。应用分类函数，以检测解剖结构。如果检测到解剖结构，则通过使候选图像的所提取的特征值与训练组中的配对图像的特征值相匹配来识别图像的训练组中的一个或多个配对图像。来自训练组的匹配配对图像中的解剖结构的形状被用于确定候选图像中的解剖结构的形状。
本发明的另一个方面涉及一种用于使图像中的解剖结构与图像的训练组中的一个或多个相似成形的解剖结构相匹配的方法。接收候选解剖结构的图像，并从该图像中提取特征。将与相似成形的解剖结构相关的特征与候选解剖结构相比较。通过利用来自训练组的至少一个最近的邻近者的形状来确定候选解剖结构的形状。
本发明的另一个方面涉及一种用于检测和跟踪图像中的候选对象的可变形形状的系统和方法。通过多个所标记的控制点来表示该形状。检测图像帧中可变形形状的至少一个控制点。针对与候选对象相关的每一个控制点，计算位置不确定性矩阵。产生形状模型，以表示随后的图像帧中可变形形状的动态，其中该形状模型包括来自典型对象的图像的训练数据组的统计信息。使该形状模型与候选对象的可变形形状对准。合并该形状模型与可变形形状，并评估候选对象的当前形状。
下面将参考附图更详细地描述本发明的优选实施例，其中相似的参考数字表示相似的元件图1示出超声心动图系统的示范性体系结构，所述超声心动图系统使用依据本发明的用于检测和跟踪左心室的心内壁的形状的方法；
图2示出心脏的典型的超声心动像；图3a-3d示出依据本发明的表示弱分类器的矩形特征的例子；图4示出依据本发明的用于利用积分图像来确定给定窗的亮度和的方法；图5示出依据本发明的被部分遮挡的积分图像中的矩形特征；图6示出依据本发明的用于图5的积分图像的遮挡掩模；图7a和7b示出依据本发明的Hi-1和Hi-1*的关系；图8示出依据本发明的、利用存储器技术的提升的级联的示意图；图9示出依据本发明的用于左心室心内膜边界检测的框架；图10示出依据本发明的用于检测三维数据容积中的肿瘤的框架；图11示出依据本发明的用于形状对准的不变流形；图12a和12b示出依据本发明的形状对准；以及图13示出依据本发明在形状检测和跟踪过程中的不确定性传播。
具体实施例方式
本发明涉及用于检测和匹配解剖结构的方法。将采用这种方法的一个例子是通过经由机器学习或分类来检测并分割心室心内膜和心外膜边界，以及通过识别来自带注释的数据库的相似情况，检测心脏中的区域壁运动异常。本领域的普通技术人员应理解的是，本发明可以被用于其它应用，其中形状检测和匹配是有用的，诸如但不局限于识别人的特征、诸如面部特征或其它身体特征。本发明也可以被用于二维、三维和四维(3D+时间)数据分析、例如诸如可随时间的过去而演化的心脏、肺或肿瘤之类的解剖结构的医学分析。
为了描述本发明，将针对检测人心脏的左心室的心内壁来描述例子。图1示出超声心动图系统的示范性体系结构，其中所述超声心动图系统使用依据本发明的用于利用形状和外观来检测左心室的心内壁的方法。诸如超声换能器之类的医学传感器102被用于对病人执行检查。传感器102被用于获得与具体医学检查一致的医学测量。例如，经受心脏问题的病人可以具有为帮助诊断具体的心脏疾病而执行的超声心动图。超声系统根据各种透视图提供心脏的二、三和四(3D+时间)维图像。
通过传感器102获得的信息被传送至处理器104，所述处理器可以是工作站或个人计算机。处理器104将传感器数据转换成被传送至显示器108的图像。显示器108也可以传送涉及图像的其它图形信息或信息的表。依据本发明，也为处理器104提供表示心内壁的初始轮廓的数据。该数据可以由诸如医生或声谱仪操作者之类的用户人工地提供，或由处理器104自动地提供。该轮廓包括一系列单独的点，通过处理器104跟踪这些点的运动并将其示出于显示器108上。
除了来自医学传感器102的数据，处理器104也可以接收其它数据输入。例如，处理器可以接收来自与处理器104相关联的数据库106的数据。这种数据可以包括子空间模型，所述子空间模型表示心内壁的潜在轮廓形状。这些子空间模型可以是表示多个病人的左心室的图像，或者可以是计算机产生的基于统计信息的轮廓形状模型。利用已知的方法、诸如贝叶斯核(Bayesian kernel)匹配或基于光流的方法，处理器104跟踪轮廓形状的单独的点。通过利用多模板自适应匹配框架来补救在跟踪过程中的误差累积。在每一个点处以协方差矩阵的形式表示跟踪的不确定性，其中使用非正交投影的子空间形状约束随后完全采用所述协方差矩阵。
图2示出心脏的典型的超声心动像。用实线椭圆208来标记具有声学信号失落的左心室的心内壁的部分。用虚线椭圆202、204来表示局部壁运动的估计。因为声学信号失落，心内壁不总是在图像中的最强边缘处。超声心动像的特征是用虚线210、212表示的图像的扇形。在扇形外部的区域不包含有用的数据。
许多检测方法利用弱分类器或特征的提升来检测图像中的对象。通过组合所选数量的弱分类器经由提升的响应，所得到的强分类器能够实现高检测率。然而，已知的方法不解决在存在其它遮挡对象(例如扇形之外的数据)时检测对象的问题。弱分类器由于遮挡的错误响应负面地影响对象的检测。
依据本发明的一个方面，现在将描述用于在对象检测过程中消除已知遮挡的影响的方法。例如，可以以不考虑扇形之外的图像数据(也就是无用或无效的数据)的方式来处理超声心动像。换句话说，在扇形外部的数据被作为遮挡处理。
与对象的图像相关联的简单特征被识别为弱分类器。这种特征的例子是在图3a-3d中示出的矩形特征。每一矩形特征的值是每一矩形的白色(也被称作正)区域与灰色(也被称作负)区域中的像素亮度的总和之间的差。对于图3a中所示的矩形特征来说，负区域是302，并且正区域是304。对于图3b中所示的矩形特征来说，负区域是308，并且正区域是306。对于图3c中所示的矩形特征来说，负区域是312和314，并且正区域是310和316。对于图3d中所示的矩形特征来说，负区域是320，并且正区域是318和322。
矩形特征为基本区域提供过完备基础。例如，如果矩形在尺寸上是24×24像素，则特征的数量是180000。矩形特征的优点之一是计算速度。通过利用如图4中所示的称为积分图像(II)的中间表示，可以利用小的固定数量的操作来计算特征值。
在矩形特征的计算之前，预先计算输入图像(例如左心室的超声心动像)的II。针对II中的每一像素(x，y)，确定亮度值。这些亮度值被存储在数据库106中(图1)。一旦已经为输入图像计算了II，就大大简化所有未来的计算。针对输入图像中的位置(x0，y0)处的每一像素，可以通过确定在位置(x0，y0)之上和在位置(x0，y0)的左边的所有像素的亮度之和来计算亮度值。换句话说，在II(x0，y0)处可以如下确定II的子集II(x0,y0)=Σx≤x0,y≤y0I(x,y),---(1)]]>其中I(x，y)是在位置(x，y)处的像素的亮度。
图3示出如何确定在矩形特征Rf处II的亮度值的计算。计算位置408处的II，其等于实线410之内的区域。用于限定位置408处的II的另一方式是矩形(A+B+C+Rf)的亮度值的总和。为了获得Rf的总和，必须进行附加计算。位置406的II提供通过线412限定的区域的总和，其等于矩形(A+C)的亮度值的总和。从位置408的II中减去位置406的II导致矩形(B+Rf)的II′。接着，计算位置404的II，其提供通过(A+B)限定的区域的总和。从II′中减去位置404的II导致矩形(-A+Rf)的II″。最后，将位置402的II与II″相加，这提供Rf的总和。
然而，在Rf中的像素包括遮挡的情况中，那些像素的亮度值提供无效值，这将最终产生对矩形特征的不正确估计。图5示出包括遮挡504的积分图像502的例子。矩形特征506被置于包括遮挡504的一部分的位置处。
依据本发明，遮挡掩模被用于消除包括在矩形特征中的被遮挡的像素的作用。在图6中示出了用于图5的II的遮挡掩模的例子。当在受控制的环境中获得图像时可以使用遮挡掩模，或者可以从数据中推断出遮挡掩模。例如，在监视应用中，已知静态背景(例如门、墙壁、家具等的位置)。可以确定引起遮挡的背景中的对象的似然性，并将其用于创建遮挡掩模。另一例子是超声图像。在超声图像中，通过超声机器来给出扇形位置，或可以计算扇形位置，例如时间变化的分析可以产生静态无效区域。一旦识别出扇形，就可以创建遮挡掩模，以在II计算中有效地排除或取消扇形的存在。
通过将被遮挡的或否则无效的像素的亮度值设为零，矩形的亮度值的总和将不再受不正确的值影响。然而，因为现在存在“丢失”数据，所以总和将是不平衡的。当不存在丢失值时，矩形总和与矩形的平均亮度值成比例。因此，为了补偿丢失值，当存在遮挡时，通过利用具有有效亮度值的像素的数量来近似平均值。可以通过首先计算等效图或遮挡掩模来得到有效像素的数量。
遮挡掩模M包括布尔值，其中有效像素被赋予值1，并且无效或被遮挡的像素被赋予值0。可以如下利用在当前位置(x0，y0)之上和在当前位置(x0，y0)的左边的有效像素的数量来计算积分掩模IM(x0,y0)=Σx≤x0,y≤y0M(x,y).---(2)]]>类似于方程(1)的II，可以以如上所述的相同数量的操作根据积分掩模来计算矩形中有效像素的数量。
将为矩形特征506的等效特征值提供正和负图像区域中的亮度的总和之间的加权差。如果R+表示像素亮度以正值作出贡献的区域并且R-表示像素亮度以负值作出贡献的区域，则特征值f如下f=n-NΣ(x,y)∈R+I(x,y)-n+NΣ(x,y)∈R-I(x,y),---(3)]]>其中n-，n+分别表示负和正区域的有效像素的数量，每一个区域包括N个像素。如果n-和n+都非零，则通过N/(n-n+)将最终的特征值标准化。通过利用遮挡掩模来计算矩形特征的积分图像，获得更精确的结果，其导致更好的对象检测。
特别是在诸如脸或解剖结构的复杂对象的情况下，由于为了对象的检测而需要被计算的大量特征或部分，工具被用于减小所需要的计算量，同时仍产生精确的结果。普遍使用的一种这样的工具是提升。一般，提升识别多个弱分类器或特征。针对每一个弱分类器，可以计算一个值，所述值然后与预定阈值进行比较。如果弱分类器的值超过阈值，则保留该分类器。如果弱分类器的值低于阈值，则拒绝该分类器。通过对超过阈值的、弱分类器的所有值求加权和，可以产生强分类器，其可以被用于对象检测中。
提升的变型是提升的级联。在该技术中，把分类器区分优先次序。针对窗计算第一分类器，并且如果它不满足阈值，那么窗被移动至另一位置。仅仅保留所计算的分类器超过阈值的那些位置。阈值典型地被设置在适度的水平处，以允许宽大的误差裕度。通过减小执行计算的位置的数量，该方法是有效的。然而，这些方法丢弃来自之前的分类器的输出。下一阶段的训练以对新的样本组的均一加权开始。
依据本发明，保留每一个所计算的分类器的值，并将其用于未来分类器的计算，以便加强在之后阶段的分类器计算。通过在如图7a和7b中所示的当前阶段的新训练组之上设置新的阈值Ti*以及相关的奇偶性pi*，从级联的之前阶段直接使用中间强分类器Hi-1。然后，在基于原始特征进行训练之前，用新的分类器Hi-1*的误差对训练样本进行加权。当前阶段的强分类器是Hi-1*和所选择的单特征分类器的加权和。在检测过程中，代替扔掉来自之前阶段的分类器输出，它被利用Ti*和相关的奇偶性pi*来设置阈值，并依据其误差被加权，并被加到来自当前阶段的单特征弱分类器的输出的加权和中。
可以如下来描述一般的“利用存储器的提升的级联”(BCM)训练算法·存储器中的初始级联分类器H0*＝NULL；其中误差ε＝∞。
·P＝正样本组，N＝负样本组；·i＝0；通过级联的阶段i的循环
1++；使用P和N，以使用AdaBoost利用Hi-1*和确定数量的附加特征来训练分类器Hi，以便满足所要求的错误正数和错误检测率；通过将Hi的错误正数用作负样本并且必要时调节正组来重构训练组，P→P*以及N→N*；重新训练Hi修改Hi(例如通过选择最佳阈值Ti*和奇偶性pi*)，以根据新的训练数据P*和N*最小化它的分类误差。将所得到的Hi*和它的输出放入存储器中。
在上面的算法中，假定如果使用Hi-1*，则它将是第一个。Hi-1*也可以被用在其它单特征弱分类器的中间。所有需要改变的是，代替在之前阶段的结束时，而是在当前阶段的训练过程中，学习新的阈值和奇偶性。
可以利用当前训练组或完全有代表性的验证组来进行Hi的评估。在前一情况中，仅使用Hi，并且目标是满足当前阶段的性能目标(即，每阶段95％)；而在后一情况中，应使用总级联分类器，并且目标是直至当前阶段i的综合性能目标(即，0.95′)。
下面示出利用存储器的提升的级联算法的另一个例子。
·用户选择f、即每层最大可接受的错误正率以及d、即每层最小可接受的检测率的值。
·用户选择目标总错误正率Ftarget。
·P＝正样本组，N＝负样本组·F0＝1.0；D0＝1.0；i＝0；·存储器中的初始级联分类器H0*＝NULL；当Fi＞Ftarget时i++ni＝0；Fi＝Fi-1当Fi＞f×Fi-1时οni++ο使用P和N，以使用AdaBoost利用Hi-1*和ni个附加特征来训练分类器Hi(当i＞1时，已经利用存储于存储器中的结果训练了Hi-1*；如果它比特征强，则选择Hi-1*作为阶段i的弱分类器。利用Hi-1*的误差来更新关于训练样本的权重，以便基于特征选择剩余的弱分类器。)ο评估关于验证组的当前级联分类器Hi，以确定Fi和Diο减小第i个分类器Hi的阈值(Ti)，直到当前级联分类器具有至少d×Di-1的检测率(这也影响Fi)N＝如果Fi＞Ftarget，那么评估关于非脸图像组的当前级联检测器Hi，并把任何错误检测放进组N中。
重新训练Hi*为Hi选择第二最佳阈值Ti*和奇偶性pi*，以根据新的训练数据P和N使它的分类误差最小化；将所得到的Hi*和它的输出放进存储器。
在BCM框架中，检测过程将以下中间强分类器用于级联的每一阶段阶段1-H1α1h1+α2h2+...αn1hn1阶段2-H2αH1p1*(H1-T1*)+(αn1+1hn1+1+αn1+2hn1+2+...αn1+n2hn1+n2)因为在之前阶段中已经评估了Hi，附加的计算仅是针对每一附加阶段的减法和乘法，其中如图8中所示当前测试样品将通过所述附加阶段。对于所考虑的每一附加分类器来说，考虑与先前计算的分类器相关的值，并将其与针对附加值的值结合。所得到的值然后与阈值进行比较。最终结果是提供对象检测的更精确指示的值。
一旦已经潜在地检测到对象，就可以利用进一步的处理技术来获得关于图像的附加信息。依据本发明的另一个方面，可以基于一组训练图像应用外观和形状的共同使用，以匹配和检测测试图像中的对象形状或解剖结构。外观被用于测试图像中的对象或结构的定位。然后采用匹配技术，以从正训练数据集中找到相似情况并为所检测的候选物提供形状或结构细节。可以以分级方式进行检测、定位和匹配，以实现更精确的结果。匹配技术利用在检测过程中所学习的特征，以节约计算时间和改进匹配性能。
依据本发明，用于对象或解剖结构检测和形状恢复的一般框架包括三个阶段离线训练阶段、在线检测阶段和匹配阶段。
在离线训练阶段，正训练样本作为训练数据组被存储。例如，在超声心动图的情况下，训练组将包括人心脏的左心室的图像。训练组将包括不同成形的左心室的样本以及异常左心室的样本的全面的组。优选地，在最佳条件(例如左心室居于图像中间；图像被标准化以消除尺寸和旋转的影响等)下示出训练组中的图像。在训练阶段过程中，将提升算法应用于图像。从这些应用所获得的数据与训练数据一起被存储，并且可以包括指示弱分类器输出的特征向量。
处理所有正训练样本，以保持不变特性。例如，整体平移、旋转和缩放是对人心脏的左心室的不变变换(invariant transform)。正数据的对准直接影响检测器的设计，即，在检测过程中每一对准轴需要被扩展。换句话说，例如，如果在训练数据中取消旋转，则在检测过程中检测器不得不搜索多个旋转。利用被对准的训练数据，学习算法输出所选择的特征和用于正/负分类的相应的判定函数。依据本发明，可以变换(例如缩放和旋转)所有训练数据，以训练所变换的检测器。
训练数据(包括被变换的训练数据)的所有特征被存储于数据库106中(图1)。此外，为每一正数据图像计算特征向量，所述正数据图像包括弱分类器输出和它们的相关权重。每一弱分类器表示与对象相关的部分。正数据的特征向量随后可与为测试图像所计算的特征向量相比较，以帮助识别具有相似特征的正数据。每一正数据图像的对应于沿着对象轮廓的点的位置点也被存储，并被用于形状匹配阶段。
在在线检测阶段中，通过对测试图像或数据容积内的窗或立方体进行平移、旋转和/或缩放，采用用于图像或数据容积的扫描方案，以产生候选数据补片(patch)。针对每一候选物，在整个扫描过程期间或之后达到对象位置、缩放和/或旋转。在一些情况中，应用多个被变换的检测器比变换候选物快。基于提升的检测器可以被用于指示图像中的对象或候选物位置。
在形状匹配阶段中，识别看来似乎包括对象的那些候选物(得胜的候选物)。将相似性匹配算法应用于这些候选物，以从相应的训练数据组中检索最近的邻近者，并将它们的相关形状应用于候选物。特征向量被用于形状匹配，所述形状匹配基于弱分类器输出h/s和它们的相关权重α/s。利用以下空间中的距离度量进行匹配{α1h1，α2h2，...，αKhK}，其中K是弱分类器特征的数量。也可以使用其它特征空间。形状匹配算法搜索与训练数据中的一个或多个图像相关联的“配对(counterpart)”特征向量。一旦已经获得匹配，来自训练组中的相关匹配图像的数据可以被用于提供关于对象形状和结构的细节。
现在将利用二维(2D)数据来描述例子。本领域的技术人员应理解的是，本发明也可以处理三维(3D)数据和四维(3D+时间)数据。图9示出利用原始图像和所跟踪的心内边界、使用LV帧的带注释的数据组、基于学习和匹配的左心室(LV)心内边界检测的示范性框架。
该框架首先构造例如界标或控制点的有序组形式的、被对准的LV补片(模数平移、缩放和旋转)的数据库，其中它的边界带注释。利用该组样本和其它负补片来设计和训练检测算法。例如，可以使用基于提升的特征选择和分类器构造算法。为所有样本计算特征向量。
然后，该框架为LV的定位采用学习的检测算法。所检测的候选物是包括LV的、具有其正确的尺寸和旋转的局部补片。(通过以多个可能的缩放和旋转扫描图像来确定该尺寸和旋转。)最后，从所检测的候选物中提取特征向量，并与数据库相比较，以找到一个或多个最近的邻近者。然后例如利用加权和来组合它们的轮廓，以形成所检测的候选补片的轮廓，其中权重与它们至所检测的补片的匹配距离成比例。一个可能的特征类型将是补片内的图像亮度(具有或不具有二次采样)。其它特征包括弱分类器输出(具有或不具有加权因子)。也可以利用主成分分析(Principal ComponentAnalysis)，以选择这种特征的子集。
图10示出三维数据容积中的肿瘤检测的例子。该方法类似于上面所述的方法，除了3D邻域、3D特征和3D扫描被用于检测匹配。
一旦已经在形状和外观方面检测到并匹配了对象，然后就可以随着时间的过去而跟踪对象的形状。由于心肌的有节律的运动，这种跟踪在超声心动图中是重要的。在形状跟踪过程中，测量不确定性起重要的作用。依据本发明，将单独训练的部分检测器应用于图像，以开发相对稳定的局部外观，同时利用整体形状模型来约束部分合并过程。现在将描述用于在自动形状检测和跟踪过程中最佳地合并来自局部检测、运动动态和子空间形状建模的不确定性的统一框架。提升的部分检测器被用于超声心动图序列中的左心室边界定位。
假设用N(x，Cx)、即具有平均值x和协方差Cx的多维高斯分布表示的候选之前形状的检测，第一步骤是在最佳不变变换的情况下下在样本之前形状x0之中找到具有通过N(x，Cx)、形状模型N(m，Cm)和来自前一时间步骤的预测形状N(x-，Cx-)共同产生的最大似然性的样本之前形状。等效公式是找到x*，以最小化之前形状空间和所变换的形状空间中的Mahalanobis距离的总和，也就是，x*=argmin{T,xo}d2,---(4)]]>d2=(x0′-m)TCm-1(x0′-m)+(x0-x)TCx-1]]>(x0-x)+(x0-x-)TCx--1(x0-x-),---(5)]]>其中x0′＝T(x0)，其中T是不变变换。
在多个候选之前形状的情况下，产生最高似然性的、也考虑检测图中的似然性值的候选之前形状在判定时间获胜。方程(5)需要在位置和变换上的同时最佳化，并且甚至对于简单的变换、诸如仅允许平移、旋转和缩放的相似性变换来说也不具有封闭形式的解。可以通过迭代在数值上寻找整体最佳，但是计算可能太昂贵。
困难源于以下事实，即由任意的之前形状经所有可能的变换所跨越的流形(也就是形状)一般、特别是当子空间维数相对小时不与形状子空间相交。在本发明中，形状子空间具有从6至12的维数，而全欧几里德(Euclidean)空间具有≥34的维数。图11示出用于概念地示出该关系的形状对准的不变流形，其中粗曲线1102描绘之前形状向量X、以及倾斜轴1104和表示子空间模型的一维高斯分布1106所跨越的流形。一般，流形将不与形状模型予空间相交(也就是倾斜轴1104包括模型质心M)。在此省略预测，或者可以把X看作检测和预测的合并结果。本发明涉及作为整体解决方案的两步骤最佳化方案，具有针对两个步骤的封闭形式的解。可以参照图11容易地解释该方案第一步骤是利用Cx中的信息从X转至X*，或换句话说，找到从X至M的最佳变换。第二步骤是利用来自CM的附加信息从X*转至XM。第一步骤被称作对准步骤，而第二步骤被称作约束步骤。
对准步骤的目标是考虑在之前形状和它的协方差矩阵朝模型变换的过程中分量不确定性。首先如下最小化d2d2=(m-x′)TCx′-1(m-x′)---(6)]]>其中x′＝T(x)，并且C′x＝T(Cx)。为了简化符号，假定预测N(x-，Cx)已经被合并成N(x，Cx)。
当T是相似性变换时，具有x′＝Rx+t， (7)其中t是具有两个自由参数的平移向量，并且R是块对角矩阵，其中每一块是Ri=a-bba---(8)]]>利用纯代数(straight algebra)，可以如下重写方程(6)d2＝(R-1(m-t)-x)TCx-1(R-1(m-t)-x)＝(T-1(m)-x)TCx-1(T-1(m)-x) (9)通过对R和t中的四个自由参数取导数，可以获得封闭形式的解。图12a和12b示出在考虑和没有考虑点位置的不确定性的情况下的形状对准。图12a示出在没有考虑定位的不确定性的情况下的形状对准。图12b示出利用异方差不确定性的形状对准。椭圆1202-1212描绘关于点位置的协方差，表示块对角Cx中的信息。直觉是更相信具有更高置信度的点。
一旦之前形状与模型对准，对由两个竞争信息源(也就是，对准的检测/预测与(子空间)模型相对)所产生的具有最大似然性的形状进行确定。在全空间模型的情况下，公式直接涉及利用高斯源或BLUB(最佳线性无偏估计量(Best Linear Unbiased Estimator))的信息合并。
假定相同的n维变量x的两个有噪声的测量，每一个测量的特征在于多维高斯分布，即N(x1，C1)和N(x2，C2)，x的最大似然估计是具有修订的Mahalanobis距离D2(x，x2，C2)的最小总和的点。不失一般性地假定C2是奇异的。利用C2＝UΛUT的奇异值分解，其中U＝[u1，u2，...，un]，同时ui是标准正交的，并且Λ＝diag{λ1，λ2，...，λp，0，...，0}，至x2的Mahalanobis距离如下D2(x,x2,C2)=(x-x2)TC2-1(x-x2)]]>=Σi=1nλi-1[UT(x-x2)]2---(10)]]>当λi趋于0时，D2(x1，x2，C2)趋向无穷大，除非UT0x＝0，其中U0＝[up+1，up+2，...，un]。在这里不失一般性地假定子空间通过原始空间的原点。由于x2居于子空间中，所以U0Tx2＝0。
因为U0Tx＝0，所以d2现在变成d2=(Upy-x1)TC1-1(Upy-x1)+]]>(Upy-x2)TC2+(Upy-x2)---(11)]]>其中y是1×p向量。
对y取导数，产生子空间的合并估计量y*=Cy*UpT(C1-1x1+C2+x2),---(12)]]>Cy*=[UpT(C1-1+C2+)Up]-1,---(13)]]>利用原始空间中的等效表达式x*=Upy*=Cx*(C1-1x1+C2+x2)---(14)]]>
Cx*=UpCy*UpT---(15)]]>可以示出Cx*和Cy*是x*和y*的相应的协方差矩阵。
替代地，可以如下来写方程(12)和方程(13)y*=(UpTC1-1Up+Λp-1)-1(UpTC1-1x1+Λp-1y2)---(16)]]>在这里，y2是x2在由Up所跨越的子空间中的变换坐标，并且Λp＝diag{λ1，λ2，...，λp}。方程(16)可被看作两个高斯分布的子空间中的BLUE合并，其中一个高斯分布是N(y2，Λp)，并且另一个高斯分布是子空间中的N(x1，C1)、N((UTpC1-1Up)-1UTpC1-1x-1，(UTpC1-1Up)-1)的交集。
上述子空间合并为(子空间)模型约束、将(具有异方差不确定性的)形状测量和主成分分析(PCA)形状模型视为两个信息源提供一般公式。下面，添加第三个源，其表示根据跟踪的动态预测。除检测之外从跟踪获得的至关重要的好处是来自支配预测的系统动态的附加信息以及信息在时间上的合并。基于上面的分析，方程(4)的解具有下面的形式x+=Cx+(T{(Cx-+Cx-1)-1]]>(Cx-x-+Cx-1x)}+Cm+m),---(17)]]>该解将来自检测、形状模型和动态预测的信息放在统一的框架中。当也在子空间中限定预测形状时，上面所述的子空间BLUE公式可以以嵌套方式被应用于变换T内。预测N(x-，Cx-)包括来自系统动态的信息。该信息被用于对全局运动趋势、诸如扩张和收缩以及缓慢的平移和旋转进行编码。利用传统的方法、诸如Kalman设置中的预测滤波器，可以获得N(x-，Cx-)Cx-=SCx+,prevST+Q,---(19)]]>其中系统动态方程是
x-＝Sx+，prev+q，(20)并且Q是q的协方差，并且“prev”表示来自前一时间步骤的信息。
图13示出分析步骤的示意图，其中通过所有步骤传播检测的不确定性。在每一帧处，通过比较在两个形状模型的上下文中多个检测候选物的似然性以及基于系统动态根据前一帧的预测，对多个检测候选物进行评估。诸如1302-1316的椭圆示出位置不确定性。在对准过程中利用形状对不确定性进行变换，在似然估计与跟踪过程中利用模型和预测的先验信息来合并不确定性。
已经描述了用于利用外观和形状来检测和匹配解剖结构的方法的实施例，但需要指出，根据上面的教导，本领域的技术人员可以进行修改和改变。因此应理解的是，可以在如所附的权利要求所限定的本发明的范围和精神中公开的本发明的具体实施例中进行改变。已经因此描述了具有专利法所要求的细节和特性的本发明，在所附的权利要求中阐述了由专利特许证要求保护和期望保护的内容。
权利要求
1.一种用于检测包括无效数据区域的图像中的对象的方法，该方法包括以下步骤确定用于该图像的数据掩模，以指示该图像中的哪些像素是有效的；将该数据掩模表示为积分掩模，在所述积分掩模中每一像素具有对应于在该像素之上和在该像素左边的图像中的有效像素的总数的值；将矩形特征应用于该图像，所述矩形特征至少具有一个正区域和一个负区域；利用该积分掩模确定该矩形特征中有效的像素的数量；对包括无效像素的区域的平均亮度值求近似；通过计算该矩形特征的正和负区域中的亮度值的总和之间的加权差，确定该矩形特征的特征值；以及利用该特征值来确定是否已经检测到对象。
2.权利要求1的方法，其中，所述数据掩模赋予那些无效的像素值0。
3.权利要求2的方法，其中，所述数据掩模赋予那些有效的像素值1。
4.权利要求1的方法，其中，所述亮度值是像素的灰度级值。
5.权利要求1的方法，其中，所述图像是超声图像。
6.权利要求5的方法，其中，所述对象是左心室。
7.权利要求1的方法，其中，所述对象是脸。
8.权利要求1的方法，其中，所述无效数据区域是部分地阻碍对象的遮挡。
9.一种用于检测图像中的对象的方法，包括以下步骤a)为该图像的窗中的分类器计算特征值；b)确定该特征值是否超过预定阈值；c)如果该特征值超过阈值，则为该图像的窗中的随后的分类器计算随后的特征值；d)组合该特征值和随后的特征值的值；e)确定组合特征值是否超过当前组合的组合阈值；f)如果该组合特征值超过组合阈值，则重复步骤c)-e)，直到没有随后的分类器或者组合特征值不超过组合阈值；以及g)利用最后的组合特征值来确定是否已经检测到对象。
10.权利要求9的方法，其中，所述图像是超声图像。
11.权利要求10的方法，其中，所述对象是左心室。
12.权利要求9的方法，其中，所述对象是脸。
13.一种用于检测图像中的解剖结构以及使图像中的解剖结构与图像的训练组中的一个或多个解剖结构相匹配的方法，包括以下步骤接收候选图像；从该候选图像中提取特征值；应用分类函数，以检测解剖结构；如果检测到解剖结构，则通过使候选图像的所提取的特征值与训练组中的配对图像的特征值相匹配来识别图像的训练组中的一个或多个配对图像；以及利用来自训练组的匹配配对图像中的解剖结构的一个或多个形状来确定候选图像中的解剖结构的形状。
14.权利要求13的方法，其中，匹配特征值的步骤进一步包括以下步骤为候选解剖结构产生特征向量；以及比较候选特征向量和与配对图像相关的特征向量。
15.权利要求14的方法，其中，所述特征向量包括多个弱分类器输出h/s和相关的权重α/s。
16.权利要求15的方法，其中，匹配步骤进一步包括利用不同的距离量度，这包括利用欧几里得距离函数中的加权矩阵。
17.权利要求13的方法，其中，所述应用分类函数的步骤进一步包括以下步骤使窗扫描通过候选图像。
18.权利要求13的方法，其中，以分级方式执行所述应用步骤。
19.权利要求13的方法，其中，所述分类函数利用提升。
20.权利要求13的方法，其中，所述分类函数利用AdaBoosting。
21.权利要求13的方法，其中，所述分类函数利用RankBoosting。
22.权利要求13的方法，其中，所述分类函数利用支持向量机。
23.权利要求13的方法，其中，所述图像是超声图像。
24.权利要求23的方法，其中，所述解剖结构是左心室。
25.权利要求13的方法，其中，所述解剖结构是脸。
26.一种用于使图像中的解剖结构与图像的训练组中的一个或多个相似成形的解剖结构相匹配的方法，包括以下步骤接收候选解剖结构的图像；从该图像中提取特征；将与相似成形的解剖结构相关的特征与候选解剖结构相比较；以及通过利用来自训练组的至少一个最近邻近者的形状来确定候选解剖结构的形状。
27.权利要求26的方法，其中，所述候选解剖结构具有用一组控制点来注释的它的轮廓。
28.权利要求26的方法，其中，所述相似成形的解剖结构中的每一个都具有用一组控制点来注释的它的轮廓。
29.权利要求26的方法，其中，比较特征的步骤进一步包括以下步骤为候选解剖结构产生特征向量；以及比较候选特征向量和与相似成形的解剖结构相关的特征向量。
30.权利要求29的方法，其中，所述特征向量包括多个弱分类器输出h/s和相关的权重α/s。
31.权利要求30的方法，其中，比较步骤进一步包括利用不同的距离量度，这包括利用欧几里得距离函数中的加权矩阵。
32.权利要求26的方法，其中，所述图像是超声图像。
33.权利要求32的方法，其中，所述解剖结构是左心室。
34.权利要求26的方法，其中，所述解剖结构是脸。
35.一种用于检测和跟踪图像中的候选对象的可变形形状的方法，所述形状通过多个所标记的控制点来表示，该方法包括以下步骤检测图像帧中可变形形状的至少一个控制点；针对与候选对象相关的每一个控制点，计算位置不确定性矩阵；产生形状模型，以表示在随后的图像帧中可变形形状的动态，所述形状模型包括来自典型对象的图像的训练数据组的统计信息；将形状模型与候选对象的可变形形状对准；合并形状模型与可变形形状；以及评估候选对象的当前形状。
36.权利要求35的方法，其中，所述形状模型描绘随着时间的过去可变形的形状。
37.权利要求35的方法，其中，通过协方差矩阵来表示多个控制点的定位不确定性。
38.权利要求35的方法，其中，所述形状模型被表示为单模式或多个标准高斯分布的混合物。
39.权利要求35的方法，其中，在对准步骤过程中利用候选对象来变换位置不确定性矩阵。
40.权利要求35的方法，其中，所述形状模型是通过连接控制点的坐标所产生的空间中的高斯模型。
41.权利要求35的方法，其中，所述对准步骤进一步包括以下步骤使候选解剖结构的控制点与训练组的平均形状的相应控制点匹配。
42.权利要求41的方法，其中，匹配控制点的步骤进一步包括以下步骤将候选解剖结构的定向变换至平均形状的相同定向。
43.权利要求42的方法，其中，所述变换包括候选解剖结构的图像的平移。
44.权利要求42的方法，其中，所述变换包括候选解剖结构的图像的旋转。
45.权利要求42的方法，其中，所述变换包括候选解剖结构的图像的缩放。
46.权利要求35的方法，其中，所述对准步骤考虑位置不确定性矩阵。
47.权利要求46的方法，其中，使用加权的最小平方公式，其中通过位置不确定性矩阵来确定加权矩阵。
48.一种用于检测图像中的解剖结构以及使图像中的解剖结构与图像的训练组中的一个或多个解剖结构相匹配的系统，包括以下步骤用于接收候选图像的装置；用于从候选图像中提取特征值的装置；用于应用分类函数以检测解剖结构的装置；用于通过使候选图像的所提取的特征值与训练组中的配对图像的特征值相匹配来识别图像的训练组中的一个或多个配对图像的装置；以及用于利用来自训练组的匹配配对图像中的解剖结构的形状来确定候选图像中的解剖结构的形状的装置。
49.权利要求48的系统，其中，用于识别配对图像的装置进一步包括用于为候选解剖结构产生特征向量的装置；以及用于比较候选特征向量和与配对图像相关的特征向量的装置。
50.权利要求49的系统，其中，所述特征向量包括多个弱分类器输出h/s和相关的权重α/s。
51.权利要求48的系统，其中，所述用于应用分类函数的装置进一步包括用于使窗扫描通过候选图像的装置。
52.权利要求48的系统，其中，所述分类函数利用提升。
53.权利要求48的系统，其中，所述分类函数利用AdaBoosting。
54.权利要求48的系统，其中，所述分类函数利用RankBoosting。
55.权利要求48的系统，其中，所述分类函数利用支持向量机。
56.权利要求48的系统，其中，所述图像是超声图像。
57.权利要求56的系统，其中，所述解剖结构是左心室。
58.权利要求48的系统，其中，所述解剖结构是脸。
59.一种用于检测和跟踪图像中的候选对象的可变形形状的系统，所述形状通过多个所标记的控制点来表示，该方法包括步骤用于检测图像帧中可变形形状的至少一个控制点的装置；用于针对与候选对象相关的每一个控制点而计算位置不确定性矩阵的装置；用于产生形状模型以表示在随后的图像帧中可变形形状的动态的装置，所述形状模型包括来自典型对象的图像的训练数据组的统计信息；用于使形状模型与候选对象的可变形形状对准的装置；用于合并形状模型与可变形形状的装置；以及用于评估候选对象的当前形状的装置。
60.权利要求59的系统，其中，所述形状模型描绘随着时间的过去可变形的形状。
61.权利要求59的系统，其中，通过协方差矩阵来表示多个控制点的定位不确定性。
62.权利要求59的系统，其中，所述形状模型被表示为单模式或多个标准高斯分布的混合物。
63.权利要求59的系统，其中，在对准步骤过程中利用候选对象来变换位置不确定性矩阵。
64.权利要求59的系统，其中，所述形状模型是通过连接控制点的坐标所产生的空间中的高斯模型。
65.权利要求59的系统，其中，所述用于对准的装置进一步包括用于使候选解剖结构的控制点与训练组的平均形状的相应控制点匹配的装置。
66.权利要求65的系统，其中，用于匹配控制点的装置进一步包括用于将候选解剖结构的定向变换至平均形状的相同定向的装置。
67.权利要求66的系统，其中，所述变换包括候选解剖结构的图像的平移。
68.权利要求66的系统，其中，所述变换包括候选解剖结构的图像的旋转。
69.权利要求66的系统，其中，所述变换包括候选解剖结构的图像的缩放。
70.权利要求59的系统，其中，所述用于对准的装置考虑位置不确定性矩阵。
71.权利要求70的系统，其中，使用加权的最小平方公式，其中通过位置不确定性矩阵来确定加权矩阵。
全文摘要
公开了一种利用外观和形状来匹配解剖结构的检测框架。利用图像的训练组，其中在图像中注释对象形状或结构。图像的第二训练组表示这种形状和结构的负样本，也就是不包括这种对象或结构的图像。根据该训练组所训练的分类算法被用于检测在它的位置处的结构。使该结构与可以提供关于所述结构的形状和外观的细节的训练组中的配对物匹配。
文档编号G06F19/00GK1906634SQ200480040666
公开日2007年1月31日 申请日期2004年11月19日 优先权日2003年11月19日
发明者X·S·周, B·戈格斯库, D·科马尼丘, R·B·劳, A·古普塔 申请人:西门子共同研究公司, 美国西门子医疗解决公司