背景技术：
在本领域中，需要提高如何在图像内自动描绘关注结构的形状的效率和准确度。例如，非常需要准确地描绘患者图像内的诸如前列腺结构的形状。通过准确地描绘前列腺形状，可使得诸如放射疗法的用于治疗的计划更加有效。
技术实现要素：
为了满足本领域中的这种需求，本发明人公开了一种用于自动描绘图像数据内的关注结构的装置，所述图像数据包含关注区域的被检体图像，所述关注区域包含所述关注结构，所述图像包括多个数据点，数据点包括多个强度值，该装置包括：处理器，被配置为：(1)计算所述多个数据点的多个特征，这些特征指示数据点的多个窗口上的强度变化；(2)基于向经训练的界标检测器应用所计算的特征，检测所述图像内的多个界标的多个位置；(3)基于所检测的界标位置，产生所述关注结构的形状估计；以及(4)根据形状细化工具来细化所述形状估计，由此计算所述关注结构的经细化的形状估计。利用示例性实施例中的这种装置，界标检测基于图像的宽区域提供对结构形状的有用的初始粗略近似，同时可以使用形状细化工具，以使用图像的较窄区域来细化初始形状近似。因此，在示例性实施例中，可以使用图像的局部方面和全局方面两者来细化关注结构的形状。
根据另一个方面，本发明人公开了一种用于自动描绘图像数据内的关注结构的方法，所述图像数据包括关注区域的被检体图像，所述关注区域包含所述关注结构，所述图像包括多个数据点，数据点包括多个强度值，该方法包括：(1)计算所述多个数据点的多个特征，这些特征指示数据点的多个窗口上的强度变化；(2)基于向经训练的界标检测器应用所计算的特征，检测所述图像内的多个界标的多个位置；(3)基于所检测的界标位置，产生所述关注结构的形状估计；以及(4)根据形状细化工具来细化所述形状估计，由此计算所述关注结构的经细化的形状估计，以及其中，方法步骤由处理器执行。
另外，本发明人公开了一种用于自动描绘图像数据内的关注结构的计算机程序产品，所述图像数据包括关注区域的被检体图像，所述关注区域包含所述关注结构，所述图像包括多个数据点，数据点包括多个强度值，该计算机程序产品包括驻留在非暂时性计算机可读存储介质上并且可由处理器执行的多个指令，以：(1)计算所述多个数据点的多个特征，这些特征指示数据点的多个窗口上的强度变化；(2)基于向经训练的界标检测器应用所计算的特征，检测所述图像内的多个界标的多个位置；(3)基于所检测的界标位置，产生所述关注结构的形状估计；以及(4)根据形状细化工具来细化所述形状估计，由此计算所述关注结构的经细化的形状估计。
根据这里描述的又一个示例性方面，本发明人公开了一种用于使用多个图集图像来训练界标检测器的装置，所述图集图像包含界标相对于关注结构的位置信息，该装置包括：处理器，被配置为：(1)从所述图集图像收集多个正样本和多个负样本；(2)计算所收集的正样本和负样本的多个哈尔(Haar)状特征；以及(3)向机器学习算法应用所计算的哈尔状特征和与所计算的哈尔状特征相关联的位置数据，以训练界标检测器来检测界标。还公开了相应的方法和计算机程序产品。
根据这里描述的又一个示例性方面，本发明人公开了一种装置，该装置包括：处理器，被配置为：(1)接收与对图像内的前列腺的第一界标位置的选择对应的输入；(2)访问代表所述图像内的前列腺的轮廓的数据；(3)根据应用到第一界标位置的空间距离准则，沿所述轮廓自动选择前列腺的多个附加界标位置；以及(4)与所述图像相关联地存储第一界标位置和附加界标位置。还公开了相应的方法和计算机程序产品。
另外，本发明人公开了一种装置，该装置包括：处理器，被配置为：(1)基于概率图将界标相对于图像中的结构的多个候选位置求解为单个界标位置，所述概率图是根据界标的高斯分布模型而限定的；(2)重复多个不同界标的求解运算；(3)基于单个界标位置初始化所述结构的形状估计；以及(4)迭代地细化所述形状估计。还公开了相应的方法和计算机程序产品。
本领域技术人员在审视了以下的说明书和附图中的教导时，将很容易理解本发明的这些和其它特征和优点。
附图说明
图1示出用于使用经训练的界标检测器和形状细化工具来处理被检体图像的示例性实施例。
图2示出用于与被检体图像内的结构形状的自动描绘协作地训练界标检测器和边界检测器的示例性处理流程。
图3示出用于使用图集图像数据来训练界标检测器的示例性实施例。
图4(a)示出用于使用机器学习算法来训练界标检测器的示例性处理流程。
图4(b)和图4(c)示出可以对于示例性实施例如何计算哈尔状特征的例子；
图5示出表示关注结构的多个界标的示例性图像。
图6(a)和图6(c)示出用于向新的被检体图像应用经训练的界标检测器以检测其中的界标位置的示例性处理流程。
图6(b)示出可以如何在检测阶段期间在图像的滑动窗口上计算哈尔状特征的例子。
图7示出表示界标检测结果的示例性图像。
图8示出具有关注结构的边界信息的示例性图集图像。
图9示出根据示例性实施例的用于形状细化的示例性处理流程，该处理流程利用经训练的边界检测器和形状词典。
图10示出根据示例性实施例的对于关注结构的形状细化。
图11示出用于产生与治疗计划关联使用的关注结构的3D体积的一组示例性的经细化的轮廓估计。
图12示出用于更新形状词典的示例性实施例。
图13示出根据示例性实施例的利用可变形的形状模型的用于形状细化的示例性处理流程。
具体实施方式
现在描述涉及使用机器学习算法来训练自动界标检测器以及使用经训练的界标检测器和形状细化工具来执行图像数据内的关注结构的自动轮廓修整(contouring)这两者的各种实施例。
应当理解，使用在这里描述的技术处理的图像可采取许多形式中的任一种。在各种示例性实施例中，图像可以是诸如CT图像的医疗图像。但是，应当理解，可以采用不同类型的图像。例如，也可使用在这里描述的技术来处理诸如磁共振(MR)图像和超声图像的图像类型。图像可包括多个图像数据点，这些图像数据点的位置可通过坐标系来表示。
图1示出用于自动描绘图像数据内的结构形状的示例性实施例。如图1所示，处理器100可被配置为实现处理逻辑104，由此，借助于一个或多个经训练的界标检测器108和形状细化工具110来处理新的被检体图像106，以产生关注结构的一个或多个经细化的轮廓112。经细化的轮廓数据112可采取许多形式中的任一种。例如，轮廓数据可包括位于关注结构的边界上的多个图像数据点(例如，均匀分布(在轮廓上)的60个数据点)，其中，每个点由其在图像内的坐标来表示。还应当理解，被检体图像106可以为二维(2D)图像或三维(3D)图像。
处理器100可以是具有足够的计算能力以实现在这里描述的自动描绘特征的任何处理器。应当理解，处理器100可包括可选地经由网络分布的多个处理器。用于实现处理逻辑104的编程指令可驻留于非暂时性计算机可读存储介质(例如，存储器102)上，以供处理器100访问和执行。应当理解，存储器102可包括多个存储器装置，这些存储器装置可选地为多个分布式存储器装置和/或不同类型的存储器装置。
经训练的界标检测器108被配置为处理图像106的数据点，以自动检测图像106内的某些界标的存在和位置。在示例性实施例中，每个经训练的界标检测器108被配置为检测不同的界标，尽管不需要如此。界标检测器108可采取多个形式中的任一种，诸如一组机器可执行的规则。另外，如果从业者期望，那么经训练的界标检测器108可被配置为并行地处理图像的多个点，尽管不需要如此。如下面讨论的那样，可经由分析图像数据点的各种属性来检测界标。期望将对于不同结构和其它因素使用不同的界标。然后，如下面讨论的那样，可使用所检测的界标来产生结构的初始形状估计。
处理器100可利用形状细化工具110和经训练的界标检测器108的输出，以自动估计图像106内的关注结构的边界。可采用的形状细化工具110的例子是边界检测器，该边界检测器可以采取多个形式中的任一种，包含经训练的边界检测器，该经训练的边界检测器包括一组机器可执行的规则。可采用的形状细化工具的另一个例子是形状变形算法。另外，如果从业者期望，那么形状细化工具110可被配置为并行地处理图像的多个点，尽管不需要如此。形状细化工具110可迭代地操作来估计和调整关注结构的估计边界，以产生经细化的轮廓数据112。
图2示出详述可以如何处理被检体图像106以产生经细化的轮廓112的示例性处理流程。图2的左半部分(相对于垂直虚线)示出一般与由处理逻辑104执行的操作对应的处理流程。图2的右半部分(相对于垂直虚线)示出被执行以使用机器学习算法来训练界标检测器108和边界检测器110的处理流程。在示例性实施例中，图2的右半部分被离线地执行，而图2的左半部分被在线地执行。也就是说，可在产生或处理新的被检体图像106之前执行训练各种检测器的任务。因此，在需要处理新的被检体图像106之前，经训练的界标检测器108和经训练的边界检测器可能已准备好处理图像数据。因此，处理逻辑104将能够以有效的方式产生经细化的轮廓估计，在期望在取得新的被检体图像之后迅速地使用经细化的轮廓数据的情况下，这可能是特别有用的。但是，应当理解，如果期望的话，从业者仍可选择通过处理新的被检体图像在线地实现训练检测器的任务。
对于离线操作，可使用机器学习算法来处理诸如图集图像200的训练数据，以创建经训练的界标检测器和边界检测器。图集图像200优选地包含注释，这些注释用作对于训练处理的关注信息的参照数据。例如，用来训练界标检测器的图集200可包含对界标位于这些图集图像中的哪里的识别。类似地，用来训练边界检测器的图集200可包含对关注结构的边界位于哪里的识别。在一些情况下，图集图像可包含界标信息和边界信息两者，在这种情况下，这种图集图像可被用来训练界标检测器和边界检测器两者，但不需要如此。图集中包含的注释可通过手动技术由经训练的专业人员来提供，或者通过自动技术(优选地在确认自动结果的准确度之后)来提供。因而，在示例性实施例中，训练数据的全集可用作对界标和边界存在于现有图像中的哪里的可靠识别。在示例性实施例中，图集图像200可以是除了作为新图像106的被检体的人以外的人的图像，但是不需要如此。在一些情况下，图集200可以是被检体自身的现有图像。
在步骤202，图集图像可被对准，以便创建用于评价界标和边界的共用参照框架。多个技术中的任一种可用于图像对准/配准操作。例如，可在步骤202使用刚性变换技术。可对图集图像体积数据的切片成对地执行这种刚性变换。适当的刚性变换的例子是相似性变换，但也可采用诸如基于相互信息的配准、仿射变换等其它技术，如由Zitova等的“Image registration methods:a survey”，Image and Vision Computing,21,p.977-1000(2003)所描述的，其全部内容通过引用合并于此。存在4个自由度：缩放、旋转、x方向平移和y方向平移。
在步骤204，对准的图集图像被处理，以使用机器学习算法来训练界标检测器108。如图2的例子所示，可对每个关注界标执行不同的训练操作。图3和图4详述可以如何执行该训练。图5示出表示不同的关注界标502的位置的前列腺区域的示例性图像500。可训练不同的检测器108来找到每个界标502。
在本例子中，不同的界标502是前列腺区域上的五个解剖点。这些界标点可被选择，以便紧密地接近于所期望的前列腺解剖结构，在所期望的前列腺解剖结构中，存在相对于相邻的非前列腺区域的良好的对比度。在示例性实施例中，对于每个图集图像切片，将存在前列腺的带注释的标定过的真实轮廓(ground-truth contour)。这种标定过的真实轮廓可由(轮廓上的)60个均匀分布的点来代表，其中，每个点由其在图集图像切片内的(x,y)坐标来代表。
可由专家或者其它适当的技术人员从轮廓点中的一个手动地选择顶部中心界标5021。在示例性实施例中，顶部中心界标5021位于标定过的真实轮廓上以及到耻骨的左边和右边具有大致相同距离的图像的中心区域中。即，经训练的人可选择在右耻骨的最左部分与左耻骨的最右部分之间大致等距的沿标定过的真实轮廓的位置(参照图5所示的图像透视图)，以用作顶部中心界标5021。可根据粗略地与距离对应的选择准则自动地选择剩余的4个界标点。例如，可从轮廓点中选择剩余的4个界标点，以便创建从顶部中心界标5021顺时针移动10个轮廓点(对于界标点5022)、10个轮廓点(对于界标点5023)、20个轮廓点(对于界标点5024)和10个轮廓点(对于界标点5025)的界标点之间的间隙，由此在界标点5025与5021之间留下10个轮廓点。应当理解，如果从业者期望，那么可以采用界标点之间的不同的间隔准则。
图3示出被配置为相互协作以执行处理逻辑304的处理器300和存储器302，其中，处理逻辑实现图2的步骤202和步骤204。处理器300和存储器302可以可选地与处理器100和存储器102相同，尽管不需要如此。处理逻辑304可驻留于非暂时性计算机可读存储介质(例如，存储器302)上，以供处理器300访问和执行。图4(a)示出处理逻辑304实现步骤202和步骤204的示例性处理流程。
在图4(a)的例子中，不同的图集200(例如，2001、2002、…)包含3D图像体积。在步骤400，处理器从3D体积数据提取2D切片。在步骤402，优选地以成对的方式对准来自共用图集的2D切片。如上所述，该对准处理可使用刚性变换或其它适当的图像配准技术。对准的切片将示出包含关注结构的关注区域。例如，在关注结构是前列腺的实施例中，可期望图像切片将包含全部的前列腺区域、耻骨联合的全部或一部分、以及直肠的全部或一部分。
在步骤404，处理器从对准的2D切片收集多个训练样本。可以收集正训练样本和负训练样本两者。例如，可从2D切片收集界标点自身和被视为在空间上接近界标点的多个点，以对于该2D切片限定一组正样本。作为例子，可以使用与界标点的1mm距离来管理从中选择正样本的区域。可在该区域内随机选择正样本。对于负样本，处理器可从被视为不接近关注界标的2D切片中选择多个点。可以使用相对于界标点的更大的距离阈值来限定该负区域。处理器也可被配置为从该负区域中随机选择负样本。而且，处理器可进行这些选择，以实现正样本与负样本之间的约1:1.5的比率。
在步骤406，处理器计算指示图像数据点的窗口上的强度变化的所收集的训练样本的特征。例如，特征可以是哈尔(Haar)状特征。哈尔状特征可被用来代表每个采样位置处的矩形区域。图4(b)示出了选择图像450的矩形区域452(或窗口)的例子。哈尔状特征可被计算为暗“+”区域454内的像素强度之和与白“-”区域456内的像素强度值之和之间的差值。如图4(c)所示，可以采用具有相应的“+”区域和“-”区域的窗口454的多个图案中的任一种。在示例性实施例中，可以采用图4(c)的左下部分中所示的窗口图案。具体地，利用这种实施例，步骤406可考虑以检测窗口中的被检体样本点为中心的4个相邻的矩形区域。对每个矩形区域内的像素强度求和，然后计算这些和之间的差值。然后，每个差值被记录为该样本的特征矢量内的值。所提取的特征矢量的尺寸将随着检测窗口的尺寸而改变。在示例性实施例中，窗口尺寸可以是24mm×24mm，尽管应当理解，可以采用不同的窗口尺寸。在Viola等的“Rapid Object detecting using a boosted cascade of simple features”,Proc.of IEEE Conf.on Computer Vision and Pattern Recognition”,p.511-518(2001)中找到了可以如何计算哈尔状特征的描述，其全部公开内容通过引用合并于此。
在步骤408，处理器向机器学习算法施加所收集的样本和它们的所计算的属性来训练界标检测器，以在取得关注界标的资格的点与未取得关注界标的资格的点之间进行区分。由于哈尔状特征是弱的学习者或分类器，因此，优选地使用相对大量的哈尔状特征来准确地描述对象。因此，可通过简单分类器的级联来组织和学习哈尔状特征，以形成强的学习者。在示例性实施例中，出于此目的使用的机器学习算法可以是LogitBoost(罗吉特增强)机器学习算法。
LogitBoost算法可被用来从弱的分类器开始学习。具体而言，弱的分类器被依次训练。可根据先前分类器的分类的准确度在迭代之间更新训练集的权重分布。对下一次迭代增加错误分类的样本的权重，而减小正确分类的样本的权重。然后，利用这种重新加权的分布来训练下一个分类器。每个分类器的权重的变化量与分类器的分类错误成比例。利用LogitBoost算法，可以使用自适应牛顿步骤来拟合自适应对称逻辑模型。该方法提供的优点在于很少把重点放在被不良地分类的样本上，这是因为这些样本最可能是应从计算中排除的异常值。因此，步骤408进行操作以产生灵活和健壮的用于关注界标i的经训练的界标检测器108i。用于界标i的经训练的界标检测器108i可以是一组经训练的简单分类器，其中，每个分类器具有经训练的阈值和限定其重要度的经训练的权重值。如下面讨论的那样，可在检测阶段期间利用这些参数。
可在Friedman等的“Additive logistic regression:a statistical view of boosting”,Annals of Statistics,28(2),p.337-407(2000)中找到LogitBoost机器学习算法的描述，其全部公开内容通过引用合并于此。然而，应当理解，可以采用诸如AdaBoost(Ada增强)、FloatBoost(浮点增强)、Any Boost(任意增强)和MarginBoost(余裕增强)机器学习算法之类的其它机器学习算法来训练界标检测器108。
再一次，应当理解，可对于每个关注界标分开地执行图4(a)的处理流程。可选地，可以配置不同的处理器和存储器以训练不同的界标检测器108。
返回图2，在步骤206，对准的图集图像被处理，以使用机器学习算法来训练边界检测器。可按照与通过图3描述的方式类似的方式由处理器和存储器执行该操作。在示例性实施例中，步骤206的机器学习算法可以是随机森林(RF)机器学习算法(参见Breiman,Leo,“Random Forests”,Machine Learning,45(1):5-32,2001，其全部公开内容通过引用合并于此)。图8示出表示关注结构的边界信息的图集图像800的例子(边界由每个图像800内的白区域与黑区域之间的过渡来限定)。
这种情况下的RF算法进行运算，以产生作为判定树的集合的经训练的边界检测器。每个判定树是以树状结构组织的一组判定规则。树的每个节点应用判定规则，这被称为测试函数或分离函数。每个测试函数以属性或特征值为输入并且产生二进制(是/否)输出。基于是/否回答，输入数据被发送到当前节点的左子节点或右子节点。子节点将基于新的特征值运行另一个测试。重复该操作，直到达到所谓的“叶节点”。“叶节点”是没有“子”节点的树节点。每个叶节点具有与其相关联的分类标签，但有时它也可以是指示属于特定分类(例如，边界状态)的可能性的概率值。这些规则可被表达为具有二进制输出的测试函数，例如：
其中，νi表示第i个特征值，而ai、bi是两个阈值。因此，利用使用RF算法训练的边界检测器，检测器可采取判定树的全体的形式，其中，每个树是以树状或流程图状结构组织的一组判定规则，其中，每个内部(非叶)节点表示对属性(即，判定规则)的测试，每个分支代表测试的结果，并且每个叶(或端)节点保持分类标签(例如，边界状态)。
在步骤206中，由于每个树与其它树相独立地被训练，因此，如果期望的话，可以并行地构建树。训练样本被RF算法使用，以“学习”树，即，判定在每个内部树节点上使用哪个判定规则。对于RF算法，使用训练数据的随机子集来构建每个树，使得不同的树高度地不相关。一旦训练样本被收集并且对于树计算这些训练样本的属性，就通过一次添加一个节点来递归地构建树。在每个节点上，RF算法的目的是找到最有效地分开到达当前节点的训练数据的最佳判定规则。在二进制分类的情况下，“最佳分开”意味着节点的每个分支应尽可能多地包含来自同一类别的样本。因此，利用RF算法进行训练或学习处理的目的是，确定在当前节点上使用哪个特征以及应用什么阈值以最佳地分开训练数据。利用RF算法，在每个节点上只考虑所有特征的小的随机子集，并且在该随机子集之中选择“最佳”特征而不是使用所有特征。该随机化的目的也是尽可能地使得树独立。每个新添加的节点将进入的(训练)数据分成两个分支(两个子集)，并且重新在随后的子节点上再次测试每个子集。因此，每个(非叶)节点可具有两个子节点。树继续生长，直到到达每个子节点的训练数据均属于同一类别。子节点然后变为树的叶节点，并且到达子节点的训练数据的类别标签变为该叶节点的标签。
存在公开可用的大量的RF算法实现方式，例如，Weka机器学习软件包是在线可用的，并且它包含RF算法软件包。这些软件包还包括已知的接口，通过这些接口，可向机器学习算法应用训练样本。另外，由这种软件包产生的经训练的边界检测器可采取将判定树表达为机器可执行规则的形式，诸如文本文件。
如果期望的话，RF算法可由此自然地处理多个类别，即，一个检测器用于分类几个结构(加背景)。基于RF的检测器的输出可以是输入数据属于哪个类别的概率估计，这与一些其它的学习算法会产生的硬判定相比也是优选的。另外，RF算法在检测器训练和检测器应用上均十分迅速，并且它可应对非常大的输入数据。
然而，应当理解，如果从业者期望的话，可在步骤206采用其它的机器学习算法。可在步骤206采用的其它机器学习算法的例子包括LogitBoost算法以及在Witten,I.H.Frank,E.,Hall,M.A.:Data Mining:Practical machine learning tools and techniques,Third Edition,Morgan Kaufmann Publishers(2011)(其全部公开内容通过引用合并于此)中描述的那些算法，诸如支持向量机(SVM)或AdaBoost机器学习算法。
一旦界标检测器108和检测器边界已被训练了，系统就准备好处理新的被检体图像106。转到图2的在线部分，在步骤208，产生新的被检体图像。可在步骤208使用任何适当的图像产生技术和设备。另外，应当理解，所产生的图像106可以是2D或3D图像。如果产生3D图像体积，那么步骤208也可包括产生3D图像体积的2D切片以及(使用之前讨论的图像配准技术)执行2D切片的对准。
在步骤210，处理器通过使用经训练的界标检测器108来处理新的被检体图像数据，以检测图像数据内的关注界标的位置。在这样做时，步骤210可计算指示被检体图像数据点的窗口的强度变化的特征，然后向经训练的界标检测器应用这些计算的特征。图6(a)和图6(c)示出步骤210的示例性处理流程。应当理解，可对由系统采用的每个界标检测器108重复图6(a)的处理流程。因此，如果使用5个界标检测器来检测5个不同的界标，那么可对每个关注界标重复图6(a)的处理流程(或至少图6(a)的步骤602～608)。类似地，可对每个关注界标重复图6(c)的处理流程。
在步骤600，处理器选择新的被检体图像106的2D切片以进行处理。在步骤602，处理器向用于关注界标的经训练的界标检测器108应用所选择的图像切片的点。该步骤也可对所选择的图像切片的所有点或者对图像点的目标子集进行操作。例如，如果已知了关注界标将驻留于图像切片的可限定部分(例如，图像的左半部分)中，那么步骤602可被配置为仅选择所希望的图像部分内的点以用于处理。利用步骤602，经处理的图像点关于它们作为关注界标的候选的合适性而被评分。为了对点进行评分，对图像切片点计算以上描述的用于训练界标检测器108的特征(例如，哈尔状特征)。图像切片点和它们的所计算的特征然后被应用于关注界标的界标检测器108，以计算每个点的指示其作为关注界标的候选的合适性的评分。
在步骤604，将所计算的点评分与限定的阈值相比较。基于从业者的期望，该阈值可以是可配置的。具有高于阈值的评分的那些点可被分类为界标点(步骤606)。
更具体而言，对于步骤602～604，所限定的目标尺寸的窗口在图像切片上移动，并且对于图像的每个子区段，计算哈尔状特征。图6(b)示出该滑动窗口概念。与哈尔状特征窗口的尺寸对应的滑动窗口在图像650的所有期望的位置上滑动。图6(b)示出在与652、654和656对应的三个不同位置上的滑动窗口的例子。哈尔状特征可按照与它们在训练阶段期间被计算的方式相同的方式被计算。对于从图像切片计算的每个哈尔状特征，(用于被检体界标i的)经训练的界标检测器108i的每个分类器根据其经训练的阈值进行二进制判定。因此，如果经训练的界标检测器108包含一组10个分类器，那么每个分类器将基于其相关联的阈值到达二进制判定。界标检测器关于给定滑动窗口位置的哈尔状特征的最终判定是来自各个分类器的判定的加权和(使用每个分类器的相关权重)。如果该加权和超过了所限定的可配置阈值，那么该滑动窗口位置的中心将被标记为所检测的界标点。
在一些情况下，情况可能是，滑动窗口的多个位置的所计算的哈尔状特征导致多个点被检测为给定界标的界标点。在其它情况下，所检测的界标点可能离开正常/期望的范围(异常点)。为了在这种情形下帮助求解界标位置，被检体界标的每个所检测的界标点基于界标的分布模型对所有其它界标的候选位置进行投票。
作为例子，该分布模型可以是如何在训练数据的切片当中根据相互之间的相对距离来分布界标点的高斯模型。利用这种模型，不是界标点对每个其它界标点的单个候选位置进行投票，而是它将对遵循所构建的高斯分布的概率图进行投票，其中，概率图上的投票值总计为1。
然后，在投票阶段之后(以及在图6(a)的处理流程已被重复以关于图像切片检测所有被检体界标的界标点之后)，处理器可根据图6(c)的处理流程进行界标位置的最终确定。在步骤610，处理器选择新的被检体图像的切片。如上所述，在该阶段，图6(a)的处理流程已被重复，以关于所选择的切片的所有界标来检测界标点并且收集对候选界标位置的投票。在步骤612，处理器关于所选择的切片选择被检体界标的所检测的界标点(参见步骤606)。在步骤614，处理器回顾通过其它界标的所检测的界标点计算的对被检体界标的候选位置的投票(参见步骤608)。作为其一部分，可合并来自关于切片的对被检体界标的自动投票处理的概率图，使得合并的概率图总计为1。处理器将从高于所限定的和可配置的阈值的合并概率图中选择候选位置。接下来，在步骤616，处理器可通过平均化来自步骤612的所检测的界标点的位置和超过由步骤614设定的阈值的候选的位置(如果有的话)，确定被检体界标的位置。该方案可有效地将多个界标检测分组在一起，同时大大减少异常检测的影响。作为将所检测的界标点与所投票的界标点相组合的另一个例子，合并的概率图也可以包含来自步骤612的所检测的界标点。所检测的界标点与所投票的界标位置之间的相对加权可被分配，优选地使得与各个所投票的界标位置相比将更强的权重赋予给所检测的界标点(例如，权重“1”用于所检测的界标点以及对所投票的界标位置的加权，使得它们的合计权重总计为“1”)。再一次，最高评分位置可被选择为界标位置，或者，评分高于一定阈值的所有位置的平均位置可被选择为界标位置。
如果需要的话，图6(a)和图6(c)的处理流程然后可返回到步骤600，以处理下一个图像切片。在处理新的被检体图像106的所有图像切片时，每个切片可具有为关注界标确定的位置。图7示出来自向不同的图像切片700应用5个经训练的界标检测器108的结果的例子，其中，每个图像切片700示出关注界标的所检测的位置702。
来自步骤210的所检测的界标位置可被用作到形状建模算法中的形状初始化输入。然后，步骤212进行操作，以从所检测的界标点初始化形状估计，然后迭代地细化形状估计。图9示出步骤212的示例性处理流程。
例如，形状初始化和细化可使用形状建模算法，诸如由S.Zhang等的“Shape Prior Modeling Using Spare Representation and Online Dictionary Learning”,Medical Image Computing and Computer-Assisted Intervention(MICCAI)2012,15(pt 3):435-42描述的形状建模算法，其全部公开内容通过引用合并于此。在900，使用所检测的界标点和形状词典904来初始化形状估计。初始形状可由以下的方程式(2)中的S来推断。
因此，可以采用稀疏形状模型作为形状先验方法来推断该形状。它选择形状词典904中的一组稀疏形状并且将它们组合在一起以推断/细化输入形状。该模型利用输入形状实例的两个稀疏观察：(1)输入形状可由形状词典中的形状的稀疏线性组合来近似地代表；(2)输入形状的多个部分可包含粗误差(gross error)，但这样的误差是稀疏的。能够减轻形状先验建模的三个问题，即，建模复杂形状变化、处理非高斯误差、以及保留输入形状的局部详细信息。
然后，在步骤902，对于每个细化迭代，算法最小化下面的优化函数：
其中，νs是输入形状上的点的子集，D是代表所有训练形状的形状词典904，T(νs,β)是具有参数β的全局变换算子，它将输入形状与D的同一空间对准。x表示线性组合的权重系数，而e是对大的残余误差建模的向量。S是指示某个点是否在子集νs中的二进制对角矩阵。当S变得非常稀疏并且仅包含几个点时，该方程式变为基于界标的形状初始化的公式，这是细化处理的第一步骤900。以后，一旦边缘点通过经训练的边界检测器906得到细化，就会存在可用于置入方程式中的更多点，在这种情况下，S变得更稠密，但优化处理基本上是相同的。所求解的形状然后被发送回到边界检测器906，以用于另一轮的边缘细化。在每次迭代中，可以使用经训练的边界检测器906来处理形状点附近的多个点(例如，沿点的法线方向的6个点)。对于每个点，经训练的边界检测器906可产生关于该点是否“处于”在结构与非结构之间的“边界”上的概率。然后，处理器可选择具有最高概率的点作为更新后的边缘点。图10示出相对于切片的标定过的真实形状1002的经细化的形状1000的例子。一旦(1)迭代处理到达一定次数的迭代(例如，10次迭代)或者(2)迭代处理到达某个最小的残留误差时，该迭代处理就停止。
在迭代细化的结尾，步骤212产生经细化的轮廓估计112。步骤212也可在逐个切片的基础上进行操作，以便为新的被检体图像106的每个切片产生经细化的轮廓112。然后，可从经细化的2D轮廓112产生关注结构的3D体积，以用于传输给治疗计划软件来计算/更新治疗计划。图11示出关注结构是前列腺的实施例的这种3D体积的例子。然而，应当理解，经细化的轮廓数据不需要限于治疗计划用途，也可被用来介入地引导治疗实施(treatment delivery)。
如果从业者期望，那么也可采用词典学习技术来训练紧凑形状词典904而不是使用所有训练形状，由此提高计算效率。稀疏线性组合策略的一个假定在于，输入形状位于由训练形状限定的凸包(convex hull)内，即，假定训练形状应足够有代表性。但是，该假定可能不是在所有分段问题中都成立，诸如前列腺分段问题。期望自适应地增加稀疏形状模型的代表能力，因此能够处理新类型的形状。解决方案是在形状词典904中包含新分段的形状或者用所有可用的形状重新训练词典904。但是，当数据增加时，该解决方案将明显降低计算效率。作为另一个解决方案，如图12所示，在线学习方法被应用，以自适应地并且有效地将新形状合并到形状词典904中。当新训练形状到来时，不是从零开始重构词典，而是使用块坐标下降方法来更新现有的词典904。使用动态更新的词典，稀疏形状模型可优雅地增加，以先验地从大量的训练形状对形状建模，而不牺牲运行时间效率。参见Mairal等的“Online dictionary learning for sparse coding”,Proc.of the 26th Annual International Conference on Machine Learning,p.689-696(2009)，其全部公开内容通过引用合并于此。
该方法从使用K-SVD算法构建初始形状词典开始。当新形状到来时，它迭代地采用两个阶段，即稀疏编码1200和词典更新1202，直到收敛。稀疏编码1200的目的是找到每个信号的稀疏系数，而词典更新阶段1202的目的是基于所有发现的系数来更新词典。
基于随机近似，使用块坐标下降来有效地更新词典904。这是无参数方法，并且不需要任何学习速率调谐。重要的是，注意，在词典更新步骤1202中，不是需要所有的训练形状，而是仅利用一小批新到来的数据。词典更新由此变得更快。以这种方式，可通过使用所选择的新数据有效地在线更新形状词典。使用该在线更新的词典，不会用更多的训练形状来牺牲形状构成的运行时间效率。另外，它可优雅地增加以包含在理论上来自无限数量的训练形状的先验形状。
另外，如上所述，也可在不同的实施例中采用除边界检测器和形状词典以外的形状细化工具110。例如，如图13所示，可以使用形状变形。利用图13的实施例，迭代形状细化1300采用可变形形状模型1302。如先前讨论的那样，来自900的数据日期粗略地定位结构形状(例如，前列腺形状)并且被用作初始化。然后，形状细化1300使用健壮的可变形模型1302来准确地将前列腺分段。可通过从图像导出的梯度项和区域项来驱动该模型。梯度数据项可包含梯度图、边缘距离图或两者的组合。仅依赖于梯度信息的模型可能受困于局部最小值。区域信息可减轻由边界不清楚或者复杂的纹理导致的这些问题。区域项将对模型内部外形统计的约束进行编码。考虑使用强度统计的模块，根据当前模型内部强度分布来预测对象区域。具有前景对象和背景概率，可通过应用贝叶斯判定规则来获得代表所预测的对象区域的二进制图。然后向二进制图应用连通分量(connected component)分析，以检索与当前模型重叠的连通分量。该连通区域被视为当前关注区域(ROI)。梯度数据项和区域数据项提供使模型向着所预测的ROI边界变形的双向气球力(balloon force)。这允许与对象重叠或在对象内部的灵活的模型初始化。使用这些外部能量项作为图像力，该健壮的可变形模型被驱动以准确地找到对象边界。
虽然以上关于本发明的优选实施例描述了本发明，但可对其进行各种修改，这些修改仍落入本发明的范围内。在回顾这里的教导时，本发明的这样的修改将是可识别的。因此，本发明的整个范围仅由所附的权利要求及其法律上的等同物来限定。