用于交互式图像标注的系统与方法
【专利摘要】一种用于实现对图像102的交互式标注的系统100，包括用户输入部160，其用于接收来自用户的放置命令162，所述放置命令指示标记140在图像102中的第一放置位置；以及处理器180，其被布置为(i)对所述图像中的区域130应用图像处理算法，所述区域基于所述第一放置位置，并且所述图像处理算法对视觉上与所述标记140相对应的图像部分作出响应，用于建立一方面、所述标记与另一方面、所述区域内的多个图像部分(132、134、136、138)之间的多个匹配度，(ii)根据所述多个匹配度和相应的多个图像部分建立第二放置位置，用于将所述标记匹配到所述图像中的所述区域，并且(iii)将所述标记140放置在所述图像102中的所述第二放置位置处。
【专利说明】用于交互式图像标注的系统与方法
【技术领域】
[0001]本发明涉及一种用于实现对图像的交互标注的系统与方法。本发明还涉及包括所述系统的工作站和成像装置，并且涉及包括用于令处理器系统执行所阐述的方法的指令的计算机程序产品。
【背景技术】
[0002]图像标注是指这样的过程，其中，通过添加文本、色彩叠加等来标记图像的特定区域。尤其地，可以添加图形标注，例如曲线、线、符号等，后文称作标记。通过手来标注图像是已知的，例如使用钢笔或铅笔。此外，使用系统来以交互的方式标注图像也是已知的。在这样的系统中，用户可以操作诸如鼠标的用户接口设备，以在显示的图像上绘制或拖曳标记，并且作为响应，所述系统相应地在所显示的图像上绘制或放置所述标记。
[0003]US2007/0174769A1描述了一种用于增强医学图像的递送与显示的系统和方法，用于术前规划与诊断。文中声称，用户可以选择初始标注，操作所述系统来沿所显示的与解剖学特征关联的图像修改所述初始标注，并然后将合适的标注固定在所显示的图像的上的期望位置，供以后参考。
[0004]此外，关于标示椎骨，据披露所述系统可以被用于自动标示椎骨。特别地，用户可以选择初始标注，并将其与椎骨相关联。一旦这已完成，所述系统将自动标示从所述初始参考椎骨向上和向下延伸的剩余椎骨，因为它们之前已通过机器阅读器被映射。
[0005]上述系统的问题在于，对于用户而言，要准确地将标注放在所显示图像中的期望位置并不方便。
【发明内容】
[0006]拥有一种这样的系统或方法将是有利的，所述系统或方法用于使得用户能够以更方便的方式，将标记准确放置在图像中的期望位置。
[0007]为了更好地解决该问题，本发明的第一个方面提供一种用于实现对图像的交互式标注的系统，所述系统包括:
[0008]-用户输入部，其用于接收来自用户的放置命令，所述放置命令指示标记在所述图像中的第一放置位置；以及
[0009]-处理器，其被布置为(i)对所述图像中的区域应用图像处理算法，所述区域基于所述第一放置位置，并且将所述图像处理算法配置为对视觉上与所述标记相对应的图像部分作出响应，用于建立一方面、所述标记与另一方面、所述区域内的多个图像部分(132、134、136、138)之间的多个匹配度，(ii)根据所述多个匹配度和相应的多个图像部分，建立第二放置位置，用于将所述标记匹配到所述图像中的所述区域，并且(iii)将所述标记放置在所述图像中的所述第二放置位置处。
[0010]在本发明的另外一方面中，提供一种包括所述系统的工作站和成像装置。
[0011]在本发明的另外一方面中，提供一种方法，用于实现对图像的交互式标注，所述方法包括:
[0012]-接收来自用户的放置命令，所述放置命令指示标记在所述图像中的第一放置位置，
[0013]-对所述图像中的区域应用图像处理算法，所述区域基于所述第一放置位置，并且将所述图像处理算法配置为对视觉上与所述标记相对应的图像部分作出响应，用于建立一方面、所述标记与另一方面、所述区域内的多个图像部分(132、134、136、138)之间的多个匹配度，
[0014]-根据所述多个匹配度和所述各自多个图像部分建立第二放置位置，以将所述标记匹配到所述图像中的所述区域，并且
[0015]-将所述标记放置在所述图像中的所述第二放置位置处。
[0016]在本发明的另外一方面中，提供一种计算机程序产品，所述计算机程序产品包括用于令处理器系统执行所述方法的指令。
[0017]以上措施使得用户能够交互地标注所述图像。出于该目的，接收来自用户放置命令。所述放置命令指示一位置，即所述第一放置位置，所述用户将标记放置在所述图像中的该位置。然后，针对基于所述第一放置位置的区域内的多个图像部分中的每个，确定所述标记与所述各自图像部分之间的匹配度。所述匹配度指示所述标记在多大程度上类似于相应的图像部分，并因此表示它们的视觉对应性。为了确定所述匹配度，使用图像处理算法，其对视觉上与所述标记相对应的图像部分作出响应，即，其提供针对所述图像部分的不同输出，并因此允许识别所述图像部分。然后使用所述多个匹配度和所述多个图像部分来确定第二放置位置，其用于将所述标记匹配到所述图像中的所述区域。最后，将所述标记放置在所述图像内的所述第二放置位置处，而非所述第一放置位置处。
[0018]以上措施具有这样的效果，即当用户指示标记在图像中的第一放置位置或初始放置位置时，通过在基于所述第一放置位置的区域内将多个图像部分匹配到所述标记来优化所述第一放置位置，基于所述匹配的结果确定第二放置位置或最终放置位置。因此，关于所述标记在多大程度上匹配特定图像部分的信息被用于确定将所述标记放置在所述区域内的何处。
[0019]本发明部分基于以下认识，即因为标记通常视觉上相似于图像部分，因而标记频繁地预测要被标注的所述图像部分。这样的原因在于，标记可以为应用特异的，即，可以根据正被标注的图像的类型定制其外观。例如，在标注2D乳房X光片中的解剖学标志时，通常使用点标记乳头或乳房下区域，同时通常使用直线段标记胸肌。所述标记的外观因此常常预测要被标注的所述图像部分。结果，所述标记的外观提供有关所述标记要被放置在所述图像内的何处的隐含信息，例如，在与所述标记相似的图像部分附近或其上。本发明采用所述认识，通过允许用户指示所述标记的第一放置位置，并然后将所述第一放置位置用于将所述标记匹配到多个图像部分，并且最后将所述匹配的结果用于确定所述标记的第二放置位置。
[0020]有利地，所述用户不需要以高的准确度将所述标记放置在所述图像中，因为所述放置位置被自动地优化，得到所述标记的更为准确的放置位置。结果，所述用户可以更快速地放置所述标记，因为他知道不必以高的准确度放置所述标记。
[0021]任选地，所述用户输入部被布置为接收来自所述用户的选择命令，所述选择命令指示在多个不同标记中对所述标记的选择；并且所述处理器被布置为根据所选择的标记将所述图像处理算法配置为对视觉上与所选择的标记相对应的图像部分作出响应。
[0022]当所述用户可以在多个不同标记中选择所述标记时，所述用户将通常将他的选择适应于要被标注的所述图像部分。通过接收来自所述用户的所述选择命令，知晓在所述多个不同标记中选择哪个标记。响应于此，所述处理器配置所述图像处理算法，以对视觉上与所选择的标记相对应的图像部分作出响应。因此，通过定制对所选择的标记的所述图像处理算法，在对放置位置的优化中，自动地考虑到对所述标记的所述选择。
[0023]任选地，所述选择命令还指示如由所述用户确定的所选择的标记的取向，并且其中，所述处理器还被布置为根据所述取向将所述图像处理算法配置为对视觉上与所选择的具有所述取向的标记相对应的图像部分作出响应。
[0024]当所述用户可以确定所述标记的所述取向时，所述用户将通常选择或调节所述取向，以便与要被标注的所述图像部分的期望取向相对应。通过接收来自所述用户的所述选择命令，知晓了如由所述用户确定的所选择的标记的所述取向。作为响应，所述处理器将所述图像处理算法配置为对视觉上与具有所述特定取向的所选择的标记相对应的图像部分作出响应。因此，在通过相应地定制所述图像处理算法对其放置位置的优化中，自动地考虑所述标记的所述取向。
[0025]任选地，所述用户输入部被布置为接收类型数据，所述类型数据指示所述图像中要被标注的图像部分的类型，并且所述处理器还被布置为根据所述类型数据将所述图像处理算法配置为对视觉上与图像部分的类型和标记相对应的图像部分作出响应。
[0026]当用户可以明确指示在所述图像中要被标注的图像部分的类型(例如胸肌)时，可以除所述标记的所述外观之外额外地使用该信息，以确定所述标记的所述放置位置。通过接收指示要被标注的图像部分的所述类型的类型数据并将所述图像处理算法配置为对所述图像部分的类型作出响应，可以在对所述标记的所述放置位置的所述优化中，除了所述标记自身之外，额外地考虑所述图像部分的类型。
[0027]任选地，所述标记的所述放置包括调节以下中的至少一项:所述标记的形状、取向和尺寸，用于将所述标记匹配到所述第二放置位置处的图像部分。所述标记的所述外观典型地与要被标注的所述图像部分的预期外观相对应。在实践中，所述图像部分的实际外观可能偏离所述预期外观。在这种情况中，通过在已确定了所述标记的所述放置位置之后，相对于所述第二放置位置处的所述图像部分调节所述标记的外观，并在所述调节之后放置所述标记，获得改进的标注。
[0028]任选地，所述处理器被布置为通过以下方式来建立所述多个匹配度:建立一方面、所述第一放置位置与另一方面、相应的多个图像部分之间的多个距离；以及用所述多个距离对所述多个匹配度加权，以提升(promote)更接近所述第一放置位置定位的图像部分。
[0029]如由用户所提供的第一放置位置指示所述用户知晓或期望要被标注的图像部分定位于哪里。因此，在优化所述放置位置时，期望不要偏离所述第一放置位置太远，因为找到所述图像部分的可能性随着距所述第一放置位置的距离增加而减小。通过用相应的图像部分到所述第一放置位置的距离来对每个匹配度加权，考虑以上认识。这样，获得了图像部分与所述标记的相似度与其到所述第一放置位置的距离之间的权衡。
[0030]任选地，所述处理器被布置为通过以下方式来建立所述多个匹配度:建立多个细节度量，所述多个细节度量指示所述图像中存在于一方面、所述第一放置位置与另一方面为相应的多个图像部分之间图像细节；并且用所述多个细节度量来对所述多个匹配度加权，以提升所述图像中在所述图像部分与所述第一放置位置之间具有较少图像细节的图像部分。
[0031]当在要被标注的所述图像部分附近存在图像细节时，用户必须小心，以相对于所述图像细节正确地放置所述标记。这样的原因在于，图像细节提供参考点。因此，期望所述第一放置位置相对于所述图像细节是准确的，并且因此，所述图像细节的方向是准确的。该认识通过上文提及的措施考虑，其结果是存在于所述第一放置位置与图像部分之间的细节充当某种壁垒，因为所述图像部分的所述匹配度降低或贬值。因此，所述第二放置位置可能在其中预期后一位置为准确的方向中较小地偏离所述第一放置位置，并且在其中所述位置可能不准确的方向中更多地偏离所述第一放置位置。
[0032]任选地，所述处理器被布置为建立通过使用基于力的模型来建立所述第二放置位置，所述基于力的模型包括作为吸引力的所述多个匹配度。基于力的模型构成用于根据所述多个匹配度建立所述第二放置位置的有效方式。
[0033]任选地，所述用户输入部被布置为接收来自所述用户的范围数据，所述范围数据指示所述区域的尺寸，并且所述处理器被布置为根据所述范围数据建立所述区域的所述尺寸。所述用户因此可以影响所述区域所述尺寸，例如，以在期望所述第一放置位置准确时减小所述区域的所述尺寸，或者在不期望所述第一放置位置准确时增大所述区域的所述尺寸。
[0034]任选地，所述放置命令还指示在提供所述放置命令时的放置方向，并且所述处理器被布置为根据所述放置方向建立所述区域相对于所述第一放置位置的形状。所述用户因此可以在提供所述放置命令时，经由所述放置方向影响所述区域相对于所述第一放置位置的所述形状。所述放置方向例如可以为对应于用户接口设备(例如鼠标)的物理移动的方向，或者在显示器上显示的指针的移动的方向等。有利地，当所述用户在已到达预期放置位置之前提供所述放置命令时，所述系统可以通过主要在所述放置方向中形成所述区域来补偿所述事实。
[0035]任选地，所述放置命令还指示提供所述放置命令时的放置速度，并且所述处理器还被布置为根据所述放置速度建立所述区域的尺寸。所述用户因此可以在提供所述放置命令时，以所述放置速度来影响所述区域的所述尺寸。所述放置速度例如可以为对应于用户接口设备的物理移动的速度，或者在显示器上显示的指针的速度等。有利地，可以组合所述放置方向与放置速度，以模仿所述用户接口设备的或所述指针的惯性，用于为所述用户提供影响所述区域的所述形状和尺寸的直观方式。
[0036]本领域技术人员将认识到，可以用任何被认为有用的方式组合上文提及的本发明的实施例、实现方式和/或各方面中的两个或多个。
[0037]本领域技术人员基于本说明，可以执行对所述成像装置、所述工作站、所述方法和/或所述计算机程序产品的修改和变型，这些修改和变型对应于所描述的对所述系统的修改和变型。
[0038]本领域技术人员将认识到，所述方法可以被用于多维图像数据，例如二维(2D)、三维(3D)或四维(4D)图像。所述多维图像数据的维度可以涉及时间。例如，三维图像数据可以包括时域系列的二维图像。所述图像可以为通过各种采集模态采集的医学图像，所述采集模态例如，但不限于标准X射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)，以及核医学(NM)。然而，所述图像也可以为任意其他类型的，例如用户希望标注的心电图或地震图像。
[0039]本发明由独立权利要求限定。在从属权利要求中限定了有利的实施例。
【专利附图】
【附图说明】
[0040]参考下文描述的实施例，本发明的这些以及其他方面将是显而易见的，并且将参考下文描述的实施例对本发明的这些以及其他方面进行阐述。在附图中:
[0041]图1示出了根据本发明的系统和显示器；
[0042]图2示出了根据本发明的方法；
[0043]图3a示出了用户在图像上移动标记；
[0044]图3b不出了用户将所述标记放置在第一放置位置；
[0045]图3c示出了区域以及所述区域内的多个图像部分；
[0046]图3d示出了将所述标记放置在第二放置位置的所述系统；
[0047]图4示出了在不同标记中选择所述标记；
[0048]图5示出了用户确定所述标记的取向；
[0049]图6a示出了用在放置标记时具有放置速度和放置方向的指针,放置所述标记；并且
[0050]图6b示出了所述标记被调节到图像部分。
【具体实施方式】
[0051]图1示出了用于实现对图像102的交互式标注的系统100。系统100包括用户输入部160，其用于接收来自用户的放置命令162，其中，放置命令162指示标记在图像102中的第一放置位置，用于使得用户能够将所述标记放置在图像102中。尽管未在图1中示出，但是用户输入部160可以连接有由所述用户操作的用户接口设备，例如鼠标、键盘或触摸屏。系统100还包括处理器180。处理器180可以被布置为根据所述第一放置位置来建立所述图像中的区域。出于该目的，处理器180被示为被连接到用于接收放置命令162的用户输入部160。处理器180还被布置为将图像处理算法应用到所述区域，图像处理算法对视觉上与所述标记相对应的图像部分作出响应，用于建立一方面、所述标记与另一方面、所述区域内的多个图像部分(132、134、136、138)之间的多个匹配度。此外，处理器180被布置为将所述标记放置在图像102中的第二放置位置。图1示出了处理器180，其被布置为通过被连接到显示所述标记的显示器184，将所述标记放置在图像102中的第二放置位置处。出于该目的，处理器180将显示数据182提供到显示器184。可选地，或额外地，处理器180可以通过创建可以被例如图像显示设备用于显示所述标记的关联数据，将所述标记放置在图像102中的所述第二放置位置处。
[0052]图2示出了实现对图像的交互式标注的方法200，所述方法包括题为“获得第一放置位置”的第一步骤210，第一步骤210包括接收来自用户的放置命令，所述放置命令指示标记在所述图像中的第一放置位置。所述方法还包括题为“将标记匹配到区域内的图像部分”的第二步骤220，包括将图像处理算法应用到所述图像中的区域，所述区域基于所述第一放置位置，并且所述图像处理算法对视觉上与所述标记相对应的图像部分作出响应，用于建立一方面、所述标记与另一方面、所述区域内的多个图像部分之间的多个匹配度。所述方法还包括题为“建立第二放置位置”的第三步骤230，包括根据所述多个匹配度和相应的多个图像部分，建立第二放置位置，用于将所述标记匹配到所述图像中的所述区域。所述方法还包括题为“将所述标记放置在第二放置位置”的第四步骤，包括将所述标记放置在所述图像中的所述第二放置位置。
[0053]方法200可以对应于系统100的操作，并且将参考系统100得以进一步解释。然而，将认识到，所述方法可以独立于所述系统而得以执行，例如通过另一种系统或设备。
[0054]图3a和另外的附图通过示出图像102和标记104在显示器184上的示范性显示，图示了系统100的操作。图3a示出了作为医学图像的图像102，所述医学图像为示出胸肌104和乳房的轮廓线的乳房X光片。所述乳房X光片可以被用于，除其他以外，评估在乳房X光片中患者定位的质量。出于该目的，诸如放射科医师或技术人员的用户可能需要在所述乳房X光片中的解剖学标志上放置简单的几何图元，来标注所述乳房X光片。在图3a的范例中，用户希望将为线段的标记140放置在胸肌104上，以标注或标记胸肌104。
[0055]系统100可以被布置为允许所述用户控制被显示在所述图像上的指针166，以移动标记140。然而，将认识到，该功能也可以由代替系统100的另一系统或设备提供。此外，在放置所述标记时，可以仅显示指针166，而没有标记140，或者可以仅显示标记140，即没有指针166。
[0056]图3a还示出了第一放置位置124，其为所述用户想要将标记140放置在其处的位置，第一放置位置124接近胸肌104，以标注或标记胸肌104。出于该目的，所述用户可以移动指针166，例如通过使用前文提及的用户接口设备，并且可以提供放置命令，例如通过按压或释放前文提及的用户接口设备的按钮，由此指示要将标记140放置在指针166的当前位置处的希望。图3b示出了所述用户的以上动作的结果，即所述用户已将指针166，并因此将移动标记140移动到第一放置位置124。所述用户可以在此时或在该情形中提供所述放置命令，由此指示希望将标记140放置在第一放置位置124处。
[0057]图3a和图3b均示出放置位置124毗邻胸肌104，但在胸肌104旁边。因此，在第一放置位置124处放置标记140将造成标记140与胸肌104之间的不对齐。这可能导致对胸肌104的非完美的，可能甚至非充分的标注。所述用户可能意识到所述不对齐，但可能因例如时间约束或在准确放置所述标记中的困难，而选择所述放置位置。所述用户也可能没有意识到所述不对齐，例如，由于他不能容易地察觉所述不对齐。
[0058]图3c示例性示出系统100的操作的中间步骤，通常可能不对所述用户示出该操作。为了易于图不，已在图3c中省略了指针166和标记140,以及指不胸肌104的附图标记。图3c示出处理器180已根据第一放置位置124建立了图像102中的区域130。在比较图3b与图3c时，可见，区域130大致位于第一放置位置124周围。也示出了区域130内的多个图像部分132、134、136、138，所述图像部分为图像102中在每条线下方的部分，即由每条线描绘的部分。这些图像部分132、134、136、138具有与标记140相同的形状，并且表示标记140的多个可能的放置位置，将所述放置位置与所述图像部分共同定位，并因此未明确示出所述放置位置。如在图3c中所示，多个图像部分134中的一个对应于图像102中在第一放置位置124处的所述部分。
[0059]注意到，为了清楚起见，图3中所示的图像部分132、134、136、138数量有限、清楚且非重叠。然而，将认识到，所述图像部分也可以紧密相邻和/或交叠。尤其地，图像部分132、134、136、138可以由区域130内所有或基本上所有可能的放置位置构成。
[0060]注意到，因此，处理器180可以不需要被布置为基于第一放置位置124明确地建立区域130。区域130而是可以为，例如已将所述多个图像部分定位在所述图像中的图像处理算法的暗含结果。区域130也可以为处理器180 (例如通过将所述图像处理算法限制或约束到最大迭代数目)修改所述图像处理算法的一个或多个参数的暗含结果。处理器180也可以被布置为明确地建立所述图像中的区域130。例如，处理器180可以被布置为根据到第一放置位置124的临近度确定区域130。因此，所述区域可以由具有至少到第一放置位置124的给定临近度的所有图像部分构成。区域130也可以通过简单地定义绕第一放置位置124的圆形、矩形或任意其他集合形状而得以建立。区域130的形状可以被选择为在某一方向更大。例如，当标记140具有某个主导取向时，区域130的形状可以在垂直于所述主导取向的方向更大，而非其他方向。
[0061]在已经建立所述图像中的区域130之后，处理器180将图像处理算法应用到区域130，用于建立一方面、标记140与另一方面、所述区域内的多个图像部分132、134、136、138之间的匹配度。所述匹配度被建立用于，如果将标记140放置在相应的图像部分的上方(即，在对应的放置位置处)，则确定标记140在多大程度上匹配于图像部分132、134、136、138中的每个。在该具体范例中，标记140为线段，所述图像处理算法将建立图像部分132、134、136、138中的每个在多大程度上相似于如由标记140构成的线段。
[0062]所述图像处理算法可以为图像处理领域已知的、适于确定标记140与图像处理部分132、134、136、138之间的匹配度或视觉对应性的任意图像处理算法。所述图像处理算法可以包括确定多个图像部分132、134、136、138中的每个与标记140的图像表示之间的亮度差。所述亮度差可以为图像部分132、134、136、138的像素与标记140的图像表示的对应像素之间的差。像素之间小的亮度差可以指示高匹配度，即，高视觉对应性，并且大的亮度差可以指示低匹配度，即，低视觉对应性。然而，将认识到，图像处理领域包括可以被用于所述目的的许多其他算法。
[0063]例如，可以从图像102和标记140计算所谓的特征增强的图像，所述特征增强图像指示标记140与所述区域内的图像部分132、134、136、138中的每个之间的匹配度。例如，当标记140为点标签时，所述图像处理算法可以计算点状或滴状特征得以增强的特征增强的图像。所述增强可以以各种方式执行。例如，滴特征增强图像可以来自于针对区域130内的每个像素计算的海塞矩阵。这里，就绝对值而言，最小量级的海塞矩阵的本征值可以被解释为指示所述匹配度的所谓的滴特征。类似地，当标记140为线段时，所述图像处理算法可以，例如通过将所述海塞矩阵中的上第二最小本征值和下最小本征值解释为线或边特征，来计算线或边特征被增强的特征增强的图像。可选地，或额外地，可以使用Gabor滤波器、霍夫变换，或任意其他合适的技术。
[0064]己建立了一方面为标记140与另一方面为区域130内的多个图像部分132、134、136、138之间的所述匹配度，处理器180可以根据所述多个匹配度和相应的多个图像部分，来建立第二放置位置126。例如，处理器180可以将第二放置位置126建立为所述多个图像部分136中具有所述多个匹配度中最高的一个的一个图像部分的位置。
[0065]图3c示出了图像部分136的范例，其大致由胸肌104构成，并且具有所述多个匹配度中最高的一个。此外，在该范例中，将图像部分136的所述位置建立为第二放置位置126。该操作的结果示于图3d中，其中，标记140被视为被放置在第二放置位置126处。
[0066]尽管未在前面的任意附图中示出，但是所述处理器也可以被布置为通过，建立一方面为所述第一放置位置与另一方面为所述各自多个图像部分之间的所述多个距离，来建立所述多个匹配度，并且用所述多个距离对所述多个匹配度加权，用于提升更接近所述第一放置位置定位的图像部分。因此，所述处理器不需要选择所述多个图像部分中最相似于所述标记的一个的位置作为所述第二放置位置，而是合理地相似于所述标记并且位于比最相似于所述标记的所述图像部分更接近所述第一放置位置的图像部分的位置作为所述第二放置位置。所述加权可以包括将所述匹配度乘以根据所述距离的加权因子。所述加权也可以包括对所述匹配度加上所述距离，或者从所述匹配度减去所述距离。将认识到，也可以使用各种其他机制，用于相对于接近所述第一放置位置定位的图像部分来提升距所述第一放置位置更远定位的图像部分。
[0067]此外，所述处理器可以被布置为通过使用基于力的模型来建立所述第二放置位置，所述基于力的模型包括作为吸引力的所述多个匹配度。此外，所述多个距离可以被包括在所述基于力的模型中作为排斥力。然后可以将处于平衡状态或正经受最接近平衡的净力的图像部分的位置选择为所述第二放置位置。
[0068]图4图示了系统100的操作的另一范例。这里，系统100被布置为允许用户在多个不同标记142、144、146中选择标记140。图4将所述标记示出为几何图元，即线段142、圆144和角段146。然而，将认识到，所述标记可以为任意其他类型的图形标记。图4示出了用户已选择所述圆作为标记140的结果。用户输入部160可以被布置为接收来自用户的选择命令163，其指示在多个不同标记142、144、146中选择的标记140。用户可以通过，例如用指针166在所述多个标记中特定的一个(例如圆144上)点击，来提供选择命令163。此外，处理器180可以被布置为根据所选择的标记将所述图像处理算法配置为对视觉上与所选择的标记144相对应的图像部分作出响应。因此,代替如前面在图3a至图3d中所示的对视觉上与线段相对应的图像部分作出响应，可以将所述图像处理算法配置为对相似于作为标记140的特定直径的圆的图像部分作出响应。在这一方面，注意到，配置所述图像处理算法可以包括，例如修改所述图像处理算法的一个或多个参数，或者从多个图像处理算法中选择所述图像处理算法。
[0069]图5图示了系统100的操作的另一范例。这里,系统100被布置为允许所述用户确定标记140的取向。这通过用户在标记141、142、143的多个取向中选择标记140的取向，得以示例性示出。例如，系统100可以被布置为通过允许所述用户绕标记140的中心点旋转所述标记，来允许所述用户确定标记140的取向。此外，选择命令163还指示如由所述用户确定的标记140的取向，并且处理器180可以还被配置为根据所述取向将所述图像处理算法配置为对视觉上与所选择具有所述取向的标记140相对应的图像部分作出响应。因此通过处理器180相应地配置所述图像处理算法，考虑了所述标记的取向的任意改变。例如，如果所述图像处理算法包括边缘探测滤波器，则其滤波器系数可以被修改为对在与所述标记的取向相同方向的边缘作出响应。类似地，如果所述图像处理算法包括用于执行模板匹配的模板，则可以根据标记140的旋转来旋转所述模板。
[0070]图6a图示了系统100的操作的另一范例。这里，在指针168具有在所述标记的放置时的速度(后文称作放置速度)以及方向(后文称作放置方向)时，放置标记140。由尾随指针168的虚线指针示例性地示出所述放置速度和所述放置方向。在该范例中，用户输入部160可以被布置为从可由所述用户操作的用户接口设备接收所述放置命令。所述用户接口设备可以为，例如鼠标、操纵杆、触摸屏等。所述放置命令可以进一步指示在提供所述放置命令时与所述用户接口设备或指针168相关联的所述放置方向。可以通过，例如所述用户在操作所述鼠标在图像102上移动指针168的同时释放鼠标按钮，来提供所述放置命令。如在图6a中所示，所述放置方向可以为用户接口元件(例如由所述用户接口设备控制的指针168)的屏幕上方向。可选地，所述放置方向可以对应于所述用户接口设备的移动的物理方向。
[0071]处理器180可以被布置为根据所述放置方向，建立区域130相对于第一放置位置124的形状。在图6a中，这由区域130示出，其被成形为使得其主要在相对于第一放置位置124的放置方向中延伸，而不是，例如绕第一放置位置124为中心。因此，对应于区域130内未描绘的多个图像部分的多个可能的放置位置122、123、124、125，主要定位于相对于第一放置位置124的放置方向。区域130的形状可以为盒状。类似地，区域130的形状可以为三角形或梯形，例如用于随着距第一放置位置124的距离增加而加宽区域130。
[0072]可选地，或额外于指示所述放置方向的放置命令，所述放置命令可以指示所述用户接口设备或指针168在提供所述放置命令时的放置速度。在该范例中，处理器180可以还被布置为根据所述放置速度建立区域130的尺寸。例如区域130的尺寸可以正比于所述放置速度，使得高放置速度得到大尺寸的区域130，并且低放置速度得到小尺寸的区域130。作为以上的结果，用户可以使用所述用户接口设备或指针168，来在要被标注的所述图像部分的方向中‘扔出’标记140，其中，标记140然后因系统100的操作，而被‘甩(snap)’到所述图像部分。
[0073]处理器180也可以被布置为通过多个细节度量来确定所述多个匹配度，所述细节度量指示在图像102中存在的一方面、第一放置位置124与另一方面、相应的多个图像部分之间的图像细节；并用所述多个细节度量来对所述多个匹配度加权，用于提升所述图像中在所述图像部分与所述第一放置位置之间具有较少图像细节的图像部分。结果，标记140更容易地‘甩’到在他们与第一放置位置之间具有较少图像细节的图像部分，即在图像细节方面具有朝向第一放置位置125的清晰路径的图像部分。针对系统100的该操作的物理类比可以为充当针对标记140的可能放置的载体或阈值的图像细节。
[0074]作为选择，或额外于被用于确定区域130的所述尺寸的所述放置速度，用户输入部160可以被布置为从所述用户接收范围数据165，所述范围数据指示区域130的所述尺寸。范围数据165因此可以从所述用户对指示区域130的所述尺寸选择(例如通过拖动滑块以指示所述尺寸)而获得。此外，处理器180可以被布置为根据范围数据165建立区域130的所述尺寸。因此，所述用户也可以通过提供所述范围数据来影响区域130的所述尺寸。
[0075]图6b图示了系统100的操作的另一范例，其中，对第二放置位置125的选择可以根据在图6a中所示并参考其所描述的系统100的操作。这里，所选择的第二放置位置125被示为具有对应的，但未描绘的图像部分，其在如图6a中所示的所述多个放置位置122、123、124、125中最相似于标记140。然而，第二放置位置125没有与胸肌104完美对齐。处理器180可以被布置为通过在所述放置步骤期间或之前调节标记140的所述形状、所述取向或所述尺寸或它们的组合，来放置标记140，以将标记140匹配到要被标注的所述图像部分，即胸肌104，其仅部分地定位于第二放置位置125处。在该具体范例中，标记140被旋转，以更好地匹配胸肌104的所述取向，并且随后在所述旋转之后被放置。有效地，这样的结果是第二放置位置125得以根据对标记140的所述调节而被调节，得到相对于第二放置位置125旋转的第二放置位置126。
[0076]为了相对于在所述第二放置位置的所述图像部分调节标记140，可以使用来自图像处理和图像分析领域的各种技术。例如，霍夫变换可以被用于确定胸肌104的取向，然后相应地旋转标记140。在标记140为计算机图形模型的情况中，例如包括顶点和面，可以通过，例如使用图像分割或图像分析算法，来探测所述图像的特定特征，并且可以使标记140变形以与所探测到的图像的特征相符，即标记140可以为可变形的标记。
[0077]—般而言，如在图1中所示，用户输入部160可以被布置为接收类型数据163，所述类型数据指示在所述图像中要被标注的图像部分的类型，并且所述处理器可以还被配置用于根据所述类型数据来配置所述图像处理算法，以便对视觉上与所述图像部分的类型和所述标记相对应的图像部分作出响应。因此，用户可以，例如通过在所述图像部分的范例或模板上点击，来选择他想要在所述图像中标注的图像部分的类型。可以然后将图像处理算法配置为等同地对所选择的类型的图像部分和所述标记作出响应，但更多地对相似于所选择的图像部分的类型和标记两者的图像部分作出响应。所述类型的图像部分可以由所述系统自动选择，例如在已知要标注那种类型的图像部分时。例如，在标注2D乳房X光片中的解剖学标志时，已知所述类型的图像部分通常为乳头或乳房下皱襞。因此，可以将所述图像处理算法配置为对任一类型作出响应。
[0078]所述处理器也可以被配置用于使用来自数学优化领域的技术来确定所述第二放置位置。尤其地，要被标注的所述图像部分可以为区域或整个图像内的全部图像部分中的任一个或基本上全部。确定全部所述图像部分的匹配度可能导致高的计算复杂度。为了避免该高的计算复杂度，所述处理器可以被布置为应用，例如梯度下降或类似的优化算法，其中所述匹配度被用作要被优化的函数，所述函数中的变量为所述区域内的位置。因此，所述处理器可以迭代地到达所述第二放置位置，该位置是通过所述优化算法获得的结果。因此，避免了对全部所述图像部分的所述匹配度的穷尽计算。将认识到，在该情况中，可以通过设定或调节所述优化算法中的一个或多个参数，来建立所述区域，所述参数涉及例如迭代的次数或到所述第一放置位置的所述距离。
[0079]—般而言，应注意，所述系统可以被配置为使得，在所述第二放置位置不利地不对应于所意图的一个的情况中，即，其不对应于要被标注的所述图像部分，用户可以通过提供新的放置命令来请求所述系统再次建立所述第二放置位置而纠正所述第二放置位置，或通过手动放置所述标记而不请求所述系统进一步优化对所述标记的所述放置。
[0080]还要指出，所述多个图像部分可以由位于所述第一放置位置的第一图像部分以及位于另外的放置位置的另外的图像部分构成，所述系统因此比较所述标记与所述图像部分之间的匹配度，并将所述标记放置在两种图像部分中的一个处，即产生最高匹配度的所述图像部分。所述第二放置位置可以为所述另外的放置位置，但是如果所述标记与所述第一图像部分之间的所述匹配度为所述最高匹配度，则可以等同地为所述第一放置位置。
[0081]将认识到，本发明也应用于计算机程序，尤其是在载体上或载体中的计算机程序，其适于将本发明付诸实践。所述程序可以为以下形式:源代码、目标代码、源代码和目标代码中间的代码(例如部分编译形式的代码)或者适于实现根据本发明的方法的任意其他形式。也将认识到，这样的代码可以具有许多不同的架构设计。例如，实施根据本发明的所述方法或系统的功能的程序代码可以被细分成一个或多个子例程。在这些子例程间分布所述功能的许多不同方式对本领域技术人员将是显而易见的。所述子例程可以被一起存储在一个可执行文件中，以形成自含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解释器指令(例如，Java解释器指令)。可选地，所述子例程中的一个或多个或全部可以被存储在至少一个外部库文件中，并且静态或动态地(例如在运行时)与主程序链接。所述主程序包括对所述子例程中的至少一个的调用。所述子例程也可以包括对彼此的函数调用。涉及计算机程序产品的实施例包括对应于本文所述的方法中的至少一个的每个处理步骤的计算机可执行指令。这些指令可以被细分成子例程和/或被存储在一个或多个可以被静态或动态链接的文件中。涉及计算机程序产品的另一实施例包括对应于本文所述的系统和/或产品中的至少一个的每个工具的计算机可执行指令。这些指令可以被细分成子例程和/或被存储在可以被静态或动态链接的一个或多个文件中。
[0082]计算机程序的载体可以为能够承载所述程序的任意实体或设备。例如，所述载体可以包括存储介质，例如ROM(例如⑶ROM或半导体ROM)，或者磁性记录介质，例如硬盘。此外，所述载体可以为传播载体，例如电信号或光信号，可以经由电缆或光缆或通过无线电或其他工具传送它们。当所述程序被实现为这样的信号时，所述载体可以由这样的线缆或其他设备或器件构成。可选地，所述载体可以为在其中嵌入了所述程序的集成电路，所述集成电路能够适于执行相关方法，或在所述相关方法的执行中使用。
[0083]应注意，上文提及的实施例例示而非限制本发明，并且本领域技术人员将能够设计许多可选的实施例，而不偏离所附权利要求书的范围。在权利要求书中，置于括号内的任意附图标记不应被解释为对权利要求限制。动词“包括”及其词形变化形式的使用不排除权利要求中记载的那些以外的其他元件或步骤的存在。元件前的定语“一”或“一个”不排除多个这样的元件的存在。本发明可以借助于包括几个不同元件的硬件，以及借助于适当编程的计算机来实现。在列举了几种器件的装置型权利要求中，这些器件中的几个可以由同一硬件来实现。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地组合这些措施。
【权利要求】
1.一种用于实现对图像(102)的交互式标注的系统(100)，包括: -用户输入部(160)，其用于接收来自用户的放置命令(162)，所述放置命令指示标记(140)在所述图像中的第一放置位置(124);以及 -处理器(180)，其被布置为: (i)对所述图像中的区域(130)应用图像处理算法，所述区域基于所述第一放置位置，并且所述图像处理算法对视觉上与所述标记(140)相对应的图像部分作出响应，用于建立一方面、所述标记与另一方面、所述区域内的多个图像部分(132、134、136、138)之间的多个匹配度， (?)根据所述多个匹配度和相应的多个图像部分(132、134、136、138)建立第二放置位置(126)，以将所述标记(140)匹配到所述图像(102)中的所述区域(130)，并且 (iii)将所述标记(140)放置在所述图像(102)中的所述第二放置位置(126)处。
2.根据权利要求1所述的系统(100)，其中: -所述用户输入部(160)被布置为接收来自所述用户的选择命令(163)，所述选择命令指示在多个不同标记(142、144、146)中对所述标记(140)的选择；并且 -所述处理器(180)被布置为根据所选择的标记将所述图像处理算法配置为对视觉上与所选择的标记(140)相对应的图像部分作出响应。
3.根据权利要求2所述的系统(100)，其中，所述选择命令(163)还指示如由所述用户确定的所选择的标记(140、141、142、143)的取向，并且其中，所述处理器(180)还被布置为根据所述取向将所述图像处理算法配置为对视觉上与具有所述取向的所选择的标记相对应的图像部分作出响应。
4.根据权利要求1所述的系统(100)，其中: -所述用户输入部(160)被布置为接收类型数据(164)，所述类型数据指示所述图像(102)中要被标注的图像部分的类型；并且 -所述处理器(180)还被布置为根据所述类型数据(164)将所述图像处理算法配置为对视觉上与图像部分的所述类型和所述标记(140)相对应的图像部分作出响应。
5.根据权利要求1所述的系统(100)，其中，所述标记(140)的所述放置包括调节以下中的至少一项:所述标记的形状、取向和尺寸，以将所述标记匹配到所述第二放置位置(126)处的图像部分(104)。
6.根据权利要求1所述的系统(100)，其中，所述处理器(180)被布置为通过以下方式来建立所述多个匹配度: -建立一方面、所述第一放置位置(124)与另一方面、相应的多个图像部分(132、134、136、138)之间的多个距离；并且 -用所述多个距离对所述多个匹配度加权，以提升更接近所述第一放置位置(124)定位的图像部分。
7.根据权利要求1所述的系统(100)，其中，所述处理器(180)被布置为通过以下方式来建立所述多个匹配度: -建立多个细节度量，所述多个细节度量指示所述图像(102)中存在于一方面、所述第一放置位置(124)与另一方面为相应的多个图像部分(132、134、136、138)之间的图像细节；并且-用所述多个细节度量对所述多个匹配度加权，以提升所述图像(102)中在所述图像部分与所述第一放置位置(124)之间具有较少图像细节的所述图像部分。
8.根据权利要求1所述的系统(100)，其中，所述处理器(180)被布置为通过使用基于力的模型来建立所述第二放置位置(126)，所述基于力的模型包括作为吸引力的所述多个匹配度。
9.根据权利要求1所述的系统(100)，其中，所述用户输入部(160)被布置为接收来自所述用户的范围数据(165)，所述范围数据指示所述区域(130)的尺寸，并且所述处理器被布置为根据所述范围数据来建立所述区域的所述尺寸。
10.根据权利要求1所述的系统(100)，其中，所述放置命令(162)还指示在提供所述放置命令时的放置方向，并且其中，所述处理器(180)被布置为根据所述放置方向，建立所述区域(130)相对于所述第一放置位置(124)的形状。
11.根据权利要求10所述的系统(100)，其中，所述放置命令(162)还指示在提供所述放置命令时的放置速度，并且其中，所述处理器(180)还被布置为根据所述放置速度来建立所述区域(130)的 尺寸。
12.一种包括根据权利要求1所述的系统(100)的工作站。
13.—种包括根据权利要求1所述的系统(100)的成像装置。
14.一种实现对图像的交互式标注的方法(200)，包括: -接收(210)来自用户的放置命令，所述放置命令指示标记在所述图像中的第一放置位置； -对所述图像中的区域应用(220)图像处理算法，所述区域基于所述第一放置位置，并且所述图像处理算法对视觉上与所述标记相对应的图像部分作出响应，以便建立一方面、所述标记与另一方面、所述区域内的多个图像部分(132、134、136、138)之间的多个匹配度； -根据所述多个匹配度和相应的多个图像部分建立(230)第二放置位置，以将所述标记匹配到所述图像中的所述区域；并且 -将所述标记放置(240)在所述图像中的所述第二放置位置。
15.一种包括用于令处理器系统执行根据权利要求14所述的方法(200)的指令的计算机程序产品。
【文档编号】G06T7/00GK103918008SQ201280054843
【公开日】2014年7月9日 申请日期:2012年10月30日 优先权日:2011年11月8日
【发明者】T·比洛, K·梅茨, M·贝格特尔特 申请人:皇家飞利浦有限公司