图像处理装置、图像处理系统及图像处理方法与流程

本发明涉及一种图像处理装置、图像处理系统及图像处理方法。

背景技术：

在使用医疗图像的图像诊断中，存在这样的情况：其对利用不同的摄像参数、由不同摄像装置在不同的时间拍摄的不同姿势的被检体的多个图像进行比较。在一些情况中，执行不同图像间的配准以便更精确地比较病变位置。通常，图像配准有误差。美国专利申请2014/0037177讨论了在第二图像上的、与第一图像上的关注点对应的点的估计的位置处显示添加了配准误差范围的区域。然而，仅根据对应于点的局部配准误差难以理解在目标截面中的配准误差的整体倾向。

技术实现要素：

根据本发明的实施例，图像处理装置包括估计值获取单元，其被配置为获取在多个三维图像间的配准误差的估计值；指定单元，其被配置为指定在所述多个三维图像和配准的三维图像中的一个中的目标截面；统计值获取单元，其被配置为获取在所述目标截面中的多个位置处的估计值的统计值；以及显示控制单元，其被配置为在显示单元上显示所述统计值。

根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1例示了根据第一示例性实施例的图像处理装置的功能配置的示例。

图2是例示根据第一示例性实施例的图像处理装置执行的处理的示例的流程图。

图3例示了根据第一示例性实施例的图像处理装置显示的画面的示例。

图4例示了根据第一示例性实施例的图像处理装置显示的画面的示例。

图5例示了根据第一示例性实施例的图像处理装置显示的画面的示例。

图6例示了根据第二示例性实施例的图像处理装置的功能配置的示例。

图7是例示根据第二示例性实施例的图像处理装置执行的处理的示例的流程图。

图8例示了根据第三示例性实施例的图像处理装置的功能配置的示例。

图9是例示根据第三示例性实施例的图像处理装置执行的处理的示例的流程图。

图10例示了根据第三示例性实施例的图像处理装置显示的画面的示例。

图11例示了根据本发明示例性实施例的图像处理装置硬件配置的示例。

具体实施方式

下文将参照附图具体描述本发明的示例性实施例。

下文将描述第一示例性实施例。在第一示例性实施例中，执行使被检体的第一三维图像变形的可变形配准，从而使第一三维图像的位置和形状与第二三维图像的位置和形状相一致。下文将描述获取第三三维图像中的误差的估计值和统计值的示例。第三三维图像是作为变形配准的结果获取的变形图像。在第一示例性实施例中，将描述预先将第一三维图像配准到第二三维图像的情况。换句话说，在第一示例性实施例，预先获取与第一和第二三维图像之间的变形有关的变形信息(下文称为变形参数)。另外，在第一示例性实施例中，预先生成表示第三三维图像上的各体素位置中的配准误差的估计值的误差图像，作为与第一和第二三维图像之间的配准误差有关的信息。误差图像是指具有分别表示体素位置中的配准误差的估计值的体素值的三维图像。

图1例示了根据第一示例性实施例的图像处理装置的功能配置的示例。根据第一示例性实施例的图像处理装置是图1例示的图像处理装置10。信息系统1包括图像处理装置10、数据服务器150、显示器152。

数据服务器150存储被检体的第一和第二三维图像。另外，数据服务器150存储与第一和第二三维图像之间的变形有关的变形参数。另外，数据服务器150存储通过变形第一三维图像而获取的第三三维图像(下文称为变形图像)，从而使第一三维图像中的位置和形状与第二三维图像中的位置和形状相一致。另外，数据服务器150存储变形图像的误差图像。各三维图像包括图像大小、分辨率、拍摄三维图像的摄像装置的类型(以下为“形式”)、摄像信息、病例信息以及图像间的对应信息作为补充信息。摄像信息是指，例如，表示三维图像的摄像参数、摄像区域以及体位的信息。病例信息是指，例如，患者信息、检查信息、诊断信息、器官区域信息以及关注区域信息。根据需要将上述补充信息与图像一起发送给图像处理装置10。

显示器152是显示单元的示例。显示器152是例如液晶显示器。显示器152显示由图像处理装置10的显示控制单元114控制的画面。

图像处理装置10包括三维图像获取单元102、区域信息获取单元104、误差估计单元106、截面指定单元108、截面图像生成单元110、统计值获取单元112、显示控制单元114以及输出单元116。

三维图像获取单元102获取被检体的第二三维图像以及来自数据服务器150的变形图像。

区域信息获取单元104获取与第二三维图像中的关注区域有关的信息。在第一示例性实施例中，区域信息获取单元104获取代表被检体的表面内部的被检体内部区域的标签图像作为关注区域信息。另外，如果给出用户指示，则区域信息获取单元104设置诸如立方体区域或球形区域的任意区域作为关注区域。

误差估计单元106从数据服务器150获取误差图像作为与第一和第二三维图像之间的配准误差有关的信息。误差图像表示变形图像中的各体素中的配准误差的估计值的分布。误差图像可以是任何公知的方法生成的图像。例如，能够通过提供对应于第一和第二三维图像之间的点的大量的“真(true)”并对变形后的对应点间的误差(剩余误差，residual errors)进行插值来生成误差图像。另外，在基于图像间的对应点获取变形信息的情况下，能够使用如下方法：对各体素位置设置根据最近的对应点的距离(例如，距离的比例)的估计误差。另外，能够使用如下方法：基于两种不同配准方法间的各体素位置中的移位的差异，从分辨率的模糊性估计误差。能够使用的两种不同的配准方法的示例包括自由变形(free-form deformation(FFD))方法和薄板样条(thin-plate spline(TPS))方法。

基于用户操作输入的信息，截面指定单元108指定截面，沿该截面剪切三维图像。特别是，截面指定单元108指定变形图像的截面。用户能够使用图11例示的操作单元1109输入上述操作。

截面图像生成单元110会生成第二三维图像的截面图像和沿着指定截面的变形图像的截面图像。在第一示例性实施例中，截面具有预定厚度(下文称为“板厚度(slab thickness)”)。

基于获取的配准误差信息，统计值获取单元112获取表示变形图像中指定的截面的误差的整体倾向。如下文所使用的，配准误差信息是指估计的误差值。另外，表示指定截面中误差的整体倾向的信息是指截面的估计误差值的统计值。

显示控制单元114执行控制以在显示器152上显示第二三维图像和变形图像的各截面图像。另外，显示控制单元114执行控制以在显示器152上显示获取的与截面图像关联的误差统计值。另外，显示控制单元114执行控制以在显示器152上显示用于通知用户信息的画面。

输出单元116向数据服务器150输出截面图像生成单元110生成的截面图像以及统计值获取单元112获取的误差统计值。此时，输出单元116可以输出统计值，从而可以在数据服务器150上彼此关联地存储截面图像和统计值。另外，输出单元116可以基于用户输入的操作输出图像和统计值，或者可以自动输出图像和统计值。

图11例示了图像处理装置10的硬件配置的示例。图像处理单元10包括中央处理单元(CPU)1101、只读存储器(ROM)1102、随机存取存储器(RAM)1103、硬盘驱动器(HDD)1104、通用串行总线(USB)1105、通信电路1106、图形处理单元(GPU)板1107以及高清晰度多媒体接口(HDMI)(注册商标)1108。上述设备经由内部总线相互连接，从而使设备能够相互通信。

CPU 1101是控制电路，被配置为整体控制图像处理装置10和连接到图像处理装置10的单元。CPU 1101执行存储在ROM 1102上的程序来执行控制。此外，处理器1101执行作为用于控制显示器152的软件的显示驱动，从而对显示器152执行显示控制。此外，CPU 1101对操作单元1109执行输入/输出控制。

ROM 1102存储数据以及程序，该程序存储由CPU 1101执行的控制步骤。

RAM 1103是存储用于执行图像处理装置10中的以及连接到图像处理装置10的单元中的处理的程序和用于图像处理的各种参数的存储器。RAM 1103存储CPU 1101执行的控制程序，并临时存储CPU 1101执行各种控制时使用的各种数据。

HDD 1104是辅助存储设备，其被配置为存储诸如X射线图像数据的各种数据。

USB 1105连接到操作单元1109。

通信电路1106是执行与信息系统1中包括的单元通信的电路。可以通过根据一种或更多的通信形式的多个配置实现通信电路1106。

GPU板1107是包括GPU和音频存储器的一般通用图形板。GPU板1107能够执行图像处理中的计算以及高速显示图像，而不需要专用硬件。在第一示例性实施例中，由于从数据服务器150获取变形图像和误差图像，因此图像处理装置10不是必需包括GPU板1107。

HDMI(注册商标)1108连接到显示器152。

图2是例示图像处理装置10执行的处理的示例的流程图。图像处理装置10执行图2中例示的处理以获取并显示变形图像的指定截面中的误差的统计值。下文将详细描述处理。

在步骤S200，三维图像获取单元102从数据服务器150获取被检体的第二三维图像和变形图像。然后，三维图像获取单元102将获取的图像发送到截面图像生成单元110。在本示例性实施例中，变形图像(即，第三三维图像)是目标图像。

在步骤S210，区域信息获取单元104获取表示被检体表面内的内部区域的标签图像(三维图像)，作为与第二三维图像关注区域有关的信息。以这种方式，目标图像中包含的区域被指定为关注区域。从这个角度来看，区域信息获取单元104作为确定单元示例。然后，区域信息获取单元104将所获取的信息发送到统计值获取单元112。使用公知的图像处理方法执行这种处理，如从三维图像中提取被检体内部区域的二值化(binarization)。在数据服务器150预先存储与变形图像中的被检体内部区域有关的信息的情况下，可以从数据服务器150获取信息。在诊断目标可以被限制为三维图像中部位/器官的情况下，以公知的方法从三维图像中提取器官的器官区域可以被设置为关注区域。通过对变形图像的图像处理可以执行关注区域的获取。

在步骤S220，误差估计单元106从数据服务器150获取误差图像，作为与第一和第二三维图像之间的配准误差有关的信息。从这个角度来看，误差估计单元106作为估计值获取单元的示例。然后，误差估计单元106将获取的误差图像发送到统计值获取单元112。

在步骤S230，基于通过操作单元1109输入的用户操作，截面指定单元108指定截面，沿该截面分别剪切步骤S200获取的三维图像。从这个角度来看，截面指定单元108作为指定单元的示例。然后，横截面指定单元108将与指定的截面有关的信息发送给截面图像生成单元110和统计值获取单元112。

例如，在初始状态设置通过三维图像中心的轴向截面，在用户按下预定键时，轴向截面的位置在截面的法线方向偏移预定距离。例如，在按下“f”键时，截面的位置在截面的法线方向偏移1毫米，在按下“b”键时，截面位置在与按下“f”键时位置偏移的方向相反的方向偏移1毫米。此外，在用户按预定键时，设置截面的板厚度。例如，在按下“D”键时，截面的厚度增加1毫米，并在按下“d”键时，截面的厚度减少1毫米。厚度可以设置为0毫米。在下文描述的步骤S260中显示多个三维图像时，可以对三维图像分别设置各截面，或者可以对三维图像相互共同地设置共用的截面。然而，在截面图像被叠加和显示情况下，期望对三维图像设置共用的截面。

在步骤S240，截面图像生成单元110生成步骤S200获取的第二三维图像的截面图像和步骤S200获取的变形图像的截面图像。截面图像是通过沿步骤S230指定的截面剪切而分别生成的二维图像。从这个角度来看，截面图像生成单元110作为生成单元的示例。此外，关于作为目标图像第二三维图像和变形图像，步骤S230指定的截面被设置为目标截面。具体地，截面图像生成单元110生成目标截面的二维图像。在步骤S230中设置的厚度大于0毫米的情况下，截面图像生成单元110对步骤S230设置的截面执行以下处理。具体地，截面图像生成单元110生成作为截面图像的投影图像，在该投影图像上投影步骤S230设置的厚度范围内(板内)的三维图像的体素值的表征值(representative values)。表征值是，例如，亮度值的最大值和最小值。换句话说，截面图像生成单元110生成投影图像，在该投影图像上投影在目标图像中预定的厚度范围内的表征值。投影了三维图像的体素值的最大值的图像的例子包括最大密度投影(MIP)图像和板MIP图像。投影了三维图像的体素值的最小值的图像的例子包括最小强度投影(MinIP)图像和板MinIP图像。然后，截面图像生成单元110将所生成的截面图像发送到显示控制单元114。

在步骤S250，针对变形图像设置的截面和关注区域相交的相交区域，统计值获取单元112获取在步骤S220获取的估计配准误差值的统计值(以下简称“统计误差值”)。然后，统计值获取单元112将所获取的信息发送给显示控制单元114。

具体地，统计值获取单元112首先获得相交区域，该相交区域是步骤S230中针对变形图像设置的截面和步骤S210获取的代表关注区域的标签图像叠加的区域。然而，在关注区域由下文描述的步骤S270执行的处理改变的情况下，统计值获取单元112获取关注区域和截面相交的相交区域。然后，统计值获取单元112获取相交区域的体素数量N。接下来，统计值获取单元112获取在误差图像中的相交区域中的每个体素的体素值，即，估计误差值，并获取所获取的估计误差值的总和T。然后，统计值获取单元112将T除以N来获取关注区域的估计误差值的平均值。同样，统计值获取单元112使用公知方法获取统计误差值，诸如估计误差值的标准偏差、最大值和中值。在显示的截面中不包括关注区域的情况下，即在没有相交区域的情况下，统计值获取单元112不执行统计误差值的获取。

可以仅基于体素位置(基于该体素位置，在步骤S240中生成投影图像)中的估计误差值来获取估计误差值的统计值，而取代获取相交区域中的所有体素的估计误差值的统计值。这样，能够获取更接近于显示为投影图像的部位的估计误差值的统计值。

在步骤S260，显示控制单元114执行控制以在显示器152上显示步骤S250获取的统计误差值。在第一示例性实施例中，显示控制单元114也执行控制以在显示器152(显示单元的示例)上显示与步骤S240生成的截面图像关联的统计误差值。从这个角度来看，显示控制单元114作为显示控制单元示例。显示与截面图像关联的统计误差值的方法的示例包括以下方法：截面图像的统计误差值叠加在变形的图像的截面图像上，并在显示器152(显示单元的示例)上显示叠加的图像。在步骤S250未获取误差统计值的情况下，不执行统计误差值的显示。

在步骤S260，显示控制单元114可以执行控制从而以截面图像相互叠加的方式显示第二三维图像和变形图像的截面图像，或可以执行控制以平行地显示截面图像。另外，显示控制单元114可以经由未示出的图形用户界面(GUI)获取用户指示以改变如何显示截面，即，以叠加的状态显示截面图像、同时显示截面图像或者只显示截面图像中的一个。此时，可以仅在以叠加状态显示或者同时显示截面图像的情况下显示估计误差值的统计值。或者，可以仅在显示变形图像的截面图像的情况下显示估计误差值的统计值。

图3例示了在显示器152上显示的被检体的变形图像的截面图像301、与截面图像301关联的统计误差值302以及关注区域303的示例。图3例示了被检体是乳房的情况。尽管图3例示了显示最大值、中值、平均值、以及标准偏差作为估计误差值的统计值，要显示的统计值并不限于上述统计值，也可以一起获取并显示诸如最小值的其他统计值。或者，可以有选择地显示多个统计误差值中的至少一个。另外，可以以图表形式显示估计误差值的直方图作为误差统计值。

在步骤S270，如果给出用户指示以指定区域，则区域信息获取单元104执行处理以设置指定的区域作为新的关注区域。这样，就更新了关注区域。然后，区域信息获取单元104将获取的信息发送给统计值获取单元112。

此时，例如，基于针对显示的截面经由操作单元1109输入的操作，与关注区域有关的信息能被设置为第二三维图像或变形图像的空间中的立方体或球形区域。例如，上述内容能够通过被配置为指定显示的截面上的球形的中心坐标和半径的GUI(未示出)实现。图4例示了在关注区域设置为立方体的情况下的显示的示例。在图4，相交区域404是指设置的截面和关注区域相交的区域，统计误差值402是指关注区域的统计误差值。关注区域可以被设置为当前显示的截面中的区域(例如，具有与板的厚度相同厚度的圆形或矩形)。另外，与关注区域有关的信息可以利用点或线来设置。

通过上述步骤S270中执行的处理，在用户指示之前或之后可以切换步骤S210中获取的关注区域(基于诸如被检体的内部区域或器官区域的解剖结构)和步骤S270获取的关注区域(基于用户输入信息)。如果给出进一步的用户指示，可以执行处理以再次设置或恢复基于解剖结构的区域作为关注区域。

步骤S210获取的区域和步骤S270获取的区域可以同时均被设置为关注区域。在这种情况下，如图5所示，希望显示各关注区域的统计误差值。另外，可以基于用户输入的信息设置多个关注区域，并可以显示各关注区域的统计误差值。在这种情况下，期望仅显示在当前显示的截面上包括的关注区域的统计误差值。

在步骤S280，图像处理装置10确定是否结束整个处理。例如，操作员通过用鼠标(未示出)点击位于显示器152上的结束按钮输入指示以结束处理。如果图像处理装置10确定结束处理(步骤S280为“是”)，则结束图像处理装置10的整个处理。另一方面，如果图像处理装置10没有确定结束处理(步骤S280为“否”)，则处理返回步骤S230，然后再次执行步骤S230到S270的处理。

在步骤S280，如果给出指示结束整个处理，则输出单元116可以关联统计误差值与目标图像，并向诸如数据服务器150的外部设备输出统计误差值和目标图像。例如，输出单元116可以向数据服务器150输出步骤S250获取的统计误差值和步骤S270更新的关注区域信息。在这种情况下，统计误差值和诸如变形图像的目标图像是相互关联的，并存储在数据服务器150。

如上文所述，根据第一示例性实施例，能够向用户呈现指定的截面图像的配准误差统计值。另外，与截面图像一起显示误差统计值，从而使用户能够容易地明白显示的截面图像偏移了多少。

[变形实施例]

尽管在第一示例性实施例中描述了存储变形图像中的各体素位置的配准误差的估计值作为误差图像的情况作为示例，但不限于此，也可以存储第二三维图像中的各体素位置的配准误差的估计值作为误差图像。在这种情况下，在步骤S250，统计值获取单元112执行处理以获取针对第二三维图像设置的截面与关注区域相交的相交区域的估计误差值的统计值。然后，在步骤S260，显示控制单元114叠加并显示第二三维图像的截面图像上的统计误差值。以这个视角，第二三维图像也是目标图像。

另外，尽管在第一示例性实施例中描述了显示第三三维图像中的关注区域的统计误差值作为示例，但不限于此，可以获取并呈现截面图像的整个范围的统计误差值，而不需要考虑关注区域。另外，可以根据数据服务器150是否存储关注区域信息，将要显示的统计误差值在显示的截面和关注区域相交的相交区域的统计误差值和显示的截面的整个范围的统计误差值之间切换。在上述情况下，当用户设置关注区域时，能显示所显示的截面和关注区域相交的相交区域的统计误差值。另外，可以允许仅基于解剖结构设置关注区域，或者可以允许仅基于用户操作设置关注区域。为了比较误差的整体倾向和用户设置的关注区域的误差的倾向，可以显示整个范围的统计误差值和设置的关注区域的统计误差值。在设置了关注区域的情况下，可以仅显示关注区域的统计误差值。

另外，显示控制单元114可以执行控制从而连同统计误差值一起显示变形配准中使用的对应的点。考虑对应的点在变形图像中具有小的误差，并一起显示变形图像中的误差的总体趋势，从而用户可以更精确地明白变形图像中的误差的趋势。

在第一示例性实施例中，描述了如下示例，在步骤S280向诸如数据服务器150的外部装置输出与关注区域有关的信息和统计误差值。当生成诸如截面图像的二维图形时，输出单元116可以向外部装置输出二维图像。另外，当获取误差统计值时，输出单元116可以向外部装置输出误差统计值。此时，可以将用于唯一地确定第一、第二、第三三维图像的信息添加并输出到外部装置，从而使该信息与第一、第二、第三三维图像能够分别关联并存储在外部装置。

在第一示例性实施例，通过变形第一三维图像从而使第一三维图像与第二三维图像相一致而获取的第三三维图像被设置为目标图像。本发明不限于上述内容，可以获取通过变形第一和第二三维图像而配准的第三三维图像和第四三维图像之间的配准误差作为误差图像。以这样的视角，第三和第四三维图像是目标图像。

在第一示例性实施例中，描述了如下情况，第一和第二三维图像分别是摄像装置获取的图像。本发明不限于上述内容，可以使用对处理的图像进行配准而获取的图像，所述处理的图像是通过对摄像装置获取的图像进行处理而获取的。所述处理的图像是，例如，通过转换三维图像的坐标空间而获取的图像。

下文描述了第二示例性实施例。根据第二示例性实施例的图像显示装置对被检体的第一和第二三维图像执行变形配准。具体地，图像显示装置获取第一和第二三维图像之间的变形参数，并通过变形第一三维图像生成变形图像(第三三维图像)，从而第一三维图像的位置和形状与第二三维图像的位置和形状相一致。然后，图像显示装置以能够比较截面的方式显示第二三维图像的截面和第三三维图像的截面。此时，根据第二示例性实施例的图像显示装置获取统计误差值，即在显示的截面中的配准误差的估计值的统计值，并显示与截面图像关联的获取的统计值。由于图像显示装置被配置为基于用户输入的对应信息执行相互配准，因此动态地获取配准误差的估计值和估计值的统计值。在以下根据第二示例性实施例的图像显示装置的描述中，仅描述与第一示例性实施例不同的点。与第一示例性实施例和变形例描述的相似的点的详细描述通过并入上述描述而省略。

图6例示了根据第二示例性实施例的信息系统6的配置。根据第二示例性实施例的信息系统6包括图像处理装置60、数据服务器650以及显示器152。对与图1中相似的部分采用相同的附图标记或符号，并省略这部分的描述。

数据服务器650存储被检体的第一和第二三维图像。另外，数据服务器650存储与第一和第二三维图像之间的对应点有关的信息作为第一和第二三维图像的补充信息。不同于第一示例性实施例，数据服务器650不存储第一和第二三维图像之间的变形参数、第一三维图像的变形图像或者误差图像。

图像处理装置60包括三维图像获取单元602、区域信息获取单元604、对应信息获取单元605、误差信息获取单元606、变形图像生成单元607、截面指定单元108、截面生成单元110、统计值获取单元112以及显示控制单元114。

三维图像获取单元602从数据服务器650获取被检体的第一和第二三维图像。

与根据第一示例性实施例的区域信息获取单元104类似，区域信息获取单元604获取与第二三维图像中的关注区域有关的信息。另外，如果给出用户指示，则区域信息获取单元604设置诸如矩形或球形的区域作为关注区域。区域信息获取单元604也能够获取第一三维图像中的关注区域，该处理与根据第一示例性实施例的区域信息获取单元104执行的处理不同。在这种情况下，当执行处理以生成第一三维图像的变形图像时，区域信息获取单元604对关注区域执行类似的处理以获取关注区域的变形图像。

如果数据服务器650存储了信息，则对应信息获取单元605从数据服务器650获取与第一和第二三维图像之间的对应点有关的信息。另外，对应信息获取单元605基于用户的输入获取与第一和第二三维图像之间的对应点有关的更新信息，即，有关添加、改变和删除的信息。对应信息获取单元605是接受生成的目标截面的截面图像的对应信息的改变的接受单元的示例。

误差信息获取单元606基于当前获取的有关对应点的信息获取表示变形图像中的各体素位置的配准误差的分配的误差图像。

变形图像生成单元607基于当前获取的有关对应点的信息估计第一和第二三维图像之间的变形参数。然后，变形图像生成单元607以第一三维图像的位置和形状与第二三维图像的位置和形状相一致的方式、基于变形信息通过变形第一三维图像来生成变形图像。

图7是例示图像处理装置60执行的处理的示例的流程图。图像处理装置60对第一和第二三维图像执行变形配准处理以获取第三三维图像。然后，图像处理装置60指定第三三维图像的截面并获取指定截面的统计误差值。步骤S730至S770与第一示例性实施例中的步骤S230至S270类似，因此省略步骤S730至S770的描述。

在步骤S700，三维图像获取单元602从数据服务器650获取被检体的第一和第二三维图像。然后，三维图像获取单元602将获取的图像发送到变形图像生成单元607和截面图像生成单元110。

在步骤S710，区域信息获取单元604获取代表第一或第二三维图像的关注区域的标签图像(三维图像)。然后，如果在第二三维图像中限定关注区域，则区域信息获取单元604将获取的信息发送到统计值获取单元112。另一方面，如果在第一三维图像中限定关注区域，则区域信息获取单元604将获取的信息发送到变形图像生成单元607。

在步骤S713，对应信息获取单元605从数据服务器650获取与步骤S700中获取的两个三维图像间的对应点有关的信息。与根据第二示例性实施例的图像之间的对应点有关的信息是，例如，在诸如血管的分支部分的图像中的对应位置中指定的多个对应点的位置信息。具体地，对应点的位置信息是与第一和第二三维图像中都普遍包括的点有关的位置信息。然后，对应信息获取单元605将获取的与图像之间的对应点有关的信息发送到变形图像生成单元607和误差信息获取单元606。

在步骤S717，变形图像生成单元607基于步骤S713或S775指定的最新的对应点信息执行第一和第二三维图像之间的变形配准。具体地，变形图像生成单元607估计变形信息(下文的“变形参数”)，利用该变形信息，当第一三维图像在设置的条件下变形时，使在第一和第二三维图像之间的对应点的位置的剩余误差和包括剩余误差的价值函数(cost function)最小化。然后，变形图像生成单元607基于获取的变形参数通过执行对第一三维图像的坐标转换来生成第一三维图像的变形图像(第三三维图像)，从而使第一三维图像中的位置和形状与第二三维图像中的位置和形状相一致。然后，变形图像生成单元607将生成的变形图像发送到截面图像生成单元110。

另外，在第一三维图像中限定关注区域的情况下，变形图像生成单元607也基于变形信息对关注区域信息执行坐标转换以获取与第二三维图像配准的变形的关注区域。然后，变形图像生成单元607将与生成的变形关注区域有关的信息作为关注区域信息发送到统计值获取单元112。

在没有获取对应点的情况下，即在数据服务器150没有存储对应点信息并且在步骤S775没有添加对应点的情况下，使用第一三维图像作为第三三维图像。

在步骤S720，误差信息获取单元606基于步骤S713或S775中指定的最新的对应点信息获取变形图像中各体素位置的配准误差，并生成表示配准误差分布的误差图像。然后，误差信息获取单元606将生成的误差图像发送到统计值获取单元112。以这个视角，误差信息获取单元606作为估计单元的示例。

具体地，首先，误差信息获取单元606从步骤S713或S775中指定的最新的与多个对应点有关的信息中选择作为误差获取目标的对应点，并选择上述选择的对应点以外的对应点作为配准使用的对应信息。接下来，误差信息获取单元606基于选择的对应信息执行配准处理以配准第一和第二三维图像。配准处理是估计第一三维图像变形的处理。然后，误差信息获取单元606从配置处理结果中获取选择的对应点(即，配准处理中未使用的对应点)的位置的位置误差向量。位置误差向量是目标配准误差(TRE)。最后，误差信息获取单元606在对应点的各位置插值TRE以获取各体素位置的配准误差。插值中能够使用的插值模式的示例包括如下功能组，其中在对应点的各位置处设置诸如薄板样条(thin plate spline(TPS))函数的径向基函数(radial basis function)。

在当前对应点信息不满足预定条件的情况下，不执行步骤S720的误差信息获取处理。例如，在对应点数量为0的情况下，不能进行基于对应点的误差估计，从而不能获取误差信息。另外，在对应点数量超过预定阈值之前不能获取误差信息。这样有利于避免向用户呈现低可靠性的误差信息。

在步骤S775，对应信息获取单元605还设置与第一和第二三维图像之间有关的对应点的信息。具体地，对应信息获取单元605基于用户经由鼠标(未示出)输入的信息设置与根据第一和第二三维图像生成的各截面图像之间的对应点(诸如血管的分支部分)有关的位置信息。然后，对应信息获取单元605将与指定的对应点有关的位置信息添加到步骤S713获取的与图像之间的多个对应点有关的位置信息中。取代于添加新的对应点，可以移动或删除现有的对应点。然后，对应信息获取单元605将获取的与图像之间的对应点有关的信息发送到变形图像生成单元607和误差信息获取单元606。

在步骤S780，图像处理装置60确定是否结束整个处理。如果图像处理装置60确定结束整个处理(步骤S780为“是”)，则结束图像处理装置60的整个处理。另一方面，如果图像处理装置60没有确定结束整个处理(步骤S780为“否”)，则处理返回步骤S717，并再次执行步骤S717到S775的处理。

根据第二示例性实施例，在基于用户输入的对应信息执行图像之间的配准的情况下，配准误差的估计值的统计值能够在更新的同时显示。这使得用户能够基于对应点的输入而容易地明白截面上的偏移的改变。

变形的示例

在根据第二示例性实施例的图像处理装置的功能配置中，省略输出单元。在变形的示例中，如同第一示例性实施例，图像处理装置60可以包括输出单元，其被配置为向数据服务器650输出变形图像生成单元607和截面图像生成单元110生成的图像以及统计值获取单元112获取的统计误差值。

下文描述了第三示例性实施例。根据第三示例性实施例的图像显示装置呈现在显示的截面以外的截面中的配准误差的估计值的统计值。更具体地，图像显示装置的特征在于根据距预定区域的各距离获取配准误差的估计值的统计值。在第三示例性实施例中，被检体的表面用作预定区域。在下文根据第三实施例的图像显示装置的描述中，仅描述与第一示例性实施例不同的点。

图8例示了根据第三示例性实施例的信息系统8。如图8所示，根据第三示例性实施例的信息系统8包括图像处理装置80、数据服务器150以及显示器152。对与图1类似的部分给出相同的参考标记或符号，并省略该部分的描述。

图像处理装置80包括三维图像获取单元102、区域信息获取单元104、误差估计单元106、统计值获取单元812、显示控制单元814以及距离获取单元822。

统计值获取单元812基于距被检体表面的距离获取分类的多个区域的每一个的配准误差的统计误差值。在本示例性实施例中，统计值获取单元812基于距被检体表面的距离获取针对多个弯曲的截面的统计误差值。

显示控制单元814执行控制以在显示器152上显示统计误差值。另外，显示控制单元814执行控制以在显示器152上显示变形图像。

距离获取单元822获取从内部区域的各体素的位置到预定区域的距离。在本示例性实施例中，距离获取单元822使用作为参考位置的被检体表面获取距离。

图9是例示图像处理装置80执行的处理的示例的流程图。图像处理装置80根据距被检体表面的距离获取多个区域的统计误差值。步骤S900至S920与第一示例性实施例中的步骤S200至S220类似，因此省略步骤S900至S920的描述。

在步骤S930，距离获取单元822获取从预定区域到步骤S910中获取的被检体表面内部区域中各体素位置的距离。换句话说，距离获取单元822获取距被检体表面的距离。表示被检体表面的信息能够通过对步骤S910获取的标签图像执行公知的处理来获取，并代表被检体表面中的内部区域。然后，距离获取单元822将获取的距离发送到统计值获取单元812。

在步骤S940，统计值获取单元812获取步骤S930获取的基于距预定区域的距离分类的多个区域(即，本示例性实施例中的截面区域)中的每一个的配准误差的统计误差值。然后，统计值获取单元812将获取的信息发送到显示控制单元814。

具体地，首先，统计值获取单元812基于步骤S930获取的各体素位置距被检体表面的距离，计算距被检体表面距离0到10mm的弯曲的截面中的体素N10的数量。接下来，统计值获取单元812获取距被检体表面距离0到10mm的弯曲的截面中的各体素的体素值，即配准误差，并获取配准误差的总T10。然后，统计值获取单元812将总T10除以体素N10的数量以获取距被检体表面距离0到10mm的弯曲的截面中配准误差的平均值。类似地，统计值获取单元812使用公知的方法获取诸如配准误差的标准偏差、最大值、中值、直方图的统计误差值。

另外，如在距被检体表面距离0到10mm的弯曲的截面中的情况那样，统计值获取单元812获取距被检体表面距离大于等于10mm且小于20mm的弯曲的截面中、距被检体表面距离大于等于20mm且小于30mm的弯曲的截面中、距被检体表面距离大于30的弯曲的截面中的配置误差的估计值的统计值。

在步骤S950，显示控制单元814执行控制以在显示器152显示统计误差值。另外，显示控制单元814可以执行控制以在显示器152上显示步骤S900获取的第三三维图像。此时，显示控制单元814可以在显示器152上连同第三三维图像一起显示步骤S940获取的统计误差值。

图10例示了显示器152显示的被检体的第三三维图像1001以及与第三三维图像1001关联的估计误差值的统计值1002的示例。在图10中，显示投影图像(MIP图像)，其中在轴向截面上投影整个第三三维图像1001的厚度范围(即，板，slab)的体素值的最大值。图10的虚线1005、1006、1007分别表示距离关注区域303(被检体表面)10mm、20mm、30mm的线。另外，图10例示了各距离的配准误差的估计值的统计值1002。尽管图10描述了有选择地显示多个统计值(例如，中值、平均值)中的一个作为估计误差值的统计值，但不限于此，可以同时显示多个统计值。

根据第三示例性实施例，能够根据距预定区域的各距离获取配置误差的估计值的统计值。这使得用户能够容易地明白距预定区域的距离和配准误差之间的关系。

根据本示例性实施例，基于估计误差值的统计值，用户能够容易地明白目标截面中的配准误差的整体趋势。

变形示例

尽管从根据第三示例性实施例的图像处理装置的功能配置省略输出单元，图像处理装置60也可以包括如同第一示例性实施例的被配置为向数据服务器150输出统计值获取单元812获取的统计误差值的输出单元。

尽管第三示例性实施例中描述了预定区域是被检体表面的情况，但并不限于此，预定的参照可以是诸如被检体胸大肌的平面的特征平面或者诸如病变位置的特征点。另外，例如，在被检体是乳房的情况下，预定区域可以是乳头的位置。在这种情况下，根据距乳头的各距离获取配准误差的估计值的统计值。

另外，在如第一示例性实施例中显示三维图像的截面图像的情况下，可以显示弯曲截面区域和显示的截面相交的相交区域的统计误差值。在这种情况下，可以在步骤S940获取弯曲截面区域分别和显示的截面相交的相交区域并且获取相交区域的统计误差值。

也可以通过经由网络或存储介质向上述的系统或装置提供程序实现一个或多个功能的示例性实施例，使系统或装置的计算机的一个或多个处理器读取并执行程序实现来实现本发明的示例性实施例。此外，本发明的实施例还可以由电路(例如，实现一个或多个功能的特定应用集成电路(ASIC))实现。

根据上述示例性实施例中每个信息处理装置，可以以单一的装置的形式或多个相互连接的装置以通信方式执行上述处理的形式实现，且两种配置都包含在本发明的示例性实施例范围。描述的处理可以由公共的服务器设备或一组服务器执行。包括在图像处理装置和图像处理系统中的多个设备可以是任何能够在预定的通信速率相互通信的设备，并且设备不需要是相同设施或国家。

本发明的示例性实施例包括如下示例性实施例中，向系统或装置提供用于实现上述示例性实施例功能的软件程序，系统或装置的计算机读取和执行提供程序的代码。

因此，根据示例性实施例的处理能够由计算机实现，所以安装在计算机种的程序代码也是本发明示例性实施例的一个。另外，计算机上运行的操作系统(OS)可以基于计算机读取的程序总包括的指示执行实际处理的一部分或全部，因此能够通过处理时限上述示例性实施例的功能。

本发明的示例性实施例包括上述示例性实施例的任何组合。

其他实施例

本发明的实施例还可以通过读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的用以进行本发明的上述实施例中的一个或更多个实施例的功能的计算机可执行指令的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行用以进行上述实施例中的一个或更多个实施例的功能的计算机可执行指令来进行的方法来实现。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)、或其它电路中的一个或更多个，并且可以包括独立的计算机或独立的计算机处理器的网络。例如可以从网络或存储介质向计算机提供计算机可执行指令。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布计算系统的存储器、光盘(例如，压缩盘(CD)、数字多用途盘(DVD)、或蓝光盘(BD)TM)、闪存存储设备、存储卡等中的一个或更多个。本发明还可以由计算机来实现。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。