内窥镜观察支持系统、方法、设备和程序的制作方法

专利名称：内窥镜观察支持系统、方法、设备和程序的制作方法
内窥镜观察支持系统、方法、设备和程序发明背景发明领域本发明涉及用于在使用插入在受试者体腔中的内窥镜的外科手术或检查期间支持内窥镜观察的技术，并且特别涉及用于使用表示受试者体腔内部的虚拟内窥镜图像支持内窥镜观察的技术。相关技术描述近年来，使用内窥镜的外科手术诸如腹腔镜手术和胸腔镜手术一直受到关注。内窥镜外科手术是有利的，因为它不需要剖腹术、开胸术等，并且仅需要做出用于插入内窥镜 和外科手术工具的两三个直径为数厘米的孔，因此显著减轻施加在患者上的负担。然而，用内窥镜的极有限视野进行外科手术是高度困难的，并且医生需要许多技术以进行内窥镜外科手术。如果在内窥镜外科手术期间患者的血管或器官被误伤且出血，不可能继续内窥镜外科手术并且医生不得不进行包括剖腹术、开胸术等的常规外科手术。另一方面，用于从用CT设备拍摄的3D体积图像生成类似于内窥镜图像的虚拟内窥镜图像的虚拟内窥镜技术是已知的。该技术广泛地在北美使用作为用于仅通过CT成像而不进行内窥镜检查而发现肿瘤特别是结肠直肠肿瘤的方法。另外，已经提出了使用虚拟内窥镜图像支持内窥镜外科手术的技术。例如，日本未审查专利公开号2002-263053(在下文中，称为专利文献I)已经公开了一种设备，该设备用传感器检测内窥镜位置，生成具有比将检测到的内窥镜位置设置为视点的情况下的内窥镜视角更宽的视角的虚拟内窥镜图像，并且显示虚拟内窥镜图像和相互叠加的用内窥镜拍摄的真实内窥镜图像。另外，日本未审查专利公开号2005-21353(在下文中，称为专利文献2)已经公开了一种设备，该设备检测内窥镜的实时位置以生成具有与内窥镜的视野相同的视野的虚拟内窥镜图像，在所述虚拟内窥镜图像中视野中的血管的位置被可视化。所述设备还检测在内窥镜外科手术期间使用的外科手术工具的实时位置以生成复合图像，在所述复合图像中表示外科手术工具的图像在虚拟内窥镜图像中的外科手术工具的位置处组合，并且所述设备显示复合图像和真实内窥镜图像。然而，根据这些文献中公开的技术，尽管虚拟内窥镜图像的作用是用来补偿内窥镜的窄视野，但虚拟内窥镜图像具有与真实内窥镜图像的视点相同的视点，即，是从与真实内窥镜图像的观察方向相同的观察方向观察到的图像。因此，根据内窥镜和关注部位诸如外科手术工具或外科手术关注部位之间的位置关系，关注部位有时可能不显示在虚拟内窥镜图像和真实内窥镜图像中，并且在这样一种情况下医生不能了解内窥镜与所关注的部位的接近程度。发明概述鉴于上述情况，本发明涉及提供用于在使用插入在体腔中的内窥镜观察受试者的体腔期间允许使用者更可靠地了解内窥镜与关注部位诸如外科手术工具或外科手术关注部位之间的位置关系，以及内窥镜与关注部位的接近程度的系统、方法、设备和程序。本发明的内窥镜观察支持系统的一个方面包括3D医用图像形成装置，其用于形成表示受试者体腔内部的3D医用图像；关注位置指定装置，其用于指定所述3D医用图像中所述体腔内的(第一)关注结构的位置；内窥镜位置和姿势检测装置，其用于检测插入到所述体腔内的内窥镜的实时位置和实时姿势；内窥镜视角获取装置，其用于获取所述内窥镜的视角的信息；虚拟视野确定装置，其基于指定的(第一)关注结构的位置、检测到的所述内窥镜在所述3D医用图像中的位置和姿势以及所述内窥镜的视角，确定位于内窥镜对应位置处的虚拟内窥镜的虚拟视野，以致所述(第一)关注结构的位置包含在所述虚拟视野内并且所述虚拟视野与内窥镜对应视野具有连续性，所述内窥镜对应位置是所述3D医用图像中对应于检测到的所述内窥镜的位置的位置，所述内窥镜对应视野是所述3D医用图像中对应于所述内窥镜的视野的视野；虚拟内窥镜图像生成装置，其用于由向其输入的所述3D医用图像生成具有所述虚拟视野的虚拟内窥镜图像，所述虚拟内窥镜图像的视点是所述内窥镜对应位置；以及显示装置，其用于显示所述虚拟内窥镜图像。本发明的内窥镜观察支持方法的一个方面包括以下步骤在利用插入到体腔内的 内窥镜对所述体腔内部进行内窥镜观察前或期间，形成表示受试者体腔内部的3D医用图像；指定所述3D医用图像中所述体腔内的(第一)关注结构的位置；检测插入到所述体腔内的所述内窥镜的实时位置和实时姿势；获取所述内窥镜的视角的信息；基于指定的(第一)关注结构的位置、检测到的所述内窥镜在所述3D医用图像中的位置和姿势以及所述内窥镜的视角，确定位于内窥镜对应位置处的虚拟内窥镜的虚拟视野，以致(第一)关注结构的位置包含在所述虚拟视野内并且所述虚拟视野与内窥镜对应视野具有连续性，所述内窥镜对应位置是所述3D医用图像中对应于检测到的所述内窥镜的位置的位置，所述内窥镜对应视野是所述3D医用图像中对应于所述内窥镜的视野的视野；由输入的所述3D医用图像生成具有所述虚拟视野的虚拟内窥镜图像，所述虚拟内窥镜图像的视点是所述内窥镜对应位置，所述虚拟内窥镜图像表示从所述视点观察到的所述体腔的内部；以及显示所述虚拟内窥镜图像本发明的内窥镜观察支持设备的一个方面包括3D医用图像获取装置，其用于获取表示受试者体腔内部的3D医用图像；关注位置指定装置，其用于指定所述3D医用图像中所述体腔内的(第一)关注结构的位置；位置获取装置，其用于获取由位置和姿势检测装置检测到的插入到所述体腔内的内窥镜的实时位置和实时姿势；内窥镜视角获取装置，其用于获取所述内窥镜的视角的信息；虚拟视野确定装置，其基于指定的(第一)关注结构的位置、获取的所述内窥镜在所述3D医用图像中的位置和姿势以及所述内窥镜的视角，确定位于内窥镜对应位置处的虚拟内窥镜的虚拟视野，以致(第一)关注结构的位置包含在所述虚拟视野内并且所述虚拟视野与内窥镜对应视野具有连续性，所述内窥镜对应位置是所述3D医用图像中对应于检测到的所述内窥镜的位置的位置，所述内窥镜对应视野是所述3D医用图像中对应于所述内窥镜的视野的视野；虚拟内窥镜图像生成装置，其用于由向其输入的所述3D医用图像生成具有所述虚拟视野的虚拟内窥镜图像，所述虚拟内窥镜的视点是所述内窥镜对应位置；以及显示控制装置，其用于使显示装置显示所述虚拟内窥镜图像。本发明的内窥镜观察支持程序的一个方面使得计算机执行以下步骤获取表示受试者体腔内部的3D医用图像；指定所述3D医用图像中所述体腔内的(第一)关注结构的位置；获取由位置和姿势检测装置检测到的插入到所述体腔内的内窥镜的实时位置和实时姿势；获取所述内窥镜的视角的信息；基于指定的(第一)关注结构的位置、检测到的所述内窥镜在所述3D医用图像中的位置和姿势以及所述内窥镜的视角，确定位于内窥镜对应位置处的虚拟内窥镜的虚拟视野，以致(第一)关注结构的位置包含在所述虚拟视野内并且所述虚拟视野与内窥镜对应视野具有连续性，所述内窥镜对应位置是所述3D医用图像中对应于检测到的所述内窥镜的位置的位置，所述内窥镜对应视野是所述3D医用图像中对应于所述内窥镜的视野的视野；由输入的所述3D医用图像生成具有所述虚拟视野的虚拟内窥镜图像，所述虚拟内窥镜图像的视点是所述内窥镜对应位置；以及使得显示装置显示所述虚拟内窥镜图像。现在，描述本发明的细节。在本发明中，表示体腔内部的真实内窥镜图像可以通过利用内窥镜实时成像来形 成，并且虚拟内窥镜图像和真实内窥镜图像可以以一个被叠加在另一个上且虚拟内窥镜图像和真实内窥镜图像之间的对应位置彼此对准的方式显示，所述真实内窥镜图像是几乎在检测到用于生成虚拟内窥镜图像的内窥镜的位置和姿势的同时形成的。以此方式，通过利用内窥镜成像实时形成的真实内窥镜图像，和几乎在形成真实内窥镜图像的同时从由位置和姿势检测装置检测到的内窥镜的实时位置观察到的虚拟内窥镜图像，以在一个被叠加在另一个上的方式显不。在响应于对内窥镜的位置和姿势的检测而重复生成虚拟内窥镜图像的情况中，实现随内窥镜运动的真实内窥镜图像和虚拟内窥镜图像两者的实时更新。在本发明中，在其中在使用内窥镜观察期间形成和获得3D医用图像的情况下，可以实时获得3D医用图像。在该情况下，可以通过在获得的3D医用图像上进行图像识别处理来检测内窥镜的位置和姿势。“(第一)关注结构”的具体实例可以包括在内窥镜外科手术期间的外科手术关注部位和在内窥镜外科手术期间需要注意的解剖结构，诸如血管、器官或肿瘤。用于确定(第一)关注结构的位置的具体方法可以是使用已知图像识别技术的自动方法、涉及使用者的人工操作的方法或将自动和人工方法两者结合的方法。备选地，“(第一)关注结构”可以是插入到体腔内的外科手术工具。确定“虚拟视野”以致(第一)关注结构的位置包含在视野中。这意味着沿从视点(内窥镜的位置)向(第一)关注结构的位置的视线的图像信息反映在虚拟内窥镜图像中。如果，例如，结构，如器官、血管或褶皱存在于内窥镜和(第一)关注结构之间，则(第一)关注结构可以不一定显示在虚拟内窥镜图像中。此外，“虚拟视野”与内窥镜的视野具有连续性。描述“(虚拟内窥镜图像的)虚拟视野与内窥镜的视野具有连续性”是指这些视野在至少一点相互接触。具体地，一个视野可以包含在另一个视野中，多个视野可以彼此部分重叠，或者视野可以彼此完全重叠。“虚拟视野”可以具有比内窥镜的视角更宽的视角。当生成“虚拟内窥镜图像”时，从内窥镜到体腔中结构表面的距离可以用作虚拟内窥镜图像的像素值的决定因素。备选地，可以使用颜色模板，将其定义以提供以与真实内窥镜图像中显示的外观几乎相同的外观显示体腔中的部位的虚拟内窥镜图像。应当注意，颜色模板可以包括，例如，这样的模板，其限定使体腔中的每个部位具有与真实内窥镜图像中显示的颜色几乎相同的颜色，并且体腔中每个部位可以根据需要半透明地显示，以致不能在真实内窥镜图像中观察到的在障碍物后面的结构在虚拟内窥镜图像中可视觉地识别。在本发明中，可以检测3D医用图像中体腔中的第二关注结构，并且可以生成以可视觉识别方式显示检测到的第二关注结构的虚拟内窥镜图像。“第二关注结构”的具体实例可以包括以上关于第一关注结构所提及的那些。因此，例如，第一结构可以是在内窥镜外科手术期间的外科手术关注部位并且第二关注结构可以是在外科手术期间需要注意的解剖结构，或反之亦然。在本发明中，当内窥镜与(第一)关注结构的接近程度符合预定标准时可以显示警报。警报可以视觉地显示在虚拟内窥镜图像中，或可以以通过任何其它感官感知的方式显不O根据本发明，从输入的显示受试者体腔内部的3D医用图像，生成并显示虚拟内窥镜图像，其中虚拟内窥镜图像的视点是3D医用图像中对应于由位置和姿势检测装置检测到的内窥镜的位置的位置，虚拟内窥镜图像的视野包含关注结构的位置，并且虚拟内窥镜图像的视野与内窥镜的视野具有连续性。确定显示的虚拟内窥镜图像的视野以致关注结构的位置总是包含在视野中，由此允许使用者可靠地识别内窥镜和关注结构之间的位置关系和接近程度，并且有助于防止外科手术或检查期间的误操作等。此外，虚拟内窥镜图像的视野与内窥镜的视野具有连续性。这有助于使用者识别这些视野之间的位置关系。例如，即使当关注结构不包含在真实内窥镜图像中时，使用者可以容易地识别应当如何移动内窥镜以使关注结构包含在真实内窥镜的视野中，并且这改善了外科手术期间内窥镜的操作性。此外，此时，连续显示的虚拟内窥镜图像的虚拟内窥镜的视点和视野通过检测到的内窥镜的实时位置的反馈实时改变。这允许使用者动态地并且更适当地识别内窥镜与关注结构的接近程度。此外，在表示体腔内部的真实内窥镜图像通过内窥镜的实时成像形成，并且虚拟内窥镜图像和几乎在检测到用于生成虚拟内窥镜图像的内窥镜的位置和姿势的同时形成的真实内窥镜图像以一个被叠加在另一个上且虚拟内窥镜图像和真实内窥镜图像之间的对应位置彼此对准的方式显示的情况下，所显示的真实内窥镜图像和虚拟内窥镜图像显示几乎在同一时间点的体腔内部的状态，并且因此真实内窥镜图像和虚拟内窥镜图像以时间上同步的方式连续显示。此外，在响应于对内窥镜位置的检测而重复生成虚拟内窥镜图像的情况下，实现真实内窥镜图像和虚拟内窥镜图像两者的实时更新。即，真实内窥镜图像的视野随内窥镜的运动或旋转改变，并且虚拟内窥镜图像的视野随内窥镜的运动等而改变。以此方式，使用者可以在互补地使用真实内窥镜图像和虚拟内窥镜图像来观察体腔内部。附图简述图I是显示根据本发明的第一至第五实施方案的内窥镜观察支持系统的硬件配置的图，图2是根据本发明的第一至第三实施方案的内窥镜观察支持系统的功能框图，图3是流程图，其显示根据本发明的第一至第三实施方案的内窥镜观察支持方法的流程，图4A是示意图，其显示本发明的第一实施方案中的虚拟内窥镜的视野的一个实例，该视野基于真实内窥镜的视野和关注结构的位置确定，
图4B是示意图，其显示在本发明的第一实施方案中叠加显示真实内窥镜图像和虚拟内窥镜图像的一个实例，图5A是示意图，其显示在本发明的第一实施方案的改型中，基于真实内窥镜的视野和关注结构的位置确定的虚拟内窥镜的视野的第一个实例，图5B是示意图，其显示在本发明的第一实施方案的改型中，在图5A中所示的情况中，叠加显示真实内窥镜图像和虚拟内窥镜图像的一个实例，图6A是示意图，其显示在本发明的第一实施方案的改型中，基于真实内窥镜的视野和关注结构的位置确定的虚拟内窥镜的视野的第二个实例，图6B是示意图，其显示在本发明的第一实施方案的改型中，在图6A中所示的情况中，叠加显示真实内窥镜图像和虚拟内窥镜图像的一个实例，图7A是示意图，其显示在本发明的第一实施方案的改型中，基于真实内窥镜的视 野和关注结构的位置确定的虚拟内窥镜的视野的第三个实例，图7B是示意图，其显示在本发明的第一实施方案的改型中，在图7A中所示的情况中，叠加显示真实内窥镜图像和虚拟内窥镜图像的一个实例，图8A是示意图，其显示另一个结构存在于关注结构和内窥镜之间的情况的一个实例，图8B是示意图，其显示在本发明的第二实施方案中显示的虚拟内窥镜图像的一个实例，图9A是示意图，其显示根据本发明的第三实施方案的颜色模板的一个实例，所述颜色模板根据从视点到腹腔中解剖结构表面的距离改变虚拟内窥镜图像中的显示颜色，图9B是示意图，其显示根据本发明的第三实施方案的虚拟内窥镜图像的一个实例，其中显示颜色根据距视点的距离而改变，

图10是根据本发明的第四实施方案的内窥镜观察支持系统的功能框图，图11是流程图，其显示根据本发明的第四实施方案的内窥镜观察支持方法的流程，图12是示意图，其显示根据本发明的第四实施方案的警报显示的一个实例，图13是根据本发明的第五实施方案的内窥镜观察支持系统的功能框图，图14是流程图，其显示根据本发明的第五实施方案的内窥镜观察支持方法的流程，图15A是示意图，其显示关注结构、需要注意的结构和内窥镜之间的位置关系的一个实例，图15B是示意图，其显示在本发明的第五实施方案中显示的虚拟内窥镜图像的一个实例，图15C是示意图，其显示在本发明的第五实施方案中叠加显示真实内窥镜图像和虚拟内窥镜图像的一个实例，图16是显示根据本发明的第六实施方案的内窥镜观察支持系统的硬件配置的图，图17是根据本发明的第六实施方案的内窥镜观察支持系统的功能框图，图18是流程图，其显示根据本发明的第六实施方案的内窥镜观察支持方法的流程，图19A是示意图，其显示本发明的第六实施方案中的虚拟内窥镜的视野的一个实例，该视野基于真实内窥镜的视野以及关注结构和外科手术工具的位置确定，图19B是示意图，其显示在本发明的第六实施方案中叠加显示真实内窥镜图像和虚拟内窥镜图像的一个实例，图20是根据本发明的第七实施方案的内窥镜观察支持系统的功能框图，图21是流程图，其显示根据本发明的第七实施方案的内窥镜观察支持方法的流程。优选实施方案描述
下文中，描述根据本发明的实施方案的内窥镜观察支持系统。图I是说明根据本发明的第一实施方案的内窥镜观察支持系统的概略的硬件配置图。如图中所示，该系统包括内窥镜I、数字处理器2、光源装置3、真实内窥镜图像显示器
4、模态5、外科手术工具6、内窥镜标记器7a、位置传感器8、图像处理工作站9和图像处理工作站显示器(其将在下文中称为“WS显示器”)10。在该实施方案中，内窥镜I是用于腹腔的硬质内窥镜，并且将其插入到受试者腹腔中。将来自光源装置3的光通过光纤引导并从内窥镜I的尖部发射，并且通过内窥镜I的成像光学系统拍摄受试者腹腔内部的图像。数字处理器2将通过内窥镜I获得的图像信号转换成数字图像信号，并且通过数字信号处理诸如白平衡控制和黑点校正进行图像质量校正。然后，数字处理器2将由DICOM(医学数字成像和通信)标准规定的伴随信息添加到数字图像信号以输出真实内窥镜图像数据(Ike)。根据符合DICOM标准的通信协议将输出的真实内窥镜图像数据(Ike)经由LAN传送到图像处理工作站9。另外，数字处理器2将真实内窥镜图像数据(Ike)转换成模拟信号并将模拟信号输出到真实内窥镜图像显示器4，以致将真实内窥镜图像(Ike)显示在真实内窥镜图像显示器4上。内窥镜I以预定帧率获得图像信号，并且因此显示在真实内窥镜显示器4上的真实内窥镜图像(Ike)是显示腹腔内部的运动图像。内窥镜I还可以响应于使用者的操作获取静止图像。模态5是将受试者的待检查部位成像并且生成表示所述部位的3D医用图像的图像数据(V)的设备。在该实施方案中，模态5是CT设备。3D医用图像数据(V)也具有加入到其中的由DICOM标准规定的伴随信息。还根据符合DICOM标准的通信协议经由LAN将3D医用图像数据(V)传送到图像处理工作站9。内窥镜标记器7a和位置传感器8形成已知的三维位置测量系统。内窥镜标记器7a被设置在内窥镜I的手柄附近，并且标记器7a的三维位置通过光学位置传感器8以预定的时间间隔检测。内窥镜标记器7a由多个标记器芯片形成，以使位置传感器8也可以基于标记器芯片间的位置关系检测内窥镜I的姿势。内窥镜I的姿势表示插入的内窥镜的定向，并且与在内窥镜视野中央的视线的定向一致。因此，内窥镜I的姿势在下文中可以被称为内窥镜I的中心视线向量。此外，内窥镜I的顶端部分的三维位置PSE可以通过偏移量计算来计算。位置传感器8将计算的内窥镜I的三维位置数据PSE和三维姿势数据DSE经由USB接口发送到图像处理工作站9。图像处理工作站9是具有已知硬件配置的计算机，其包括CPU、主存储装置、辅助存储装置、输入/输出接口、通信接口、数据总线等，与其连接的输入装置(诸如点击装置和键盘)和WS显示器10。将图像处理工作站9经由LAN连接到数字处理器2和模态5，并且经由USB连接而连接到位置传感器8。图像处理工作站9中已经安装了已知操作系统、多种应用软件程序等和用于执行本发明的内窥镜观察支持方法的应用软件程序。这些软件程序可以是从记录介质诸如CD-ROM安装，或可以从经由网络诸如互联网连接的服务器的存储装置下载，之后安装。图2是根据本发明的第一实施方案的内窥镜观察支持系统的功能框图。如图中所示，根据本发明的第一实施方案的内窥镜观察支持系统包括内窥镜I、真实内窥镜图像形成装置2、真实内窥镜图像显示器4、3D医用图像形成装置5、WS显示器10、内窥镜位置和姿势检测装置11、真实内窥镜图像获取装置21、内窥镜位置和姿势获取装置22、3D医用图像获取装置23、关注位置指定装置24、内窥镜视角获取装置25、虚拟视野确定装置26、虚拟内窥镜图像生成装置27、和显示控制装置28。应当注意，分配给图I中显示的硬件装置的相同附图标记用于表示图2中显示的相应功能块，此时在它们之间基本上存在一一对应关系。即，真实内窥镜图像形成装置2的功能是通过图I中显示的数字处理器实现的，并且3D医用图像形成装置5的功能是通过图I中显示的模态实现的。另一方面，内窥镜位置和姿势检测
装置11的功能由内窥镜标记器7a和位置传感器8实现。虚线框表示图像处理工作站9，并且虚线框中的单个处理设备的功能通过在图像处理工作站9上执行预定的程序来实现。此外，虚线框中的真实内窥镜图像IKE、检测到的内窥镜的位置PSE、内窥镜的姿势DSe、内窥镜位置Pe、内窥镜的中心视线向量VLe、内窥镜的视角Ae、虚拟内窥镜的视点VPve、虚拟内窥镜的中心视线向量VLve、虚拟内窥镜的视角Ave，3D医用图像V、关注位置P1和虚拟内窥镜图像Ive是由虚线框中的单个处理装置写入到图像处理工作站9的预定存储区域并从图像处理工作站9的预定存储区域读出的数据。接着，使用图3中显示的流程图，描述了根据本发明的第一实施方案的由使用者在内窥镜观察支持系统上进行的操作和由上述单个处理设备进行的操作的示意性流程。在使用内窥镜I观察受试者腹腔内部之前，3D医用图像形成装置5将受试者腹腔内部成像以形成3D医用图像V。在图像处理工作站9上，3D医用图像获取装置23获得由3D医用图像形成装置5形成的3D医用图像V (#1)，并且然后关注位置指定装置24显示用于接收使用者操作以指定由3D医用图像获取装置23获得的3D医用图像V中显示的体腔中的关注结构(例如，外科手术关注部位)的用户界面，并且基于获得的3D医用图像V确定3D医用图像V中被指定的关注结构的位置P1 (#2)。然后，如在图3中显示的流程图右侧所写，在关注结构的内窥镜外科手术期间，即，在使用内窥镜I观察受试者腹腔内部期间，真实内窥镜图像形成装置2以预定帧率反复形成用插入在体腔中的内窥镜I拍摄的真实内窥镜图像Ike，并且形成的真实内窥镜图像Ike实时显示为真实内窥镜图像显示器4上的实时取景图像直到结束观察(#7 :是(YES))。此夕卜，内窥镜位置和姿势检测装置11以预定的时间间隔反复检测插入到体腔中的内窥镜I的实时位置PSe和实时姿势DSe。在图像处理工作站9上，真实内窥镜图像获取装置21获取由真实内窥镜图像形成装置2形成的真实内窥镜图像Ire (#3)。几乎与此同时，内窥镜位置和姿势获取装置22获取由内窥镜位置和姿势检测装置11检测到的检测到的内窥镜位置PSe和姿势DSe并且输出内窥镜位置Pe和姿势(中心视线向量)VLe，它们通过将获得的内窥镜位置PSe和姿势DSeR换为3D医用图像V的坐标系中的位置和姿势而获得(#4)。内窥镜视角获取装置25从图像处理工作站9的预定存储区域获取内窥镜I的视角 Ae (#5)。虚拟视野确定装置26基于由关注位置指定装置24指定的关注结构的位置P1'由内窥镜位置和姿势获取装置22获得的位置Pe和中心视线向量VLe、以及由内窥镜视角获取装置25获得的内窥镜的视角Ae，确定位于由内窥镜位置和姿势获取装置22获得的内窥镜位置Pe处的虚拟内窥镜的虚拟视野，以致关注结构的位置P1包含在虚拟视野中并且虚拟视野与内窥镜对应视野具有连续性，内窥镜对应视野是3D医用图像中对应于内窥镜I的视野的视野，并且输出虚拟内窥镜的视点中心视线向量VLve和视角Ave (#6)。基于通过虚拟视野确定装置26确定的虚拟内窥镜的视点VP^中心视线向量VLve和视角Ave，虚拟内窥镜图像生成装置27从通过3D医用图像获取装置23获取并向其输入 的3D医用图像V，生成具有虚拟视野的虚拟内窥镜图像Ive，其视点是内窥镜位置VPe(VPv)(#7)。显示控制装置28使得WS显示器10显示由真实内窥镜图像获取装置21获取的真实内窥镜图像Ike和由虚拟内窥镜图像生成装置27生成的虚拟内窥镜图像Ive (#8)。在图像处理工作站9上，获取新的真实内窥镜图像Ike的操作(#3)，在该时间点获取内窥镜位置Pe和姿势VLve的操作(#4),获取内窥镜的视角Ae的操作(#5),确定虚拟视野的操作(#6)，生成虚拟内窥镜图像Ive的操作(#7)以及更新所显示的真实内窥镜图像1吧和虚拟内窥镜图像Ive的操作(#8)被重复直到做出指示结束观察的操作(#8 :否)。以此，真实内窥镜图像Ike和虚拟内窥镜图像Ive以时间上同步的方式连续显示在WS显示器10上。当做出指示结束观察的操作时(#9 :是)，图像处理工作站9结束在上述步骤#3至#8中重复的操作。接着，描述由图像处理工作站9中的单个处理设备进行的操作的细节。真实内窥镜图像获取装置21是通信接口，其接收经由与真实内窥镜图像形成装置(数字处理器)2通信的真实内窥镜图像Ike并将真实内窥镜图像Ike存储在图像处理工作站9的预定存储区域中。基于来自真实内窥镜图像获取装置21的请求，从真实内窥镜图像形成装置2传送真实内窥镜图像IKE。内窥镜位置和姿势获取装置22具有通信接口的功能以经由与内窥镜位置和姿势检测装置11的通信获取内窥镜位置PSe和姿势DSe，并且具有以下功能将获得的位置传感器8的三维坐标系中的内窥镜位置PSe和姿势DSe变换为由3D医用图像V的三维坐标系中的坐标值表示的内窥镜位置Pe和姿势(中心视线向量)VLe，并将内窥镜位置Pe和姿势(中心视线向量)VLE#储在图像处理工作站9的预定的存储区域中。关于前一通信接口功能，内窥镜位置PSe和姿势DSe基于来自内窥镜位置获取装置22的请求获取自内窥镜位置检测装置11。关于后一个坐标变换功能，坐标轴旋转的量基于位置传感器的三维坐标系中的各个坐标轴的定向与3D医用图像V的三维坐标系中的各个坐标轴的定向之间的对应关系预先计算，并且预先测量与位置传感器8的三维坐标系中的3D医用图像V的原点相对应的受试者上的位置的坐标值，从而基于原点的坐标值计算坐标轴之间的平移的量。然后，使用矩阵实现由位置传感器8的三维坐标系表示的内窥镜位置PSe和姿势DSeR换成由3D医用图像V的三维坐标系中的坐标值表示的内窥镜位置Pe和姿势(中心视线向量)VLe，所述矩阵施加由计算的旋转量产生的旋转和计算的平移量产生的平移。3D医用图像获取装置23具有从3D医用图像形成装置5接收3D医用图像V并且将3D医用图像V存储在图像处理工作站9的预定存储区域中的通信接口的功能。关注位置指定装置24在表示使用已知MPR方法从3D医用图像V生成的预定横截面的横截面图像上显示用户界面，所述用户界面经由图像处理工作站9的点击装置或键盘接收指定关注结构的操作。例如，当点击装置在横截面图像中显示的关注结构上点击时，关注位置指定装置24确定已经由点击指定的3D医用图像V中的关注结构的位置P1，并且将位置P1存储在图像处理工作站9的预定存储区域中。作为关注结构，可以根据使用者需要指定外科手术期间的外科手术关注部位或需要注意的部位。内窥镜视角获取装置25获取内窥镜I的视角Ae的信息,基于内窥镜I的规格，该信息在程序的启动参数、配置文件等中被预先设定。在内窥镜I的视角Ae的信息被作为附加信息添加到真实内窥镜图像Ike的情况中，内窥镜视角获取装置25可以通过分析附加信 息来获得内窥镜I的视角Ae的信息。虚拟视野确定装置26首先使虚拟内窥镜和内窥镜I的视点位置和中心视线向量的定向彼此对准，如在图4A中所示意性显示的那样。即，虚拟视野确定装置26确定虚拟内窥镜的视点位置VPve与通过内窥镜位置和姿势获取装置22获得的内窥镜位置Pe相同，并确定虚拟内窥镜的中心视线向量VLve与通过内窥镜位置和姿势获取装置22获取的内窥镜I的中心视线向量VLe相同。此外，虚拟视野确定装置26确定虚拟内窥镜的视角Ave比内窥镜I的视角Ae更宽并且以使关注结构的位置P1包含在虚拟内窥镜的视野中。具体地，例如，假设在虚拟内窥镜的中心视线向量VLve和将虚拟内窥镜的视点位置VPve与关注结构的位置P1相连的向量之间形成角度Θ，则虚拟内窥镜的视角Ave可以通过以下方式找到给内窥镜I的视角^和2 Θ的值中较大的那个加上一个常数，或者使所述值中较大的那个乘以大于I的预定系数。如果因此得到的视角Ave的值大于预定的阈值，则可以将此作为视角设置错误处置，并且可以进行预定的错误处理(如显示警报信息等，其提示停止处理，改变内窥镜I的姿势，校正关注结构的位置匕等)。由此确定的视点位置VPve、中心视线向量VLve和虚拟内窥镜的视角Ave被写入预定的存储区域中。虚拟内窥镜图像生成装置27通过以下方法从向其输入的3D医用图像V生成虚拟内窥镜图像Ive 使用虚拟内窥镜的中心视线向量VLve的定向作为通过视野中心的视线向量的定向，如在图4A中所示，以在视角Ave范围内设定从虚拟内窥镜的视点位置VPve发出的多条视线，以及通过体绘制使用已知的中心透视投影法沿每条视线投影像素值。将颜色模板用于体绘制，所述颜色模板预先定义颜色和透明度以致获得以几乎与显示在真实内窥镜图像Ike中的那些相同的外观显示腹腔中的部位的图像。显示控制装置28生成显示屏，其中真实内窥镜图像Ike和虚拟内窥镜图像Ive—个叠加在另一个上，并且将图像视野的中心对准以使其对应位置相互对准，并且将生成的屏幕输出到WS显示器10。以此方式，其中真实内窥镜图像Ike和虚拟内窥镜图像Ive如在作为实例的图4B中所示的那样一个叠加在另一个上的显示屏显示在WS显示器10上。可以例如通过已知的α混合(alpha blending)来实现图像的叠加。如上所述，根据本发明的第一实施方案，虚拟视野确定装置26使用通过内窥镜位置和姿势获取装置22获取的内窥镜位置Pe作为虚拟内窥镜的视点位置VPve，使用通过内窥镜位置和姿势获取装置22获取的内窥镜I的中心视线向量VLe作为虚拟内窥镜的中心视线向量VLve,并且确定虚拟内窥镜的视角Ave比内窥镜I的视角Ae更宽以使关注结构的位置P1包含在虚拟内窥镜的视野内，由此使得关注结构的位置P1包含在虚拟视野内并使虚拟视野与内窥镜对应视野具有连续性，所述内窥镜对应视野是在3D医用图像中对应于内窥镜I的视野的视野。虚拟内窥镜图像生成装置27基于通过虚拟视野确定装置26确定的虚拟内窥镜的视点VP.中心视线向量VLve和视角Ave，从通过3D医用图像获取装置23获取并向其输入的3D医用图像V生成具有上述虚拟视野的虚拟内窥镜图像Ive，其视点是内窥镜位置VPe(VPvl)，而显示控制装置28使得WS显示器10以一个叠加在另一个上的方式显示真实内窥镜图像Ike和虚拟内窥镜图像IVE。显示的虚拟内窥镜图像Ive总是包含关注结构的位置P1,由此允许使用者可靠地识别内窥镜I和关注结构之间的位置关系和接近程度，并且因此有助于防止外科手术或检查期间的误操作等。此外，如在作为实例的图4B中所示，虚拟内窥镜图像Ive的视野包含内窥镜I的视野。这有助于使用者识别这些视野之间的位置关系，并且甚至例如当关注结构不包含在真实内窥镜图像Ike中时，使用者也可以通过检查虚拟内窥镜图像Ive中的关注结构的位置来容易地辨别应当如何移动内窥镜I以在真实内窥镜I的视野中捕获该关注结构，并且这有助于改善外科手术期间内窥镜I的操作性。 此外，在此时，连续显示的虚拟内窥镜图像Ive的虚拟内窥镜的视野通过由内窥镜位置和姿势检测装置11检测到的内窥镜I的实时位置的反馈来实时变化。这允许使用者动态地并且更适当地识别内窥镜I与关注结构的接近程度。此外，真实内窥镜图像形成装置2形成真实内窥镜图像IKE，真实内窥镜图像Ike表示利用内窥镜I实施拍摄的体腔内部，并且几乎在与检测到用于生成虚拟内窥镜图像Ive的内窥镜I的位置的同时形成的真实内窥镜图像Ike以叠加在虚拟内窥镜图像Ive上的方式显示。真实内窥镜图像Ike和虚拟内窥镜图像Ive显示几乎相同时间点的体腔内部的状态，并且因此真实内窥镜图像Ike和虚拟内窥镜图像Ive以在时间上同步的方式连续显示，并且一个被叠加在另一个上。此外，在此时，真实内窥镜图像Ike的视野和虚拟内窥镜图像Ive的视野随内窥镜I的移动或旋转而改变。以此方式，在本发明的第一实施方案中，使用者可以补充地使用真实内窥镜图像Ike和虚拟内窥镜图像Ive来实时观察体腔内部。此外，虚拟内窥镜图像生成装置27使用颜色模板生成虚拟内窥镜图像Ive，所述颜色模板预先定义颜色和透明度以致获得以几乎与显示在真实内窥镜图像Ike中的那些相同的外观显示腹腔中的部位的图像。因此，使用者可以观察真实内窥镜图像Ike和虚拟内窥镜图像Ive两者，所述两者通过显示控制装置28以一个叠加在另一个上的方式显示在WS显示器10上，而无不一致的感觉。虽然在上述实施方案中，显示控制装置28使得真实内窥镜图像Ike和虚拟内窥镜图像Ive以一个叠加在另一个上的方式显示，但是真实内窥镜图像Ike和虚拟内窥镜图像Ive可以并排显示。此外，在上述实施方案中，虚拟视野确定装置26通过仅设定不同于内窥镜I的视角的虚拟内窥镜的视角Ave而使得关注结构的位置P1包含在虚拟视野内。然而，作为对虚拟内窥镜视野的设定的改型，不同于内窥镜I的中心视线向量VLe的虚拟内窥镜的中心视线向量VLve可以被设置成使得关注结构的位置P1包含在虚拟视野内。对于视点VPve(VPe)和关注结构的位置之间的各个位置关系，图5A、6A和7A中的每个显示中心视线向量VLve的一个实例，该中心视线向量VLve被设置成使得关注结构的位置P1是虚拟视野的中心。在这些实例中，虚拟视野确定装置26确定虚拟内窥镜的中心视线向量VLve的定向以致向量VLve连接视点VPve(VPe)和关注结构的位置P1，并且确定虚拟内窥镜的视角Ave比内窥镜I的视角Ae更宽并且与内窥镜I的视野具有连续性。具体地，假设角度α在内窥镜I的中心视线向量'和虚拟内窥镜的中心视线向量VLve2间形成，则与内窥镜I的视野具有连续性的虚拟内窥镜的视野满足以下方程(I)α-AE/2 彡 AVE/2(1)。此外，假设虚拟内窥镜的视角具有预先定义的初始值Aveci (其中Aveci > Ae)，则比内窥镜I的视角Ae更宽的虚拟内窥镜的视角Ave取初始值Aveci和(2 a -Ae)中较大的那个。应当注意的是，还可以给2 a -Ae加上一个常数，或者2 a -Ae可以乘以大于I的预定系数。图5Α显示关注结构的位置P1包含在内窥镜I的视野中，即，α < ΑΕ/2的情况。
在此情况中，虚拟内窥镜的视角Ave被确定为是初始值Aveci,并且真实内窥镜图像Ike的视野包含在虚拟内窥镜图像Ive的视野内，如在图5Β中所示。应当注意的是，取决于初始值Aveci的值，真实内窥镜图像Ike的视野和虚拟内窥镜图像Ive的视野可以彼此重叠。相反，如在图6Α中所示，在关注结构的位置和内窥镜I的视野中心之间的距离稍微较大的情况中，更准确地，在O < a -Ae/2 < Aveo/2的情况中，虚拟内窥镜的视角Ave被确定为是初始值Aveci,并且真实内窥镜图像Ike的视野和虚拟内窥镜图像Ive的视野彼此部分重叠，如在图6B中所示。此外，如在7A中所示，在关注结构的位置P1和内窥镜I的视野中心之间的距离甚至更大的情况中，更准确地，在O < LJl < α -Αε/2的情况中，虚拟内窥镜的视角Ave被确定为是α _Αε/2，并且真实内窥镜图像Ike的视野仅在单个点处接触虚拟内窥镜图像Ive的视野，如在7Β中所示。备选地，虚拟视野确定装置26可以将虚拟内窥镜的中心视线向量VLve确定为是将角度α等分为两半的视线，并且可以将视角Ave确定为是比Aveci和α更大的值。此外，在这些对虚拟内窥镜视野的设定的改型中，显示控制装置28可以通过基于内窥镜I的位置Pe和姿势(中心视线向量)VLe，以及虚拟内窥镜的视点VPve(VPe)和中心视线向量(姿势)VLve指定内窥镜I和虚拟内窥镜的视线(光束)之间的位置关系从而将真实内窥镜图像Ike和虚拟内窥镜图像Ive的对应位置彼此对准，如在作为实例的图5A、6A和7A中所示，以生成显示屏，其中真实内窥镜图像Ike和虚拟内窥镜图像Ive —个叠加在另一个上，如在作为实例的图5B、6B和7BA的每个中所示。应当注意的是，在这些对虚拟内窥镜视野的设定的改型中，当进行真实内窥镜图像Ike和虚拟内窥镜图像Ive的叠加显示时，如果真实内窥镜图像Ike的视野中心和虚拟内窥镜图像Ive的视野中心彼此不对准，则真实内窥镜图像Ike的外围区域通过由于内窥镜I的光学性质(尤其，广角透镜的特性)所致的畸变像差(distortion aberration)而畸变,并且这可能妨碍在真实内窥镜图像Ike和虚拟内窥镜图像Ive之间的边界处的图像的连续性。因此，可以使用依照内窥镜I光学性质的坐标变换函数和坐标变换图来校正真实内窥镜图像Ike的畸变像差以使校正的真实内窥镜图像和虚拟内窥镜图像Ive优选地一个叠加在另一个上(参见日本未审查专利公布号2009-276371等，以获得畸变像差校正的详情)。备选地，用于与畸变像差校正相反的变换的函数和变换图可以用于进行校正使虚拟内窥镜图像Ive畸变，使得真实内窥镜图像Ike和经校正的虚拟内窥镜图像一个叠加在另一个上。
此外，在上述实施方案中，关注位置指定装置24可以基于由使用者指定的关注结构的位置P1来提取表示整个关注结构的区域，并且虚拟内窥镜图像生成装置27可以为关注结构的该区域使用与用于其他结构的区域不同的颜色模板来进行体绘制。以此，关注结构的该区域在图4B中所示的虚拟内窥镜图像Ive中的视觉可识别性得到改善，并且这甚至是更有效的。应当注意的是，对关注结构的区域的提取可以使用例如在由本申请人提出的日本未审查专利公布号2008-245719中公开的技术来实现。具体地，接收关注结构的区域中任意点&的设定(该点在下文中将被称为“使用者设定点”)，并且使用预先定义的病变区域的可能尺寸的信息来确定可能存在病变的三维范围。然后，通过使用区域分割方法(如例如图割法)，基于设定点和确定范围外的点，提取病变区域。
本发明的第二实施方案是由虚拟内窥镜图像生成装置27进行的体绘制方法的改型。第二实施方案的内窥镜观察支持系统的硬件配置、功能块和总流程与第一实施方案中的那些相同。图8A示意性地显示关注结构和内窥镜I之间的位置关系的一个实例。如图所示，在存在另一个解剖结构，所述解剖结构妨碍用作虚拟内窥镜图像Ive的视点的内窥镜I的位置Pe和关注结构的位置之间的视点的情况中，如果颜色模板被定义成提供具有高不透明度的解剖结构，则在解剖结构后面的关注结构不显示在虚拟内窥镜图像Ive中。因此，在本发明的第二实施方案中，虚拟内窥镜图像生成装置27使用颜色模板来生成虚拟内窥镜图像Ive，所述颜色模板定义不透明度以使体腔中的部位被显示为半透明的。在因此生成的虚拟内窥镜图像Ive中，如在图8B中示意性所示，存在于关注结构的位置P1和内窥镜位置Pe2间的解剖结构被显示为半透明的，并且与该解剖结构后面的关注结构的位置Pe相对应的位置以视觉上可识别的方式显示。尤其，如以上关于第一实施方案的改型所述的，在提取关注结构的区域并且使用与用于其他区域的颜色模板不同的颜色模板的情况中，关注结构的整个区域以在视觉上高度可识别的方式显示，甚至在另一个解剖结构存在于关注结构的位置P1和内窥镜位置Pe之间时。其中腹腔中解剖结构显示为半透明的这样一种图像不能由真实内窥镜图像形成装置2形成，并且因此使用与真实内窥镜图像Ike互补地显示这样一种半透明解剖结构的虚拟内窥镜图像Ive的实际价值是很高的。本发明的第三实施方案也是由虚拟内窥镜图像生成装置27进行的体绘制方法的改型。第三实施方案的内窥镜观察支持系统的硬件配置、功能块和总流程与第一实施方案中的那些相同。图9A示意性说明本发明的第三实施方案中使用的颜色模板的一个实例。如图中所示，定义该颜色模板使得虚拟内窥镜图像Ive的颜色根据内窥镜I的位置Pe(其与虚拟内窥镜的视点位置PVE相同)到腹腔中结构的表面的距离而改变。例如，虚拟内窥镜图像生成装置27检测其中像素值沿着透视投影的每条视线的改变大于预定阈值的位置或其中像素值等于或大于预定阈值的位置作为腹腔中的结构的表面，并且计算从内窥镜I的位置Pe至腹腔中所述结构的表面的距离。然后，虚拟内窥镜图像生成装置27使用该颜色模板以确定检测到的虚拟内窥镜图像Ive中显示的结构的表面的像素值。由此生成的虚拟内窥镜图像Ive在较接近于内窥镜I的位置Pe的结构表面处具有较浅颜色，并且在较远离内窥镜I的位置Pe的结构表面处具有较深颜色，如图9B中作为实例示意性显示的那样。以该方式，可以补偿难以感知的虚拟内窥镜图像Ive的深度感，由此有助于使用者识别内窥镜I与腹腔中结构(包括关注结构)的接近程度。如图10的功能框图中所示，除第一实施方案的部件之外，本发明的第四实施方案还包括警报确定装置29。第四实施方案的内窥镜观察支持系统的硬件配置与第一实施方案中相同。警报确定装置29是在图像处理工作站9上执行的处理装置。警报确定装置28计算内窥镜I的位置Pe和关注结构的位置P1之间的距离。如果经计算的距离小于预定阈值，即，如果内窥镜I太接近于关注结构，则警报确定装置28输出警报信息WM。图11是显示根据本发明第四实施方案的内窥镜观察支持方法的流程的流程图。如图所示，在真实内窥镜图像Ike和虚拟内窥镜图像Ive在第一实施方案的步骤#8中得到显示后，警报确定装置29将上述距离与阈值进行比较(#8. I)。如果距离小于阈值(#8. I 是)，则警报确定装置29输出警报信息WM，并且显示控制装置28在所显示的关注结构的位置？工附近叠加一个具有注释“警告接近(CAUTION-APPROACHING)”的箭头标志，如在作为实例的图11中所示。这有助于使用者识别内窥镜I与关注结构的异常接近程度，由此有助于 防止对内窥镜I的误操作。当血管等(如果其在外科手术期间受损，则将导致大出血)在关注位置指定装置24处被指定为关注结构时，这样的警报显示尤其有效。除被叠加在显示的虚拟内窥镜图像Ive上以外，如上所述，可以以警报声或语音的形式输出警报信息，或可以作为叠加的警报信息和警报声两者输出。另外，可以预先准备根据距离以逐步方式定义风险的风险确定表，并且警报确定装置29可以基于经计算的距离参照风险确定表以确定风险，并且确定的风险值可以输出为警报信息WM并且显示控制装置28可以显示与WS显示器10上的风险相对应的图标等。如图13的功能框图中所示，除第一实施方案的部件之外，本发明的第五实施方案还包括需要注意的结构检测装置30。内窥镜观察支持系统的硬件配置与第一实施方案的硬件配置相同。需要注意的结构检测装置30是在图像处理工作站9上执行的处理装置。使用已知的图像识别技术，需要注意的结构检测装置30从向其输入的3D医用图像V检测需要注意的结构RA的区域。图15A示意性说明内窥镜I、关注结构和需要注意的结构之间的位置关系的一个实例。在该实例中，通过执行已知的血管提取方法，需要注意的结构检测装置30检测位于腹壁后面的需要注意的血管区域RA。图14是说明根据本发明的第五实施方案的内窥镜观察支持方法的流程的流程图。如图中所示，在第一实施方案的步骤#2中确定关注位置P1以后，需要注意的结构检测装置30检测需要注意的结构RA的区域(#2. I)。在步骤#7中，使用被定义为以视觉可识别方式显示需要注意的结构区域RA的颜色模板，虚拟内窥镜图像生成装置27生成虚拟内窥镜图像IVE。图15B示意性说明生成的虚拟内窥镜图像Ive的一个实例。使用定义颜色和不透明性的颜色模板生成图中显示的虚拟内窥镜图像Ive，使得表示腹壁的像素显示为半透明以增加表示血管的像素的视觉可识别性。这增加了需要注意的结构的视觉可识别性，因此帮助防止内窥镜I和外科手术工具6的误操作，类似于第四实施方案。图15C示意性地显示生成的虚拟内窥镜图像Ive和真实内窥镜图像Ike以以下方式显示的情况它们一个叠加在另一个上并且其对应位置彼此对准。如图所示，通过需要注意的结构检测装置30检测到的需要注意的结构区域RA也可以被叠加在真实内窥镜图像Ike上以允许使用者识别在真实内窥镜图像Ike中的需要注意的结构。应当注意的是，需要注意的结构检测装置30可以经由使用者的手动操作检测需要注意的结构的区域RA。此外，标志(如箭头)和注解(如文字注释)可以被叠加在需要注意的结构的区域RA上。在本发明的第六实施方案中，生成在其视野中包含关注结构和外科手术工具两者的虚拟内窥镜图像。如从显示在图16中的硬件配置可见，第六实施方案除了显示在图I中的第一实施方案的硬件配置外还包括外科手术工具标记器7b。类似于内窥镜标记器7a，外科手术工具标记器7b与位置传感器8 一起形成三维位置测量系统。外科手术工具标记器7b被设置在外科手术工具6的手柄附近，并且标记器7b的三维位置通过位置传感器8以预定的时间间隔检测。外科手术工具6的顶端部分的三维位置PSt可以通过偏移量计算来计算。
图17是本发明第六实施方案的功能框图。第六实施方案除了显示在图2中的第一实施方案的配置以外还包括外科手术工具6、外科手术工具位置检测装置12和外科手术工具位置获取装置31。外科手术工具位置检测装置12的功能通过显示在图16中的外科手术工具标记器7b和位置传感器8视线。外科手术工具位置Pt是由显示在虚线框中的单个处理设备写入图像处理工作站9的预定的存储区域并从其中读取的数据。图18是显示本发明第六实施方案中的内窥镜观察支持方法的流程的流程图。如在流程图的右侧所写，在使用内窥镜I对受试者的腹腔内部进行观察期间，真实内窥镜图像形成装置2以预定的时间间隔重复地形成真实内窥镜图像IKE，内窥镜位置和姿势检测装置11以预定的时间间隔重复地检测内窥镜的位置PSe和姿势DSe，并且外科手术工具位置检测装置12以预定的时间间隔重复地检测插入到体腔中的外科手术工具6的实时位置PSt直到观察结束(#9:是)。此外，在第一实施方案的步骤#4中获取内窥镜的位置和姿势后，外科手术工具位置获取装置31获取通过外科手术工具位置检测装置12检测到的外科手术工具位置PST，并且输出外科手术工具位置Ρτ，其通过将获取的外科手术工具位置PSt变换为3D医用图像V的坐标系中的位置来获得(#4. I)。然后，在内窥镜视角获取装置25获取内窥镜I的视角Ae(#5)后，虚拟视野确定装置26基于关注结构的位置P1、内窥镜位置Pe、中心视线向量VLe、和视角Ae，以及通过外科手术工具位置获取装置31获取的外科手术工具位置Pt确定位于内窥镜位置Pe处的虚拟内窥镜的虚拟视野，以使关注结构的位置P1和外科手术工具位置Pt包含在虚拟视野中并且虚拟视野与内窥镜对应视野具有连续性，内窥镜对应视野是3D医用图像中的对应于内窥镜I的视野的视野。然后，虚拟视野确定装置26输出虚拟内窥镜的视点VP『中心视线向量乂1^和视角Ave(#6)。当虚拟内窥镜图像Ive以与在第一实施方案中相同的方式生成时，虚拟内窥镜图像生成装置27基于通过外科手术工具位置获取装置31获取的外科手术工具位置Pt生成虚拟内窥镜图像Ive，该虚拟内窥镜图像Ive以可识别的方式显示外科手术工具6存在于对应于虚拟内窥镜图像Ive中的外科手术工具位置Pt的位置处(#7)。以下操作的流程(步骤#8至#9)与在第一实施方案中的相同。接着，将关于每个处理设备详细地描述对于该实施方案是独特的特征。 类似于内窥镜位置获取装置22，外科手术工具位置获取装置31具有经由与外科手术工具位置检测装置12的通信获取外科手术工具位置PSt的通信接口的功能，并且具有将获得的位置传感器8的三维坐标系中的外科手术工具位置PSt变换为由3D医用图像V的三维坐标系中的坐标值表示的外科手术工具位置Pt并将外科手术工具位置Pt存储在图像处理工作站的预定的存储区域中的功能。如在图19A中示意性显示的，类似于第一实施方案，虚拟视野确定装置26首先确定虚拟内窥镜的视点位置VPve与通过内窥镜位置和姿势获取装置22获取的内窥镜位置Pe相同，并且确定虚拟内窥镜的中心视线向量VLve与通过内窥镜位置和姿势获取装置22获取的内窥镜I的中心视线向量VLe相同。然后，虚拟视野确定装置26确定虚拟内窥镜的视角Ave比内窥镜I的视角Ae更宽以使关注结构的位置P1和外科手术工具位置Pt包含在虚拟内窥镜的视野中。具体地，例如，假设在虚拟内窥镜的中心视线向量VLve和将虚拟内窥镜的视点位置VPve与关注结构的位置P1相连的向量之间形成角度Θ 17并且在虚拟内窥镜的中心视线向量VLve和将虚拟内窥镜的视点位置VPve与外科手术工具位置Pt相连的向量之间形成角度θ2，则，虚拟内窥镜的视角Ave可以通过以下方式找到给内窥镜I的视角Αε、2Θ^Ρ2 Θ 2的值中最大的那个加上一个常数，或者使所述值中最大的那个乘以大于I的预定系数。在图19Α中，外科手术工具位置Pt比关注结构的位置P1离视野的中心远，并且因此2 Θ 2是 最大的值。类似于第一实施方案中的虚拟内窥镜图像Ive的生成，虚拟内窥镜图像生成装置27基于虚拟内窥镜的视点位置VPve、中心视线向量VLve和视角Ave从向其输入的3D医用图像V生成初步虚拟内窥镜图像。然后，虚拟内窥镜图像生成装置27生成外科手术工具形状图像Μτ，外科手术工具形状图像Mt表示外科手术工具6存在于外科手术工具位置Pt处的状态。具体地，外科手术工具形状图像Mt基于存储在数据库中的表示外科手术工具6的形状的图像和外科手术工具位置Pt生成，如在上述专利文献2中教导的。然后，虚拟内窥镜图像生成装置27通过已知技术(如α混合)将外科手术工具形状图像Mt与初步虚拟内窥镜图像合并，从而生成虚拟内窥镜图像IVE。应当注意的是，在不生成如上所述的外科手术工具形状图像的情况下，表示外科手术工具6的标志(如箭头或图标)和注解(如文字注释)可以被叠加在对应于初步虚拟内窥镜图像中的外科手术工具位置Pt的位置处以生成虚拟内窥镜图像Ive。图19B示意性地显示显示屏的一个实例，在该显示屏中在该实施方案中生成的虚拟内窥镜图像Ive和真实内窥镜图像Ike—个被叠加在另一个上。如图所示，外科手术工具形状图像Mt被叠加在对应于虚拟内窥镜图像Ive中的外科手术工具位置Pt的位置处。如上所述，根据本发明的第六实施方案，生成在其视野中不仅包含关注结构的位置P1而且还包含外科手术工具位置Pt的虚拟内窥镜图像IVE，由此允许使用者可靠地识别不仅内窥镜I和关注结构，而且外科手术工具6之间的相对位置关系和相对接近程度。此外，在此时，连续显示的虚拟内窥镜图像Ive的视野和图像内容通过由外科手术工具位置检测装置12检测到的外科手术工具6的实时位置的反馈而实时改变。这允许使用者动态地并且更适当地识别不仅内窥镜I和关注结构而且外科手术工具6之间的相对位置关系和相对接近程度。此外，真实内窥镜图像形成装置2形成表示利用内窥镜I实时拍摄的体腔内部的真实内窥镜图像Ike，并且几乎与检测到用于生成虚拟内窥镜图像Ive的内窥镜I和外科手术工具6的位置的同时形成的真实内窥镜图像Ike以叠加在虚拟内窥镜图像Ive上的方式显示。因此，类似于第一实施方案，真实内窥镜图像Ike和虚拟内窥镜图像IveM示几乎相同时间点的体腔内部的状态，并且因此真实内窥镜图像Ike和虚拟内窥镜图像Ive被以在时间上同步的方式一个叠加在另一个上地连续显示。此外，在此时，真实内窥镜图像Ike的视野随内窥镜I的移动或旋转而变化，并且虚拟内窥镜图像Ive的视野和图像内容同样不仅随内窥镜I的移动而改变，还随外科手术工具6的移动而改变。以此方式，在本发明的第六实施方案中，使用者可以以互补地使用真实内窥镜图像Ike和虚拟内窥镜图像Ive的方式实时观察体腔内部。在本发明的第七实施方案中，在使用内窥镜进行观察期间实时形成和获取3D医用图像V。在此情况中，第一实施方案的硬件配置中的内窥镜标记器7a、外科手术工具标记器7b和位置传感器8 (参见图16)不是必须的。图20是根据本发明第七实施方案的内窥镜观察支持系统的功能框图。如图所示，第七实施方案的内窥镜观察支持系统包括内窥镜位置和姿势识别装置32和外科手术工具
位置识别装置33，以代替第六实施方案的内窥镜位置和姿势检测装置11、外科手术工具位置检测装置12、内窥镜位置和姿势获取装置22和外科手术工具位置获取装置31。即，内窥镜位置和姿势识别装置32和外科手术工具位置识别装置33对应于本发明的位置(和姿势)检测装置。内窥镜位置和姿势识别装置32和外科手术工具位置识别装置33是在图像处理工作站9上执行的处理装置。内窥镜位置和姿势识别装置32和外科手术工具位置识别装置33使用已知的图形识别处理从向其输入的3D医用图像V中分别提取显示内窥镜I和外科手术工具6的区域，从而分别识别内窥镜位置Pe和姿势VLe，以及外科手术工具位置Ρτ。图21是显示根据本发明第七实施方案的内窥镜观察支持方法的流程的流程图。如图所示，步骤#11至#13与第六实施方案的步骤#1至#3相同，然后，3D医用图像获取装置23获取3D医用图像V (#14)。然后，基于通过3D医用图像获取装置24获取的3D医用图像V，内窥镜位置和姿势识别装置32识别内窥镜位置Pe和姿势VLe(#15)，而外科手术工具位置识别装置33识别外科手术工具位置Pt (#16)。后面的步骤#17和#18与第六实施方案的步骤#5和#6相同。然后，在步骤#19中，虚拟内窥镜图像生成装置27使用颜色模板生成虚拟内窥镜图像Ive，所述颜色模板被定义以使通过外科手术工具位置识别装置33提取的显示外科手术工具6的区域以预定颜色显示。因此，不需要像在第六实施方案那样生成外科手术工具6的形状图像。步骤#20和#21与第六实施方案的步骤#8和#9相同。通过以此方式在使用内窥镜的观察期间实时形成并获得3D医用图像V，在与在真实内窥镜图像Ike中显示几乎相同的时间点时，获得的3D医用图像V显示腹腔内部的状态。因此，相比其中在内窥镜观察以前获得的3D医用图像V的情况，生成的虚拟内窥镜图像Ive更加精确地显示腹腔内部的实时状态。应当注意，当在该实施方案的步骤#11和#14中拍摄3D医用图像V时，需要在成像期间注意受试者的姿势以便不改变对应于坐标轴原点和坐标轴定向的受试者的位置。在本发明的第七实施方案中，考虑到减少受试者的辐射暴露，优选使用超声诊断设备作为模态5。上述实施方案仅是实施例并且不应当被解释为限制本发明的技术范围。另外，在不背离本发明的范围和精神的情况下对上述实施方案的系统配置、硬件配置、方法流程、模块配置、用户界面和方法的具体内容进行的变化和修改也在本发明的技术范围内。例如，关于系统配置，虽然在上述实施方案的图I或图6的硬件配置中模态5直接连接到图像处理工作站9，但是图像存储服务器可以连接到LAN，并且由模态5形成的3D医用图像V可以一次存储在图像存储服务器的数据库中，以便3D医用图像V响应于来自图像处理工作站9的请求从图像存储服务器传送到图像处理工作站9。内窥镜I可以不是硬质内窥镜，并且可以使用软质内窥镜或胶囊内窥镜。作为模态5，除上述CT设备和超声诊断设备以外，可以使用MRI设备等。WS显示器10可以是支持已知的立体显示的显示器以显示作为立体图像形成的虚拟内窥镜图像IVE。例如，在其中WS显示器10是使用用于右眼和左眼的两个视差图像实现立体显示的显示装置的情况下，通过设定右眼和左眼的位置，所述位置从视点位置VPve移动右眼和左眼之间的视差的量，虚拟内窥镜图像生成装置27可以生成用于右眼和左眼的 虚拟内窥镜视差图像，并且在使用由此设定的右眼和左眼位置作为视点的情况下执行透视投影。然后，显示控制设备28可以施加控制使得用于左眼的WS显示器10的显示像素显示用于左眼的虚拟内窥镜视差图像并且用于右眼的WS显示器10的显示像素显示用于右眼的虚拟内窥镜视差图像。内窥镜位置和姿势检测装置11和外科手术工具位置检测装置12可以使用磁性系统，或可以使用陀螺仪或旋转编码器，如专利文献2中所教导。除腹腔内部以外，待观察的身体部位还可以是适于使用内窥镜观察的受试者的部位，诸如胸腔内部。在上述实施方案中，在考虑通信负荷的情况下，基于来自真实内窥镜图像获取装置21的请求，图像处理工作站9接收图像，假定真实内窥镜图像形成装置2形成真实内窥镜图像Ike的周期短于虚拟内窥镜图像生成装置27生成虚拟内窥镜图像Ive的周期。然而，真实内窥镜图像获取装置21可以接收由真实内窥镜图像形成装置2相继形成的全部真实内窥镜图像IE。在该情况下，每次接收到真实内窥镜图像Ike时，显示控制装置28都可以更新WS显示器10上显示的真实内窥镜图像Ike，与用虚拟内窥镜图像生成装置27生成虚拟内窥镜图像Ive的时刻不同步。内窥镜位置和姿势获取装置22可以接收由内窥镜位置和姿势检测装置11以预定时间间隔检测到的全部内窥镜位置PSe，并且可以仅将在调用图3的步骤#4中的操作时的时间接收到的内窥镜位置PSe通过坐标变换功能转换成内窥镜位置Pe以输出它。这同样适用于外科手术工具位置获取装置31。在上述实施方案中由内窥镜位置和姿势获取装置22和外科手术工具位置获取装置31进行的坐标变换可以由虚拟内窥镜图像生成装置27进行。关注位置指定装置24可以使用已知的图像识别技术(诸如用于提取血管或器官的技术或用于检测异常阴影的技术)自动确定该关注位置。虚拟内窥镜图像生成装置27还可以通过将多个关注位置如外科手术关注部位、需要注意的血管、需要注意的器官和外科手术工具设定为视点来生成从多个视点观察到的虚拟内窥镜图像。
权利要求
1.一种内窥镜观察支持系统，其包括 3D医用图像形成装置，所述3D医用图像形成装置用于形成表示受试者体腔内部的3D医用图像； 关注位置指定装置，所述关注位置指定装置用于指定所述3D医用图像中所述体腔内的关注结构的位置； 内窥镜位置和姿势检测装置，所述内窥镜位置和姿势检测装置用于检测插入到所述体腔内的内窥镜的实时位置和实时姿势； 内窥镜视角获取装置，所述内窥镜视角获取装置用于获取所述内窥镜的视角的信息； 虚拟视野确定装置，所述虚拟视野确定装置基于指定的所述关注结构的位置、检测到的所述内窥镜在所述3D医用图像中的位置和姿势以及所述内窥镜的视角，确定位于内窥镜对应位置处的虚拟内窥镜的虚拟视野，以致所述关注结构的位置包含在所述虚拟视野内并且所述虚拟视野与内窥镜对应视野具有连续性，所述内窥镜对应位置是所述3D医用图像中对应于检测到的所述内窥镜的位置的位置，所述内窥镜对应视野是所述3D医用图像中对应于所述内窥镜的视野的视野； 虚拟内窥镜图像生成装置，所述虚拟内窥镜图像生成装置用于由向其输入的所述3D医用图像生成具有所述虚拟视野的虚拟内窥镜图像，所述虚拟内窥镜图像的视点是所述内窥镜对应位置；以及 显示装置，所述显示装置用于显示所述虚拟内窥镜图像。
2.权利要求I所述的内窥镜观察支持系统，其还包括 真实内窥镜图像形成装置，所述真实内窥镜图像形成装置通过利用所述内窥镜实时成像形成表示体腔内部的真实内窥镜图像， 其中所述显示装置显示所述虚拟内窥镜图像和所述真实内窥镜图像，将所述虚拟内窥镜图像和所述真实内窥镜图像一个叠加在另一个上并且使所述虚拟内窥镜图像和所述真实内窥镜图像间对应的位置彼此对准，所述真实内窥镜图像几乎在用于生成所述虚拟内窥镜图像的内窥镜的位置和姿势被检测到的同时形成。
3.权利要求I或2所述的内窥镜观察支持系统，其中所述虚拟视野确定装置确定所述虚拟视野以致所述虚拟内窥镜的视角比所述内窥镜的视角更宽。
4.权利要求I至3中任一项所述的内窥镜观察支持系统，其中所述虚拟内窥镜图像生成装置生成所述虚拟内窥镜图像，在所述虚拟内窥镜图像中所述关注结构以可识别的方式显不O
5.权利要求I至4中任一项所述的内窥镜观察支持系统，其中所述虚拟内窥镜图像生成装置确定所述虚拟内窥镜图像的像素值，所述像素值取决于从所述内窥镜的位置到体腔中的结构的表面的距离。
6.权利要求I至5中任一项所述的内窥镜观察支持系统，其还包括报警装置，所述报警装置用于在所述内窥镜与所述关注结构的接近程度满足预定标准时显示警报。
7.权利要求I至6中任一项所述的内窥镜观察支持系统，其中所述虚拟内窥镜图像生成装置使用颜色模板来确定所述虚拟内窥镜图像的像素值，其中所述颜色模板被定义成提供所述虚拟内窥镜图像，所述虚拟内窥镜图像以与显示在通过利用所述内窥镜成像获得的真实内窥镜图像中的那些几乎相同的外观显示所述体腔中的部位。
8.权利要求I至7中任一项所述的内窥镜观察支持系统，其还包括 第二关注位置指定装置，所述第二关注位置指定装置用于指定所述3D医用图像中所述体腔内的第二关注结构的位置， 其中所述虚拟内窥镜图像生成装置生成所述虚拟内窥镜图像，在所述虚拟内窥镜图像中所述第二关注结构以可识别的方式显示。
9.权利要求I至8中任一项所述的内窥镜观察支持系统，其中所述关注结构是在使用所述内窥镜的内窥镜手术期间的外科手术关注部位。
10.权利要求I至8中任一项所述的内窥镜观察支持系统，其中所述关注结构是在使用所述内窥镜的内窥镜手术期间的需要注意的解剖结构。
11.权利要求8所述的内窥镜观察支持系统，其中所述关注结构是在使用所述内窥镜的内窥镜手术期间的外科手术关注部位，而所述第二关注结构是在所述内窥镜手术期间的需要注意的解剖结构。
12.权利要求I至8中任一项所述的内窥镜观察支持系统，其中所述关注结构是插入到所述体腔中的外科手术工具。
13.权利要求8所述的内窥镜观察支持系统，其中所述关注结构是在使用所述内窥镜的内窥镜手术期间的外科手术关注部位，而所述第二关注结构是插入到所述体腔中的外科手术工具。
14.一种内窥镜观察支持方法，所述方法包括以下步骤 在利用插入到体腔内的内窥镜对所述体腔内部进行内窥镜观察前或期间，形成表示受试者体腔内部的3D医用图像； 指定所述3D医用图像中所述体腔内的关注结构的位置； 检测插入到所述体腔内的所述内窥镜的实时位置和实时姿势； 获取所述内窥镜的视角的信息； 基于指定的所述关注结构的位置、检测到的所述内窥镜在所述3D医用图像中的位置和姿势以及所述内窥镜的视角，确定位于内窥镜对应位置处的虚拟内窥镜的虚拟视野，以致所述关注结构的位置包含在所述虚拟视野内并且所述虚拟视野与内窥镜对应视野具有连续性，所述内窥镜对应位置是所述3D医用图像中对应于检测到的所述内窥镜的位置的位置，所述内窥镜对应视野是所述3D医用图像中对应于所述内窥镜的视野的视野； 由输入的所述3D医用图像生成具有所述虚拟视野的虚拟内窥镜图像，所述虚拟内窥镜图像的视点是所述内窥镜对应位置，所述虚拟内窥镜图像表示从所述视点观察到的所述体腔的内部；以及 显示所述虚拟内窥镜图像。
15.—种内窥镜观察支持设备,其包括 3D医用图像获取装置，所述3D医用图像获取装置用于获取表示受试者体腔内部的3D医用图像； 关注位置指定装置，所述关注位置指定装置用于指定所述3D医用图像中所述体腔内的关注结构的位置； 位置获取装置，所述位置获取装置用于获取由位置和姿势检测装置检测到的插入到所述体腔内的内窥镜的实时位置和实时姿势；内窥镜视角获取装置，所述内窥镜视角获取装置用于获取所述内窥镜的视角的信息；虚拟视野确定装置，所述虚拟视野确定装置基于指定的所述关注结构的位置、获取的所述内窥镜在所述3D医用图像中的位置和姿势以及所述内窥镜的视角，确定位于内窥镜对应位置处的虚拟内窥镜的虚拟视野，以致所述关注结构的位置包含在所述虚拟视野内并且所述虚拟视野与内窥镜对应视野具有连续性，所述内窥镜对应位置是所述3D医用图像中对应于检测到的所述内窥镜的位置的位置，所述内窥镜对应视野是所述3D医用图像中对应于所述内窥镜的视野的视野； 虚拟内窥镜图像生成装置，所述虚拟内窥镜图像生成装置用于由向其输入的所述3D医用图像生成具有所述虚拟视野的虚拟内窥镜图像，所述虚拟内窥镜的视点是所述内窥镜对应位置；以及 显示控制装置，所述显示控制装置用于使显示装置显示所述虚拟内窥镜图像。
16.一种内窥镜观察支持程序，所述程序使得计算机执行以下步骤 获取表示受试者体腔内部的3D医用图像； 指定所述3D医用图像中所述体腔内的关注结构的位置； 获取由位置和姿势检测装置检测到的插入到所述体腔内的内窥镜的实时位置和实时姿势； 获取所述内窥镜的视角的信息； 基于指定的所述关注结构的位置、检测到的所述内窥镜在所述3D医用图像中的位置和姿势以及所述内窥镜的视角，确定位于内窥镜对应位置处的虚拟内窥镜的虚拟视野，以致所述关注结构的位置包含在所述虚拟视野内并且所述虚拟视野与内窥镜对应视野具有连续性，所述内窥镜对应位置是所述3D医用图像中对应于检测到的所述内窥镜的位置的位置，所述内窥镜对应视野是所述3D医用图像中对应于所述内窥镜的视野的视野； 由输入的所述3D医用图像生成具有所述虚拟视野的虚拟内窥镜图像，所述虚拟内窥镜图像的视点是所述内窥镜对应位置；以及使得显示装置显示所述虚拟内窥镜图像。
全文摘要
允许使用者在使用插入到体腔内的内窥镜观察受试者的体腔期间更可靠地识别内窥镜和关注部位如外科手术工具或外科手术关注部位之间的位置关系和相对接近程度。虚拟视野确定装置(26)基于由关注位置指定装置(24)识别的关注结构的位置、内窥镜的对应位置和姿势，以及由内窥镜视角获取装置(25)获取的内窥镜视角，确定3D医用图像中位于对应于由内窥镜位置和姿势检测装置(11)检测到的内窥镜位置的位置处的虚拟内窥镜的虚拟视野，以致关注结构的位置包含在虚拟视野中并且虚拟视野与内窥镜的视野具有连续性。虚拟内窥镜图像生成装置(27)从由3D医用图像形成装置(5)形成并向其输入的3D医用图像生成具有确定的虚拟视野的虚拟内窥镜图像，其视点是所述内窥镜的对应位置。显示控制装置(27)使得WS显示器(10)显示生成的虚拟内窥镜图像。
文档编号A61B1/04GK102821671SQ20118001641
公开日2012年12月12日 申请日期2011年3月30日 优先权日2010年3月31日
发明者北村嘉郎, 中村佳儿 申请人:富士胶片株式会社