专利名称：内窥镜观察支持系统、方法、设备和程序的制作方法
内窥镜观察支持系统、方法、设备和程序发明背景发明领域本发明涉及用于在使用插入在受试者体腔中的内窥镜的外科手术或检查期间支持内窥镜观察的技术，并且特别涉及用于使用表示受试者体腔内部的虚拟内窥镜图像支持内窥镜观察的技术。相关技术描述近年来，使用内窥镜的外科手术诸如腹腔镜手术和胸腔镜手术一直受到关注。内窥镜外科手术是有利的，因为它不需要剖腹术、开胸术等，并且仅需要做出用于插入内窥镜和外科手术工具的两三个直径为数厘米的孔，因此显著减轻施加在患者上的负担。然而，用内窥镜的极有限视野进行外科手术是高度困难的，并且医生需要许多技术以进行内窥镜外科手术。如果在内窥镜外科手术期间患者的血管或器官被误伤且出血，不可能继续内窥镜 外科手术并且医生不得不进行包括剖腹术、开胸术等的常规外科手术。另一方面，用于从用CT设备拍摄的3D体积图像生成类似于内窥镜图像的虚拟内窥镜图像的虚拟内窥镜技术是已知的。该技术广泛地在北美使用作为用于仅通过CT成像而不进行内窥镜检查而发现肿瘤特别是结肠直肠肿瘤的方法。另外，已经提出了使用虚拟内窥镜图像支持内窥镜外科手术的技术。例如，日本未审查专利公开号2002-263053(在下文中，称为专利文献I)已经公开了一种设备，该设备用传感器检测内窥镜位置，生成具有比将检测到的内窥镜位置设置为视点的情况下的内窥镜视角更宽的视角的虚拟内窥镜图像，并且显示虚拟内窥镜图像和相互叠加的用内窥镜拍摄的真实内窥镜图像。另外，日本未审查专利公开号2005-021353(在下文中，称为专利文献2)已经公开了一种设备，该设备检测内窥镜的实时位置以生成具有与内窥镜的视野相同的视野的虚拟内窥镜图像，在所述虚拟内窥镜图像中视野中的血管的位置被可视化。所述设备还检测在内窥镜外科手术期间使用的外科手术工具的实时位置以生成复合图像，在所述复合图像中表示外科手术工具的图像在虚拟内窥镜图像中的外科手术工具的位置处组合，并且所述设备显示复合图像和真实内窥镜图像。然而，根据这些文献中公开的技术的虚拟内窥镜图像具有与真实内窥镜图像的视点相同的视点，即，是从与真实内窥镜图像的观察方向相同的观察方向观察到的图像。因此，根据关注部位诸如外科手术关注部位和内窥镜或外科手术工具之间的位置关系，关注部位有时可能不显示在虚拟内窥镜图像或真实内窥镜图像中，并且在这样一种情况下医生不能了解内窥镜或外科手术工具与所关注的部位的接近程度。发明概述鉴于上述情况，本发明涉及提供用于在使用插入在体腔中的内窥镜观察受试者的体腔期间更可靠地允许使用者了解内窥镜或外科手术工具与关注部位诸如外科手术关注部位的接近程度的系统、方法、设备和程序。
本发明的内窥镜观察支持系统的一个方面是内窥镜观察支持系统，所述内窥镜观察支持系统包括3D医用图像形成装置，其用于形成表示受试者的体腔内部的3D医用图像；关注位置确定装置，其用于确定所述3D医用图像中所述体腔中的(第一)关注结构的位置；位置检测装置，其用于检测在所述体腔中插入的内窥镜和外科手术工具中的至少一个的实时位置；虚拟内窥镜图像生成装置，其用于基于所述3D医用图像中的被确定的(第一)关注结构的位置和检测到的内窥镜和外科手术工具中的至少一个的位置，从输入至虚拟内窥镜图像生成装置的3D医用图像生成表示从视点观察到的体腔内部的虚拟内窥镜图像，其中视点是(第一)关注结构的位置，所述内窥镜和外科手术工具中的至少一个的位置包含在所述虚拟内窥镜图像的视野中，并且所述内窥镜和外科手术工具中的至少一个的位置以可识别方式显示在所述虚拟内窥镜图像中；和显示装置，其用于显示所述虚拟内窥镜图像。本发明的内窥镜观察支持方法的一个方面是内窥镜观察支持方法，所述内窥镜观察支持方法包括下列步骤在用插入在受试者的体腔中的内窥镜观察所述体腔内部以前或期间形成表示所述体腔内部的3D医用图像；确定所述3D医用图像中体腔中的(第一)关注
结构的位置；检测在所述体腔中插入的内窥镜和外科手术工具中的至少一个的实时位置；基于所述3D医用图像中的被确定的(第一)关注结构的位置和检测到的内窥镜和外科手术工具中的至少一个的位置，从输入的3D医用图像生成表示从视点观察到的体腔内部的虚拟内窥镜图像，其中视点是(第一)关注结构的位置，所述内窥镜和外科手术工具中的至少一个的位置包含在虚拟内窥镜图像的视野中，并且所述内窥镜和外科手术工具中的至少一个的位置以可识别方式显示在虚拟内窥镜图像中；以及显示所述虚拟内窥镜图像。本发明的内窥镜观察支持设备的一个方面是内窥镜观察支持设备，所述内窥镜观察支持设备包括3D医用图像获得装置，其用于获得表示受试者的体腔内部的3D医用图像；关注位置确定装置，其用于确定所述3D医用图像中体腔中的(第一)关注结构的位置；位置获得装置，其用于获得通过位置检测装置检测的在所述体腔中插入的内窥镜和外科手术工具中的至少一个的实时位置；虚拟内窥镜图像生成装置，其用于基于所述3D医用图像中的被确定的(第一)关注结构的位置和检测到的内窥镜和外科手术工具中的至少一个的位置，从输入至虚拟内窥镜图像生成装置的3D医用图像生成表示从视点观察到的体腔内部的虚拟内窥镜图像，其中视点是(第一)关注结构的位置，所述内窥镜和外科手术工具中的至少一个的位置包含在所述虚拟内窥镜图像的视野中，并且所述内窥镜和外科手术工具中的至少一个的位置以可识别方式显示在所述虚拟内窥镜图像中；和显示控制装置，其用于使显示装置显示所述虚拟内窥镜图像。本发明的内窥镜观察支持程序的一个方面是用于使计算机执行下列步骤的内窥镜观察支持程序获得表示受试者的体腔内部的3D医用图像；确定所述3D医用图像中体腔中的(第一)关注结构的位置；获得通过位置检测装置检测的在体腔中插入的内窥镜和外科手术工具中的至少一个的实时位置；基于3D医用图像中的被确定的(第一)关注结构的位置和检测到的内窥镜和外科手术工具中的至少一个的位置，从输入的3D医用图像生成表示从视点观察到的体腔内部的虚拟内窥镜图像，其中视点是(第一)关注结构的位置，所述内窥镜和外科手术工具中的至少一个的位置包含在虚拟内窥镜图像的视野中，并且所述内窥镜和外科手术工具中的至少一个的位置以可识别方式显示在虚拟内窥镜图像中；以及使显示装置显示真实内窥镜图像和虚拟内窥镜图像。现在，描述本发明的细节。在本发明中，可以通过用内窥镜实时成像形成表示体腔内部的真实内窥镜图像，并且可以进一步显示几乎与在检测到用于生成虚拟内窥镜图像的内窥镜和外科手术工具中的至少一个的位置时的同时形成的真实内窥镜图像。以这样的方式，显示通过用内窥镜成像实时形成的真实内窥镜图像和虚拟内窥镜图像，所述虚拟内窥镜图像在其视野中含有几乎与在形成真实内窥镜图像时的同时用位置检测装置检测到的内窥镜和外科手术工具中的至少一个的实时位置。在其中响应于对内窥镜和外科手术工具中的至少一个的位置的检测而反复生成虚拟内窥镜图像的情况下，实现了真实内窥镜图像和虚拟内窥镜图像两者的实时更新。真实内窥镜图像和虚拟内窥镜图像可以显示在单个显示装置上或者可以单独显示在多个显示装置上。多个显示装置可以并排定位在物理上相同的场所以致可以同时观察两种图像，或可以定位在物理上彼此隔开的场所以便单独地观察图像。 在本发明中，在其中在使用内窥镜观察期间获得3D医用图像的情况下，可以实时获得3D医用图像。在该情况下，可以通过在获得的3D医用图像上进行图像识别处理来检测内窥镜和外科手术工具中的至少一个的位置。“(第一)关注结构”的具体实例可以包括在内窥镜外科手术期间的外科手术关注部位和在内窥镜外科手术期间需要注意的解剖结构，诸如血管、器官或肿瘤。用于确定(第一)关注结构的位置的具体方法可以是使用已知图像识别技术的自动方法、涉及使用者的人工操作的方法或将自动和人工方法两者结合的方法。在本发明中，可以通过将(第一)关注结构的多个位置设置为视点而生成多个虚拟内窥镜图像。表述“检测内窥镜和外科手术工具中的至少一个的位置……”可以指在仅将内窥镜插入至体腔中时检测内窥镜位置或在将内窥镜和外科手术工具插入至体腔中时检测内窥镜的位置、外科手术工具的位置或内窥镜和外科手术工具两者的位置中的任何一种。“虚拟内窥镜图像”的视点是(第一)关注结构的位置。然而，视点的位置不严格地限于(第一)关注结构的表面上的位置或所述结构内的位置，并且可以是其中获得的效果基本上相当于本发明效果的位置，诸如与(第一)关注结构相隔数个像素的位置。“虚拟内窥镜图像”含有其视野内的内窥镜和外科手术工具中的至少一个的位置。这指的是，沿着视点((第一)关注结构的位置)朝向内窥镜和外科手术工具中的至少一个的位置的视线的图像信息反映在虚拟内窥镜图像中。例如，如果结构诸如器官、血管或褶皱存在于(第一)关注结构和内窥镜或外科手术工具之间，则内窥镜或外科手术工具可以不必显示在虚拟内窥镜图像中。另外，在“虚拟内窥镜图像”中，以可识别方式显示内窥镜和外科手术工具中的至少一个的位置。在其中在内窥镜观察以前获得3D医用图像的情况下，当拍摄并获得3D医用图像时还没有将内窥镜或外科手术工具插入至受试者的体腔中。因此，当生成虚拟内窥镜图像时，可以在与通过位置检测装置检测到的位置相对应的虚拟内窥镜图像中的位置处组合表示内窥镜或外科手术工具的标记器等。另一方面，在其中在内窥镜观察期间实时获得3D医用图像并且在图像中显示内窥镜或外科手术工具的情况下，可以生成虚拟内窥镜图像以便内窥镜或外科手术工具也显示在虚拟内窥镜图像中。当生成“虚拟内窥镜图像”时，从关注结构到体腔中结构表面的距离可以用作虚拟内窥镜图像的像素值的决定因素。备选地，可以使用颜色模板，将其定义以提供以与真实内窥镜图像中显示的外观几乎相同的外观显示体腔中的部位的虚拟内窥镜图像。应当注意，颜色模板可以包括，例如，这样的模板，其限定使体腔中的每个部位具有与真实内窥镜图像中显示的颜色几乎相同的颜色，并且体腔中每个部位可以根据需要半透明地显示，以致不能在真实内窥镜图像中观察到的在障碍物后面的结构在虚拟内窥镜图像中可视觉地识别。在本发明中，可以检测3D医用图像中体腔中的第二关注结构，并且可以生成以可视觉识别方式显示检测到的第二关注结构的虚拟内窥镜图像。“第二关注结构”的具体实例可以包括以上关于第一关注结构所提及的那些。因此，例如，第一结构可以是在内窥镜外科手术期间的外科手术关注部位并且第二关注结构可以是在外科手术期间需要注意的解剖 结构，或反之亦然。在本发明中，当内窥镜和外科手术工具中至少一个与关注结构的接近程度符合预定标准时可以显示警报。警报可以视觉地显示在虚拟内窥镜图像中，或可以以通过任何其它感官感知的方式显示。根据本发明，获得表示受试者的体腔内部的3D医用图像，确定3D医用图像中体腔中的关注结构的位置，并且检测体腔中插入的内窥镜和外科手术工具中的至少一个的实时位置。然后，从输入的3D医用图像生成虚拟内窥镜图像，其中虚拟内窥镜图像的视点是关注结构的位置，内窥镜和外科手术工具中的至少一个的位置包含在虚拟内窥镜图像的视野中，并且内窥镜和外科手术工具中的至少一个的位置以可识别方式显示在虚拟内窥镜图像中，并且显示虚拟内窥镜图像。显示的虚拟内窥镜图像看似用监控内窥镜和外科手术工具与关注结构诸如外科手术关注部位或需要注意的部位的接近程度的照相机拍摄的图像。这种对于本发明独特的虚拟内窥镜图像补偿真实内窥镜图像的窄视野，因此允许使用者在外科手术或检查期间更可靠地了解内窥镜或外科手术工具与关注结构的接近程度并且有助于防止误操作等。另外，在这时，用检测到的内窥镜或外科手术工具的实时位置的反馈实时改变连续显示的虚拟内窥镜图像的虚拟内窥镜的视野。这容许使用者动态地并且更适当地了解内窥镜或外科手术工具与关注结构的接近程度。更进一步，在通过用内窥镜实时成像形成表示体腔内部的真实内窥镜图像并且可以进一步显示几乎与检测到用于生成虚拟内窥镜图像的内窥镜和外科手术工具中的至少一个的位置时的同时形成的真实内窥镜图像的情况下，显示的真实内窥镜图像和虚拟内窥镜图像几乎在相同时间点显示体腔内部的状态，并且以暂时同步方式连续显示真实内窥镜图像和虚拟内窥镜图像。还进一步，在其中响应于对内窥镜和外科手术工具中的至少一个的位置的检测而反复生成虚拟内窥镜图像的情况下，实现了真实内窥镜图像和虚拟内窥镜图像两者的实时更新。即，真实内窥镜图像的视野随着内窥镜的移动或旋转而改变，并且虚拟内窥镜图像的视野随着内窥镜或外科手术工具的移动而改变。以这样的方式，使用者可以互补地使用真实内窥镜图像和虚拟内窥镜图像观察体腔内部。附图简述图I是根据本发明实施方案的内窥镜观察支持系统的硬件配置图，
图2是根据本发明的第一至第三实施方案的内窥镜观察支持系统的功能框图，图3是说明根据本发明的第一至第三实施方案的内窥镜观察支持方法流程的流程图，图4是示意性说明真实内窥镜、外科手术工具和关注结构之间位置关系以及真实内窥镜和虚拟内窥镜的视角的一个实施例的图，图5是示意性说明本发明的第一实施方案中显示的真实内窥镜图像的一个实施例的图，图6是示意性说明本发明的第一实施方案中显示的虚拟内窥镜图像的一个实施例的图，图7A是示意性说明关注结构和外科手术工具之间位置关系的一个实施例的图，图7B是示意性说明本发明的第二实施方案中显示的虚拟内窥镜图像的一个实施 例的图，图8A是示意性说明根据本发明的第三实施方案的根据从视点到腹腔中的解剖结构表面的距离改变虚拟内窥镜图像中的显示颜色的颜色模板的一个实施例的图，图SB是示意性说明根据本发明的第三实施方案的虚拟内窥镜图像的一个实施例的图，其中显示颜色根据与视点的距离而改变，图9是根据本发明的第四实施方案的内窥镜观察支持系统的功能框图，
图10是说明根据本发明的第四实施方案的内窥镜观察支持方法的流程的流程图，图11是示意性说明根据本发明的第四实施方案的报警显示的一个实施例的图，图12是根据本发明的第五实施方案的内窥镜观察支持系统的功能框图，图13是说明根据本发明的第五实施方案的内窥镜观察支持方法的流程的流程图，图14A是示意性说明关注结构和需要注意的结构之间位置关系的一个实施例的图，图14B是示意性说明本发明的第五实施方案中显示的虚拟内窥镜图像的一个实施例的图，图15是根据本发明的第六实施方案的内窥镜观察支持系统的功能框图，图16是说明根据本发明的第六实施方案的内窥镜观察支持方法的流程的流程图，图17A是示意性说明在将真实内窥镜图像和虚拟内窥镜图像组合时所述图像的视角的图，图17B是示意性说明通过将真实内窥镜图像和虚拟内窥镜图像组合而生成的复合图像的一个实施例的图，图18A是示意性说明真实内窥镜图像的另一个实施例的图，图18B是示意性说明仅显示血管的虚拟内窥镜图像的一个实施例的图，和图18C是示意性说明真实内窥镜图像和虚拟内窥镜图像的叠加图像的一个实施例的图。
具体实施例方式在下文中，描述根据本发明实施方案的内窥镜观察支持系统。图I是说明内窥镜观察支持系统的概略硬件配置图。如图中所示，该系统包括内窥镜I、数字处理器2、光源装置3、真实内窥镜图像显示器4、模态5、外科手术工具6、内窥镜标记器7a、外科手术工具标记器7b、位置传感器8、图像处理工作站9和图像处理工作站显示器(其将在下文中称为“WS显示器”)10。在该实施方案中，内窥镜I是用于腹腔的硬质内窥镜，并且将其插入到受试者腹腔中。将来自光源装置3的光通过光纤引导并从内窥镜I的尖部发射，并且通过内窥镜I的成像光学系统拍摄受试者腹腔内部的图像。数字处理器2将通过内窥镜I获得的图像信号转换成数字图像信号，并且通过数字信号处理诸如白平衡控制和黑点校正进行图像质量校正。然后，数字处理器2将由DICOM(医学数字成像和通信)标准规定的伴随信息添加到 数字图像信号以输出真实内窥镜图像数据(Ike)。根据符合DICOM标准的通信协议将输出的真实内窥镜图像数据(Ike)经由LAN传送到图像处理工作站9。另外，数字处理器2将真实内窥镜图像数据(Ike)转换成模拟信号并将模拟信号输出到真实内窥镜图像显示器4，以致将真实内窥镜图像(Ike)显示在真实内窥镜图像显示器4上。内窥镜I以预定帧率获得图像信号，并且因此显示在真实内窥镜显示器4上的真实内窥镜图像(Ike)是显示腹腔内部的运动图像。内窥镜I还可以响应于使用者的操作获取静止图像。模态5是将受试者的待检查部位成像并且生成表示所述部位的3D医用图像的图像数据(V)的设备。在该实施方案中，模态5是CT设备。3D医用图像数据(V)也具有加入到其中的由DICOM标准规定的伴随信息。还根据符合DICOM标准的通信协议经由LAN将3D医用图像数据(V)传送到图像处理工作站9。内窥镜标记器7a、外科手术工具标记器7b和位置传感器8形成已知的三维位置测量系统。将内窥镜标记器7a和外科手术工具标记器7b分别设置在内窥镜I和外科手术工具6的手柄附近，并且以预定时间间隔用光学位置传感器8检测标记器7a、7b的三维位置。内窥镜标记器7a和外科手术工具标记器7b中的每一个都是由多个标记器芯片形成的，以致位置传感器8也可以基于标记器芯片之间的位置关系检测内窥镜I和外科手术工具6中的每一个的定向并且可以通过偏移量计算来计算内窥镜I和外科手术工具6的尖部的三维位置(PSE、PSt)。位置传感器8经由USB接口将内窥镜I和外科手术工具6的经计算的三维位置数据(PSE、PST)传送到图像处理工作站9。图像处理工作站9是具有已知硬件配置的计算机，其包括CPU、主存储装置、辅助存储装置、输入/输出接口、通信接口、数据总线等，与其连接的输入装置(诸如点击装置和键盘)和WS显示器10。将图像处理工作站9经由LAN连接到数字处理器2和模态5，并且经由USB连接而连接到位置传感器8。图像处理工作站9中已经安装了已知操作系统、多种应用软件程序等和用于执行本发明的内窥镜观察支持方法的应用软件程序。这些软件程序可以是从记录介质诸如CD-ROM安装，或可以从经由网络诸如互联网连接的服务器的存储装置下载，之后安装。图2是根据本发明的第一实施方案的内窥镜观察支持系统的功能框图。如图中所示，根据本发明的第一实施方案的内窥镜观察支持系统包括内窥镜I、真实内窥镜图像形成装置2、真实内窥镜图像显示器4、3D医用图像形成装置5、外科手术工具6、WS显示器10、内窥镜位置检测装置11、外科手术工具位置检测装置12、真实内窥镜图像获得装置21、内窥镜位置获得装置22、外科手术工具位置获得装置23、3D医用图像获得装置24、关注位置确定装置25、虚拟内窥镜图像生成装置26和显示控制装置27。应当注意，分配给图I中显示的硬件装置的相同附图标记用于表示图2中显示的相应功能块，此时在它们之间基本上存在一一对应关系。即，真实内窥镜图像形成装置2的功能是通过图I中显示的数字处理器实现的，并且3D医用图像形成装置5的功能是通过图I中显示的模态实现的。另一方面，内窥镜位置检测装置11的功能是通过内窥镜标记器7a和位置传感器8实现的，并且外科手术工具位置检测装置12的功能是通过外科手术工具标记器7b和位置传感器8实现的。虚线框表示图像处理工作站9，并且虚线框中的单个处理设备的功能是通过执行图像处理工作站9上的预定程序实现的。另外，虚线框中的真实内窥镜图像Ike、内窥镜位置Pe、外科手术工具位置Pt、3D医用图像V、关注位置P1和虚拟内窥镜图像Ive是通过虚线框中的单个处理设备在图像处理工作站9的预定存储区中写入和读取的数据。接着，使用图3中显示的流程图，描述了根据本发明的第一实施方案的由使用者在内窥镜观察支持系统上进行的操作和由上述单个处理设备进行的操作的示意性流程。
在使用内窥镜I观察受试者腹腔内部之前，3D医用图像形成装置5将受试者腹腔内部成像以形成3D医用图像V。在图像处理工作站9上，3D医用图像获得装置24获得由3D医用图像形成装置5形成的3D医用图像V (#1)，并且然后关注位置确定装置25显示用于接收使用者操作以指定由3D医用图像获得装置24获得的3D医用图像V中显示的体腔中的关注结构(例如，外科手术关注部位)的用户界面，并且基于获得的3D医用图像V确定3D医用图像V中被指定的关注结构的位置P1 (#2)。然后，如在图3中显示的流程图右侧所写，在关注结构的内窥镜外科手术期间，即，在使用内窥镜I观察受试者腹腔内部期间，真实内窥镜图像形成装置2以预定帧率反复形成用插入在体腔中的内窥镜I拍摄的真实内窥镜图像Ike，并且形成的真实内窥镜图像Ike实时显示为真实内窥镜图像显示器4上的实时取景图像直到结束观察(#7 :是(YES))。另夕卜，内窥镜位置检测装置11和外科手术工具位置检测装置12以预定时间间隔反复检测插入在体腔中的内窥镜I和外科手术工具6的实时位置PSE、PST。在图像处理工作站9上，真实内窥镜图像获得装置21获得由真实内窥镜图像形成装置2形成的真实内窥镜图像Ire (#3)。几乎与此同时，内窥镜位置获得装置22获得由内窥镜位置检测装置11检测到的内窥镜位置PSe并且输出通过将获得的内窥镜位置？&转换成3D医用图像V的坐标系中的位置而获得的内窥镜位置PE，并且外科手术工具位置获得装置23获得由外科手术工具位置检测装置12检测到的外科手术工具位置PSt并输出通过将获得的外科手术工具位置PSt转换成3D医用图像V的坐标系中的位置而获得的外科手术工具位置Pt (#4)。基于通过关注位置确定装置25确定的关注结构的位置P1、通过内窥镜位置获得装置22获得的内窥镜位置Pe和通过外科手术工具位置获得装置23获得的外科手术工具位置Pt，虚拟内窥镜图像生成装置26从由3D医用图像获得装置24获得的并且输入至虚拟内窥镜图像生成装置26的3D医用图像V生成虚拟内窥镜图像Ive (#5)。虚拟内窥镜图像Ive是表示受试者腹腔内部的图像，其中关注结构的位置P1是视点并且外科手术工具位置Pt是视野中心。如果内窥镜位置匕存在于虚拟内窥镜图像Ive的视野中，则将表示外科手术工具6的形状图像和表示内窥镜I的形状图像与虚拟内窥镜图像Ive组合。显示控制装置27使WS显示器10在单一屏幕上并排显示由真实内窥镜图像获得装置21获得的真实内窥镜图像Ike和由虚拟内窥镜图像生成装置26生成的虚拟内窥镜图像 Ive (#6)。在图像处理工作站9上，重复获得新的真实内窥镜图像Ike的操作(#3)、在所述时间点获得内窥镜位置Pe和外科手术工具位置Pt的操作(#4)、生成虚拟内窥镜图像Ive的操作(#5)和更新显示的真实内窥镜图像Ike和虚拟内窥镜图像Ive的操作(#6)，除非进行指示以结束观察的操作(#7 :否(No))。由此，在WS显示器10上以暂时同步方式连续显示真实内窥镜图像Ike和虚拟内窥镜图像IVE。当进行指示以结束观察的操作(#7 :是(YES))时，图像处理工作站9结束上述步骤#3至#6中的重复操作。接着，描述由图像处理工作站9中的单个处理设备进行的操作的细节。
真实内窥镜图像获得装置21是通信接口，其接收经由与真实内窥镜图像形成装置(数字处理器)2通信的真实内窥镜图像Ike并将真实内窥镜图像Ike存储在图像处理工作站9的预定存储区域中。基于来自真实内窥镜图像获得装置21的请求，从真实内窥镜图像形成装置2传送真实内窥镜图像IKE。图5示意性说明真实内窥镜图像Ike的一个实例。内窥镜位置获得装置22具有经由与内窥镜位置检测装置11通信而获得内窥镜位置PSe的通信接口的功能，和将获得的位置传感器8的3D坐标系中的内窥镜位置PSe转换成由3D医用图像V的3D坐标系中的坐标值表示的内窥镜位置Pe并且将内窥镜位置Pe存储在图像处理工作站9的预定存储区域中的功能。关于前者通信接口功能，基于来自内窥镜位置获得装置22的请求，从内窥镜位置检测装置11获得内窥镜位置PSE。关于后者坐标变换功能，基于位置传感器的3D坐标系中每个坐标轴取向和3D医用图像V的3D坐标系中每个坐标轴取向之间的对应关系，预先计算坐标轴的旋转量，并且预先测量与位置传感器8的3D坐标系中3D医用图像V的原点相对应的受试者上的位置的坐标值从而基于原点的坐标值计算坐标轴之间的平移量。然后，可以使用矩阵实现由位置传感器8的3D坐标系表示的内窥镜位置PSe转换成由3D医用图像V的3D坐标系中的坐标值表示的内窥镜位置PE，所述矩阵施加由计算的旋转量产生的旋转和计算的平移量产生的平移。类似于内窥镜位置获得装置22，外科手术工具位置获得装置23具有经由与外科手术工具位置检测装置12通信而获得外科手术工具位置PSt的通信接口的功能，和将获得的位置传感器8的3D坐标系中的外科手术工具位置PSt转换成由3D医用图像V的3D坐标系中的坐标值表示的外科手术工具位置Pt并且将外科手术工具位置Pt存储在图像处理工作站9的预定存储区域中的功能。3D医用图像获得装置24具有从3D医用图像形成装置5接收3D医用图像V并且将3D医用图像V存储在图像处理工作站9的预定存储区域中的通信接口的功能。关注位置确定装置25在表示使用已知MPR方法从3D医用图像V生成的预定横截面的横截面图像上显示用户界面，所述用户界面经由图像处理工作站9的点击装置或键盘接收指定关注结构的操作。例如，当点击装置在横截面图像中显示的关注结构上点击时，关注位置确定装置25确定已经由点击指定的3D医用图像V中的关注结构的位置P1,并且将位置P1存储在图像处理工作站9的预定存储区域中。作为关注结构，可以根据使用者需要指定外科手术期间的外科手术关注部位或需要注意的部位。
基于关注结构的位置P1、内窥镜位置Pe和外科手术工具位置Pt，虚拟内窥镜图像生成装置26从输入至虚拟内窥镜图像生成装置26的3D医用图像V生成虚拟内窥镜图像Ive。图4示意性说明内窥镜I、外科手术工具6和关注结构P1之间位置关系，以及内窥镜I和虚拟内窥镜的视角的一个实例。如图中所显示，虚拟内窥镜图像生成装置26使用关注结构的位置P1作为视点和并使用外科手术工具位置&作为视野中心，以将从视点P1辐射的多条光线设定在视角Av的范围内，并且通过使用已知透视投影通过体绘制(volume rendering)沿着每条光线将像素值投影而生成初级虚拟内窥镜图像。通过程序的启动参数将初级虚拟内窥镜图像的视角Av设定为比真实内窥镜图像Ike 的视角K更宽。对于体绘制，使用颜色模板，其预先定义颜色和透明度以便获得具有与显示在真实内窥镜图像Ike中的腹腔中部位的外观几乎相同的外观的图像。另外，虚拟内窥镜图像生成装置26生成显示其中外科手术工具6存在于外科手术工具位置Pt处的状态的外科手术工具形状图像Mt，和显示其中内窥镜I存在于内窥镜位置Pe处的状态的内窥镜形状图像Me,条件是内窥镜位置Pe存在于虚拟内窥镜图像的视野中。具体而言，基于存储在数据库中的表示内窥镜I和外科手术工具6的形状的图像，以及外科手术工具位置Pt和内窥镜位置PE，生成外科手术工具形状图像Mt和内窥镜形状图像Me，如上述专利文献2中所教导。然后，虚拟内窥镜图像生成装置26通过将初级虚拟内窥镜图像与外科手术工具形状图像Mt和内窥镜形状图像Me通过已知技术诸如a混合而组合以生成虚拟内窥镜图像IVE。图6示意性说明由此生成的虚拟内窥镜图像Ive的一个实例，其中在视野中心附近，表示外科手术工具6的形状图像Mt叠加在外科手术工具位置Pt处，并且在视野中表示内窥镜I的形状图像Me叠加在内窥镜位置Pe处，并且图像总体上实际表示其中在内窥镜外科手术期间用内窥镜从图4中显示的关注结构位置P1观察腹腔内部的状态。显示控制装置27生成显示屏幕，其中真实内窥镜图像Ike和虚拟内窥镜图像Ive并排显示在单个屏幕上并且将生成的屏幕输出到WS显示器10。以此方式，其中并排显示在图5中作为实例示意性显示的真实内窥镜图像Ike和在图6中作为实例示意性显示的虚拟内窥镜图像Ive的显示屏幕显示在WS显示器10上。如上所述，在本发明的第一实施方案中，在使用内窥镜I观察腹腔内部之前，3D医用图像获得装置24获得由3D医用图像形成装置5形成的3D医用图像V，并且关注位置确定装置25确定3D医用图像V中腹腔中的关注结构的位置P”在观察期间，真实内窥镜图像获得装置21获得由真实内窥镜图像形成装置2形成的真实内窥镜图像IKE，并且同时，内窥镜位置获得装置22获得由内窥镜位置检测装置11检测到的3D医用图像V中的内窥镜I的位置Pe并且外科手术工具位置获得装置23获得由外科手术工具位置检测装置12检测到的3D医用图像V中外科手术工具6的位置PT。然后，虚拟内窥镜图像生成装置26从3D医用图像V生成虚拟内窥镜图像Ive，其中关注结构的位置P1是视点并且外科手术工具位置Pt是视野中心，并且将内窥镜I和外科手术工具6分别组合在内窥镜位置Pe处和外科手术工具位置Pt处。然后，显示控制装置27使WS显示器10显示真实内窥镜图像Ike和虚拟内窥镜图像IVE。由此显示的虚拟内窥镜图像Ive看似用监控内窥镜I和外科手术工具6与关注结构位置P1的接近程度的照相机拍摄的图像。通过使用虚拟内窥镜图像Ive以补偿真实内窥镜图像Ike的窄视野，可以更加可靠地了解内窥镜I和外科手术工具6与关注结构的接近程度，因此在外科手术或检查期间有助于防止误操作等。
另外，在此时，通过由内窥镜位置检测装置11和外科手术工具位置检测装置12检测到的内窥镜I和外科手术工具6的实时位置的反馈实时改变连续显示的虚拟内窥镜图像Ive的虚拟内窥镜的视野。这容许使用者动态地并且更适当地了解内窥镜I和外科手术工具6与关注结构的接近程度。另外，真实内窥镜图像形成装置2形成用内窥镜I实时拍摄的表示体腔内部的真实内窥镜图像Ike，并且进一步地显示几乎与在检测到用于生成虚拟内窥镜图像Ive的内窥镜I或外科手术工具6的位置时的同时形成的真实内窥镜图像IKE。真实内窥镜图像Ike和虚拟内窥镜图像Ive几乎在相同时间点显示体腔内部的状态，并且以暂时同步方式连续显示真实内窥镜图像Ike和虚拟内窥镜图像IVE。另外，在此时，真实内窥镜图像Ike的视野随着内窥镜I的移动或旋转而改变，并且虚拟内窥镜图像Ive的视野随着外科手术工具6的移动而改变。以此方式，在本发明的第一实施方案中，使用者可以互补地使用真实内窥镜图像Iee和虚拟内窥镜图像Ive观察体腔内部。更进一步，虚拟内窥镜图像生成装置26使用颜色模板生成虚拟内窥镜图像Ive，所述颜色模板预先定义颜色和透明度，以便获得具有与真实内窥镜图像Ike中显示的腹腔中 部位外观几乎相同的外观的图像。因此，使用者可以用显示控制装置27观察并排显示在WS显示器10上的真实内窥镜图像Ike和虚拟内窥镜图像Ive两者，而没有不一致的感觉。本发明的第二实施方案是由虚拟内窥镜图像生成装置26进行的体绘制方法的改型。第二实施方案的内窥镜观察支持系统的硬件配置、功能块和总流程与第一实施方案中的那些相同。图7A示意性说明关注结构和外科手术工具6之间位置关系的一个实例。如图中所示，在存在解剖结构的情况下，所述解剖结构妨碍用作虚拟内窥镜图像Ive的视点的关注结构的位置P1和外科手术工具位置Pt之间的观察，如果定义颜色模板以提供具有高不透明性的解剖结构，则解剖结构后面的外科手术工具6没有显示在虚拟内窥镜图像Ive中。因此，在本发明的第二实施方案中，虚拟内窥镜图像生成装置26使用颜色模板生成虚拟内窥镜图像Ive，所述颜色模板定义不透明性使得体腔中的部位显示为半透明的。在由此生成的虚拟内窥镜图像Ive中，如图7B中示意性显示，在关注结构的位置P1和外科手术工具位置Pt之间存在的解剖结构显示为半透明，并且以视觉可识别方式在对应于解剖结构后面的外科手术工具位置Pt的位置处显示外科手术工具形状图像Mt。其中腹腔中解剖结构显示为半透明的这样一种图像不能由真实内窥镜图像形成装置2形成，并且因此使用与真实内窥镜图像Ike互补地显示这样一种半透明解剖结构的虚拟内窥镜图像Ive的实际价值是很高的。本发明的第三实施方案也是由虚拟内窥镜图像生成装置26进行的体绘制方法的改型。第三实施方案的内窥镜观察支持系统的硬件配置、功能块和总流程与第一实施方案中的那些相同。图8A示意性说明本发明的第三实施方案中使用的颜色模板的一个实例。如图中所示，定义该颜色模板使得虚拟内窥镜图像Ive的颜色根据从关注结构上的视点P1至腹腔中结构的表面的距离而改变。例如，虚拟内窥镜图像生成装置26检测其中像素值沿着透视投影的每条光线的改变大于预定阈值的位置或其中像素值等于或大于预定阈值的位置作为腹腔中的结构的表面，并且计算从视点P1至腹腔中所述结构的表面的距离。然后，虚拟内窥镜图像生成装置26使用该颜色模板以确定检测到的虚拟内窥镜图像Ive中显示的结构的表面的像素值。由此生成的虚拟内窥镜图像Ive在较接近于关注结构的位置P1的结构表面处具有较浅颜色，并且在较远离关注结构的位置P1的结构表面处具有较深颜色，如图8B中作为实例示意性显示的那样。以该方式，可以补偿难以感知的虚拟内窥镜图像Ive的深度感，因此帮助使用者了解内窥镜I和外科手术工具6的接近程度。应当注意，虚拟内窥镜图像Ive中显示的内窥镜I的形状图像Me和外科手术工具的形状图像Mt的颜色和密度也可以以类似于上述的方式根据与关注结构的位置P1的距离而改变。如图9的功能框图中所示，除第一实施方案的部件之外，本发明的第四实施方案还包括报警确定装置28。第四实施方案的内窥镜观察支持系统的硬件配置与第一实施方案中相同。报警确定装置28是在图像处理工作站9上执行的处理装置。报警确定装置28计算内窥镜位置Pe和关注结构的位置P1之间的距离和外科手术工具位置Pt和关注结构的位置匕之间的距离。如果经计算的距离中的任一个小于预定阈值，即，如果内窥镜I或外科手术工具6太接近于关注结构，则报警确定装置28输出警报信息WM。 图10是说明根据本发明的第四实施方案的内窥镜观察支持方法的流程的流程图。如图中所示，在第一实施方案的步骤#6中显示真实内窥镜图像Ike和虚拟内窥镜图像Ive以后，报警确定装置28将上述距离中的每一个都与阈值比较(#11)。如果上述距离中的任一个小于阈值(#11 :是(Yes))，则报警确定装置28输出警报信息WM，并且显示控制装置27在显示的太接近于关注结构的内窥镜I或外科手术工具6 (内窥镜I显示在图中)附近用注释“注意-接近(CAUTION-APPROACHING) ”叠加箭头标记，并且以较深的显示颜色显示表示内窥镜I或外科手术工具的形状图像，如图11中作为实例所示的那样。这有助于使用者了解内窥镜I或外科手术工具6与关注结构的异常接近程度，由此帮助防止内窥镜I和外科手术工具6的误操作。当在关注位置确定装置25处若在外科手术期间被损伤会导致大量出血的血管等被指定为关注结构时，这样一种警报显示是特别有效的。除被叠加在显示的虚拟内窥镜图像Ive上以外，如上所述，可以以警报声或语音的形式输出警报信息，或可以作为叠加的警报信息和警报声两者输出。另外，可以预先准备根据距离以逐步方式定义风险的风险确定表，并且报警确定装置28可以基于经计算的距离参照风险确定表以确定风险，并且确定的风险值可以输出为警报信息WM并且显示控制装置27可以显示与WS显示器10上的风险相对应的图标等。如图12的功能框图中所示，除第一实施方案的部件之外，本发明的第五实施方案还包括需要注意的结构检测装置29。内窥镜观察支持系统的硬件配置与第一实施方案的硬件配置相同。需要注意的结构检测装置29是在图像处理工作站9上执行的处理装置。使用已知的图像识别技术，需要注意的结构检测装置29从输入至需要注意的结构检测装置29的3D医用图像V检测需要注意的结构RA的区域。图14A示意性说明关注结构和需要注意的结构之间的位置关系的一个实例。在该实例中，通过执行已知的血管提取方法，需要注意的结构检测装置29检测位于腹壁后面的需要注意的血管区域RA。图13是说明根据本发明的第五实施方案的内窥镜观察支持方法的流程的流程图。如图中所示，在第一实施方案的步骤#2中确定关注位置P1以后，需要注意的结构检测装置29检测需要注意的结构RA的区域(#13)。在步骤#5中，使用被定义为以视觉可识别方式显示需要注意的结构区域RA的颜色模板，虚拟内窥镜图像生成装置26生成虚拟内窥镜图像IVE。图14B示意性说明生成的虚拟内窥镜图像Ive的一个实例。使用定义颜色和不透明性的颜色模板生成图中显示的虚拟内窥镜图像Ive，使得表示腹壁的像素显示为半透明以增加表示血管的像素的视觉可识别性。这增加了需要注意的结构的视觉可识别性，因此帮助防止内窥镜I和外科手术工具6的误操作，类似于第四实施方案。应当注意，需要注意的结构检测装置29可以经由使用者的人工操作检测需要注意的结构区域RA。另外，标记诸如箭头，和注释诸如文本注释，可以叠加在需要注意的结构区域RA上。在本发明的第六实施方案中，在使用内窥镜观察期间，实时形成并获得3D医用图像V。在该情况下，第一实施方案的硬件配置中的内窥镜标记7a、外科手术工具标记7b和位置传感器8 (见图I)不是必需的。图15是根据本发明的第六实施方案的内窥镜观察支持系统的功能框图。如图中 所示，第六实施方案的内窥镜观察支持系统包括内窥镜/外科手术工具位置识别装置30，而不是第一实施方案的内窥镜位置检测装置11、外科手术工具位置检测装置12、内窥镜位置获得装置22和外科手术工具位置获得装置23。S卩，内窥镜/外科手术工具位置识别装置30对应于本发明的位置检测装置。内窥镜/外科手术工具位置识别装置30是在图像处理工作站9上执行的处理装置。使用已知的图案识别处理以识别内窥镜位置Pe和外科手术工具位置PT，内窥镜/外科手术工具位置识别装置30从输入至内窥镜/外科手术工具位置识别装置30的3D医用图 像V中提取显示内窥镜I或外科手术工具6的区域。图16是说明根据本发明的第六实施方案的内窥镜观察支持方法的流程的流程图。如图中所示，在第一实施方案的步骤#3中获得真实内窥镜图像Ike以后，3D医用图像获得装置24获得3D医用图像V (#14)，并且内窥镜/外科手术工具位置识别装置30基于由3D医用图像获得装置24获得的3D医用图像V识别内窥镜位置Pe和外科手术工具位置Pt(#15) o在步骤#5中，使用颜色模板，虚拟内窥镜图像生成装置26生成虚拟内窥镜图像IVE，所述颜色模板被定义为使得以预定颜色显示由内窥镜/外科手术工具位置识别装置30提取的显示内窥镜I或外科手术工具6的区域。因此，不必要生成如第一实施方案中的内窥镜I和外科手术工具6的形状图像。通过以此方式在使用内窥镜的观察期间实时形成并获得3D医用图像V，在与在真实内窥镜图像Ike中显示几乎相同的时间点时，获得的3D医用图像V显示腹腔内部的状态。因此，相比其中使用在利用内窥镜观察以前获得的3D医用图像V的情况，生成的虚拟内窥镜图像Ive更加精确地显示腹腔内部的实时状态。应当注意，当在该实施方案中的步骤#1和#14中拍摄3D医用图像V时，需要在成像期间注意受试者的姿态以便不改变对应于坐标轴原点和坐标轴取向的受试者的位置。在本发明的第六实施方案中，考虑到减少受试者的辐射暴露，优选使用超声诊断设备作为模态5。 上述实施方案仅是实施例并且不应当被解释为限制本发明的技术范围。另外，在不背离本发明的范围和精神的情况下对上述实施方案的系统配置、硬件配置、方法流程、模块配置、用户界面和方法的具体内容进行的变化和修改也在本发明的技术范围内。
例如，关于系统配置，虽然在上述实施方案的图I的硬件配置中模态5直接连接到图像处理工作站9，但是图像存储服务器可以连接到LAN并且由模态5形成的3D医用图像V可以一次存储在图像存储服务器的数据库中，以便3D医用图像V响应于来自图像处理工作站9的请求从图像存储服务器传送到图像处理工作站9。内窥镜I可以不是硬质内窥镜，并且可以使用软质内窥镜或胶囊内窥镜。作为模态5，除上述CT设备和超声诊断设备以外，可以使用MRI设备等。WS显示器10可以是支持已知的立体显示的显示器以显示作为立体图像的虚拟内窥镜图像IVE。例如，在其中WS显示器10是使用用于右眼和左眼的两个视差图像实现立体显示的显示装置的情况下，通过设定右眼和左眼的位置，虚拟内窥镜图像生成装置26可以生成用于右眼和左眼的虚拟内窥镜视差图像，其从关注结构的位置P1在右眼和左眼之间移动一定的视差量，并且在使用由此设定的右眼和左眼位置作为视点的情况下执行透视投 影。然后，显示器控制设备27可以施加控制使得用于左眼的WS显示器10的显示像素显示用于左眼的虚拟内窥镜视差图像并且用于右眼的WS显示器10的显示像素显示用于右眼的虚拟内窥镜视差图像。内窥镜位置检测装置11和外科手术工具位置检测装置12可以使用磁性系统，或可以使用陀螺或旋转编码器，如专利文献2中所教导。除腹腔内部以外，待观察的身体部位还可以是适于使用内窥镜观察的受试者的部位，诸如胸腔内部。在上述实施方案中，在考虑通信负荷的情况下，基于来自真实内窥镜图像获得装置21的请求，图像处理工作站9接收图像，假定真实内窥镜图像形成装置2形成真实内窥镜图像Ike的周期短于虚拟内窥镜图像生成装置26产生虚拟内窥镜图像Ive的周期。然而，真实内窥镜图像获得装置21可以接收由真实内窥镜图像形成装置2相继形成的全部真实内窥镜图像IE。在该情况下，每次接收到真实内窥镜图像Ike时，显示控制装置27都可以更新WS显示器10上显示的真实内窥镜图像Ike，与用虚拟内窥镜图像生成装置26生成虚拟内窥镜图像Ive的时刻不同步。内窥镜位置获得装置22可以接收由内窥镜位置检测装置11以预定时间间隔检测至IJ的全部内窥镜位置PSe，并且可以仅将在调用图3的步骤#4中的操作时的时间接收到的内窥镜位置PSe通过坐标变换功能转换成内窥镜位置Pe以输出它。这同样适用于外科手术工具位置获得装置23。在上述实施方案中由内窥镜位置获得装置22和外科手术工具位置获得装置23进行的坐标变换可以由虚拟内窥镜图像生成装置26进行。关注位置确定装置25可以使用已知的图像识别技术(诸如用于提取血管或器官的技术或用于检测异常阴影的技术)自动确定该关注位置。虚拟内窥镜图像生成装置26可以将内窥镜位置Pe设定在视野中心处以便内窥镜I总是在视野内，而不是将外科手术工具位置Pt设定在视野中心处以便外科手术工具6总是在视野内。另外备选地，线段Pe-Pt的内部分开点诸如内窥镜位置Pe和外科手术工具位置Pt之间的中点，可以设定在视野中心处，并且可以设定视角以便内窥镜I和外科手术工具6两者都在视野内。仍备选地，可以根据关注结构的位置P1、内窥镜位置Pe和外科手术工具位置Pt之间的距离调节视角和放大倍数。例如，与这些位置之间的距离大时的情况相t匕，如果这些位置之间的距离小，则可以将视角设定得较窄并且可以将放大倍数设定地更大，以便放大视野中的区域以便于观察。代替将表示内窥镜I或外科手术工具6的形状图像与虚拟内窥镜图像Ive组合，标记诸如箭头可以显示在内窥镜位置Pe或外科手术工具位置Pt处。通过设定多个关注位置，诸如外科手术关注部位、需要注意的血管和需要注意的器官作为视点，虚拟内窥镜图像生成装置26可以生成从多个视点观察到的虚拟内窥镜图
像 IVE。图像处理工作站9可以生成和显示不同于上述真实内窥镜图像Ike和虚拟内窥镜图像Ive的图像。例如，在将内窥镜位置Pe设置为视点并且使用放大倍数的情况下，可以进一步生成具有比内窥镜I的视角Ae更宽的视角Av的虚拟内窥镜图像，如图17A中作为实例示意性显示的那样，所述放大倍数使图像中关注对象的尺寸与真实内窥镜图像Ike中的尺寸几乎相同，并且可以生成并显示新图像，如图17B中作为实例示意性地显示的那样，其中 在对视野中心的位置，即内窥镜位置Pe进行对准的情况下将真实内窥镜图像叠加在由此生成的虚拟内窥镜图像上。备选地，可以生成真实内窥镜图像和虚拟内窥镜图像的复合图像。例如，如作为实例示意性地显示于图18B中的仅显示可视化的血管结构的虚拟内窥镜图像，可以与作为实例示意性地显示于图18A中的真实内窥镜图像组合，以生成具有加重的血管结构的真实内窥镜图像，如作为实例示意性地显示于图18C中的那样。
权利要求
1.一种内窥镜观察支持系统，所述内窥镜观察支持系统包括 3D医用图像形成装置，所述3D医用图像形成装置用于形成表示受试者的体腔内部的3D医用图像； 关注位置确定装置，所述关注位置确定装置用于确定所述3D医用图像中所述体腔中的关注结构的位置； 位置检测装置，所述位置检测装置用于检测在所述体腔中插入的内窥镜和外科手术工具中的至少一个的实时位置； 虚拟内窥镜图像生成装置，所述虚拟内窥镜图像生成装置用于基于所述3D医用图像中的被确定的所述关注结构的位置和被检测到的所述内窥镜和所述外科手术工具中的至少一个的位置，从输入至所述虚拟内窥镜图像生成装置的所述3D医用图像生成表示从视点观察到的所述体腔内部的虚拟内窥镜图像，其中所述视点是所述关注结构的位置，所述内窥镜和所述外科手术工具中的至少一个的位置包含在所述虚拟内窥镜图像的视野中，并且所述内窥镜和所述外科手术工具中的至少一个的位置以可识别方式显示在所述虚拟内窥镜图像中；和 显示装置，所述显示装置用于显示所述虚拟内窥镜图像。
2.如权利要求I中所述的内窥镜观察支持系统，所述内窥镜观察支持系统还包括 真实内窥镜图像形成装置，所述真实内窥镜图像形成装置用于通过用所述内窥镜实时成像形成表示所述体腔内部的真实内窥镜图像， 其中所述显示装置还显示几乎与在检测到用于生成所述虚拟内窥镜图像的所述内窥镜和所述外科手术工具中的至少一个的位置时的同时形成的所述真实内窥镜图像。
3.如权利要求I或2中所述的内窥镜观察支持系统，其中所述虚拟内窥镜图像生成装置根据从所述关注结构至所述体腔中的结构表面的距离确定所述虚拟内窥镜图像的像素值。
4.如权利要求I至3中的任何一项所述的内窥镜观察支持系统，所述内窥镜观察支持系统还包括报警装置，所述报警装置用于在所述内窥镜和所述外科手术工具中的至少一个与所述关注结构的接近程度符合预定标准时显示警报。
5.如权利要求I至4中的任何一项所述的内窥镜观察支持系统，其中所述虚拟内窥镜图像生成装置使用颜色模板确定所述虚拟内窥镜图像的像素值，其中定义所述颜色模板以提供虚拟内窥镜图像，所述虚拟内窥镜图像与通过用所述内窥镜成像而获得的真实内窥镜图像中显示的外观几乎相同的外观显示所述体腔中的部位。
6.如权利要求I至5中的任何一项所述的内窥镜观察支持系统，所述内窥镜观察支持系统还包括 第二关注结构检测装置，所述第二关注结构检测装置用于检测所述3D医用图像中的所述体腔中的第二关注结构， 其中所述虚拟内窥镜图像生成装置生成所述虚拟内窥镜图像，在所述虚拟内窥镜图像中所述第二关注结构以视觉可识别的方式显示。
7.如权利要求I至6中的任何一项所述的内窥镜观察支持系统，其中所述关注结构是在使用内窥镜的内窥镜外科手术期间的外科手术关注部位。
8.如权利要求I至6中的任何一项所述的内窥镜观察支持系统，其中所述关注结构是在使用内窥镜的内窥镜外科手术期间需要注意的解剖结构。
9.如权利要求6中所述的内窥镜观察支持系统，其中所述关注结构是在使用内窥镜的内窥镜外科手术期间外科手术关注的部位并且所述第二关注结构是在所述内窥镜外科手术期间需要注意的解剖结构。
10.一种内窥镜观察支持方法，所述方法包括下列步骤 在用插入在受试者的体腔中的内窥镜观察所述体腔内部以前或期间形成表示所述体腔内部的3D医用图像； 确定所述3D医用图像中所述体腔中的关注结构的位置； 检测插入在所述体腔中的所述内窥镜和外科手术工具中的至少一个的实时位置； 基于所述3D医用图像中的被确定的所述关注结构的位置和检测到的所述内窥镜和所述外科手术工具中的至少一个的位置，从输入的所述3D医用图像生成表示从视点观察到的所述体腔内部的虚拟内窥镜图像，其中所述视点是所述关注结构的位置，所述内窥镜和所述外科手术工具中的至少一个的位置包含在所述虚拟内窥镜图像的视野中，并且所述内窥镜和所述外科手术工具中的至少一个的位置以可识别方式显示在所述虚拟内窥镜图像中；以及 显示所述虚拟内窥镜图像。
11.一种内窥镜观察支持设备，所述设备包括 3D医用图像获得装置，所述3D医用图像获得装置用于获得表示受试者的体腔内部的3D医用图像； 关注位置确定装置，所述关注位置确定装置用于确定所述3D医用图像中所述体腔中的关注结构的位置； 位置获得装置，所述位置获得装置用于获得通过位置检测装置检测的在体腔中插入的内窥镜和外科手术工具中的至少一个的实时位置； 虚拟内窥镜图像生成装置，所述虚拟内窥镜图像生成装置用于基于所述3D医用图像中的被确定的所述关注结构的位置和检测到的所述内窥镜和所述外科手术工具中的至少一个的位置，从输入至所述虚拟内窥镜图像生成装置的所述3D医用图像生成表示从视点观察到的所述体腔内部的虚拟内窥镜图像，其中所述视点是所述关注结构的位置，所述内窥镜和所述外科手术工具中的至少一个的位置包含在所述虚拟内窥镜图像的视野中，并且所述内窥镜和所述外科手术工具中的至少一个的位置以可识别方式显示在所述虚拟内窥镜图像中；和 显示控制装置，所述显示控制装置用于使显示装置显示所述虚拟内窥镜图像。
12.一种内窥镜观察支持程序，所述内窥镜观察支持程序用于使计算机执行下列步骤 获得表示受试者的体腔内部的3D医用图像； 确定所述3D医用图像中所述体腔中的关注结构的位置； 获得通过位置检测装置检测的在所述体腔中插入的内窥镜和外科手术工具中的至少一个的实时位置； 基于所述3D医用图像中的被确定的所述关注结构的位置和检测到的所述内窥镜和所述外科手术工具中的至少一个的位置，从输入的所述3D医用图像生成表示从视点观察到的所述体腔内部的虚拟内窥镜图像，其中所述视点是所述关注结构的位置，所述内窥镜和所述外科手术工具中的至少一个的位置包含在所述虚拟内窥镜图像的视野中，并且所述内窥镜和所述外科手术工具中的至少一个的位置以可识别方式显示在所述虚拟内窥镜图像中；以及 使显示装置显示真实内窥镜图像和虚拟内窥镜图像。
全文摘要
在使用插入在体腔中的内窥镜观察受试者体腔期间，容许使用者更可靠地了解内窥镜或外科手术工具与关注部位的接近程度。提供用于从向其输入的由3D医用图像形成装置(5)形成的3D医用图像生成虚拟内窥镜图像的虚拟内窥镜图像生成装置(26)，其中由关注位置确定装置(25)确定的关注结构的位置是视点，由内窥镜位置检测装置(11)或外科手术工具位置检测装置(12)检测的内窥镜和外科手术工具中的至少一个的位置包含在虚拟所述内窥镜图像的视野中，并且内窥镜和外科手术工具中的至少一个的位置是以可识别方式显示的。显示控制装置(27)使WS显示器(10)显示所生成的虚拟内窥镜图像。
文档编号A61B1/04GK102811655SQ20118001428
公开日2012年12月5日 申请日期2011年3月16日 优先权日2010年3月17日
发明者北村嘉郎, 中村佳儿 申请人:富士胶片株式会社