相关申请的交叉引用本申请要求2017年6月28日提交的美国临时申请62/526,103的权益，该临时申请通过引用以其全部并入本文。本公开涉及用于执行远程操作医疗程序的系统和方法，并且更具体地，涉及用于将内窥镜图像投影到配准的三维体积的系统和方法。
背景技术：
：：微创医疗技术旨在减小在侵入性医疗程序期间受损的组织的量，由此减小患者的恢复时间、不适和有害的副作用。可以通过患者解剖结构中的自然孔口或通过一个或多个外科手术切口来执行此类微创技术。临床医生可以通过这些自然孔口或切口插入医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和外科手术器械的器械。微创医疗工具还可以包括成像器械(诸如内窥镜器械)。成像器械向用户提供患者解剖结构内的视野。一些微创医疗工具和成像器械可以是远程操作的，或者要不可以是由计算机辅助的。在内窥镜器械提供实时外科手术环境视图的程序期间，外科医生对超出内窥镜视图(endoscopicview)的有利位置(vantagepoint)的环境可能具有有限的情景意识。需要用于向外科医生提供对超出内窥镜视图的外科手术环境的增强视角的系统和方法。技术实现要素：本发明的实施例由下面所附的权利要求概括。在一个实施例中，一种方法包括从内窥镜成像系统获得患者解剖结构的内窥镜图像数据集，以及检索通过解剖成像系统获得的所述患者解剖结构的解剖模型数据集。该方法还包括将所述内窥镜图像数据集映射到所述解剖模型数据集，以及使用映射的内窥镜图像数据集来显示第一有利位置图像。所述第一有利位置图像从所述内窥镜成像系统的远端处的第一有利位置呈现。该方法还包括使用所述映射的内窥镜图像数据集的至少一部分来显示第二有利位置图像。所述第二有利位置图像从不同于所述第一有利位置的第二有利位置呈现。在另一个实施例中，一种系统包括远程操作组件，所述远程操作组件包括多个操纵器。所述多个操纵器中的第一操纵器被配置为控制内窥镜成像系统的移动。该系统还包括处理单元，所述处理单元包括一个或多个处理器。处理单元被配置为从内窥镜成像系统获得患者解剖结构的内窥镜图像数据集，以及检索通过解剖成像系统获得的所述患者解剖结构的解剖模型数据集。处理单元还被配置为将所述内窥镜图像数据集映射到所述解剖模型数据集，以及使用映射的内窥镜图像数据集来显示第一有利位置图像。所述第一有利位置图像从所述内窥镜成像系统的远端处的第一有利位置呈现。处理单元还被配置为使用所述映射的内窥镜图像数据集的至少一部分来显示第二有利位置图像。所述第二有利位置图像从不同于所述第一有利位置的第二有利位置呈现。应当理解，前面的一般描述和下面的详细描述在本质上都是示例性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。就这一点而言，根据以下详细描述，本公开的其他方面、特征和优点对于本领域技术人员将是显而易见的。附图说明当与附图一起阅读时，根据以下详细描述可以最好地理解本公开的各方面。要强调的是，根据行业中的标准实践，各种特征未按比例绘制。实际上，为了讨论的清楚性起见，各种特征的尺寸可以任意增加或减小。此外，本公开可以在各个示例中重复附图标记和/或字母。该重复是出于简化和清楚的目的，并且其本身并不指示所讨论的各种实施例和/或配置之间的关系。图1a是根据本公开的实施例的远程操作医疗系统的示意图。图1b是根据本文描述的原理的一个示例的远程操作操纵器的透视图。图1c是根据许多实施例的用于远程操作医疗系统的外科医生的控制台的透视图。图2示出了从不同有利位置显示配准到解剖模型的内窥镜图像的方法。图3是对外科手术环境的显示，包括覆盖在解剖模型图像上的内窥镜图像。图4是从不同的有利位置对图3的外科手术环境的显示，包括覆盖在解剖模型图像上的内窥镜图像。图5是从不同的有利位置对图3的外科手术环境的显示，并且包括在患者解剖结构外部的环境。图6是从在患者解剖结构外部的不同的有利位置对图3的外科手术环境的显示。具体实施方式为了促进对本公开原理的理解，现在将参考附图所示的实施例，并且将使用特定语言来描述它们。然而，应当理解，不意图限制本公开的范围。在本发明的各方面的以下详细描述中，阐述了许多具体细节以便提供对所公开的实施例的透彻理解。然而，对于本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，未详细描述公知的方法、程序、部件和电路，以免不必要地使本发明的实施例的各方面不清楚。如所公开的本领域技术人员通常会想到的，对所描述的设备、器械、方法以及本公开原理的任何进一步应用的任何改变和进一步的修改都被完全预期。具体地，完全预期关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。此外，本文提供的尺寸用于特定示例，并且预期可以利用不同的大小、尺寸和/或比率来实现本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作在适用时能够在其他说明性实施例中使用或从中省略。为了简洁起见，将不单独描述这些组合的许多迭代。为了简化起见，在一些情况下，在所有附图中使用相同的附图标记来指代相同或相似的部分。以下实施例将根据各种器械在三维空间中的状态来描述各种器械和器械的部分。如本文所使用的，术语“位置”是指物体或物体的一部分在三维空间中的定位(例如，沿笛卡尔x、y、z坐标的三个平移自由度)。如本文所使用的，术语“定向”是指物体或物体的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏航)。如本文所使用的，术语“姿势”是指物体或物体的一部分在至少一个平移自由度中的位置以及该物体或物体的一部分在至少一个旋转自由度中的定向(最多总共六个自由度)。参照附图的图1a，用在例如包括诊断程序、治疗程序或外科手术程序的医疗程序中的远程操作医疗系统大体由附图标记10指示。如将描述的，本公开的远程操作医疗系统在外科医生的远程操作控制下。在替代实施例中，远程操作系统医疗系统可以在被编程为执行程序或子程序的计算机的部分控制下。在又一些替代实施例中，在被编程为执行程序或子程序的计算机的完全控制下的全自动医疗系统可以用于执行程序或子程序。如图1a所示，远程操作医疗系统10通常包括安装到手术台o或其附近的远程操作组件12，患者p位于该手术台o上。远程操作组件12可以被称为患者侧推车。医疗器械系统14和内窥镜成像系统15可操作地联接到远程操作组件12。操作员输入系统16允许外科医生或其他类型的临床医生s查看外科手术部位的图像或表示外科手术部位的图像以及控制医疗器械系统14和/或内窥镜成像系统15的操作。操作员输入系统16可以位于外科医生的控制台处，该控制台通常与手术台o位于同一个房间中。然而，应当理解，外科医生s可以与患者p位于不同的房间或完全不同的建筑物中。操作员输入系统16通常包括用于控制医疗器械系统14的一个或多个控制设备。所述一个或多个控制设备可以包括任何数量的各种输入设备中的一种或多种，所述输入设备诸如手柄、操纵杆、轨迹球、数据手套、触发枪、脚踏板、手操作的控制器、语音识别设备、触摸屏、身体运动或存在传感器、非接触式手势跟踪、视线跟踪、肌电图(emg)传感器等。在一些实施例中，将向所述一个或多个控制设备提供与远程操作组件的医疗器械相同的自由度以便为外科医生提供远程呈现、所述一个或多个控制设备与器械是一体的感知，使得外科医生具有强烈的直接控制器械的感觉，就好像存在于外科手术部位处一样。在另一些实施例中，所述一个或多个控制设备可以具有比相关联的医疗器械更多或更少的自由度，并且仍然为外科医生提供远程呈现。在一些实施例中，所述一个或多个控制设备是以六个自由度移动并且还可包括用于致动器械(例如，用于闭合抓紧钳口末端执行器、向电极施加电势、输送药物治疗等)的可致动手柄的手动输入设备。当外科医生s通过控制台16查看外科手术部位时，远程操作组件12支撑并操纵医疗器械系统14。外科手术部位的图像可以通过内窥镜成像系统15(诸如立体内窥镜)来获得，该内窥镜成像系统可以由远程操作组件12操纵以定向内窥镜15。一次使用的医疗器械系统14的数量通常将取决于诊断或外科手术程序和外科手术室内的空间约束条件以及其他因素。远程操作组件12可以包括由一个或多个非伺服控制的连杆(例如，可以手动定位并锁定在适当位置的一个或多个连杆，其通常被称为装配结构(set-upstructure))构成的运动学结构和远程操作操纵器。远程操作组件12包括驱动医疗器械系统14上的输入的多个马达。这些马达响应于来自控制系统(例如，控制系统20)的命令而移动。马达包括驱动系统，所述驱动系统在联接到医疗器械系统14时可以将医疗器械推进到自然或外科手术创建的解剖孔口中。其他装有马达的驱动系统可以使医疗器械的远端以多个自由度移动，所述多个自由度可以包括三个线性运动(例如，沿x、y、z笛卡尔轴的线性运动)度和三个旋转运动(例如，围绕x、y、z笛卡尔轴的旋转)度。另外，马达可以用于致动器械的可铰接的末端执行器，以用于将组织抓紧在活检设备等的钳口中。器械14可包括具有单个工作构件(诸如手术刀、钝刀、光纤或电极)的末端执行器。其他末端执行器可以包括例如钳子、抓紧器、剪刀或施夹器。远程操作医疗系统10还包括控制系统20。控制系统20包括至少一个存储器24和至少一个处理器22(并且通常是多个处理器)，以用于实现医疗器械系统14、操作员输入系统16和其他辅助系统26之间的控制，所述其他辅助系统可以包括例如成像系统、音频系统、流体输送系统、显示系统、照明系统、转向控制系统、冲洗系统和/或抽吸系统。控制系统20可以用于处理来自成像系统15的外科手术环境的图像，以便随后通过外科医生的控制台16显示给外科医生s。控制系统20还包括编程指令(例如，存储指令的计算机可读介质)以实现根据本文公开的各方面描述的一些或全部方法。尽管在图1a的简化示意图中将控制系统20示为单个框，但该系统可包括两个或更多个数据处理电路，其中处理的一部分可选地在远程操作组件12上或其附近执行，处理的另一部分在操作员输入系统16处执行等。可以采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以被实现为若干单独程序或子例程，或者它们可以被集成到本文描述的远程操作系统的若干其他方面中。在一个实施例中，控制系统20支持诸如蓝牙、irda、homerf、ieee802.11、dect和无线遥测的无线通信协议。在一些实施例中，控制系统20可以包括从医疗器械系统14接收力和/或扭矩反馈的一个或多个伺服控制器。响应于反馈，伺服控制器将信号传输到操作员输入系统16。所述一个或多个伺服控制器还可以传输指示远程操作组件12移动经由体内的开口延伸到患者体内的内部外科手术部位的一个或多个医疗器械系统14和/或内窥镜成像系统15的信号。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与远程操作组件12分离或集成。在一些实施例中，伺服控制器和远程操作组件被设置为定位在患者身体附近的远程操作臂推车的部分。控制系统20可以与内窥镜15联接，并且可以包括处理器以处理捕获的图像以供随后显示，诸如在外科医生的控制台上或在本地和/或远程定位的另一个合适显示器上显示给外科医生。例如，在使用立体内窥镜的情况下，控制系统20可以处理所捕获的图像以向外科医生呈现外科手术部位的协调的立体图像。这种协调可以包括相对图像之间的对准并且可以包括调整立体内窥镜的立体工作距离。在替代实施例中，远程操作系统可以包括多于一个远程操作组件和/或多于一个操作员输入系统。操纵器组件的确切数量将取决于外科手术程序和手术室内的空间约束条件以及其他因素。操作员输入系统可以位于一处，或者它们可以被定位在不同位置。多个操作员输入系统允许多于一个操作员以各种组合控制一个或多个操纵器组件。多个操作员输入系统还通过为受训者演示对一个或多个操纵器组件的控制而允许一个或多个操作员充当一个或多个其他操作员的指导者。图1b是远程操作组件12的一个实施例的透视图，该远程操作组件可以被称为患者侧推车。所示的患者侧推车12提供了对三个外科手术工具30a、30b、30c(例如，器械系统14)和诸如用于捕获程序部位图像的立体内窥镜的成像设备28(例如，内窥镜成像系统15)的操纵。成像设备可以通过电缆56将信号传输到控制系统20。由具有若干接头的远程操作机构提供操纵。成像设备28和外科手术工具30a-c可通过患者中的切口或通过自然孔口(例如，口腔)来定位和操纵，使得运动学远程中心被维持在入口处以最小化切口的大小或避免对自然孔口边界的损坏。患者解剖结构内的外科手术环境的图像可以包括当外科手术工具30a-c被定位在成像设备28的视野内时其远端的图像。患者侧推车22包括可驱动基座58。可驱动基座58被连接到伸缩柱57，该伸缩柱允许调整臂54的高度。臂54可包括既旋转又上下移动的旋转接头55。臂54中的每一个可以被连接到定向平台53。定向平台53可以能够360度旋转。患者侧推车22还可包括用于在水平方向上移动定向平台53的伸缩水平悬臂52。在本示例中，臂54中的每一个被连接至操纵器臂51。操纵器臂51可以直接连接到医疗器械26。操纵器臂51可以是可远程操作的。在一些示例中，连接到定向平台的臂54是不可远程操作的。而是，这样的臂54在外科医生18开始用远程操作部件进行操作之前根据需要定位。内窥镜成像系统(例如，系统15、28)可能以包括刚性或柔性内窥镜的各种配置来设置。刚性内窥镜可以包括容纳中继透镜系统的刚性管，以用于将图像从内窥镜的远端传输到近端。柔性内窥镜可以使用一根或多根柔性光纤来传输图像。基于数字图像的内窥镜具有“尖端上芯片(chiponthetip)”设计，其中远侧数字传感器(诸如一个或多个电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)器件)获取图像数据，并且可以通过有线或无线接口传输获取的图像数据。内窥镜成像系统可以向观看者提供二维或三维图像。二维图像可提供有限的深度感知。三维立体内窥镜图像可以向观看者提供更准确的深度感知。立体内窥镜器械采用立体相机来捕获患者解剖结构的立体图像。内窥镜器械可以是可完全消毒的组件，其中内窥镜电缆、手柄和轴都被刚性地联接并且被气密密封。图1c是外科医生的控制台16的透视图。外科医生的控制台16包括左眼显示器32和右眼显示器34，以用于向外科医生s呈现实现深度感知的外科手术环境的协调立体图。可以从成像系统(诸如内窥镜成像系统)获得外科手术环境的显示图像。附加地或可替代地，外科手术环境的显示图像可以包括来自根据术前或术中解剖图像数据集创建的解剖模型的图像。可以使用外部或非侵入性成像技术来获得患者解剖结构的术前或术中图像数据集，所述成像技术诸如为计算机断层扫描(ct)、单光子发射ct(spect)、正电子发射断层扫描(pet)、磁共振(mr)成像、mr热成像、超声、光声成像、荧光成像、光学相干断层扫描(oct)、共聚焦内窥镜检查、红外热成像、阻抗成像、高光谱成像、x射线荧光透视法等。单独使用软件或与手动输入结合使用软件以将记录的图像转换成表示部分或整个解剖器官或解剖区域的分段的二维或三维复合模型。解剖模型图像数据集与复合表示相关联。在临床程序期间，可以在术前或术中记录用于生成复合表示的图像。术前或术中图像数据可以被呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像，或者被呈现为来自根据术前或术中图像数据集创建的模型的图像。来自不同成像模态的图像可以一次显示一个(例如，外科医生可以切换不同模态图像)，可以并行显示(例如，在复合显示器的多个窗口中)，或者一个图像可以覆盖或叠加在另一个图像上。控制台16还包括一个或多个输入控制设备36，所述一个或多个输入控制设备36进而致使远程操作组件12操纵一个或多个器械或内窥镜成像系统。输入控制设备36可以提供与其相关联的器械14相同的自由度，以便为外科医生s提供遥呈现或输入控制设备36与器械14是一体的感知，使得外科医生具有强烈的直接控制器械14的感觉。为此，可以采用位置、力和触觉反馈传感器(未示出)以通过输入控制设备36将位置、力和触觉从器械14传输回外科医生的手。输入控制设备37是从用户的脚接收输入的脚踏板。在从内窥镜远端的有利位置查看患者解剖结构内的外科手术环境的远程操作程序期间，外科医生对超出内窥镜视图(在患者解剖结构内部和患者解剖结构外部二者)的区域可能具有有限的意识。下述技术通过合并来自与内窥镜图像数据集配准的术前或术中成像数据集的信息，为外科医生提供了扩展的情景意识。这些技术允许外科医生虚拟地从内窥镜远端的有利位置移开，并从不同的有利位置查看来自内窥镜图像数据集的图像。图2是示出从不同有利位置显示内窥镜图像的方法100的流程图。方法100在图2中被示为一组操作或过程。并非所有所示过程可以在方法100的所有实施例中执行。另外，图2中未明确示出的一个或多个过程可以被包括在所示过程之前、之后、之间或作为所示过程的一部分被包括。在一些实施例中，方法100的过程中的一个或多个可以至少部分地以存储在非暂时性、有形、机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统20的处理器)运行时可致使所述一个或多个处理器执行所述过程中的一个或多个。在过程102处，内窥镜系统(例如，系统15、28)在患者解剖结构中的医疗程序期间获得内窥镜图像数据集。内窥镜图像数据集可以是二维图像数据集，以用于生成单个二维图像以呈现在外科医生的控制台16的显示器上。可替代地，内窥镜图像数据集可以是一对二维图像数据集，以用于生成成对的二维图像(每个眼睛显示器34有一个)以便作为立体图像呈现给在外科医生的控制台16处的外科医生。可替代地，内窥镜图像数据集可以是经由深度相机(也称为测距相机或rgb-d相机)获取的待立体渲染并显示的三维图像数据集，以用于作为立体图像呈现给在外科医生的控制台16处的外科医生。立体图像使用成对的二维图像来创建三维图像的印象。内窥镜图像数据集可以是来自内窥镜远端的当前位置的有利位置的实时图像数据集，或来自内窥镜远端的先前位置的有利位置的先前记录的图像数据集。内窥镜图像数据集也可以被认为包括实时图像数据和先前记录的图像数据两者，从而允许重放或回顾来自内窥镜远端的可选历史有利位置的患者解剖结构。在过程104处，从存储器(例如，存储器24)检索患者解剖结构的解剖模型数据集。可以使用外部或非侵入性成像技术(诸如计算机断层扫描(ct)或磁共振成像(mri))来获得患者解剖结构的术前或术中解剖模型数据集。存储解剖模型数据集以供稍后检索。在该示例中，图像数据集与部分或整个解剖器官或解剖区域的复合模型表示相关联。在过程106处，将内窥镜图像数据集配准到解剖模型数据集。例如在以下专利申请中已经描述了各种配准技术，这些专利申请通过引用以其全部并入本文：2015年9月23日提交的公开了“图像捕获设备和可操纵设备活动臂的受控运动期间的防撞(collisionavoidanceduringcontrolledmovementofimagecapturingdeviceandmanipulatabledevicemovablearms)”的美国专利申请no.14/862,692；2016年3月4日提交的公开了“用于定位可移动目标的形状传感器系统(shapesensorsystemsforlocalizingmovabletargets)”的美国专利申请no.14/916,854；2016年9月15日提交的公开了“用于远程手术台配准的方法和设备(methodsanddevicesfortele-surgicaltableregistration)”的美国专利申请no.15/126,480；2017年1月6日提交的公开了“增强现实图像组件的配准和协调操纵(registrationandcoordinatedmanipulationofaugmentedrealityimagecomponent)”的美国临时专利申请no.62/443,460；以及2015年2月5日提交的公开了“用于解剖标记的系统和方法(systemandmethodforanatomicalmarkers)”的美国临时专利申请no.62/112,416。将内窥镜图像数据集与解剖模型数据集配准允许将二维立体内窥镜图像数据投影或映射到在空间中由解剖模型定义的三维体积上。在一个实施例中，将由内窥镜图像数据集生成的二维像素或点云投影到由解剖模型定义的三维体积上。也可以使用用于将二维图像数据集映射到三维体积的替代方法。例如，可以基于深度传感器或其他点深度映射数据对由内窥镜图像数据集生成的二维像素或点云进行三维映射。配准的内窥镜图像数据集是三维映射的数据集。在过程108处，三维映射的内窥镜图像数据集被用于从有利位置生成并显示可辅助外科医生的图像。例如，初始有利位置可以是在患者解剖结构内的从内窥镜远端的视点(即，从内窥镜的常规内窥镜视图)。可以基于三维点云来构造初始有利位置图像。图3示出了外科医生在操作员控制台处或另一个显示屏上可见的显示150。显示150包括外科手术环境的内窥镜图像152，该外科手术环境包括器械156、157、158。图像152由映射的内窥镜图像数据集生成。可选地，显示150包括由解剖模型数据集生成的解剖模型图像154。在该示例中，内窥镜图像152被覆盖、叠加、融合或以其他方式映射到解剖模型图像154上。显示150还包括覆盖或叠加在解剖模型图像154上的器械图示156'、157'、158'。基于根据运动链、位置或形状传感器信息、基于视觉的跟踪或这些的组合知道或确定的器械姿势和相对比例，可以生成器械图示156'、157'、158'。例如在以下专利申请中已经描述了各种工具跟踪技术，这些专利申请通过引用以其全部并入本文：2007年9月30日提交的公开了“用于利用运动学信息和图像信息的自适应融合进行机器人器械工具跟踪的方法和系统(methodsandsystemsforroboticinstrumenttooltrackingwithadaptivefusionofkinematicsinformationandimageinformation)”的美国专利申请no.11/865,014，以及2005年5月16日提交的公开了“用于在微创机器人手术过程中通过融合传感器和/或源于相机的数据来执行3-d工具跟踪的方法和系统(methodsandsystemforperforming3-dtooltrackingbyfusionofsensorand/orcameraderiveddataduringminimallyinvasiveroboticsurgery)”的美国专利申请no.11/130,471。因此，显示150为外科医生提供了超出仅由内窥镜图像152所提供的额外的环境背景。例如，解剖模型图像154示出了在内窥镜图像152上不可见的额外的器官、骨骼和肿瘤，并且器械图示156'、157'、158'提供了关于在内窥镜图像上不可见的器械轨迹的信息。在一些实施例中，内窥镜图像152可以通过边界图示、色差(例如，内窥镜图像在色彩方面以及解剖模型图像在灰度方面的差别)、亮度或其他区别特征与解剖模型图像154区别开。在各种实施例中，覆盖的内窥镜图像可以具有不同水平的透明度。例如，覆盖的内窥镜图像可以允许解剖模型图像通过内窥镜图像可见。透明度水平可以由用户调整，可以基于场景解剖模型的内容进行调整(即，以使关键结构或目标病变在图像中突出显示)，或可以基于内窥镜视图中的障碍物(例如，血液、碎屑)进行调整。再次参考图2，在过程110处，三维映射的内窥镜图像数据集被用于从有利位置生成并显示可辅助外科医生的图像。外科医生可以从多个可选有利位置中选择另一个有利位置，或者可以虚拟地旋转或以其他方式远离初始有利位置移动以从不同视角(例如，正交于初始有利位置或从初始有利位置倾斜的视角)可视化三维映射的内窥镜图像数据集。当从第二有利位置查看内窥镜图像数据集时，一些解剖结构和/或器械(即，形成解剖结构和/或器械的图像的像素)可能不再可见。图4从第二有利位置示出了图3的外科手术环境的显示160，该第二有利位置大体在初始有利位置的侧面。显示160包括来自第二有利位置的外科手术环境的内窥镜图像162。图像162由用于从初始有利位置生成图像152的相同映射内窥镜图像数据集生成。因为图像数据集已被三维映射，所以除了在内窥镜端部处的原始有利位置之外，还可以从多个视角或有利位置生成图像。从第二有利位置，内窥镜图像162允许外科医生更接近地查看器械156和周围组织。来自第二有利位置的内窥镜图像不包括器械157、158，因为它们由于介入组织而从第二有利位置不可见。换句话说，用于生成内窥镜图像152的像素云的子部分可以用于生成图像162。可选地，显示160包括由解剖模型数据集生成的解剖模型图像164。在该示例中，内窥镜图像162被覆盖、叠加、融合或以其他方式映射到解剖模型图像164上。显示160还包括覆盖或叠加在解剖模型图像164上的器械图示166。基于根据运动链、位置或形状传感器信息、基于视觉的跟踪或这些的组合知道或确定的器械姿势和缩放，可以生成器械图示166。因此，显示160为外科医生提供了超出仅由内窥镜图像162所提供的额外的环境背景。例如，解剖模型图像164示出了在内窥镜图像162上不可见的额外的器官和骨骼，并且器械图示166提供了关于在内窥镜图像上不可见的器械轨迹的信息。从第二有利位置，外科医生能够观察到更广阔的解剖区域，同时仍保持对来自内窥镜的直接视图的意识。解剖模型图像164的显示是可选的，因为在一些示例中，仅内窥镜图像162(其呈现来自第二有利位置的三维映射的内窥镜图像数据集)就可以为外科医生提供足够的空间视角。图5从第三有利位置示出了图3的外科手术环境的显示170。在该示例中，还示出了在患者解剖结构外部的外科手术环境。显示170包括来自第三有利位置的外科手术环境的内窥镜图像172。图像172由用于生成图像152、162的相同映射内窥镜图像数据集生成。因为图像数据集已被三维映射，所以除了在内窥镜端部处的原始有利位置之外，还可以从多个视角或有利位置生成图像。从第三有利位置，内窥镜图像172本身为外科医生提供了相对较少的内容，但在帮助外科医生相对于更大的外科手术环境保持对内窥镜视图的意识这方面是有用的。可选地，显示170包括由解剖模型数据集生成的解剖模型图像174。在该示例中，内窥镜图像172被覆盖、叠加、融合或以其他方式映射到解剖模型图像174上。显示170还包括覆盖或叠加在解剖模型图像174上的器械156的图示176。基于根据运动链、位置或形状传感器信息、基于视觉的跟踪或这些的组合知道或确定的器械156的一个和/或多个姿势，可以生成所示的器械176。因此，显示170为外科医生提供了超出仅由内窥镜图像172所提供的额外的环境背景。例如，解剖模型图像174示出了在内窥镜图像172上不可见的额外的器官和骨骼，并且器械图示176提供了关于在内窥镜图像上不可见的器械轨迹的信息。可选地，显示170包括在患者解剖结构外部的外科手术环境的图示178。在该示例中，显示170包括器械图示176，该器械图示示出了器械延伸穿过患者解剖壁180的图像。患者解剖壁的图像可以是解剖模型图像174的一部分。在外部环境图示178中，在患者解剖壁174外部的是器械156的延伸到患者解剖结构外面的近端的图示182。器械156的近端被联接到远程操作操纵器臂184(例如，操纵器臂51)。基于根据运动链、位置或形状传感器信息、基于在患者解剖结构外部的相机的视觉跟踪或这些的组合知道或确定的器械和操纵器臂位置，可以生成外部环境图示178。例如，在远程操作操纵器、患者、内窥镜系统和解剖模型全部被配准到共同的外科手术坐标系的情况下，可以基于解剖模型数据集以及远程操作系统的部件的已知运动学和/或结构关系来生成超出有利位置内窥镜图像的外科手术环境的复合虚拟图像。因此，显示170为外科医生提供了超出仅由内窥镜图像172所提供的环境额外的环境背景。从图5的第三有利位置，外科医生能够观察到更广阔的内部和外部解剖区域，同时仍保持对来自内窥镜远端的视图的意识。图6是从在患者解剖结构外部的第四有利位置对图3的外科手术环境的显示190。在该示例中，示出了患者解剖结构的横截面部分，包括解剖壁180。显示190包括来自第四有利位置的外科手术环境的内窥镜图像192。图像192由用于生成图像152、162、172的相同映射内窥镜图像数据集生成。因为图像数据集已被三维映射，所以除了在内窥镜端部处的原始有利位置之外，还可以从多个视角或有利位置生成图像。从第四有利位置，内窥镜图像192向外科医生提供背景图像，其允许外科医生理解内窥镜视图与更广阔的外科手术环境之间的关系。可选地，显示190包括由解剖模型数据集生成的解剖模型图像194。在该示例中，内窥镜图像192被覆盖、叠加、融合或以其他方式映射到解剖模型图像194上。显示190还包括覆盖或叠加在解剖模型图像194上的器械156的图示196和内窥镜器械(例如，内窥镜15、28)的图示198。基于根据运动链和/或位置传感器信息知道或确定的器械的位置和/或姿势，可以生成所示的器械196、198。因此，显示190为外科医生提供了超出仅由内窥镜图像192所提供的额外的环境背景。例如，解剖模型图像194示出了在内窥镜图像192上不可见的额外的器官和骨骼的表面或剖面图，并且器械图示196、198提供了关于在内窥镜图像上不可见的器械轨迹的信息。例如，根据显示190，外科医生可以对内窥镜器械远端的位置以及从内窥镜器械远端的有利位置截取的内窥镜图像192周围的区域有更好的背景理解。因此，显示190为外科医生提供了超出仅由内窥镜图像192所提供的额外的环境背景。从图6的第四有利位置，外科医生能够观察到更广阔的内部和外部解剖区域，同时仍保持对来自内窥镜远端的视图的意识。本发明的实施例中的一个或多个元素可以以软件实现以在计算机系统的处理器(诸如控制处理系统)上执行。当以软件实现时，本发明的实施例的元素本质上是用于进行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或设备中，其可以在传输介质或通信链路上通过以载波形式体现的计算机数据信号来下载。处理器可读存储设备可以包括能够存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储设备示例包括：电子电路；半导体设备、半导体存储设备、只读存储器(rom)、闪存存储器、可擦除可编程只读存储器(eprom)；软盘、cd-rom、光盘、硬盘或其他存储设备。可以通过诸如互联网、内联网等的计算机网络来下载代码段。应当注意，所呈现的过程和显示可能并非固有地与任何特定计算机或其他装置有关。各种通用系统可以与根据本文教导的程序一起使用，或者可以证明构造更专用的装置来进行所描述的操作是方便的。各种这些系统所需的结构将作为权利要求中的元素出现。此外，未参考任何特定的编程语言来描述本发明的实施例。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。尽管已经在附图中描述和示出了本发明的某些示例性实施例，但应当理解，此类实施例仅是对本发明的说明而不是对本发明的限制，并且本发明的实施例不限于所示出和描述的具体结构和布置，因为本领域普通技术人员可以想到各种其他修改。当前第1页1 2 3 当前第1页1 2 3