遥操作终止期间的外科医生脱离检测的制作方法

遥操作终止期间的外科医生脱离检测


背景技术：
技术领域
1.本发明公开了涉及外科机器人系统的实施方案。更具体地，本发明公开了涉及用户脱离的检测以防止非预期运动的实施方案。背景技术
[0002][0003]
内窥镜式外科手术涉及在患者体内查看并使用内窥镜和其他外科工具在体内执行外科手术。例如，腹腔镜式外科手术可使用腹腔镜来进入和观察腹腔。内窥镜式外科手术可使用手动工具和/或具有机器人辅助工具的外科机器人系统来执行。
[0004]
外科医生可远程操作外科机器人系统以指挥位于手术台的机器人辅助工具。由外科医生远程对机器人辅助工具进行的这种操作通常可被称为遥操作。例如，外科医生可使用位于手术室中的计算机控制台(或其可位于不同城市)指挥机器人操纵安装在手术台上的外科工具。机器人控制的外科工具可以是安装在机器人臂上的内窥镜。因此，远程外科医生可使用外科机器人系统来执行内窥镜式外科手术。
[0005]
外科医生可向外科机器人系统提供输入命令，并且外科机器人系统的一个或多个处理器可响应于所述输入命令而控制系统部件。例如，外科医生可将用户输入设备诸如操纵杆或计算机鼠标握持在手中，该外科医生操纵该用户输入设备来生成控制信号以引起外科机器人系统部件(例如，机器人系统的致动器、机器人臂和/或外科工具)的运动。


技术实现要素：

[0006]
在具有用户可在其中查看其周围环境的开放式显示器(与潜望镜型显示器相比)的遥操作期间，存在外科医生将目光从屏幕移开但仍然握持控制机器人工具的用户输入设备的可能性。这带来了一个机会，当外科医生正在移动用户输入设备以例如对设备进行对接时，该移动可能无意地移动外科工具。因此，有必要为用户提供开始(例如，接合)和结束(例如，脱离)通过手和脚控件(例如，用户输入设备)对外科器械(例如，外科工具)的控制而不意外移动器械的方式。例如，在系统将接合和/或脱离遥操作之前，可能需要用户执行至少一个预定的有意动作。例如，将用户输入设备进行对接可以是由系统检测的有意动作，并且使系统暂停或脱离遥操作模式。然而，在检测到该有意动作之前，用户还可能进行不旨在引起外科器械的移动的非预期或无意的动作。例如，在对用户输入设备进行对接(例如，有意动作)之前，用户可以在握持用户输入设备的同时开始将他们的手彼此远离(朝向对接站)移动。由于该移动发生在对接之前，系统可能仍处于接合状态，并且该移动可能引起相关联的外科器械的非预期移动。
[0007]
因此，该系统还包括用于检测可能发生在启动有意动作之前或同时发生的这些非预期或无意动作的方法，从而使得该系统可以防止非预期动作引起外科器械的移动。例如，当检测到一个或多个非预期动作时，系统可以将这些检测为预脱离操作并暂停或脱离遥操
作模式。例如，系统可能能够在几分之一秒内检测到在对接事件之前发生的这些非预期动作(例如，将用户输入设备定位在对接站中)。该系统可以通过执行持续的验证过程来做到这一点，该过程包括监视、收集和分析与这些动作或与这些动作相关联的特征有关的数据，以确定和确认正在发生非预期动作。例如，通过检测和分析与用户输入设备的移动相对应的信号的角度以及位置速度、加速度和加加速度，并且将左用户输入设备的运动范围和右用户输入设备的运动范围进行比较，可以检测到对接事件之前的非预期动作(即指示用户脱离)。因此，本发明可以防止在机器人外科手术期间在腹部出现明显的非预期工具运动。代表性地，在一个方面，脱离检测操作包括如下监测的三个主要参数：(1)头部不稳定性；(2)用户输入设备的接合(例如，基于用户挤压用户输入设备的检测)；和(3)用户输入设备之间的距离(例如，对大于或快于预定阈值的距离变化的检测)。这些参数或特性中的每一者可以连续监测和分析以确定他们是否建议用户的动作不旨在控制外科工具，并且因此应该脱离遥操作。
[0008]
代表性地，在一个方面，用于外科机器人系统的外科器械的脱离检测的方法包括确定用户的头部是否在遥操作模式的脱离之前是不稳定的；确定相对于用于在遥操作模式期间控制外科机器人系统的外科器械的第一用户输入设备或第二用户输入设备中的至少一者是否已发生压力释放；以及响应于确定用户的头部是不稳定的或确定已发生压力释放，确定第一用户输入设备与第二用户输入设备之间的距离变化是否指示用户正在执行遥操作模式的脱离之前的非预期动作。在一些方面，如果由头部跟踪设备检测到用户的头部的移动，则将用户的头部确定为不稳定的。此外，确定是否已发生压力释放可以包括通过压力传感器检测用户输入设备上不存在压力。此外，当相关联的位置变化超过预定脱离阈值时，距离变化指示用户正在执行非预期动作。在一些方面，确定距离变化超过预定脱离阈值包括确定第一用户输入设备或第二用户输入设备的速度、加速度和加加速度中的至少一者，并且将速度、加速度和加加速度与预定脱离阈值进行比较。在一些情况下，确定距离超过预定脱离阈值包括确定第一用户输入设备或第二用户输入设备的速度、加速度和加加速度，并且将速度、加速度和加加速度与预定脱离阈值进行比较。在另外的方面，预定脱离阈值可以包括速度阈值、加速度阈值和加加速度阈值，它们分别对应于在遥操作模式期间发生的最大速度、最大加速度和最大加加速度。在一些方面，确定距离变化还包括将第一用户输入设备的速度和第二用户输入设备的速度进行比较，并且当速度相同时，确定位置变化指示非预期用户动作。此外，该方法还可以包括响应于确定用户正在执行遥操作模式的脱离之前的非预期动作，脱离遥操作模式，使得防止第一用户输入设备和第二用户输入设备控制外科器械。在一些方面，遥操作模式的脱离之前的非预期动作包括用户相对于第一用户输入设备或第二用户输入设备的不旨在引起相关联的外科器械的移动的动作。
[0009]
在另一方面，用于外科机器人系统的外科器械的脱离检测的方法可以包括检测对应于遥操作模式脱离之前的用户动作的第一预脱离动作，其中第一预脱离动作指示用户的头部是不稳定的或施加到第一用户输入设备的压力被释放；响应于检测到第一预脱离动作，检测指示相对于第一用户输入设备和第二用户输入设备的距离变化的第二预脱离输入；响应于检测到第二预脱离动作，确定与距离变化相关联的第一用户输入设备或第二用户输入设备中的至少一者的位置变化是否指示用户动作是非预期的预脱离动作；以及响应于确定用户动作是非预期的预脱离动作，脱离遥操作模式，使得防止第一用户输入设备和
第二用户输入设备控制外科器械。在一些方面，如果检测到用户的头部的移动，则第一预脱离输入指示用户的头部是不稳定的。在另外的方面，如果用户的头部的移动大于预定阈值，则第一预脱离动作指示用户的头部是不稳定的。此外，当检测到第一用户输入设备或第二用户输入设备上不存在压力时，第一预脱离动作可以指示压力被释放。在一些方面，检测到指示距离变化的第二预脱离输入包括检测到第一用户输入设备与第二用户输入设备之间的大于在遥操作模式期间发生的距离变化的距离的变化。在一些情况下，确定位置变化是否指示非预期的预脱离动作包括确定与第一用户输入设备或第二用户输入设备的位置变化相关联的速度，并且将该速度与预定速度阈值进行比较。在另外的方面，确定位置变化是否指示非预期的预脱离动作可以包括确定与第一用户输入设备或第二用户输入设备的位置变化相关联的加速度，并且将该加速度与预定加速度阈值进行比较。此外，确定位置变化是否指示非预期的预脱离动作可以包括确定与第一用户输入设备或第二用户输入设备的位置变化相关联的加加速度，并且将该加加速度与预定加加速度阈值进行比较。在一些情况下，当与位置变化相关联的速度、加速度和加加速度分别超过预定速度阈值、加速度阈值和加加速度阈值时，位置变化可以指示非预期的预脱离动作。此外，确定位置变化是否指示非预期的预脱离动作还可以包括将第一用户输入设备的速度和第二用户输入设备的速度进行比较，并且当速度相同时，该位置变化指示非预期用户动作。
[0010]
上述发明内容不包括本发明的所有方面的详尽列表。可以设想的是，本发明包括所有系统和方法，该系统和方法可由上文概述的各个方面的所有合适组合以及下文具体实施方式中公开并且在随本专利申请提交的权利要求书中特别指出的那些来实施。此类组合具有未在上述发明内容中具体叙述的特定优点。
附图说明
[0011]
本发明的实施方案以举例方式而非限制性方式在附图的各图中示出，其中类似的附图标号指示类似的元件。应当指出，在本公开中提到本发明的“一个”或“一种”实施方案不一定是同一个实施方案，并且它们是指至少一个。另外，为了简洁和减少附图的总数，可使用给定附图来示出本发明的多于一个实施方案的特征，并且对于给定实施方案可能并非需要附图中的所有元件。
[0012]
图1是根据实施方案的手术场所中的示例性外科机器人系统的绘画视图。
[0013]
图2是根据实施方案的用户控制台的绘画视图。
[0014]
图3是根据实施方案的用于脱离检测的示例性操作的框图。
[0015]
图4是根据实施方案的用于脱离检测的示例性操作的框图。
[0016]
图5是根据实施方案的包括联锁机构的用户控制台的计算机部分的框图。
具体实施方式
[0017]
在各种实施方案中，参考附图进行描述。然而，某些实施方案可以在没有这些具体细节中的一个或多个具体细节的情况下实施，或者可以与其他已知的方法和配置结合实施。在以下描述中，列出许多具体细节，诸如特定配置、尺寸和过程，以提供对实施方案的全面理解。在其他情况下，没有特别详细地描述众所周知的工艺和制造技术，以免不必要地模糊描述。本说明书通篇提及的“一个实施方案”、“实施方案”等意指所述的特定特征、结构、
配置或特性包括在至少一个实施方案中。因此，在整个说明书中各处出现的短语“一个实施方案”、“实施方案”等不一定是指同一实施方案。此外，在一个或多个实施方案中，具体特征、结构、配置或特性可以任何合适的方式组合。
[0018]
此外，本文所用的术语只是为了描述具体方面的目的，并非旨在对本发明进行限制。为了便于描述，本文可使用空间相对术语诸如“下方”、“低于”、“下部”、“高于”、“上部”等来描述如图所示的一个元件或特征与另一个元件或特征的关系。应当理解，空间相对术语旨在涵盖使用中或操作中的设备除附图中所描绘的取向之外的不同取向。例如，如果图中的设备被翻转，则被描述为“低于”其他元件或特征或“在其下方”的元件将被取向成“高于”其他元件或特征。因此，示例性术语“低于”可涵盖高于和低于的取向。设备可以其他方式取向(例如，旋转90度或以其他取向)，并且相应地解释本文所用的空间相对描述符。
[0019]
如本文所用，除非上下文另有明确说明，否则单数形式“一个”、“一种”和“该/所述”旨在也包括复数形式。还应当理解，术语“包括”和/或“包含”指定所述特征、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、步骤、操作、元件、部件和/或其组的存在或添加。
[0020]
如本文所用，术语“或”和“和/或”应理解为包含性的或意味着任何一种或任何组合。因此，“a、b或c”或“a、b和/或c”意味着“以下中的任一者：a；b；c；a和b；a和c；b和c；a、b和c。”只有当元件、功能、步骤或动作的组合以某种方式固有地相互排斥时，才将会出现该定义的例外。
[0021]
此外，在整个描述中使用的相对术语可表示相对位置或方向。例如，“远侧”可指示远离参考点(例如，远离用户)的第一方向。类似地，“近侧”可指示在与第一方向相反的第二方向上(例如，朝向用户)的位置。然而，提供此类术语是为了建立相对参照系，并非旨在将任何特定外科机器人部件的使用或取向限于以下各种实施方案中描述的具体构型。
[0022]
参见图1，这是手术场所中的示例性外科机器人系统100的绘画视图。外科机器人系统100包括用户控制台102、控制塔103以及外科机器人平台105(例如，手术台、床等)处的一个或多个外科机器人120(包括机器人臂104)。系统100可结合用于对患者106执行外科手术的任何数量的装置、工具或附件。例如，系统100可包括用于执行外科手术的一个或多个外科工具107。外科工具107可以是附接到外科臂104的远侧端部的端部执行器，以用于执行外科规程。
[0023]
每个外科工具107可在外科手术期间手动操纵、通过机器人操纵或两者。例如，外科工具107可以是用于进入、查看或操纵患者106的内部解剖结构的工具。在一个实施方案中，外科工具107为可抓持患者的组织的抓持器。外科工具107可由床边操作者108手动控制；或者其可经由其所附接的外科机器人臂104的致动移动而由机器人控制。机器人臂104被示出为台上安装系统，但在其他配置中，臂104可安装在手推车、天花板或侧壁上，或者安装在另一个合适的结构支撑件中。
[0024]
一般来讲，远程操作者109(诸如外科医生或其他操作者)可使用用户控制台102以远程操纵臂104和/或所附接的外科工具107，例如遥操作。用户控制台102可位于与系统100的其余部分相同的手术室中，如图1所示。然而，在其他环境中，用户控制台102可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台102可包括座椅110、一个或多个用户接口设备例如脚动控制件113或手持式用户输入设
备(uid)114，以及至少一个用户显示器115，该用户显示器被配置为显示例如患者106体内的手术部位的视图。在示例性用户控制台102中，远程操作者109坐在座椅110中并查看用户显示器115，同时操纵脚动控制件113和手持式uid114，以便远程控制臂104和外科工具107(其安装在臂104的远侧端部上)。
[0025]
在一些变型中，床边操作者108还可以“床上”模式操作系统100，其中床边操作者108(用户)现在位于患者106的一侧并且同时操纵机器人驱动的工具(附接到臂104的端部执行器)，例如，用一只手握持手持式uid114和手动腹腔镜工具。例如，床边操作者的左手可操纵手持式uid以控制机器人部件，而床边操作者的右手可操纵手动腹腔镜工具。因此，在这些变型中，床边操作者108可对患者106执行机器人辅助微创外科手术和手动腹腔镜外科手术两者。
[0026]
在示例性规程(外科手术)期间，为患者106做手术准备并以无菌方式为该患者覆盖消毒盖布以实现麻醉。在机器人系统100的臂处于收起配置或撤回配置时，可手动地执行对外科手术部位的初始触及(以便于触及外科手术部位)。一旦完成触及，就可执行机器人系统100包括其臂104的初始定位或准备。接着，外科手术继续，其中用户控制台102处的远程操作者109利用脚动控制件113和uid114来操纵各种端部执行器以及可能的成像系统，以执行外科手术。也可由身着消毒手术衣的床边人员(例如，床边操作者108)在手术床或手术台处提供人工辅助，该床边人员可对机器人臂104中的一个或多个臂执行任务，诸如回缩组织、执行手动重新定位以及工具更换。也可存在非消毒人员以在用户控制台102处辅助远程操作者109。当规程或外科手术完成时，系统100和用户控制台102可被配置或设定成一定状态以便于完成术后规程，诸如清洁或消毒以及经由用户控制台102输入或打印保健记录。
[0027]
在一个实施方案中，远程操作者109保持并且移动uid114以提供输入命令，从而移动机器人系统100中的机器人臂致动器117。uid114可例如经由控制台计算机系统116通信地耦接到机器人系统100的其余部分。代表性地，在一些实施方案中，uid114可以是相对于外科机器人系统的另一个部件不接地的便携式手持用户输入设备或控制器。例如，uid114可在栓系用户控制台或从用户控制台解下时不接地。术语“不接地”旨在指代例如两个uid既不在机械上也不在动力学上相对于用户控制台受到约束的具体实施。例如，用户可将uid114握持在手中，并且在仅由例如用户控制台的跟踪机构限制的空间内自由移动到任何可能的位置和取向。uid114可生成对应于uid114的移动的空间状态信号，例如uid的手持式外壳的位置和取向，并且空间状态信号可以是控制机器人臂致动器117的运动的输入信号。机器人系统100可使用源自空间状态信号的控制信号来控制致动器117的成比例运动。在一个实施方案中，控制台计算机系统116的控制台处理器接收空间状态信号并生成对应的控制信号。基于控制致动器117如何通电以移动臂104的区段或连接件的这些控制信号，附接到臂的对应外科工具的移动可模拟uid114的移动。类似地，远程操作者109与uid114之间的交互可生成例如夹持控制信号，该夹持控制信号使外科工具107的抓持器的钳口闭合并抓持患者106的组织。
[0028]
外科机器人系统100可包括若干uid114，其中为控制相应臂104的致动器和外科工具(端部执行器)的每个uid生成相应的控制信号。例如，远程操作者109可移动第一uid114以控制位于左机器人臂中的致动器117的运动，其中致动器通过移动该臂104中的连杆、齿轮等来响应。类似地，远程操作者109对第二uid114的移动控制另一个致动器117的运动，这
继而移动机器人系统100的其他连杆、齿轮等。机器人系统100可包括固定到患者的右侧的床或台的右臂104，以及位于患者的左侧的左臂104。致动器117可包括一个或多个马达，控制该一个或多个马达，使得它们驱动臂104的接合部旋转，以例如相对于患者改变附接到该臂的外科工具107的内窥镜或抓持器的取向。同一臂104中的若干致动器117的运动可由从特定uid114生成的空间状态信号控制。uid114还可控制相应外科工具抓持器的运动。例如，每个uid114可生成相应的夹持信号以控制致动器(例如，线性致动器)的运动，该致动器在外科工具107的远侧端部处打开或闭合抓持器的钳口以抓持患者106体内的组织。当用户完成利用uid114控制外科工具时，用户可以将uid114与位于控制台102上的对接站或uid保持器进行对接(即存储)。例如，控制台102可以包括在座椅110的左臂安置部和右臂安置部中的每一者处的对接站130。为了对uid114进行对接，用户可将左uid114移动到左对接站130并且将右uid114移动到右对接站130，并且将每个uid放置在其相应的对接站保持器中。
[0029]
在一些方面，平台105和用户控制台102之间的通信可通过控制塔103，该控制塔可将从用户控制台102(并且更具体地从控制台计算机系统116)接收的用户命令转换成传输到机器人平台105上的臂104的机器人控制命令。控制塔103还可将状态和反馈从平台105传输回用户控制台102。机器人平台105、用户控制台102和控制塔103之间的通信连接可经由有线和/或无线链路，使用各种数据通信协议中的任何合适的数据通信协议。任何有线连接可任选地内置于手术室的地板和/或墙壁或天花板中。机器人系统100可向一个或多个显示器提供视频输出，包括手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。还可加密视频输出或馈送以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。应当理解，图1的手术室场景是示例性的，未必能准确地代表某些医疗实践。
[0030]
此外，在一些方面，外科机器人系统100还可包括一个或多个跟踪机构、设备、部件或系统(例如，跟踪器、传感器等)，它们可用于检测一个或多个预接合动作或一个或多个预脱离动作，指示应接合遥操作模式，或者一旦接合，是否应脱离。机构可以检测例如用户的头部相对于显示器115的移动或正被用户握持的uid的移动。该信息继而可用于确定移动是否指示用户旨在脱离遥操作模式(例如，预脱离动作)或继续接合遥操作模式(例如，预接合动作)。例如，在用户使用uid114控制外科工具107的外科机器人系统100的遥操作模式之前或期间，用户应该看着显示器115，以便他们可以查看工具移动。当用户决定对接uid时，并且有时在实际上发生对接之前，用户可以将视线从显示器115移开，同时仍然握持uid114并控制外科工具107。这引入了风险，因为用户可能移动uid114，继而无意地移动工具107。因此，外科机器人系统100还可以检测这些非预期移动(例如，预脱离动作)，使得可以防止外科工具107与uid114的非预期操作。各种检测机构可耦接到用户控制台102、与该用户控制台通信或以其他方式与该用户控制台的部件相关联，并且将参考图2更详细地进行描述。
[0031]
应当理解，“进入”遥操作模式旨在指例如被阻止控制外科器械的uid或脚踏开关转变为现在可控制外科器械的模式(例如，遥操作模式)的操作。另一方面，脱离遥操作模式旨在指当系统处于遥操作模式，然后转变为uid或脚踏开关可能不再控制外科器械的模式(非遥操作模式)时发生的操作。例如，当系统确定检测到的移动是用户的非预期动作或移动时，可以脱离遥操作模式。
[0032]
现在参见图2，图2示出了示例性用户控制台的绘画视图，该示例性用户控制台包
括多个设备、机构、系统和/或用于检测用户动作的部件(例如，非预期和/或预脱离动作)。代表性地，用户控制台102被示出为包括椅子110和显示器115，如先前所述。显示器115可以例如是开放式显示器。术语“开放式”显示器旨在指被设计成允许用户即使在直接面向显示器时也例如用他们的周边视觉看到显示器的外部的显示器。此外，在开放式显示器中，用户可与显示屏相距一定距离或不直接在显示器的前面，并且仍然在显示器上查看外科手术。因此，在开放式显示器诸如显示器115中，用户可能没有靠近显示器或他们的面部不直接在显示器的前面的事实将不一定意味着用户未看向显示器或聚焦于外科规程。相反，就开放式显示器而言，将对此类动作存在一定程度的容许并且允许遥操作模式继续。这与沉浸式显示器(例如，潜望镜)形成对比，该沉浸式显示器在用户面向显示器时防止用户看到显示屏的外部并且要求用户相对靠近显示屏。例如，就沉浸式显示器而言，用户必须将面部相对靠近并面向显示屏以使用该显示器来查看正在进行的外科手术。如果用户将他们的头部拉离显示屏或不面向显示屏，则用户不再能够看到该显示屏，因此这通常将被解释为意指用户未聚焦在屏幕上或没有给予足够的注意力来继续遥操作模式。
[0033]
为了检测控制台处的用户的动作是否为预期或有意接合操作(例如，旨在移动外科器械)或非预期或无意的预脱离操作(例如，不旨在移动外科器械)，用户控制台102可以进一步包括许多跟踪装置、机构、系统和/或部件。跟踪机构可以包括但不限于头部稳定性跟踪器202、uid跟踪器204和/或适于检测用户的动作的任何其他跟踪设备。跟踪机构中的每个跟踪机构被配置成检测可能需要继续、接合或脱离遥操作模式的多个动作中的至少一个动作。如先前所论述，动作可以对应于与用户控制台的用户交互，其指示用户正在执行遥操作模式期间的有意动作(例如，应该进行遥操作)或在uid仍在控制外科器械时执行无意动作(例如，遥操作应该被脱离)。
[0034]
代表性地，头部稳定性跟踪器202可以耦合到显示器115并且包括可以监测用户的头部的运动的相机。另外，头部稳定性跟踪器202可以包括传感器，该传感器可以用于监测用户的目光(或目光变化)和用户的头部相对于监视器的距离。例如，头部稳定性跟踪器202可以包括可以确定用户的头部到监视器的距离的热或接近传感器。uid跟踪器204可以包括直接或间接地与uid相关联并且能够操作以检测与uid114的操作和/或移动有关的特征的一个或多个传感器。例如，uid跟踪器204可以检测用户的手与uid之间的接触或uid114的移动。例如，uid跟踪器204可以包括可以检测用户握持和操纵uid114的压力或抓持传感器。uid跟踪器204还可以包括可以跟踪uid114的距离变化、位置、角度(例如，取向)等的传感器。例如，uid跟踪器204还可以包括em传感器、惯性测量单元(imu)传感器(例如，加速度计或陀螺仪)、或用于检测uid的距离变化、位置和/或角度(例如，取向)的飞行时间传感器中的一者或多者。另外，uid跟踪器204可以用于确定uid114的速度、加速度和/或加加速度。另外，uid跟踪器204可以跟踪左uid和右uid两者，从而使得可以将与一个uid有关的信息与另一个uid的信息进行比较，以确定一个uid相对于另一个uid的移动。
[0035]
图3是可以由图2的跟踪设备监测(或跟踪)的各种动作的简化示意图。代表性地，头部稳定性跟踪器202和uid跟踪器204可以用于用户和/或uid的压力跟踪302、头部跟踪304、位置跟踪306和/或角度跟踪308。例如，压力跟踪302可以包括检测用户310在uid114的压力传感器312上的压力释放或压力输入。例如，uid114可以包括抓持部分，该抓持部分包括传感器312，外科医生使用她或他的手来操纵(例如，挤压)以生成输入命令以使致动器移
动到机器人外科工具和/或端部执行器耦合在外科机器人系统中的位置。外科医生可以在工作空间内挤压和移动uid114以远程引起致动器的相应移动。然而，在对接之前或期间，用户将释放(或开始释放)其在uid114上的抓持。因此，uid114上的压力可以从设备上的至少一些压力变为设备上的零压力。uid跟踪器204可以将用户在对接之前释放uid114(例如，不存在压力)检测为非预期的预脱离动作。头部跟踪304可以包括检测用户310的头部的移动314。例如，当用户决定对uid114进行对接或对uid114进行对接时，他们可以稍微移动其头部以查看对接站。这种移动可以被头部跟踪304检测为非预期的预脱离动作。距离跟踪306可以包括检测uid114的移动，例如一个uid相对于另一个uid的距离变化。例如，距离跟踪306可以包括在一个或多个位置处跟踪uid114和/或uid114在这些位置之间或相对于另一uid移动的距离316。位置跟踪308可以包括在三维坐标系318内检测uid114的方向和/或uid114的方向变化。例如，uid114相对于坐标系318的x、y和z轴的枢转、旋转等。然后分析由压力跟踪302、头部跟踪304、位置跟踪308和角度跟踪308检测到的信息，并将其与各种阈值进行比较，以确定例如用户动作是否是非预期的预脱离动作，因此遥操作是否应该被脱离，以防止相关联的外科器械的非预期移动。例如，在一些方面，如果确定uid上的压力已经被释放或者头部移动是不稳定的，并且uid角度和uid位置超过预定阈值(例如，用于移动外科器械的预期动作的最大阈值))，则该系统可以确定用户的动作或移动是非预期的预脱离动作(例如，不旨在移动外科器械)，并且遥操作应该被脱离，以防止外科器械的非预期移动。
[0036]
图4是用于基于由各种传感器和/或跟踪结构检测到的先前讨论的数据来确定非预期用户动作的示例性过程的框图。代表性地，过程400可以包括检测压力释放操作402或检测头部不稳定性操作404的初始预脱离操作。在进行到距离操作406之前，必须检测到操作402或404中的至少一者。压力释放操作402可包括例如通过与uid相关联的压力传感器检测uid(例如，uid114)上的压力释放，如先前所述。例如，传感器可以将uid上的压力不存在检测为用户已经释放其对uid的抓持或不再挤压uid的指示符。这种动作通常发生在对接之前或对接期间，因此系统将此动作识别为非预期的预脱离动作或用户可能正在执行或将要执行非预期动作的指示符。
[0037]
头部不稳定性操作404可以包括检测用户的头部的移动，例如通过如前所述的头部跟踪机构。通常，当用户使用uid来控制外科器械时，他们正在看向显示器并且不移动他们的头部或仅在预定阈值范围内移动他们的头部。另一方面，当用户将要对接uid或正在对接uid时，他们可能会将视线从显示器移开，例如看向与控制台相关联的对接站之一。因此，当系统在操作404处检测到头部移动大于通常在遥操作期间发生的预定阈值范围时，该系统将该移动识别为头部不稳定。代表性地，阈值可以是大于0度的头部的角旋转，例如约5度、10度、20度、30度、40度、50度、60度、70度、80度、90度度、100度或更多。例如，如果系统在操作404处检测到头部的旋转或移动大于例如5度，则系统确定检测到头部不稳定。这种头部不稳定性又被认为是用户可能正在执行或将要执行非预期的预脱离动作的指示符。
[0038]
一旦在操作402或404处检测到压力释放或头部不稳定性中的至少一者，过程400就进行到操作406，在该操作中确定在右uid和左uid之间是否已发生距离变化。例如，在操作406处，系统确定左uid和右uid之间的距离是否已经变化，如果是，则在操作434处该变化超出预定阈值范围(例如，th5)。距离变化的检测被用作用户正在进行不应该被转化为外科器械的非预期的预脱离动作的另一个指示符(例如，用户正准备对接或正在对接uid)。通
常，当用户使用uid来控制外科器械时，用户将左uid和右uid握在身前，左uid和右uid之间的距离保持相对不变，或者在预定阈值范围内。当用户决定对接uid或处于对接uid的过程中时，他们通常将右uid移动到控制台右侧的对接站，并将左uid移动到控制台左侧的对接站。因此，在对接过程之前和/或期间，左uid与右uid之间的距离发生变化。当检测到该距离变化或大于在遥操作期间通常发生在uid之间的预定阈值范围(例如，th5)时，系统将该移动识别为uid的移动不是用户想要的和/或不旨在控制相关联的外科器械的指示符。因此，将该移动分类为非预期的预脱离动作，并且基于该确定，系统可以脱离遥操作，使得uid移动不移动相关联的外科器械。
[0039]
进一步分析操作406处的距离变化的几个特征以确认其与非预期的预脱离操作相关联。例如，在操作408r-414r和408l-414l处进一步分析与在操作406处确定的距离变化相关联的位置、速度、加速度和加加速度。操作408r-414r可以相对于右uid评估这些特征，并且操作408l-414l可以相对于左uid评估这些特征。在408r-414r和408l-414l处分别评估左uid右uid的特征，使得即使一个uid移动而另一个不移动，仍然可以检测和分析至少一个uid的移动，以确定是否已发生非预期的预脱离动作。
[0040]
现在更详细地参考操作408r和408l，在操作408r和408l处，分别分析右uid和/或左uid中的每一者的位置和/或位置变化。例如，在操作408r处，在三维空间内相对于x、y和z轴分析右uid的位置和/或位置变化。如果检测到位置变化，则系统在操作410r-414r和410l-414l处进一步分析与位置变化相关联的速度、加速度和加加速度。具体地，在操作410r处，该过程通过确定右uid位置相对于参考系的变化率来分析右uid的速度。然后在操作416r处将右uid的速度与预定速度阈值(例如，th1)进行比较。预定速度阈值可以是在遥操作模式期间uid的最大可接受速度，或者可以是在其他方面与在遥操作模式期间发生的典型位置速度一致的速度。例如，当外科医生在遥操作模式期间使用uid来控制外科器械时，外科医生对uid的移动通常将相对缓慢且受控，使得外科器械在体内的相应移动不损伤组织。另一方面，当外科医生例如对接uid时，外科医生可以在将uid移向对接站时相对较快地改变uid的位置。因此，与旨在控制外科器械的动作相反，uid的相对快速的位置变化将与不旨在控制外科器械的动作(例如，对接动作)更加一致。因此，如果在操作416r处发现右uid的位置速度超过预定速度阈值(例如，th1)，则系统在操作418处将相对于右uid的动作分类为非预期的预脱离动作。类似地，在操作410l处，系统确定左uid位置相对于参考系的变化率。然后在操作416l处将左uid的位置速度与预定阈值(例如，th1)进行比较。在操作416l处，用于左uid的预定阈值(例如，th1)可以与在操作416r处用于右uid的预定阈值(例如，th1)相同。如果在操作416l处发现左uid位置的变化率超过预定阈值(例如，th1)，则系统在操作418处将相对于左uid的动作分类为非预期的预脱离动作。应该认识到，在操作418处，右uid或左uid的超过阈值的位置变化将被系统分类为非预期的预脱离动作。换句话讲，左uid和右uid都不需要改变位置，或者以大于阈值的速率改变位置，系统就断定与已发生非预期的预脱离动作一致的uid位置变化。
[0041]
在操作412r、412l处进一步分析右uid和左uid的加速度。具体地，在操作412r处，该过程确定先前确定的右uid的速度随时间的变化率。然后在操作420r处将右uid的加速度与预定加速度阈值(例如，th2)进行比较。预定加速度阈值可以是在遥操作模式期间uid的最大可接受加速度，或者是在其他方面与在遥操作模式期间发生的典型位置变化一致的加
速度。如先前所论述，当外科医生在遥操作模式期间使用uid来控制外科器械时，外科医生对uid的移动通常将相对缓慢且受控，使得外科器械在体内的相应移动不损伤组织。因此，与旨在控制外科器械的动作相反，uid的相对快速加速度将与不旨在控制外科器械的动作(例如，对接动作)更加一致。因此，如果在操作420r处发现右uid的加速度超过预定加速度阈值(例如，th2)，则系统在操作422处将相对于右uid的动作分类为非预期的预脱离动作。类似地，在操作412l处，系统确定左uid的加速度。然后在操作420l处将左uid的加速度与预定阈值(例如，th2)进行比较。在操作420l处，用于左uid的预定阈值(例如，th2)可以与在操作420r处用于右uid的预定阈值(例如，th2)相同。如果在操作420l处发现左uid的加速度超过预定阈值(例如，th2)，则系统在操作422处将相对于左uid的动作分类为非预期的预脱离动作。应该认识到，在操作422处，右uid或左uid的超过阈值的加速度将被系统分类为非预期的预脱离动作。换句话讲，左uid和右uid都不需要速度，或者以大于阈值的速率加速度，系统就断定与已发生非预期的预脱离动作一致的uid位置变化。
[0042]
在操作414r、414l处进一步分析右uid和左uid的加加速度。具体地，在操作414r处，该过程确定先前确定的右uid的加速度的变化率。然后在操作424r处将右uid的该加加速度值与预定加速度阈值(例如，th3)进行比较。预定加加速度阈值可以是在遥操作模式期间uid的最大可接受加加速度，或者是在其他方面与在遥操作模式期间可能发生的典型加加速度类型运动一致的加加速度。在遥操作模式期间，外科医生通常将避免晃动uid，或至少最小化任何晃动，因此与旨在控制外科器械的动作相反，相对快速的uid加加速度将与不旨在控制外科器械的动作(例如对接动作)更加一致。因此，如果在操作424r处发现右uid的加加速度超过预定加速度阈值(例如，th3)，则系统在操作426处将相对于右uid的动作分类为非预期的预脱离动作。类似地，在操作414l处，系统确定左uid的加加速度。然后在操作424l处将左uid的加加速度与预定阈值(例如，th3)进行比较。在操作424l处，用于左uid的预定阈值(例如，th3)可以与在操作424r处用于右uid的预定阈值(例如，th3)相同。如果在操作424l处发现左uid的加加速度超过预定阈值(例如，th3)，则过程在操作426处将相对于左uid的动作分类为非预期的预脱离动作。应该认识到，在操作426处，右uid或左uid的超过阈值的加加速度将被系统分类为非预期的预脱离动作。换句话讲，左uid和右uid都不需要经历加加速度或大于阈值的加加速度，系统就断定与已发生非预期的预脱离动作一致的uid加加速度。
[0043]
此外，过程400可以包括操作428，其将在操作410r和/或410l处确定的速度进行比较，以去除任何正误识。具体地，在断定非预期的预脱离动作已经发生之前，可以将在操作410r和/或410l处确定的速度进行比较，以确定它们是否相同或相对相同。通常，在对接之前或对接期间，左uid和右uid的速度将相对相同，因为外科医生对每个uid执行相同的任务(例如，将uid移动到相关联的对接站)。另一方面，在遥操作期间，左uid和右uid可用于执行不同的操作，因此每个uid的速度通常将不同，或将基本上不同。因此，如果在操作410r和410l处确定的速度相同或基本上相同，则该过程在操作422处可以使用该信息作为左uid和右uid的动作与操作中的非预期的预脱离动作一致的进一步指示符。为了确定在操作410r和410l处确定的速度是否基本上相同，可以在操作430处将左uid和右uid的速度之间的任何差值与预定比较阈值(例如，th4)进行比较。预定比较阈值(例如，th4)可以对应于在遥操作模式下的外科手术期间可能出现的左uid和右uid之间的可接受的速度差，或者已经发现
出现的速度差。如果在操作430处发现左uid和右uid的速度之间的差超过阈值，则在操作432处该过程将该动作分类为非预期的预脱离动作。
[0044]
如果压力释放操作402或头部不稳定性操作404，以及距离变化操作406(例如，至少一个uid的速度、加速度和加加速度超过预定阈值)都被发现与非预期的预脱离的动作一致，则该过程确定用户正在进行非预期的预脱离动作。一旦确定了非预期的预脱离动作，在操作436处就通过脱离遥操作模式来防止uid控制外科器械。
[0045]
应当理解，用于执行过程400的操作中的每个操作的数据可以由任何一个或多个先前讨论的源(例如，头部稳定性跟踪器202和uid跟踪器204)连续收集，并且连续执行操作，以便可以检测到非预期的预脱离动作，并立即脱离遥操作。例如，各种源可以至少每毫秒收集一次数据，并且一旦收集到数据就可以执行过程400的操作。在该方面，系统能够检测到非预期的预脱离动作并在它发生时或/或在例如外科医生对接uid之前脱离遥操作。在该方面，系统可以自动脱离遥操作以防止用户在握持uid时的任何对接相关动作引起相关联的外科器械的非预期移动。
[0046]
图5是根据一个实施方案的外科机器人系统的可操作来实施前述操作的计算机部分的框图。示例性外科机器人系统500可包括用户控制台102、外科机器人120和控制塔103。外科机器人系统500可包括其他或附加的硬件部件；因此，以示例的方式提供该图，而并非是对系统架构的限制。
[0047]
如上所述，用户控制台102可包括控制台计算机511、一个或多个uid512、控制台致动器513、显示器514、脚踏开关516、控制台计算机511和网络接口518。此外，用户控制台102可包括多个跟踪机构、设备或部件，例如uid跟踪器515、头部跟踪器517和压力跟踪器519，以用于如先前所述检测用户的预脱离动作。例如，压力跟踪器519可以包括任何一个或多个先前讨论的uid传感器，例如，用于检测用户在uid上的压力释放的传感器。uid跟踪器515可以包括em传感器、惯性测量单元(imu)传感器(例如，加速度计或陀螺仪)、或用于检测uid的距离变化、位置和/或角度(例如，取向)的飞行时间传感器。头部跟踪器517可以包括用于检测头部不稳定性的一个或多个传感器。由跟踪器中的任何一个或多个跟踪器检测到和/或跟踪到的信息可被监测并传送到控制台计算机511，并且经由网络接口518发送到控制塔103，使得系统可以确定检测到的动作是否是非预期的预脱离动作以及是否接合和/或脱离遥操作模式。
[0048]
还应当理解，坐在用户控制台102处的用户或外科医生可手动调整用户控制台102的人体工程学设置，或者可根据用户配置文件或用户偏好自动调整该设置。可通过基于用户输入或控制台计算机511存储的配置来驱动控制台致动器513来实现手动调整和自动调整。用户可通过使用一个或多个主uid512和脚踏开关516控制外科机器人120来执行机器人辅助的外科手术。uid512的位置和取向由uid跟踪器515连续跟踪，并且状态变化作为用户输入由控制台计算机511记录并经由网络接口518调度到控制塔103。可在高分辨率3d显示器514(包括开放式显示器或沉浸式显示器)上向用户呈现患者解剖结构、器械和相关软件应用程序的实时外科手术视频。
[0049]
用户控制台102可通信地耦合到控制塔103。用户控制台还提供用于改善人体工程学的附加功能。例如，用户控制台可以是包括开放式显示器的开放式架构系统，但在一些情况下可以提供沉浸式显示器。此外，在用户控制台102处包括高度可调节的外科医生座椅以
及通过电磁跟踪器或光学跟踪器跟踪的主uid，以用于改善人体工程学。
[0050]
控制塔103可以是容纳触摸屏显示器的移动现场护理推车、控制外科医生通过机器人辅助操纵器械的计算机、安全系统、图形用户界面(gui)、光源以及视频计算机和图形计算机。如图5所示，控制塔103可包括中央计算机531(至少包括可视化计算机)、控制计算机和辅助计算机、各种显示器533(包括团队显示器和护士显示器)以及将控制塔103耦合到用户控制台102和外科机器人120两者的网络接口518。控制塔103可提供附加功能以实现用户便捷性，诸如护士显示触摸屏、软电源和e保持按钮、用于视频和静止图像的面向用户的usb以及电子脚轮控制接口。辅助计算机还可运行实时linux，从而提供日志记录/监测以及与基于云的web服务的交互。
[0051]
外科机器人120可包括具有多个集成臂522的铰接式手术台524，多个集成臂可定位在目标患者解剖结构上方。可将一组兼容工具523附接到/拆卸离开臂522的远侧端部，使得外科医生能够执行各种外科规程。外科机器人120还可包括用于手动控制臂522、台524和工具523的控制接口525。该控制接口可包括诸如但不限于遥控器、按钮、面板和触摸屏等物品。可能还需要其他附件诸如套管针(套管、密封药筒和填塞器)和盖布，以使用系统执行手术。在一些变型中，多个臂522包括安装在手术台524的两侧上的四个臂，其中每侧上具有两个臂。对于特定的外科规程，安装在台的一侧上的臂可以通过在台和安装在另一侧上的臂下方拉伸和交叉而定位在台的另一侧上，从而总共三个臂定位在台524的相同侧上。外科工具还可包括台计算机521和网络接口518，该网络接口可将外科机器人120放置在与控制塔103通信的位置。
[0052]
在前述说明书中，已参考本发明的具体示例性实施方案描述了本发明。将显而易见的是，在不脱离如以下权利要求中阐述的本发明的更广泛的精神和范围的情况下，可对本发明进行各种修改。因此，说明书和附图将被视为在示例性意义上而非限制性的。