增强现实准备的光学跟踪系统的制作方法

增强现实准备的光学跟踪系统
1.本技术要求2020年2月7日提交的美国临时申请序号62/971,448、2020年4月24日提交的美国临时申请序号63/014,803的优先权，两者的内容通过引用整体并入本文。
技术领域
2.本公开描述了利用红-绿-蓝(rgb)颜色传感器来收集标准彩色图像和可以例如在手术程序中使用的跟踪数据的方法、光学跟踪系统和设备。


背景技术：

3.光学跟踪系统用于手术环境中以跟踪手术工具、患者解剖结构和其它对象。许多常规光学跟踪系统在近ir(nir)光谱(从约740nm到约900nm)中操作，以便不干扰手术人员的眼睛。基于常规nir的光学跟踪系统由一对光学模块组成，所述光学模块各自包括物镜、互补金属氧化物半导体(cmos)图像传感器和nir通带光学滤波器(或替代地，高通滤波器-接近740nm)。在这种常规系统中，cmos图像传感器可被视为低通滤波器，因为它们不检测高于1000nm的波长。
4.如本领域通常所理解的，量子效率(qe)量化图像传感器从入射光子产生电子电荷(电子)的有效性。较高的qe使得将更多光子转换为电子。与nir增强型cmos图像传感器相比，标准单色cmos图像传感器在nir光谱(740-900nm)内具有降低10-15％的qe。尽管可见cmos图像传感器在nir带宽中通常是敏感的，但半导体制造商已经开发了在该频谱内“增强”的图像传感器。这些nir增强型图像传感器的主要市场是当前监视应用。在此类应用中，增强旨在减少或消除由监测系统产生的光，以减少其对人的可见性。
5.由常规的基于nir的光学跟踪系统捕获的图像通常对于具有位于nir光谱中的发射光源的每个位置处的白光斑的背景来说是黑色的。基于nir的系统中的光源可以是直接的(例如，ir-led)或间接的(例如，反射围绕跟踪系统的物镜定位的光源的反射材料)。基于nir的采集可以被优化以通过将cmos图像传感器上的极低积分时间(通常为80微秒)与高强度的nir源组合来降低图像中的噪声。理想地，红外能量的发射和积分时间同步以增加信号/噪声比。由于其优化的采集，基于ir的光学跟踪系统通常产生亚毫米准确度。
6.最近出现了基于常规单色或彩色图像传感器的新一代光学跟踪系统。这些系统从图像传感器检索常规的单色/彩色图像并对其进行处理以检测突出点(例如，标签、x点、qr码或图像中的任何提示)。一旦检测到这些点，就以类似于基于nir的系统的方式(例如，三角测量、姿态估计等)处理它们。基于图像的跟踪系统的使用允许信息覆盖在所获取图像上，所述信息例如跟随手术工具的轨迹、患者的重建解剖结构或任何其他相关实时信息。覆盖帮助外科医生定位要遵循的解剖标志和轨迹，并且因此允许更快速地执行程序。
7.遗憾的是，使用可见图像在手术环境中执行光学跟踪具有许多缺点。例如，光学跟踪需要分析完整图像以检测基准标记，这是cpu密集过程。另外，与基于nir的系统相比，此类光学跟踪系统中的检测通常不太可靠，这导致较低的总体更新速率、不准确和抖动。
8.光学跟踪系统通常集成到机器人或计算机辅助手术系统(cass)中。典型应用包括
固定在患者上的标记和固定在手术器械(或机器人的末端执行器)上的另一标记。为了确定患者的解剖结构相对于固定在患者身上的标记的姿态，需要配准过程。
9.患者配准的实例可包含收集三维(3d)数据集，所述三维数据集以相对准确度重现待操作的区域中的正常组织和病理组织的几何形状，这通常通过对该区域使用计算机断层扫描(ct)或磁共振成像(mri)扫描获得。患者配准的作用是获得扫描仪数据集的接近理想的参考再现性，以便在手术程序期间使所收集数据集的位置或偏移与患者的位置相关。因此，患者配准消除了在术前扫描和手术期间维持患者相同严格位置的必要性，并且为外科医生或手术机器人提供必要的参考信息以准确地对患者进行动作，即使患者已在手术程序期间移动。
10.通常使用探针(例如，指针或数字化器)或激光扫描仪执行患者配准。探针允许通过触摸或扫描患者的解剖结构在患者的解剖结构(例如，皮肤和/或骨)的表面上获取点。系统还使用配准算法(例如，点-点配准和/或迭代最近点(icc))来表达被跟踪标记的坐标系内的术前扫描。
11.替代地，配准的概念可以在外科手术过程期间被解剖结构的原位扫描替换，所述原位扫描可以用骨变形技术进行扩展。代替经典配准，此方法避免使用术前扫描仪进行手术规划。然而，当前的cass应用缺乏手术程序的大规模数字化，并且根据一些实施方式，配准是耗时且无效的，并且根据其他实施方式是不准确且无效的。


技术实现要素：

12.提供此发明内容是为了符合37c.f.r.
§
1.73，需要本发明的发明内容简要地说明本发明的性质和实质。要理解，提出此发明内容不是用于解释或限制本公开的范围或含义。
13.示出了改进光学跟踪(例如，在手术程序期间)的方法、非暂时性计算机可读介质和光学跟踪系统。根据某些实施例，用相同图像传感器捕获环境的彩色图像和跟踪图像。在所述环境内近红外(nir)光发射期间获得跟踪图像。处理跟踪图像以确定跟踪信息，所述跟踪信息包括环境内的一个或多个基准中的每一个基准的至少三维(3d)位置。基于所述跟踪信息将数据配准到所述彩色图像。跟踪信息和彩色图像在同一参考空间中。环境的表示输出到显示装置。所述表示基于所述配准生成，并且包括覆盖有所配准的数据的彩色图像的内容。
14.根据某些实施例，图像传感器包括红-绿-蓝(rgb)互补金属氧化物半导体(cmos)图像传感器。在这些实施例中，捕获彩色图像可以包括在可见光光谱中捕获彩色图像，捕获跟踪图像包括在nir光谱中捕获跟踪图像。另外，在这些实施例中，捕获彩色图像和跟踪图像可以包括交替地捕获彩色图像和跟踪图像。
15.根据某些实施例，图像传感器包括过采样的二进制图像传感器。在这些实施例中，捕获彩色图像和跟踪图像可包括同时捕获彩色图像和跟踪图像。
16.根据某些实施例，跟踪图像的第一积分时间比彩色图像的第二积分时间短。
17.根据某些实施例，一个或多个图像优化技术，包括去马赛克、颜色校正、伽马校正、自动曝光或白平衡应用于彩色图像。
18.根据某些实施例，所述数据包括具有一个或多个轨迹、切割平面或三维解剖重建的术前手术数据。在这些实施例中，可以在彩色图像的内容中将术前手术数据配准到患者
解剖结构。
19.根据某些实施例，当基于跟踪信息确定与手术计划的偏差已经发生时，将警报输出到显示装置。
20.根据某些实施例，一个或多个基准包括被配置成分别发射或反射nir光的主动或被动基准标记。当一个或多个基准包括被动基准标记时，nir光可以用一个或多个nir发光二极管(led)发射。
21.根据某些实施例，所述表示包括环境的一个或多个部分的增强现实(ar)图像，并且所述显示装置包括头戴式显示器(hmd)。
22.根据某些实施例，可基于对彩色图像的分析来跟踪环境中的一个或多个对象的位置或取向中的一个或多个以识别附接到所述一个或多个对象中的每一个对象的一个或多个光学代码。
附图说明
23.并入本说明书中且形成本说明书的一部分的附图说明本公开的实施例，且连同书面描述一起用于解释本发明的原理、特性和特征。在附图中：
24.图1示出了根据实施例的包括示例性计算机辅助手术系统(cass)的手术室。
25.图2示出了根据一些实施例的电磁传感器装置的示例。
26.图3a示出了根据一些实施例的具有三个垂直线圈的电磁传感器装置的替代性示例。
27.图3b示出了根据一些实施例的具有两个不平行固定线圈的电磁传感器装置的替代性示例。
28.图3c示出了根据一些实施例的具有两个不平行分离线圈的电磁传感器装置的替代性示例。
29.图4示出了根据一些实施例的电磁传感器装置和患者骨的示例。
30.图5a示出了根据实施例的手术计算机提供给cass的其它部件的说明性控制指令。
31.图5b示出了根据实施例的cass的部件提供给手术计算机的说明性控制指令。
32.图5c示出了根据实施例的手术计算机通过网络连接到手术数据服务器的说明性实施方式。
33.图6示出了根据实施例的手术患者护理系统和说明性数据源。
34.图7a示出了根据实施例的用于确定术前手术计划的示例性流程图。
35.图7b示出了根据实施例的用于确定护理期，包括术前、术中和术后动作的示例性流程图。
36.图7c示出了根据实施例的说明性图形用户界面，包括描绘植入物放置的图像。
37.图8示出了根据实施例的图像传感器的像素阵列上的彩色滤波器的拜耳布置。
38.图9示出了根据实施例的量子效率相对于分解成每个颜色通道的波长的图。
39.图10示出了根据实施例的具有两个光学模块和结构化光投影仪的立体光学跟踪系统。
40.图11a-11b示出了根据实施例的投射在对象上且由摄像头看到的竖直条带图案的实例。
41.图12示出了根据实施例的在红外光谱中投射伪随机图案的原始图像的实例。
42.图13示出了实施说明性实施例的方面的说明性手术计算装置的框图。
具体实施方式
43.本文描述了大体上涉及被设计用于增强现实(ar)应用的光学跟踪系统的系统、方法和设备。更具体地，本文所述的光学跟踪系统包括使用rgb颜色传感器而不是单色传感器的光学模块。此改进允许光学跟踪系统以交错方式检索标准彩色图像和准确的跟踪数据两者。这种改变打开了下一代计算机辅助手术(cas)应用的大门，包括手术区域的更深的数字化。例如，增强型跟踪信息可用于提供ar覆盖(例如，直接在手术区域的综合图像上显示操作信息)。本文所述的光学跟踪系统还可用于从手术区域检索更多信息以改进整体手术过程流程(例如，检查使用正确的工作流、检查使用正确颜色编码的植入物
–
椎弓根螺钉
–
等)。
44.本文所公开的系统、方法和设备特别好地适合于利用手术导航系统(例如手术导航系统)的手术程序。这样的程序可以包括膝关节置换和/或翻修手术以及肩关节和髋关节手术。navio是宾夕法尼亚州匹兹堡的blue belt technologies公司的注册商标，该公司是田纳西州孟菲斯的smith&nephew公司的子公司。
45.如本文件中所使用，除非上下文另外明确规定，否则单数形式“一个”、“一种”和“该/所述”包括复数引用。除非另有定义，否则本文所使用的所有科技术语具有与本领域普通技术人员通常所理解的相同含义。本公开中的任何内容均不应被解释为承认本公开中描述的实施例由于在前发明而无权把本公开的日期提前。如本文件中所使用，术语“包括”意指“包括但不限于”。
46.定义
47.出于本公开的目的，术语“实时”用于指代事件发生或可操作系统接收到输入时即时执行的计算或操作。然而，术语“实时”的使用并不旨在排除在输入和响应之间引起某些延迟的操作，只要延迟是机器的性能特性引起的意外结果即可。
48.尽管本公开中的许多内容涉及按特定职衔或角色的外科医生或其他医疗专业人员，但本公开中的任何内容都不旨在限于特定的职衔或职能。外科医生或医疗专业人员可以包括任何医生、护士、医疗专业人员或技师。这些术语或职衔中的任何一个都可以与本文公开的系统的用户互换使用，除非另有明确规定。例如，在一些实施例中，对外科医生的提及也可以适用于技师或护士。
49.本文所公开的系统、方法和装置特别好地适合于利用手术导航系统(例如手术导航系统)的手术程序。navio是宾夕法尼亚州匹兹堡的blue belt technologies公司的注册商标，该公司是田纳西州孟菲斯的smith&nephew公司的子公司。
50.cass生态系统概述
51.图1提供了根据一些实施例的示例计算机辅助手术系统(cass)100的图示。如以下各节中进一步详细所述，cass使用计算机，机器人和成像技术来帮助外科医生执行骨科手术程序，例如全膝关节置换术(tka)或全髋关节置换术(tha)。例如，手术导航系统可以帮助外科医生以高精度定位患者的解剖结构、引导手术器械以及植入医疗装置。诸如cass 100的手术导航系统经常采用各种形式的计算技术来执行各种各样的标准和微创手术程序和技术。而且，这些系统允许外科医生更准确地计划、跟踪和导航相对于患者身体的器械和植
入物的位置，以及进行术前和术中身体成像。
52.执行器平台105在手术期间相对于患者定位手术工具。执行器平台105的确切部件将根据所采用的实施例而变化。例如，对于膝手术，执行器平台105可以包括在其使用期间保持手术工具或器械的末端执行器105b。末端执行器105b可以是外科医生使用的手持式装置或器械(例如手持件或切割引导件或夹具)，或者替代地，末端执行器105b可以包括由机器人臂105a保持或定位的装置或器械。尽管在图1中示出了一个机器人臂105a，但在一些实施例中，可以有多个装置。例如，在手术台t的每一侧可以有一个机器人臂105a，或者在手术台t的一侧可以有两个装置。机器人臂105a可以直接安装到手术台t，在手术台t的旁边位于地板平台(未示出)上，安装在落地杆上，或安装在手术室的墙壁或天花板上。地板平台可以是固定的或可移动的。在一个特定实施例中，机器人臂105a安装在位于患者的腿或脚之间的落地杆上。在一些实施例中，末端执行器105b可以包括缝合线保持器或吻合器以帮助闭合伤口。此外，在两个机器人臂105a的情况下，手术计算机150可以驱动机器人臂105a一起工作以在闭合时缝合伤口。替代地，手术计算机150可以驱动一个或多个机器人臂105a以在闭合时缝合伤口。
53.执行器平台105可以包括用于在手术期间定位患者的肢体的肢体定位器105c。肢体定位器105c的一个示例是smith and nephew spider2系统。肢体定位器105c可以由外科医生手动操作，或者替代地，基于从手术计算机150(以下描述)接收到的指令来改变肢体位置。尽管在图1中示出了一个肢体定位器105c，但在一些实施例中可以有多个装置。作为示例，在手术台t的每一侧可以有一个肢体定位器105c，或者在手术台t的一侧可以有两个装置。肢体定位器105c可以直接安装到手术台t，在手术台t的旁边位于地板平台(未示出)上，安装在杆上，或安装在手术室的墙壁或天花板上。在一些实施例中，肢体定位器105c可以以非常规方式使用，例如牵开器或特定的骨保持器。作为示例，肢体定位器105c可以包括脚踝靴、软组织夹、骨夹或软组织牵开器匙，例如钩形、弯曲或成角的刀片。在一些实施例中，肢体定位器105c可以包括缝线保持器以辅助闭合伤口。
54.执行器平台105可以包括工具，如螺丝刀，指示轴线或平面的光或激光，水准仪，销驱动器，销拔出器，平面检查器，指示器，指状件，或它们的某种组合。
55.切除设备110(图1中未示出)使用例如机械、超声或激光技术执行骨或组织切除。切除设备110的示例包括钻孔装置、去毛刺装置、振荡锯切装置、振动冲击装置、扩孔器、超声骨切割装置、射频消融装置、往复运动装置(例如锉刀或拉刀)，以及激光消融系统。在一些实施例中，切除设备110在手术期间由外科医生保持和操作。在其他实施例中，执行器平台105可以用于在使用期间保持切除设备110。
56.执行器平台105还可以包括切割引导件或夹具105d，其用于引导在手术期间用于切除组织的锯或钻。这样的切割引导件105d可以一体地形成为执行器平台105或机器人臂105a的一部分，或者切割引导件可以是可以配合地和/或可移除地附接到执行器平台105或机器人臂105a的独立结构。可以由cass 100控制执行器平台105或机器人臂105a，以根据术前或术中制定的手术计划将切割引导件或夹具105d定位在患者的解剖结构附近，使得切割引导件或夹具将根据手术计划产生精确的骨切割。
57.跟踪系统115使用一个或多个传感器来收集定位患者的解剖结构和手术器械的实时位置数据。例如，对于tka程序，跟踪系统115可以在程序期间提供末端执行器105b相对于
患者解剖结构的位置和取向。除了位置数据之外，来自跟踪系统115的数据还可以用于推断解剖结构/器械的速度/加速度，其可以用于工具控制。在一些实施例中，跟踪系统115可以使用附接到末端执行器105b的跟踪器阵列来确定末端执行器的位置和取向。可以基于跟踪系统115的位置和取向以及跟踪系统和末端执行器105b之间的三维空间中的已知关系来推断末端执行器105b的位置。在本发明的各种实施例中可以使用各种类型的跟踪系统，包括但不限于红外(ir)跟踪系统、电磁(em)跟踪系统、基于视频或图像的跟踪系统以及超声配准和跟踪系统。使用由光学跟踪系统115提供的数据，手术计算机150可以检测对象并防止碰撞。例如，手术计算机150可以防止机器人臂105a和/或末端执行器105b与软组织碰撞。
58.任何合适的跟踪系统都可以用于跟踪手术室中的手术对象和患者解剖结构。例如，可以在阵列中使用红外和可见光摄像头的组合。各种照明源(例如ir led光源)可以照亮场景，从而可以进行三维成像，如在下文更详细地描述和图示的。在一些实施例中，这可以包括单视，立体，三视，四视等成像。除了在一些实施例中固定到推车的摄像头阵列之外，还可以在整个手术室中放置附加摄像头。例如，操作者/外科医生穿戴的手持式工具或头戴件可以包括将图像传回(例如，手术计算机150的)中央处理器以将那些图像与摄像头阵列获取的图像相关的成像能力。这可以为使用多个视角进行建模的环境提供更鲁棒的图像。此外，一些成像装置可以在场景上具有合适的分辨率或具有合适的视角以拾取存储在快速响应(qr)代码或条形码中的信息。这有助于识别未用系统手动配准的特定对象。在一些实施例中，摄像头可以安装在机器人臂105a上。
59.如本文所论述的，尽管大多数跟踪和/或导航技术利用基于图像的跟踪系统(例如，ir跟踪系统、基于视频或图像的跟踪系统等等)。然而，基于电磁(em)的跟踪系统由于各种原因变得越来越常见。例如，标准光学跟踪器的植入需要组织切除(例如，向下到皮质)以及后续钻孔和驱动皮质销。另外，由于光学跟踪器需要与跟踪系统的直达视线，因此此类跟踪器的放置可能需要远离手术部位以确保它们不限制外科医生或医疗专业人员的移动。
60.通常，基于em的跟踪装置包括一个或多个线圈和参考场发生器。一个或多个线圈可(例如，经由有线或无线电源)通电。一旦通电，线圈就产生可(例如，由参考场发生器或附加装置)以允许确定一个或多个线圈的位置和取向的方式检测和测量的电磁场。如所属领域的普通技术人员应理解的，例如图2中所示的单个线圈限于检测五(5)个总自由度(dof)。例如，传感器200能够跟踪/确定x、y或z方向上的移动，以及围绕y轴202或z轴201的旋转。然而，由于线圈的电磁特性，不可能正确地跟踪围绕x轴线的旋转运动。
61.因此，在大多数电磁跟踪应用中，诸如图3a中所示的三线圈系统用于实现在可使刚性主体在三维空间中移动的所有六个自由度中的跟踪(即，前/后310、上/下320、左/右330、滚动340、俯仰350和偏航360)。然而，包括两个额外线圈及其定位的90
°
偏移角可能要求跟踪装置大得多。替代地，如本领域的技术人员所知，少于三个完整的线圈可用于跟踪所有6dof。在一些基于em的跟踪装置中，两个线圈可以彼此固定，例如图3b中所示的。由于两个线圈301b、302b彼此刚性地固定，不完全平行，并且具有相对于彼此已知的位置，因此可以使用此布置确定第六自由度303b。
62.尽管使用两个固定线圈(例如，301b、302b)允许在6dof中使用基于em的跟踪，但由于附加线圈，传感器装置的直径比单个线圈大得多。因此，在手术环境中使用基于em的跟踪系统的实际应用可能需要组织切除并对患者骨的一部分进行钻孔以允许插入em跟踪器。替
代地，在一些实施例中，可以仅使用销(例如，不需要钻孔或切除大量骨)将单个线圈或5dof em跟踪装置植入/插入患者骨中。
63.因此，如本文所述，需要一种解决方案，该解决方案可以将em跟踪系统的使用限于小到足以使用小直径针或销(即，不需要在骨中制造新切口或大直径开口)插入/嵌入的装置。因此，在一些实施例中，未附接到第一传感器且因此具有小直径的第二5dof传感器可用于跟踪所有6dof。现在参考图3c，在一些实施例中，两个5dof em传感器(例如，301c和302c)可以在不同位置处以不同角取向(例如，角303c是非零的)插入到患者中(例如，患者骨中)。
64.现在参考图4，示出了使用在大多数or中典型的标准中空针405将第一5dof em传感器401和第二5dof em传感器402插入到患者骨403中的示例实施例。在另一实施例中，第一传感器401和第二传感器402可具有“？”的角度偏移404。在一些实施例中，偏移角“？”404可能需要大于预定值(例如，0.50
°
、0.75
°
等的最小角)。在一些实施例中，此最小值可以在手术计划期间由cass确定并提供给外科医生或医学专业人员。在一些实施例中，最小值可以基于一个或多个因素，例如，跟踪系统的定向准确度、第一em传感器与第二em传感器之间的距离。场发生器的位置、场检测器的位置、em传感器的类型、em传感器的质量、患者解剖结构等等。
65.因此，如本文所论述的，在一些实施例中，销/针(例如，套管安装针等)可用于插入一个或多个em传感器。通常，销/针将是一次性部件，而传感器本身可以是可重复使用的。然而，应理解，这仅是一个可能系统，并且可使用销/针和/或em传感器是独立的一次性使用的或可重复使用的各种其它系统。在另一实施例中，em传感器可(例如，使用鲁尔锁配件等)固定到安装针/销，这可以允许快速组装和拆卸。在另外的实施例中，em传感器可以利用允许传感器最小地侵入放置的替代套筒和/或锚定系统。
66.在另一实施例中，上述系统可以允许多传感器导航系统，其可以检测和校正困扰电磁跟踪系统的场畸变。应理解，场畸变可以由参考场内的任何铁磁性材料的移动引起。因此，如本领域的普通技术人员所知，典型or具有大量可造成干扰的装置(例如，手术台、lcd显示器、照明设备、成像系统、手术仪器等)。此外，众所周知，场畸变难以检测。使用多个em传感器使得系统能够准确地检测场畸变，和/或警示用户当前位置测量值可能不准确。因为传感器(例如，经由销/针)牢固地固定到骨解剖结构，所以传感器位置(x、y、z)的相对测量可用于检测场畸变。作为非限制性示例，在一些实施例中，在em传感器固定到骨之后，两个传感器之间的相对距离是已知的并且应当保持恒定。因此，此距离的任何改变都可以指示存在场畸变。
67.在一些实施例中，外科医生可以在术前或术中用系统手动配准手术环境中的特定对象。例如，通过与用户界面交互，外科医生可以识别工具或骨结构的起始位置。通过跟踪与该工具或骨结构相关的基准标记，或者通过使用其他常规图像跟踪模态，处理器可以在工具或骨在三维模型中移动通过环境时对其进行跟踪。在其它示例中，2d至3d方法可以用作预对准或规划步骤，其提供指南和计划或定位可用于查看机器人系统的骨建模部分的原始数据。
68.在一些实施例中，诸如在手术室中识别个人、工具或骨的基准标记的某些标记物可以包括可以由与光学跟踪系统115关联的摄像头或摄像头阵列拾取的被动或主动标识。例如，红外led可以闪烁图案，所述图案将唯一的标识传达给该图案的来源，从而提供动态
识别标记。类似地，一维或二维光学代码(条形码、qr代码等)可以固定到手术室的对象以提供基于图像分析可以发生的被动识别。如果这些代码放置在对象上，则它们也可以用于通过将标识的位置与图像中的对象的范围进行比较来确定对象的取向。例如，可以将qr码放置在工具托盘的角部中，从而允许跟踪该托盘的方向和标识。其他跟踪方式将在全文中进行说明。例如，在一些实施例中，外科医生和其他人员可以穿戴增强现实头戴件以提供附加的摄像头角度和跟踪能力。
69.除了光学跟踪外，还可以通过配准对象的物理性质并将其与可以跟踪的对象(例如固定到工具或骨的基准标记)关联来跟踪对象的某些特征。例如，外科医生可以执行手动配准过程，由此被跟踪工具和被跟踪骨可以相对于彼此被操纵。通过将工具的尖端撞击骨的表面，可以为该骨标绘三维表面，所述三维表面与相对于该基准标记的参考系的位置和取向关联。通过光学跟踪与该骨关联的基准标记的位置和取向(姿态)，可以通过外推法在环境中跟踪该表面的模型。
70.将cass 100配准到患者的相关解剖结构的配准过程还可以涉及使用解剖学标志，例如骨或软骨上的标志。例如，cass 100可以包括相关骨或关节的3d模型，并且外科医生可以使用连接到cass的探针在术中收集有关患者实际骨上的骨标志的位置的数据。骨标志可以包括例如内踝和外踝，股骨近端和胫骨远端的端部，以及髋关节的中心。cass 100可以将外科医生用探针收集的骨标志的位置数据与3d模型中相同标志的位置数据进行比较和配准。替代地，cass 100可以通过使用由外科医生使用cass探针或其他手段收集的骨标志和骨表面的位置数据来构建没有术前图像数据的骨或关节的3d模型。配准过程还可以包括确定关节的各个轴线。例如，对于tka，外科医生可以使用cass 100来确定股骨和胫骨的解剖和机械轴。外科医生和cass 100可以通过在螺旋方向上移动患者的腿部(即，环转)来识别髋关节的中心，以便cass可以确定髋关节中心的位置。
71.组织导航系统(图1中未示出)为外科医生提供手术区域周围的患者的骨、软骨、肌肉、神经和/或血管组织的术中实时可视化。可以用于组织导航的系统的示例包括荧光成像系统和超声系统。
72.显示器125提供图形用户界面(gui)，其显示由组织导航系统收集的图像以及与手术有关的其他信息。例如，在一个实施例中，显示器125覆盖术前或术中收集的从各种模态(例如，ct、mri、x射线、荧光、超声等)收集的图像信息以为外科医生提供患者的解剖结构的各种视图以及实时状况。显示器125可以包括例如一个或多个计算机监视器。作为显示器125的替代或补充，手术人员中的一个或多个人员可以穿戴增强现实(ar)头戴式装置(hmd)。例如，在图1中，外科医生111穿戴ar hmd 155，其可以例如将术前图像数据覆盖在患者上或提供手术计划建议。在以下各节中详细描述了ar hmd 155在手术程序中的各种示例性使用。
73.手术计算机150向cass 100的各种部件提供控制指令，从那些部件收集数据，并为手术期间所需的各种数据提供一般处理。在一些实施例中，手术计算机150是通用计算机。在其他实施例中，手术计算机150可以是使用多个中央处理单元(cpu)或图形处理单元(gpu)来执行处理的并行计算平台。在一些实施例中，手术计算机150通过一个或多个计算机网络(例如，互联网)连接到远程服务器。远程服务器可以用于例如数据的存储或计算密集型处理任务的执行。
74.可以使用本领域中公知的各种技术来将手术计算机150连接到cass 100的其他部件。而且，计算机可以使用多种技术来连接到手术计算机150。例如，末端执行器105b可以通过有线(即，串行)连接而连接到手术计算机150。跟踪系统115、组织导航系统和显示器125可以类似地使用有线连接来连接到手术计算机150。替代地，跟踪系统115、组织导航系统和显示器125可以使用无线技术连接到手术计算机150，所述无线技术例如但不限于wi-fi、蓝牙、近场通信(nfc)或zigbee。
75.动力冲击和髋臼扩孔器装置
76.以上关于图1描述的cass设计的灵活性的一部分在于可以根据需要向cass 100添加额外的或替代的装置以支持特定的手术程序。例如，在髋手术的情况下，cass 100可以包括动力冲击装置。冲击装置设计成重复施加外科医生可以用来执行诸如植入物对准的活动的冲击力。例如，在全髋关节置换术(tha)中，外科医生通常会使用冲击装置将假体髋臼杯插入到植入宿主的髋臼中。尽管冲击装置本质上可以是手动的(例如，由外科医生用槌敲击冲击器来操作)，但是动力冲击装置通常在手术环境中更容易且更快速地使用。动力冲击装置可以例如使用附接到该装置的电池来供电。各种附接件可以连接至动力冲击装置以允许在手术期间根据需要以各种方式来引导冲击力。同样，在髋手术的情况下，cass 100可以包括动力的、机器人控制的末端执行器，以使髋臼扩孔以容纳髋臼杯植入物。
77.在机器人辅助tha中，可以使用ct或其他图像数据、解剖标志的识别、附着到患者骨的跟踪器阵列以及一个或多个摄像头将患者的解剖结构配准到cass 100。可以使用夹具和/或骨针将跟踪器阵列安装在髂嵴上，并且可以在外部通过皮肤或在内部(后外侧或前外侧)通过为了执行tha而制造的切口来安装这样的跟踪器阵列。对于tha，cass 100可以利用插入股骨近端的一个或多个股骨皮质螺钉作为检查点以帮助配准过程。cass 100还可以使用插入骨盆中的一个或多个检查点螺钉作为附加检查点以帮助配准过程。股骨跟踪器阵列可以固定或安装在股骨皮质螺钉中。cass 100可以采用以下步骤，其中使用外科医生精确地放置在显示器125上为外科医生所识别的股骨近端和骨盆的关键区域上的探针进行验证。跟踪器可以位于机器人臂105a或末端执行器105b上以将臂和/或末端执行器配准到cass 100。验证步骤还可以利用股骨近端检查点和远端检查点。cass 100可以利用颜色提示或其他提示来通知外科医生有关骨和机器人臂105a或末端执行器105b的配准过程已在一定程度的精度上(例如，在1mm内)被验证。
78.对于tha，cass 100可以包括使用股骨阵列的拉刀跟踪选择，以允许外科医生在术中获取拉刀的位置和取向并计算患者的髋长度和偏移值。根据提供的有关患者髋关节的信息以及在完成拉刀跟踪后计划的植入物位置和取向的信息，外科医生可以对手术计划进行修改或调整。
79.对于机器人辅助tha，cass 100可以包括连接或附接到机器人臂105a或末端执行器105b的一个或多个动力扩孔器，其根据手术计划准备骨盆骨以接收髋臼植入物。机器人臂105a和/或末端执行器105b可以通知外科医生和/或控制扩孔器的动力，以确保根据手术计划切除(扩孔)髋臼。例如，如果外科医生根据手术计划试图在要切除的骨的边界之外切除骨，则cass 100可以切断扩孔器的电源或指示外科医生切断扩孔器的电源。2d至3d建模方法可以提供关于骨体积预测的更大置信度，例如对于探针不可接近的骨的区域。cass 100可以为外科医生提供选择以关闭或脱离扩孔器的机器人控制。与使用不同颜色的手术
计划相比，显示器125可以示出正被切除(扩孔)的骨的进度。外科医生可以查看正被切除(扩孔)的骨的显示以根据手术计划引导扩孔器完成扩孔。cass 100可以向外科医生提供视觉或听觉提示以警告外科医生正在进行不符合手术计划的切除。
80.在扩孔之后，cass 100可以采用附接到或连接到机器人臂105a或末端执行器105b的手动或动力冲击器以将试验植入物和最终植入物冲击到髋臼中。机器人臂105a和/或末端执行器105b可以用于引导冲击器以根据手术计划将试验植入物和最终植入物冲击到髋臼中。cass 100可以使试验植入物和最终植入物相对于骨的位置和取向被显示以告知外科医生如何将试验植入物和最终植入物的取向和位置与手术计划进行比较，显示器125可以在外科医生操纵腿部和髋部时显示植入物的位置和取向。如果外科医生对初始植入物位置和取向不满意，则通过准备新的手术计划，cass 100可以为外科医生提供重新计划以及重做扩孔和植入物冲击的选择。
81.术前，cass 100可以基于髋关节的三维模型和患者特定的其他信息(例如腿骨的机械和解剖轴，上髁轴，股骨颈轴，股骨和髋的尺寸(例如，长度)，髋关节的中线轴，髋关节的asis轴，以及诸如小转子标志，远侧标志和髋关节旋转中心的解剖学标志的位置)来制定拟议的手术计划。cass制定的手术计划可以根据髋关节的三维模型和患者特定的其他信息提供建议的最佳植入物尺寸以及植入物的位置和取向。cass制定的手术计划可以包括有关偏移值、倾斜度和前倾值、旋转中心、杯尺寸、中度值、上下配合度、股骨柄尺寸和长度的建议细节。
82.对于tha，可以在术前和术中查看cass制定的手术计划，而外科医生可以在术前或术中修改cass制定的手术计划。cass制定的手术计划可以显示计划的髋关节切除，并根据计划的切除将计划的植入物叠加到髋关节上。cass 100可以为外科医生提供不同手术流程的选择，所述选择将根据外科医生的喜好显示给外科医生。例如，外科医生可以基于被检查和获取的解剖标志的数量和类型和/或在配准过程中使用的跟踪器阵列的位置和数量，从不同的工作流程进行选择。
83.根据一些实施例，与cass 100一起使用的动力冲击装置可以以各种不同的设置来操作。在一些实施例中，外科医生通过手动开关或动力冲击装置上的其他物理机构来调整设置。在其他实施例中，可以使用数字接口，所述数字接口允许例如经由动力冲击装置上的触摸屏进行设置输入。这样的数字接口可以允许可用设置基于例如连接到电力附接装置的附接件的类型而变化。在一些实施例中，可以通过与cass 100内的机器人或其他计算机系统通信来改变设置，而不是调整动力冲击装置本身上的设置。可以使用例如动力冲击装置上的蓝牙或wi-fi联网模块来建立这样的连接。在另一实施例中，冲击装置和端部件可以包含允许冲击装置知道什么端部件(杯冲击器，拉刀手柄等)被附接的特征而外科医生不需要采取任何动作，并相应地调整设置。这可以例如通过qr码、条形码、rfid标签或其他方法来实现。
84.可以使用的设置的示例包括杯冲击设置(例如，单向，指定频率范围，指定力和/或能量范围)；拉刀冲击设置(例如，双向/在指定频率范围内振荡，指定力和/或能量范围)；股骨头冲击设置(例如，以指定力或能量进行单向/单次打击)；以及干冲击设置(例如，在指定频率下以指定力或能量进行的单向)。另外，在一些实施例中，动力冲击装置包括与髋臼内衬冲击有关的设置(例如，以指定力或能量进行的单向/单次打击)。对于每种类型的内衬
(例如，聚合、陶瓷、黑晶(oxinium)或其他材料)，可能会有多种设置。此外，动力冲击装置可以基于术前测试/成像/知识和/或外科医生的术中评估来提供针对不同骨质量的设置。在一些实施例中，动力冲击装置可以具有双重功能。例如，动力冲击装置不仅可以提供往复运动以提供冲击力，而且可以为拉刀或锉刀提供往复运动。
85.在一些实施例中，动力冲击装置包括反馈传感器，该反馈传感器在器械使用期间收集数据，并将数据发送到计算装置，例如装置内的控制器或手术计算机150。然后，此计算装置可以例如通过不透射线的纹身记录数据以供稍后分析，所述纹身提供术前、术中和/或术后配准能力。可以收集的数据的示例包括但不限于声波、每种器械的预定共振频率、来自患者骨的反作用力或回弹能量、装置相对于配准的骨解剖结构的成像(例如，荧光、ct、超声、mri等)的位置，和/或骨上的外部应变计。
86.一旦收集到数据，计算装置就可以实时或接近实时地执行一种或多种算法以帮助外科医生执行手术程序。例如，在一些实施例中，计算装置使用所收集的数据来导出诸如正确的最终拉刀尺寸(股骨)的信息；当干完全就位(股骨侧)时；或当杯对于tha就位(深度和/或取向)时。一旦知道该信息，其可以显示以供外科医生审查，或者其可以用于激活触觉或其他反馈机构以指导手术程序。
87.此外，从前述算法导出的数据可以用于驱动装置的操作。例如，在用动力冲击装置插入假体髋臼杯期间，装置可以自动伸出冲击头(例如，末端执行器)，将植入物移动到适当的位置，或者一旦植入物完全就位就关闭装置的电源。在一个实施例中，导出的信息可以用于自动调整骨质量的设置，其中动力冲击装置应使用较少的动力来减轻股骨/髋臼/骨盆骨折或周围组织的损伤。
88.机器人臂
89.在一些实施例中，cass 100包括机器人臂105a，所述机器人臂用作稳定和保持手术程序期间使用的各种器械的接口。例如，在髋手术的情况下，这些器械可以包括但不限于牵开器、矢状或往复锯、扩孔器手柄、杯冲击器、拉刀手柄和干插入器。机器人臂105a可以具有多个自由度(类似spider装置)，并且具有锁定到位的能力(例如，通过按下按钮、语音激活、外科医生从机器人臂移开手或其他方法)。
90.在一些实施例中，机器人臂105a的移动可以通过使用内置在机器人臂系统中的控制面板来实现。例如，显示屏可以包括一个或多个输入源，例如指导机器人臂105a移动的物理按钮或具有一个或多个图标的用户界面。外科医生或其他保健专业人员可以在执行手术程序期间与一个或多个输入源接合以定位机器人臂105a。
91.附接或集成到机器人臂105a中的工具或末端执行器105b可以包括但不限于去毛刺装置、手术刀、切割装置、牵开器、关节张紧装置、任何类型的维度测量装置等。在一个特定示例中，机器人臂105a可以定位成获得相对准确的骨尺寸或形状测量值。在另外的示例中，机器人臂105a可以具有钳口或另一装置，该钳口或另一装置打开到已知植入物尺寸的宽度，使得外科医生可以关于植入物的正确尺寸设定或放置做出快速决策。在使用末端执行器105b的实施例中，末端执行器可以定位在机器人臂105a的端部处，使得在机器人臂系统内执行任何马达控制操作。在使用工具的实施例中，工具可以固定在机器人臂105a的远端处，但是马达控制操作可以位于工具本身内。
92.机器人臂105a可在内部被机动化以稳定机器人臂，从而防止其跌落并撞击患者、
手术台、手术人员等，并允许外科医生移动机器人臂而不必完全支撑其重量。在外科医生移动机器人臂105a的同时，机器人臂可提供一些阻力以防止机器人臂移动太快或一次激活太多自由度。机器人臂105a的位置和锁定状态可以例如通过控制器或手术计算机150来跟踪。
93.在一些实施例中，机器人臂105a可以用手(例如，由外科医生)或用内部马达移动到其理想位置和取向以进行正在执行的任务。在一些实施例中，机器人臂105a可以能够以“自由”模式操作，允许外科医生将臂定位在期望的位置而不受限制。在自由模式下，如上所述，仍可以跟踪机器人臂105a的位置和取向。在一个实施例中，在由手术计算机150跟踪的手术计划的指定部分期间，当来自用户(例如，外科医生)的输入时，可以选择性地释放一定的自由度。其中机器人臂105a通过液压或马达在内部提供动力或通过类似的手段提供对外部手动运动的阻力的设计可以被描述为动力机器人臂，而在没有动力反馈的情况下被手动操纵但是可以被手动或自动锁定在适当位置的臂可以被描述为被动机器人臂。
94.机器人臂105a或末端执行器105b可以包括触发器或其他装置以控制锯或钻的动力。外科医生对触发器或其他装置的接合可以使机器人臂105a或末端执行器105b从机动对准模式过渡到锯或钻被接合并通电的模式。另外，cass 100可以包括脚踏板(未示出)、语音激活控制系统或ar系统，所述脚踏板、语音激活控制系统或ar系统在被激活时使系统执行某些功能。在一个示例中，用户查看膝盖，将其与模板对准，然后通知ar系统当前视图表示已对准的骨。该参考视图通知初始机器人臂105a位置，该位置接着可由操作员进一步微调。更具体地，所述系统使用该输入来定位机器人臂105a以三角测量大致起始姿态。在无源臂的情况下，当关节中的任一个达到其期望位置时，磁性离合器可以锁定。在该示例中，操作员仅移动臂，直到所有关节锁定到位。用户随后可(在有或没有ar协助的情况下)自由进行细微调整。
95.在另一示例中，外科医生可以激活脚踏板以指示cass 100将机器人臂105a或末端执行器105b置于自动模式，所述自动模式将机器人臂或末端执行器相对于患者的解剖结构置于适当的位置，以便执行必要的切除。cass 100还可以将机器人臂105a或末端执行器105b置于协作模式，所述协作模式允许外科医生手动操纵机器人臂或末端执行器并将其定位在特定位置。协作模式可以配置成允许外科医生在限制其他方向上的运动的同时向内侧或外侧移动机器人臂105a或末端执行器105b。如所讨论的，机器人臂105a或末端执行器105b可以包括切割装置(锯、钻和磨刀)或将引导切割装置的切割引导件或夹具105d。在其他实施例中，机器人臂105a或机器人控制的末端执行器105b的运动可以完全由cass 100控制，而无需任何外科医生或其他医疗专业人员的帮助或输入，或仅需很少的帮助或输入。在另外的其他实施例中，外科医生或其他医疗专业人员可以使用与机器人臂或机器人控制的末端执行器装置分离的控制机构，例如使用操纵杆或交互式监视器或显示控制装置，来远程控制机器人臂105a或机器人控制的末端执行器105b的运动。
96.以下示例描述了在髋手术的情况下使用机器人装置；然而，应当理解，机器人臂在涉及膝、肩等的手术程序中可能还有其他应用。在于2019年8月28日提交的、标题为“机器人辅助韧带移植物放置和张紧(robotic assisted ligament graft placement and tensioning)”的wipo公开号wo 2020/047051中描述了在形成前十字韧带(acl)移植隧道的情况下使用机器人臂的一个示例，该文献的全部内容通过引用并入本文中。
97.机器人臂105a可以用于保持牵开器。例如在一个实施例中，外科医生可以将机器
人臂105a移动到期望位置。此时，机器人臂105a可以锁定到位。在一些实施例中，机器人臂105a被提供有关于患者位置的数据，使得如果患者移动，则机器人臂可以相应地调节牵开器位置。在一些实施例中，可以使用多个机器人臂，由此允许保持多个牵开器或同时执行一个以上的动作(例如，牵开器保持和扩孔)。
98.机器人臂105a还可以用于在制造股骨颈切口时帮助稳定外科医生的手。在该应用中，对机器人臂105a的控制可以施加某些限制以防止发生软组织损伤。例如，在一个实施例中，手术计算机150在机器人臂105a操作时跟踪其位置。如果跟踪的位置接近预测到组织损伤的区域，则可以向机器人臂105a发送命令以使其停止。替代地，在由手术计算机150自动控制机器人臂105a的情况下，手术计算机可以确保不向机器人臂提供导致其进入可能发生软组织损伤的区域的任何指令。手术计算机150可以对外科医生施加某些限制以防止外科医生扩孔到髋臼内侧壁中太深或以不正确的角度或取向扩孔。
99.在一些实施例中，机器人臂105a可以用于在杯冲击期间将杯冲击器保持在期望的角度或取向。当已达到最终位置时，机器人臂105a可以防止任何进一步的就位以防止损坏骨盆。
100.外科医生可以使用机器人臂105a将拉刀手柄定位在期望位置，并允许外科医生以期望取向将拉刀冲击到股骨管中。在一些实施例中，一旦手术计算机150接收到拉刀已完全就位的反馈，机器人臂105a可以限制手柄以防止拉刀进一步前进。
101.机器人臂105a还可以用于表面重修应用。例如，机器人臂105a可以在使用传统器械的同时稳定外科医生，并提供某些约束或限制以允许适当地放置植入部件(例如，导丝放置、倒角切割器、套筒切割器、平面切割器等)。在仅使用骨钻的情况下，机器人臂105a可以使外科医生的手持件稳定并且可以对手持件施加限制以防止外科医生违反手术计划而去除非期望的骨。
102.机器人臂105a可以是被动臂。作为示例，机器人臂105a可以是可从brainlab ag获得的cirq机器人臂。cirq是德国慕尼黑olof-palme-str.981829，brainlab ag的注册商标。在一个特定实施例中，机器人臂105a是智能握持臂，如在授予krinninger等人的美国专利申请第15/525,585号，授予nowatschin等人的美国专利申请第15/561,042号，授予nowatschin等人的美国专利第15/561,048号以及授予nowatschin等人的美国专利第10,342,636号中所公开，上述每个专利的全部内容通过引用并入本文。
103.手术程序数据的生成和收集
104.医疗专业人员为治疗临床状况而提供的各种服务统称为“护理期”。对于特定的外科手术，护理期可以包括三个阶段：术前、术中和术后。在每个阶段期间，都会收集或生成可用于分析护理期的数据，以便了解程序的各个特征并识别可用于例如在训练模型中以最少的人工干预即可做出决策的模式。在护理期收集的数据可以作为完整数据集存储在手术计算机150或手术数据服务器180处。因此，对于每个护理期，存在一个数据集，所述数据集包括关于患者术前集体收集的所有数据，由cass 100术中收集或存储的所有数据，以及由患者或由监控患者的医疗专业人员提供的任何术后数据。
105.如进一步详细解释，在护理期中收集的数据可以用于增强手术程序的执行或提供对手术程序和患者结果的整体理解。例如，在一些实施例中，在护理期中收集的数据可以用于生成手术计划。在一个实施例中，在手术期间收集数据时，在术中完善高级的术前计划。
以该方式，当通过cass 100的部件收集新数据时，可以将手术计划视为实时或近实时动态变化。在其他实施例中，可以使用术前图像或其他输入数据来术前制定在手术期间简单执行的鲁棒计划。在该情况下，由cass 100在手术期间收集的数据可用于提出建议，以确保外科医生处于术前手术计划之内。例如，如果外科医生不确定如何实现某些规定的切割或植入物对准，则可以向手术计算机150查询以得到建议。在另外的其他实施例中，可以组合术前和术中计划方案，使得可以在手术程序期间根据需要或期望动态修改完善的术前计划。在一些实施例中，患者解剖结构的基于生物力学的模型贡献模拟数据以在制定术前、术中和术后/康复程序中由cass 100考虑以优化患者的植入物性能结果。
106.除了改变手术程序本身之外，在护理期中收集的数据还可以用作其他手术辅助程序的输入。例如，在一些实施例中，可以使用护理期数据来设计植入物。在2011年8月15日提交的、标题为“用于骨科手术的参数优化的系统和方法(systems and methods for optimizing parameters for orthopaedic procedures)”的美国专利申请第13/814,531号；2012年7月20日提交的、标题为“用于优化植入物与解剖结构的配合的系统和方法(systems and methods for optimizing fit of an implant to anatomy)”的美国专利申请第14/232,958号；以及2008年9月19日提交的、标题为“用于提高性能的手术调节植入物(operatively tuning implants for increased performance)”的美国专利申请第12/234,444号中描述了用于设计、尺寸确定和配合植入物的示例数据驱动技术，上述专利的每一个的全部内容在此通过引用并入本专利申请。
107.此外，数据可用于教育、培训或研究目的。例如，使用下面在图5c中描述的基于网络的方案，其他医生或学生可以在允许他们选择性地查看从cass 100各个部件收集的数据的界面中远程地查看手术。在手术程序之后，可以使用类似的界面来“回放”手术以进行培训或其他教育目的，或找出手术中任何问题或并发症的根源。
108.术前阶段期获取的数据通常包括手术之前收集或生成的所有信息。因此，例如，可以从患者录入表或电子病历(emr)获取有关患者的信息。可以收集的患者信息的示例包括但不限于患者人口统计学、诊断、病史、病历记录、生命体征、病史信息、过敏和实验室检查结果。术前数据还可以包括与感兴趣的解剖区域有关的图像。这些图像可以例如使用磁共振成像(mri)、计算机断层摄影(ct)、x射线、超声或本领域已知的任何其他方式来获取。术前数据还可以包括从患者获取的生活质量数据。例如，在一个实施例中，术前患者使用移动应用程序(“app”)来回答关于他们当前生活质量的问卷。在一些实施例中，cass 100所使用的术前数据包括关于患者的人口统计学、人体测量学、文化或其他特定特征，其可以与活动水平和特定患者活动相符合以为患者定制手术计划。例如，某些文化或人口统计学的人可能更愿意使用每天蹲便的厕所。
109.图5a和5b提供了可在护理期的术中阶段期间获取的数据的示例。这些示例基于以上参考图1描述的cass 100的各种部件；然而，应当理解，可以基于手术期间使用的设备的类型及其使用来使用其他类型的数据。
110.图5a示出了根据一些实施例的手术计算机150提供给cass 100的其他部件的一些控制指令的示例。注意，图5a的示例假定执行器平台105的部件均由手术计算机150直接控制。在其中部件由外科医生111手动控制的实施例中，可以在显示器125或ar hmd 155上提供指令以指示外科医生111如何移动部件。
111.包括在执行器平台105中的各种部件由手术计算机150控制，所述手术计算机提供位置指令，所述位置指令指示该部件在坐标系内移动的位置。在一些实施例中，手术计算机150向执行器平台105提供指令，所述指令定义当执行器平台105的部件偏离手术计划时如何反应。这些命令在图5a中作为“触觉”命令被参考。例如，末端执行器105b可以提供力以抵抗在计划切除的区域之外的运动。执行器平台105可以使用的其他命令包括振动和音频提示。
112.在一些实施例中，机器人臂105a的末端执行器105b与切割引导件105d可操作地联接。响应于手术场景的解剖模型，机器人臂105a可以将末端执行器105b和切割引导件105d移动到适当位置以匹配根据手术计划要进行的股骨或胫骨切割的位置。这可以减少错误的可能性，从而允许视觉系统和利用该视觉系统的处理器实施手术计划，以将切割引导件105d放置在相对于胫骨或股骨的精确位置和取向以将切割引导件的切槽与要根据手术计划执行的切割对准。然后，外科医生可以使用任何合适的工具，例如振动或旋转锯或钻，以完美的放置和取向来执行切割(或钻孔)，原因是该工具在机械上受到切割引导件105d的特征限制。在一些实施例中，切割引导件105d可以包括一个或多个销孔，在使用切割引导件执行患者组织的切除之前，外科医生使用所述钉孔来将切割引导件钻进和拧紧或钉扎到适当的位置。这可以释放机器人臂105a或确保切割引导件105d完全固定而不相对于要切除的骨移动。例如，该程序可以用于在全膝关节置换术期间制造股骨的第一远侧切口。在一些实施例中，在关节置换术是髋关节置换术的情况下，切割引导件105d可以固定到股骨头或髋臼以用于相应的髋关节置换术切除。应当理解，利用精确切口的任何关节置换术都可以以该方式使用机器人臂105a和/或切割引导件105d。
113.切除设备110提供有多种命令来执行骨或组织操作。与执行器平台105一样，位置信息可以被提供给切除设备110以指定在执行切除时应将其定位在何处。提供给切除设备110的其他命令可以取决于切除设备的类型。例如，对于机械或超声切除工具，命令可以指定工具的速度和频率。对于射频消融(rfa)和其他激光消融工具，这些命令可以指定强度和脉冲持续时间。
114.cass 100的一些部件不需要由手术计算机150直接控制；而是，手术计算机150仅需要激活部件，所述部件然后在本地执行软件以指定收集数据并将其提供给手术计算机150的方式。在图5a的示例中，有两个部件以该方式操作：跟踪系统115和组织导航系统120。
115.手术计算机150向显示器125提供外科医生111在手术期间所需的任何可视化。对于监视器，手术计算机150可以使用本领域已知的技术来提供用于显示图像、gui等的指令。显示器125可以包括手术计划的工作流程的各个部分。例如，在配准过程期间，显示器125可以显示术前构建的3d骨模型，并在外科医生使用探针收集患者身上的解剖学标志的位置时示出探针的位置。显示器125可以包括关于手术目标区域的信息。例如，结合tka，显示器125可以示出股骨和胫骨的机械和解剖轴。显示器125可以基于手术计划示出膝关节的内翻和外翻角，并且cass 100可以示出如果对手术计划进行预期的修正将如何影响这样的角。因此，显示器125是交互式接口，其可以动态地更新和显示对手术计划的改变将如何影响程序以及安装在骨上的植入物的最终位置和取向。
116.随着工作流程进行到骨切割或切除的准备，显示器125可以在执行任何切割之前示出计划的或推荐的骨切割。外科医生111可以操纵图像显示以提供目标区域的不同解剖
视角，并且可以具有基于患者的术中评估来改变或修正计划的骨切割的选择。显示器125可以示出如果执行计划的骨切割将如何将选定植入物安装在骨上。如果外科医生111选择改变先前计划的骨切割，则显示器125可以示出经修正的骨切割将如何改变安装在骨上时的植入物的位置和取向。
117.显示器125可以向外科医生111提供关于患者，计划的外科手术和植入物的各种数据和信息。可以显示各种患者特定的信息，包括有关患者健康的实时数据，例如心率、血压等。显示器125还可以包括关于手术目标区域(包括标志的位置)的解剖结构的信息、解剖结构的当前状态(例如，是否进行了任何切除，计划和执行的骨切割的深度和角度)以及随着手术计划的进展解剖结构的未来状态。显示器125还可以提供或示出关于手术目标区域的附加信息。对于tka，显示器125可以提供关于股骨和胫骨之间的间隙(例如，间隙平衡)以及如果执行计划的手术计划将如何改变这样的间隙的信息。对于tka，显示器125可以提供关于膝关节的附加相关信息，例如关于关节的张力(例如，韧带松弛)的数据以及关于关节的旋转和对准的信息。显示器125可以示出当膝关节屈曲时计划的植入物的定位和位置将如何影响患者。显示器125可以示出不同植入物的使用或不同尺寸的相同植入物的使用将如何影响手术计划，并预览这样的植入物将如何定位在骨上。cass 100可以在tka或tha中为每个计划的骨切除术提供这样的信息。在tka中，cass 100可以为一个或多个计划的骨切除术提供机器人控制。例如，cass 100只能为初始股骨远端切割提供机器人控制，并且外科医生111可以使用常规手段(例如4合1切割引导件或夹具105d)手动执行其他切除(前、后和倒角切割)。
118.显示器125可以采用不同的颜色来通知外科医生手术计划的状态。例如，可以以第一颜色显示未切除的骨，可以以第二颜色显示切除的骨，并且可以以第三颜色显示计划的切除。植入物可以叠加在显示器125中的骨上，并且植入物颜色可以改变或对应于不同类型或尺寸的植入物。
119.显示器125上示出的信息和选项可以根据所执行的手术程序的类型而变化。此外，外科医生111可以请求或选择与他或她的手术计划偏好匹配或一致的特定手术流程显示。例如，对于通常在tka中在股骨切割之前执行胫骨切割的外科医生111，显示器125和关联的工作流程可以适于考虑该偏好。外科医生111还可以预先选择从标准手术工作流程显示中包括或删除某些步骤。例如，如果外科医生111使用切除测量来最终确定植入计划，但在最终确定植入计划时不分析韧带间隙平衡，则可以将手术流程显示组织为模块，并且外科医生可以根据外科医生的喜好或特定手术的情况选择要显示的模块和提供模块的顺序。例如，涉及韧带和间隙平衡的模块可以包括切除前和切除后的韧带/间隙平衡，并且外科医生111可以根据在进行骨切除术之前或之后(或之前和之后)是否执行这种韧带和间隙平衡来选择将哪些模块包括在其默认手术计划工作流程中。
120.对于更专业的显示设备，例如ar hmd，手术计算机150可以使用设备支持的数据格式来提供图像、文本等。例如，如果显示器125是诸如microsoft hololens
tm
或magic leap one
tm
的全息设备，则手术计算机150可以使用hololens应用程序接口(api)来发送命令，所述命令指定显示在外科医生111的视野中的全息图的位置和内容。
121.在一些实施例中，可以将一个或多个手术计划模型结合到cass 100中，并在提供给外科医生111的手术计划的制定中使用。术语“手术计划模型”是指模拟各种情况下的解
剖结构的生物力学性能以确定执行切割和其他手术活动的最佳方式的软件。例如，对于膝关节置换手术，手术计划模型可以测量功能活动的参数，例如深屈膝、步态等，并选择膝上的切割位置以优化植入物放置。手术计划模型的一个示例是来自smith and nephew公司的lifemod
tm
仿真软件。在一些实施例中，手术计算机150包括允许在手术期间完全执行手术计划模型的计算架构(例如，基于gpu的并行处理环境)。在其他实施例中，手术计算机150可以通过网络连接到允许这种执行的远程计算机，例如手术数据服务器180(参见图5c)。作为对手术计划模型的完全执行的替代，在一些实施例中，导出一组传递函数，其将由模型获取的数学运算简化为一个或多个预测方程。然后，不同于在手术期间执行完全模拟，而是使用预测方程。在于2019年8月19日提交的、标题为“患者特定手术方法和系统(patient specific surgical method and system)”的wipo公开号2020/037308中描述了关于传递函数的使用的更多细节，该文献的全部内容通过引用并入本文。
122.图5b示出了可以从cass 100的各个部件提供给手术计算机150的一些类型的数据的示例。在一些实施例中，部件可以在手术期间实时或接近实时地将数据流传输到手术计算机150。在其他实施例中，部件可以使数据排队并且以设定的间隔(例如，每秒)将其发送到手术计算机150。可以使用本领域中已知的任何格式来传送数据。因此，在一些实施例中，所有部件均以通用格式将数据传输至手术计算机150。在其他实施例中，每个部件可以使用不同的数据格式，并且手术计算机150配置有能够转换数据的一个或多个软件应用。
123.通常，手术计算机150可以用作收集cass数据的中心点。数据的确切内容将取决于来源。例如，执行器平台105的每个部件向手术计算机150提供测量位置。因此，通过将测量位置与手术计算机150最初指定的位置(参见图5b)进行比较，手术计算机可以识别手术期间发生的偏差。
124.切除设备110可以根据所用设备的类型将各种类型的数据发送到手术计算机150。可以发送的示例性数据类型包括测量的扭矩、音频签名和测量的位移值。类似地，跟踪技术115可以根据所采用的跟踪方法来提供不同类型的数据。示例性跟踪数据类型包括被跟踪项(例如，解剖结构、工具等)、超声图像以及表面或标志收集点或轴的位置值。当系统操作时，组织导航系统120向手术计算机150提供解剖位置、形状等。
125.尽管显示器125通常用于输出数据以呈现给用户，但它也可以向手术计算机150提供数据。例如，对于将监视器用作显示器125的一部分的实施例，外科医生111可以与gui交互以提供输入，所述输入被发送到手术计算机150以进行进一步处理。对于ar应用，可以将hmd的测量位置和位移发送到手术计算机150，使得其可以根据需要更新所呈现的视图。
126.在护理期的术后阶段期间，可以收集各种类型的数据以量化由于手术而导致的患者状况的总体改善或恶化。数据可以采取例如患者通过问卷调查报告的自我报告信息的形式。例如，在进行膝关节置换手术的情况下，可以使用牛津(oxford)膝评分问卷来测量功能状态，并且可以通过eq5d-5l问卷来测量术后生活质量。在髋关节置换手术的情况下的其他示例可以包括牛津髋评分、哈里斯(harris)髋评分和womac(西安大略和麦克马斯特大学骨关节炎指数)。这样的问卷可以例如由医护专业人员直接在临床环境中进行管理，或者使用允许患者直接回答问题的移动应用进行管理。在一些实施例中，可以为患者配备收集与手术有关的数据的一个或多个可穿戴设备。例如，在进行膝手术之后，可以为患者配备膝支架，所述膝支架包括用于监测膝位置、柔韧性等的传感器。可以收集该信息并将其传输到患
者的移动设备以供外科医生审查以评估手术的结果并解决任何问题。在一些实施例中，一个或多个摄像头可以在术后指定的活动期间获取并记录患者的身体部位的运动。可以将该运动获取与生物力学模型进行比较以更好地了解患者关节的功能，并且更好地预测康复进展并确定可能需要的任何修正。
127.护理期的术后阶段可以在患者的整个生命周期中持续进行。例如，在一些实施例中，手术计算机150或包括cass 100的其他部件可以在执行手术之后继续接收和收集与手术程序有关的数据。该数据可以包括例如图像、问题答案、“正常”患者数据(例如，血型、血压、状况、药物等)、生物统计数据(例如，步态等)，以及有关特定问题(例如，膝或髋关节疼痛)的客观和主观数据。该数据可以由患者或患者的医师明确地提供给手术计算机150或其他cass部件。替代地或附加地，手术计算机150或其他cass部件可以监测患者的emr并在其可用时检索相关信息。患者康复的该纵向视图允许手术计算机150或其他cass部件提供对患者结果的更客观分析以测量和跟踪给定程序的成功与否。例如，可以通过对护理期中收集的各种数据项进行回归分析，将患者在手术程序后很长时间所经历的状况与手术联系起来。通过对具有相似程序和/或相似解剖结构的患者组进行分析，可以进一步增强该分析。
128.在一些实施例中，在中心位置收集数据以提供更容易的分析和使用。在一些情况下，可以从各种cass部件手动收集数据。例如，可以将便携式存储设备(例如，usb棒)附接到手术计算机150，以便检索在手术期间收集的数据。然后可以将数据例如经由台式计算机传输到集中式存储装置。替代地，在一些实施例中，手术计算机150经由网络175直接连接到集中式存储装置，如图5c中所示。
129.图5c示出了“基于云”的实施方式，其中手术计算机150经由网络175连接到手术数据服务器180。该网络175可以是例如私有内联网或因特网。除了来自手术计算机150的数据之外，其他来源也可以将相关数据传输到手术数据服务器180。图5c的示例示出了3个附加数据源：患者160、医疗保健专业人员165和emr数据库170。因此，患者160可以例如使用移动应用将术前和术后数据发送到手术数据服务器180。医疗保健专业人员165包括外科医生和他或她的职员以及与患者160一起工作的任何其他专业人员(例如，私人医生，康复专家等)。还应当注意的是，emr数据库170可以用于术前和术后数据。例如，假设患者160已给予足够的许可，则手术数据服务器180可以收集患者术前的emr。然后，手术数据服务器180可以继续监测emr以进行手术后的任何更新。
130.在手术数据服务器180处，护理期数据库185用于存储在患者的护理期中收集的各种数据。护理期数据库185可以使用本领域中已知的任何技术来实现。例如，在一些实施例中，可以使用基于sql的数据库，其中所有各种数据项都以允许它们容易地并入行和列的两个sql集合中的方式结构化。然而，在其他实施例中，可以采用no-sql数据库来允许非结构化数据，同时提供快速处理和响应查询的能力。如本领域中所理解的，术语“no-sql”用于定义在其设计中不相关的一类数据库。各种类型的no-sql数据库通常可以根据其基础数据模型进行分组。这些分组可以包括使用基于列的数据模型(例如，cassandra)、基于文档的数据模型(例如，mongodb)、基于键值的数据模型(例如，redis)和/或基于图形的数据模型(例如allego)的数据库。可以使用任何类型的no-sql数据库来实现本文所述的各种实施例，并且在一些实施例中，不同类型的数据库可以支持护理期数据库185。
131.可以使用本领域中已知的任何数据格式和传输技术在各种数据源和手术数据服
务器180之间传输数据。应当注意的是，图5c中所示的架构允许从数据源到手术数据服务器180的传输，以及由数据源从手术数据服务器180检索数据。例如，如下面详细解释的，在一些实施例中，手术计算机150可以使用来自过去手术、机器学习模型等的数据来帮助指导手术程序。
132.在一些实施例中，手术计算机150或手术数据服务器180可以执行去标识过程以确保存储在护理期数据库185中的数据满足健康保险流通与责任法案(hipaa)标准或法律规定的其他要求。hipaa提供了去标识期间必须从数据删除的某些标识列表。前述的去标识过程可以在传输到护理期数据库185以进行存储的数据中扫描这些标识。例如，在一个实施例中，手术计算机150在刚开始将特定数据项或一组数据项传输到手术数据服务器180之前执行去识别过程。在一些实施例中，唯一标识被分配给来自特定护理期的数据以便在必要时重新识别数据。
133.尽管图5a-5c讨论了在单个护理期的情况下的数据收集，但是应当理解，一般概念可以扩展到多个护理期的数据收集。例如，每次使用cass 100进行手术时可以在整个护理期中收集手术数据，并将其存储在手术计算机150或手术数据服务器180处。如下面进一步详细解释，护理期数据的鲁棒数据库允许生成优化值、测量结果、距离或其他参数以及与手术程序有关的其他建议。在一些实施例中，以允许在手术程序期间快速检索相关信息的方式在数据库或其他存储介质中索引各种数据集。例如，在一个实施例中，可以使用以患者为中心的一组索引，以便可以容易地提取与特定患者或与特定患者相似的一组患者的数据。该概念可以类似地应用于外科医生、植入物特性、cass部件型式等。
134.管理护理期数据的更多细节在2018年12月21日提交的、标题为“提供护理期的方法和系统(methods and systems for providing an episode of care)”的美国专利申请第62/783,858号中进行了描述，其全部内容通过引用并入本文。
135.开放与封闭数字生态系统
136.在一些实施例中，cass 100被设计成用作独立或“封闭”数字生态系统。cass 100的每个部件专门设计成在封闭生态系统中使用，并且数字生态系统外部的装置通常无法访问数据。例如，在一些实施例中，每个部件包括实现用于诸如通信、存储、安全等的活动的专有协议的软件或固件。对于想要控制cass 100的所有部件以确保满足某些兼容性、安全性和可靠性标准的公司而言，封闭数字生态系统的概念可能是理想的。例如，cass 100可以设计成使得除非获得公司的认证，否则不能将新部件与cass一起使用。
137.在其他实施例中，cass 100被设计成用作“开放”数字生态系统。在这些实施例中，部件可以由各种不同的公司根据诸如通信、存储和安全性的活动的标准来生产。因此，通过使用这些标准，任何公司都可以自由地构建cass平台的独立、合规部件。可以使用公共可用的应用编程接口(api)和开放的、可共享的数据格式在部件之间传输数据。
138.为了说明可以用cass 100执行的一种类型的推荐，下面公开了一种用于优化手术参数的技术。在本文中术语“优化”是指基于某些指定的标准选择最佳的参数。在极端情况下，优化可以指基于来自整个护理期的数据(包括任何术前数据，给定时间点的cass数据状态，以及术后目标)选择最佳参数。而且，可以使用历史数据来执行优化，例如在涉及例如相同外科医生、具有与当前患者相似的身体特性的过去患者等的过去手术期间生成的数据。
139.优化的参数可以取决于要对其进行手术的患者解剖结构的部分。例如，对于膝手
术，手术参数可以包括股骨和胫骨部件的定位信息，包括但不限于旋转对准(例如，内翻/外翻旋转、外旋、股骨部件的屈曲旋转、胫骨部件的后倾角)，切除深度(例如内翻膝，外翻膝)，以及植入物的类型、大小和位置。定位信息还可以包括用于组合植入物的手术参数，例如整体肢体对准，组合胫股过度伸展和组合胫股切除。cass 100可以针对给定的tka股骨植入物优化参数的其他示例包括以下：
[0140][0141]
cass 100可以为给定的tka胫骨植入物优化的参数的其他示例包括以下：
[0142][0143]
对于髋手术，手术参数可以包括股骨颈切除位置和角度、杯倾斜角、杯前倾角、杯深度、股骨柄设计、股骨柄尺寸、股骨柄在管内的适合度、股骨偏移、腿长以及植入物的股骨型式。
[0144]
肩参数可以包括但不限于肱骨切除深度/角度、肱骨干型式、肱骨偏移、关节盂型式和倾斜度，以及反向肩参数，例如肱骨切除深度/角度、肱骨干型式、关节盂倾斜度/型式、盂球方位、盂球偏移和偏移方向。
[0145]
存在用于优化手术参数的各种常规技术。然而，这些技术通常需要大量的计算，因此，通常需要在术前确定参数。结果，外科医生基于在手术期间可能出现的问题来修改优化参数的能力受到限制。而且，常规的优化技术通常以“黑匣子”方式操作，很少或没有关于推荐参数值的解释。因此，如果外科医生决定偏离建议的参数值，则外科医生通常会在没有完全理解该偏离对其余手术流程的影响或偏离对患者手术后生活质量的影响的情况下这样做。
[0146]
手术患者护理系统
[0147]
使用手术患者护理系统620可以将优化的一般概念扩展到整个护理期，所述手术患者护理系统使用手术数据以及来自患者605和医疗保健专业人员630的其他数据来优化结果和患者满意度，如图6中所示。
[0148]
常规地，术前诊断，术前手术计划，术中执行既定计划以及术后全关节置换术的管理都基于个人经验，已发表的文献和外科医生的培训知识库(最终，个体外科医生的部落知
识及其对等“网络”和期刊出版物)以及他们利用指导和视觉提示对“平衡”进行准确的术中触觉辨别以及对平面切除进行准确的手动执行的本能。该现有的知识库和执行方式在为需要护理的患者提供的结果优化方面受到限制。例如，在以下方面存在限制：准确诊断患者以进行适当的，微创的既定护理；使动态的患者，医疗经济和外科医生的偏好与患者期望的结果保持一致；执行手术计划以使骨正确对准和保持平衡等；以及从具有难以调和到整体患者框架中的不同偏差的断开连接源接收数据。因此，更精确地模拟解剖反应并指导手术计划的数据驱动工具可以改善现有方法。
[0149]
手术患者护理系统620设计成利用患者特定数据、外科医生数据、医疗机构数据和历史结果数据来制定算法，所述算法基于期望的临床结果为患者的整个护理期(术前、术中和术后)建议或推荐最佳整体治疗计划。例如，在一个实施例中，手术患者护理系统620跟踪对建议或推荐计划的遵守，并基于患者/护理提供者的表现来调整计划。一旦手术治疗计划完成，手术患者护理系统620就将收集的数据记录在历史数据库中。该数据库可供将来的患者访问和制定将来的治疗计划。除了利用统计和数学模型之外，还可以使用模拟工具(例如)基于初步或建议的手术计划来模拟结果，对准，运动学等，并且根据患者的概况或外科医生的喜好重新配置初步或建议的计划以实现期望或最佳结果。手术患者护理系统620确保每个患者正在接受个性化手术和康复护理，从而提高成功临床结果的机会并减轻与近期修正相关联的设施的经济负担。
[0150]
在一些实施例中，手术患者护理系统620采用数据收集和管理方法来提供详细的手术病例计划，该计划具有使用cass 100监视和/或执行的不同步骤。用户的执行在每个步骤完成时计算并且用于建议对病例计划的后续步骤的更改。病例计划的生成依赖于存储在本地或云存储数据库中的一系列输入数据。输入数据既可以与当前接受治疗的患者相关，也可以与来自接受过类似治疗的患者的历史数据相关。
[0151]
患者605向手术患者护理系统620提供诸如当前患者数据610和历史患者数据615的输入。本领域中通常已知的各种方法可以用于从患者605收集这样的输入。例如，在一些实施例中，患者605填写手术患者护理系统620解析的纸质或数字调查以提取患者数据。在其他实施例中，手术患者护理系统620可以从诸如电子病历(emr)、健康历史文件以及付款人/提供商历史文件的现有信息源提取患者数据。在另外的其他实施例中，手术患者护理系统620可以提供允许外部数据源将数据推送到手术患者护理系统的应用程序接口(api)。例如，患者605可以具有移动电话、可穿戴装置或其他移动装置，其收集数据(例如，心率、疼痛或不适水平、运动或活动水平，或患者提交的对患者对任何数目的术前计划标准或条件依从性的反应)并将该数据提供给手术患者护理系统620。类似地，患者605可能在其移动或可穿戴装置上具有数字应用程序，该数字应用程序可以收集数据并将其传输到手术患者护理系统620。
[0152]
当前患者数据610可以包括但不限于：活动水平、既往状况、合并症、康复前表现、健康和健身水平、术前预期水平(与医院、手术和康复有关)、都市统计区域(msa)驱动评分、遗传背景、以前的损伤(运动、创伤等)、以前的关节置换术、以前的创伤手术、以前的运动医学手术、对侧关节或肢体的治疗、步态或生物力学信息(背和踝组织)、疼痛或不适水平、护理基础设施信息(付款人承保类型、家庭医疗基础设施水平等)以及手术预期理想结果的指示。
[0153]
历史患者数据615可以包括但不限于：活动水平、既往状况、合并症、康复前表现、健康和健身水平、术前预期水平(与医院、手术和康复有关)、msa驱动评分、遗传背景、以前的损伤(运动、创伤等)、以前的关节置换术、以前的创伤手术、以前的运动医学手术、对侧关节或肢体的治疗、步态或生物力学信息(背和踝组织)、疼痛或不适水平、护理基础设施信息(付款人承保类型、家庭医疗基础设施水平等)、手术的预期理想结果、手术的实际结果(患者报告结果[pro]、植入物的生存期、疼痛程度、活动水平等)、所使用的植入物的尺寸、所使用的植入物的位置/取向/对准，实现的软组织平衡等。
[0154]
进行手术或治疗的医疗保健专业人员630可以向手术患者护理系统620提供各种类型的数据625。该医疗保健专业人员数据625可包括例如对已知或优选手术技术的描述(例如，十字形保持(cr)与后稳定(ps)、尺寸增大与尺寸减小、有止血带与无止血带、股骨柄样式、tha的优选方案等)，医疗保健专业人员630的培训水平(例如，从业年限、受训的职位、培训的地方、模仿的技术)，包括历史数据(结果、患者满意度)的先前成功水平，以及关于运动范围、恢复天数和装置的生存期的预期理想结果。可以例如通过提供给医疗保健专业人员630的纸质或数字调查，经由医疗保健专业人员对移动应用的输入，或通过从emr提取相关数据来获取医疗保健专业人员数据625。另外，cass 100可以提供诸如概况数据(例如，患者专用膝器械概况)的数据或描述手术期间cass的使用的历史记录。
[0155]
与要进行手术或治疗所在的设施有关的信息可以包括在输入数据中。该数据可以包括但不限于以下：门诊手术中心(asc)与医院，设施创伤水平，关节置换术全面医疗计划(cjr)或捆绑候选，msa驱动评分，社区与都市，学术与非学术，术后网络访问(仅熟练护理设施[snf]，家庭健康等)，医疗专业人员的可用性，植入物的可用性，以及手术设备的可用性。
[0156]
这些设施输入可以例如但不限于通过调查(纸/数字)，手术计划工具(例如，应用，网站，电子病历[emr]等)，医院信息数据库(在因特网上)等。也可以获取与关联医疗保健经济有关的输入数据，包括但不限于患者的社会经济概况，患者将获得的预期报销水平，以及治疗是否是患者特定的。
[0157]
可以(例如但不限于)通过调查(纸/数字)，直接付款人信息，社会经济状况数据库(在互联网上提供邮政编码)等来获取这些医疗保健经济输入。最后，获取从该程序的模拟导出的数据。模拟输入包括植入物尺寸、位置和取向。可以使用定制或可商购的解剖建模软件程序(例如anybody或opensim)进行模拟。应当注意，上述数据输入可能并非对每个患者都可用，并且将使用可用数据来生成治疗计划。
[0158]
在手术之前，可以获取患者数据610、615和医疗保健专业人员数据625并将其存储在基于云的数据库或在线数据库(例如，图5c中所示的手术数据服务器180)中。与该程序有关的信息通过无线数据传输或使用便携式媒体存储手动提供给计算系统。计算系统被配置成生成用于cass 100的病例计划。以下将描述病例计划的生成。应当注意，该系统可以访问以前接受治疗的患者的历史数据，包括由计算机辅助的患者特定的膝器械(pski)选择系统或cass 100本身自动生成的植入物尺寸、位置和取向。为此，外科销售代表或病例工程师使用在线门户将病例日志数据上传到历史数据库。在一些实施例中，到在线数据库的数据传输是无线的和自动化的。
[0159]
来自在线数据库的历史数据集用作机器学习模型(例如循环神经网络(rnn)或其他形式的人工神经网络)的输入。如本领域通常所理解的，人工神经网络的功能类似于生物
神经网络，并且由一系列节点和连接组成。训练机器学习模型以基于输入数据预测一个或多个值。对于以下各节，假定对机器学习模型进行训练以生成预测方程。可以优化这些预测方程以确定植入物的最佳尺寸、位置和取向，以实现最佳结果或满意度。
[0160]
一旦程序完成，就收集所有患者数据和可用结果数据，包括由cass 100确定的植入物尺寸、位置和取向，并将其存储在历史数据库中。通过rnn进行的目标方程的任何后续计算都将以该方式包括来自先前患者的数据，从而可以对系统进行持续改进。
[0161]
除了或作为确定植入物定位的替代，在一些实施例中，预测方程和关联的优化可以用于生成与pski系统一起使用的切除平面。当与pski系统一起使用时，预测方程的计算和优化在手术前完成。使用医学图像数据(x射线，ct，mri)估计患者的解剖结构。预测方程的全局优化可以提供植入物部件的理想尺寸和位置。植入物部件和患者解剖结构的布尔交集定义为切除体积。可以产生pski以去除优化的切除包络。在该实施例中，外科医生不能在术中改变手术计划。
[0162]
外科医生可以选择在手术之前或期间的任何时候更改手术病例计划。如果外科医生选择偏离手术病例计划，则锁定更改后的部件的尺寸、位置和/或取向，并根据部件的新尺寸、位置和/或取向刷新全局优化(使用先前描述的技术)以找到其他部件的新理想位置，以及实现部件的新优化尺寸、位置和/或取向需要执行的相应切除。例如，如果外科医生确定术中需要更新或修改tka中股骨植入物的尺寸、位置和/或取向，则股骨植入物的位置将相对于解剖结构锁定，并且将通过考虑外科医生对股骨植入物尺寸、位置和/或取向的改变计算(通过全局优化)胫骨的新最佳位置。此外，如果用于实施病例计划的手术系统是机器人辅助的(例如，使用或mako rio)，则可以实时监测手术期间的骨移除和骨形态。如果在该程序期间进行的切除偏离手术计划，则处理器可以考虑已进行的实际切除来优化附加部件的后续放置。
[0163]
图7a示出了手术患者护理系统620如何可以适于执行病例计划匹配服务。在该示例中，获取与当前患者610有关的数据，并将其与患者数据和相关结果615的历史数据库的全部或部分进行比较。例如，外科医生可以选择将当前患者的计划与历史数据库的子集进行比较。可以对历史数据库中的数据进行过滤以包括例如仅具有良好结果的数据集，与概况与当前患者概况相同或相似的患者的历史手术对应的数据集，与特定外科医生对应的数据集，与手术计划的特定要素(例如，仅保留特定韧带的手术)对应的数据集，或由外科医生或医疗专业人员选择的任何其他标准。例如，如果当前患者数据与经历良好结果的先前患者的数据匹配或相关，则可以访问并适应或采用先前患者的病例计划以用于当前患者。预测方程可以与识别或确定与病例计划相关的动作的术中算法结合使用。基于来自历史数据库的相关信息和/或预先选择的信息，术中算法确定一系列推荐操作以供外科医生执行。算法的每次执行都会在病例计划中产生下一个动作。如果外科医生执行该动作，则评估结果。外科医生执行动作的结果用于完善和更新术中算法的输入，用于生成病例计划中的下一步骤。一旦已完全执行病例计划，与病例计划相关的所有数据(包括外科医生对执行建议动作的任何偏差)都将存储在历史数据的数据库中。在一些实施例中，系统以分段方式使用术前、术中或术后模块，而不是整个连续护理。换句话说，护理人员可以规定治疗模块的任何排列或组合，包括使用单个模块。这些概念在图7b中示出，并且可以应用于使用cass 100的任何类型的手术。
[0164]
手术过程显示
[0165]
如以上关于图1和图5a-5c所述，cass 100的各个部件在手术期间产生详细的数据记录。cass 100可以在手术的每个步骤期间跟踪和记录外科医生的各种动作和活动，并将实际活动与术前或术中手术计划进行比较。在一些实施例中，可以采用软件工具将该数据处理为可以有效地“回放”手术的格式。例如，在一个实施例中，可以使用一个或多个gui，其示出手术期间在显示器125上呈现的所有信息。这可以用示出由不同工具收集的数据的图形和图像进行补充。例如，在组织切除期间提供膝的视觉图示的gui可以提供与视觉图示相邻的切除设备的测量扭矩和位移，以更好地提供对发生的与计划切除区域的任何偏差的理解。审查手术计划的回放或在实际手术与手术计划的不同阶段之间进行切换的能力可以为外科医生和/或手术人员带来好处，从而使此类人员可以识别出手术的任何不足或挑战性阶段，使得可以在未来手术中对其进行修改。类似地，在学术环境中，上述gui可以用作培训未来的外科医生和/或手术人员的教学工具。此外，由于数据集有效地记录了外科医生活动的许多要素，因此它也可以出于其他原因(例如，法律或合规性原因)用作特定手术程序正确或不正确执行的证据。
[0166]
随着时间，随着越来越多的手术数据被收集，可能会获取丰富的数据库，其描述由不同的外科医生为不同患者针对各种类型的解剖结构(膝、肩、髋等)执行手术程序。而且，诸如植入物类型和尺寸、患者人口统计学等的信息可以进一步用于增强整体数据集。一旦已建立数据集，就可以将其用于训练机器学习模型(例如，rnn)，以基于cass 100的当前状态来预测手术将如何进行。
[0167]
机器学习模型的训练可以如下进行。在手术期间，可以在多个时间段内对cass 100的总体状态进行采样。然后可以训练机器学习模型以将第一时间段的当前状态转换为不同时间段的未来状态。通过分析cass 100的整个状态而不是单独的数据项，可以获取cass 100的不同部件之间相互作用的任何因果效应。在一些实施例中，可以使用多个机器学习模型而不是单个模型。在一些实施例中，不仅可以利用cass 100的状态，而且还可以利用患者数据(例如，从emr获取)和手术人员的身份来训练机器学习模型。这使模型可以以更大的特异性进行预测。而且，如果需要，它允许外科医生仅根据他们自己的手术经验选择性地做出预测。
[0168]
在一些实施例中，可以将由前述机器学习模型做出的预测或推荐直接整合到手术流程中。例如，在一些实施例中，手术计算机150可以在后台执行机器学习模型，从而为即将来临的动作或手术状况做出预测或推荐。因此可以为每个时期预测或推荐多个状态。例如，手术计算机150可以以30秒的增量预测或推荐接下来的5分钟的状态。使用该信息，外科医生可以利用手术的“过程显示”视图以允许未来状态的可视化。例如，图7c示出了可以显示给外科医生的一系列图像，其示出了植入物放置界面。外科医生可以例如通过在cass 100的显示器125中输入特定时间或指示系统使用触觉、口头或其他指令以特定的时间增量来前进或倒回显示来遍历这些图像。在一个实施例中，过程显示可以呈现在ar hmd中的外科医生视野的上部。在一些实施例中，过程显示可以被实时更新。例如，当外科医生在计划切除区域周围移动切除工具时，可以更新过程显示，使得外科医生可以看到他或她的动作如何影响手术的其他因素。
[0169]
在一些实施例中，不是简单地使用cass 100的当前状态作为机器学习模型的输
入，而是模型的输入可以包括计划的未来状态。例如，外科医生可以指示他或她正计划进行膝关节的特定骨切除。该指示可以手动输入到手术计算机150中，或者外科医生可以口头提供指示。然后手术计算机150可以产生胶片，显示切口对手术的预期效果。这样的胶片可以在特定的时间增量上示出如果将执行预期的动作过程，则手术将如何受到影响，包括例如患者解剖结构的变化，植入物位置和取向的变化，以及有关外科手术和器械的变化。外科医生或医疗专业人员可以在手术的任何时候调用或请求该类型的胶片，以预览如果将执行预期动作则预期动作过程将如何影响手术计划。
[0170]
应当进一步指出的是，使用经充分训练的机器学习模型和机器人cass，可以使手术的各个要素实现自动化，使得外科医生仅需要例如通过仅为手术的各个步骤提供批准而最少地参与。例如，随着时间，使用臂或其他手段的机器人控制可以逐渐整合到手术流程中，外科医生与机器人操作之间的手动交互逐渐越来越少。在该情况下，机器学习模型可以学习需要哪些机器人命令来实现cass实施计划的某些状态。最终，机器学习模型可以用于产生胶片或类似的视图或显示，其可以预测并可以从初始状态预览整个手术。例如，可以定义包括患者信息、手术计划、植入物特性和外科医生偏好的初始状态。基于该信息，外科医生可以预览整个手术以确认cass推荐的计划满足外科医生的期望和/或要求。而且，由于机器学习模型的输出是cass 100本身的状态，因此可以导出命令来控制cass的部件以实现每个预测状态。因此，在极端情况下，仅基于初始状态信息就可以使整个手术自动化。
[0171]
在髋手术期间使用点探针获得关键区域的高分辨率
[0172]
在标题为“用于计划和执行无图像植入物修正手术的系统和方法(systems and methods for planning and performing image free implant revision surgery)”的美国专利申请第14/955,742号中描述了点探针的使用，其全部内容通过引用并入本文。简而言之，可以使用光学跟踪的点探针来标绘需要新植入物的目标骨的实际表面。在移除有缺陷或磨损的植入物之后，以及在移除任何患病或其他不需要的骨之后，执行标绘。通过用点探针的尖端刷或刮擦剩余的整个骨，可以在骨表面上收集多个点。这称为跟踪或“绘制”骨。所收集的点用于在计算机计划系统中创建骨表面的三维模型或表面图。然后将剩余骨的创建3d模型用作规划手术和必要植入物尺寸的基础。在于2019年4月17日提交的、标题为“三维选择性骨匹配(three-dimensional selective bone matching)”的美国专利申请第16/387,151号和2020年2月13日提交的、标题为“三维选择性骨匹配(three-dimensional selective bone matching)”的美国专利申请第16/789,930号中描述了使用x射线确定3d模型的替代技术，上述专利中的每一个的全部内容通过引用并入本文。
[0173]
对于髋应用，点探针绘制可用于获取诸如髋臼缘和髋臼窝的关键区域的高分辨率数据。这可以使外科医生在开始扩孔之前获得详细的视图。例如，在一个实施例中，点探针可以用于识别髋臼的底部(窝)。如本领域中众所周知，在髋手术中，重要的是确保在扩孔期间不损害髋臼的底部以避免破坏内侧壁。如果内侧壁被无意中破坏，则手术将需要额外的骨移植步骤。考虑到这一点，在手术程序期间，来自点探针的信息可用于为髋臼扩孔器提供操作指导。例如，髋臼扩孔器可以被配置成在外科医生到达底部或以其他方式偏离手术计划时向外科医生提供触觉反馈。替代地，当到达底部时或当扩孔器在阈值距离内时，cass 100可以自动停止扩孔器。
[0174]
作为额外的保障，可以估计髋臼和内侧壁之间区域的厚度。例如，一旦将髋臼缘和
髋臼窝绘制并将其配准到术前3d模型，即可通过比较髋臼表面的位置与内侧壁的位置来容易地估计厚度。使用该知识，在预测在扩孔时任何手术活动通过髋臼壁突出的情况下，cass 100可以提供警报或其他响应。
[0175]
点探针还可以用于收集将3d模型定向到患者时使用的常见参考点的高分辨率数据。例如，对于像asis和耻骨联合之类的骨盆平面标志，外科医生可以使用点探针来绘制骨以代表真实的骨盆平面。已知这些标志的更完整视图，配准软件将具有更多信息来定向3d模型。
[0176]
点探针还可用于收集描述可用于提高植入物放置的准确性的股骨近端参考点的高分辨率数据。例如，大转子(gt)的尖端与股骨头中心之间的关系通常用作在髋关节置换术期间对准股骨部件的参考点。对准高度取决于gt的正确位置；因此，在一些实施例中，点探针用于绘制gt以提供该区域的高分辨率视图。类似地，在一些实施例中，具有小转子(lt)的高分辨率视图可能是有用的。例如，在髋关节置换术期间，dorr分类有助于选择将在手术期间最大化实现压入配合的能力的干，从而防止术后股骨部件发生微动并确保最佳的骨长入。如本领域中所理解的，dorr分类测量lt处的管宽度与lt下方10cm处的管宽度之间的比率。分类的准确性高度取决于相关解剖结构的正确位置。因此，绘制lt以提供该区域的高分辨率视图可能是有利的。
[0177]
在一些实施例中，点探针用于绘制股骨颈以提供高分辨率数据，允许外科医生更好地理解在哪里制造颈切口。然后导航系统可以在外科医生进行颈切割时引导他们。例如，如本领域中所理解的，通过将一条线放置在股骨柄的中心下方并且将第二条线放置在股骨颈的中心下方来测量股骨颈角度。因此，股骨颈(以及可能还有股骨柄)的高分辨率视图将提供股骨颈角度的更准确的计算。
[0178]
高分辨率股骨头颈数据也可以用于导航表面重修程序，其中软件/硬件帮助外科医生准备股骨近端并放置股骨部件。如本领域中通常所理解的，在髋表面重修期间，股骨头和颈未被移除；而是修剪头部并用光滑的金属覆盖物盖住。在该情况下，对于外科医生来说，对股骨和帽进行绘制将是有利的，使得可以理解它们各自几何形状的精确评估并将其用于指导股骨部件的修剪和放置。
[0179]
使用点探针将术前数据配准到患者解剖结构
[0180]
如上所述，在一些实施例中，在术前阶段期间基于感兴趣的解剖区域的2d或3d图像来开发3d模型。在这样的实施例中，在手术程序之前执行3d模型与手术部位之间的配准。配准的3d模型可用于在术中跟踪和测量患者的解剖结构和手术工具。
[0181]
在手术程序期间，获取标志以便于将该术前3d模型配准到患者的解剖结构。对于膝手术，这些点可能包括股骨头中心、股骨远端轴点、内侧和外侧上髁、内侧和外侧踝、胫骨近端机械轴点以及胫骨a/p方向。对于髋手术，这些点可能包括髂前上棘(asis)、耻骨联合、沿髋臼缘和半球内的点、大转子(gt)和小转子(lt)。
[0182]
在翻修手术中，外科医生可能绘制包含解剖缺陷的某些区域以便更好地可视化和导航植入物插入。这些缺陷可以基于术前图像的分析来识别。例如，在一个实施例中，将每个术前图像与示出“健康”解剖结构(即，无缺陷)的图像库进行比较。患者图像和健康图像之间的任何重大偏差都可以标记为潜在缺陷。然后，在手术期间，可以通过cass 100的显示器125上的视觉警报来警告外科医生可能存在的缺陷。然后外科医生可以绘制该区域以向
手术计算机150提供有关潜在缺陷的更多详细信息。
[0183]
在一些实施例中，外科医生可以使用非接触方法来进行骨解剖内切口的配准。例如，在一个实施例中，采用激光扫描进行配准。激光条投射在感兴趣的解剖区域上，并且该区域的高度变化被检测为线的变化。其他非接触式光学方法，例如白光干涉法或超声，也可以替代地用于表面高度测量或对解剖结构进行配准。例如，在配准点和被配准的骨之间存在软组织的地方(例如，髋手术中的asis，耻骨联合)，超声技术可能是有益的，从而提供对解剖平面的更精确限定。
[0184]
如本文所论述，实施例可以允许从2d图像数据创建一个或多个3d模型。2d图像数据可以用比诸如mri或ct图像的体积图像数据低的成本来获取。应理解，尽管本文中主要使用术语“3d图像数据”，但所述模型可包括cad、iges、stl、vrml、dxf、obj或类似文件/应用程序类型中的一种或多种。在一些实施例中，如本文所论述的，在解剖模型的细分期间，可能产生极其大的骨形状库(即，比通常用标准非可置换骨形状标准统计形状模型(ssm)技术的数据库可获得的更多)。因此，如本文所论述的，一些实施例可利用半自动化系统。在一些实施例中，半自动化系统可以从用户(例如，提供质量控制的医疗成像专家)接收额外输入，从而利用用户的医疗专业知识来简化系统的计算要求。在一些实施例中，半自动化系统可以不从用户接收任何额外输入。
[0185]
返回参考图1，cass 100使用计算机、机器人和成像技术来帮助外科医生执行手术程序。cass 100可以帮助外科医生以高精度定位患者的解剖结构、引导手术器械以及植入医疗装置。诸如cass 100的手术导航系统经常采用各种形式的计算技术来执行各种各样的标准和微创手术程序和技术。而且，这些系统允许外科医生更准确地计划、跟踪和导航相对于患者身体的器械和植入物的放置，以及进行术前和术中身体成像。
[0186]
cass 100在一些实例中包括光学跟踪系统115，该光学跟踪系统使用一个或多个传感器收集实时位置数据，所述实时位置数据定位患者120的解剖结构和手术环境中的手术器械，例如切除工具105b。与使用单色传感器的常规基于nir的跟踪系统相比，本文中所描述的光学跟踪系统115利用红-绿-蓝(rgb)传感器，但灰度图像传感器也可用于其它实例中。此外，光学跟踪系统115移除用于常规系统以捕获颜色信息的nir通带滤波器。如通常所理解的，rgb传感器使用相加色模型来获取可见数据，其中红色、绿色和蓝光以各种方式组合以重现宽色彩阵列。相反，nir超出人类视觉感知并且覆盖从大约750到2500nm的电磁光谱的波长。
[0187]
在一些实施例中，光学跟踪系统115以交错方式获取彩色图像并跟踪图像。例如，采集帧可以专用于捕获常规rgb图像，随后捕获用于跟踪的nir图像。在此配置中，可以使用本领域中通常已知的技术来优化彩色图像采集过程，所述技术例如较长积分时间、用去马赛克算法计算彩色图像、颜色/伽马校正、白平衡、自动曝光等。当nir用于跟踪时，跟踪图像采集过程可以被优化以捕获具有尽可能低噪声的基准的nir图像。例如，光学跟踪系统115可以使用类似于经典系统的短积分时间，以相对于nir光发射最大化信号/噪声比。
[0188]
由光学跟踪系统115的rgb传感器获取的彩色图像提供手术区域的视觉感知，而跟踪图像可用于跟踪手术区域中基准标记的3d位置。在此上下文中，术语“基准标记”(或简称为“基准”)通常指置于光学跟踪系统115的视场中以用作参考点的任何物体。一般来说，光学跟踪系统115可以使用本领域已知的任何技术来跟踪基准，所述技术包括但不限于基于
三角测量的技术和姿态估计方法。另外，基准的3d位置可用于使用本领域中通常已知的技术导出每个相应标记的6d姿态(取向和位置)。如本文所用，彩色图像是指bayer原始图像和除了彩色图像之外的灰度图像。
[0189]
基准标记可用于识别手术室中的个体、工具或骨，并且可包括可由与光学跟踪系统115相关联的摄像头或摄像头阵列拾取的被动或主动标识。例如，红外(ir)发光二极管(led)可以闪烁图案，所述图案将唯一的标识传达给该图案的来源，从而提供动态识别标记。类似地，一维或二维光学代码(例如，条形码、快速响应(qr)码等)可以固定到手术室的对象以提供基于图像分析可以发生的被动识别。如果这些代码放置在对象上，则它们也可以用于通过将标识的位置与图像中的对象的范围进行比较来确定对象的取向。例如，可以将qr码放置在工具托盘的角部中，从而允许跟踪该托盘的方向和标识。还可以采用其它跟踪模态。例如，在一些实施例中，外科医生111或其它工作人员穿戴的增强现实(ar)头戴式显示器(hmd)155可用于提供附加的摄像头角度和跟踪能力。可用于实施ar hmd 155的装置的实例包括但不限于微软的hololens
tm
、联想thinkreality
tm
耳机和magic leap one
tm
。
[0190]
由于本文中所描述的混合光学跟踪系统115的总更新速率是快速的，因此有可能使用跟踪信息并用彩色图像对其进行外推/内插。光学跟踪系统115的另一个优点是跟踪信息和彩色图像两者在同一或基本上相似的参考空间中，由此允许2d图像与3d信息组合，而不必改变参考。
[0191]
手术计算机150可以使用所检测的基准位置将手术数据配准到彩色图像。例如，cass 100可以使用监视器125或hmd 155基于术前/术中数据引导外科医生111。术前信息，例如轨迹、切割平面或扫描器图像/3d解剖重建可以直接在彩色图像上配准在患者的解剖结构上，以产生手术区域的ar图像。
[0192]
在其它实施例中，利用光学跟踪系统115获取的彩色图像用于使用计算机视觉处理技术改进手术过程流或从手术区域收集额外数据。例如，在一些实施例中，手术计算机150通过使用计算机跟踪库，例如artoolkit使用彩色图像来检测和跟踪标签。例如，此类功能可用于在手术期间读取手术物品、植入物上的条形码，并且因此对手术过程流有更好的控制。例如，在其它实施例中，手术计算机150使用彩色图像来分割或检测特定可见元件，如患者解剖结构。
[0193]
在一些实施例中，由光学跟踪系统115获取的图像用于确认外科医生正在正确执行手术程序。例如，在脊柱融合手术中使用椎弓根螺钉，以在融合的脊柱愈合时增加额外的支撑和强度。根据螺钉的直径，螺钉具有不同的颜色。本领域中通常已知的颜色分割算法可以应用于来自光学跟踪系统115的彩色图像以确定外科医生111正插入哪些螺钉以及插入发生在患者的解剖结构中的哪个地方。通过将该信息与手术计划或描述正确插入程序的其它信息进行比较，可以容易地识别错误，并且可以警告手术工作人员(例如，经由监视器125或hmd 155)，以便可以应用校正。
[0194]
在其它实施例中，彩色图像可用于执行深度地图计算以感测由光学跟踪系统115看到的体积内的更多信息。如本领域中通常所理解的，将多个2d图像转换为3d模型的任务涉及生成多个深度地图，该深度地图包括与场景对象的表面距观察点的距离有关的信息。一旦生成深度地图，就将它们组合以产生最终网格。在这种情况下，由光学跟踪系统115获取的图像可以在配准过程期间添加3d点。添加3d感测点可以缩短过程和/或使其更稳健和
准确。
[0195]
在其它实施例中，由光学跟踪系统115获取的彩色图像用于向患者提供可视化未来对患者身体外观的外科手术的结果的方式。在此配置中，在执行配准过程和术前规划之后，可以在患者的图像上实时显示手术的结果。例如，在牙科手术的背景下，可以向患者提供其口腔的交互式“前后”图像，其示出了当前视图和在所提出的手术之后的未来视图。这允许患者基于其预测结果批准手术或请求可以立即查看的改变。
[0196]
在一些实施例中，图像传感器是“过采样的二进制图像传感器”，通常被称为高动态范围(hdr)传感器。如本领域通常所理解的，过采样的二进制图像传感器是具有非线性响应能力的图像传感器。利用此配置，所述采集不再能够交错，因为当nir光源开启(用于跟踪)时，可以执行第一光子计数，并且以后可以进行光子计数以获得经典彩色图像。因此，所述采集将是同时的而不是交错的。
[0197]
应当注意，图1中所示的光学跟踪系统115的配置是示例性的，并且获取跟踪数据的装置的放置可以在其它实施例中变化。例如，在一个实施例中，光学跟踪系统115安装在手术室的天花板上空。在其它实施例中，光学跟踪系统115的功能集成到hmd 155中。例如，在一些实施例中，hmd 155是ar耳机(例如，microsoft hololens
tm
)的一部分。
[0198]
除了来自光学跟踪系统115的处理数据之外，手术计算机150向cass 100的各种部件提供控制指令，从那些部件收集数据，并为手术期间所需的各种数据提供一般处理。在一些实施例中，手术计算机150可以是使用多个中央处理单元(cpu)或图形处理单元(gpu)来执行处理的并行计算平台。在一些实施例中，手术计算机150通过一个或多个计算机网络(例如，互联网)连接到远程服务器。远程服务器可以用于例如数据的存储或计算密集型处理任务的执行。
[0199]
可以使用本领域中公知的各种技术来将手术计算机150连接到cass 100的其他部件。而且，这些部件可以使用多种技术来连接到手术计算机150。例如，光学跟踪系统115和监测器125可以通过有线(即，串行)连接而连接到手术计算机150。替代地，光学跟踪系统115和监视器125可以使用无线技术连接到手术计算机150，所述无线技术例如但不限于wi-fi、蓝牙、近场通信(nfc)或zigbee。
[0200]
以下部分提供了利用rgb传感器代替nir单色图像传感器用于跟踪目的的理论基础。如所属领域的技术人员通常将理解的，rgb传感器利用拜耳滤波器。图8示出图像传感器的像素阵列上的彩色滤波器的拜耳布置。注意，出于本公开的目的，颜色已经替换为灰度，如图3的左上角的图例所指示。拜耳滤波器马赛克图包括用于将rgb滤波器布置在光电传感器的正方形网格上的彩色滤波器阵列(cfa)。彩色滤波器的特定布置包括在用于数字摄像头、可携式摄像机和扫描器中的大多数单芯片数字图像传感器中，以产生彩色图像。过滤图案是50％绿色、25％红色和25％蓝色，因此该图案有时也称为bggr、rgbg、grgb或rggb。在一些实施例中，还有一些可用于获得跟踪中更好nir图像的1x红色、1x绿色、1x蓝色、1xnir的马赛克图。
[0201]
拜耳滤波器摄像头的原始输出通常被称为拜耳图案图像。因为每个像素被滤波以仅记录三种颜色中的一种，所以来自每个像素的数据不能单独地完全指定红色、绿色和蓝色值中的每一个。为了获得全色图像，可以使用各种去马赛克算法来内插每个像素的一组完整的红色、绿色和蓝色值。这些算法利用对应颜色的周围像素来估计特定像素的值。
[0202]
此类单个滤波器(即，红色、绿色、蓝色)的重要特性是其在nir带宽中的类似行为。图9呈现被分解成每个颜色通道的qe相对于波长的图。注意，尽管曲线在其相应的红色、绿色、蓝色光谱中呈现了良好的波峰，但它们都在820nm与1000nm之间呈现相同的qe。因此，红色、绿色或蓝色像素将类似地看到nir能量源。这表明，鉴于基准发射或反射强nir信号，本文所述光学跟踪系统115通过利用rgb传感器且不使用nir滤波器将与常规nir系统表现类似。
[0203]
与常规系统相比，光学跟踪系统115的一个差异是rgb版本的qe，其比常规基于nir的系统低10-15％(因为常规系统是nir增强的)。这种较低的灵敏度可以通过具有较高的光能量发射来补偿。另外的区别在于，由于rgb传感器不过滤可见光谱，光学跟踪系统115可能对图像中的污染光更敏感。然而，这种差异可以通过使用更短的积分时间和更高的光发射来在系统内解决。
[0204]
因为rgb图像传感器对ir光谱敏感，所以传感器可以在此技术的一些实例中与nir投影仪(例如伪随机点投影仪)组合，如下文详细描述和示出。使用nir投影仪能够以低积分时间捕获用于跟踪目的的图像。具体地，彩色图像可以用debayerisation(去拜耳化)算法重建，或者nir投影仪可以用来构建深度或密集地图。
[0205]
图10示出了示例性光学跟踪系统115，其是具有第一光学模块1011a和第二光学模块1011b以及结构化光投影仪1012的立体系统。在一些实施例中，光学跟踪系统115可以形成照明系统的一部分。光学模块1011a和1011b各自具有摄像头、透镜和任选的滤波器(例如，nir滤波器以使系统对环境照明污染更稳固)。光学模块1011a和1011b可任选地由光源(例如ir-led)包围，该光源在基准是由nir反射材料制成的被动基准标记时使用。使用nir范围中的光使人眼睛看不到光，并且因此避免干扰用户。
[0206]
光学跟踪系统115可以由任何数量的摄像头构成。例如，单眼摄像头需要由四个或更多个基准构成的标记。替代性地，可以使用由多个突出点组成的纹理和/或标签代替四个或更多个基准。在一些实施例中，与单眼方法相比，可使用立体摄像头，因为其提供更准确的3d位置。在某些实例中，两个摄像头都固定在基线上，使得一个摄像头相对于另一个摄像头的确切姿态在工厂中被校准。
[0207]
在一些实施例中，三个或更多个摄像头的集群可用于光学跟踪系统115中。在这种配置中，摄像头首先围绕跟踪区固定，跟踪区是多个摄像头可见的区域。通过在对系统进行操作之前执行的校准过程发现相应的姿态，对系统进行操作包括在跟踪区内移动特定标记(在本文中也称为伪像)。在此配置中，当标记由两个或更多个摄像头同时可见时，姿态估计是可能的。
[0208]
若干技术可用于结构化光模块1012。例如，光可以以已知的模式投射，例如将窄光带投射到3d形状的表面上以产生照明线，所述照明线从与投影仪的视角不同的角度呈现为畸变，并且可用于表面形状的几何重建。可选地，结构化光模块1012可以被配置成投射若干顺序图案(例如，经由时间多路复用)以促进密集3d表面重建。
[0209]
更快且更具通用性的方法是一次投射具有许多条带的图案(其实例在图11a-11b中公开)或任意条纹，因为这允许同时获取多个样本。也可以使用颜色技术。在此配置内，必须已知投影仪相对于摄像头的姿态和光学参数以提供准确的3d表面重建。结构化光模块1012可被出厂校准，使得跟踪和获取的3d表面在同一参考中表达。
[0210]
在另一实施例中，可以由结构化光模块1012以随机或伪随机模式投射光，例如通过投射随机或伪随机点，图12中示出它的一个示例。这些点由摄像头看到，并且可以应用立体重建技术来检索3d表面。将结构化光模块1012包括在光学跟踪系统115内或与光学跟踪系统集成的优点包括光学模块1011a和1011b的摄像头可以用于跟踪基准和重建3d表面两者，使得两个数据捕获都隐含地表示在同一参考内，并且光学跟踪系统115可以同时、依序或交错地执行跟踪和表面采集。
[0211]
在一些实施例中，光学跟踪系统115是cass 100设置的一部分，并且结构化光模块1012用于在配准过程期间捕获患者的解剖结构的3d表面。替代地，可以使用被跟踪的探针获取一些点来完成捕获的表面。感兴趣区域还可以用探针或通过对光学模块1011a和1011b的摄像头获取的图像进行图像处理来界定。
[0212]
在一些实例中，结构化光模块1012用于重建患者的3d解剖结构。组合跟踪(例如，固定到解剖结构的标记或粘在皮肤上的基准)允许捕获在已知参考中的多个扫描。这些实例使得能够利用在同一位置进行的多个扫描来致密化3d重建表面，拼接不同的3d扫描以获得解剖结构的更完整的重建，和/或检索移动解剖结构的3d序列。患者解剖结构的动态3d重建可用于多种应用，范围包括定义与解剖结构匹配的假体尺寸，配准，更好地原位定义计量信息(例如，肿瘤大小，可以在重建的3d表面上直接限定矫正的尺寸)，提供用于在手术室或其它手术环境中快速原型制作的3d网格，和/或在神经科学应用中定位和数字化任何坐标系中的电极/传感器。
[0213]
在一些实例中，链接到被导航手术系统(例如,cass 100)的结构化光模块1012可用于对手术室进行数字化。在这些实例中，来自光学跟踪系统115的广泛数据(例如，标记姿态、来自光学模块1011a和1011b的原始图像和/或3d重建表面)连同外部传感器可以用于深度学习算法中。此类应用的实例包括教导手术机器人自动执行手势/动作，在原始图像内自动分割解剖结构以更好地定义解剖区域(例如，在配准过程期间)，自动分析手术工作流以分析外科医生的效率；和/或自动记录用于质量、保险等的操作。
[0214]
在又一些其它实施例中，结构化光模块1012连同由光学模块1011a和1011b获得的原始图像可以用作人机交互(hci)装置。在此配置中，检测操作员，并且操作员可以通过手势或身体姿势与cass 100交互，所述手势或身体姿势可以用于控制例如手术工作流而非踏板。在另一个实例中，用户可以通过虚拟鼠标控制直接与cass 100的图形用户界面(gui)交互。
[0215]
在一些实例中，结构化光模块1012可以刚性地固定到光学跟踪系统115，如图10中所示。在其它实例中，结构化光模块1012可以与具有固定标记的单独手持式装置成一体。在此配置中，光学跟踪系统115跟踪手持装置上的标记和位于患者身上的参考标记。在又一些其它实例中，可仅使用结构化光装置以无标记方式操作导航。
[0216]
本文公开的光学跟踪系统115的一个优点是提供现有cass 100应用程序的无缝改进，而不需要新的硬件。另一个优点是在结构光模块1012内使用相同摄像头进行光学跟踪和3d表面采集。本文所公开的实施例减少了相对于光学跟踪系统115校准结构化光模块1012的需要。此外，例如，在光学跟踪系统115中具有结构化光模块1012使得能够实现有助于手术室的数字化的额外应用，包括更快和/或自动配准过程、在手术程序期间获取解剖结构以就最佳植入物提供建议，或在手术操作期间设计和/或制造植入物/矫正。
[0217]
图13示出了可以在其中实施示例性实施例的各方面的示例性数据处理系统1300的框图。数据处理系统1300是计算机的示例，例如服务器或客户端，实现本发明的示例性实施例的过程的计算机可用代码或指令位于其中。在一些实施例中，数据处理系统1300可以是服务器计算装置。例如，数据处理系统1300可以在可操作地连接到如上所述的cass 100的服务器或另一类似计算装置中实施。数据处理系统1300可以被配置成例如传输和接收与患者有关的信息和/或与cass 100相关的手术计划。因此，数据处理系统1300可以是手术计算机150，或者在某些实例中与手术计算机成一体。在其它实例中，数据处理系统1300可与光学跟踪系统115集成或通信耦合到光学跟踪系统，且其它类型的部署也可用于其它实例中。
[0218]
在所描绘的示例中，数据处理系统1300可以采用集线器架构，所述集线器架构包括北桥和存储器控制器集线器(nb/mch)1301以及南桥和输入/输出(i/o)控制器集线器(sb/ich)1302。处理单元1303、主存储器1304和图形处理器1305可以连接到nb/mch 1301。图形处理器1305可以通过例如加速图形端口(agp)连接到nb/mch 1301。
[0219]
在所描绘的示例中，网络适配器1306连接到sb/ich 1302。音频适配器1307、键盘和鼠标适配器1308、调制解调器1309、只读存储器(rom)1310、硬盘驱动器(hdd)1311、光学驱动器(例如，cd或dvd)1312、通用串行总线(usb)端口和其它通信端口1313，以及pci/pcie装置1314可通过总线系统1316连接到sb/ich 1302。pci/pcie装置1314可以包括以太网适配器、附加卡和笔记本电脑的pc卡。rom 1310可以是例如闪存基本输入/输出系统(bios)。hdd 1311和光学驱动器1312可以使用集成驱动器电子器件(ide)或串行高级技术附件(sata)接口。超级i/o(sio)装置1315可以连接到sb/ich 1302。
[0220]
操作系统可以在处理单元1303上运行。操作系统可以协调并提供对数据处理系统1300内的各个部件的控制。作为客户端，操作系统可以是可商购的操作系统。诸如javatm编程系统的面向对象的编程系统可以与操作系统一起运行，并从面向对象的程序或在数据处理系统1300上执行的应用程序向操作系统提供调用。作为服务器，数据处理系统1300可以是运行高级交互式executive操作系统或linux操作系统的eservertm数据处理系统1300可以是对称多处理器(smp)系统，其可以在处理单元1303中包括多个处理器。替代地，可以采用单处理器系统。
[0221]
用于操作系统、面向对象的编程系统以及应用程序或程序的指令位于诸如hdd 1311的存储装置上，并且被加载到主存储器1304中以由处理单元1303执行。本文所述的实施例的过程可以由处理单元1303使用计算机可用程序代码执行，所述计算机可用程序代码可以位于诸如主存储器1304、rom 1310的存储器中，或位于一个或多个外围设备中。
[0222]
总线系统1316可以由一个或多个总线构成。可以使用任何类型的通信构造或架构来实施总线系统1316，所述通信构造或架构可以提供在附接到该构造或架构的不同部件或装置之间的数据传输。诸如调制解调器1309或网络适配器1306的通信单元可以包括可用于传输和接收数据的一个或多个装置。
[0223]
虽然已公开了结合本教导的原理的各种示例性实施例，但是本教导不限于所公开的实施例。相反，本技术旨在涵盖本教导的任何变型、使用或更改，并使用其一般原理。此外，本技术旨在涵盖属于这些教导所属领域中的已知或习惯实践内的对本公开的偏离。
[0224]
在以上详细描述中，参考形成其一部分的附图。在附图中，除非上下文另外规定，
类似符号通常标识类似的部件。本公开中描述的说明性实施例并不意味着是限制性的。可以使用其它实施例，并且可以在不脱离本文所呈现的主题的精神或范围的情况下进行其它改变。容易理解的是，本公开的各种特征(如本文大体上描述并在附图中图示的)可以被布置、取代、组合、分离和设计成各种各样的不同构型，这些构型全部在本文中明确设想。
[0225]
本公开不限于本技术中所描述的特定实施例方面，其旨在作为各种特征的说明。在不脱离本领域技术人员显然明白的精神和范围的情况下，可以进行许多修改和变化。根据前述描述，本公开的范围内的功能等效方法和设备(除本文中所列举的那些之外)对于本领域技术人员将显而易见。应当理解，本公开不限于特定的方法、试剂、化合物、组合物或生物系统，其当然可以变化。还应理解，本文中所使用的术语仅用于描述特定实施例的目的，而不意图是限制性的。
[0226]
关于本文中基本上任何复数和/或单数术语的使用，本领域技术人员可以根据上下文和/或应用酌情从复数转换成单数和/或从单数转换为复数。为了清楚起见，各种单数/复数排列可在本文中明确阐述。
[0227]
本领域的技术人员应理解，一般来说，本文中所使用的术语通常意图为“开放性”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等等)。虽然各种组合物、方法和装置按照“包括”各种部件或步骤(解释为意为“包括但不限于”)描述，但组合物、方法和装置还可“基本上由各种部件和步骤组成”或“由各种部件和步骤组成”，并且此类术语应解释为定义基本上封闭的构件组。
[0228]
另外，即使明确叙述特定数目，本领域的技术人员将认识到，此类叙述应解释为意指至少所叙述的数字(例如，无其它修饰词只叙述“两个叙述物”，意味着至少两个叙述物或两个或更多个叙述物)。此外，在使用类似于“a、b和c等中的至少一个”的用语的那些情况下，一般来说，这种构造意在本领域技术人员将理解该用语的意义(例如，“具有a、b和c中的至少一个的系统”将包括但不限于只具有a、只具有b、只具有c、一起具有a和b、一起具有a和c、一起具有b和c和/或一起具有a、b和c的系统，等等)。在使用类似于“a、b或c等中的至少一个”的用语的那些情况下，一般来说，这种构造意在本领域技术人员将理解该用语的意义(例如，“具有a、b或c中的至少一个的系统”将包括但不限于只具有a、只具有b、只具有c、一起具有a和b、一起具有a和c、一起具有b和c和/或一起具有a、b和c的系统，等等)。本领域技术人员还将理解，不管在说明书、样品实施例或者附图中，呈现两个或更多个替代术语的几乎任何转折词和/或短语都应理解为考虑了包括术语之一、术语中任一个或两个术语的可能性。例如，短语“a或b”将理解为包括“a”或“b”或“a和b”的可能性。
[0229]
另外，在根据马库什组描述本公开的特征的情况下，本领域的技术人员将认识到，本公开还根据马库什组的任何个别成员或成员的子组描述。
[0230]
本领域技术人员将理解，出于任何和所有目的，例如就提供书面描述而言，本文公开的所有范围还涵盖任何可能的子范围和所有可能的子范围及其子范围的组合。任何列出的范围可被容易地认为是充分描述并且实现分解为至少相等的二分之一、三分之一、四分之一、五分之一、十分之一等等的相同范围。作为非限制性示例，本文中论述的每个范围可以容易地分解为下三分之一、中三分之一和上三分之一等等。本领域技术人员还将理解，诸如“达”、“至少”等的所有语言包括叙述的数字，并且指可以随后如上所述分解成子范围的
范围。最后，所属领域的技术人员将理解，范围包括每个个别成员。因此，例如，具有1-3个细胞的基团是指具有1、2或3个细胞的基团。类似地，具有1-5个细胞的基团是指具有1、2、3、4或5个细胞的基团，诸如此类。
[0231]
如本文所用，术语“约”是指数值量的变化，该变化例如可以通过在现实世界中的测量或处理程序，通过这些程序中的无意错误，通过组合物或试剂的制造、来源或纯度方面的差异等而发生。通常，本文所用的术语“约”是指大于或小于由所述值的1/10(例如，
±
10％)表示的值或值的范围。术语“约”还指的是本领域技术人员可以理解为等同的变体，只要这样的变体不包含现有技术实践的已知值即可。术语“约”之后的每个值或值的范围也意图涵盖所述绝对值或值的范围的实施例。无论是否被术语“约”修饰，在本公开中所引用的定量值包括与所引用的值的等同物，例如，可能发生的这样的值的数值变化，但是本领域技术人员将认识到等同物。
[0232]
以上公开的各种特征和功能以及其替代方案可以组合成许多其它不同的系统或应用。本领域的技术人员随后可以进行各种目前不可预见或非预期的替代方案、修改、变化或改进，其中的每一个也旨在由所公开的实施例涵盖。