使用机器人手术数据进行训练的制作方法

使用机器人手术数据进行训练
1.相关申请
2.本技术要求美国临时专利申请62/801245(提交于2019年2月5日)、62/801257(提交于2019年2月5日)、62/864663(提交于2019年6月21日)、62/885673(提交于2019年8月12日)和62/939946(提交于2019年11月25日)的优先权，所述专利申请整体并入本文。
技术领域
3.本公开总体上涉及与计算机辅助手术系统有关的方法、系统和设备，所述计算机辅助手术系统包括一起工作以增强手术流程的各种硬件和软件部件。所公开的技术可以应用于例如肩关节、髋关节和膝关节置换术。


背景技术：

4.常见类型的关节置换术，例如部分膝关节置换术(pka)、全膝关节置换术(tka)或全髋关节置换术(tha)利用手术计划来限定一个或多个预定切割平面以切除骨骼，以适应膝关节或髋关节植入物/置换关节的植入取向和位置(姿态)。通过根据手术计划切除骨，可以将患者骨成形为标准化的、计划方式，以接受具有给定姿态的关节置换植入物。关节置换植入物的确切取向和位置通常根据在开始手术之前制定的手术计划来规划。然而，外科医生将经常基于所收集的关于患者关节的信息来在手术室中修改计划。存在各种系统来改进手术计划和工作流，但仍然有改进的余地。


技术实现要素：

5.提供此发明内容是为了符合37c.f.r.
§
1.73，需要本发明的发明内容简要地说明本发明的性质和实质。要理解，提出它不是用于解释或限制本公开的范围或含义。
6.公开了一种利用机器人手术数据提供手术训练的方法。所述方法包括由计算装置从计算机辅助手术系统的一个或多个部件收集与手术程序有关的数据。所述一个或多个部件中的至少一个部件是机器人控制的手术装置。基于从所述计算机辅助手术系统的一个或多个部件收集的数据和提供患者的解剖结构的视觉描绘的一个或多个图像来生成表示所述手术程序的图形描绘。将图形用户界面输出到显示装置。所述图形用户界面包括所述手术程序的图形描绘和从所述计算机辅助手术系统的一个或多个部件收集的数据，以提供手术训练。
7.根据某些实施例，所述图形描绘包括术前或术中收集以提供所述患者的解剖结构的各种视图的一个或多个图像。
8.根据某些实施例，所述图形描绘基于所述患者的解剖结构的三维模型。
9.根据某些实施例，图形用户界面被配置成允许用户选择性地查看从所述计算机辅助手术系统的一个或多个部件收集的数据。
10.根据某些实施例，所收集的数据被组织成可选模块，其中所述模块基于所述手术程序的一个或多个方面是可选择的。
11.根据某些实施例，所述图形用户界面在所述手术程序期间实时输出到所述显示装置。
12.根据某些实施例，所述一个或多个图像基于在所述手术程序期间由外科医生穿戴的增强现实头戴件获得的图像。
13.根据某些实施例，所收集的数据包括用于在所述手术程序中使用的机器人臂的位置或取向数据。
14.根据某些实施例，所述图形用户界面提供不同颜色以显示与所述手术计划的偏差。
15.根据某些实施例，所述方法还包括生成所述手术程序的多个图形描绘。基于所述多个图形描绘提供所述手术程序的回放视频。
16.根据某些实施例，所述方法还包括获得所述患者的术后数据。确定所述手术程序的一种或多种并发症，识别所述手术程序的回放视频中的一种或多种并发症。
17.根据某些实施例，机器人控制元件包括切除装置。
18.根据某些实施例，所收集的数据包括用于所述切除装置的测量扭矩、音频签名和测量位移中的一者或多者。
19.根据某些实施例，所述方法还包括通过通信网络向远程显示装置提供所述图形用户界面。
附图说明
20.各种实施例通过举例在附图的图中示出。此类实施例是示例性的，并且不旨在是本发明主题的详尽或排他性实施例。
21.图1示出了用于一些实施例的示例性计算机辅助手术系统；
22.图2a示出了根据一些实施例的可由手术计算机使用的一些控制指令的实例；
23.图2b示出了根据一些实施例的可由手术计算机使用的一些数据的实例；
24.图2c是示出根据一些实施例的由手术计算机使用的基于云的系统的实例的系统图；
25.图3a提供了根据一些实施例的手术计算机可以生成如何推荐的高级概述；
26.图3b示出了根据一些实施例的示例性植入物放置界面；
27.图3c示出了根据一些实施例的示例性间隙规划界面；
28.图3d示出了根据一些实施例的示例性优化参数化界面；
29.图3e示出了根据一些实施例的示例性响应和理由界面；
30.图4提供了系统图，其示出根据一些实施例的可以如何执行手术参数的优化；
31.图5a
‑
f提供了根据一些实施例的膝盖预测方程的概述；
32.图6是示出根据一些实施例的可以执行方程组优化的过程的流程图；
33.图7a
‑
1、7a
‑
2、7a
‑
3和7b提供了用于一些实施例的示例性用户界面的概述；
34.图8提供了用于一些实施例的示例性手术患者护理系统的概述；
35.图9提供了用于一些实施例的机器学习算法的概述；
36.图10是示出用于一些实施例的示例性手术患者护理系统的操作的流程图；
37.图11a
‑
b是示出用于一些实施例的示例性手术患者护理系统的操作的流程图；
38.图11c
‑
1、11c
‑
2和11c
‑
3提供了用于一些实施例的用于植入物放置的示例性用户界面的概述；
39.图12a
‑
12c提供了用于一些实施例的解剖建模软件可使用以可视地描绘建模髋关节活动的结果的一些输出；
40.图12d提供了用于一些实施例的髋关节植入物的示例性可视化；
41.图13提供了在一些实施例中的增强现实可视化的实例；
42.图14是示出用于一些实施例的增强现实可视化系统的系统图；
43.图15是示出用于一些实施例的增强现实系统的操作的流程图；
44.图16是示出用于一些实施例的增强现实可视化系统的系统图；
45.图17a提供了在一些实施例中的增强现实可视化的实例；
46.图17b提供了在一些实施例中的三维可视化的实例；
47.图18a提供了在一些实施例中的三维可视化的实例；
48.图18b提供了在一些实施例中的三维可视化的实例；
49.图19提供了用于一些实施例的膝部部件可视化的三维模型的实例；
50.图20是示出用于一些实施例的示例性计算系统的系统图；
51.图21是示出用于一些实施例的示例性计算系统的系统图；
52.图22是在一些实施例中可以使用的髋关节几何形状的解剖图；
53.图23a
‑
b是可在一些实施例中使用的x射线图像内的髋关节几何形状的图；
54.图24是示出用于一些实施例的用于提取解剖标志和基于建模性能确定手术计划的示例性过程的流程图；
55.图25是描绘用于一些实施例的髋关节几何形状的示例性值的表；
56.图26a
‑
d是用于一些实施例的示例性用户界面；
57.图27描绘了用于给定几何形状的不同选定活动的模型结果的示例性组合，以显示聚合结果；
58.图28是示出用于一些实施例的用于基于建模性能创建统计模型数据库以帮助确定手术计划的示例性方法的流程图；
59.图29是示出用于一些实施例的用于使用统计模型数据库基于建模性能来创建手术计划的示例性方法的流程图；
60.图30是示出用于一些实施例的用于使用统计模型数据库基于建模性能来修改手术计划的示例性方法的流程图；
61.图31是一对注释的x射线图像，其示出在一些实施例中可以使用的示例性膝关节几何形状；
62.图32是用于一些实施例的手术系统的示例性实施例的系统图；
63.图33是使用本文公开的一些技术的手术场景的视图；以及
64.图34a
‑
b示出了在不同屈曲度下测量患者膝关节的过程。
具体实施方式
65.本公开不限于所描述的特定系统、装置和方法，因为其可以变化。描述中使用的术语仅用于描述特定版本或实施例的目的，而不旨在限制范围。
66.如本文件中所使用，除非上下文另外明确规定，否则单数形式“一个”、“一种”和“该/所述”包括复数指代。除非另有定义，否则本文所使用的所有科技术语具有与本领域普通技术人员通常所理解的相同含义。本公开中的任何内容均不应被解释为承认本公开中描述的实施例由于在前发明而无权把本公开的日期提前。如本文件中所使用，术语“包括”意指“包括但不限于”。
67.所公开的装置特别好地适合于利用手术导航系统(例如手术导航系统)的手术程序。这样的程序可以包括膝关节置换和/或翻修手术以及肩关节和髋关节手术。navio是宾夕法尼亚州匹兹堡的blue belt technologies公司的注册商标，该公司是田纳西州孟菲斯的smith＆nephew公司的子公司。
68.定义
69.出于本公开的目的，术语“植入物”用于指代制造成置换或增强生物结构的假体装置或结构。例如，在全髋关节置换手术中，使用假体髋臼杯(植入物)置换或增强患者的磨损或损坏的髋臼。虽然术语“植入物”通常被认为表示人造结构(与移植形成对比)，但是出于本说明书的目的，植入物可包括移植以置换或增强生物结构的生物组织或材料。
70.出于本公开的目的，术语“实时”用于指代事件发生或可操作系统接收到输入时即时执行的计算或操作。然而，术语“实时”的使用并不旨在排除在输入和响应之间引起某些延迟的操作，只要延迟是机器的性能特性引起的意外结果即可。
71.尽管本公开中的许多内容涉及按特定职衔或角色的外科医生或其他医疗专家，但本公开中的任何内容都不旨在限于特定的职衔或职能。外科医生或医学专家可以包括任何医生、护士、医学专家或技师。这些术语或职位中的任何一个都可以与本文公开的系统的用户互换使用，除非另有明确规定。例如，在一些实施例中，对外科医生的引用也可以适用于技师或护士。
72.cass生态系统概述
73.图1提供了根据一些实施例的示例计算机辅助手术系统(cass)100的图示。如以下各节中进一步详细所述，cass使用计算机，机器人和成像技术来帮助外科医生执行骨科手术程序，例如全膝关节置换术(tka)或全髋关节置换术(tha)。例如，手术导航系统可以帮助外科医生以高精度定位患者的解剖结构、引导手术器械以及植入医疗装置。诸如cass 100的手术导航系统经常采用各种形式的计算技术来执行各种各样的标准和微创手术程序和技术。而且，这些系统允许外科医生更准确地计划、跟踪和导航相对于患者身体的器械和植入物的位置，以及进行术前和术中身体成像。
74.执行器平台105在手术期间相对于患者定位手术工具。执行器平台105的确切部件将根据所采用的实施例而变化。例如，对于膝手术，执行器平台105可以包括在其使用期间保持手术工具或器械的末端执行器105b。末端执行器105b可以是外科医生使用的手持式装置或器械(例如手持件或切割引导件或夹具)，或者替代地，末端执行器105b可以包括由机器人臂105a保持或定位的装置或器械。尽管在图1中示出了一个机器人臂105a，但在一些实施例中，可以有多个装置。作为示例，在手术台的每一侧上可以有一个机器人臂105a或者在手术台的一侧上有两个装置。机器人臂105a可以直接安装到手术台，位于手术台旁边地板平台(未示出)上，安装在落地杆上，或安装在手术室的墙壁或天花板上。地板平台可以是固定的或可移动的。在一个特定实施例中，机器人臂105a安装在位于患者的腿或
脚之间的落地杆上。在一些实施例中，末端执行器105b可以包括缝合线保持器或吻合器以帮助闭合伤口。此外，在两个机器人臂105a的情况下，手术计算机150可以驱动机器人臂105a一起工作以在闭合时缝合伤口。替代地，手术计算机150可以驱动一个或多个机器人臂105a以在闭合时缝合伤口。
75.执行器平台105可以包括用于在手术期间定位患者的肢体的肢体定位器105c。肢体定位器105c的一个示例是smith and nephew spider2
tm
系统。肢体定位器105c可以由外科医生手动操作，或者替代地，基于从手术计算机150(以下描述)接收到的指令来改变肢体位置。尽管在图1中示出了一个肢体定位器105c，但在一些实施例中可以有多个装置。作为示例，在手术台的每一侧上可以有一个肢体定位器105c或者在手术台的一侧上有两个装置。肢体定位器105c可以直接安装到手术台，位于手术台旁边地板平台(未示出)上，安装在杆上，或安装在手术室的墙壁或天花板上。在一些实施例中，肢体定位器105c可以以非常规方式使用，例如牵开器或特定的骨保持器。作为示例，肢体定位器105c可以包括脚踝靴、软组织夹、骨夹或软组织牵开器匙，例如钩形、弯曲或成角的刀片。在一些实施例中，肢体定位器105c可以包括缝线保持器以辅助闭合伤口。
76.执行器平台105可以包括工具，如螺丝刀，指示轴线或平面的光或激光，水准仪，销钉驱动器，销钉拔出器，平面检查器，指示器，指状件，或它们的某种组合。
77.切除设备110(图1中未示出)使用例如机械、超声或激光技术执行骨或组织切除。切除设备110的示例包括钻孔装置、去毛刺装置、振荡锯切装置、振动冲击装置、铰刀、超声骨切割装置、射频消融装置、往复运动装置(例如锉刀或拉刀)，以及激光消融系统。在一些实施例中，切除设备110在手术期间由外科医生保持和操作。在其他实施例中，执行器平台105可以用于在使用期间保持切除设备110。
78.执行器平台105还可以包括切割引导件或夹具105d，其用于引导在手术期间用于切除组织的锯或钻。这样的切割引导件105d可以一体地形成为执行器平台105或机器人臂105a的一部分，或者切割引导件可以是可以配合地和/或可移除地附接到执行器平台105或机器人臂105a的独立结构。可以由cass 100控制执行器平台105或机器人臂105a，以根据术前或术中制定的手术计划将切割引导件或夹具105d定位在患者的解剖结构附近，使得切割引导件或夹具将根据手术计划产生精确的骨切割。
79.跟踪系统115使用一个或多个传感器来收集定位患者的解剖结构和手术器械的实时位置数据。例如，对于tka程序，跟踪系统115可以在程序期间提供末端执行器105b的位置和取向。除了位置数据之外，来自跟踪系统115的数据还可以用于推断解剖结构/器械的速度/加速度，其可以用于工具控制。在一些实施例中，跟踪系统115可以使用附接到末端执行器105b的跟踪器阵列来确定末端执行器105b的位置和取向。可以基于跟踪系统115的位置和取向以及跟踪系统115和末端执行器105b之间的三维空间中的已知关系来推断末端执行器105b的位置。在本发明的各种实施例中可以使用各种类型的跟踪系统，包括但不限于红外(ir)跟踪系统、电磁(em)跟踪系统、基于视频或图像的跟踪系统以及超声配准和跟踪系统。使用由跟踪系统115提供的数据，手术计算机150可以检测对象并防止碰撞。例如，手术计算机150可以防止机器人臂105a与软组织碰撞。
80.任何合适的跟踪系统都可以用于跟踪手术室中的手术对象和患者解剖结构。例如，可以在阵列中使用红外和可见光相机的组合。各种照明源(例如红外led光源)可以照亮
场景，从而可以进行三维成像。在一些实施例中，这可以包括立体，三视，四视等成像。除了在一些实施例中固定到推车的相机阵列之外，还可以在整个手术室中放置附加相机。例如，操作者/外科医生穿戴的手持式工具或头戴件可以包括将图像传回中央处理器以将那些图像与相机阵列获取的图像相关的成像功能。这可以为使用多个视角进行建模的环境提供更鲁棒的图像。此外，一些成像装置可以在场景上具有合适的分辨率或具有合适的视角以拾取存储在快速响应(qr)代码或条形码中的信息。这有助于识别未用系统手动配准的特定对象。在一些实施例中，相机可以被安装在机器人臂105a上。
81.在一些实施例中，外科医生可以在术前或术中用系统手动配准特定对象。例如，通过与用户界面交互，外科医生可以识别工具或骨结构的起始位置。通过跟踪与该工具或骨结构相关的基准标记，或者通过使用其他常规图像跟踪方式，处理器可以在工具或骨在三维模型中移动通过环境时对其进行跟踪。
82.在一些实施例中，诸如在手术室中识别个人、重要工具或骨的基准标记的某些标记物可以包括可以由与跟踪系统关联的相机或相机阵列拾取的被动或主动标识。例如，红外led可以闪烁图案，所述图案将唯一的标识传达给该图案的来源，从而提供动态识别标记。类似地，一维或二维光学代码(条形码、qr代码等)可以固定到手术室的对象以提供基于图像分析可以发生的被动识别。如果这些代码非对称地放置在对象上，则它们也可以用于通过将标识的位置与图像中对象的范围进行比较来确定对象的取向。例如，可以将qr码放置在工具托盘的角部中，从而允许跟踪该托盘的方向和标识。其他跟踪方式将在全文中进行说明。例如，在一些实施例中，外科医生和其他人员可以穿戴增强现实头戴件以提供附加的相机角度和跟踪能力。
83.除了光学跟踪外，还可以通过配准对象的物理性质并将其与可以跟踪的对象(例如固定到工具或骨的基准标记)关联来跟踪对象的某些特征。例如，外科医生可以执行手动配准过程，由此被跟踪工具和被跟踪骨可以相对于彼此被操纵。通过将工具的尖端撞击骨的表面，可以为该骨标绘三维表面，所述三维表面与相对于该基准标记的参考系的位置和取向关联。通过光学跟踪与该骨关联的基准标记的位置和取向(姿态)，可以通过外推法在环境中跟踪该表面的模型。
84.将cass 100配准到患者的相关解剖结构的配准过程还可能涉及使用解剖学标志，例如骨或软骨上的标志。例如，cass 100可以包括相关骨或关节的3d模型，并且外科医生可以使用连接到cass的探针在术中收集有关患者实际骨上的骨标志的位置的数据。骨标志可以包括例如内踝和外踝，股骨近端和胫骨远端的端部，以及髋关节的中心。cass 100可以将外科医生用探针收集的骨标志的位置数据与3d模型中相同标志的位置数据进行比较和配准。替代地，cass 100可以通过使用由外科医生使用cass探针或其他手段收集的骨标志和骨表面的位置数据来构建没有术前图像数据的骨或关节的3d模型。配准过程还可以包括确定关节的各个轴。例如，对于tka，外科医生可以使用cass 100来确定股骨和胫骨的解剖和机械轴。外科医生和cass 100可以通过在螺旋方向上移动患者的腿部(即，环转)来识别髋关节的中心，以便cass可以确定髋关节中心的位置。
85.组织导航系统120(图1中未示出)为外科医生提供手术区域周围的患者的骨、软骨、肌肉、神经和/或血管组织的术中实时可视化。可以用于组织导航的系统的示例包括荧光成像系统和超声系统。
100。验证步骤还可以利用股骨近端和远端检查点。cass 100可以利用颜色提示或其他提示来通知外科医生有关骨和机器人臂105a或末端执行器105b的配准过程已在一定程度的精度上(例如，在1mm内)被验证。
92.对于tha，cass 100可以包括使用股骨阵列的拉刀跟踪选择，以允许外科医生在术中获取拉刀的位置和取向并计算患者的髋长度和偏移值。根据提供的有关患者髋关节的信息以及在完成拉刀跟踪后计划的植入物位置和取向的信息，外科医生可以对手术计划进行修改或调整。
93.对于机器人辅助tha，cass 100可以包括连接或附接到机器人臂105a或末端执行器10sb的一个或多个动力铰刀，其根据手术计划准备骨盆骨以接收髋臼植入物。机器人臂105a和/或末端执行器105b可以通知外科医生和/或控制铰刀的动力，以确保根据手术计划切除(铰孔)髋臼。例如，如果外科医生根据手术计划试图在要切除的骨的边界之外切除骨，则cass 100可以切断铰刀的电源或指示外科医生切断铰刀的电源。cass 100可以为外科医生提供选择以关闭或脱离铰刀的机器人控制。与使用不同颜色的手术计划相比，显示器125可以示出正被切除(铰孔)的骨的进度。外科医生可以查看正被切除(铰孔)的骨的显示以根据手术计划引导铰刀完成铰孔。cass 100可以向外科医生提供视觉或听觉提示以警告外科医生正在进行不符合手术计划的切除。
94.在铰孔之后，cass 100可以采用附接到或连接到机器人臂105a或末端执行器105b的手动或动力冲击器以将试验植入物和最终植入物冲击到髋臼中。机器人臂105a和/或末端执行器105b可以用于引导冲击器以根据手术计划将试验植入物和最终植入物冲击到髋臼中。cass 100可以使试验植入物和最终植入物相对于骨的位置和取向被显示以告知外科医生如何将试验植入物和最终植入物的取向和位置与手术计划进行比较，显示器125可以在外科医生操纵腿部和髋部时显示植入物的位置和取向。如果外科医生对初始植入物位置和取向不满意，则通过准备新的手术计划，cass 100可以为外科医生提供重新计划以及重做铰孔和植入物冲击的选择。
95.术前，cass 100可以基于髋关节的三维模型和患者特定的其他信息(例如腿骨的机械和解剖轴，上髁轴，股骨颈轴，股骨和髋的尺寸(例如，长度)，髋关节的中线轴，髋关节的asis轴，以及诸如小转子标志，远侧标志和髋关节旋转中心的解剖学标志的位置)来制定拟议的手术计划。cass制定的手术计划可以根据髋关节的三维模型和患者特定的其他信息提供建议的最佳植入物尺寸以及植入物的位置和取向。cass制定的手术计划可以包括有关偏移值、倾斜度和前倾值、旋转中心、杯尺寸、中度值、上下配合度、股骨柄尺寸和长度的建议细节。
96.对于tha，可以在术前和术中查看cass制定的手术计划，而外科医生可以在术前或术中修改cass制定的手术计划。cass制定的手术计划可以显示计划的髋关节切除，并根据计划的切除将计划的植入物叠加到髋关节上。cass 100可以为外科医生提供不同手术流程的选择，所述选择将根据外科医生的喜好显示给外科医生。例如，外科医生可以基于被检查和获取的解剖标志的数量和类型和/或在配准过程中使用的跟踪器阵列的位置和数量，从不同的工作流程进行选择。
97.根据一些实施例，与cass 100一起使用的动力冲击装置可以以各种不同的设置来操作。在一些实施例中，外科医生通过手动开关或动力冲击装置上的其他物理机构来调整
设置。在其他实施例中，可以使用数字接口，所述数字接口允许例如经由动力冲击装置上的触摸屏进行设置输入。这样的数字接口可以允许可用设置基于例如连接到电力附接装置的附接件的类型而变化。在一些实施例中，可以通过与cass 100内的机器人或其他计算机系统通信来改变设置，而不是调整动力冲击装置本身上的设置。可以使用例如动力冲击装置上的蓝牙或wi
‑
fi联网模块来建立这样的连接。在另一实施例中，冲击装置和端部件可以包含允许冲击装置知道什么端部件(杯冲击器，拉刀手柄等)被附接的特征而外科医生不需要采取任何动作，并相应地调整设置。这可以例如通过qr码、条形码、rfid标签或其他方法来实现。
98.可以使用的设置的示例包括杯冲击设置(例如，单向，指定频率范围，指定力和/或能量范围)；拉刀冲击设置(例如，双向/在指定频率范围内振荡，指定力和/或能量范围)；股骨头冲击设置(例如，以指定力或能量进行单向/单次打击)；以及干冲击设置(例如，在指定频率下以指定力或能量进行的单向)。另外，在一些实施例中，动力冲击装置包括与髋臼内衬冲击有关的设置(例如，以指定力或能量进行的单向/单次打击)。对于每种类型的内衬(例如，聚合、陶瓷、黑晶(oxinium)或其他材料)，可能会有多种设置。此外，动力冲击装置可以基于术前测试/成像/知识和/或外科医生的术中评估来提供针对不同骨质量的设置。在一些实施例中，动力冲击装置可以具有双重功能。例如，动力冲击装置不仅可以提供往复运动以提供冲击力，而且可以为拉刀或锉刀提供往复运动。
99.在一些实施例中，动力冲击装置包括反馈传感器，所述反馈传感器在器械使用期间收集数据，并将数据发送到计算装置，如装置内的控制器或手术计算机150。该计算装置然后可以记录数据以供以后分析和使用。可以收集的数据的示例包括但不限于声波、每种器械的预定共振频率、来自患者骨的反作用力或回弹能量、装置相对于配准的骨解剖结构的成像(例如，荧光、ct、超声、mri等)的位置，和/或骨上的外部应变计。
100.一旦收集到数据，计算装置就可以实时或接近实时地执行一种或多种算法以帮助外科医生执行手术程序。例如，在一些实施例中，计算装置使用所收集的数据来导出诸如正确的最终拉刀尺寸(股骨)的信息；当干完全就位(股骨侧)时；或当杯对于tha就位(深度和/或取向)时。一旦知道该信息，其可以显示以供外科医生查看，或者其可以用于激活触觉或其他反馈机构以指导手术程序。
101.此外，从前述算法导出的数据可以用于驱动装置的操作。例如，在用动力冲击装置插入假体髋臼杯期间，装置可以自动伸出冲击头(例如，末端执行器)，将植入物移动到适当的位置，或者一旦植入物完全就位就关闭装置的电源。在一个实施例中，导出的信息可以用于自动调整骨质量的设置，其中动力冲击装置应使用较少的动力来减轻股骨/髋臼/骨盆骨折或周围组织的损伤。
102.机器人臂
103.在一些实施例中，cass 100包括机器人臂105a，所述机器人臂用作稳定和保持手术程序期间使用的各种器械的接口。例如，在髋手术的情况下，这些器械可以包括但不限于牵开器、矢状或往复锯、铰刀手柄、杯冲击器、拉刀手柄和干插入器。机器人臂105a可以具有多个自由度(类似spider装置)，并且具有锁定到位的能力(例如，通过按下按钮、语音激活、外科医生从机器人臂移开手或其他方法)。
104.在一些实施例中，机器人臂105a的移动可以通过使用内置在机器人臂系统中的控
tensioning)”的pct/us2019/048502号中描述了在形成前交叉韧带(acl)移植隧道的情况下使用机器人臂的一个示例，其全部内容通过引用并入本文。
110.机器人臂105a可以用于保持牵开器。例如在一个实施例中，外科医生可以将机器人臂105a移动到期望位置。此时，机器人臂105a可以锁定到位。在一些实施例中，机器人臂105a被提供有关于患者位置的数据，使得如果患者移动，则机器人臂可以相应地调节牵开器位置。在一些实施例中，可以使用多个机器人臂，由此允许保持多个牵开器或同时执行一个以上的动作(例如，牵开器保持和铰孔)。
111.机器人臂105a还可以用于在制造股骨颈切口时帮助稳定外科医生的手。在该应用中，对机器人臂105a的控制可以施加某些限制以防止发生软组织损伤。例如，在一个实施例中，手术计算机150在机器人臂105a操作时跟踪其位置。如果跟踪的位置接近预测到组织损伤的区域，则可以向机器人臂105a发送命令以使其停止。替代地，在由手术计算机150自动控制机器人臂105a的情况下，手术计算机可以确保不向机器人臂提供导致其进入可能发生软组织损伤的区域的任何指令。手术计算机150可以对外科医生施加某些限制以防止外科医生铰孔到髋臼内侧壁中太深或以不正确的角度或取向铰孔。
112.在一些实施例中，机器人臂105a可以用于在杯冲击期间将杯冲击器保持在期望的角度或取向。当已达到最终位置时，机器人臂105a可以防止任何进一步的就位以防止损坏骨盆。
113.外科医生可以使用机器人臂105a将拉刀手柄定位在期望位置，并允许外科医生以期望取向将拉刀冲击到股骨管中。在一些实施例中，一旦手术计算机150接收到拉刀已完全就位的反馈，机器人臂105a可以限制手柄以防止拉刀进一步前进。
114.机器人臂105a还可以用于表面重修应用。例如，机器人臂105a可以在使用传统器械的同时稳定外科医生的手，并提供某些约束或限制以允许适当地放置植入部件(例如，导丝放置、倒角切割器、套筒切割器、平面切割器等)。在仅使用骨钻的情况下，机器人臂105a可以使外科医生的手持件稳定并且可以对手持件施加限制以防止外科医生违反手术计划而去除非期望的骨。
115.机器人臂105a可以是被动臂。作为示例，机器人臂105a可以是可从brainlab ag获得的cirq机器人臂。cirq是德国慕尼黑olof
‑
palme
‑
str.9 81829，brainlab ag的注册商标。在一个特定实施例中，机器人臂105a是智能握持臂，如在授予krinninger等人的美国专利申请第15/525,585号，授予nowatschin等人的美国专利申请第15/561,042号，授予nowatschin等人的美国专利第15/561,048号以及授予nowatschin等人的美国专利第10,342,636号中所公开，上述每个专利的全部内容通过引用并入本文。
116.手术程序数据的生成和收集
117.医疗专业人员为治疗临床状况而提供的各种服务统称为“护理期”。对于特定的外科手术，护理期可以包括三个阶段：术前、术中和术后。在每个阶段期间，都会收集或生成可用于分析护理期的数据，以便了解程序的各个方面并识别可用于例如在训练模型中以最少的人工干预即可做出决策的模式。在护理期收集的数据可以作为完整数据集存储在手术计算机150或手术数据服务器180(图2中示出)处。因此，对于每个护理期，存在一个数据集，所述数据集包括关于患者术前集体收集的所有数据，由cass 100术中收集或存储的所有数据，以及由患者或由监控患者的医疗专业人员提供的任何术后数据。
118.如进一步详细解释，在护理期中收集的数据可以用于增强手术程序的执行或提供对手术程序和患者结果的整体理解。例如，在一些实施例中，在护理期中收集的数据可以用于生成手术计划。在一个实施例中，在手术期间收集数据时，在术中完善高级的术前计划。以该方式，当通过cass 100的部件收集新数据时，可以将手术计划视为实时或近实时动态变化。在其他实施例中，可以使用术前图像或其他输入数据来术前制定在手术期间简单执行的鲁棒计划。在该情况下，由cass 100在手术期间收集的数据可用于提出建议，以确保外科医生处于术前手术计划之内。例如，如果外科医生不确定如何实现某些规定的切割或植入物对准，则可以向手术计算机150查询以得到建议。在另外的其他实施例中，可以组合术前和术中计划方案，使得可以在手术程序期间根据需要或期望动态修改完善的术前计划。在一些实施例中，患者解剖结构的基于生物力学的模型贡献模拟数据以在制定术前、术中和术后/康复程序中由cass 100考虑以优化患者的植入物性能结果。
119.除了改变手术程序本身之外，在护理期中收集的数据还可以用作其他手术辅助程序的输入。例如，在一些实施例中，可以使用护理期数据来设计植入物。在2011年8月15日提交的、标题为“用于骨科手术的参数优化的系统和方法(systems and methods for optimizing parameters for orthopaedic procedures)”的美国专利申请第13/814,531号；2012年7月20日提交的、标题为“用于优化植入物与解剖结构的配合的系统和方法(systems and methods for optimizing fit of an implant to anatomy)”的美国专利申请第14/232,958号；以及2008年9月19日提交的、标题为“用于提高性能的手术调节植入物(operatively tuning implants for increased performance)”的美国专利申请第12/234,444号中描述了用于设计、尺寸确定和配合植入物的示例数据驱动技术，上述专利的每一个的全部内容在此通过引用并入本专利申请。
120.此外，数据可用于教育、培训或研究目的。例如，使用下面在图2c中描述的基于网络的方案，其他医生或学生可以在界面中远程查看手术，从而使他们可以选择性地查看从cass 100各个部件收集的数据。在手术程序之后，可以使用类似的界面来“回放”手术以进行培训或其他教育目的，或找出手术中任何问题或并发症的根源。
121.术前阶段期获取的数据通常包括手术之前收集或生成的所有信息。因此，例如，可以从患者录入表或电子病历(emr)获取有关患者的信息。可以收集的患者信息的示例包括但不限于患者人口统计学、诊断、病史、病历记录、生命体征、病史信息、过敏和实验室检查结果。术前数据还可以包括与感兴趣的解剖区域有关的图像。这些图像可以例如使用磁共振成像(mri)、计算机断层摄影(ct)、x射线、超声或本领域已知的任何其他方式来获取。术前数据还可以包括从患者获取的生活质量数据。例如，在一个实施例中，术前患者使用移动应用程序(“app”)来回答关于他们当前生活质量的问卷。在一些实施例中，cass 100所使用的术前数据包括关于患者的人口统计学、人体测量学、文化或其他特定特征，其可以与活动水平和特定患者活动相符合以为患者定制手术计划。例如，某些文化或人口统计学的人可能更愿意使用每天蹲便的厕所。
122.图2a和2b提供了可以在护理期的术中阶段期间获取的数据的示例。这些示例基于以上参考图1描述的cass 100的各种部件；然而，应当理解，可以基于手术期间使用的设备的类型及其使用来使用其他类型的数据。
123.图2a示出了根据一些实施例的手术计算机150提供给cass 100的其他部件的一些
控制指令的示例。应当注意，图2a的示例假定执行器平台105的部件均由手术计算机150直接控制。在部件由外科医生111手动控制的实施例中，可以在显示器125或ar hmd 155(如图1中示出)上提供指令以指示外科医生111如何移动部件。
124.包括在执行器平台105中的各种部件由手术计算机150控制，所述手术计算机提供位置指令，所述位置指令指示该部件在坐标系内移动的位置。在一些实施例中，手术计算机150向执行器平台105提供指令，所述指令定义当执行器平台105的部件偏离手术计划时如何反应。这些命令在图2a中作为“触觉”命令被参考。例如，末端执行器105b可以提供力以抵抗在计划切除的区域之外的运动。执行器平台105可以使用的其他命令包括振动和音频提示。
125.在一些实施例中，机器人臂105a的末端执行器105b与切割引导件105d(如图1中示出)可操作地联接。响应于手术场景的解剖模型，机器人臂105a可以将末端执行器105b和切割引导件105d移动到适当位置以匹配根据手术计划要进行的股骨或胫骨切割的位置。这可以减少错误的可能性，从而允许视觉系统和利用该视觉系统的处理器实施手术计划，以将切割引导件105d放置在相对于胫骨或股骨的精确位置和取向以将切割引导件的切槽与要根据手术计划执行的切割对准。然后，外科医生可以使用任何合适的工具，例如振动或旋转锯或钻，以完美的放置和取向来执行切割(或钻孔)，原因是该工具在机械上受到切割引导件105d的特征限制。在一些实施例中，切割引导件105d可以包括一个或多个钉孔，在使用切割引导件执行患者组织的切除之前，外科医生使用所述钉孔来将切割引导件钻进和拧紧或钉扎到适当的位置。这可以释放机器人臂105a或确保切割引导件105d完全固定而不相对于要切除的骨移动。例如，该程序可以用于在全膝关节置换术期间制造股骨的第一远侧切口。在一些实施例中，在关节置换术是髋关节置换术的情况下，切割引导件105d可以固定到股骨头或髋臼以用于相应的髋关节置换术切除。应当理解，利用精确切口的任何关节置换术都可以以该方式使用机器人臂105a和/或切割引导件105d。
126.切除设备110提供有多种命令来执行骨或组织操作。与执行器平台105一样，位置信息可以被提供给切除设备110以指定在执行切除时应将其定位在何处。提供给切除设备110的其他命令可以取决于切除设备的类型。例如，对于机械或超声切除工具，命令可以指定工具的速度和频率。对于射频消融(rfa)和其他激光消融工具，这些命令可以指定强度和脉冲持续时间。
127.cass 100的一些部件不需要由手术计算机150直接控制；而是，手术计算机150仅需要激活部件，所述部件然后在本地执行软件以指定收集数据并将其提供给手术计算机150的方式。在图2a的示例中，有两个部件以该方式操作：跟踪系统115和组织导航系统120。
128.手术计算机150向显示器125提供外科医生111在手术期间所需的任何可视化。对于监视器，手术计算机150可以使用本领域已知的技术来提供用于显示图像、gui等的指令。显示器125可以包括手术计划的工作流程的各个方面。例如，在配准过程期间，显示器125可以显示术前构建的3d骨模型，并在外科医生使用探针收集患者身上的解剖学标志的位置时示出探针的位置。显示器125可以包括关于手术目标区域的信息。例如，结合tka，显示器125可以示出股骨和胫骨的机械和解剖轴。显示器125可以基于手术计划示出膝关节的内翻和外翻角，并且cass 100可以示出如果对手术计划进行预期的修正将如何影响这样的角。因此，显示器125是交互式接口，其可以动态地更新和显示对手术计划的改变将如何影响程序
以及安装在骨上的植入物的最终位置和取向。
129.随着工作流程进行到骨切割或切除的准备，显示器125可以在执行任何切割之前示出计划的或推荐的骨切割。外科医生111可以操纵图像显示以提供目标区域的不同解剖视角，并且可以具有基于患者的术中评估来改变或修正计划的骨切割的选择。显示器125可以示出如果执行计划的骨切割将如何将选定植入物安装在骨上。如果外科医生111选择改变先前计划的骨切割，则显示器125可以示出经修正的骨切割将如何改变安装在骨上时的植入物的位置和取向。
130.显示器125可以向外科医生111提供关于患者，计划的外科手术和植入物的各种数据和信息。可以显示各种患者特定的信息，包括有关患者健康的实时数据，例如心率、血压等。显示器125还可以包括有关手术目标区域的解剖结构的信息，包括标志的位置、解剖结构的当前状态(例如，是否进行了任何切除，计划和执行的骨切割的深度和角度)以及随着手术计划的进展的解剖结构的未来状态。显示器125还可以提供或示出关于手术目标区域的附加信息。对于tka，显示器125可以提供关于股骨和胫骨之间的间隙(例如，间隙平衡)以及如果执行计划的手术计划将如何改变这样的间隙的信息。对于tka，显示器125可以提供关于膝关节的附加相关信息，例如关于关节的张力(例如，韧带松弛)的数据以及关于关节的旋转和对准的信息。显示器125可以示出当膝关节屈曲时计划的植入物的定位和位置将如何影响患者。显示器125可以示出不同植入物的使用或不同尺寸的相同植入物的使用将如何影响手术计划，并预览这样的植入物将如何定位在骨上。cass 100可以在tka或tha中为每个计划的骨切除术提供这样的信息。在tka中，cass 100可以为一个或多个计划的骨切除术提供机器人控制。例如，cass 100只能为初始股骨远端切割提供机器人控制，并且外科医生111可以使用常规手段(例如4合1切割引导件或夹具105d)手动执行其他切除(前、后和倒角切割)。
131.显示器125可以采用不同的颜色来通知外科医生手术计划的状态。例如，可以以第一颜色显示未切除的骨，可以以第二颜色显示切除的骨，并且可以以第三颜色显示计划的切除。植入物可以叠加在显示器125中的骨上，并且植入物颜色可以改变或对应于不同类型或尺寸的植入物。
132.显示器125上示出的信息和选项可以根据所执行的手术程序的类型而变化。此外，外科医生111可以请求或选择与他或她的手术计划偏好匹配或一致的特定手术流程显示。例如，对于通常在tka中在股骨切割之前执行胫骨切割的外科医生111，显示器125和关联的工作流程可以适于考虑该偏好。外科医生111还可以预先选择从标准手术流程显示中包括或删除某些步骤。例如，如果外科医生111使用切除测量来最终确定植入计划，但在最终确定植入计划时不分析韧带间隙平衡，则可以将手术流程显示组织为模块，并且外科医生可以根据外科医生的喜好或特定手术的情况选择要显示的模块和提供模块的顺序。例如，涉及韧带和间隙平衡的模块可以包括切除前和切除后的韧带/间隙平衡，并且外科医生111可以根据在进行骨切除术之前或之后(或之前和之后)是否执行这种韧带和间隙平衡来选择将哪些模块包括在其默认手术计划工作流程中。
133.对于更专业的显示设备，例如ar hmd，手术计算机150可以使用设备支持的数据格式来提供图像、文本等。例如，如果显示器125是诸如microsoft hololens
tm
或magic leap one
tm
的全息设备，则手术计算机150可以使用hololens应用程序接口(api)来发送命令，所
述命令指定显示在外科医生111的视野中的全息图的位置和内容。
134.在一些实施例中，可以将一个或多个手术计划模型结合到cass 100中，并在提供给外科医生111的手术计划的制定中使用。术语“手术计划模型”是指模拟各种情况下的解剖结构的生物力学性能以确定执行切割和其他手术活动的最佳方式的软件。例如，对于膝关节置换手术，手术计划模型可以测量功能活动的参数，例如深屈膝、步态等，并选择膝上的切割位置以优化植入物放置。手术计划模型的一个示例是来自smith and nephew公司的lifemod
tm
仿真软件。在一些实施例中，手术计算机150包括允许在手术期间完全执行手术计划模型的计算架构(例如，基于gpu的并行处理环境)。在其他实施例中，手术计算机150可以通过网络连接到允许这种执行的远程计算机，例如手术数据服务器180(见图2c)。作为对手术计划模型的完全执行的替代，在一些实施例中，导出一组传递函数，其将由模型获取的数学运算简化为一个或多个预测方程。然后，不同于在手术期间执行完全模拟，而是使用预测方程。关于传递函数的使用的更多细节在2019年8月19日提交的标题为“患者特定手术方法和系统(patient specific surgical method and system)”的pct/us2019/046995中进行了描述，其全部内容通过引用并入本文。
135.图2b示出了可以从cass 100的各个部件提供给手术计算机150的一些类型的数据的示例。在一些实施例中，部件可以在手术期间实时或接近实时地将数据流传输到手术计算机150。在其他实施例中，部件可以使数据排队并且以设定的间隔(例如，每秒)将其发送到手术计算机150。可以使用本领域中已知的任何格式来传送数据。因此，在一些实施例中，所有部件均以通用格式将数据传输至手术计算机150。在其他实施例中，每个部件可以使用不同的数据格式，并且手术计算机150配置有能够转换数据的一个或多个软件应用。
136.通常，手术计算机150可以用作收集cass数据的中心点。数据的确切内容将取决于来源。例如，执行器平台105的每个部件向手术计算机150提供测量位置。因此，通过将测量位置与手术计算机150最初指定的位置进行比较，手术计算机可以识别在手术期间发生的偏差。
137.切除设备110可以根据所用设备的类型将各种类型的数据发送到手术计算机150。可以发送的示例性数据类型包括测量的扭矩、音频签名和测量的位移值。类似地，跟踪技术115可以根据所采用的跟踪方法来提供不同类型的数据。示例性跟踪数据类型包括被跟踪项(例如，解剖结构、工具等)、超声图像以及表面或标志收集点或轴的位置值。当系统操作时，组织导航系统120向手术计算机150提供解剖位置、形状等。
138.尽管显示器125通常用于输出数据以呈现给用户，但它也可以向手术计算机150提供数据。例如，对于将监视器用作显示器125的一部分的实施例，外科医生111可以与gui交互以提供输入，所述输入被发送到手术计算机150以进行进一步处理。对于ar应用，可以将hmd的测量位置和位移发送到手术计算机150，使得其可以根据需要更新所呈现的视图。
139.在护理期的术后阶段期间，可以收集各种类型的数据以量化由于手术而导致的患者状况的总体改善或恶化。数据可以采取例如患者通过问卷调查报告的自我报告信息的形式。例如，在进行膝关节置换手术的情况下，可以使用牛津(oxford)膝评分问卷来测量功能状态，并且可以通过eq5d
‑
5l问卷来测量术后生活质量。在髋关节置换手术的情况下的其他示例可以包括牛津髋评分、哈里斯(harris)髋评分和womac(西安大略和麦克马斯特大学骨关节炎指数)。这样的问卷可以例如由医护专业人员直接在临床环境中进行管理，或者使用
允许患者直接回答问题的移动应用进行管理。在一些实施例中，可以为患者配备收集与手术有关的数据的一个或多个可穿戴设备。例如，在进行膝手术之后，可以为患者配备膝支架，所述膝支架包括用于监测膝位置、柔韧性等的传感器。可以收集该信息并将其传输到患者的移动装置以供外科医生查看以评估手术的结果并解决任何问题。在一些实施例中，一个或多个相机可以在术后指定的活动期间获取并记录患者的身体部位的运动。可以将该运动获取与生物力学模型进行比较以更好地了解患者关节的功能，并且更好地预测康复进展并确定可能需要的任何修正。
140.护理期的术后阶段可以在患者的整个生命周期中持续进行。例如，在一些实施例中，手术计算机150或包括cass 100的其他部件可以在执行手术之后继续接收和收集与手术程序有关的数据。该数据可以包括例如图像、问题答案、“正常”患者数据(例如，血型、血压、状况、药物等)、生物统计数据(例如，步态等)，以及有关特定问题(例如，膝或髋关节疼痛)的客观和主观数据。该数据可以由患者或患者的医师明确地提供给手术计算机150或其他cass部件。替代地或附加地，手术计算机150或其他cass部件可以监测患者的emr并在其可用时检索相关信息。患者康复的该纵向视图允许手术计算机150或其他cass部件提供对患者结果的更客观分析以测量和跟踪给定程序的成功与否。例如，可以通过对护理期中收集的各种数据项进行回归分析，将患者在手术程序后很长时间所经历的状况与手术联系起来。通过对具有相似程序和/或相似解剖结构的患者组进行分析，可以进一步增强该分析。
141.在一些实施例中，在中心位置收集数据以提供更容易的分析和使用。在一些情况下，可以从各种cass部件手动收集数据。例如，可以将便携式存储设备(例如，usb棒)附接到手术计算机150，以便检索在手术期间收集的数据。然后可以将数据例如经由台式计算机传输到集中式存储装置。替代地，在一些实施例中，手术计算机150经由网络175直接连接到集中式存储装置，如图2c中所不。
142.图2c示出了“基于云的”实施方式，其中手术计算机150经由网络175连接到手术数据服务器180。该网络175可以是例如私有内联网或因特网。除了来自手术计算机150的数据之外，其他来源也可以将相关数据传输到手术数据服务器180。图2c示出了3个附加数据源：患者160，医疗保健专业人员165和emr数据库170。因此，患者160可以例如使用移动应用将术前和术后数据发送到手术数据服务器180。医疗保健专业人员165包括外科医生和他或她的职员以及与患者160一起工作的任何其他专业人员(例如，私人医生，康复专家等)。还应当注意的是，emr数据库170可以用于术前和术后数据。例如，假设患者160已给予足够的许可，则手术数据服务器180可以收集患者术前的emr。然后，手术数据服务器180可以继续监测emr以进行手术后的任何更新。
143.在手术数据服务器180处，护理期数据库185用于存储在患者的护理期中收集的各种数据。护理期数据库185可以使用本领域中已知的任何技术来实现。例如，在一些实施例中，可以使用基于sql的数据库，其中所有各种数据项都以允许它们容易地并入行和列的两个sql集合中的方式结构化。然而，在其他实施例中，可以采用no
‑
sql数据库来允许非结构化数据，同时提供快速处理和响应查询的能力。如本领域中所理解的，术语“no
‑
sql”用于定义在其设计中不相关的一类数据库。各种类型的no
‑
sql数据库通常可以根据其基础数据模型进行分组。这些分组可以包括使用基于列的数据模型(例如，cassandra)、基于文档的数据模型(例如，mongodb)、基于键值的数据模型(例如，redis)和/或基于图形的数据模型(例
如allego)的数据库。可以使用任何类型的no
‑
sql数据库来实现本文所述的各种实施例，并且在一些实施例中，不同类型的数据库可以支持护理期数据库185。
144.可以使用本领域中已知的任何数据格式和传输技术在各种数据源和手术数据服务器180之间传输数据。应当注意的是，图2c中所示的架构允许从数据源到手术数据服务器180的传输，以及通过数据源从手术数据服务器180检索数据。例如，如下面详细解释的，在一些实施例中，手术计算机150可以使用来自过去手术、机器学习模型等的数据来帮助指导手术程序。
145.在一些实施例中，手术计算机150或手术数据服务器180可以执行去标识过程以确保存储在护理期数据库185中的数据满足健康保险流通与责任法案(hipaa)标准或法律规定的其他要求。hipaa提供了去标识期间必须从数据删除的某些标识列表。前述的去标识过程可以在传输到护理期数据库185以进行存储的数据中扫描这些标识。例如，在一个实施例中，手术计算机150在刚开始将特定数据项或一组数据项传输到手术数据服务器180之前执行去识别过程。在一些实施例中，唯一标识被分配给来自特定护理期的数据以便在必要时重新识别数据。
146.尽管图2a
‑
2c讨论了单个护理期的情况下的数据收集，但是应当理解，一般概念可以扩展到多个护理期的数据收集。例如，每次使用cass 100进行手术时可以在整个护理期中收集手术数据，并将其存储在手术计算机150或手术数据服务器180处。如下面进一步详细解释，护理期数据的鲁棒数据库允许生成优化值、测量结果、距离或其他参数以及与手术程序有关的其他建议。在一些实施例中，以允许在手术程序期间快速检索相关信息的方式在数据库或其他存储介质中索引各种数据集。例如，在一个实施例中，可以使用以患者为中心的一组索引，以便可以容易地提取与特定患者或与特定患者相似的一组患者的数据。该概念可以类似地应用于外科医生、植入物特性、cass部件型式等。
147.管理护理期数据的更多细节在2019年12月20日提交的、标题为“用于提供护理期的方法和系统(methods and systems for providing an episode of care)”的pct/us2019/067845号中进行了描述，其全部内容通过引用并入本文。
148.开放与封闭数字生态系统
149.在一些实施例中，cass被设计成用作独立或“封闭”数字生态系统。cass的每个部件专门设计成在封闭生态系统中使用，并且数字生态系统外部的装置通常无法访问数据。例如，在一些实施例中，每个部件包括实现用于诸如通信、存储、安全等的活动的专有协议的软件或固件。对于想要控制cass的所有部件以确保满足某些兼容性、安全性和可靠性标准的公司而言，封闭数字生态系统的概念可能是理想的。例如，cass可以设计成使得除非获得公司的认证，否则不能将新部件与cass一起使用。
150.在其他实施例中，cass被设计成用作“开放”数字生态系统。在这些实施例中，部件可以由各种不同的公司来生产，并且部件实施诸如通信、存储和安全性的活动的标准。因此，通过使用这些标准，任何公司都可以自由地构建cass平台的独立、合规部件。可以使用公共可用的应用编程接口(api)和开放的、可共享的数据格式在部件之间传输数据。
151.cass查询和cass推荐
152.简单的关节，例如球和窝关节(例如，髋关节和肩关节)或枢轴关节(例如，肘关节)，或更复杂的关节，例如髁关节(例如，膝关节)，是其性能可能受到各种因素显著影响的
令人难以置信的复杂系统。用于置换、表面重修或以其它方式修复这些关节的程序是常见的，例如响应于关节的损坏或其它退化。例如，用人工植入物置换股骨、胫骨和/或髌骨的关节表面的tka是患有膝关节退化或创伤的患者的常见程序。
153.选择用于执行关节手术的最佳参数是具有挑战性的。为了继续膝关节置换手术的实例，外科医生可以在股骨的远端上放置第一假体，在胫骨的近端处放置第二假体，或者外科医生可以相反的顺序安装假体。外科医生寻求相对于各种参数最佳地放置假体，例如在整个运动范围内假体之间的间隙。植入物的误放可能对手术后患者的生活质量产生负面影响。例如，如果胫骨与股骨之间的间隙在运动范围期间的任何时间太小，则患者可经历疼痛结合。另一方面，如果间隙太大，则膝关节太松并且可能变得不稳定。
154.在一些实施例中，cass(或术前规划应用程序)100被配置成基于从外科医生或手术工作人员接收的查询生成推荐。可由cass 100提供的推荐的实例包括但不限于优化一个或多个手术参数、相对于一个或多个参考点例如解剖或机械轴线优化植入位置和取向、手术计划的修改或如何实现特定结果的描述。如上所述，cass 100的各个部件生成共同定义系统状态的各种类型的数据。另外，cass 100可以访问各种类型的术前数据(例如，患者人口统计数据、术前图像等)、历史数据(例如，来自由相同或不同的外科医生执行的其它手术)和模拟结果。基于所有这些数据，cass 100可以动态方式操作，并且允许外科医生根据需要即时智能地修改手术计划。在一些实施例中，这些修改在手术之前(例如，在打印切割引导件之前)进行。在一些实施例中，在不使用定制切割引导件的情况下(例如，可以选择可由cass选择和放置的非患者特定的切割引导件)，可以在手术期间由cass进行修改。因此，例如，在一些实施例中，cass 100通过显示器125基于在手术前未检测到的状况通知外科医生经修改的手术计划或优化。
155.在一些实施例中，可以使用术前图像和数据在手术之前创建手术计划。这些图像可包括x射线、ct、mri和超声图像。数据可包括患者的特征，包括关节几何形状、年龄、体重、活动水平等，以及关于待植入的假体的数据。然后可基于在手术中收集的附加信息来修改该计划。例如，可以在手术程序期间拍摄附加医疗图像，并且可以使用该附加医疗图像基于从此类图像搜集的附加生理细节来修改手术计划。在一些实施例中，手术计划基于患者信息，而不需要捕获三维图像，例如通过患者的ct或mri扫描。可以在手术期间拍摄另外的光学或x射线图像以提供另外的细节并改变手术计划，从而允许制定和修改手术计划，而不需要术前昂贵的医学成像。
156.cass 100的处理器可以推荐手术计划的任何方面，并且基于在手术期间收集的新数据来修改此推荐。例如，cass 100的处理器可以响应于在手术之前或手术期间捕获的图像而优化髋杯放置(在髋关节置换术中)的前倾角和外展角或远端和后股骨切割平面的深度和取向以及髌骨配置(在pka/tka中)。一旦生成了初始默认计划，外科医生就可请求关于手术的特定方面的推荐，且可偏离初始手术计划。对推荐的请求可能产生新计划、部分偏离初始或默认计划，或初始计划的确认和批准。因此，通过使用cass 100的处理器，使用数据驱动方法，手术计划可以在手术发生时更新和优化。如自始至终所解释的，这些优化和推荐可以由处理器在手术之前或期间基于来自多个模拟的患者解剖结构的统计模型或传递函数生成，所述统计模型或传递函数由模拟告知正接收手术的患者解剖结构的具体细节。因此，关于患者解剖结构收集的任何附加数据可用于更新该患者的统计模型以优化植入物特
征，从而最大化手术计划中手术的预期结果的性能标准。
157.图3a提供了可以如何生成推荐的高级概述。此工作流在305处开始，手术工作人员执行手术计划。该手术计划可以是基于术前或术中成像和数据生成的原始计划，或者该计划可以是原始手术计划的修改。在310处，外科医生或手术工作人员的成员请求关于如何解决手术程序中的一个或多个问题的推荐。例如，外科医生可以请求基于术中数据(例如，使用点探针获取的或新图像)如何最佳地对准植入物的推荐。在一些实施例中，可以通过将特定请求手动输入到cass 100的gui或语音界面中来做出请求。在其它实施例中，cass 100包括收集来自外科医生的口头请求或查询的一个或多个麦克风，所述口头请求或查询被翻译成正式请求(例如，使用自然语言处理技术)。
158.继续参考图3a，在315处，向外科医生提供推荐。可以使用各种技术来提供推荐。例如，在推荐提供要做出的推荐切割或推荐的植入物取向对准时，可以在cass 100的显示器125上描绘推荐的图形表示。在一个实施例中，该推荐可以在ar hmd 155中覆盖在患者的解剖结构上。可以呈现所得的性能特征(例如，对于pka/tka，对于显示运动范围的韧带张力的各种屈曲和弯曲，内侧和外侧髁骨间隙和髌骨沟跟踪，或对于tha，股骨头和髋臼之间的运动范围和压力中心以及边缘负荷应力的绘图)。在一些实施例中，信息可以通过显示器125(其可以包括hmd 155)以绘图、数字的形式或者通过改变颜色或指示符传送给用户。例如，在pka/tka中，当计划的改变或患者数据通过统计模型指示在没有额外改变的情况下髌骨将遇到相对于髌骨沟或过度应变的髌骨韧带的跟踪问题，髌骨的图像(例如覆盖在患者图像上)会发出红光或闪光。对于tha，髋臼杯的一部分可以发光以指示边缘负荷或脱位风险增加的位置。在一些实施例中，界面接着可以邀请用户点击以获得推荐的解决方案，例如髌骨填充、韧带释放，或髌骨植入物或股骨植入物(pka/tka)或髋臼杯前倾和外展角(tha)的姿态变化，以优化性能。
159.除了该推荐之外，在一些实施例中，cass/规划系统100还可以提供推荐的理由。例如，对于植入物的建议对准或取向，cass 100可以提供影响推荐的患者特定的特征或活动的列表。植入物的cass推荐的对准或取向可进一步指参考系或参考点，例如解剖或机械轴线或距骨骼或骨骼标志的距离。另外，如320中所示，cass可以模拟选择特定推荐将如何影响手术程序的其余部分。例如，在手术之前，可以基于术前三维ct或mri扫描来生成默认切割引导件。在手术期间，一旦做出切口，外科医生可以从mri或使用点探针或光学相机获取患者的解剖结构的高分辨率数据。cass 100可以使用此类数据来创建关于使用切除工具或切割引导件切除骨组织的新的或更新的计划或推荐。在步骤320处，此经修订的计划或推荐的影响可以经修订的对准指令等的形式呈现。也可以向外科医生呈现多个推荐，并观察每个推荐对手术计划的影响。例如，可以生成两个可行的推荐骨切除计划或推荐，并且外科医生可以基于每个推荐对手术的后续步骤的影响来决定执行哪一个。也可以向外科医生呈现运动范围或动态活动(例如步行或爬楼梯等)的动画，这些动画是每个推荐的功能结果，以允许外科医生更好地理解该推荐将如何影响患者运动特征。在一些实施例中，外科医生能够选择单个数据项或参数(例如，对准、张力和屈曲间隙等)以用于优化推荐。最后，一旦外科医生选择特定推荐，就在步骤325处执行。例如，在手术之前制造定制切割引导件的实施例中，可以通过打印切割引导件并将其递送给外科医生以在手术期间使用来执行步骤325。在机器人臂将切割引导件保持在特定预定位置处的实施例中，可以将放置切割引导件的命
令作为cass工作流的一部分发送到机器人臂。在不使用切割引导件的实施例中，cass可以接收根据推荐帮助外科医生切除股骨部件和胫骨的指令。
160.cass 100可以在手术前或手术期间的任何时间向外科医生或手术工作人员呈现推荐。在一些情况下，外科医生可以明确地请求如上文关于图3a论述的推荐。在其它实施例中，cass 100可被配置成在基于可用数据进行手术时执行推荐算法作为背景过程。当生成新推荐时，cass 100可用一个或多个通知机制通知外科医生。例如，视觉指示器可以呈现在cass 100的显示器125上。理想情况下，通知机构应当相对不侵扰，使得其不干扰手术。例如，在一个实施例中，当外科医生导航通过手术计划时，可以使用不同的文本颜色来指示推荐可用。在一些实施例中，当使用ar或vr头戴件155时，可以将推荐提供到用户的视野中并突出显示以引起用户注意推荐或推荐可用。用户(例如，外科医生或技师)接着可使用下文所描述的任何手段与ar或vr用户界面中的推荐或恳请推荐进行交互。在这些实施例中，cass 100可以将用户头戴件155视为附加显示器，并且使用用于与显示器通信的任何常规手段来传达待在其上显示的信息。
161.为了说明可以用cass 100执行的一种类型的推荐，下面公开了一种用于优化手术参数的技术。在本文中术语“优化”是指基于某些指定的标准选择最佳的参数。在极端情况下，优化可以指基于来自整个护理期的数据(包括任何术前数据，给定时间点的cass数据状态，以及术后目标)选择最佳参数。而且，可以使用历史数据来执行优化，例如在涉及例如相同外科医生、具有与当前患者相似的身体特性的过去患者等的过去手术期间生成的数据。
162.优化的参数可以取决于要对其进行手术的患者解剖结构的部分。例如，对于膝手术，手术参数可以包括股骨和胫骨部件的定位信息，包括但不限于旋转对准(例如，内翻/外翻旋转、外旋、股骨部件的屈曲旋转、胫骨部件的后倾角)，切除深度(例如内翻膝，外翻膝)，以及植入物的类型、尺寸和位置。定位信息还可以包括用于组合植入物的手术参数，例如整体肢体对准，组合胫股过度伸展和组合胫股切除。cass 100可以针对给定的tka股骨植入物优化参数的其他示例包括以下：
[0163][0164]
cass可以为给定的tka胫骨植入物优化的参数的附加示例包括以下：
[0165][0166]
对于髋手术，手术参数可以包括股骨颈切除位置和角度、杯倾斜角、杯前倾角、杯深度、股骨柄设计、股骨柄尺寸、股骨柄在管内的适合度、股骨偏移、腿长以及植入物的股骨型式。
[0167]
肩参数可以包括但不限于肱骨切除深度/角度、肱骨干型式、肱骨偏移、关节盂型式和倾斜度，以及反向肩参数，例如肱骨切除深度/角度、肱骨干型式、关节盂倾斜度/型式、盂球方位、盂球偏移和偏移方向。
[0168]
存在用于优化手术参数的各种常规技术。然而，这些技术通常需要大量的计算，因此，通常需要在术前确定参数。结果，外科医生基于在手术期间可能出现的问题来修改优化参数的能力受到限制。而且，常规的优化技术通常以“黑匣子”方式操作，很少或没有关于推荐参数值的解释。因此，如果外科医生决定偏离建议的参数值，则外科医生通常会在没有完全理解该偏离对其余手术流程的影响或偏离对患者手术后生活质量的影响的情况下这样做。
[0169]
为了解决常规优化技术的这些和其它缺点，在一些实施例中，可以在手术工作流期间使用呈现给外科医生的gui中的按钮或其它部件(例如，在显示器125或ar hmd155上)执行优化。出于以下讨论的目的，外科医生或其他医疗保健专业人员可以使用任何手段，例如，经口请求/命令或手动输入(例如，使用触摸屏或按钮)，从cass 100调用对推荐或输入的请求。出于本技术的目的，对推荐动作过程的这些类型的查询或请求、推荐的参数优化或响应此类查询或请求而向外科医生或医疗专业人员提供的其它反馈被称为cass推荐请求
或“cassrr”。cass推荐请求可由外科医生或医疗保健专业人员在手术期间的任何时间调用或激活。例如，对于tka，cassrr可以在股骨植入物规划阶段、胫骨植入物规划阶段和/或间隙规划阶段期间调用。在tha手术中，cassrr可以在股骨颈切除、髋臼植入物放置、股骨植入物放置和植入物选择(例如，尺寸、偏移、轴承类型等)期间使用。例如可以通过按下按钮或通过说出特定命令(例如，“优化间隙”)来调用cassrr。如上所述，推荐系统可以被配置成在手术期间的任何时间提供或提示外科医生寻求推荐或优化。
[0170]
图3b
‑
3e示出了可在手术工作流期间使用cass/规划app，例如图1中描绘的app的gui的实例。这些gui可以例如显示在cass 100的显示器125上或在即将到来的手术的规划阶段期间显示在工作站上。在每个示例中，可以使用呈现为界面的视觉部件的按钮调用ai驱动的推荐请求。具体地，图3b示出了示例性植入物放置界面330，其中，推荐按钮335(在此示例中标记为cassrr)显示在左下角。类似地，图3c示出了具有按钮335的示例性间隙规划界面340。
[0171]
调用cassrr可以使得当用户请求推荐时，优化参数化界面370如图3d中所示的显示。在图3d的实例中，使用植入物放置界面330(如图3b中所示)上已激活的按钮调用cassrr/推荐请求。优化参数化界面370包括与植入物的移动(例如，平移、旋转等)有关的自由度(dof)按钮345。在优化分析期间，任何dof按钮345的激活会“锁定”相应的自由度。例如，如果外科医生对前部或后部定位感到满意，则外科医生可以分别激活“a”按钮或“p”按钮以锁定前部位置或后部位置。在一些实施例中，当切换到锁定位置时，锁定按钮改变颜色或提供不同类型的视觉指示。在图3d的实例中，“s”按钮(对应于上定位)已被锁定，如按钮右侧的锁的图形描绘所示的。应注意，使用用于锁定位置的按钮仅仅是外科医生可以如何与cass 100对接的一个实例；例如，在其它实施例中，外科医生可以口头请求锁定特定位置(例如，“锁定上定位”)，或在vr环境中，可以采用手势。可以固定的值可以取决于可用的优化因子和外科医生在优化手术的不同方面的舒适度水平。例如，到目前为止，已经假设从完全功能性运动学角度执行优化。因此，优化系统并不真正理解植入物如何与骨相互作用。这可以例如通过将基于图像的分析添加到优化来解决。然而，对于不执行此类分析的实施例，外科医生可能希望基于他/她如何看待骨配合来约束问题。例如，关于tka手术中的植入物的股骨部件，当执行优化时，可能不知道前部悬垂。这意味着外科医生可能希望调整股骨部件的a
‑
p位置，因为他或她正在根据骨配合观察植入物，而不是根据运动表现观察植入物。因此，外科医生可以确定a
‑
p位置、旋转以及可能用于确定最终植入位置、取向和位置的关节线。以此方式，外科医生可以补充从计算机生成的优化运行所提供的知识，从而允许外科医生实施的手术计划偏离计算建议。
[0172]
按钮还可用于为用于优化的给定参数提供边界控制。在图3d的实例中，对于后倾角有两个边界控制按钮355。这些参数可用于设置将在优化中绑定参数的相关参数的最小值或最大值。如果右边界控制按钮355被锁定，则优化可被配置成产生高于针对后倾角指定的当前值的值。相反，如果仅左边界控制按钮355被锁定，则优化可被配置成产生低于针对后倾角指定的当前值的值。如果两个边界控制按钮355被锁定，那么优化被配置成使得其不改变指定的后倾角值。另一方面，如果边界控制按钮355均未锁定，则优化可自由更改值(在装置规格范围内)。
[0173]
优化参数化界面370包括优化按钮350，该按钮在激活后，使用本文所述的任何数
据驱动/ai方法优化植入物放置参数。应注意，此一般概念不限于植入物放置；实际上，一般来说，可使用类似的界面和技术优化任何手术参数或参数组。下文进一步详述了此优化过程。在优化之后，外科医生可以返回到植入物放置界面330(如图3b中所示)用优化参数继续手术。
[0174]
切换按钮365允许外科医生在手术程序或手术程序计划的任何两个视图或方面之间切换。例如，切换按钮365可以基于手术计划或当前计划植入位置和替代(例如，推荐)植入位置的部分或完全执行而向外科医生提供当前骨状况和未来骨状况。切换按钮365还可以根据外科医生是否选择采取一个动作过程而非替代动作过程而向外科医生提供骨和/或植入物的替代未来状况。此按钮的激活使得优化参数化界面370上呈现的各种图像和数据用当前或先前的对准信息更新。因此，外科医生可以快速查看任何变化的影响。例如，切换特征可以允许外科医生可视化由优化器相对于其先前的恰当植入物放置的概念所建议的假体定位变化。在一个实施例中，在系统的初始使用期间，用户可以选择在不优化的情况下规划病例，并且希望可视化自动化的影响。类似地，用户可能希望可视化“锁定”规划的各个方面的影响。
[0175]
如果外科医生希望理解优化背后的原理，则可以激活优化参数化界面370上的响应和理由按钮360以显示图3e中所示的响应和理由界面375。此界面375包括动画屏幕380，该动画屏幕在性能测量活动(例如，深屈膝)期间提供感兴趣的解剖结构的动画。此动画可以作为执行优化的解剖建模软件的输出(例如，lifemod
tm
)提供，或者替代地，单独的软件可以用于基于优化软件的输出来生成动画。例如，可以使用动画gif文件或小视频文件来描绘动画。在使用ar hmd 155的实施例中，可以在相关解剖结构上提供动画全息图以提供模拟行为的进一步情景化。
[0176]
响应和理由界面375还包括响应屏幕385，该响应屏幕显示各种性能或状况度量(例如，测量v屈曲角)的绘图。响应和理由界面375的右手侧上的一组性能测量选择按钮390允许外科医生选择各种相关的性能测量并更新响应屏幕385中所示的绘图。在图3e的实例中，这些性能测量包括内部
‑
外部(ie)旋转、内侧和外侧回滚、mcl和lcl应变、髂胫带(itb)应变、骨应力、内翻
‑
外翻(v
‑
v)旋转、内侧
‑
外侧(ml)髌骨剪切力、四头肌力和骨接口力。屏幕385中所示的实例描绘了贯穿屈曲范围的外侧和内侧间隙，这是tka性能的传统估计。传统上，外侧间隙和内侧间隙仅在两个屈曲度处被考虑。
[0177]
为了支持上述各种界面，支持cassrr/推荐按钮的算法优选地应尽可能快地执行以确保手术工作流不被破坏。然而，执行优化所涉及的计算可以是计算密集的。因此，在一些实施例中，为了简化所需的处理，可以基于训练数据集和模拟性能测量值生成一组预测方程。这些预测方程提供了可以近实时优化的参数空间的简化形式。这些进程可以在本地或在远程服务器上执行，例如在云中执行。
[0178]
图4提供了说明根据一些实施例的如何执行手术参数的优化的系统图。这种优化可以在术前规划阶段期间执行，例如在手术之前创建定制切割引导件的实施例中，或在手术中执行，例如在cass可以在机器人上或通过诸如触觉反馈的其它实用手段调整切除平面的确切姿态的实施例中执行。简言之，外科医生111向手术计算机150提供与植入物有关的某些患者特定的参数和参数(经由显示器125上呈现的gui)。外科医生111请求执行优化。手术计算机150使用参数从存储在手术数据服务器180上的方程数据库410检索一组预测方
程。在不使用基于云的架构的实施例中，此方程数据库410可直接存储在手术计算机150上。方程集的优化提供所需的优化(例如，最佳植入物对准和定位)。然后，该信息可以经由cass 100的显示器125呈现给外科医生111(参见例如图3d和3e)。
[0179]
如下文更详细地解释的，每个方程数据集为一组参数提供运动学和动力学响应。在一些实施例中，使用由模拟计算机405基于一组训练数据导出的方程数据集填充方程数据库410。训练数据集包括先前由cass 100或另一手术系统收集的手术数据集。每个手术数据集可以包括例如关于患者的几何形状、植入物在手术期间如何定位和对准、韧带张力等的信息。可以使用本领域已知的任何技术来收集数据。例如，对于韧带张力，可以采用机器人辅助技术，如2019年12月20日提交的标题为“具有张力反馈的致动式牵张器(actuated retractor with tension feedback)”的pct/us2019/067848中所述，其全部内容以引用的方式并入本文。另一个实例提供于2019年8月7日提交的标题为“力指示牵张器装置和使用方法(force
‑
indicating retractor device and methods of use)”的pct/us2019/045551和pct/us2019/045564，所述文献全文以引用的方式并入本文中。
[0180]
对于每个手术数据集，模拟计算机405在手术数据集上执行解剖学模拟以确定一组运动学和动力学响应。可以使用的合适解剖建模工具的非限制性实例包括lifemod
tm
或kneesim
tm
(均可从smith and nephew，inc.的子公司加利福尼亚州圣克利门蒂的lifemodeler，inc.获得)。用于手术期间使用生物力学建模的另外实例在以下文献中描述：标题为“植入物训练系统(implant training system)”的美国专利第8,794,977号；标题为“用于通过设计置换假体关节的肌肉pid控制器的动态增益优化确定肌力的系统和方法(systems and methods for determining muscle force through dynamic gain optimization of a muscle pid controller for designing a replacement prosthetic joint)”的美国专利第8,712,933号；标题为“用于通过肌肉pid控制器的动态增益优化确定肌力的系统和方法(systems and methods for determining muscle force through dynamic gain optimization of a muscle pid controller)”的美国专利第8,412,669号，其全部内容以引用的方式并入本文。
[0181]
除了确定手术数据集的响应之外，模拟计算机405还可以用于用人工生成的手术数据集补充现实世界的手术数据集，所述人工生成的手术数据集填补训练数据集中的任何空白。例如，在一个实施例中，使用训练集中的各种因子的小排列来执行蒙特卡洛分析，以查看它们如何影响响应。因此，可以基本上外推相对较小的现实世界手术数据集合(例如，1,000个数据集)，以产生涵盖各种患者解剖学、植入物几何形状等的按指数规律较大的数据集。一旦已填充数据集，可以使用本领域中通常已知的一种或多种方程拟合技术来导出存储在方程数据库410中的方程数据集。
[0182]
为了确定用于每个方程数据集的运动学和动力学响应，由模拟计算机405执行的模拟可以建模和模拟对感兴趣的解剖结构造成压力的各种活动。例如，在tka或其它膝盖手术的背景下，可以使用加权的深屈膝。在深屈膝期间，膝盖在某一负荷下以各种角度(例如，120
°
、130
°
等)向下屈曲并返回到直立位置。在深屈膝期间，负荷出现在腿伸肌(即四头肌)、腿屈肌(即，腿筋)、膝盖中的被动韧带等上。因此，深屈膝给前交叉韧带(acl)、后交叉韧带(pcl)、外侧副韧带(lcl)和内侧副韧带(mcl)加压力。另外，深屈膝允许测量各种运动学(例如，髌骨相对于股骨部件如何移动、股骨相对于胫骨如何移动等)。应当注意，这是可以应用
的性能测量的一个实例，并且各种其它测量可以用作深屈膝的补充或替代方案。膝盖运动学还可以使用膝盖模型进行模拟，以执行与动态活动相关联的近似现实世界运动，例如上下楼梯或挥动高尔夫球杆。可以将身体中的其它关节模拟为简单理想部件，同时可以在与所考虑的每个活动相关联的示例性负荷下详细地模拟执行运动的所关注的个别韧带和植入物部件。
[0183]
图5a
‑
5f描述了在一些实施例中可在方程数据集中使用的示例性关节预测方程。虽然这些附图将关于膝关节置换术进行描述，但这些概念同样适用于其他关节置换术，例如髋关节。无论进行何种关节置换术，基础类别可以相同，每个类别中的特定数据与正进行的手术相关。图5a提供了膝盖预测方程的概述。如下文将解释的，简化了此方程式的项以允许理解各个项。因此，应理解，精确的数学构建可以不同于附图中所示的那些。
[0184]
在这些预测方程中，左手侧的项被称为“因子”，而右手侧的项被称为“响应”。响应和因子可以与特定数值相关联，但是在至少一些实施例中，至少一些可以表示为概率分布(例如钟形曲线)或反映关于因子或响应的实际值的不确定性的另一种方式。因此，方程可以考虑此过程的某些方面的不确定性。例如，在至少一些实施例中，可能难以确定地识别软组织附着位置，因此，可以使用不确定性信息来反映这种软组织附着位置实际上基于在图像处理期间识别的估计位置来定位的概率分布。类似地，在至少一些实施例中，不是确定骨科植入物的确切最佳位置和取向，可能期望在植入物实际将定位和定向之处可能可变的背景下确定最佳位置和取向(例如，以考虑制造定制切割引导器械的公差、外科医生的手术技术的可变性等)。
[0185]
图5b示出了用于膝关节预测方程的患者特定的参数。这些参数可以由手术工作人员基于术前或术中数据来测量。如图5b的实例中所示，x射线测量工具可用于测量图像中的各种解剖特征。可利用的患者特定的参数的实例包括承重准入(load
‑
bearing access，简写lba)、骨盆宽度、股骨ml宽度、胫骨ml宽度、股骨长度等。
[0186]
图5c示出了包括在膝关节预测方程中的软组织平衡参数。软组织平衡参数可以源自多个来源。例如，默认地，可以基于患者的骨骼几何形状从标志的图表集导出参数。这可以用前抽屉测试、内翻
‑
外翻稳定性测量、组织附着估计和组织状况测量(例如，刚度)等的结果来补充。数据还可以用术中获取的数据，例如关节牵伸测试、器械式胫骨插入件、力感应手套等补充。
[0187]
图5d示出了膝盖预测方程的植入物几何形状参数。这些参数可以包括例如股骨和胫骨间隙，远端或后部半径，髌骨几何形状和对准或填充，以及植入物的股骨前
‑
后/外侧
‑
内侧放置。应注意，对于给定患者，可能有许多可能的植入物(例如，模型、尺寸等)。因此，不同的膝关节预测方程可以设计为具有相同的患者特定的和组织平衡参数，但不同的植入物几何形状参数。例如，尺寸范围可以由一组关键预测方程表示。在一些实施例中，可以使用如lifemod
tm
的解剖建模软件以编程方式确定植入物几何形状。用于优化与植入到患者关节中的植入物或植入物系统的解剖和生物力学配合有关的参数的示例性技术在先前以引用方式并入本文的美国专利申请第13/814,531号中描述。
[0188]
图5e示出了可用于膝关节预测方程的植入物对准和定位参数。如上所述，这些可以在优化期间用作变量。如图5e中所示，示例参数包括股骨上
‑
下(s
‑
i)位置、股骨前
‑
后(a
‑
p)位置、股骨内翻
‑
外翻(v
‑
v)位置、股骨内部
‑
外部(i
‑
e)位置、胫骨后倾角、胫骨v
‑
v位置、
胫骨i
‑
e位置和胫骨深度，如由伸展间隙所确定的。
[0189]
图5f示出了膝盖预测方程的响应部分。响应可以包括数据集，该数据集包括与膝盖有关的运动学数据和动力学数据。运动学数据提供了与指定目标相比，特定患者和部件的运动学如何设置的测量。例如，运动学可以测量股骨部件相对于胫骨的内部
‑
外部旋转，以及该标记在深屈膝事件的屈曲历程上看起来是什么样子。然后可以将这与内部
‑
外部旋转的目标测量进行比较。该概念可以延伸到髌骨以及与膝盖运动有关的其它解剖结构。动力学数据提供膝盖的各个部件(例如，lcl、mcl等)上的负荷的量度。如图5f中所示，模拟导出用于若干不同膝盖屈曲度(例如，30、60、90、120等)的此数据。因此，对于方程式的左手侧上的给定参数集合，可以指定具有不同响应值的方程集合。
[0190]
图6示出了根据一些实施例的可以执行方程组的优化的过程。在步骤605处开始，由手术工作人员输入患者特定的参数和软组织平衡参数。如上所述，可以基于术前和术中数据的任何组合来导出患者特定的参数。组织平衡参数由外科医生测量(或可以使用默认值)。在步骤610处，由手术工作人员输入植入物几何形状或植入物制造商、型号以及制造商和产品id。在一些实施例中，手术工作人员可以手动输入每个植入物几何形状参数。在其它实施例中，手术工作人员可以指定特定的植入物制造商、型号和/或尺寸(例如，smith＆nephew，ii左股骨植入物、6号)，并且可以从本地或远程数据库检索适当的植入物参数(例如，几何形状、尺寸或其它植入物特性)。
[0191]
继续参考图6，在步骤615处，基于患者特定的参数、软组织参数和植入物几何形状来选择方程组。方程组包括一个或多个预测方程，其中每个方程提供不同的响应值。接下来，在步骤620处，优化方程组以获得植入物对准和位置推荐。在至少一些实施例中，可能不可能完全求解所有方程式，因为这些因子可以不同方式影响各种响应。因此，在一些实施例中，响应可以与加权值相关联，使得优化过程赋予某些响应比其它响应更大的权重。这些加权值可以充当量化各种响应的相对重要性的可取因素或功能。例如，在一些实施例中，使用目标规划(gp)算法执行优化，其中通过群决策(gdm)过程获得响应变量的权重。最后，在步骤625处，例如在cass 100的显示器125上直观地描绘植入物对准和位置推荐。
[0192]
在一些实施例中，因子与响应之间的关系可以由一组经训练的神经网络而不是一系列方程式来定义。与上述那些类似的统计和建模工具可以用来定义和训练神经网络以及其中使用的因子。在一些实施例中，可从佛罗里达州的盖恩斯维尔市的neurodimensions，inc.获得的工具，例如neurosolutions 6.0，可以进一步促进神经网络的开发和训练。在一些实施例中，从先前的骨科程序或研究收集的信息数据库可用于训练神经网络，并且随着随时间推移收集额外数据，可以进一步完善神经网络以增强本文所述的优化过程。在一些实施例中，内核方法可用于探索因子与响应之间的关系。基于内核的学习算法可以用来通过集群、分类等解决复杂的计算问题，以检测和利用数据中的复杂模式。
[0193]
在一些实施例中，因子与响应之间的关系可以由一个或多个经训练的支持向量机定义。与一些神经网络一样，可以训练支持向量机以识别现有数据中的模式，例如从先前的骨科程序或研究收集的数据，并且一旦训练，用于基于特定因子的设置来预测特定患者的骨科程序的响应。
[0194]
尽管上述讨论涉及膝盖手术的背景下的推荐，但是可以根据需要基于作为手术程序对象的解剖学来修改预测方程中使用的因子和响应。例如，修复撕裂或受损伤的前交叉
韧带(“acl”)的手术可以受益于使用上述cass和cassrr概念。机器人手术系统应用于acl手术在于2019年8月28日提交的标题为“机器人辅助韧带移植放置和张紧(robotic assisted ligament graft placement and stressing)”的pct/us2019/048502中描述，所述申请先前以全文引用的方式并入。
[0195]
可受益于上述cass和cassrr概念的使用的另一手术干预是高胫骨截骨术(“hto”)程序。在hto程序中，制备胫骨中的切口，并且可以从胫骨中的切口移除或添加骨楔形件，以更好地对准膝关节中的胫骨和股骨。例如，cassrr可用于优化添加或移除以实现所需动力学响应的骨的量(即，去除受累隔室以延迟进一步的软骨损伤)。另外，可以模拟并用机器人实施难以规划的胫骨倾角的变化。
[0196]
在tha程序的上下文中，上文关于图5e论述的“植入物对准/位置”因素可用诸如杯倾斜、杯前倾、杯尺寸、杯深度、轴承类型(传统、陶瓷上的陶瓷、双移动性、表面重修等)、股骨柄设计、股骨柄形式、组合前倾、股骨柄尺寸、股骨柄偏移(std、high)和股骨头偏移等参数替换。植入物对准/位置的另一部件可以是螺钉放置。软件可就应使用多少螺钉、每个螺钉的长度和轨迹以及要避免的问题区域(软组织、血管等)做出推荐。对于髋关节修复手术，可以修改“植入体几何形状”因素以针对哪种类型的髋臼或股骨部件将最佳地填充缺失的解剖结构做出推荐。
[0197]
此外，尽管上文关于术中推荐的生成讨论了推荐系统，但应注意，推荐也可在护理期的术前和术后阶段应用。例如，基于术前数据和历史数据，可以制定推荐的手术计划。类似地，如果已经生成手术计划，则可以基于在生成术前数据之后发生的变化的情况生成推荐。手术后，在护理期的较早阶段收集的数据可用于生成推荐的术后恢复方案(例如，目标、锻炼等)。可影响修复方案的数据的实例包括但不限于植入物型号和尺寸、手术时间、止血时间、组织释放和术中屈曲。除了恢复方案的活动之外，用于修复和恢复的装置也可以基于护理期数据来定制。例如，在一个实施例中，护理期数据用于生成可以为患者3d打印的定制鞋垫的设计。除了为患者生成术后推荐之外，术后护理期数据还可用作cassrr中的反馈机制，以进一步改进用于提供对其它患者执行外科手术的推荐的机器学习模型。
[0198]
用于提供交互式解剖建模数据的滑块界面
[0199]
在一些实施例中，作为上文所描述的界面的替代方案或补充，动态滑块可用于描绘各种测量，如图7a中所示。尽管图7a继续膝盖植入物对准的实例，应理解，图7a中示出的一般概念可以应用于在手术期间或术前阶段执行的各种类型的测量。如图7a中所描绘，外科医生手动对准植入物(如图像705中所描绘的)，或使用上述优化过程(如图像710中所示)在显示屏上操纵植入物以产生响应715。在这种情况下，响应715示出为具有对应于多个屈曲角(30、60、90和120度)的设置的多个滑块。在当外科医生改变对准时这些滑块被实时地更新的意义上而言，这些滑块是“动态的”。因此，例如，如果外科医生对植入物进行手动移动705，则将重新计算响应715，并且相应地更新每个滑块。
[0200]
图7b提供了滑块内容的进一步图示，示出了胫骨植入物矢状对准响应。如图7b中所描绘，所需或优选的对准配置是5度屈曲，但当前屈曲测量值仅为4度。可以提供指示、提示或注释以指示应改变(例如，减小或增大)屈曲以避免切割腓骨。当前植入物对准用在滑块的下部部分上的记号标记描绘，而外科医生的5度目标在滑块的上部部分上显示为记号标记。fda 510(k)限值(其定义符合fda法规的允许参数)用覆盖在滑块上的外部条示出。
[0201]
在图7b的实例中，滑块还包括覆盖在滑块上的内部条，该内部条示出外科医生对响应值的限制。这些限制可以通过审核和分析可从cass获取的某些历史数据(即，来自过去手术的限制)来导出或确定，或者手术工作人员或其它技术人员可以在手术之前输入该信息。在一些实施例中，没有明确地提供每个限制；相反，所述限制源自由外科医生提供的一组一般指令。例如，在一个实施例中，外科医生或外科医生的工作人员提供外科医生的喜好的文本描述。然后，应用自然语言处理算法来从文本提取相关信息。基于提取的文本，生成用于生成文本的规则。下表提供了基于所示输入文本生成的规则的示例集。
[0202][0203]
手术患者护理系统
[0204]
优化的一般概念可以使用手术患者护理系统820扩展到整个护理期，所述手术患者护理系统使用手术数据以及来自患者805和医疗保健专业人员830的其他数据来优化结果和患者满意度，如图8中所示。
[0205]
常规地，术前诊断，术前手术计划，术中执行既定计划以及术后全关节置换术的管理都基于个人经验，已发表的文献和外科医生的培训知识库(最终，个体外科医生的部落知识及其对等“网络”和期刊出版物)以及他们利用指导和视觉提示对“平衡”进行准确的术中触觉辨别以及对平面切除进行准确的手动执行的本能。该现有的知识库和执行方式在为需
要护理的患者提供的结果优化方面受到限制。例如，在以下方面存在限制：准确诊断患者以进行适当的，微创的既定护理；使动态的患者，医疗经济和外科医生的偏好与患者期望的结果保持一致；执行手术计划以使骨正确对准和保持平衡等；以及从具有难以调和到整体患者框架中的不同偏差的断开连接源接收数据。因此，更精确地模拟解剖反应并指导手术计划的数据驱动工具可以改善现有方法。
[0206]
手术患者护理系统820设计成利用患者特定数据，外科医生数据，医疗机构数据和历史结果数据来制定算法，所述算法基于期望的临床结果为患者的整个护理期(术前，术中和术后)建议或推荐最佳总体治疗计划。例如，在一个实施例中，手术患者护理系统820跟踪对建议或推荐计划的遵守，并基于患者/护理提供者的表现来调整计划。一旦手术治疗计划完成，手术患者护理系统820就将收集的数据记录在历史数据库中。该数据库可供将来的患者访问和制定将来的治疗计划。除了利用统计和数学模型之外，还可以使用模拟工具(例如)基于初步或建议的手术计划来模拟结果，对准，运动学等，并且根据患者的概况或外科医生的喜好重新配置初步或建议的计划以实现期望或最佳结果。手术患者护理系统820确保每个患者正在接受个性化的手术和康复护理，从而提高成功临床结果的机会并减轻与近期修正相关的设施的经济负担。
[0207]
在一些实施例中，手术患者护理系统820采用数据收集和管理方法来提供详细的手术病例计划，该计划具有使用cass 100监视和/或执行的不同步骤。用户的执行在每个步骤完成时计算并且用于建议对病例计划的后续步骤的更改。病例计划的生成依赖于存储在本地或云存储数据库中的一系列输入数据。输入数据既可以与当前接受治疗的患者相关，也可以与来自接受过类似治疗的患者的历史数据相关。
[0208]
患者805向手术患者护理系统820提供诸如当前患者数据810和历史患者数据815的输入。本领域中通常已知的各种方法可以用于从患者805收集这样的输入。例如，在一些实施例中，患者805填写手术患者护理系统820解析的纸质或数字调查以提取患者数据。在其他实施例中，手术患者护理系统820可以从诸如电子病历(emr)，健康历史文件以及付款人/提供商历史文件的现有信息源提取患者数据。在另外的其他实施例中，手术患者护理系统820可以提供允许外部数据源将数据推送到手术患者护理系统的应用程序接口(api)。例如，患者805可以具有移动电话、可穿戴设备或其他移动装置，其收集数据(例如，心率、疼痛或不适水平、运动或活动水平或患者对任何数目的术前计划标准或条件依从性的患者提交回应)并将该数据提供给手术患者护理系统820。类似地，患者805可能在其移动或可穿戴设备上具有数字应用程序，其可以收集数据并将其传输到手术患者护理系统820。
[0209]
当前患者数据810可以包括但不限于：活动水平、既往状况、合并症、康复前表现、健康和健身水平、术前预期水平(与医院、手术和康复有关)、都市统计区域(msa)驱动评分、遗传背景、以前的损伤(运动、创伤等)、以前的关节置换术、以前的创伤手术、以前的运动医学手术、对侧关节或肢体的治疗、步态或生物力学信息(背和踝组织)、疼痛或不适水平、护理基础设施信息(付款人承保类型、家庭医疗基础设施水平等)以及手术预期理想结果的指示。
[0210]
历史患者数据815可以包括但不限于：活动水平、既往状况、合并症、康复前表现、健康和健身水平、术前预期水平(与医院、手术和康复有关)、msa驱动评分、遗传背景、以前的损伤(运动、创伤等)、以前的关节置换术、以前的创伤手术、以前的运动医学手术、对侧关
节或肢体的治疗、步态或生物力学信息(背和踝组织)、疼痛或不适水平、护理基础设施信息(付款人承保类型、家庭医疗基础设施水平等)、手术的预期理想结果、手术的实际结果(患者报告结果[pro]、植入物的生存期、疼痛程度、活动水平等)、所使用的植入物的尺寸、所使用的植入物的位置/取向/对准，实现的软组织平衡等。
[0211]
进行手术或治疗的医疗保健专业人员830可以向手术患者护理系统820提供各种类型的数据825。例如，该医疗保健专业人员数据825可以包括对已知或优选手术技术的描述(例如，十字形保持(cr)与后稳定(ps)，尺寸增大与尺寸减小，有止血带与无止血带，股骨柄样式，tha的优选方案等)，医疗保健专业人员830的培训水平(例如，从业年限，培训的职位，培训的地方，他们模仿的技术)，包括历史数据(结果，患者满意度)的先前成功水平，以及关于运动范围、恢复天数和装置的生存期的预期理想结果。可以例如通过提供给医疗保健专业人员830的纸质或数字调查，经由医疗保健专业人员对移动应用的输入，或通过从emr提取相关数据来获取医疗保健专业人员数据825。另外，cass 100可以提供诸如概况数据(例如，患者专用膝器械概况)的数据或描述手术期间cass的使用的历史记录。
[0212]
与要进行手术或治疗所在的设施有关的信息可以包括在输入数据中。该数据可以包括但不限于以下：门诊手术中心(asc)与医院，设施创伤水平，关节置换术全面医疗计划(cjr)或捆绑候选，msa驱动评分，社区与都市，学术与非学术，术后网络访问(仅熟练护理设施[snf]，家庭健康等)，医疗专业人员的可用性，植入物的可用性，以及手术设备的可用性。
[0213]
这些设施输入可以例如但不限于通过调查(纸/数字)，手术计划工具(例如，应用，网站，电子病历[emr]等)，医院信息数据库(在因特网上)等。也可以获取与关联医疗保健经济有关的输入数据，包括但不限于患者的社会经济概况，患者将获得的预期报销水平，以及治疗是否是患者特定的。
[0214]
可以(例如但不限于)通过调查(纸/数字)，直接付款人信息，社会经济状况数据库(在互联网上提供邮政编码)等来获取这些医疗保健经济输入。最后，获取从该程序的模拟导出的数据。模拟输入包括植入物尺寸、位置和取向。可以使用定制或可商购的解剖建模软件程序(例如anybody或opensim)进行模拟。应当注意，上述数据输入可能并非对每个患者都可用，并且将使用可用数据来生成治疗计划。
[0215]
在手术之前，可以获取患者数据810、815和医疗保健专业人员数据825并将其存储在基于云的数据库或在线数据库(例如，图2c中所示的手术数据服务器180)中。与该程序有关的信息通过无线数据传输或使用便携式媒体存储手动提供给计算系统。计算系统被配置成生成用于cass 100的病例计划。以下将描述病例计划的生成。应当注意，该系统可以访问以前接受治疗的患者的历史数据，包括由计算机辅助的患者特定的膝器械(pski)选择系统或cass 100本身自动生成的植入物尺寸、位置和取向。为此，外科销售代表或病例工程师使用在线门户将病例日志数据上传到历史数据库。在一些实施例中，到在线数据库的数据传输是无线的和自动化的。
[0216]
来自在线数据库的历史数据集用作机器学习模型(例如循环神经网络(rnn)或其他形式的人工神经网络)的输入。如本领域通常所理解的，人工神经网络的功能类似于生物神经网络，并且由一系列节点和连接组成。训练机器学习模型以基于输入数据预测一个或多个值。对于以下各节，假定对机器学习模型进行训练以生成预测方程。可以优化这些预测方程以确定植入物的最佳尺寸、位置和取向，以实现最佳结果或满意度。
[0217]
图9示出了根据一些实施例的使用种子数据从机器学习确定预测方程的实例。包括来自在线数据库的信息(先前描述)的输入信号作为输入节点引入系统。每个输入节点连接到一系列下游节点以用于隐藏层中的计算。每个节点通常由真实数字表示(通常在0和1之间)，但节点之间的连接也具有随着系统“学习”而改变的加权值。为了训练系统，向一组种子或训练数据提供相关联的已知输出值。种子数据迭代地传递到系统，并且节点间加权值被改变，直到系统提供匹配已知输出的结果为止。在此实施例中，网络的隐藏层中的加权值捕获在可用于表征手术性能的加权矩阵中。加权矩阵值用作预测方程中的系数，其将数据库输入与结果和满意度相关联。最初，将用通过临床研究和登记数据开发的种子数据来训练rnn。一旦数据库中已经建立了足够数量的案例，系统将使用历史数据进行系统改进和维护。注意，使用rnn将充当过滤器以确定哪些输入数据对输出具有较大影响。系统操作者可选择灵敏度阈值，使得对输出没有显著影响的输入数据可以被忽略，且不再捕获以进行分析。
[0218]
图10示出了根据一些实施例的在手术中可以使用手术患者护理系统820的方式的实施例1000。在步骤1005处开始，手术工作人员用cass开始手术。cass可以是基于图像或无图像的系统，如本领域中通常所理解的。无论采用哪种类型的系统，在步骤1010处，手术工作人员可以访问或获取患者的相关身体解剖结构的3d表示(传统探针绘制、用参考映射的3d成像、视觉边缘检测等)。在许多情况下，解剖结构的3d表示可以通过捕获表示组织表面的一系列笛卡尔坐标以数学方式实现。示例文件格式包括但不限于.stl、.stp、.sur、.igs、.wrl、.xyz等。患者的相关身体解剖结构的3d表示可以术前基于例如图像数据生成，或者3d表示可以在手术中使用cass生成。
[0219]
当前患者的某些输入数据可以例如通过无线数据传输或使用便携式存储介质加载在计算系统上。输入文件被读取到神经网络中，在步骤1015处生成所得预测方程。接下来，在步骤1020处，进行预测方程的全局优化(例如，使用直接蒙特卡洛采样、随机隧道、并行回火等)以确定植入物的最佳尺寸、位置和取向，从而实现最佳结果或满意度水平，并且基于植入物尺寸、位置和取向确定要执行的对应切除。在优化阶段期间，系统操作者可选择忽略方程的方面。例如，如果临床医生认为与患者的经济地位有关的输入不相关，则可以从等式(例如，基于通过cass 100的gui提供的输入)中删除与这些输入有关的系数。
[0220]
在一些实施例中，不是使用rnn计算预测方程，而是使用实验设计(doe)方法计算。doe将提供将每个输入值与输出值相关联的灵敏度值。将有效输入组合在先前描述为预测方程的数学公式中。
[0221]
不管如何配置或确定预测方程，此方程的优化可以提供推荐、优选或优化的植入物定位，例如呈齐次变换矩阵的形式。变换相对于患者解剖结构从数学上确定植入物部件尺寸和定向植入物部件。植入物几何形状和患者解剖结构的布尔交点产生待去除的骨的体积表示。此体积被定义为“切割包络”。在许多商购可得的骨科机器人手术系统中，相对于患者解剖结构跟踪骨去除工具(用光学跟踪和其它方法)。使用位置反馈控制，基于切割包络内的工具位置来调节切割工具的速度或深度(即，当工具末端的位置在切割包络内时，切割工具将旋转，并且当其位置在切割包络之外时，切割工具停止或缩回)。
[0222]
一旦程序完成，在步骤1025处，就收集所有患者数据和可用结果数据，包括由cass确定的植入物尺寸、位置和取向，并将其存储在历史数据库中。通过rnn进行的目标方程的
任何后续计算都将以该方式包括来自先前患者的数据，从而可以对系统进行持续改进。
[0223]
除了或作为确定植入物定位的替代，在一些实施例中，预测方程和关联的优化可以用于生成与pski系统一起使用的切除平面。当与pski系统一起使用时，预测方程的计算和优化在手术前完成。使用医学图像数据(x射线，ct，mri)估计患者的解剖结构。预测方程的全局优化可以提供植入物部件的理想尺寸和位置。植入物部件和患者解剖结构的布尔交集定义为切除体积。可以产生pski以去除优化的切除包络。在该实施例中，外科医生不能在术中改变手术计划。
[0224]
外科医生可以选择在手术之前或期间的任何时候更改手术病例计划。如果外科医生选择偏离手术病例计划，则锁定更改后的部件的尺寸、位置和/或取向，并根据部件的新尺寸、位置和/或取向刷新全局优化(使用先前描述的技术)以找到其他部件的新理想位置，以及实现部件的新优化尺寸、位置和/或取向需要执行的相应切除。例如，如果外科医生确定术中需要更新或修改tka中股骨植入物的尺寸、位置和/或取向，则股骨植入物的位置将相对于解剖结构锁定，并且将通过考虑外科医生对股骨植入物尺寸、位置和/或取向的改变计算(通过全局优化)胫骨的新最佳位置。此外，如果用于实施病例计划的手术系统是机器人辅助的(例如，使用或mako rio)，则可以实时监测手术期间的骨移除和骨形态。如果在该程序期间进行的切除偏离手术计划，则处理器可以考虑已进行的实际切除来优化附加部件的后续放置。
[0225]
图11a示出了手术患者护理系统820(图8)如何可以适于执行病例计划匹配服务。在该示例中，获取与当前患者805有关的数据810，并将其与患者数据和相关结果815的历史数据库的全部或部分进行比较。例如，外科医生可以选择将当前患者的计划与历史数据库的子集进行比较。可以对历史数据库中的数据进行过滤以包括例如仅具有良好结果的数据集，与概况与当前患者概况相同或相似的患者的历史手术对应的数据集，与特定外科医生对应的数据集，与手术计划的特定方面对应的数据集(例如，仅保留特定韧带的手术)，或由外科医生或医疗专业人员选择的任何其他标准。例如，如果当前患者数据与经历良好结果的先前患者的数据匹配或相关，则可以访问并适应或采用先前患者的病例计划以用于当前患者。预测方程可以与识别或确定与病例计划相关的动作的术中算法结合使用。基于来自历史数据库的相关信息和/或预先选择的信息，术中算法确定一系列推荐操作以供外科医生执行。算法的每次执行都会在病例计划中产生下一个动作。如果外科医生执行该动作，则评估结果。外科医生执行动作的结果用于完善和更新术中算法的输入，用于生成病例计划中的下一步骤。一旦已完全执行病例计划，与病例计划相关的所有数据(包括外科医生对执行建议动作的任何偏差)都将存储在历史数据的数据库中。在一些实施例中，系统以分段方式使用术前、术中或术后模块，而不是整个连续护理。换句话说，护理人员可以规定治疗模块的任何排列或组合，包括使用单个模块。这些概念在图11b中示出，并且可以应用于使用cass 100的任何类型的手术。
[0226]
手术过程显示
[0227]
如以上关于图1
‑
2c所述，cass 100的各个部件在手术期间产生详细的数据记录。cass 100可以在手术的每个步骤期间跟踪和记录外科医生的各种动作和活动，并将实际活动与术前或术中手术计划进行比较。在一些实施例中，可以采用软件工具将该数据处理为可以有效地“回放”手术的格式。例如，在一个实施例中，可以使用一个或多个gui，其示出手
术期间在显示器125上呈现的所有信息。这可以用示出由不同工具收集的数据的图形和图像进行补充。例如，在组织切除期间提供膝的视觉图示的gui可以提供与视觉图示相邻的切除设备的测量扭矩和位移，以更好地提供对发生的与计划切除区域的任何偏差的理解。查看手术计划的回放或在实际手术与手术计划的不同方面之间进行切换的能力可以为外科医生和/或手术工作人员带来好处，从而使此类人员可以识别出手术的任何不足或挑战性方面，从而在将来的手术中可以对其进行修改。类似地，在学术环境中，上述gui可以用作培训未来的外科医生和/或手术工作人员的教学工具。另外，由于数据集有效地记录外科医生活动的许多方面，因此它也可以出于其他原因(例如，法律或合规性原因)用作特定手术程序正确或不正确执行的证据。
[0228]
随着时间，随着越来越多的手术数据被收集，可能会获取丰富的数据库，其描述由不同的外科医生为不同患者针对各种类型的解剖结构(膝、肩、髋等)执行手术程序。而且，诸如植入物类型和尺寸，患者人口统计学等方面可以进一步用于增强整体数据集。一旦已建立数据集，就可以将其用于训练机器学习模型(例如，rnn)，以基于cass 100的当前状态来预测手术将如何进行。
[0229]
机器学习模型的训练可以如下进行。在手术期间，可以在多个时间段内对cass 100的总体状态进行采样。然后可以训练机器学习模型以将第一时间段的当前状态转换为不同时间段的未来状态。通过分析cass 100的整个状态而不是单独的数据项，可以获取cass 100的不同部件之间相互作用的任何因果效应。在一些实施例中，可以使用多个机器学习模型而不是单个模型。在一些实施例中，不仅可以利用cass 100的状态，而且还可以利用患者数据(例如，从emr获取)和手术工作人员的身份来训练机器学习模型。这使模型可以以更大的特异性进行预测。而且，如果需要，它允许外科医生仅根据他们自己的手术经验选择性地做出预测。
[0230]
在一些实施例中，可以将由前述机器学习模型做出的预测或推荐直接整合到手术流程中。例如，在一些实施例中，手术计算机150可以在后台执行机器学习模型，从而为即将来临的动作或手术状况做出预测或推荐。因此可以为每个时期预测或推荐多个状态。例如，手术计算机150可以以30秒的增量预测或推荐接下来的5分钟的状态。使用该信息，外科医生可以利用手术的“过程显示”视图以允许未来状态的可视化。例如，图11c示出了可以显示给外科医生的一系列图像，示出了植入物放置界面。外科医生可以例如通过在cass 100的显示器125中输入特定时间或指示系统使用触觉、口头或其他指令以特定的时间增量来前进或倒回显示来遍历这些图像。在一个实施例中，过程显示可以呈现在ar hmd中的外科医生视野的上部。在一些实施例中，过程显示可以被实时更新。例如，当外科医生在计划切除区域周围移动切除工具时，可以更新过程显示，使得外科医生可以看到他或她的动作如何影响手术的其他方面。
[0231]
在一些实施例中，不是简单地使用cass 100的当前状态作为机器学习模型的输入，而是模型的输入可以包括计划的未来状态。例如，外科医生可以指示他或她正计划进行膝关节的特定骨切除。该指示可以手动输入到手术计算机150中，或者外科医生可以口头提供指示。然后手术计算机150可以产生胶片，显示切口对手术的预期效果。这样的胶片可以在特定的时间增量上示出如果将执行预期的动作过程，则手术将如何受到影响，包括例如患者解剖结构的变化，植入物位置和取向的变化，以及有关外科手术和器械的变化。外科医
生或医疗专业人员可以在手术的任何时候调用或请求该类型的胶片，以预览如果将执行预期动作则预期动作过程将如何影响手术计划。
[0232]
应当进一步指出的是，使用经充分训练的机器学习模型和机器人cass，可以使手术的各个方面实现自动化，从而使外科医生仅需最少地参与，例如，只需为手术的各个步骤提供批准。例如，随着时间，使用臂或其他手段的机器人控制可以逐渐整合到手术流程中，外科医生与机器人操作之间的手动交互逐渐越来越少。在该情况下，机器学习模型可以学习需要哪些机器人命令来实现cass实施计划的某些状态。最终，机器学习模型可以用于产生胶片或类似的视图或显示，其可以预测并可以从初始状态预览整个手术。例如，可以定义包括患者信息、手术计划、植入物特性和外科医生偏好的初始状态。基于该信息，外科医生可以预览整个手术以确认cass推荐的计划满足外科医生的期望和/或要求。而且，由于机器学习模型的输出是cass 100本身的状态，因此可以导出命令来控制cass的部件以实现每个预测状态。因此，在极端情况下，仅基于初始状态信息就可以使整个手术自动化。
[0233]
使用解剖建模软件进行术前规划
[0234]
在一些实施例中，解剖建模软件，例如lifemod
tm
，可用于制定术前或术中计划以指导手术。例如，在髋关节手术的背景下，如果解剖建模软件在多种功能活动中具有脊柱和骨盆之间的关系知识，则软件可以更好地预测最佳植入位置。研究表明，具有有限或异常的脊柱
‑
骨盆移动性的个体的错位风险较高。对于这些患者，外科医生建议以若干位置(例如，站立、坐立、屈曲站立)进行侧向x光片，以便了解脊柱和骨盆在各种活动期间如何相互作用。这些图像可以馈送到3d生物力学模拟中，以更好地预测最佳植入物位置和取向。另外，作为拍摄射线照片的手动过程的替代方案，解剖建模软件还可用于模拟腰椎和骨盆在一系列活动中的位置。在膝关节手术的背景下，如果解剖建模软件了解关节的机械轴线、髁轴线和股骨和胫骨的中心轴线以及现有屈曲和伸展间隙之间的关系，则软件可以更好地确定植入物部件的尺寸和姿势(位置和取向)的变化可以如何影响置换膝关节的力学。更具体地，如果软件整合了这些变量在整个运动范围与给定患者活动的示例性力之间的关系，则可以对植入物性能建模。
[0235]
图12a
‑
12c提供了解剖建模软件可以用来视觉地描绘使用解剖建模软件建模髋关节活动的结果的一些输出。图12a和12b示出髋关节运动范围(rom)图。在这种情况下，解剖建模软件可以用于通过将患者置于各种位置且当患者的腿在不同位置移动时对髋关节的移动建模来执行rom“测验”。例如，软件可以虚拟地模拟植入物相对于骨解剖结构在患者可能术后经历的各种活动中的位置和取向。这些可以包括在全髋关节程序期间进行的标准稳定性检查，或者甚至可以包括对撞击和脱位具有高风险的活动(在就坐时交叉腿、在坐着时深屈曲、在站立时过度伸展等)。在执行测验之后，所收集的rom数据可以呈现于如图12a中所示的rom表上。另外，解剖建模软件可以识别患者解剖结构与植入物部件之间存在异常接触和磨损接触的任何撞击的rom。如图12b中所示，在确定不受撞击的rom之后，其可以图形方式覆盖于患者的解剖结构的3d模型上。
[0236]
图12c示出了2d图形，其展示用于使髋关节植入物就位于髋臼中的所需或“安全”位置范围的推荐。在这种情况下，解剖建模软件可用于通过将功能活动建模到故障点来识别放置位置的安全范围。例如，最初，解剖建模软件可以假设植入物可以放置在围绕感兴趣的解剖结构的大边界盒内的任何位置。然后，对于每个可能的植入物位置，解剖建模软件可
用于测试该位置是否在正常功能活动下造成解剖学或植入物的故障。如果故障，则丢弃位置。一旦评估所有可能点后，其余点被视为对植入物放置是“安全”的。如图12b中所示，对于髋关节手术，安全位置可以由外展相对于前倾的图形指示。在这种情况下，lewinnek安全区叠加在图形上。如本领域中通常所理解的，lewinnek安全区基于临床观察，即如果髋臼杯放置在30度
‑
50度的外展和5
‑
25度的前倾内，那么脱位不太可能发生。然而，在这种情况下，患者的一些“安全”位置(用“红色”描绘)位于lewinnek安全区之外。因此，基于患者的解剖结构的特征，给外科医生更多灵活性以偏离标准推荐。
[0237]
解剖建模软件的附加输出可以是显示相对于骨骼的最终植入部件的3d渲染。在一些实施例中，3d渲染可以显示在允许外科医生围绕整个图像旋转并从不同视角观察渲染的界面中。该界面可以允许外科医生铰接关节以可视化植入物将如何执行并识别可能发生撞击、未对准、过度应变或其它问题的位置。界面可包括允许外科医生隐藏某些植入部件或解剖特征以便最佳地可视化患者解剖结构的某些区域的功能。例如，对于膝关节植入物，界面可以允许外科医生隐藏股骨部件，并且仅在可视化中显示轴承表面和胫骨部件。图12d在髋关节植入物的上下文中提供示例性可视化。
[0238]
在一些实施例中，解剖建模软件可以提供动画，该动画示出当患者执行不同身体活动时植入物和骨的位置。例如，在膝盖手术的背景下，可以呈现深屈膝。对于髋关节手术，可以在行走、坐着、站立和可能表示对植入物的挑战的其它活动期间示出脊柱和骨盆。
[0239]
修复髋关节或膝关节置换术手术涉及移除一个或多个现有的髋关节/膝关节植入物，并且在单个外科手术中用新的植入物替换被移除的植入物。在一些实施例中，术前规划阶段可以预期处理骨刺或除了接收新植入物所需的平面切除外的其它任务。例如，在一些实施例中，对于修复手术，解剖建模软件的输出可以是示出了每个部件的放置的3d图像或骨图以及可能需要由外科医生进行特殊准备的问题区域。手术计划中的软件可以突出显示将防止植入物完全就位的区域，以向外科医生显示哪些区域需要切除骨骼。该软件可以是交互式的，允许外科医生虚拟地将骨“扩”或“磨”开，以便最佳地准备骨以接收植入物。这可以例如通过允许外科医生/工程师通过触摸区域或使用界面的“虚拟钻”部件选择性地从x射线图像或3d表示移除个别像素或像素组来执行。在一些实施例中，可以配准和覆盖混合模式的图像，以提供感兴趣的解剖区域、解剖结构等的结构的视图。在一些实施例中，解剖建模软件可以提供用于去除骨毛刺的推荐区域。例如，可以基于外科医生(或其它外科医生)过去如何进行去毛刺来训练机器学习模型，以识别用于去毛刺的区域。然后，使用x射线图像或其它患者测量作为输入，机器学习模型可以输入推荐的去毛刺区域，以供外科医生在虚拟去毛刺程序期间查看。在一些实施例中，虚拟去毛刺过程可以与上文讨论的解剖建模的其它方面交互地执行。该去毛刺过程也可以与初级关节置换术一起使用。
[0240]
使用点探针在髋手术期间获得关键区域的高分辨率
[0241]
在标题为“用于计划和执行无图像植入物修正手术的系统和方法(systems and methods for planning and performing image free implant revision surgery)”的美国专利申请第14/955,742号中描述了点探针的使用，其全部内容通过引用并入本文。简而言之，可以使用光学跟踪的点探针来标绘需要新植入物的目标骨的实际表面。在移除有缺陷或磨损的植入物之后，以及在移除任何患病或其他不需要的骨之后，执行标绘。通过用点探针的尖端刷或刮擦剩余的整个骨，可以在骨表面上收集多个点。这称为跟踪或“绘制”骨。
所收集的点用于在计算机计划系统中创建骨表面的三维模型或表面图。然后将剩余骨的创建3d模型用作规划手术和必要植入物尺寸的基础。在2019年4月17日提交的、标题为“具有选择性骨匹配的三维引导件(three dimensional guide with selective bone matching)”的美国专利申请第16/387,151号中描述了使用x射线确定3d模型的替代技术，其全部内容通过引用并入本文。
[0242]
对于髋应用，点探针绘制可用于获取诸如髋臼缘和髋臼窝的关键区域的高分辨率数据。这可以使外科医生在开始铰孔之前获得详细的视图。例如，在一个实施例中，点探针可以用于识别髋臼的底部(窝)。如本领域中众所周知，在髋手术中，重要的是确保在铰孔期间不损害髋臼的底部以避免破坏内侧壁。如果内侧壁被无意中破坏，则手术将需要额外的骨移植步骤。考虑到这一点，在手术程序期间，来自点探针的信息可用于为髋臼铰刀提供操作指导。例如，髋臼铰刀可以被配置成在外科医生到达底部或以其他方式偏离手术计划时向外科医生提供触觉反馈。替代地，当到达底部时或当铰刀在阈值距离内时，cass 100可以自动停止铰刀。
[0243]
作为额外的保障，可以估计髋臼和内侧壁之间区域的厚度。例如，一旦将髋臼缘和髋臼窝绘制并将其配准到术前3d模型，即可通过比较髋臼表面的位置与内侧壁的位置来容易地估计厚度。使用该知识，在预测在铰孔时任何手术活动通过髋臼壁突出的情况下，cass 100可以提供警报或其他响应。
[0244]
点探针还可以用于收集将3d模型定向到患者时使用的常见参考点的高分辨率数据。例如，对于像asis和耻骨联合之类的骨盆平面标志，外科医生可以使用点探针来绘制骨以代表真实的骨盆平面。已知这些标志的更完整视图，配准软件将具有更多信息来定向3d模型。
[0245]
点探针还可用于收集描述可用于提高植入物放置的准确性的股骨近端参考点的高分辨率数据。例如，大转子(gt)的尖端与股骨头中心之间的关系通常用作在髋关节置换术期间对准股骨部件的参考点。对准高度取决于gt的正确位置；因此，在一些实施例中，点探针用于绘制gt以提供该区域的高分辨率视图。类似地，在一些实施例中，具有小转子(lt)的高分辨率视图可能是有用的。例如，在髋关节置换术期间，dorr分类有助于选择将在手术期间最大化实现压入配合的能力的干，从而防止术后股骨部件发生微动并确保最佳的骨长入。如本领域中通常所理解的，dorr分类测量lt处的管宽度与lt下方10cm处的管宽度之间的比率。分类的准确性高度取决于相关解剖结构的正确位置。因此，绘制lt以提供该区域的高分辨率视图可能是有利的。
[0246]
在一些实施例中，点探针用于绘制股骨颈以提供高分辨率数据，允许外科医生更好地理解在哪里制造颈切口。然后导航系统可以在外科医生进行颈切割时引导他们。例如，如本领域中所理解的，通过将一条线放置在股骨柄的中心下方并且将第二条线放置在股骨颈的中心下方来测量股骨颈角度。因此，股骨颈(以及可能还有股骨柄)的高分辨率视图将提供股骨颈角度的更准确的计算。
[0247]
高分辨率股骨头颈数据也可以用于导航表面重修程序，其中软件/硬件帮助外科医生准备股骨近端并放置股骨部件。如本领域中通常所理解的，在髋表面重修期间，股骨头和颈未被移除；而是修剪头部并用光滑的金属覆盖物盖住。在该情况下，对于外科医生来说，对股骨和帽进行绘制将是有利的，使得可以理解它们各自几何形状的精确评估并将其
用于指导股骨部件的修剪和放置。
[0248]
使用点探针将术前数据配准到患者解剖结构
[0249]
如上所述，在一些实施例中，在术前阶段期间基于感兴趣的解剖区域的2d或3d图像来开发3d模型。在这样的实施例中，在手术程序之前执行3d模型与手术部位之间的配准。配准的3d模型可用于在术中跟踪和测量患者的解剖结构和手术工具。
[0250]
在手术程序期间，获取标志以便于将该术前3d模型配准到患者的解剖结构。对于膝手术，这些点可能包括股骨头中心、股骨远端轴点、内侧和外侧上髁、内侧和外侧踝、胫骨近端机械轴点以及胫骨a/p方向。对于髋手术，这些点可能包括髂前上棘(asis)、耻骨联合、沿髋臼缘和半球内的点、大转子(gt)和小转子(lt)。
[0251]
在修正手术中，外科医生可能绘制包含解剖缺陷的某些区域以便更好地可视化和导航植入物插入。这些缺陷可以基于术前图像的分析来识别。例如，在一个实施例中，将每个术前图像与示出“健康”解剖结构(即，无缺陷)的图像库进行比较。患者图像和健康图像之间的任何重大偏差都可以标记为潜在缺陷。然后，在手术期间，可以通过cass 100的显示器125上的视觉警报来警告外科医生可能存在的缺陷。然后外科医生可以绘制区域以向手术计算机150提供有关潜在缺陷的更多详细信息。
[0252]
在一些实施例中，外科医生可以使用非接触方法来进行骨解剖内切口的配准。例如，在一个实施例中，采用激光扫描进行配准。激光条投射在感兴趣的解剖区域上，并且该区域的高度变化被检测为线的变化。其他非接触式光学方法，例如白光干涉法或超声，也可以替代地用于表面高度测量或对解剖结构进行配准。例如，在配准点和被配准的骨之间存在软组织的地方(例如，髋手术中的asis，耻骨联合)，超声技术可能是有益的，从而提供对解剖平面的更精确限定。
[0253]
具有混合现实可视化的手术导航
[0254]
在一些实施例中，手术导航系统利用增强现实(ar)或混合现实(mr)可视化系统以在机器人辅助手术期间进一步协助外科医生。通过使用图形和信息覆盖(例如，全息或抬头显示器/hud)来引导手术执行，可以用ar增强常规手术导航。示例性系统允许实施多个头戴件以实时共享相同的混合或不同的现实体验。在多用户使用情形中，可实施多个用户简档以用于选择性ar显示。这可以允许头戴件一起或独立地工作，向每个用户显示信息的不同子集。
[0255]
利用ar/mr的实施例包括用于通过视觉跟踪在手术环境中操作以增强手术的手术系统，所述视觉跟踪包括由执行手术功能的一个或多个个体佩戴的头戴式显示器(hmd)。例如，外科医生可以具有hmd，并且协助外科医生(或住院医生、其它外科医生等)的一些或所有护士或实验室技术人员可以具有其自己的hmd。通过使用hmd，外科医生可以查看与手术有关的信息，包括传统上与机器人手术增强相关联的信息，而不需要外科医生将其视野从患者移开。这可以使手术更快，因为外科医生不需要在显示器和患者之间进行背景切换。在一些实施例中，可以选择性地向外科医生展示虚拟全息监视器，该虚拟全息监视器在手术期间反映常规安装在推车上的lcd屏幕的显示器。hmd接口可以允许外科医生移动全息监视器以似乎固定在空间中在她所选择的空间中的任何位置处，例如紧邻手术帘前方的暴露的患者组织。
[0256]
在一些实施例中，可以使用各种类型的hmd。通常，hmd包括佩戴在用户头部上的头
饰和通信接口。通信接口可以是有线的，例如usb、串行端口、sata或专有通信接口，或优选无线的，例如wi
‑
fi或蓝牙(但是，定时和带宽限制可以限制一些较快的常规通信接口，例如wi
‑
fi或usb 3.0的实用选择)。示例性hmd还具有电源(例如，电池或硬接线电源连接器)、机载计算机(包括处理器、gpu、ram和非易失性数据和指令存储器)以及用于将信息叠加到用户视野内的一个或多个显示器。示例性hmd还可包括捕捉环境的3
‑
d图像的相机阵列(其可包括光学传感器和ir传感器以及照明源)。在一些实施例中，hmd或外部处理器可以使用图像处理算法创建用户环境的模型，所述图像处理算法识别环境的重要特征，并且通过处理立体或ir数据来创建环境的3d模型。通过将hmd的显示器校准到用户的视野，显示在全息显示器上(例如，使用直接视网膜或半反射投影)的信息可以可靠地叠加到用户的视野上以增强用户对环境的观察。
[0257]
由手术工作人员佩戴的hmd可包括可商购获得的现成的hmd，例如oculus rift
tm
、microsoft hololens
tm
、google glass
tm
、magic leap one
tm
或用于手术环境的定制设计的硬件。在一些实施例中，将补充硬件添加到商购可得的hmd中，以使用现成的hmd部件和定制硬件增强其用于手术环境。在一些实施例中，可以将hmd硬件集成到传统的手术罩和面罩中，从而允许hmd充当个人保护设备，并且允许通过反射外科医生已经熟悉佩戴的面罩的光来显示信息。市场上的hmd技术有多种方法为用户提供混合现实环境。例如，虚拟现实头戴件，例如oculus rift
tm
、htc vive
tm
、sony playstation vr
tm
或samsung gear vr
tm
，阻挡用户的自然视觉，用立体屏幕替换用户的整个视野，从而创建3d环境。这些系统可以使用一个或多个相机重新创建三维环境的增强形式以向用户显示。这允许捕获自然环境并用混合现实部件重新显示给用户。其他ar头戴件，如google glass
tm
和microsoft hololens
tm
，通过向用户提供补充信息来增强现实，这些补充信息在用户的视野内显示为全息图。由于用户直接或通过清晰透镜观察环境，因此从用户眼睛前方的反射表面投射或直接投射到用户视网膜上的额外显示信息对用户来说是半透明的。
[0258]
商购可得的hmd通常包括一个或多个面向外的相机以从环境收集信息。这些相机可包括可见光相机和ir相机。hmd可包括辅助相机从环境收集数据的照明源。大多数hmd包括用户可用于经由hmd的显示器与处理器交互的某种形式的用户界面。在一些系统中，用户界面可以是手持式远程控制器，其用于选择和接合所显示的菜单。由于灭菌问题和流体覆盖的手，这对于手术环境可能不是理想的。其他系统，例如microsoft hololens
tm
和google glass
tm
，使用一个或多个相机来跟踪手势或mems加速度计来检测用户头部的运动。然后，用户可以使用手势来与虚拟界面交互。例如，虚拟键盘可以全息显示，并且相机可以跟踪用户的手指移动以允许用户在虚拟浮动键盘上键入。一些hmd还可以具有语音接口。除了显示器之外，头戴件可以通过致动器提供触觉反馈或者通过头戴件或扬声器向用户提供音频信号。hmd的其它机载传感器可包括陀螺仪、磁力计、激光或光学接近传感器。在一些实施例中，hmd还可以具有激光或其它投影装置，其允许将信息投影到环境中，而不是以全息方式投射到用户上。
[0259]
虽然ar头戴件可以向用户提供比vr更自然的感觉，因为用户看到的大部分图像是自然的，但可能难以正确地将显示的信息与用户的观察点叠加和对准。业界已经有许多软件举措解决了这一问题，这些举措由ar头戴件制造商率先实施。因此，ar头戴件和vr头戴件通常带有将信息叠加到用户视野以使该信息与用户在环境中看到的信息对准所必需的软
件工具。
[0260]
在一些实施例中，与显示在传统的安装在推车上的显示器上的信息类似的信息作为机器人辅助手术系统例如navio手术系统的一部分提供给外科医生。在一些实施例中，由手术室中的不同人佩戴的不同hmd可以在任何时间显示不同信息。例如，外科医生可以看到与他当前视野中的内容有关的信息，而由手术住院医师佩戴的hmd可以显示主治外科医生看到的内容和主治外科医生看到的任何增强的相机画面。在一些实施例中，住院医生可看到有助于住院医生学习或向外科医生传达的额外患者信息，例如术前成像、患者文件、来自工具或医疗器械制造商的信息等。
[0261]
hmd包括一个或多个相机，该一个或多个相机捕获穿戴者的视野(或其更宽或更窄的形式)且将图像提供到处理器，由此允许处理器解析由hmd捕获的二维图像及其与手术室的3d模型的关系。例如，hmd的一个或多个跟踪相机可以捕获患者骨和/或工具的基准标记的存在，以确定穿戴者的角度如何与患者和/或工具的3d模型相关。这可以允许图像处理器从捕获的图像提取特征，例如骨/组织和工具，并使用该信息在穿戴者正在查看的图像上显示增强的信息。例如，当外科医生正对膝盖进行手术时，外科医生的hmd上的相机可以捕获外科医生看到的内容，从而允许图像处理软件确定外科医生在三维空间中正在寻找的位置，并确定外科医生正在寻找的特定患者特征。这些具体的患者特征可以通过图像处理软件使用模式匹配或机器学习技术在二维图像中定位，所述机器学习技术被告知外科医生在手术场景中看到的位置。
[0262]
例如，外科医生可以观察胫骨平台和股骨髁。hmd上的相机将实时捕捉该图像(包括实际处理和通信延迟)，并将该图像发送至图像处理软件。图像处理软件可以将被观察对象识别为胫骨平台和股骨髁(或可基于视角接收提示)，并寻找图像中的图案以识别外科医生视野内的这些特征的范围。然后，可将关于胫骨平台和股骨髁的信息用外科医生看到的图像覆盖。如果图像(或最近的图像)中可获得基准标记，或者外科医生的hmd包括由机器人视觉系统或由房间内的其它hmd的相机捕获的基准标记，以允许计算外科医生的hmd相机的姿态，则软件能够相对于手术场景的三维模型准确地定位二维图像。
[0263]
在一些实施例中，信息全息覆盖在用户的视野中。在一些实施例中，信息可以从hmd以数字方式投射到环境中。例如，联接到头戴件的激光阵列mems镜可以将图像直接投射到环境中的表面上。因为这种投影来自与用户眼睛大致相同的位置，所以这种投影可以容易地与用户的视野并置，从而以比向用户呈现浮动全息图更稳健的方式将信息覆盖到环境中。例如，如图13中所示，hmd1100将切割包络的计算机生成图像投射到患者的膝盖1102的一部分上，以向穿戴者准确地指示她应该在膝盖中的骨骼上切割的位置，而不分散穿戴者的注意力或干扰她的外周视力。
[0264]
使用光学跟踪模式的手术系统，例如navio系统，可非常适合与hmd一起使用。包括在hmd中的一个或多个相机使得将hmd调适用于手术室特别方便。如图14中所示，安装到推车或固定在手术环境中的一个或多个相机1110使用光学和ir跟踪来捕获安装到工具和患者骨的基准标记1112、1114的位置。向此环境添加一个或多个hmd1100可以通过提供光学或ir跟踪的额外视角来补充此跟踪系统。在一些实施例中，多个hmd1100可以在手术室中同时使用，从而提供各种视角以帮助跟踪工具的基准标记和患者解剖结构。在一些实施例中，使用多个hmd提供了更稳健的跟踪模式，因为可以在软件中比较、加权、相关联等额外视角以
验证和细化环境的3d模型。在一些实施例中，在手术室中(安装到墙壁、推车或手术灯)永久安装的相机可以利用比hmd中的那些更高质量的ir部件和光学部件。当部件的质量存在差距时，使用多个视角的3d模型细化可以将探试权重分配给不同的相机源，从而允许根据较高质量的部件或更可靠的视角进行细化。
[0265]
鉴于移动装置市场推动的光学传感器技术的快速发展，hmd光学传感器技术正在迅速发展。在一些实施例中，安装在推车上的相机阵列对于光学跟踪模态是不必要的。由外科医生、住院医生和护士佩戴的hmd上的光学传感器和ir传感器可以提供足够的视角来跟踪患者和工具上的基准标记，而不需要独立的推车。这可以降低将hmd添加到常规跟踪模式的成本或者降低整体系统成本。现有部件的hmd价格随着被消费者市场接受而迅速下降。在一些实施例中，安装在推车上的相机或壁挂式相机可以加入到使用比传统安装在推车上的跟踪系统质量低的光学传感器和ir传感器的系统，以补充否则完全依赖于hmd的ir传感器和光学传感器的实施例。(光学传感器包括ir传感器/相机和光学传感器/相机，并且可以一般地描述为相机，但为了清楚起见，这些部件可以单独列出；实施例可以包括可用光学传感器的任何子集。)
[0266]
如图14中所示，(安装在推车上的跟踪系统1110和每个hmd1100的)每个相机阵列具有限定相机系统的参考系的相机姿态。在推车安装式或壁挂式相机的情况下，相机姿态可在整个操作过程中固定。在hmd相机的情况下，当用户移动头部时，相机姿态通常将在手术期间改变。因此，在hmd与推车安装式或壁挂式跟踪系统一起工作以补充跟踪信息的一些实施例中，使用基准标记来至少识别其它相机系统在环境中的位置。在一些实施例中，基准标记可以刚性地应用于这些相机系统，以使得其它相机系统能够识别每个其它相机系统的位置和姿势。这可用于计算相机视角以确定手术环境的稳健3d模型。应了解，当用户在hmd中移动时，视野可能忽略其它相机系统，但系统上的基准标记允许相机系统在移动回到视野后快速识别其它相机及其姿态。
[0267]
一旦相机已经识别环境中其它相机的位置和/或姿态，相机就可以识别固定到患者骨或工具的基准标记的位置和取向。当两个相机在其视野中具有相同基准标记时，中央处理器或对等处理可关联那些标记相对于每个相机的位置和取向，以产生3d环境的模型，该模型包括每个相机的位置和姿势以及患者的每个可行手术骨的位置和姿态。在图14所示的示例中，安装到每个患者骨的基准标记1112和1114包括具有已知几何形状的四个反射点。这些基准标记1112和1114中的每一个具有在三维空间中限定的姿态。由于此几何形状是已知的，因此此姿态可通过配准过程相关联，以为每个骨限定作为对应基准标记的姿态的传递函数的参考系。因此，当可以通过处理器从相机信息确定姿态时，可以计算每个骨1116和1118相对于每个相机的视野的姿势。在此实例中，头戴件1100和安装在推车上的跟踪系统1110彼此或者与中央处理器无线通信。
[0268]
3d模型的稳健性通过多个相机观察到的基准标记的数目得到改进。因为相机利用数字信号捕捉模拟世界，并且限于光学部件的质量，所以每个相机在空间中可以定位基准标记的精度包括一定程度的误差。使用多个相机系统或hmd可以减少此误差，从而产生更稳健的3d模型，其精确性水平用单个安装在推车上的跟踪模式无法实现。由本领域已知的多个相机捕获的姿态信息来计算环境的3d模型的任何方法可适用于多hmd手术室环境。
[0269]
图15示出了用于在患者和工具上使用基准标记的手术环境中使用ar头戴件的示
例性方法1200。手术室中的每个相机系统可包括hmd上的相机和固定相机，例如安装到推车或墙壁上的相机，所述相机系统可以执行步骤1202到1212。可以在步骤1202处初始化每个相机系统。这可包括准备相机在手术期间操作所需的任何启动程序和校准。在步骤1204处，相机系统捕获图像并应用任何技术来准备这些图像以供处理，包括消除畸变或任何图像预处理。在步骤1206处，每个相机系统可以任选地估计其自身的姿态。这可包括陀螺仪传感器、加速度计传感器、磁传感器或罗盘和根据基于图像信息更新的先前姿态的模型。在步骤1208处，每个相机系统尝试识别在其视野中的任何其它相机系统。这可用于确定各种相机系统之间的几何关系。在一些实施例中，此识别步骤寻找可见场中可包括放置在相机或ir信标等上的基准标记的某些标记。在步骤1210处，每个相机系统识别所捕获图像中的基准标记。基准标记可以是放置在患者解剖结构、工具、其它相机或环境中的标志上的物理标记或固定到患者解剖结构、工具、其它相机或标志上的物理标记。与每个相机系统相关联的处理器可以基于这些基准标记确定姿态信息。此姿态信息可包括该相机系统的姿态和/或对象在环境中的姿态。例如，工具可以具有放置在其上的多个ir/uv反射或独特颜色或图案化标记，使得可以从一个或多个图像识别该工具的位置和取向。类似地，相机上可以放置多个基准标记以允许由其它相机系统计算相机的位置和取向。在步骤1212处，关于环境中其它对象的位置和取向的该信息可以通过无线方式或通过硬有线网络报告给管理系统的中央处理器。可以重复上述步骤(1204
‑
1212)，因为每个相机系统连续地捕获图像并准备它们以供分析。
[0270]
在步骤1214处，中央处理器从每个相机系统接收图像数据和姿态或基准标记信息。在步骤1216处，中央处理器创建或更新环境中的所有相机系统的模型及其相对于环境参考系的姿态。在步骤1218处，中央处理器识别所接收图像中的基准标记以关联由多个相机系统捕获的标记。通过在多个视野中捕获此类标记，对象的不同视角可用于优化对于对象在环境中的位置和取向的确定。一旦相关，在步骤1220处，中央处理器可以计算具有基准标记的每个对象的位置和取向，例如工具、环境标志、其它hmd或相机系统和患者解剖结构。在步骤1222处，该信息用于更新环境的3d模型，计算对象相对于固定参考系的位置和取向，以及识别由每个对象定义的参考系的姿态。例如，患者的股骨具有基于患者正躺在手术室内的方式的给定姿态。该股骨还具有其自身的参考系，当将术前成像与患者的股骨的结构相关联时，所述参考系可用于识别可能需要在手术期间切除的该股骨的部分。在步骤1224处，中央处理器可以使用更新的3d模型将关于环境的信息发送至手术机器人系统和手术室中的任何hmd。中央处理器继续接收图像并更新环境模型。在一些实施例中，此过程可经由其它传感器，例如加速度计、罗盘等来针对手术室内的任何对象进行增强。一旦生成此3d模型，中央处理器就可自由地根据本文所述的许多软件应用程序与各个hmd交互。
[0271]
图16是在手术期间使用的增强现实系统1300的系统图。在此实例中，基准标记1302a
‑
g放置在每个hmd和相机系统以及患者的股骨和胫骨上。在此实例中，正在执行部分或全膝关节置换。放置安装在推车的相机系统1110(例如，可用于navio手术系统的相机系统)以具有手术场景的视野。具有多个基准标记(例如，三个或更多球形ir反射标记)的基准标记1302e
‑
f暂时机械地固定到患者的股骨和胫骨。这允许安装在推车上的相机系统1110跟踪胫骨和股骨的姿态和运动。这可以用于确定这些骨骼之间的枢转中心，以及在运动期间关于患者解剖结构的其它信息。手术机器人1306还可以使用该信息来确定切割和置换膝
盖部分的理想放置。安装在推车上的相机系统1110通过局域网(例如，安全wi
‑
fi网络)与中央处理器1304通信，该中央处理器包括足以处理来自安装在推车上的相机的图像的软件和存储器，以确定环境模型并计算可能对手术机器人1306有用的任何信息，以帮助外科医生进行手术。在一些实施例中，中央处理器1304是支持相机系统的推车的一部分。在这些实施例中，安装在推车上的相机系统1110可以直接与中央处理器1304通信。然后，中央处理器1304与在程序期间使用的任何机器人系统1306通信。
[0272]
除了这种传统的机器人手术系统之外，医生和内部工作人员在程序期间穿戴多个hmd 1100、1100a和1100b。每个hmd具有允许在安装在推车上的相机系统1110的视觉平面中识别hmd的标识符。在一些实施例中，标识符包括ir发射器，该ir发射器发送识别特定hmd或穿戴者的二进制调制代码。
[0273]
在此实施例中，每个hmd 1100
‑
1100b具有从多个位置捕获用户视野(或其子部分或更宽角度)的相机阵列(ir和/或可见光谱)，从而产生用于图像处理的场景的立体(或更高阶)视图。这允许每个头戴件捕获足以提供关于场景的三维信息的图像数据。每个hmd捕获手术场景的不同前景。如图15中所解释，每个hmd的相机阵列捕获场景的图像，估计hmd的当前姿态(也可由非光学传感器估计)，并识别视野中的其它相机和任何基准标记。在一些实施例中，hmd具有ir发射器以照射反射基准标记。这些捕获的图像接着可在hmd上处理或发送至中央处理器以进行更强大的图像处理。在一些实施例中，对每一hmd执行预处理步骤以识别基准标记和其它相机并估计基准标记和其它相机的姿态。每个hmd可以通过本地网络1310，例如安全wi
‑
fi网络与其它hmd或与中央处理器1304通信。中央处理器1304从每个hmd接收图像信息，并进一步优化手术空间的3d模型。
[0274]
基于从每个hmd捕获的图像，中央处理器1304可以确定手术室的三维模型中的哪些对象对应于每个hmd的二维图像平面中的参考特征。该信息接着可通过网络1310传回到hmd。在一些实施例中，每个hmd定期接收关于三维模型的信息，但使用机载图像处理基于从中央处理器接收的三维模型信息来跟踪对象。这允许头戴件实时地准确跟踪视野内的对象，而不会由网络通信造成延迟。
[0275]
在一些实施例中，hmd 1100从中央处理器1304接收关于对象的信息，并且处理当前和最近图像以识别对应于从中央处理器接收的三维模型信息的对象的突出特征。hmd 1100使用本地图像处理来跟踪视觉平面中的那些特征(和相关联的对象)。这允许hmd 1100使参考像素位置覆盖与对象有关的信息。
[0276]
例如，外科医生的hmd 1100可以捕获与胫骨和股骨有关的基准标记1302e和1302f。基于与中央处理器1304通信来识别胫骨和股骨的三维模型，外科医生的hmd 1100可识别二维图像中的哪些特征对应于胫骨平台和股骨髁的特征。通过跟踪这些骨骼上的基准标记或者通过跟踪识别为胫骨平台或股骨髁的图像特征，外科医生的hmd 1100可以实时跟踪骨骼的这些特征(考虑任何处理和存储器延迟)，而不必担心网络延迟。如果在hmd 1100上运行的软件希望覆盖在胫骨平台上切割位置的视觉指示，则hmd可以在外科医生的头部移动或患者的腿移动时跟踪胫骨平台。外科医生的hmd 1100可以准确地估计该骨特征的参考点在哪里以及在哪里显示增强全息特征。
[0277]
在一些实施例中，hmd 1100
‑
1100b可以直接通信以互相协助更新任何位置模型。使用点对点通信，hmd 1100
‑
1100b可以向其他hmd展示其环境模型，允许它们使用仲裁规则
来纠正自己的模型。
[0278]
在一些实施例中，手术空间内的对象可包括qr码或其它视觉指示，其可由hmd 1100上的相机捕获以直接向hmd传达关于该对象的信息。例如，具有用于给定手术的工具的手术托盘1308可以具有指示托盘的身份的qr码。通过查阅数据库，捕获qr码的hmd1100可以精确地识别在手术开始之前该托盘上的对象和手术工具。这可以允许hmd1100识别与手术有关的重要对象，例如各种刀、切割工具、海绵或可植入装置。然后，hmd 1100可以在手术空间内跟踪这些对象，同时考虑那些对象的最后已知位置。在一些实施例中，hmd 1100
‑
1100b可以共享关于手术室内对象的最后已知位置的信息，以使每个头戴件能够更快速或更容易地识别进入每个hmd的视野的对象。这可以帮助外科医生快速确定在手术的下一步要抓取的工具或对象。例如，托盘可以包括用于各种手术的一系列切割引导件。然而，每个患者可能只需要在其股骨上使用单个切割引导件。hmd 1100可以基于托盘的qr码和初始布局识别托盘中的切割引导件，并跟踪单个切割引导件。hmd 1100的全息显示器可以将切割引导件用于程序中的给定步骤的指示叠加到外科医生。
[0279]
在不同实施例中，可以向hmd的用户显示各种信息。例如，在图17a中，向用户呈现股骨髁上的切除区域的全息叠加1315，以指示外科医生应在何处去除组织以用于安放将粘合并固定到该股骨头的置换膝关节部分。图17a是外科医生看到的视图，包括自然场景和全息放置在骨骼表面上的叠加形状。在一些实施例中，与其使用全息图作为常规ar显示的一部分，安装到hmd的激光器或投影仪可以将该信息直接投影到骨骼的表面上。hmd上的相机可以提供反馈环，以确保将突出部适当且一致地放置在骨骼上。
[0280]
在图17b中，示出了三维模型的示例性显示。常规地，该显示可以出现在机器人手术系统的计算机屏幕上。它在三维模型上准确指示外科医生的工具应该去哪里以及工具应该从哪里切割骨骼。该信息可适用于ar显示，从而将骨的三维模型的一部分以全息方式覆盖在骨上，从而允许向观察现实世界骨的用户显示切除区域。在一些实施例中，仅显示切除区域的三维模型，同时将骨的三维模型与hmd的视野进行比较，以确保正确放置切除区域的全息显示的三维模型。另外，图17b中所示的任何菜单或附加信息可以向hmd的用户显示为全息菜单，允许用户通过标准ar用户界面选择某些用户界面菜单以了解更多信息或视图。
[0281]
图18a示出了可向用户显示的附加三维模型视图。图18a描绘了在股骨头测绘过程中由点探针识别的点。此类信息可以经由已探测以识别股骨头形状的骨的部分的全息图像显示给外科医生。在一些实施例中，该信息可以显示在住院医生的hmd上。图18a中所示的图像可以显示在手术室内的常规计算机显示器上。显示器的个别部分，例如股骨头的三维模型，可以使用ar显示器以全息方式显示到骨骼上。再次，所示的这些菜单中的任一个可以显示给用户的头戴件，或者可以显示在房间中的推车上的二维lcd类型显示器上。这些菜单可以由hmd的用户选择，以更改视图或获得额外信息。ar hmd的用户可以使用任何常规ar选择手段，例如可以由hmd中的传感器或相机检测到的空气相机(air click)或头部/手部手势来选择菜单。在一些实施例中，在使用机器人切割工具的情况下，此显示器可以指示机器人要切割的位置，允许外科医生在切割开始之前进行视觉确认。
[0282]
图18b示出了股骨的另一个三维模型，其示出了股骨切割引导件的适当放置。这可以在全息图上向外科医生显示，以准确指示股骨切割引导件应放置的位置。在切割引导件的对准期间，外科医生可以查阅该全息叠加以确保放置大致正确。房间内的机器人视觉系
统可以在安装切割引导件之前提供最终确认。在髋关节手术中，这种相同的技术可用于帮助外科医生放置定制的股骨颈切割引导件或用于帮助放置杯的髋臼夹具。在一些实施例中，图18b中的显示可以从图18a中的菜单选择，允许外科医生在步骤历史和可以完成的接下来的步骤的模型之间切换。这可以允许用户有效地后退和快进程序，看到将来要执行的步骤和已经执行的步骤。
[0283]
在一些实施例中，用户还可以选择和修改提议的切割角度，从而允许处理器使用解剖模型计算切割角度的变化可以如何影响置换膝盖的几何形状，所述解剖模型例如smith and nephew，inc.制造的lifemod
tm
。所显示的信息可以包括在切割几何形状改变的情况下将对患者的韧带和组织产生的静态力和动态力。这可以允许外科医生即时修改置换膝盖程序，以确保在程序期间适当放置置换膝盖部件以优化患者的结果。
[0284]
图19示出了包括韧带和肌腱力的模型的完全置换膝关节系统的三维模型。如果外科医生希望看到在手术期间的切割决定如何影响铰链几何形状和对韧带和肌腱产生的应力，则可以在手术期间向外科医生全息地显示该模型的一部分。植入物的放置和用于关节置换术程序的其它参数的示例性建模在美国专利申请第13/814,531号中描述，所述美国专利申请先前以引用的方式并入本文。外科医生可经由ar界面改变关节置换术的参数以产生可以通过头戴件显示的假设结果，例如全膝关节置换术(tka)期间的参数变化是否使患者的步态变成更内翻或外翻，或如何跟踪髌骨。优化的参数也可以建模并且以全息方式给外科医生显示程序。
[0285]
在一些实施例中，hmd的穿戴者可选择性地请求显示患者病史信息，包括患者组织的术前扫描。在一些实施例中，扫描的显示可以通过将成像的特征与患者中发现的特征对准而全息地覆盖到在场景中观测到的现有患者组织。这可用于引导外科医生在程序期间确定适当的切除区域。
[0286]
在一些实施例中，三维数据模型的视频可以被记录、记入日志和加时间戳。视频的回放可以在程序之后执行，或者视频可以在程序期间在hmd显示器上调用以查看一个或多个步骤。对于希望看到何时执行某一切割或步骤的住院医生或外科医生来说，这可能是有价值的教学工具。回放可以是在程序期间基于程序期间的事件创建手术计划改变的有用工具。hmd操作者的头部或手部姿势可以后退或前进视频或3
‑
d模型信息的虚拟观看。
[0287]
示例性使用案例
[0288]
通过使用hmd将ar添加到手术室，可以实现对各种手术中的手术流程的许多改进。以下是可以在各种手术程序中使用ar的方式的一些实例。
[0289]
软件可以利用hmd相机和显示器来确定(在术前计划和处理器的协助下)切口的理想起始位置。通过全息覆盖(或通过直接投射到患者皮肤上)，可向观察患者的外科医生显示限定切口位置范围的线。确切位置可以考虑具体的患者解剖结构和术中点配准，其中用户更准确地向系统配准患者几何形状。
[0290]
软组织解剖可利用hmd的内置相机和患者的模型来突出显示关节的某些肌肉群、韧带，例如髋关节囊或膝关节、神经、血管结构或其它软组织，以在解剖期间帮助外科医生到达髋关节或膝关节。增强显示可以向外科医生显示这些软组织的位置的指示，例如通过全息显示3d模型或术前成像。
[0291]
在髋关节置换或修复期间，软件可以基于术前计划在近端股骨上叠加指示理想颈
部切割的线。这可以限定切割骨以放置替代的股骨头假体的精确位置。类似于上述实例，在髋臼再扩孔期间，抬头显示器可以通过在患者的髋臼上覆盖不同颜色来展示需要去除的骨量。这允许外科医生知道他/她何时接近髋臼的底面。在一些实施例中，用于扩孔髋臼的切除区域的范围可以叠加到患者骨上。例如绿色、黄色和红色的颜色指示可以向外科医生(基于他/她的工具的位置)指示扩孔相对于预定切除区域的深度。这提供了手术期间避免切除过多的骨的简单指示。在一些实施例中，抬头显示器可以叠加扩孔器手柄(或其它工具)的图像，以指示来自术前计划(或来自外科医生输入)的适当倾斜和前倾。其还可显示扩孔器/工具手柄的实际倾斜/前倾以允许外科医生校正其接近角度。
[0292]
在用于髋关节置换的杯冲击步骤期间，类似于扩孔，倾斜和前倾值可以与从术前计划确定的值一起显示在抬头单元上。可以显示杯冲击器(或长轴线)的叠加图像，以帮助外科医生定位植入物。hmd还可以显示杯距离完全就位的距离的指示。例如，叠加的杯或冲击器的测量值或颜色变化可以用来指示杯是否完全就位，或者覆盖了突出显示与外科医生当前看到的有差异的杯的最终理想位置的模型。
[0293]
hmd可突出显示螺钉孔，该螺钉孔应该用于将任何硬件固定到骨骼上。当使用钻孔和钻孔引导件时，抬头显示器可以叠加用于螺钉插入的“理想”轴线，以帮助螺钉定位在螺钉孔内。
[0294]
在股骨管制备期间，当外科医生将拉刀插入股骨管内时，hmd可以将拉刀的图像叠加在适当取向上(对应于术前计划)。另外，指示可以叠加到场景上，以向外科医生提供与最终拉刀设置有关的信息。这可以通过改变拉刀周围的颜色或者给外科医生指示拉刀是否完全就位以及该尺寸是否为正确的“最终”部件尺寸的百分比或数字来展示。
[0295]
可以基于正在使用的植入物集(例如，以图表形式)给执行试验还原的外科医生提供显示腿长度和偏移增加的组合的选项。例如，图表可以列出每种植入物组合的腿长度和偏移变化的组合。替代地，可以有选项使所提出的/改变的部件叠加在患者的解剖结构上，以向外科医生展示如果改变颈部偏移/股骨头长度(例如，从std改变为高偏移颈，+0至+4股骨头)，那么所得到的植入物定位将是什么。外科医生可以从第一次试验中选择适当的植入物并且执行植入步骤。多个试验步骤，即常规护理标准，可能是不必要的。
[0296]
还可以通过ar改进表面重修技术。当执行表面重修程序时，hmd可以叠加指示导丝的理想位置和取向的轴线。在一些实施例中，软件允许外科医生调整该轴线，并且hmd可以叠加股骨颈的横截面或其它视图，以在某位置插入植入物时向外科医生显示骨将有多厚(来自表面重修手术的最常见并发症之一是在内翻中插入部件，这可能导致股骨颈骨折)。赋予外科医生调整此轴线的能力可以使得能够优化体内植入物的性能。
[0297]
在一些实施例中，这种传统的股骨表面重修技术可以被仅毛刺技术替换。在这种示例性技术中，外科医生完全通过钻孔来制备近端股骨。骨图可以叠加到骨上以指示剩余多少骨待去除。这也可以通过图上的颜色来指示。可以向外科医生提供各种切割器械，以减少将骨骼切割成所需形状所需的总时间量。
[0298]
任何合适的跟踪系统都可以用于跟踪手术室中的手术对象和患者解剖结构。例如，可以在阵列中使用红外和可见光相机的组合。各种照明源(例如红外led光源)可以照亮场景，从而可以进行三维成像。在一些实施例中，这可以包括立体，三视，四视等成像。除了在一些实施例中固定到推车的相机阵列之外，还可以在整个手术室中放置附加相机。例如，
操作者/外科医生穿戴的手持式工具或头戴件可以包括可将图像传回中央处理器以将那些图像与相机阵列获取的图像相关的成像功能。这可以为使用多个视角进行建模的环境提供更鲁棒的图像。此外，一些成像装置可以在场景上具有合适的分辨率或具有合适的视角以拾取存储在qr码或条形码中的信息。这有助于识别未用系统手动配准的特定对象。
[0299]
在一些实施例中，外科医生可以在术前或手术期间用系统手动配准特定对象。例如，通过与用户界面交互，外科医生可以识别工具或骨结构的起始位置。通过跟踪与该工具或骨结构相关的基准标记，或者通过使用其他常规图像跟踪方式，处理器可以在工具或骨在三维模型中移动通过环境时对其进行跟踪。
[0300]
在一些实施例中，诸如在手术室中识别个人、重要工具或骨的基准标记的某些标记物可以包括可以由与跟踪系统关联的相机或相机阵列拾取的被动或主动标识。例如，红外led可以闪烁图案，所述图案将唯一的标识传达给该图案的来源，从而提供动态识别标记。类似地，一维或二维光学代码(条形码、qr代码等)可以固定到手术室的对象以提供基于图像分析可以发生的被动识别。如果这些代码非对称地放置在对象上，则它们也可以用于通过将标识符的位置与图像中对象的范围进行比较来确定对象的取向。例如，可以将qr码放置在工具托盘的角部中，从而允许跟踪该托盘的方向和标识。其他跟踪方式将在全文中进行说明。例如，在一些实施例中，外科医生和其他人员可以穿戴增强现实头戴件以提供附加的相机角度和跟踪能力。
[0301]
除了光学跟踪外，还可以通过配准对象的物理性质并将其与可以跟踪的对象(例如固定到工具或骨的基准标记)关联来跟踪对象的某些特征。例如，外科医生可以执行手动配准过程，由此被跟踪工具和被跟踪骨可以相对于彼此被操纵。通过将工具的尖端撞击骨的表面，可以为该骨标绘三维表面，所述三维表面与相对于该基准标记的参考系的位置和取向关联。通过光学跟踪与该骨关联的基准标记的位置和取向(姿态)，可以通过外推法在环境中跟踪该表面的模型。
[0302]
图20提供了可用于实施手术计算机150、手术数据服务器180或根据本发明使用的其它计算系统的并行处理平台2000的实例。该平台2000可以例如用于机器学习和其它处理密集型操作受益于并行处理任务的实施例中。该平台2000可以例如用nvidia cuda
tm
或类似的并行计算平台实施。该架构包括主机计算单元(“主机”)2005和经由总线2015(例如，pcie总线)连接的图形处理单元(gpu)装置(“装置”)2010。主机2005包括中央处理单元或“cpu”(图20中未显示)和cpu可访问的主机存储器2025。装置2010包括图形处理单元(gpu)及其相关联存储器2020，该存储器在本文中称为装置存储器。装置存储器2020可包括各种类型的存储器，每一存储器针对不同存储器的使用而优化。例如，在一些实施例中，装置存储器包括全局存储器、恒定存储器和纹理存储器。
[0303]
大数据平台和/或大模拟平台的平行部分可以在平台2000上作为“装置内核”或简单地作为“内核”执行。内核包括被配置成执行特定功能的参数化代码。并行计算平台被配置成基于参数、设置和由用户提供的其它选择，以最佳方式在平台2000上执行这些内核。另外，在一些实施例中，并行计算平台可包含额外功能以允许以最佳方式在由用户提供的最少输入的情况下自动处理内核。
[0304]
每个内核所需的处理由线程块网格执行(下文将更详细地描述)。使用并发内核执行、流和与轻量化事件同步，平台2000(或类似架构)可用于并行化在训练中执行的基于机
器学习的操作的部分或利用本文所论述的智能编辑过程。例如，并行处理平台2000可以用于并行执行机器学习模型的多个实例。
[0305]
装置2010包括表示装置2010的计算单元的一个或多个线程块2030。术语线程块是指可以通过共享存储器协作并同步其执行以协调存储器访问的一组线程。例如，线程2040、2045和2050在线程块2030中操作并访问共享存储器2035。取决于所使用的并行计算平台，线程块可以按网格结构组织。然后可以将计算或一系列计算映射到此网格上。例如，在利用cuda的实施例中，计算可以在一维、二维或三维网格上映射。每个网格包含多个线程块，每个线程块包含多个线程。例如，线程块2030可以采用m+1行和n+1列的二维网格结构来组织。通常，同一网格的不同线程块中的线程不能彼此通信或同步。然而，同一网格中的线程块可以同时在gpu内的相同多处理器上运行。每个线程块中的线程数可能受到硬件或软件约束的限制。
[0306]
继续参考图20，寄存器2055、2060和2065表示可用于线程块2030的快速存储器。每个寄存器只能通过单线程访问。因此，例如，仅可通过线程2040访问寄存器2055。相反，共享存储器是按线程块分配的，因此该块中的所有线程都可访问相同的共享存储器。因此，共享存储器2035被设计成并行地由线程块2030中的每个线程2040、2045和2050访问。线程可以访问由相同线程块(例如，线程块2030)内的其它线程从装置存储器2020加载的共享存储器2035中的数据。装置存储器2020由网格的所有块访问，并且可以使用例如动态随机存取存储器(dram)来实现。
[0307]
每个线程可以具有一个或多个存储器访问级别。例如，在平台2000中，每个线程可以具有三个存储器访问级别。首先，每个线程2040、2045、2050可以读取和写入其对应的寄存器2055、2060和2065。寄存器提供对线程的最快内存访问，因为不存在同步问题，且寄存器通常位于执行线程的多处理器附近。其次，线程块2030中的每个线程2040、2045、2050可以将数据读取和写入到对应于该块2030的共享存储器2035。通常，由于需要同步线程块中的所有线程之间的访问，线程访问共享存储器所需的时间超过访问寄存器所需的时间。然而，与线程块中的寄存器一样，共享存储器通常位于执行线程的多处理器附近。第三级存储器访问允许装置2010上的所有线程读取和/或写入装置存储器2020。装置存储器需要最长的访问时间，因为访问必须在装置上操作的线程块之间同步。
[0308]
本公开的实施例可以用硬件和软件的任何组合来实现。例如，除了图20中呈现的并行处理架构之外，标准计算平台(例如，服务器、台式计算机等)可以被专门配置以执行本文所论述的技术。另外，本公开的实施例可以包括在具有例如计算机可读非暂时性介质的制造物品(例如，一个或多个计算机程序产品)中。介质可能在其中包含用于提供和促进本公开的实施例的机制的计算机可读程序代码。制造物品可以作为计算机系统的一部分被包括在内或单独出售。
[0309]
应用统计模型来按患者活动优化术前或术中规划
[0310]
需要用于手术工作人员进行患者特定的术前或术中规划的简单且处理器有效的规划工具。由于手术量，并且对工程师和外科医生的时间有限制，因此关节置换术的术前规划阶段应是计算和劳动效率高的，而术中规划阶段对任何模拟数据施加了更多的计算限制，因为没有时间等待在手术室中进行模拟。随着廉价平板电脑或移动装置(一般来说，例如手术室中的推车工作台等较低功率的计算系统)的兴起，有机会提供可以辅助手术工作
人员收集数据并规划手术程序的低处理器开销应用程序，该低处理器开销应用程序利用在维护来自过去患者病例的模拟或现实世界数据的数据存储器的网络上相接的更强大的系统。这些后端系统可以维护、操纵、创建和挖掘大量数据，从而允许手术室中的较低功率装置或利用此信息宝库。理想的规划应用程序应辅助手术工作人员收集数据并规划手术程序和访问来自过去患者病例的模拟或现实世界数据的数据存储器。
[0311]
例如，在一些实施例中，具有直观的触摸屏接口、无线网络能力和相机的手术室装置或移动装置使得它们特别适合在术前阶段或手术期间帮助创建或修改可以与cass一起使用的手术计划。其界面可以在收集和与可用于改进手术计划的新的信息(例如，在手术期间捕获的关节的成像或力特性)交互方面是有用的。诸如平板电脑、笔记本电脑或基于推车的计算机等装置通常缺乏强大的处理器，这可以通过利用过去的模拟或临床结果的服务器或数据库来改进，从而在无需在本地或按需运行模拟的情况下向手术室中的装置提供患者特定模拟的优点。手术规划工具的一些实施例利用网络接口以允许远程数据库或服务器处理器从手术室装置或移动装置卸载一些数据存储或处理。通过查找或学习过去的类似模拟，这些数据库为给定患者数据提供高效、即时估计模拟结果的机会，这些数据库尤其适合低处理器开销应用程序。
[0312]
一些实施例认识到，手术的患者目标通常是独特且个性化的。一个患者可能只想回到无痛、更久坐的生活，而另一个患者可能希望回到打高尔夫、骑自行车或跑步的活跃生活。通过利用类似患者模拟或过往结果的大数据存储器，术前数据可以帮助外科医生朝向这些基于具体活动的目标优化手术计划。各种常见活动(例如，行走、爬楼梯、蹲坐、俯身、打高尔夫等)中的每一个的特征可以是运动曲线，其考虑了关节在与该活动相关联的示例性重复运动期间将经历的实际运动以及植入物和软组织上的预期应力。可以针对多种患者关节几何形状对每种活动进行重复运动曲线模拟，以填充模拟结果的数据库。cass或用户计算装置上的应用程序接着可请求选择患者手术计划被优化的活动。然后，手术计划可以集中于与那些运动曲线相关的模拟结果，同时忽略或加权与未选择的活动相关的不太严重的模拟结果。
[0313]
利用过去模拟结果的手术应用或cass的示例性实施例是膝关节置换规划工具。应当注意，这些技术也可以应用于其它切除手术，例如部分膝关节置换、髋关节置换、肩关节置换、踝关节置换、脊柱切除等，或者患者几何形状影响假体植入物的性能的任何程序。在膝关节置换规划工具的实例中，规划工具可以协助外科医生选择植入物的适当尺寸、适当位置和取向，以及在植入假体时要使用的植入物的类型，以最大化移动性，并最小化由于在预期活动期间植入物或韧带的过早磨损、撞击、脱位或不必要负荷而造成的失败的可能性。
[0314]
在tha的背景下，利用拇指范围规则用于髋臼杯放置的外展和前倾角的现行指南(例如，使用lewinnek“安全区”的指南)可能不足以在患者恢复时将髋关节脱位的风险降到最低。例如，最近的研究表明，在lewinnek“安全区”内安装的植入物中，发生50％以上的术后脱位。研究还显示，患者的脊柱骨盆活动性可以直接影响适当的髋臼杯放置，这在传统指南中可能未被考虑。因此，适当的植入物位置和取向可以受益于利用模拟结果来考虑患者特定的风险因素的规划工具。
[0315]
手术规划工具的一个实施例可以是在台式电脑、服务器、笔记本电脑、平板电脑、手机或基于推车的工作站上运行的应用程序。示例性应用程序主要考虑x射线(或其它医疗
图像数据，例如ct、mri、超声等)内的可最小化x射线/图像畸变的影响的几何形状数据。在一些实施例中，图像处理软件可以估计图像内的突出点的位置和距离，或者触摸屏(或其它)界面可以允许用户通过在图像上拖动这些点和测量来容易地操纵这些点和测量，直到外科医生对相对于患者解剖结构放置的准确性感到满意为止。例如，在pka/tka中，可以从图像中提取股骨和胫骨的解剖轴线以确定内翻/外翻角；可以提取内侧和外侧髁的远端和后部的中心点和半径；可以从各种屈曲度的图像测量胫骨平台和相应髁之间的内侧和外侧间隙。可以从各种屈曲度的前/后图像确定髌骨沟的形状，而可以从侧向图像或mri确定深度。外科医生还可以通过将力以预定的屈曲度施加到膝盖以补充图像数据来估计韧带的张力或松驰度。一些实施例使用通过自动图像处理(通过搜索由过去的人类选择训练集所习得的突出特征来引导)完成并由用户使用触摸屏或计算机细化的对这些点的位置的估计的组合(其可以在外科医生用户将这些点置于图像上时从与外科医生用户的过去交互中习得)。在一些实施例中，考虑两个或更多个位置的伸展和屈膝(例如，侧向和ap x射线或mri)的图像。在一些实施例中，考虑站立的患者的x射线(或其它图像)和其坐着的x射线(或其它图像，例如mri)。这可以为系统提供站立与就坐之间的骨盆倾斜变化的估计，其可用于估计患者活动性问题。在其它实施例中，可以考虑处于挑战位置的患者的x射线，所述挑战位置例如屈曲就坐位置或站立时的过度伸展。一些实施例还利用运动捕获系统来提供关于患者现有关节活动性的信息，例如骨盆活动性限制。
[0316]
一旦图像被标记以识别患者解剖结构的几何特征和关系(通过图像分析自动地或通过触摸屏/ui操纵手动地)，模拟模型还可以包括任何另外的患者状况，例如脊柱或髋关节运动问题。(例如，在tha的情况下，条件可包括矢状平面中的特定运动范围以及刚度的量度。对于将植入物装置定位在患者体内，以针对患者的预期活动水平减少边缘负荷和错位的发生率，这很重要。)然后，规划应用程序可以执行对先前执行的解剖模拟结果的查找或基于从(各种患者几何形状和属性的)多个过去的解剖模拟结果提取的传递函数来执行计算，以产生韧带撞击风险的曲线，韧带应力，和髁室间隙，和髌骨跟踪(对于pka/tka)或在针对各种选择活动中的每一个的重复运动曲线期间，在整个运动范围内，在股骨头和髋臼杯(tha)之间的压力中心和运动范围。在一些实施例中，要考虑的各种活动可以由患者的生活方式和活动水平以及每种活动的模拟的总结果指导。然后，可以向用户呈现简单的用户界面选项，以改变远端切口和后部切口的位置和取向，和髌骨附着点/填充(对于pka/tka)或外展和前倾角(tha)以观察改变植入物的位置和取向如何影响所得关节的这些特征。还可以向用户呈现影响所得关节的性能的不同植入物选项，例如目标间隙尺寸、人工软骨厚度、植入物尺寸和模型、胫骨和股骨植入物深度、松驰度等。对于tha，这些可以包括但不限于：股骨头直径、衬里类型(中性、有罩盖的、前倾、陶瓷、约束、双活动性或表面重修)、标准/高偏移、股骨头偏移、植入物样式/系列(即，扁平锥形楔相对于配合和填充)、骨中的植入物深度、植入物尺寸等。由于可以通过表格查找或使用来自过去模拟结果的传递函数以算法方式快速生成结果，因此用户在界面中获得关于他或她在植入物类型和位置/取向中的选择的效应的似乎瞬时反馈。当收集到关于患者的新信息(例如关节的力加载、软组织松驰等)或当外科医生请求改变现有术前计划时，这在手术室中尤其有用，并且提供关于变化或新信息如何影响预期结果和关节表现的快速反馈。
[0317]
在一些实施例中，还向用户呈现按钮，该按钮允许系统自动地建议优化的远侧和
后部切割平面、胫骨植入物深度、髌骨姿态和填充以及植入物类型和尺寸，以最小化胫骨
‑
髁间隙的偏差，以及贯穿活动范围的韧带张力和松驰度，同时还最小化手术期间所需的韧带释放量以实现可接受的平衡(对于tka/pka)。这些选择或优化的结果接着可容易地添加到cass的手术计划中，或在同事之间共享关于运动范围和压力中心的一目了然的信息。可以使用任何合适的算法进行优化，例如通过逐渐调整角度或植入物类型并重新运行数据库搜索或传递函数计算，直到达到局部或全局最大值。在一些实施例中，对于患者几何形状的每个可能组合(或在合理范围内的每个组合内)事先进行优化，搜索用于该组合的远侧和后部切割姿态或植入物类型，以最小化隔室间隙或韧带的应变/松驰度(pka/tka)的偏差，或用于该组合的前倾和外展角或植入物类型，以最小化边缘负荷或脱位(对于tha)的风险。
[0318]
在一些实施例中，模拟患者几何形状的所有合理组合或所有组合的子集，以创建用于后续现实世界患者植入计划的模拟数据库。一旦执行足够多的模拟，算法可以搜索近似于这些模拟的结果的传递函数，从而允许针对植入物类型和位置/取向的不同组合内插模拟图，而不主动模拟每个组合。因为执行每个解剖模拟可能需要几分钟，所以从所有或过去模拟的子集确定传递函数可以加快确定特定患者的计划的过程。在一些实施例中，可以模拟植入物取向的子集，并且优化植入角度以填充结果数据库。然后，可以应用合适的机器学习算法来创建学习结果模型，该学习结果模型可以应用于估计参数的额外组合的结果。这允许通过结果模型动态地产生针对各种活动和植入物取向的屈曲和伸展间隙和韧带张力(pka/tka)或边缘负荷或错位应力(tha)的良好估计，而不针对每种组合使用解剖模型(其每次是处理器密集的)来完全模拟运动。可以单独或组合地应用以开发和训练所习得的结果模型或优化角度选择的示例性算法包括例如线性或逻辑回归、神经网络、决策树、随机森林、k均值集群、k最邻近或合适的深度学习开源库。传递函数可以通过回归分析、神经网络创建或可以估计传递函数的参数的任何合适的ai/分析算法来识别。
[0319]
通过针对每个活动的不同植入物取向和类型运行许多不同模拟，并模拟关节中的负荷、应力和运动范围，通过分析这些结果创建的数据库或模型可以充当统计模型，该统计模型描述针对每个活动的给定输出组合的多体系统的输出。这可以通过以下来实现：对仅具有几个自由度的模型模拟所有可能的输入，作为用于拟合多维度表达的传递函数，所述多维度表达在挖掘可能参数组合的子集的数百或数千次模拟之后密切地估计系统的响应，或通过应用常规的机器学习软件系统来基于大量模拟创建近似关节的多体模型的系统响应的ai驱动模型。在不同实施例中，这些统计模型中的任一个可用于以接近针对给定活动的患者特定的模型的按需模拟的准确性的方式对关节行为建模，而没有针对患者关节的详细多体模型的按需模拟的性能的不切实际。
[0320]
这些相同概念可以应用于选择其它可植入装置的位置和取向，例如全膝关节或部分膝关节置换，允许用户容易地标记x射线/图像数据以操纵硬件的植入位置和取向，并且快速地获得关于那些位置和取向如何基于患者的活动水平影响与植入物相关的风险因素的一目了然的反馈，并且容易地创建或修改手术计划。每个解剖模拟使用具有特定植入位置和取向的特定患者解剖几何形状，所述特定患者解剖几何形状执行与给定活动相关联的给定重复运动，例如爬楼梯。每个模拟都在数据库中创建一个数据点，当尝试稍后优化类似患者的植入计划时可以访问该数据库。通过对数百到数千个其它几何组合和活动重复此模拟，数据库可用于本土患者几何形状、植入姿态和可选活动的广泛组合。
[0321]
图21是实施手术规划工具的示例性实施例的系统2100的系统图，所述手术规划工具可以在独立系统中或作为cass的一部分使用以产生或修改手术计划。在一些实施例中，使用复杂模拟结果的预填充数据存储的低计算开销客户端
‑
服务器方法允许外科医生进行即时优化和调整，从而允许选择各种术后患者活动和对植入因子的改变。在髋关节置换术的这种情况下，这可包括髋臼杯前倾角和外展角、轴承类型(聚乙烯、硬材料、双活动性、约束、表面重修)、股骨头尺寸和偏移、股骨柄偏移(标准、高、外翻)、股骨柄样式、股骨柄深度和取向(形式)。在膝关节置换术的情况下，植入因子包括前
‑
后/外侧
‑
内侧放置或切割角、远端深度、髁的远端切口和后切口的特定取向，以确保在所选活动期间发生的运动范围中隔室间隙是一致的，并且韧带既没有过度应变也不太松驰，以及相对于股骨特征的髌骨的几何形状(pka/tka)。用户装置2102可以是个人计算装置，例如移动装置、平板电脑、手术工作站/推车或膝上型计算机/台式计算机。出于此实例的目的，用户装置2102可描述为平板电脑装置。一般来说，假设用户装置2102相对于计算机具有低处理能力，所述低处理能力原本可用于运行患者解剖结构的模拟。系统2100特别适合一种系统，在该系统中，对于每个所选择的活动执行给定患者几何形状和植入物取向和位置的即时模拟在计算上是不切实际的。用户装置2102的存储器内驻存引导手术规划过程的应用程序2103。应用程序2103包括用户界面(ui)2104和用户数据的数据及输入存储区2106。应用程序2103从用户那里请求关于给定患者的某些输入。在一些实施例中，应用程序2103可以与医疗记录服务器通信，所述医疗记录服务器包括患者记录以提供该信息中的一些。
[0322]
应用程序2103经由ui 2104请求的且存储在数据库2106中的示例性信息包括使用用户装置2102的相机来捕捉患者x射线/医疗图像的一个或多个图像的图片(或提供某装置，如果在手术期间使用应用程序，用户可以在手术期间由所述装置从医疗记录或当前捕获的图像上传先前捕获的x射线/ct/mri图像)，输入有关患者的重要信息，例如身高、体重，年龄、体格发育和活动水平。在一些实施例中，x射线是主要医疗图像，但在一些实施例中可以使用mri、ct或超声图像。ui还允许用户选择关于待植入的假体的信息，并且选择患者希望术后参与的各种活动(例如，跑步、打高尔夫、爬楼梯等)。在一些实施例中，用户使用ui的触摸屏和装置相机输入该信息的能力简化了应用程序，使得其不需要与电子医疗记录通信，电子医疗记录可能带来额外的监管问题并且需要额外的安全性和软件模块等。
[0323]
用户装置2102通过互联网2108与服务器或云服务2110通信。服务器2110为用户装置2102提供后端处理和资源，允许应用程序2103是轻量应用程序，而用户装置2102是几乎任何可用的用户装置，例如平板电脑或现有手术工作站。服务器2110维护模型数据库2112，该模型数据库包含执行与每个患者活动相关联的预定运动曲线的各种植入物患者几何形状的模拟结果。数据库2112可以通过合适的处理器，例如服务器2110的多核处理器，用附加的模拟预填充或连续地更新。在一些实施例中，附加计算机或集群(未示出)填充此模型数据库，允许服务器2110处理来自多个用户装置的传入请求。
[0324]
除了模拟结果之外，模型数据库2112还可包括辅助用户理解用于选择适当的植入姿态的合适范围的指南。在tka/pka的情况下，这可以包括为髌骨选择适当的填充以及其它植入物特征。对于tha，这可包括各种脊柱骨盆运动或骶骨倾斜角，以辅助用户选择适当的前倾角和外展角，以及其它植入物特征。模型数据库2112还可包括最佳推荐植入信息，例如对于给定患者几何形状和活动的最佳植入姿态、最佳植入尺寸或类型或将与执行给定活动
的给定患者解剖几何形状一起工作的最佳范围。在一些实施例中，模拟结果还包括对具有给定几何形状和额外障碍的患者的模拟，所述额外障碍例如在观看就坐和站立图像时未完全捕获的骨科或神经病状。
[0325]
一旦用户已上传x射线图像(或其它医疗图像)并操纵那些图像以识别那些图像内的某些点和角度(或图像处理软件已经自动地从图像中识别或估计这些角度)、患者特征、期望的患者活动、和可选的起始点植入物特征(例如，起始姿态，植入物尺寸，轴承类型等)，服务器2110可以查阅模型数据库2112，以找到最符合用户输入和医疗成像几何形状的条目。在一些实施例中，大量可独立调整的变量可以使所有可能的组合的完整数据库变得不切实际。在这些实施例中，数据库可以包括患者特征、x射线/成像几何形状和植入物特征的可能组合的子集，并且服务器2110可以从最匹配特定用户选择的周围条目内插特定结果。在一些实施例中，可提供最接近的匹配作为结果，而不进行内插。
[0326]
在一些实施例中，一旦已针对患者特征和几何形状的各种组合执行各种模拟，处理器就可以优化传递函数，以使用如上所述的任何常规手段紧密匹配模拟的结果。通过将传递函数拟合到许多模拟的结果，传递函数可以提供至服务器2110，以用于针对x射线和植入特征和患者特征的给定用户输入快速计算各种活动的结果，而不管该特定组合先前是否已被模拟。这可以使服务器2110能够快速地处理多个用户的请求，而不必在模拟中运行潜在数万个或更多组合以填充模型数据库2112。模型数据库2112可用于存储传递函数，允许服务器2110计算结果而不是搜索模型数据库2112。在一些实施例中，学习算法用于训练针对给定几何形状的每种活动的患者响应模型，以允许快速估计响应以及确定服务器处的优化的植入物位置和取向，类似于传递函数的使用。
[0327]
示例性模拟可以利用各种模拟工具，包括可从田纳西州孟菲斯市的smith and nephew，inc.的子公司lifemodeler inc.获得的lifemod
tm
解剖建模软件。示例性模拟在otto等人同时拥有的美国专利申请第12/234,444号中进行了解释，所述美国专利申请以引用的方式并入本文。解剖建模软件可以利用包括骨和软组织元件的人类解剖的多体物理模型，所述骨和软组织元件准确地模拟给定几何形状的人关节。具体的基于物理的生物力学模型可以针对患者的特定信息进行定制，例如身高、体重、年龄、性别、骨段长度、每个关节的运动范围和刚度曲线、平衡、姿势、先前手术、生活方式期望等。创建测试设计以模拟各种解剖几何形状和执行各种预定运动的植入角度，每个预定运动与不同的可选活动有关。
[0328]
图22示出了可以使用髋关节几何形状模型从x射线成像提取的各种理论角度。模型2120是处于站姿的髋关节的几何形状的模型，而模型2122是处于坐姿的髋关节的模型。可以从这些模型的几何形状提取的各种角度包括动态骶骨倾斜或倾角(st，站立45
°
，就坐20
°
)、静态骨盆入射(pi，站立和就坐55
°
)、动态骨盆股骨角度(pfa，站立180
°
，就坐125
°
)、动态前倾角(ai，站立35
°
，就坐60
°
)。图22中未示出的可以被提取和使用的理论角度可以包括组合矢状体指数，该组合的矢状体指数被定义为前倾角和骨盆股骨角度的总和。在该模型中在产生st和ai角的线的交点处的静态骶骨髋臼角(saa)也未显示，如下文所解释的。
[0329]
图23a是可从站立者的髋部的x射线图像2130提取的各种点、线和角度的x射线。用户可以使用用户界面/触摸屏操控点2151到2156，或者这些点可以通过图像处理算法自动生成，所述图像处理算法可以在应用程序被开发并由现实世界用户使用时通过对用户输入的多次迭代的机器学习来改进。注意，在一些实施例中，可以使用其它图像类型，包括mri、
ct或超声图像数据。一旦点2151到2156放置在图像中，线2132到2144就可以自动放置在图像上，从而允许关于图22描述的各种角度由用户装置的处理器自动计算。点包括上/后s1端板2151、下/前s1端板2152、髋关节中心之间的中心点2153、后髋臼2154、内髋臼2155和股骨轴线点2156之间。
[0330]
线包括源自点2151的水平线2132，线2136(其运行于上/后s1端板点2151与下/前s1端板点2152之间)，线2134(其自动生成垂直于点2152和2151的平分处的线2136)，线2138(由点2153和2155的位置定义)，线2140(由线2134和2136与点2155之间的交点定义)，和线2142(由点2155和2156定义)，和水平线2144(来自点2154)。一旦从图像添加或提取点2151到2156，即可自动生成这些线。这允许处理器确定st(线2132和2136之间)、pi(线2134和2140之间)、saa(线2136和2138之间)、pfa(线2140和2142之间)和ai(线2138和2144之间)角度。
[0331]
如图23b中所示，各点2151到2156(在图23a中论述)从处于坐姿的患者髋关节的x射线图像2158操纵和提取。从这些点，线2132
‑
2144可以由用户装置/平板电脑的处理器提取。一旦提取了这些线，就可以计算各种角度。如果静态pi和saa角度在就坐和站立之间不一致，则可以使用平均值。在一些环境中，这些角度之间的不一致可导致错误或用户请求提供额外输入。在一些实施例中，这些角度之间的不一致可用于缩放或调整其它角度或细化就坐和站立x射线图像中的点的放置。服务器可以使用这些角度来查找适当的模拟结果，因为这些角度限定患者的解剖结构的几何形状。
[0332]
图24是示例性过程2160的流程图，通过该示例性过程，用户操纵x射线(或其它医疗图像)中的标志以确定特征位置、尺寸、角度和间距，所述特征位置、尺寸、角度和间距将用于患者几何形状，以使用针对每种活动对关节的行为的预填充统计模型来确定针对各种患者活动的关节表现。这通常可以在术前阶段期间完成，但是可以响应于在手术期间捕获的图像或基于在手术期间获得的新数据而更新，例如使用由cass跟踪的探针来捕获骨特征及其相对位置。例如，对于膝关节置换术，表现可以包括髁或隔室间隙的变化的量度，张力或松驰度和韧带，以及股骨的髌骨沟中的髌骨跟踪的程度。在步骤2162处，用户装置上的应用程序将患者解剖图像加载到存储器中。这可以通过使用相机从膜或屏幕捕获图像，通过连接到本地数据存储器或医疗记录系统中的存储图像，或者通过使用本地成像装置即时创建图像(例如，手术期间拍摄的x射线)来实现。在一些实施例中，图像可以是x射线、超声波、ct、mri或其它医疗图像。此图像的文件格式可以是任何合适的文件格式，例如pdf、jpeg、bmp、tif、原始图像等。一旦用户装置加载此图像，在步骤2164处，使用图像识别软件显示并任选地分析图像。该可选分析步骤可利用识别图像中可用于识别标志的突出特性的任何共同图像处理软件。例如，图像处理软件可以被训练成寻找某些地理特征、几何标记，或者可以通过任何合适的ai过程被训练以识别用于确定患者几何形状的标志的可能位置。在步骤2166处，该分析步骤的结果覆盖在显示的图像上，将标记点放置在分析软件认为最有可能是这些标记点的位置的像素位置(例如图23a
‑
23b中所示的位置)处。应当理解，在步骤2162到2172中描述的该过程不必限于医疗图像，并且可以在人不与处理器进行交互的情况下自动完成。在操作期间，可以通过各种手段，包括图像或通过使用机器人臂或操纵点探针的外科医生绘制相关特征的表面并用手术跟踪系统配准其位置，在cass中获取附加的几何和位置数据。这提供了相关特征的几何提取的额外改善水平，所述相关特征可用于将手术计划
优化到超出单独的术前成像可以实现的程度。
[0333]
在一些实施例中，图像识别软件是有用的，并且可以是对经验丰富的外科医生或技术人员进行分析的补充/部分或完全替代。在一些实施例中，在步骤2168处，软件的用户有机会操纵解剖特征的精确放置，所述解剖特征例如股骨轴线、骶骨几何形状、股骨头和颈部特征、髋臼杯几何形状、髁骨中心和半径、髌骨沟、髌骨圆顶以及肌腱和韧带接触点。用户操纵这些点的确切方法将取决于计算装置的接口。例如，在具有触摸屏的平板电脑计算装置上，用户可以使用他或她的手指操纵和拖动这些点的确切放置(已经在步骤2166处自动放置)。在一些实施例中，在尚未训练合适的图像处理软件的情况下，用户可以在步骤2168处通过在由系统提示之后在图像上轻击这些点的位置而从头开始创建这些点。响应于移动每个点，在步骤2170处，显示器创建并更新解剖几何形状的模型(例如，髁骨特征与胫骨特征和髌骨特征的关系，以及适于确定韧带和肌腱上的应变的信息，例如四头肌角)。(在一些实施例中，所述步骤可以暂时搁置，直到用户指示所有点都已移动且用户对其放置感到满意为止。)该过程在步骤2172处继续，其中软件和用户确定所有点和距离是否已被正确操纵和放置，并且针对每个点和距离重复所述操纵。
[0334]
一旦移动了所有点并且用户感到满足，则在步骤2174，用户被赋予选择和加载额外图像的选项。例如，当计划的手术程序是膝关节置换术时，合适的图像可以包括处于屈曲位置的患者膝盖的前后和内侧外侧图像，以及处于伸展位置或确定相关特征的几何形状所需的任何附加姿态的图像。对于髋关节置换术，合适的图像可以包括至少处于站姿的患者的侧向图像和处于坐姿的图像。在膝关节置换术中，合适的图像可以包括完全伸展和以某一预定角度例如90
°
弯曲的膝盖的外侧或前视图。附加图像可包括处于屈曲的坐姿或站立时伸展位置的患者。如果可获得例如关节的后视图/前视图或内侧/外侧视图或不同位置的额外图像，则可以在步骤2162再次加载所述图像。
[0335]
一旦加载并分析所有图像，标记点的放置就可以由用户(或软件图像处理ai)操纵。可以从这些点的定位计算相关角度和距离，并且所述方法可以进行到步骤2176。在步骤2176处，用户可以选择患者希望术后享受的适当活动。这些活动可以例如由患者的相对活动水平、年龄、患者的其它体弱病症或活动性问题来调节。示例性活动可包括站立、行走、爬楼梯或下楼梯、骑自行车、打高尔夫、低冲击力的瑜伽、蹲坐、盘腿坐下、园艺/下跪等。应了解，这些活动中的一些可能与大多数或所有患者相关，而一些活动可能仅与较年轻或特定患者子集相关。例如，可能只有年轻或更活跃的患者可以选择跑步活动。
[0336]
在步骤2178处，活动的选择和从在患者图像上操纵点计算的患者特定几何形状可以加载到服务器以(或者设置到处理器可访问的存储器中，该处理器适于)应用从现有的模拟数据创建的模型以计算与手术程序有关的适当结果。例如，对于髋关节置换术，结果可以包括髋臼杯内的压力中心和关节的运动范围的图，所述运动范围在股骨头相对于髋臼杯的极坐标图中表达。对于膝关节置换术，结果可包括胫骨平台和股骨髁之间的运动范围、接触点图，以及相关韧带经历的应力、针对屈曲角度范围或离散角度绘制外侧和内侧髁室间隙和韧带张力的图，或突出显示在运动范围内髌肌腱或韧带的图形，或在该范围期间髌骨圆顶就坐在髌骨沟中的方式。对于步骤2178的该第一遍次，可以使用假体植入物的默认实施特征(例如，3度的内翻角和9
‑
10mm的髁室间隙)。在一些实施例中，在步骤2178执行之前，用户还选择给定植入物的起始植入物位置/取向以用于此初始计算。
[0337]
在步骤2180处，将统计模型应用于解剖信息和活动选择的处理器将此结果在用于结果的植入变量中发送至用户装置以便显示。在使用客户端/服务器模型的实施例中，所述步骤可包括通过网络将结果发送至用户装置。在一些实施例中，使用统计模型执行分析的处理器可以是与用户装置相同的处理器。在这些实施例中，统计模型通常足够优化以本地存储和分析。这些结果的确切显示可以采用任何合适的图形方式，例如后续图中描述的那些界面。
[0338]
在步骤2182处，用户有机会选择手动地操纵植入物特征(位置、取向和在一些实施例中尺寸和类型)或者请求处理器自动优化植入几何形状。在某些情况下，用户可以选择由处理器自动优化，然后手动细化用于植入的确切切除，以适应外科医生的喜好或对某些活动给予比其他活动更大的强调。例如，外科医生可以尝试优化植入物，使得患者可以恢复打高尔夫，但仍然强调患者执行日常活动的能力，例如爬楼梯和舒适地坐下。在一些实施例中，可以在患者简档中提供活动的加权，所述加权可以由优化算法用于自动地执行。
[0339]
在步骤2186处，如果用户已请求处理器优化植入角度，则基于统计模型由处理器(在服务器处或在非客户端/服务器实施例中的用户装置上)运行优化算法。此优化算法可包括任何搜索算法，该搜索算法通过统计数据库搜索以找到本地或全局最大实施角度，所述实施角度提供最佳性能或分析提取的传递函数以找到最大或最小结果。用于此搜索的标准可能因植入的植入物类型而异。例如，在膝关节置换术中，算法可以瞄准用于内侧和外侧隔室的髁室间隙的合理范围，根据指南识别通过屈曲范围的最一致的间隙，同时将韧带张力维持在合适的范围内，并且识别最佳地允许髌骨圆顶以最小的软组织应变在髌骨沟中跟踪的股骨植入物姿态和髌骨填充以及附着约束。对于髋关节置换术，提供有边缘负荷或脱位的最低风险的压力中心分布和运动范围分布的前倾和外展角可以通过最小化髋臼杯边缘附近的压力量并最小化冒险撞击每个所选活动的杯边缘的运动范围量来识别。
[0340]
在一些实施例中，此优化程序可包括迭代地改变切除放置和取向，直到实现合适或最佳结果。一旦处理统计模型的处理器已经完成此优化，就可以在步骤2180处由用户装置接收并显示结果。如果用户希望手动地改变植入角度，则在步骤2184处，用户可以通过用户界面更新所选择的植入角度。然后，在步骤2178处，可以将选择上传到处理统计模型的处理器。在一些实施例中，用户还可以改变植入物轴承类型或衬垫选项。例如，用户可以从0度中性xlpe衬里切换到20度前倾xlpe衬里，从而允许用户就运动范围和压力中心进行实验。类似地，用户可以从常规轴承表面(xlpe)切换到双移动系统，该双移动系统提供增加的头部尺寸和跳跃距离，以允许关节中更大的稳定性。
[0341]
一旦用户对操纵或自动优化的结果感到满意，在步骤2188处，用户装置更新显示给用户或cass内的手术计划，允许机器人手术系统基于方法2160准备实施所选择的植入位置和取向。在使用切割引导件的实施例中，步骤2188可包括将手术计划(包括相关患者骨表面的特定地图和相对于这些表面的切除切口的特定位置)发送至制造患者特定的切割引导件的制造系统，且在手术之前请求3
‑
d打印这些切割引导件。在一些实施例中，在机器人臂将定位或保持非患者特定切割引导件的情况下，手术计划可包括请求向外科医生提供适当的切割引导件以用于手术，并且对机器人臂进行编程以将切割引导件放置在特定的预定位置和取向处。
[0342]
图25是示例性表2200，其可以显示给用户以辅助理解术前解剖结构如何与健康患
者的预期范围进行比较。这可以帮助指导外科医生理解与cas系统一起使用的适当手术计划。表2200示出了使用图像分析或如上文所描述的用于规划髋关节置换术的点的操纵来计算就坐和站立图像中的各种角度的结果。第2202列列出了针对每个图像计算的各种角度，包括st、pi、pfa和ai。第2204列示出了基于在站立图像中识别的点来分析角度的结果。第2206列是服务器或用户装置基于这些角度的可接受范围列表而执行的分析，例如图21中的表2114中所示的指南。在该实例中，已经将骶骨倾斜识别为正常，而骨盆入射、骨盆股骨角和抗倾斜角已经识别为异常，超出健康患者的预期正常范围。第2208列示出了已基于在就坐x射线图像中识别的点来计算的角度。第2210列，像第2206列一样，是每个角度是否处于健康患者的可接受范围内的识别。区段2212是站姿与坐姿(2204和2208)之间的各种角度的比较，包括骶骨倾斜和抗倾斜的差异。这些增量接着用于确定脊柱
‑
骨盆活动性是否落入正常范围内以及脊柱
‑
骨盆平衡所处的位置。该信息可用于指导假体的植入取向的选择，以改善移动性并平衡患者髋关节几何形状。该信息可以由手术用户考虑，或者可以作为教学工具按需提供。如所论述的，站立和就坐角由患者模型数据库结合髋臼杯的前倾和外展(或其它植入物特性)使用以确定来自模拟结果的统计数据库的运动范围和压力中心结果。
[0343]
图26a是示例性用户界面2220，其用于选择与给定患者相关的单个活动，并且基于关于患者的先前用户输入来显示来自统计数据库的结果，包括针对该患者的x射线标记测绘。用户可以从各种单独的活动2222中选择，并且可以操纵用于植入物的外展角2224和前倾角2226(注意，这些示例性角可以与给定植入物的真实世界值不同)。压力中心热图2228是基于来自x射线成像的患者几何形状以及对外展角2224和前倾角2226的操作的所有选择的单个活动2222的聚集体。(未示出改变衬垫和轴承特性的选项，在一些实施例中可能可用。)基于统计模型，操纵外展角2224或前倾角2226将相对于圆移动热图，所述圆表示髋臼杯的范围。将压力太靠近髋臼杯的任何边缘可能会导致边缘负荷，这可能导致髋关节植入物过早磨损或失效，或者在某些情况下会导致脱位。类似地，运动范围图2230是患者运动范围的聚合体，其用于每个个别活动以及该运动如何转化为股骨头与髋臼杯之间的相互作用。这种运动范围的广度应限于表示髋臼杯广度的圆。超出这些广度的任何运动范围将产生髋关节脱位或冲击的高风险，这阻碍了该活动所需的运动。
[0344]
在一些实施例中，将优化的按钮2232呈现给用户，允许用户装置或服务器自动改变外展和前倾角，使得其优化压力中心的放置和圆内的运动范围。(在一些实施例中，此自动推荐可包括植入物选择，例如植入物尺寸、轴承类型、衬里类型、股骨头特征等。)这可以使用任何合适的算法迭代地完成，以调整这些角度，从而改善中心区域压力和落入髋臼杯圆的范围内的运动范围。所使用的探试法可以包括对于中心压力最大化压力点与髋臼杯的边缘之间的距离，以及最大化髋臼杯圆的边缘中的运动范围的广度之间的距离，最大化平均距离，最大化最小距离等。
[0345]
在一些环境中，图形2234呈现给用户，所述图形随着外展和前倾角被操纵而改变，以向用户提供关于这些角度如何影响髋臼杯放置的视觉反馈。界面2220中未示出按钮，其在一些实施例中存在以最终确定和保存外展角和前倾角并将这些角度加载到cas系统的手术计划中。
[0346]
图26b示出了当仅选择单个活动子组2236时用户界面如何改变。不是大的热图或大的运动范围，而是压力中心图2238显示了归因于仅这些活动的更有限的压力中心。类似
地，运动范围图2240示出仅这些活动所使用的运动范围。将这些图与图2228和2230(图26a)对照，说明更广泛活动范围导致压力中心的更广泛热图和更浓密的运动范围。对于移动性受到生活方式或其他因素的限制的一些患者，仅某些活动可能是重要的，从而允许用户更容易地优化植入物选择和髋臼放置(在髋关节置换术应用中)，以确保用户可以成功地进行这些活动。对于一些患者，给定以所有活动都可能的方式放置髋臼杯的其它约束可能是不可行的。这可能是由于从(x射线)图像确定的异常髋关节几何形状或由于外部活动性问题，例如脊柱固定。在一些实施例中，外科医生或用户能够向其患者推荐哪些活动或位置可能对其人工髋关节造成撞击、脱位或过度磨损的风险。
[0347]
图26c是示出实施例的用户界面，由此在一组活动中悬停或以其它方式临时选择单个活动2242可用于突出显示该活动对压力中心图2228和运动范围图2230的贡献。通过选择下楼梯，压力中心图与该单个活动相关联，并且与该单个活动相关联的运动范围图可以在相应图内突出显示。在此实例中，在压力中心热图2228上暂时突出显示热图2244，其示出了归因于下楼梯的图的集中部分。类似地，运动范围曲线2246可以在运动范围图2230内暂时突出显示，以显示对运动范围图的贡献，所述贡献可归因于此活动。
[0348]
图26d是在操纵外展角2224和前倾角2226时用户界面如何改变的图示。在此实例中，选择所有活动，且外展角减小12
°
，而前倾角减小2
°
。这导致中心压力的扩大的热图2248，这产生髋臼杯的边缘负荷增大的风险，同时这些活动的运动范围图2249从髋臼杯的中心移位，这造成了更大的脱位或受伤风险。图26d中的结果不如图26a的结果理想。
[0349]
图27示出了一起添加多个活动以产生聚合压力中心热图和运动范围图的影响。在此实例中，爬楼梯和下楼梯导致比单个活动图更宽的压力中心和更宽的运动范围。
[0350]
图28是说明统计模型数据库的示例性创建的流程图，所述统计模型数据库可以使用患者解剖结构和植入物特征以及用于估计植入物的性能的患者活动的选择来进行查询。通过使用关节解剖模型(例如多体模拟)执行(通常)数百到成千上万次模拟来创建该统计模型数据库，所述模型模拟在该关节移动通过运动曲线时关节的每个部件的行为，所述运动曲线与当患者参与给定活动时将在患者关节中发生的至少一个共同运动相关联。在一些实施例中，可以通过在执行给定活动的样本受试者上使用运动捕获技术来模拟该运动曲线。通过捕获执行活动的该个体(或多个个体)的运动，可以创建每个关节在该活动期间将经历的运动的准确模型。然后，可以审查单个关节运动的模型以识别一个人在执行活动时可能经历的示例性重复运动。然后，这种运动曲线模型可用于指导该活动的每个单独模拟，其中解剖几何形状和植入物特征变化以产生包括一系列解剖几何形状和植入物特征的实验设计。
[0351]
在一些实施例中，方法2260开始于步骤2262，其中运动捕获用于单个参与者，同时该个体执行与要模拟的每个活动相关联的示例性任务。例如，当模型在一个或多个相机前面爬楼梯和下楼梯时，反射标记可以放置在模型的身体上。在步骤2264处，处理器接着可提取这些标记在活动期间经历的运动。通过使用解剖学模型，并且当这些标记涉及个体的关节时，可以提取在该活动期间每个关节经历的运动曲线。任何合适的常规运动捕获技术可用于此步骤。例如，在正在产生髋关节或膝盖运动曲线的情况下，随着个体的移动，至少两个相机可以捕捉模型腿、髂嵴、躯干、股骨、胫骨、髌骨、踝、内侧和外侧髁等上的反射标记。髋和膝曲线可以用足够的标记同时创建。当在活动期间个体移动其腿时，抬起并放置其脚
时，随着髋关节和膝盖移动，可以计算每个自由度内的运动和旋转程度。然后，处理器可以使用这来估计关节的各个部件的相对运动程度。
[0352]
在步骤2266处，执行解剖模型的模拟的处理器将加载解剖模型。示例性解剖模型可以是骨和软组织部件的多体模型，其准确地模拟解剖关节的这些部件中的每一个的行为。通过使用多体模型，模拟时间可通过有限元分析模型来加速。在一些实施例中，也可以使用有限元分析模型。与建模关节一起使用的示例性多体模拟工具包括可从liemodeler inc获得的lifemod
tm
软件。此解剖模型一旦加载，就可针对给定几何形状进行定制。例如，可以调整部件尺寸以实现要模拟的任何关节几何形状。
[0353]
在步骤2268处，选择用于下一次模拟的样本关节参数(例如解剖几何形状和植入物尺寸、类型、位置和取向)。该关节几何形状的选择可以基于预先计划的实验设计或在蒙特卡洛样式模拟中可以是随机分配的。然后，可以将模型中的部件适当调整尺寸以匹配此给定实验模拟的几何形状。例如，在tka上下文中，所选择的几何形状可以包括远端切口和后部切口的任何合理组合，以及用于植入样本假体的其它植入特征。在一些实施例中，所选择的几何形状可包括另外的患者信息，例如由于其它体弱病症或变形引起的异常运动约束，或其它常见的医学合并症。在一些实施例中，年龄和体重可以添加到模型中，以解决响应可随着患者的年龄或体重而变化的各种部件的变化(例如，顺应性较差或较薄的软组织)。
[0354]
在步骤2270处，使用给定活动的关节运动曲线执行已根据实验参数设定尺寸的模型的模拟。这产生若干可量化的结果，例如软组织压痕和张力，例如股骨头和髋臼杯(对于髋关节置换术)的部件之间的压力和髁室间隙以及部件之间在运动范围上的髌骨跟踪(在膝关节置换术中)。在步骤2270中用于运行模拟的模拟配置文件可以定义应生成和记录哪些结果。在步骤2272处，一旦已经完成模拟，就可以存储解剖和植入物特征和运动曲线的给定组合的结果。
[0355]
在步骤2274处，处理器确定是否应模拟额外参数，例如解剖几何形状、植入物设计、取向和位置。在许多实施例中，定义实验设计或广泛的蒙特卡洛模拟的模拟配置文件将定义应进行数百到成千上万的不同模拟。因此，步骤2268到2274的循环应重复多次。一旦已经完成足够数量的模拟，方法2260就可以前进到步骤2276，其中处理器挖掘这些多次模拟的结果，以基于各种几何形状创建关节行为的传递函数或模型。该模型或传递函数为该活动和该关节创建统计模型，该统计模型根据患者解剖结构和植入假体的几何形状准确地估计性能。在一些实施例中，这可以通过执行多项式函数的统计拟合来实现，所述多项式函数将输入的植入物值映射到输出值。在一些实施例中，可以使用神经网络或其它ai策略来创建植入物特征对性能输出的探试模型。随着额外的模拟结果被添加到数据库中，步骤2276可以重复。在一些实施例中，随着临床执行和监测另外的植入手术，测量的真实世界性能值可以添加到数据库并且类似于模拟结果进行挖掘。
[0356]
在步骤2278处，处理器存储并维持关节性能的统计模型随解剖几何形状和植入特征(所选择的植入物的位置、取向和类型)而变。此存储的模型可在额外模拟数据可用时更新。在一些实施例中，所得模型可以是计算上轻量级的(例如，传递函数)，允许由系统中、服务器处或用户装置上的任何处理器执行此模型的挖掘和操纵。在步骤2280处，处理器挖掘此统计模型，以基于预定探试法识别优化性能的最佳植入物值。例如，在髋关节置换术的模
型中，压力中心和运动范围的图可以被优化以最小化边缘负荷或脱位的风险，最小化对于给定活动落在髋臼杯的边缘附近的运动范围和压力程度。例如，在膝关节置换术模型中，探试法可包括在给定模拟活动期间间隙、髌骨跟踪和韧带张力接近正常解剖值。这种优化可以通过任何统计或ai方法进行，包括找到最近似理想的解剖模型的最佳拟合。然后，在步骤2278处，可以将这些优化值添加到维持的模型。
[0357]
一旦模型已被存储并且已经执行优化以辅助识别给定患者解剖结构和活动的最佳植入特征(位置、取向、植入物类型、植入物尺寸)，在步骤2282处，处理器可以响应于用户交互而查询模型，例如在术前或术中规划阶段期间。这允许手术用户访问统计数据库模型，以制定可接着由cass使用或显示给用户的手术计划。
[0358]
图29是使用从图像以及(任选的)运动捕获提取的模拟数据库和患者特定几何形状来创建术前计划的示例性方法2400的流程图。相同的方法可用于优化髋关节(或其它)关节置换术的术前计划，但将在膝关节置换术的背景下进行讨论。在步骤2402处，手术规划系统收集术前成像，例如mri、ct扫描、x射线和超声图像。这些可以在手术之前的任何时间完成。图像文件可加载到该患者特定的数据库中以用于特征提取。在一些实施例中，在步骤2404处，运动捕获技术可以在术前访视中使用，以通过将标记固定到患者腿上的各个点上并在患者执行各种运动时观察标记的相对运动来捕获患者的步态。这可以用于提供关于患者的膝盖的术前状态的几何形状的补充细节。在步骤2406处，使用几何技术分析成像以用于图像分析(并且基于人类解剖结构的运动模型分析任何运动捕获数据)。执行图像分析的软件可以使用任何合适的特征提取技术来识别患者图像中的预定特征，并且基于包括诸如骶骨/骨盆几何形状，股骨头/颈部和髋臼杯几何形状，股骨和胫骨轴线，髁中心和尺寸，现有的髁间隙，髌骨尺寸，及其与术前软组织张力的现有关系的信息的多个图像创建患者膝盖的三维模型。
[0359]
并行地，并且通常在这些步骤之前，在步骤2408处创建统计模型，该统计模型考虑广泛范围的患者的各种可能的患者几何形状。可以离线执行针对各种可能的患者几何形状的上百到成千上万次模拟，以产生统计模型。然后，可以挖掘模拟数据以针对给定几何形状创建传递函数或简化模型，从而允许针对任何给定患者几何形状确定或估计性能。在步骤2410处，当已确定个体患者的解剖几何形状时(步骤2406)，加载统计模型。
[0360]
在步骤2412处，使用统计模型探索对患者给定的解剖几何形状的可能校正。这可以采用本领域已知的各种合适的方法，例如应用人工智能搜索和匹配算法以识别植入几何形状的增量改进以纠正患者的体弱病症。例如，ai可用于识别测试设计以识别可能的候选变化，从而改善患者关节的力学。类似地，蒙特卡洛模拟可用于使用统计模型研究植入几何形状的随机变化，以识别用于植入tka假体的最佳表现选项。在一些实施例中，在步骤2412处，使用许多(例如，几十种或几千种)变化来识别最佳植入解决方案。由于此步骤是术前的，如果需要，处理时间或开销可以是相当大的。可以改变各种属性，包括胫骨和股骨部件的姿态、髌骨填充和圆顶几何形状等，以找到优化患者膝盖的性能的解决方案，该解决方案考虑胫骨股骨和髌骨股骨关节，而不是将髌骨作为事后观察，如现有手术计划经常是这种情况。在一些实施例中，可以简单地基于起始患者几何形状，例如通过使用具有ai模型的传递函数来查询在步骤2408处创建的统计模型以寻找最佳植入姿势。在一些实施例中，在步骤2412处进行的模拟变化可以特定于不同的患者活动，从而允许个体患者的活动特定的优
化。
[0361]
在一些实施例中，步骤2412的目的还旨在创建考虑术前数据的不精确性质的患者特定的模型。例如，术前图像和运动捕获可以产生不确切的患者几何形状的估计。在手术期间收集的数据可以稍后用于改进患者解剖几何形状的模型。通过考虑不仅在植入姿态上并且也在患者解剖几何形状(在某一范围内)上的多个变化，可以创建患者特定的模型，使得可以在手术期间基于额外数据或基于外科医生改变植入计划的请求而即时地对手术计划进行修改。
[0362]
一旦考虑患者几何形状和植入姿态的多个变化，就可以在步骤2414处存储患者特定的模型。此模型可存储在非易失性存储器中，允许cass在手术期间访问它。这将参照图30论述。可以使用任何合适数量的信息或格式，目的是简化在患者手术期间完成的任何处理或模拟，使得改变可以即时地处理而不减慢手术。
[0363]
在步骤2416处，处理器可以基于在步骤2412处创建的植入姿态的优化和患者概况来创建优化的手术计划。对于pka/tka，此计划可包括用于股骨和胫骨部件的植入姿态(包括实现这些姿态所需的切除)，以及用于填充髌骨以及实现作为关节置换术的一部分的髌骨和股骨部件之间的关系可能需要的圆顶或髌骨扣(patellar button)的任何改变的计划。在步骤2420处，向外科医生和cass提供此优化的术前计划以准备手术。
[0364]
在一些实施例中，可以进行附加步骤，步骤2418，由此创建术前计划的变化以考虑在手术期间可能发现的患者解剖几何形状的可能变化，以及外科医生在手术期间可能进行的与手术计划的任何合理偏离。这些变化可以与手术修饰的关节的预期性能结果相关联。这可以使cass更容易地在手术期间基于在手术室中观察到的额外患者数据或基于外科医生的请求提供推荐。有效地，这可以产生极低的计算负荷，以用于提供推荐或者计算在手术期间额外数据或决策的预期性能影响。
[0365]
图30示出了用于更新手术计划或者在手术期间向外科医生提供推荐的示例性方法2430。一旦创建了术前计划，就可以在手术室中收集可用于更新此计划的额外信息。类似地，外科医生经常依赖于其自身的经验和专业知识，并且可以基于他们在手术期间发现的情况或与ai生成的推荐不一致来调整手术计划。在步骤2432处，cass收集术中成像和探针数据。术中成像可包括任何常规的医学成像，例如超声数据。这种术中成像可以补充于术前成像。这可以为患者几何形状的模型提供额外细节或更新。类似地，一旦打开患者组织，探针就可用于“绘制”患者骨的各种表面，如贯穿各处所解释的。这可以提供关于患者组织表面的确切3
‑
d性质的额外细节，所述细节可以比通过二维或三维成像创建的模型更准确。在步骤2434处，处理器分析术中成像和探针数据以通过识别在手术室中观测到的特定特征并与现有模型进行比较来补充患者几何形状的模型。一旦更新患者解剖结构的几何模型，手术用户可以在步骤2436处请求更新计划(或放弃请求更新，跳到步骤2444)。
[0366]
响应于此新数据和用户请求，在步骤2440处，处理器基于新解剖几何形状模型选择最佳计划。这通过在步骤2438处从存储器中首先加载患者特定模型或计划来实现。由于术中推荐的时间关键性质，在一些实施例中，在步骤2438处加载的模型和计划是患者特定的，例如在图27中所创建的。这基于手术前的患者解剖模型将可能的几何变化范围限制为最相关的，以加速对计划变化的处理建议。在步骤2440处，可以基于观察到的患者解剖结构，通过来自可用计划和模型的任何常规计算方法选择最佳计划。在步骤2442处，可以通过
cass的用户界面将该计划的此更新建议呈现给用户，并且呈现给cass以更新其将帮助实施的计划。
[0367]
在步骤2444处，处理器可以开始监测用户对计划更新的用户动作或请求。可以通过cass来监测用户动作，例如通过监测由外科医生进行的实际切除。例如，切除中手术计划的偏离可能需要对其它切除进行建议的改变以限制偏离的影响。用户还可以基于专业知识和经验手动地改变手术计划，例如外科医生有意偏离推荐计划。这些对计划的偏离将由处理器记录，处理器将向用户提供反馈。如果用户在任何时候想要计划变更的建议，则用户界面可用于请求建议，这重复步骤2436。
[0368]
在步骤2446处，处理器估计偏离在步骤2440处提供的最佳计划的性能影响，并在步骤2448处基于此估计向用户提供反馈。例如，对于pka/tka，在手术期间发生的髌骨/植入物姿势的改变可能需要对髌骨进行改变。在步骤2448处，gui可以使髌骨的指示器闪烁或改变颜色以指示潜在问题。对于髋关节修正/tha，髋关节部件可闪烁或改变颜色。
[0369]
ai增强式切割引导件
[0370]
一些实施例利用本文所述的模拟数据库和ai引导规划过程来改进机器人或计算机增强的手术规划。然而，此类手术系统可以是有限的或不可用的。因此，在一些实施例中，可以根据相同的概念来制造患者特定的切割引导件——其通过将模拟数据库/统计模型应用于术前成像来指导其创建。
[0371]
一些实施例使用这些概念来创建术前计划或者在手术室中获取更多数据时在术中即时调整计划。在一些实施例中，此相同过程可以与术前制造的切割引导件一起使用。对于tka/pka，一旦确定膝盖植入物的远端切口和后切口的理想位置和取向，就可以将手术计划发送到计算机辅助手术系统或用于实施手术计划的其它合适的系统。例如，在一些实施例中，术前计划可以与定制切割引导系统一起使用，由此使用患者股骨和胫骨的表面的图像来识别患者匹配表面以形成3
‑
d打印切割引导件的基部。可以将远端和后部切口以及配件所需的任何二次切口添加到该患者匹配的切割引导件中。一旦切割引导件被打印(或以其它方式制造)，切割引导件可以被送到外科医生以在植入期间使用。可以使用定制切割引导件的任何合适的构造。定制的患者匹配切割引导件的示例性构造可参见共同拥有的美国专利申请公开us 2012/0116562和us 2014/0018813中，所述专利申请公开以全文引用的方式并入本文中。这可以降低外科医生根据术前手术计划不精确地对准切口的风险。在一些实施例中，切割引导件不太针对患者表面定制，并且可与计算机辅助手术系统一起使用。例如，机器人臂可以根据术前手术计划精确地放置和保持选择的非患者匹配切割引导件。一旦机器人臂将切割引导件放置并保持到位，或一旦将患者匹配的切割引导件固定到患者骨，外科医生就可以根据手术计划的切口使用振荡或旋转工具来切除患者骨，以确保假体植入物的精确对准。
[0372]
tka/pka特别适合定制切割引导件(或从多个可用的切割引导件中进行选择，以找到最适合患者的引导件)。图31是如何可以从例如x射线等图像提取用于膝关节的相关解剖几何形状以用于产生或选择适当的切割引导件的图示。内侧
‑
外侧图像2520和后
‑
前图像2522示出了部分屈曲的患者膝盖。该过程应针对至少两个或更多个膝盖姿态(例如，伸展，30
‑
60
‑
90度屈曲)重复。从侧视图，可从x射线图像确定远端和后部髁半径(分别为2524和2526)。这些半径可以通过图像分析和通过基本搜索算法与图像的几何拟合自动地用图形
确定，以提供半径的最佳拟合，或由外科医生使用图形用户界面，例如触摸屏手动地用图形确定。这可以手动地或通过将圆拟合到图像的任何常规图像处理算法来完成。此处，圆2524配合到远端髁半径，并且圆2526配合到后髁半径。一旦圆配合，像素位置就识别相对于股骨的解剖轴线2528的每个圆的中心点和半径，这可以通过将限定股骨的前表面和后表面的边界平分来确定。股骨的轴线2528可以通过类似的图像分析自动添加或由外科医生手动添加。
[0373]
从前
‑
后图像，可以通过将矩形(或平行线)拟合到股骨和胫骨的边界来确定内侧和外侧髁室间隙2532和2534。这些间隙是髁与胫骨底部之间的空间。对于平衡的膝盖，这些间隙通过运动范围应是匹配和一致的。间隙2532和2534的距离可以通过适于测量特征之间的距离的任何图形处理算法来确定，或者可以通过操纵点通过用户界面来测量，以便外科医生识别髁和胫骨的边缘以进行距离测量。胫骨的解剖轴线2530可以通过将胫骨的内侧外侧边缘平分来确定(同时可以类似地创建解剖轴线2528)。比较这些轴线揭示关节中的外翻/外翻的程度。
[0374]
图31中所示的过程可以针对不同的屈曲角度重复并进行比较。可以从不同图像中对髁中心点和半径求平均，同时可以绘制间隙的变化以更好地理解间隙变化的程度和关节的不对称性。还可以施加内侧
‑
外侧力来确定不稳定性估计或捕获显示间隙如何受到力影响的图像，以更好地理解韧带松驰度。
[0375]
使用模拟来提高髌骨性能
[0376]
传统上，外科医生在膝盖手术期间将主要注意力集中在膝盖的胫骨股骨关节上，确保髁间隙在整个运动范围内是一致的，并且韧带应变低于阈值。然后，一旦已校正了胫骨股骨关节，就可以调整髌骨股骨关节。虽然此方法可以产生成功的结果，但结果不一定对给定患者是优化的。在一些实施例中，使用模拟同时规划胫骨股骨关节和髌骨股骨关节，以产生优化膝盖中的两个关节的手术计划。
[0377]
髌骨股骨关节由具有圆顶的髌骨组成，所述圆顶骑在股骨的髁间的髌骨沟中。髌骨受髌骨韧带、四头肌腱约束，并且受支持带的横向约束。四头肌腱相对于膝盖的轴线所处的角度被描述为四头肌角或q角。当骑在髌骨沟中时，髌骨的圆顶经历剪切应力，因为它相对于沟被拉动(内侧/外侧)，从而产生剪切力。
[0378]
在关节置换术期间，一旦股骨和胫骨假体件已植入并固定到患者骨上，外科医生就可以手动调整髌骨圆顶骑在股骨髁之间的髌骨沟中的方式。为此，外科医生将观察患者被动膝盖中的四头肌的松驰度，并且移动/旋转髌骨圆顶以向四头肌添加所需的张力量，同时将q角度保持在所需范围内。此过程通常被称为填充髌骨，并且可以通过调整髌骨韧带和肌腱的张力来调整髌骨的圆顶在沟中行进的方式，将髌骨向外推以及增加四头肌肌腱上的张力来实现。为了将髌骨移动到所需的几何形状，外科医生可以执行限制髌骨的任何韧带或肌腱的组织释放。如果完成过多的填充，则通过调整滑槽的任一侧上的髌骨和髁之间的组织/插入件，填充可以减少可用的强度的量或减少支持带的过度应变。
[0379]
因为填充量可以降低修复的膝盖的性能，所以当所有肌肉放松时，手动调节可以达到合适的几何形状，该几何形状对于修复的膝盖可能不具有最佳性能。松驰度是一种非常定性/主观的测量，特别是在手术中的被动肌中。模拟可以改善这一点。与手术台上处于被动状态的屈曲的膝盖相比，模拟可以添加额外数据以更好地理解修复的膝盖的性能。模
拟可以增加负荷，例如体重和四头肌应变，以及运动曲线，例如多个肌群激发的步态。模拟也可以考虑深屈膝，其中主要力来自伸展肌。
[0380]
实施例使用模拟数据来辅助手术的髌骨填充步骤，并且帮助考虑髌骨性能以确定胫骨和股骨部件的目标植入姿态。在现有的手术规划过程中，通常是在股骨和胫骨姿态受到约束时，依靠随后的髌骨的填充来优化股骨和胫骨植入姿态，而不详细地考虑髌骨。通过利用模拟数据，在对胫骨和股骨部件的植入姿态(以及实现目标植入姿态所需的切除)提出建议之前，术前计划和在手术期间的计划的调整可以考虑具有现实世界负荷和肌肉张力的模拟运动以及预期的髌骨表现(和填充计划)。
[0381]
图32
‑
33示出了示例性手术系统cass 2600，该手术系统可以包括辅助系统，以帮助在手术期间收集关于患者膝盖中的髌骨跟踪的附加信息。关于预修改的膝盖中的髌骨跟踪的此附加信息可用于在手术期间即时使用统计模型或传递函数细化解剖模型，以提供植入姿势和髌骨填充策略的精确推荐。示例性手术系统2600可以被配置成在手术中获得与将经受手术程序的膝盖的运动范围有关的位置数据。此位置数据可对应于手术膝关节的离散屈曲或伸展角。在某些实施例中，系统2600可包括手术导航系统/cass 2610和探针2620，如整个关于cass所述。在操作中，患者的膝盖移动通过运动范围，使得可以跟踪各种解剖部件例如股骨、胫骨和髌骨的位置。
[0382]
在一些实施例中，手术导航系统2610可被配置成采用髌骨跟踪部件2630。髌骨跟踪部件2630可以被配置成和实施为手术导航系统2610内的整体系统或部件，并且可以共享硬件/软件或实施为连接到手术导航系统2610的独立部件。应了解，所描述主题的实施例可由各种类型的操作环境、计算机网络、平台、框架、计算机架构和/或计算装置实施。
[0383]
手术导航系统2610和/或髌骨跟踪部件2630可包括一个或多个处理器和存储器装置，以及各种输入装置、输出装置、通信接口和/或其它类型的装置。手术导航系统2610和/或髌骨跟踪部件2630可包括硬件和软件的组合。
[0384]
手术导航系统2610和/或髌骨跟踪部件2630可以实施并利用一个或多个程序模块。通常，程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、部件、数据结构等。
[0385]
手术导航系统2610和/或髌骨跟踪部件2630可以由一个或多个计算装置实现，计算装置配置成根据所描述的主题的各方面提供各种类型的服务和/或数据存储。示例性计算装置可包括但不限于：个人计算装置、网络服务器、前端服务器、应用服务器、数据库服务器、域控制器、域名服务器、目录服务器和/或其它合适的计算机。手术导航系统2610的部件和/或髌骨跟踪部件2630可通过软件、硬件、固件或其组合来实现。
[0386]
髌骨跟踪部件2630可包括处理器2632、存储器2634、输入装置2636、探针接口2638、测量数据库2640和输出装置2642。输入装置2636可被配置和实施以在实施手术计划之前从外科医生接收指令。
[0387]
髌骨跟踪部件2630可被配置成利用探针2620表征髌骨的前表面，以将前几何形状与后顶点的位置相关联。髌骨跟踪部件2630可实施处理器2632以通过探针接口2638与探针2620通信，从而获得在离散增量处髌骨位置的测量值。增量可以表示以度或其它合适的单位测量的离散的屈曲和伸展量。
[0388]
处理器2632可被配置成执行存储在存储器2634中的软件指令，以例如通过使用来
自探针2620的测量值在髌骨跟踪部件2630评估髌骨移动之前确定髌骨的后顶点。在一些实施例中，可以用探针2620确定髌骨的后顶点，因此可以在测量数据库2640中记录后顶点与前髌骨几何形状的相对位置。
[0389]
探针2620可以是手持式点探针，例如，在图25b中所示的。探针2620用于识别某些标志并表征表面。替代地，探针2620可以是点探针，其终止于弯曲尖端以识别原本将被例如软组织覆盖或阻挡的难以到达的标志。探针2620可用于将后顶点的位置与前部几何形状相关联。
[0390]
在某些实施例中，处理器2632可以通过将特定解剖特征定位在前髌骨上或通过以不同增量探测前髌骨表面来在全屈曲和伸展期间近似后顶点的运动。例如，增量可以包括30
°
、60
°
和90
°
屈曲。
[0391]
虽然一些实施例使用手持式探针在运动范围期间定位标志，但一些实施例利用暂时固定到髌骨的基准标记来自动地跟踪髌骨相对于胫骨和股骨的运动和姿势，或在髌骨的一个或多个位置上放置临时视觉标记，以指示应由探针接触的位置从而加速髌骨跟踪过程。
[0392]
输出装置2642可以生成在伸展和屈曲的各个阶段中的髌骨的位置测量值。在某些实施例中，图34a和34b描绘显示器，其示出了收集通过从图34a中接近完全伸展2650到图34b中接近完全屈曲2652的运动范围与髌骨的位置和取向有关的位置数据。
[0393]
共同拥有的专利申请第pct/us2019/045536号(“髌骨跟踪方法和系统(patella tracking method and system)”)描述了在手术期间可以使用cass识别髌骨的物理特征和确定其位置/取向的多种额外方式，并且据此以引用的方式整体并入。
[0394]
虽然本文已经公开了各种方面和实施例，但所属领域的技术人员将显而易见其它方面和实施例。本文中所公开的各个方面和实施例出于说明的目的，且并非旨在限制，其中真实范围和精神由以下权利要求书指示。
[0395]
如本文所使用，可执行应用程序包括代码或机器可读指令，其用于调节处理器以实现预定功能，例如响应于用户命令或输入而实现操作系统、上下文数据采集系统或其它信息处理系统的功能。可执行程序是代码或机器可读指令、子例程的分段，或用于执行一个或多个特定过程的可执行应用程序的代码或部分的其它不同部分。这些过程可包括接收输入数据和/或参数，对所接收的输入数据执行操作和/或响应于所接收的输入参数执行功能，以及提供所得输出数据和/或参数。
[0396]
如本文所用，图形用户界面(gui)包括由显示处理器生成的一个或多个显示图像，并且使得能够与处理器或其它装置以及相关联的数据采集和处理功能进行交互。gui还包括可执行程序或可执行应用程序。可执行程序或可执行应用程序使显示处理器有条件生成表示gui显示图像的信号。这些信号被提供给显示图像的显示装置，以供用户查看。处理器在可执行程序或可执行应用程序的控制下，响应于从输入装置接收的信号而操纵gui显示图像。以此方式，用户可以使用输入装置与显示图像交互，从而能够与处理器或其它装置进行交互。
[0397]
本文的功能和过程步骤可以响应于用户命令而自动地或全部或部分地执行。响应于一个或多个可执行指令或装置操作而执行自动执行的活动(包括步骤)，而不由用户直接启动活动。
[0398]
附图的系统和方法并非排他的。可以根据本发明的原理导出其它系统、过程和菜单以实现相同的目标。尽管已参考特定实施例描述本发明，但应理解，本文示出和描述的实施例和变化仅出于说明目的。在不脱离本发明的范围的情况下，对当前设计的修改可由所属领域的技术人员实施。除非使用短语“用于...的装置”明确叙述要素，否则不应根据35u.s.c.112(f)的规定解释本文的权利要求要素。