用于使用增强现实来提出用于矫形手术的脊柱杆的方法和系统与流程

本发明涉及使用增强现实或混合现实的矫形手术领域，更具体地涉及用于使用增强现实或混合现实来为执行矫形手术的外科医生提供辅助或便利、具体地用于提出用于脊柱融合手术和其他类型的矫形手术的不同类型和形状的稳定杆的方法、系统和装置。

背景技术：

1、在用于矫形手术(更具体地为用于脊柱的脊柱融合手术)的矫形和植入工具和系统的领域中，椎弓根螺钉用于通过患者背部上的切口位置利用骨锚附接到椎骨。在若干椎弓根螺钉附接到不同的椎骨之后，这些椎弓根螺钉的头经由杆式或棒式装置连接在一起，并且杆式或棒式装置(也称为脊柱杆)利用定位螺钉附接到椎弓根螺钉的头。作为示例，对于用于椎骨融合的若干相邻椎骨，对于各个椎骨，椎弓根螺钉利用椎弓根螺钉的骨锚可旋拧地附接到椎骨，其后，这些椎弓根螺钉通过使用脊柱杆朝向彼此机械地紧固，该脊柱杆放置在由椎弓根螺钉的头形成的凹槽或u形开口中，从而沿着脊柱形成一排椎弓根螺钉。这允许为患者或生物体内的脊柱融合提供脊柱稳定所需的机械支撑。

2、为了更好地到达切口位置并将椎弓根螺钉可旋拧地附接到椎骨，椎弓根螺钉、具体是椎弓根螺钉的头通常可去除地附接到螺钉延长器或类似装置，例如延长的自攻螺钉头或带刃螺钉头。螺钉延长器和类似装置的目的是增加椎弓根螺钉的头的附加长度，从而允许操作者或外科医生在手术切口的外部行动，以保持手术切口打开，而且帮助将不同的工具和脊柱杆引导到椎弓根螺钉的头。被构造为保持椎弓根螺钉的螺钉延长器通常是管状的纵向装置，其比椎弓根螺钉的头大得多，并且本身具有沿着其侧面的纵向形状的狭槽。当椎弓根螺钉头连接到螺钉延长器时，纵向形状的狭槽与椎弓根螺钉的螺钉头中的u形开口匹配，因此允许将脊柱杆通过纵向形状的狭槽引导到u形开口中。将螺钉延长器的纵向形状狭槽内的脊柱杆向下推向椎弓根螺钉头并进入椎弓根螺钉头中的过程也被称为杆复位。

3、例如，第10,058,355号美国专利描述了一种矫形植入物套件，此处通过引用将该参考文献全文并入，该矫形植入物套件提供椎弓根螺钉、对应的定位螺钉、杆和操作这些零件的工具，工具包括用于保持椎弓根螺钉的螺钉延长器和用于相对于椎弓根螺钉的螺钉头螺纹地上紧定位螺钉的定位螺钉起子。第7,160,300号美国专利描述了一种杆复位方法，此处通过引用将该参考文献全文并入，在该方法中，将中间引导工具附接到骨螺钉，中间引导工具具有管状形状，其具有纵向形状通道，该纵向形状通道能够将杆从引导工具引导到附接到其的骨螺钉。作为另一个示例，第8,795,283号美国专利描述了另一种用于脊柱稳定的手术干预的成套矫形手术系统，此处通过引用将该参考文献全文并入，该系统包括具有用于接收杆的头的椎弓根螺钉和手术干预所需的工具。螺钉延长器由具有两个可分离的半壳的管制成，半壳通过保持环保持在一起，使得可以形成管状形状。在又一个示例中，第8,262,662号美国专利提供了用于向脊柱中的脊柱锚固位点递送脊柱连接器的系统和方法，此处通过引用将该参考文献全文并入。在一个实施方式中，提供了一种脊柱植入和进入装置，其包括u形接收器构件、骨接合构件、延长构件、脊柱杆和定位螺钉。延长构件具有管状形状。

4、如上所述，已经提出了类似的矫形脊柱手术概念、工具和装置，其用于经由定位螺钉将杆附接到椎弓根螺钉，例如第5,129,388号美国专利、第5,520,689号美国专利、第5,536,268号美国专利、第5,720,751号美国专利、第5,984,923号美国专利、第6,056,753号美国专利、第6,183,472号美国专利、第6,258,090号美国专利、第6,454,768号美国专利、第6,648,888号美国专利、第6,740,086号美国专利、第7,618,442号美国专利、第8,308,782号美国专利、第8,876,868号美国专利、第2006/0025771号美国专利公报和第2018/0289397号美国专利公报，在此通过引用将所有这些参考文献全文并入。

5、然而，一旦椎弓根螺钉附接到脊柱的椎骨，则外科医生或操作者仅能看到可去除地附接到相应椎弓根螺钉的螺钉头的螺钉延长器，螺钉延长器通常从将椎弓根螺钉附接到椎骨所需的手术切口中指出并且离开该切口。通常，除非外科医生打开切口，否则螺钉头嵌入切口的周围组织中。在这方面，在杆复位和杆固定过程之前，外科医生或操作者通常需要选择具有适当长度的杆、预弯曲脊柱杆、或选择预弯曲脊柱杆以便放置到椎弓根螺钉头的u形凹槽中。然而，在不能看到椎弓根螺钉及其具有用于容纳脊柱杆的凹槽的螺钉头的确切放置的情况下，这是一项困难的任务，其可能导致用于确定脊柱杆的适当长度和形状以及弯曲的试错过程，使得其可经皮插入椎弓根螺钉的各个螺钉头中。这可能导致手术期间时间的大量损失、螺钉松动或植入物失效的风险增加以及附加的成本。

6、在矫形手术中已经提出了基于利用卷积神经网络(cnn)的机器学习来检测可见的椎弓根螺钉头的解决方案。例如参见von atzigen等人，“holoyolo:a proof-of-conceptstudy for marker-less surgical navigation of spinal rod implants withaugmented reality and on-device machine learning”the international journal ofmedical robotics and computer assisted surgery，2020年，e2184。然而，该方法具有许多缺点，因为其依赖于对附接到椎骨的椎弓根螺钉的不同螺钉头的直接视觉观察，并且因此需要完全打开的手术位置和直接观察伤口的切口的最大开口，并且需要相对长的数据处理时间用于检测和缓慢的跟踪刷新率，并且具有相当大的检测不确定性。

7、为了避免基于相机视图的成像解决方案的缺点，一些方法已经使用具有x射线投影的c形臂荧光透视来评估椎弓根螺钉的放置，从而允许基于双平面x射线和使用反射标记的荧光透视图像来计算螺钉的姿态估计。参见esfandiari等人，“a deep learningframework for segmentation and pose estimation of pedicle screw implantsbased on c-arm fluoroscopy,”international journal of computer assistedradiology and surgery，第13卷，第8期，2018年，第1269-1282页，还参见fu等人，“computer-assisted fluoroscopic navigation of pedicle screw insertion an invivo feasibility study,”acta orthopaedica scandinavica，第75卷，第6期，2004年，第730-735页。然而，这些方法需要复杂且昂贵的计算机断层摄影设备，并且由于需要执行的附加操作步骤，也不适于矫形外科医生的直接使用。

8、因此，需要系统、方法和装置，以改进在手术期间脊柱杆的使用，具体是用于特定手术条件的脊柱杆的放置、植入、预选和匹配，其对于用户具有简化的使用，并且需要显著更少的成本来辅助用户。

技术实现思路

1、根据本发明的一个方面，提供了一种用于辅助矫形手术的方法。该方法可以利用数据处理装置来执行，该数据处理装置包括显示装置和图像捕获装置。优选地，该方法包括以下步骤：利用成像装置捕获图像序列，使得成像装置的视场捕获多个螺钉延长器的图像，每个螺钉延长器保持椎弓根螺钉，多个螺钉延长器布置在经受矫形手术的生物的身体的手术切口处；在显示装置上显示所捕获的图像中的至少一些图像以提供实况视频馈送；基于所捕获的图像序列利用数据处理装置检测多个螺钉延长器；第一计算所检测的多个螺钉延长器的取向和位置；基于第一计算的取向和位置第二计算每个椎弓根螺钉的螺钉头的三维(3d)位置；以及在显示装置上在与投影到实况视频馈送的当前显示图像的螺钉头的位置对应的位置处，利用具有图形用户界面的图形元素投影和显示多个螺钉头的每个计算的3d位置。

2、根据本发明的另一方面，提供了一种非暂时性计算机可读介质，其具有记录在其上的计算机指令。计算机指令被配置为当在计算机装置上执行时执行用于辅助矫形手术的方法，计算机装置与显示装置和图像捕获装置可操作地连接。

3、根据本发明的又一方面，提供了一种计算机系统，该计算机系统包括图像捕获装置、显示装置和数据处理装置，该数据处理装置与图像捕获装置和显示装置可操作地连接。优选地，数据处理装置被配置为执行用于使用增强现实来辅助矫形手术的方法。

4、根据本发明的另一方面，提供了一种用于基于弯曲的固定杆辅助矫形手术以确定脊柱的校正的方法。优选地，该方法利用数据处理装置来执行。而且，优选地，该方法包括以下步骤：利用图像捕获装置扫描固定杆，以获得固定杆的扫描数据，脊柱校正杆已经被弯曲以用于脊柱校正；基于扫描数据第一计算固定杆的曲率数据；接收固定杆到脊柱的附接点的位置的数据，附接点的位置已经基于附接到脊柱的椎骨的椎弓根螺钉的螺钉头的位置数据确定；通过考虑来自第一计算的步骤的固定杆的曲率数据第二计算附接点的校正位置的数据，附接点的校正位置基于当固定杆附接到校正的脊柱的附接点时给予附接点的位置的校正；基于校正的脊柱的附接点的校正位置的数据，第三计算校正的脊柱的脊柱参数；以及在显示装置上显示校正的脊柱的脊柱参数。

5、根据本发明的又一方面，提供了一种非暂时性计算机可读介质，其上记录有计算机指令。计算机指令被配置为在由与显示装置和图像捕获装置可操作地连接的计算机装置执行时执行用于基于弯曲的固定杆辅助矫形手术以确定脊柱校正的方法。

6、根据本发明的又一方面，提供了一种计算机系统，该计算机系统包括图像捕获装置、显示装置和数据处理装置，该数据处理装置与图像捕获装置和显示装置可操作地连接。优选地，数据处理装置被配置为执行用于基于弯曲的固定杆辅助矫形手术以确定脊柱校正的方法。

7、根据本发明的另一方面，提供了一种用于辅助脊柱矫形手术的方法。优选地，该方法利用数据处理装置来执行，该数据处理装置包括显示装置和图像捕获装置。而且，优选地，该方法包括以下步骤：利用图像捕获装置捕获图像序列，使得图像捕获装置的视场捕获分别放置在多个导丝上的多个椎弓根标记或多个导丝中的至少一个的图像，多个椎弓根标记或多个导丝布置在经受矫形手术的生物的身体的手术切口处；通过显示所捕获的图像中的至少一些图像或通过利用透明显示装置的直接视图在显示装置上提供实况视频馈送；基于所捕获的图像序列利用数据处理装置检测多个椎弓根标记或多个导丝；第一计算所检测的多个椎弓根标记或所检测的多个导丝的取向和位置；以及基于来自第一计算步骤的附接到椎骨的所检测的多个椎弓根标记或所检测的多个导丝中的至少一个的取向和位置，来第二计算至少两个椎骨的姿态数据信息。

8、通过参考示出本发明的一些优选实施方式的附图研究以下描述和所附权利要求，本发明的上述和其它目的、特征和优点以及实现它们的方式将变得更加明显，并且将最好地理解本发明本身。