增强现实定位医学视图的制作方法

1.本发明涉及一种用于确定由增强现实设备提供的视野内重建图像增强的计算机实施的方法、相应的计算机程序、存储这种程序的计算机可读存储介质和执行该程序的计算机以及包括电子数据存储设备和上述计算机的医疗系统。


背景技术：

2.近年来，混合现实(本文中又称增强现实)在医学领域中日益重要。特别是，将附加信息投影到医务人员的视野内，以协助对患者执行医疗过程或规划此类医疗过程。这可以包括以与人类感知的物理世界正确对齐的方式叠加虚拟对象信息。如果虚拟叠加与操作者视野内的物理世界正确对齐，则虚拟对象和物理对象会看似融合在一起。对于某些应用，却期望提供例如视野内虚拟屏幕等信息，这不会与现实世界的对象对齐。
3.本发明的目的是在人机工程学方面改进在用户视野内提供虚拟叠加的方法。例如，期望将虚拟叠加定位在视野内，使之易于为用户识别，而虚拟叠加不会导致视野混乱或甚至遮挡现实世界的感兴趣区域。此外，本发明的目的是改进对虚拟叠加所提供的附加信息的感知，以便例如在操作具有显示在虚拟叠加中的虚拟对应物的医疗器械或设备时改进手眼协调。
4.本发明可用于涉及通过例如与图像指导手术系统(诸如和皆产自brainlab ag公司)和/或增强现实设备(诸如magic leap产自magic leap inc.公司)相关的医务人员的视野增强来提供协助的任何医疗过程。
5.下文公开了本发明各个方面、实例和示例性步骤及其实施例。只要技术上适宜且可行，便能根据本发明组合本发明的不同示例性特征。


技术实现要素：

6.在下文中，给出对本发明具体特征的简要描述，其不应理解为将本发明仅限于本部分中描述的特征或特征组合。
7.本公开的方法包括确定由增强现实设备提供的视野的重建图像增强，其中至少一个二维重建图像在视野内的图像定位和/或至少一个图像定向取决于至少一个对象的空间位置，特别是增强现实设备和至少一个对象的相对空间位置。
8.在本部分中，例如通过参照本发明的可行实施例给出对本发明的一般特征的描述。
9.总体而言，为了达成上述目的，本发明第一方面提供了一种确定由增强现实设备提供的视野内重建图像增强的计算机实施的医学方法。上述方法包括在至少一台计算机(例如，至少一台计算机作为导航系统的一部分)的至少一个处理器上执行以下由至少一个处理器执行的示例性步骤。
10.在(例如第一)示例性步骤中，获取描述患者身体部位的至少一个三维图像数据集的3d图像数据。
11.在(例如第二)示例性步骤中，基于3d图像数据来确定描述至少一个二维重建图像的重建图像数据。
12.在(例如第三)示例性步骤中，获取描述至少一个对象的空间位置和增强现实设备的空间位置的对象位置数据。
13.在(例如第四)示例性步骤中，基于重建图像数据和对象位置数据来确定图像增强数据，该图像增强数据描述由增强现实设备提供的视野内的至少一个二维重建图像，其中至少一个二维重建图像的图像定位和/或至少一个图像定向取决于至少一个对象的空间位置。
14.换言之，本发明的目的是在提供给用户的视野内显示已根据患者的三维图像数据集计算/重建的一个或多个图像，其中这些图像的空间定位和/或空间定向取决于至少一个对象的空间定位和/或空间定向，特别是至少一个对象相对于增强现实设备或其视线的空间位置。
15.通过如此操作，不仅可在不遮挡用户需要看到的现实世界重要区域和对象的定位处提供重建图像，而且可在相对于现实世界的可预测定位处和/或以相对于现实世界的可预测定向提供这些图像。此外，本发明提供了一种在人机工程学方面得以改进的增强现实显示器，具体是在现实中以及虚拟叠加(即至少一个重建图像)中看到用户操作的对象或设备或其部分时促进手眼协调。
16.在根据第一方面的方法的某一实例中，获取3d图像数据包括使用成像模态生成患者身体部位的三维图像数据集，或者获取使用成像模态生成的患者身体部位的三维图像数据集，其中该成像模态选自下组：
17.–
ct成像模态；
18.–
mri成像模态；
19.–
超声成像模态。
20.因此，可以根据通过任何期望的成像模态获取的三维数据集来计算重建图像。此外，重建图像可以包括由通过多个成像模态、特别是从两个或更多个上述成像模态获取的图像信息组成的图像信息。
21.此外，可以将通过这些成像模态中的一个或多个获取的图像数据集与人工图像数据配准并用人工图像数据对其进行补充，该人工图像数据特别是从解剖图谱中检索所得。例如，然后可以很容易在虚拟叠加中显示给用户的重建图像中识别和突出显示图像中显示的感兴趣解剖结构或其某些部分。
22.在更具体实例中，借助设备获取重建图像数据，该设备可相对于患者身体部位移动并具有定义设备定位和至少一个设备定向的设备主体，其中基于相对于患者身体部位的设备定位来确定至少一个重建图像相对于患者身体部位的三维图像表示的定位，特别地，至少一个重建图像的图像平面在分配给图像数据集的坐标系中的位置矢量是基于设备定位，和/或基于相对于患者身体部位的至少一个设备定向来确定至少一个重建图像相对于患者身体部位的三维图像表示的至少一个定向，特别地，至少一个重建图像的图像平面在分配给图像数据集的坐标系中的至少一个方向矢量是基于至少一个设备定向，和/或基于患者的至少一个解剖方向、特别是内外方向、头尾方向和/或前后方向来确定至少一个重建图像相对于患者身体部位的三维图像表示的至少一个定向。
23.一般而言，一个或多个重建图像可以代表患者解剖结构的三维虚拟图像表示的二维“切片”，其中借助可由用户操作的设备或器械(例如手持式指针器械或手术工具或器械)选择该切片相对于三维图像表示的定位及定向。例如，可以将患者身体部位的3d图像表示与实际的患者解剖结构配准，以便通过操作(即相对于真实患者移动真实医疗器械)选择稍后将在虚拟叠加中显示的一个或多个图像或切片。附加地或替代地，这些选择的图像中的一个或多个相对于三维表示的定向可以取决于由患者解剖结构定义的方向，即一个或多个解剖方向。
24.此外，所选择的重建图像相对于三维图像表示的定位和/或定向可以定义如下：图像平面相对于三维图像表示的定位可以由自分配给三维图像表示的坐标系的原点延伸的位置矢量来定义。此外，图像平面的定向可以由相对于彼此正交定向的两个方向矢量来定义，其中至少一个方向矢量可以定义为定向于可移动设备的纵轴，和/或至少一个方向矢量可以定义为平行于解剖方向或定向于分配给三维图像表示的坐标系内定义的垂直或水平方向。
25.为了确定至少一个对象的空间位置，特别是至少一个对象与增强现实设备的相对位置，本发明的方法可以利用：外部医学跟踪系统，其适配为在特别是分配给手术室的静态坐标系内跟踪至少一个对象的空间位置和增强现实设备的空间位置；和/或跟踪系统，其特别是集成到增强现实设备中，并适配为在耦合到增强现实设备的坐标系内相对于增强现实设备的空间位置跟踪至少一个对象的空间位置。
26.就此而言，可以使用适配为通过光学、电磁或超声功能原理识别跟踪标记的任何医学跟踪系统。此外，还可设想，一个或多个相机可以静态部署于手术室中，或可以耦合到或集成在增强现实设备中进而可以在手术室内随增强现实设备一起移动，基于对一个或多个相机获取的图像的分析来确定位置，特别是一个或多个对象相对于增强现实设备的相对位置。
27.在本发明方法的另一实例中，可以将每一个下述实例视为至少一个对象：
28.–
手术室的至少暂时静态设施、特别是包括手术室的墙壁、天花板、地板、家具和固定附物的一个或多个部分；
29.–
医疗设备或器械、特别是手动引导的医疗设备或器械、具体是用于定义至少一个重建图像选择相对于上述三维图像表示的定位和/或定向的可移动设备的一个或多个部分；
30.–
医疗设备或医疗装置、移动式医疗设备或医疗装置、具体是机动化医疗设备或医疗装置的一个或多个部分；
31.–
包括一个或多个解剖方向的患者解剖结构的一个或多个部分。
32.此外，可以在由增强现实设备提供的视野内对齐至少一个重建图像，即其定位和/或定向，使得至少一个二维重建图像定位在相对于至少一个对象的预定义距离处和/或预定义方向上，特别是定位在视野内图像和对象互不遮挡的位置处。附加地或替代地，至少一个图像定位成显示在预定方向上、特别是患者的内外方向、头尾方向和/或前后方向上相对于相应的实际结构偏移位置处的结构的表示。此外，至少一个图像的图像平面的至少一个方向矢量的定向可以取决于、特别是定向于或垂直于患者的解剖方向，特别是内外方向、头尾方向和/或前后方向。此外，至少一个图像的图像平面的至少一个方向矢量的定向可以取
决于、特别是定向于或垂直于静态坐标系的空间方向，特别是重力矢量、分配给手术室的坐标系的垂直方向和/或水平方向。此外，至少一个图像的图像平面的至少一个方向矢量的定向可以取决于、特别是定向于或垂直于由器械或设备的主体限定的空间方向，特别是医疗器械的纵轴。
33.至少一个图像在视野内可以定位成靠近对象，使得用户无需将视线从对象上移开以从图像中检索信息，而图像不会遮挡用户观看到对象。此外，一个或多个图像可以定位成使得现实世界与其在图像中显示的表示之间的相对位置在视野内的一个或多个维度上一致，优选地在两个维度上一致。换言之，图像不仅仅是配准到现实世界的叠加，而是在一维或二维上相对于现实世界偏移。这会改善视野，因为现实世界对象不会被图像中提供的对象表示所遮挡。此外，至少一个图像、特别是图像平面出现在用户面前时可以在视野内定向，使得其至少一个方向矢量定向于或垂直于关于现实世界定义的空间方向，例如关于患者解剖结构和/或关于现实世界坐标系定义的空间方向。例如，这些空间方向可以包括内外方向、头尾方向、前后方向、水平方向或平行于重力矢量定向的垂直方向。更具体地，图像可以定向成使得其一个方向矢量定向为平行于分配给患者真实解剖结构的内外方向或头尾方向，另一个方向矢量定向为平行于或垂直于重力矢量或分配给手术室的静态坐标系的垂直方向。
34.此外，可以根据多个对象的空间定位和/或定向来对图像进行定位和/或定向。在一具体实例中，图像的第一方向矢量可以定向于患者的现实世界解剖结构的解剖方向上，而另一个方向矢量定向为平行于现实世界器械的纵轴。
35.当然，可以设想，根据一个或多个对象在视野内定位一个或多个图像的任何上述实例可以采取任何可行方式组合。此外，可以实时提供和更新这种现实世界增强，使得图像在视野内随现实世界对象一起“移动”，从而使观看者产生图像附着于现实世界对象的印象。
36.在根据第一方面的方法的另一实例中，投影到视野内的多个图像的定位和/或定向也可以相互依赖。例如，两个或更多个图像的图像平面可以定向为相互垂直。
37.在另一实例中，一个或多个图像可以限制在虚拟图像框中，以便可以将视野内的图像投影限制到必要的最小值进而不会遮挡观看到现实世界对象。
38.在另一实例中，投影到用户视野内的至少一个重建图像的定位和/或定向还可以取决于用户在现实世界的视线以及投影到视野内的图像。例如，如果用户的视线与一个或多个图像的图像平面之间的视角降到低于预定义阈值，例如低于45
°
，则可以旋转相应的图像，例如绕其方向矢量旋转和/或旋转预定义量，例如90
°
，以便再次增大视角。在另一实例中，可以通过将图像绕其一个或两个方向矢量旋转而使用户视线与图像平面之间的视角恒定保持在预定义值，例如90
°
。
39.此外，投影到用户视野内的一个或多个图像可以相对于相应的现实世界对象定位，从而即使视线改变时，例如用户围绕对象“移动”或“观看”时，图像也会始终出现在对象旁而不遮挡观看对象。
40.本发明第二方面涉及一种包括指令的计算机程序，当由至少一台计算机执行程序时，这些指令促使至少一台计算机执行根据第一方面的方法。替选地或附加地，本发明可以涉及携带表示程序、例如上述程序的信息的(例如以技术手段生成的物理性、例如电)信号
波，例如数字信号波，诸如电磁载波，所述程序例如包括适于执行根据第一方面的方法的任意或全部步骤的代码机构。在一实例中，信号波是携带上述计算机程序的数据载波信号。存储在盘上的计算机程序是数据文件，当读取并传输文件时，该文件变成例如(例如以技术手段生成的物理性、例如电)信号形式的数据流。该信号可实施为信号波，例如本文描述的电磁载波。例如，信号(例如信号波)构建为经由计算机网络、例如lan、wlan、wan、移动网络(例如因特网)来传输。例如，信号(例如信号波)构建为通过光学或声学数据传输来传输。故替选地或附加地，本发明根据第二方面可以涉及代表上述程序(即，包括该程序)的数据流。
41.在第三方面，本发明涉及一种存储有根据第二方面的程序的计算机可读存储介质。所述程序存储介质例如为非暂时性。
42.在第四方面，本发明涉及至少一台计算机(例如，计算机)，其包括至少一个处理器(例如，处理器)和至少一个存储器(例如，存储器)，其中，由处理器执行根据第二方面的程序，或其中，该至少一台计算机包括根据第三方面的计算机可读存储介质。
43.在第五方面，本发明涉及一种医疗系统，包括：
44.a)根据第四方面的至少一台计算机；
45.b)至少存储3d图像数据的至少一个电子数据存储设备；及
46.c)增强现实设备，用于协助对患者执行医疗过程，
47.其中，至少一台计算机可操作性耦合到：
48.–
至少一个电子数据存储设备，用于从至少一个数据存储设备至少获取3d图像数据，以及
49.–
增强现实设备，用于向增强现实设备下发控制信号以基于图像增强数据来控制增强现实设备的操作。
50.替选地或附加地，本发明根据第五方面涉及一种例如非暂时性计算机可读程序存储介质，该介质存储用于促使根据第四方面的计算机执行根据第一方面的方法的数据处理步骤的程序。
51.例如，本发明不涉及或尤其不包括或包含侵入性步骤，该侵入性步骤代表对身体的实质性物理干扰，需要对身体采取专业医疗措施，而即使采取了所要求的专业护理或措施，身体仍可能承受重大健康风险。
52.本发明还涉及一种设备/系统或其任何实施例用于进行或规划医疗过程的用途。上述用途例如包括根据本文所述任何实施例的方法的至少一个步骤。
53.定义
54.本部分中提供了本公开中使用的特定术语的定义，它们也构成本公开的一部分。
55.根据本发明的方法例如是一种计算机实施的方法。例如，根据本发明的方法的全部步骤或仅一些步骤(即，少于步骤总数)可以由计算机(例如，至少一台计算机)执行。由计算机实施的方法的实施例是计算机用来执行数据处理方法的用途。由计算机实施的方法的实施例是涉及计算机操作的方法，使得计算机被操作为执行该方法的一个、多个或全部步骤。
56.计算机例如包括至少一个处理器和例如至少一个存储器，以便(技术上)处理数据，例如电子地和/或光学地处理数据。处理器例如由半导体的物质或组合物制成，例如至少部分n型和/或p型掺杂半导体，例如ii型、iii型、iv型、v型、vi型半导体材料中的至少一
种，例如(掺杂)砷化硅和/或砷化镓。所描述的计算步骤或确定步骤例如由计算机执行。确定步骤或计算步骤例如是在技术方法的框架内(例如在程序的框架内)确定数据的步骤。计算机例如是任何类型的数据处理设备，例如电子数据处理设备。计算机可以是通常视为计算机的设备，例如台式个人电脑、笔记本电脑、上网本等，但也可以是任何可编程装置，例如移动电话或嵌入式处理器。计算机可以例如包括“子计算机”系统(网络)，其中每个子计算机代表其本身的计算机。术语“计算机”包括云计算机，例如云服务器。术语“计算机”包括服务器资源。术语“云计算机”包括云计算机系统，其例如包括至少一个云计算机的系统，例如包括多个可操作性互连的云计算机，诸如服务器群。这种云计算机优选地连接到诸如万维网(www)的广域网，并位于全部连接到万维网的计算机的所谓的云中。这种基础设施用于“云计算”，其描述了不要求终端用户知道提供特定服务的计算机的物理位置和/或配置的那些计算、软件、数据访问和存储服务。例如，术语“云”就此用来隐喻因特网(万维网)。例如，云提供作为服务(iaas)的计算基础设施。云计算机可以用作用于执行本发明方法的操作系统和/或数据处理应用的虚拟主机。云计算机例如是由亚马逊网络服务(amazon web services
tm
)提供的弹性计算云(ec2)。计算机例如包括接口，以便接收或输出数据和/或执行模数转换。该数据例如是表示物理属性和/或从技术信号生成的数据。技术信号例如通过(技术)检测设备(例如用于检测标记器的设备)和/或(技术)分析设备(例如用于执行(医学)成像方法的设备)来生成，其中技术信号是例如电信号或光信号。技术信号例如表示由计算机接收或输出的数据。计算机优选可操作性耦合到显示设备，该显示设备允许将由计算机输出的信息显示给例如用户。显示设备的一个实例是虚拟现实设备或增强现实设备(又称为虚拟现实眼镜或增强现实眼镜)，其可以用作用于导航的“护目镜”。这种增强现实眼镜的具体实例是谷歌眼镜(google glass，google,inc.旗下的商标品牌)。增强现实设备或虚拟现实设备既可用于通过用户交互将信息输入到计算机中，又可用于显示由计算机输出的信息。显示设备的另一实例是例如包括液晶显示器的标准计算机监视器，该液晶显示器可操作性连接到用于从用于生成信号的计算机接收显示控制数据的计算机，该信号用于在显示设备上显示图像信息内容。这种计算机监视器的具体实施例是数字灯箱。这种数字灯箱的实例是brainlab ag的产品监视器也可以是例如手持式的便携式设备，诸如智能电话或个人数字助理或数字媒体播放器。
57.本发明还涉及一种包括指令的计算机程序，当由计算机执行程序时，这些指令促使计算机执行本文所述的一个或多个方法，例如一个或多个方法的步骤；和/或本发明涉及一种存储有所述程序的计算机可读存储介质(例如非暂时性计算机可读存储介质)；和/或本发明涉及一种包括所述程序存储介质的计算机；和/或本发明涉及一种携带表示程序(例如上述程序)的信息的(例如以技术手段生成的物理性、例如电)信号波，例如数字信号波，诸如电磁载波，所述程序例如包括适于执行本文所述的任意或全部方法步骤的代码机构。在一实例中，信号波是携带上述计算机程序的数据载波信号。本发明还涉及一种计算机，该计算机包括至少一个处理器和/或上述计算机可读存储介质以及例如存储器，其中该程序由处理器来执行。
58.在本发明的框架内，计算机程序单元可以通过硬件和/或软件(这包括固件、驻留软件、微代码等)来体现。在本发明的框架内，计算机程序单元可以采取计算机程序产品的形式，该计算机程序产品可以通过计算机可用、例如计算机可读的数据存储介质来实现，该
数据存储介质包括计算机可用、例如计算机可读的程序指令，在所述数据存储介质中体现的“代码”或“计算机程序”用于在指令执行系统上或与指令执行系统结合使用。这种系统可以是计算机；计算机可以是包括用于执行根据本发明的计算机程序单元和/或程序的机构的数据处理设备，例如包括执行计算机程序单元的数字处理器(中央处理单元或cpu)的数据处理设备，以及可选地包括用于存储用于执行计算机程序单元和/或通过执行计算机程序单元生成的数据的易失性存储器(例如随机存取存储器或ram)的数据处理设备。在本发明的框架内，计算机可用、例如计算机可读的数据存储介质可以是任何数据存储介质，其可以包含、存储、通信、传播或传输那些指令执行系统、装置或设备上使用或与之结合使用的程序。计算机可用、例如计算机可读的数据存储介质例如可以是但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或者是诸如因特网的传播介质。计算机可用或计算机可读的数据存储介质甚至可以是例如可打印所述程序的纸张或其他合适介质，因为程序可以通过电子方式捕获，例如通过光学扫描该纸张或其他合适介质，然后再编译、解码或以适当方式另行处理。数据存储介质优选为非易失性数据存储介质。本文所述的计算机程序产品和任何软件和/或硬件形成用于在示例实施例中执行本发明的功能的各种机构。计算机和/或数据处理设备可以例如包括指导信息设备，该指导信息设备包括用于输出指导信息的机构。指导信息可以例如在视觉上通过视觉指示机构(例如，监视器和/或灯)和/或在听觉上通过听觉指示机构(例如，扬声器和/或数字语音输出设备)和/或在触觉上通过触觉指示机构(例如，振动元件或并入器械中的振动元件)输出给用户。出于本文件的目的，计算机是技术计算机，该技术计算机例如包括诸如有形组件、例如机械组件和/或电子组件的技术组件。本文件中提及的任何设备都是技术设备并例如是有形设备。
59.表述“获取数据”例如包含(在所述计算机实施的方法的框架内)由计算机实施的方法或程序确定数据的场景。确定数据例如包含测量物理量并将所测得的值变换成数据，例如数字数据，和/或借助于计算机并例如在根据本发明的方法的框架内计算(例如输出)该数据。如本文所述的“确定”步骤例如包括发出执行本文所述的确定的命令或由其组成。例如，该步骤包括发出促使计算机(例如远程计算机、例如远程服务器、例如云中)执行确定的命令或由其组成。替选地或附加地，本文所述的“确定”步骤例如包括以下步骤或由其组成：接收由本文所述的确定的结果数据，例如从远程计算机(例如从促使其执行确定的远程计算机)接收结果数据。“获取数据”的含义还例如包含以下场景：通过(例如输入)由计算机实施的方法或程序例如从另一程序、先前的方法步骤或数据存储介质接收或检索数据，例如用于通过由计算机实施的方法或程序进行进一步处理。待获取数据的生成可以但不必是根据本发明的方法的一部分。因此，表述“获取数据”还可以例如表示等待接收数据和/或接收数据。所接收的数据可以例如经由接口来输入。表述“获取数据”还可以表示由计算机实施的方法或程序执行一些步骤以便(主动地)从譬如数据存储介质(例如rom、ram、数据库、硬盘驱动器等)的数据源或经由接口(譬如从另一台计算机或网络)接收或检索数据。分别通过本公开的方法或设备获取的数据可从位于数据存储设备中的数据库获取，该数据存储设备可操作性连接到计算机以便进行数据库与计算机之间的数据传输，例如从数据库到计算机的数据传输。计算机获取数据以用作“确定数据”步骤的输入。所确定的数据可以再输出到相同的或另一个数据库以便存储以供后续使用。该数据库或用于实施本公开方法的数据库可以位于网络数据存储设备或网络服务器(例如，云数据存储设备或云服务器)或本地
数据存储设备(例如可操作性连接到至少一个执行本公开方法的计算机的大容量存储设备)。数据可以通过在获取步骤之前执行附加步骤的方式来实现“就绪”状态。根据这个附加步骤，生成数据以供获取。例如，检测或捕获数据(例如，通过分析设备)。替选地或附加地，根据附加步骤，譬如经由接口，输入数据。例如可以输入所生成的数据(譬如，输入到计算机中)。根据附加步骤(其在获取步骤之前进行)，也可以通过执行将数据存储于数据存储介质(例如rom、ram、cd和/或硬盘驱动器)的附加步骤来提供数据，从而在根据本发明的方法或程序的框架内，使数据就绪。因此，“获取数据”的步骤还可以涉及命令设备获取和/或提供待获取的数据。特别地，获取步骤不涉及侵入性步骤，该侵入性步骤代表对身体的实质性物理干扰，要求采取专业医疗措施，即使执行时采取了所要求的专业护理和措施，身体也可能承受重大健康风险。特别地，获取数据的步骤，例如确定数据，不涉及外科手术步骤，特别是不涉及利用外科手术或疗法来治疗人体或动物躯体的步骤。为了区分本方法使用的不同数据，将数据表示为(即称为)“xy数据”等，并根据它们描述的信息来定义，然后优选地将其称为“xy信息”等。
60.当空间内的实际对象(例如，手术室中的身体部位)的每个点的空间位置均分配有存储在导航系统中的图像(ct、mr等)的图像数据点时，配准身体的n维图像。
61.图像配准是将不同数据集转换成一个坐标系的过程。数据可以是来自不同传感器、不同时间或不同视点的多个照片和/或数据。它用于计算机视觉、医学成像以及编译和分析来自卫星的图像和数据。为了能够比较或整合从这些不同测量获得的数据，配准是必要的。
62.标记的功能是由标记检测设备(例如，相机或超声接收器，或诸如ct或mri设备的分析设备)以能够确定该标记的空间位置(即其空间位置和/或对准)方式来检测。该检测设备例如是基于计算机的导航系统的一部分。标记可以是有源标记。有源标记可以例如发射电磁辐射和/或处于红外、可见和/或紫外光谱范围内的波。然而，标记也可以是无源标记，即例如可以反射处于红外、可见和/或紫外光谱范围内的电磁辐射，或者可以阻挡x射线辐射。为此，标记可以设置有具有相应反射特性的表面，或者可以由金属制成以便阻挡x射线辐射。标记还可以反射和/或发射电磁辐射和/或处于射频范围内或在超声波波长处的波。标记优选具有球形和/或球状体形状，并且因此可以称为标记球体；然而，标记也可以呈现有角的(例如立方体的)形状。
63.标记器可以例如是基准星或指针或者单个标记或多个(单独)标记，这多个标记则优选地处于预定的空间关系。标记器包括一个、两个、三个或更多个标记，其中两个或更多个这样的标记处于预定的空间关系。这种预定空间关系例如对于导航系统为已知，并且例如存储在导航系统的计算机中。
64.在另一实施例中，标记器包括例如在二维表面上的光学图案。光学图案可以包括多个几何形状，如圆形、矩形和/或三角形。光学图案可以在由相机捕获的图像中被识别出，并且标记设备相对于相机的位置可以根据图像中的图案的大小、图像中的图案的取向和图像中的图案的失真来确定。这允许根据单一的二维图像来确定在多达三个旋转维度和多达三个平移维度中的相对位置。
65.可以例如通过医学导航系统来确定标记器的位置。如果标记器附着到诸如骨或医疗器械的对象上，则可以根据标记器的位置以及标记器与对象之间的相对位置来确定对象
的位置。确定这个相对位置又称为配准标记器与对象。标记器或对象可以被跟踪，这意味着标记器或对象的位置随着时间被确定两次或更多次。
66.标记保持器理解为各个标记的附接设备，用于将标记附接至器械、一部分身体和/或基准星的保持元件，其中该标记保持器可以附接成使其静止不动，又可有利地使其可拆离。标记保持器可以例如呈杆状和/或圆柱状。标记器的紧固设备(例如闩锁机构)可设置于标记保持器面向标记的一端，并协助将标记器以力配合和/或形配合方式置于标记保持器上。
67.指针为包括一个或多个(有利地，两个)紧固于其上的标记的杆，可用于区分一部分身体上的各个坐标，例如空间坐标(即三维坐标)，其中用户将指针(例如，一部分指针，其相对于附接至指针的至少一个标记具有已定义且有利固定的位置)引导至对应于坐标的位置，从而可以通过使用手术导航系统来确定指针的位置，以检测指针上的标记。指针的标记与用于测量坐标的指针部分(例如，指针尖端)之间的相对位置例如为已知。然后，手术导航系统能够将(三维坐标系的)位置分配给预定的身体结构，其中可以自动或通过用户干预进行分配。
[0068]“基准星”是指具有数个附接于其上的标记(优选地，三个标记)的设备，这些标记(例如，可拆离地)附接至基准星，以使它们静止不动，从而提供标记彼此相对的位置(有利地固定位置)。针对外科导航方法构架内使用的每个基准星，标记彼此相对的位置各不相同，以使外科导航系统能够基于其标记彼此相对的位置来标识相应的基准星。因而，也可以相应地标识和/或区分基准星所附接到的对象(例如，器械和/或身体部位)。在外科导航方法中，基准星用于将多个标记附接至对象(例如，骨骼或医疗器械)，以便能够检测该对象的位置(即，其空间定位和/或对准)。这种基准星例如表征一种附接至对象(例如，夹具和/或螺纹)和/或保持元件的方式，这可确保标记与对象(例如，为了辅助标记对标记检测设备的可见性)和/或标记保持器(其机械连接至保持元件且标记可附接于其上)之间的距离。
[0069]
本发明还涉及一种计算机辅助手术的导航系统。该导航系统优选地包括计算机，用于处理根据如本文任一实施例中所述的计算机实施的方法所提供的数据。导航系统优选地包括检测设备，用于检测代表主点和辅点的检测点的位置，以生成检测信号并将所生成的检测信号提供给计算机，使得计算机可以根据接收到的检测信号来确定绝对主点数据和绝对辅点数据。检测点例如为由指针检测到的解剖结构表面上的点。这样就可以将绝对点数据提供给计算机。导航系统还优选地包括用户界面，用于从计算机接收计算结果(例如，主平面的位置、辅平面的位置和/或标准平面的位置)。用户界面将接收到的数据作为信息提供给用户。用户界面的实例包括监视器或扬声器等显示设备。用户界面可以使用任何类型的指示信号(例如，视觉信号、音频信号和/或振动信号)。显示设备的一个实例为增强现实设备(又称增强现实眼镜)，其可用作用于导航的“护目镜”。这种增强现实眼镜的具体实例是谷歌眼镜(google glass，google,inc.旗下的商标品牌)。增强现实设备既可用于通过用户交互向导航系统的计算机输入信息，也可用于显示计算机输出的信息。
[0070]
本发明还涉及一种用于计算机辅助手术的导航系统，包括：
[0071]
计算机，用于处理绝对点数据和相对点数据；
[0072]
检测设备，用于检测主点和辅点的位置，以生成绝对点数据并将绝对点数据提供给计算机；
[0073]
数据接口，用于接收相对点数据并将相对点数据提供给计算机；及
[0074]
用户界面，用于从计算机接收数据以向用户提供信息，其中所接收的数据是由计算机基于计算机执行处理的结果生成。
[0075]
导航系统(例如外科导航系统)应理解为这样一个系统，即可以包括：至少一个标记器；发射电磁波和/或辐射和/或超声波的发射器；接收电磁波和/或辐射和/或超声波的接收器；以及连接至接收器和/或发射器的电子数据处理设备，其中数据处理设备(例如，计算机)例如包括处理器(cpu)和工作存储器并且有利地包括用于下发指示信号的指示设备(例如，监视器等视觉指示设备和/或扬声器等音频指示设备和/或振动器等触觉指示设备)以及永久性数据存储器，其中数据处理设备处理由接收器转发给它的导航数据，并可以有利地经由指示设备向用户输出指导信息。导航数据可以存储在永久性数据存储器中，例如与预先存储在所述存储器中的数据进行比较。
[0076]
优选地，获取描述(例如定义，更特别地表示和/或作为)身体解剖部位的大体三维形状的图谱数据。因此，图谱数据表示身体解剖部位的图谱。图谱通常由多个对象通用模型组成，其中这些对象通用模型一起形成复合结构。例如，图谱构成了患者身体(例如身体的一部分)的统计模型，该统计模型已经根据从多个人体收集的解剖信息来生成，例如根据包含了这些人体的图像的医学图像数据来生成。因此，原则上，图谱数据表示多个人体的这种医学图像数据的统计分析结果。这个结果可以作为图像输出
–
因此图谱数据包含或相当于医学图像数据。这种比较可以例如通过应用图像融合算法来执行，其中该图像融合算法在图谱数据与医学图像数据之间进行图像融合。比较结果可以是在图谱数据与医学图像数据之间的相似性度量。图谱数据包括图像信息(例如位置图像信息)，该图像信息可以与例如包含在医学图像数据中的图像信息(例如位置图像信息)相匹配(例如通过应用弹性或刚性图像融合算法)，以使得例如将图谱数据与医学图像数据进行比较，以便确定医学图像数据中对应于由图谱数据限定的解剖结构的解剖结构的位置。
[0077]
多个人体(其解剖结构用作生成图谱数据的输入)有利地共享共同特征，诸如性别、年龄、种族、身体测量值(例如身高和/或体重)以及病理状态中的至少一个。解剖信息例如描述人体解剖结构，并例如提取自关于人体的医学图像信息中。例如，股骨的图谱可以包括股骨头、股骨颈、身体、股骨大转子、股骨小转子以及下肢，作为一起构成了完整结构的对象。例如，脑部的图谱可以包括端脑、小脑、间脑、脑桥、中脑以及延髓，作为一起构成复杂结构的对象。这种图谱的一个应用是在医学图像分割中，其中图谱与医学图像数据相匹配，并且将图像数据与所匹配的图谱进行比较，以便将图像数据的点(像素或体素)分配给所匹配的图谱的对象，从而将图像数据分割成对象。
[0078]
例如，图谱数据包括身体解剖部位的信息。该信息例如是患者特定、非患者特定、适应症特定或非适应症特定中的至少一种。因此，图谱数据描述例如患者特定、非患者特定、适应症特定或非适应症特定图谱中的至少一种。例如，图谱数据包括指示身体解剖部位相对于给定基准(例如，另一身体解剖部位)的移动自由度的移动信息。例如，图谱是多模式图谱，其定义多个(即至少两个)成像模态的图谱信息，并包含不同成像模态下的图谱信息之间的映射(例如全部模态之间的映射)，使得这些图谱可用于将医学图像信息从其在第一成像模态下的图像描绘变换为其在不同于第一成像模态的第二成像模态下的图像描绘，或者将不同的成像模态相互比较(例如匹配或配准)。
[0079]
治疗身体部位的运动例如是由下文中称为“生命活动”的运动引起。这方面还可参阅专利文献ep 2 189 943a1和ep 2 189 940a1，还分别公布为us 2010/0125195 a1和us 2010/0160836 a1，其中具体论述了这些生命活动。为了确定治疗身体部位的位置，使用诸如x射线设备、ct设备或mrt设备之类的分析设备来生成身体的分析图像(诸如x射线图像或mrt图像)。例如，分析设备构成为执行医学成像方法。分析设备例如使用医学成像方法并且是例如用于(例如通过使用波和/或辐射和/或能量束，例如电磁波和/或辐射、超声波和/或粒子束)分析患者身体的设备。分析设备例如是通过分析身体来生成患者身体(以及例如患者身体的内部结构和/或解剖部位)的图像(例如，二维或三维图像)的设备。分析设备例如用于例如放射学中的医学诊断。然而，可能难以在分析图像中标识出治疗患体部位。例如，更容易标识与治疗身体部位的位置变化以及例如与治疗身体部位的移动相关的指示身体部位。跟踪指示身体部位从而使得可以基于指示身体部位的位置(例如，移动)的变化与治疗身体部位的位置(例如，移动)的变化之间的已知相关性来跟踪治疗身体部位的移动。作为跟踪指示身体部位的替代或补充，可使用标记检测设备跟踪标记设备(其可用作指示器且因此被称作“标记指示器”)。标记指示器的位置与例如因生命活动而改变其位置的指示器结构(诸如胸壁，例如真肋或假肋，或隔膜或肠壁等)的位置具有已知的(预定的)相关性(例如，相对于其固定的相对位置)。
[0080]
在医学领域，使用成像方法(又称为成像模态和/或医学成像模态)来生成人体解剖结构(诸如软组织、骨骼、器官等)的图像数据(例如二维或三维图像数据)。术语“医学成像方法”应理解为意指(有利地基于装置的)成像方法(例如所谓的医学成像模态和/或放射成像方法)，譬如计算机断层扫描(ct)和锥形束计算机断层扫描(cone beam computed tomography，简称cbct，诸如体积cbct)、x射线断层扫描、磁共振断层扫描(mrt或mri)、常规x射线、超声波扫描术和/或超声波核查以及正电子放射断层扫描。例如，医学成像方法由分析设备来执行。通过医学成像方法应用的医学成像模态的实例为：x射线放射照相术、磁共振成像、医学超声或超声、内窥镜检查、弹性成像、触觉成像、热成像、医学摄影和核医学功能成像技术，诸如参阅wikipedia提及的正电子发射断层摄影(positron emission tomography，简称pet)和单光子发射计算机断层摄影(single-photon emission computed tomography，简称spect)。
[0081]
由此生成的图像数据又称为“医学成像数据”。分析设备例如用于在基于装置的成像方法中生成图像数据。成像方法例如用于分析身体解剖结构的医学诊断，以生成由图像数据描述的图像。成像方法还例如用于检测人体中的病理变化。然而，解剖结构中的一些变化，例如结构(组织)中的病理变化，可能无法检测到，并例如在通过成像方法生成的图像中可能是不可见。肿瘤表示解剖结构中变化的实例。如果肿瘤生长，则可认为其表示扩张的解剖结构。这种扩张的解剖结构可能无法检测到，例如，只有扩张解剖结构的一部分才能被检测到。例如，当使用造影剂渗入肿瘤时，早期/晚期脑部肿瘤通常在mri扫描中可见。mri扫描表示成像方法的一种实例。在对这类脑肿瘤进行mri扫描的情形下，认为mri图像中的信号增强(因造影剂渗入肿瘤而导致)代表了固体肿瘤块。因此，肿瘤可检测到，并例如在通过成像方法生成的图像中可辨别出。除了称为“增强”肿瘤的这些肿瘤之外，认为大约10％的脑肿瘤在扫描中无法辨别，并例如对于观察通过成像方法生成的图像的用户不可见。
附图说明
[0082]
在下文中，参照附图对本发明予以描述，这些附图给予本发明的背景说明并表示本发明的具体实施例。但本发明的范围不限于在附图的上下文中公开的具体特征，图中：
[0083]
图1示出了根据第一方面的方法的基本步骤；
[0084]
图2示出了本发明实施例，具体是根据第一方面的方法；
[0085]
图3示出了增强视野的第一实例；
[0086]
图4示出了增强视野的第二实例；
[0087]
图5示出了根据第五方面的系统的示意图。
具体实施方式
[0088]
图1示出了根据第一方面的方法的基本步骤，其中步骤s1包含获取3d图像数据，步骤s2包含基于获取的3d图像数据来确定重建图像数据，步骤s3包含获取对象位置数据，随后步骤s4包含基于重建图像数据和对象位置数据来确定图像增强数据。
[0089]
图2示出了本发明实施例，包括本发明各必要特征。在本实施例中，作为根据第一方面的方法的一部分，整体数据处理由计算机2执行。附图标记1表示将通过根据第一方面的方法获取的数据输入计算机2，附图标记3表示将通过根据第一方面的方法确定的数据输出。
[0090]
图3示出了由增强现实设备7(参见图5)、例如ar眼镜或ar护目镜提供的增强视野的实例。在所示实例中，佩戴ar护目镜7的外科医生在操作手持式指针器械11的同时注视患者诊台12上俯卧位的患者8，由医学跟踪系统在空间中跟踪该手持式指针器械11。这样就能以本领域公知的方式计算器械11相对于患者解剖结构8的空间位置。在所示实例中，指针器械11指向患者脊柱，指针器械11的纵轴穿过脊柱。
[0091]
除了包括患者8、指针器械11和患者诊台12的现实世界对象之外，还将虚拟图像9和10投影到视野内以便为外科医生提供关于患者解剖结构的附加图像信息。在所示实例中，图像9和10显示重建的内联(inline)视图，这些视图是从配准到患者解剖结构8的三维ct图像数据集计算得出。
[0092]
重建图像9和10的内容取决于指针器械11相对于患者解剖结构8的空间位置以及与之配准的ct数据集，使得重建图像9和10始终包括进而显示指针器械11的轨迹15。
[0093]
投影到视野内的图像9和10的定位和定向也基于指针器械11的空间位置来定义。如图3所示，将图像9和10分别定位到指针器械11的左侧和右侧，具有距指针器械11的预定义距离。此外，图像9和10定向为具有分别平行于头尾方向(图像9)和平行于内外方向(图像10)定向的第一方向矢量。除此之外，这两个方向矢量也可以在分配给包括患者诊台12的手术室的坐标系内水平定向。图像9和10的第二方向矢量定向为平行于指针器械11的纵轴的相应分量。特别地，图像9的第二方向矢量在垂直于第一方向矢量的平面内平行于指针器械11的纵轴分量延伸。采取相应方式，这同样适用于图像10的第二方向矢量。因此，使图像9和10绕它们的第一方向矢量同时旋转到指针器械11及其纵轴的定向。又如图3所示，图像9和10都限制在矩形框14内。
[0094]
图4示出了增强视野的实例，与图3所示的增强视野的区别在于，重建图像9和10定向于视野内以具有水平图像平面，即两个方向矢量在水平方向上水平延伸。虽然图4所示的
示例性展示可以视为独立于图3所示的示例性展示，但可设想，只要图像9和10上的视角落在预定义阈值之下，例如用户从上方俯视器械11时，即看到器械11的远端，可以用图4所示的示例性展示代替图3所示的示例性展示。在此情况下，图像9和10可以“翻转(flip over)”并如图4所示那样出现。
[0095]
图像9和10的定位和定向可以取决于任何现实世界对象的空间位置，例如可以将图像9和10中的一个或多个投影到视野内以作为“图片”出现在手术室的墙壁上。根据用户与患者8的相对位置或用户注视患者8的方向，该“图片”可以始终出现在手术室中位于患者身后的墙壁上。在此情况下，可能需要对相应的图像9或10的内容进行镜像处理，以使其与患者的真实解剖结构8的定向相匹配。
[0096]
图5是根据第五方面的医疗系统4的示意图。该系统整体标有附图标记4，包括计算机5、用于至少存储患者数据的电子数据存储设备6(例如硬盘)以及医疗设备7(例如放射治疗装置)。医疗系统4的组件具有上文关于本公开第五方面说明的功能和特性。