医学成像系统及其操作方法、模拟器官的三维模型的局部变形的方法与流程

本发明涉及操作医学成像系统以估计器官的局部变形的方法。本发明还涉及模拟器官的三维模型的局部变形的方法、医学成像系统和软件程序产品。

背景技术：

1、利用腹腔镜进行的手术(也称为腹腔镜手术或腹腔镜检查)与传统的开放式手术相比具有许多优势，例如更小的切口和更短的恢复时间。在腹腔镜手术中，术中导航起着至关重要的作用。然而，这种导航存在许多困难。器官无法被触摸到，以致外科医生无法获得触觉反馈。因此，无法感觉到肿瘤的位置。另外，腹腔镜超声是唯一可用的技术来可视化目标器官表面下的表面下结构，例如静脉、动脉和肿瘤。腹腔镜超声通常只提供2d图像，其需要被整合到外科医生的脑海中，以参考2d超声切片在3d空间中的实际位置。

2、为了解决这个问题，通常在手术前捕获器官的术前图像数据，例如计算机断层扫描(ct)图像或磁共振(mr)图像。将该术前图像数据变换为器官的三维模型，然后将该三维模型与术中腹腔镜图像数据对准，从而可以将来自术前图像的附加信息添加到术中图像。模型与术中图像的对准称为图像配准。

3、然而，在术前图像数据中，器官以其自然未变形状态表示。相比之下，在腹腔镜手术期间，目标器官通常会由于注入气体引起的压力而经受变形。此外，由于腹腔中的受限空间，需要迁移(mobilization)技术将目标器官的一些部分移动到合适的位置以进行切除。这些迁移技术也涉及器官的局部变形。因此，在配准之前，需要将器官的局部变形应用于模型以获得准确的配准结果。

4、基于有限元方法的生物力学建模通常用于模拟变形。然而，这些生物力学模型需要对包括器官刚度在内的若干参数的先验知识。如果这些参数未知并且例如由于器官疾病而偏离标准值，则这种方法无法预测变形的准确结果。

5、另一种方法利用诸如ct透视之类的术中成像技术来对变形进行建模。然而，为了实现术中图像与术前图像之间的对应，必须在术前成像之前将基准标记物放置在器官上，这需要附加的手术步骤。另外，在腹腔镜手术期间需要锥形束ct装置。而且，透视图像与术中表面的配准需要2d到3d配准方法，这在技术上通常比3d到3d配准更困难。

技术实现思路

1、本发明的目的是提供一种简单、快速、可靠且廉价的方法来估计器官的局部变形，尤其是在腹腔镜手术期间。

2、该目的通过一种操作医学成像系统以估计器官的局部变形的方法来解决，其中，所述医学成像系统包括处理单元，其中，所述处理单元

3、-接收在第一时间点处捕获的所述器官的第一术中图像数据和在第二时间点处捕获的所述器官的第二术中图像数据，其中，所述第一时间点在所述器官的局部变形运动之前，并且所述第二时间点在所述器官的所述局部变形运动之后，

4、-根据所述第一术中图像数据计算第一术中点云并且根据所述第二术中图像数据计算第二术中点云，其中，所述第一术中点云包括关于表示器官表面的图像点在所述第一时间点处的空间位置的信息，并且其中，所述第二术中点云包括关于表示所述器官表面的所述图像点在所述第二时间点处的空间位置的信息，

5、-将所述第一术中点云中的至少一个图像点及其在所述第二术中点云中的对应点分类为不动点，其中，所述不动点的空间位置在所述第一时间点处和在所述第二时间点处相同，

6、-计算几何特征向量并将其分配给所述第一术中点云和所述第二术中点云中的至少一个不动点，其中，不动点的几何特征向量指示所述不动点与其邻近图像点中的至少一个图像点的至少一种几何关系，

7、-计算至少一个不动点的差向量，其中，所述差向量是所述第一时间点处的几何特征向量与所述第二时间点处的几何特征向量之间的差，

8、-将所述第一术中图像数据中的至少一个图像点设定为邻近移动点，其中，所述邻近移动点位于以所述至少一个不动点为中心的预定义空间中，并且其中，所述邻近移动点的空间位置在所述第一时间点与所述第二时间点之间改变，

9、-根据至少一个不动点的所述差向量来估计所述至少一个邻近移动点的位置变化，并且利用所述位置变化来估计所述器官的局部变形。

10、有利地，利用该方法估计器官的局部变形而不需要附加的成像技术并且不需要器官特定参数的知识，例如其机械刚度。在第一时间点处在局部变形之前捕获第一术中图像数据，并且在第二时间点处在局部变形之后捕获第二术中图像数据。第一术中图像数据和第二术中图像数据都被变换为点云。这允许系统跟踪哪些点改变了它们的空间位置(即，移动点)，哪些点不改变位置(即，不动点)。

11、尤其是，处理单元通过以下方式将第一术中点云和第二术中点云中的图像点分类为不动点：比较两个点云中的图像点的空间位置并将两个点云中具有相同空间位置的那些图像点分类为不动点。相反，未被分类为不动点的图像点被分类为移动点。

12、在本说明书中，如果第二术中点云中的图像点与第一术中点云中的图像点表示器官表面的相同部分，则第二术中图像数据中的该图像点是与第一术中点云中的该图像点的对应点。

13、在对一个或多个不动点进行分类之后，系统将几何特征向量分配给两个点云中的一个或多个不动点。几何特征向量表示图像点与其邻近点的几何关系。所表示的几何关系例如是其表面法线的取向、其表面法线与邻近表面法线之间的角度或到3d空间中邻近点的距离。

14、尤其是，几何特征向量包括与其指示的几何关系的数量相对应的多个向量分量。每个向量分量的值尤其指示对应的几何关系应用于的邻近点的数量。

15、第一图像点的邻近点是位于以第一图像点为中心的预定义空间中的图像点。通过改变预定义空间的大小，可以影响第一图像点的几何特征向量对其周围环境的敏感度。尤其是，预定义空间是具有以不动点为中心的预定义半径的圆或球体。预定义半径的值可以由用户根据情况设定。

16、该方法依赖于这样的事实，即，点云中的点的几何特征向量取决于其邻近点。如果不动点的邻近点中的至少一个邻近点的位置发生变化(即，是移动点)，那么即使是该不动点的几何特征向量也会发生变化。因此，通过确定几何特征向量的变化(即，差向量)，可以估计出邻近移动点的空间位置的变化。以这种方式，可以通过仅检查不动点及其差向量来估计器官的局部变形运动。不必跟踪移动点本身的运动。

17、由于迁移步骤高度标准化，局部变形运动的识别变得更容易。这意味着各个典型的局部变形运动皆会导致不动点的几何特征向量发生特性变化。通过识别几何特征向量的这些特性变化，系统可以容易地推断出局部变形运动。尤其是，通过对器官的变形部分附近的多个不动点的差向量进行整合来估计局部变形运动。

18、根据实施方式，为了估计至少一个邻近移动点的位置变化，处理单元对所述至少一个邻近移动点的空间位置变化进行模拟，直到得到的几何特征向量的变化匹配差向量为止。

19、尤其是，多个不动点被分类、分配几何特征向量并用于估计其邻近移动点中的至少一个邻近移动点(尤其是其所有邻近移动点)的位置变化。根据实施方式，处理单元计算几何特征向量并将其分配给第一术中点云和/或第二术中点云中的每个点。

20、尤其是，差向量是通过从第一时间点处的几何特征向量减去第二时间点处的几何特征向量来计算的，反之亦然。尤其是，计算器官的移动部分附近的多个不动点的差向量，并将其用于估计它们的邻近移动点的位置变化。几何特征向量的变化在器官局部变形部分附近的不动点中将最为显著。因此，优选地选择器官的局部变形部分附近的不动点来估计局部变形运动。

21、几何特征向量和/或差向量可以表示为直方图。差向量的计算和评估因此可以是直方图分析。

22、优选地，为了计算所述第一术中点云和/或所述第二术中点云，将光学和/或电子标记物放置在所述器官表面上，并且利用跟踪系统来确定所述标记物的位置，其中，所述处理单元利用所述标记物的位置来计算所述第一术中点云的图像点的位置和/或所述第二术中点云的图像点的位置。

23、以这种方式，处理单元可以访问第一术中图像数据和第二术中图像数据中的图像点的深度信息。该深度信息用于计算点云。

24、根据实施方式，所述医学图像处理系统包括术中图像采集装置，所述术中图像采集装置记录术中图像数据，尤其是所述第一术中图像数据和/或所述第二术中图像数据，并且将所述术中图像数据传输到所述处理单元，其中尤其是，所述术中图像采集装置是立体图像采集装置，其中，所述立体图像采集装置将所述术中图像数据记录为包括关于其图像点的深度信息的立体术中图像数据，其中，所述深度信息用于计算所述第一术中点云和/或所述第二术中点云。

25、尤其是，术中图像采集装置是腹腔镜或内窥镜。外科医生在手术期间利用术中图像采集装置来捕获图像数据。通过使用立体图像采集装置，可以获取关于图像点的深度信息，该深度信息用于计算点云。

26、优选地，所述处理单元接收在不同时间点处捕获的多个术中图像数据集合，其中，所述处理单元通过比较所述术中图像数据集合来检测所述术中图像数据集合中的所述局部变形运动，其中，所述处理单元将在所述局部变形运动之前捕获的术中图像数据集合分类为所述第一术中图像数据，并且将在所述局部变形运动之后捕获的术中图像数据集合分类为所述第二术中图像数据。

27、由处理单元接收的图像数据可以是由术中图像采集装置捕获的术中图像数据流。从术中图像数据流中，在局部变形运动之前捕获的图像被设定为第一术中图像数据，在局部变形运动之后捕获的图像被设定为第二术中图像数据。尤其是，所有术中图像数据集合是从相同的视点捕获的。换言之，术中图像采集装置在捕获术中图像数据时不以任何方式移动、旋转或倾斜。

28、优选地，所述处理单元利用光流(optical flow)和/或光膨胀(opticalexpansion)来检测所述术中图像数据集合中的所述局部变形运动。

29、利用光流和/或光膨胀方法可以检测术中腹腔镜视图中的移动部分。这些方法在本领域中是已知的并且例如在“g.yang,d.ramanan,upgrading optical flow to 3dscene flow through optical expansion,proceedings of the ieee/cvf conferenceon computer vision and pattern recognition(cvpr),2020,pp.1334-1343”中进行了描述。尤其是，光流和/或光膨胀可以用于将图像点分类为移动点和/或不动点。

30、优选地，所述处理单元接收在不同时间点处捕获的多个术中图像数据集合，其中，所述处理单元接收指示所述局部变形运动完成的时间信号，其中，所述处理单元将在接收到所述时间信号之后捕获的术中图像数据集合分类为所述第二术中图像数据，其中尤其是，所述处理单元将在接收到所述时间信号之前捕获的术中图像数据集合分类为所述第一术中图像数据。

31、可以通过按下按钮来生成时间信号。以这种方式，外科医生可以指示迁移步骤(即，局部变形运动)的完成。以这种方式，时间信号的生成和传输提供了一种快速简单的方式来指示第一时间点和第二时间点。尤其是，处理单元在局部变形运动开始之前接收到第二时间信号，其中处理单元将在接收到第二时间信号之前捕获的术中图像数据集合分类为第一术中图像数据。

32、优选地，利用特征描述符程序(尤其是快速点特征直方图描述符程序)来计算所述几何特征向量并将其分配给所述至少一个不动点。

33、特征描述符程序(也称为特征描述符)计算几何特征向量并将其分配给图像点。尤其是，特征描述符程序是3d点云描述符。3d点云描述符的示例是从“r.b.rusu,n.blodowand m.beetz,fast point feature histograms(fpfh)for 3d registration,2009ieeeinternational conference on robotics and automation”中得知的快速点特征直方图描述符。其他类型的3d点云描述符例如是取向直方图签名(signature of histogram oforientation，shot)描述符或旋转图像(spin image)描述符。不同类型的3d点云描述符的概述可以在“x.f.han,j.s.jin,j.xie,m.j.wang,w.jiang,a comprehensive review of3d point cloud descriptors,arxiv:1802.02297v1[cs.cv]7feb 2018”中找到。

34、根据实施方式，所述至少一个邻近移动点的所述位置变化和/或所述器官的所述局部变形是利用人工神经网络(尤其是深度学习网络)来估计的。

35、人工神经网络利用由典型的局部变形运动产生的特性差向量进行训练。以这种方式，人工神经网络快速可靠地学习识别局部变形运动。人工神经网络的利用极大地简化了估计至少一个邻近移动点的位置变化和/或器官的局部变形的任务。

36、优选地，所述人工神经网络是在识别多个不动点的由所述器官的所述局部变形运动产生的所述差向量的模式方面进行训练的。

37、从这些模式中，人工神经网络推断出局部变形运动。可以通过差向量的直方图分析来获得这些模式。通过分析差向量的模式，将变形建模任务分解为非常适合由人工神经网络解决的模式识别任务。

38、该目的还通过一种利用医学图像处理系统来模拟器官的三维模型的局部变形的方法来解决，其中，所述局部变形是利用根据前述实施方式之一的操作医学成像系统的方法来估计的，其中，所述医学图像处理系统包括存储单元，所述存储单元上存储有所述模型，所述模型是从处于未变形状态下的所述器官的术前图像数据导出的，其中，在估计所述器官的所述局部变形之后，所述处理单元：

39、-利用所述至少一个邻近移动点的位置变化来估计非刚性变换矩阵，其中，所述非刚性变换矩阵在被应用于所述模型时再现了所述器官的所述局部变形运动，

40、-将所述非刚性变换矩阵应用于所述模型，以针对所述器官的所述局部变形来校正所述模型。

41、与先前关于操作医学成像系统的方法所提到的相同或相似的优点适用于模拟三维模型的局部变形的方法。

42、利用模拟三维模型局部变形的方法，可以将术中图像中可见的局部变形应用于该模型，从而可以将该模型覆盖到术中图像上，以利用附加信息对其进行丰富。标准化迁移步骤的使用简化了非刚性变换矩阵的估计，因为局部变形的数量是有限的。尤其是，该模型是根据术前ct和/或mr图像数据计算的。尤其是，该模型是术前点云。

43、优选地，所述模型中的每个图像点与所述第二术中点云中的对应图像点相关，尤其是，所述模型中的每个图像点是通过以下方式与所述第二术中点云中的对应图像点相关的：将几何特征向量分配给所述模型中的图像点和所述第二术中点云中的图像点，并且基于相应的几何特征向量的相似度将所述第二术中点云配准到所述模型。

44、通过将模型中的图像点与第二术中点云中的对应图像点相关，可以容易地将术中点云中估计的局部变形转移到模型。将几何特征向量应用于图像点，尤其是与全局配准算法结合，是在术前模型与一个或多个术中点云之间建立点对应关系的快速有效的方法。

45、优选地，所述非刚性变换矩阵是经由人工神经网络(尤其是深度学习网络)来估计的。

46、尤其是，人工神经网络被训练为直接从至少一个不动点的差向量估计非刚性变换矩阵。在这样做的过程中，人工神经网络还估计了邻近移动点的位置变化和器官的局部变形。换言之，估计邻近移动点的位置变化、器官的局部变形和非刚性变换矩阵的任务是由同一人工神经网络执行的。通过计算非刚性变换矩阵，神经网络同时估计了位置变化和局部变形运动。

47、优选地，人工神经网络是利用这样的数据集来训练的：所述数据集包括对应于所述器官的不同局部变形运动的非刚性变换矩阵和对应于这些局部变形运动的差向量。

48、通过以这种方式训练人工神经网络，其学习识别与不同局部变形运动或迁移步骤相关联的模式。

49、该目的还通过一种医学图像处理系统来解决，所述医学图像处理系统包括处理单元，其中，所述医学图像处理系统被设计和配置为执行根据任何前述实施方式的操作医学成像系统的方法和/或根据任何前述实施方式的模拟器官的三维模型的局部变形的方法。

50、与先前关于模拟三维模型的局部变形的方法和操作医学成像系统的方法所提到的相同或相似的优点适用于医学图像处理系统。

51、该目的还通过一种包括用于根据任何前述实施方式的医学图像处理系统的程序代码装置的软件程序产品来解决，所述软件程序产品包括在所述医学图像处理系统的所述处理单元中执行的控制程序组件，其特征在于，所述控制程序组件被设计成当在所述处理单元中执行时执行根据任何前述实施方式的方法。

52、与先前关于医学图像处理系统、模拟三维模型的局部变形的方法和操作医学成像系统的方法所提到的相同或相似的优点适用于软件程序产品。