用于对关节进行建模的方法与流程

本发明提供了一种用于对关节进行建模的计算机实施的方法、一种数据处理系统、一种包括数据处理系统的系统、一种计算机程序产品以及一种计算机可读介质。

背景技术：

1、在医学图像分析和处理方面的许多最新发展需要动态解剖模型，也被称为铰接模型，例如，其表示诸如关节的屈曲或胸部的吸气/呼气的姿势。

2、例如，3d关节模型可以用于质量评估、为诊断进行准备和/或处置规划。具体地，某些诊断问题需要特定的图像采集，由此关节屈曲在特定的范围内，这是因为偏离这种屈曲可能导致诊断感兴趣的某些解剖特征在投影图像内被掩盖。

3、铰接模型可以用于仅基于图像数据来评价对象的定位，并且一旦将其拟合到可用数据，也允许判断关节动力学和移动范围的(不)正常性。

4、在广泛的患者群体上建立那些铰接模型是繁琐且耗时的。

5、此外，建立铰接模型需要使用成像模态，例如使用电离辐射，其可能对患者有害。因此，在常规成像会话之外的自愿扫描，如对患者的常规检查，可能根本没有足够的数量可用，并且还构成了伦理问题。

6、常规的成像会话，如对患者的常规检查，通常不允许显著的工作流程改变，特别是在它们耗时的情况下，例如，使用用于成像会话的成像模态对处于多种姿势的关节进行成像。临床工作流程通常不允许增加减慢常规调度和吞吐量的步骤，例如在检查期间对不同的姿势执行专用测量。例如，在不同姿势处对针对由工作流程的成像模态获得的多幅图像的屈曲进行外部测量并将其记录下来以连同图像存储，以便根据屈曲角进行共配准和排序，并在此基础上建立模型难以并入常规工作流程。

7、因此，可能很难建立具有足够精度的完整模型。

技术实现思路

1、本发明的目的是允许改进对关节的建模。

2、根据独立权利要求，本发明提供一种用于对关节进行建模的方法、一种数据处理系统、一种包括数据处理系统的系统、一种计算机程序产品和一种计算机可读介质。

3、根据本公开的一种用于对关节进行建模的方法包括：借助于自动姿势提取方法来处理处于第一姿势的身体部分的第一3d表面图像数据，以便获得表示所述第一姿势的第一铰接参数，其中，所述身体部分包括由关节连接的第一解剖结构和第二解剖结构。

4、根据本公开的用于对关节进行建模的方法还包括：执行在所述身体部分的第一医学图像数据与处于第二姿势的所述身体部分的第二医学图像数据之间的图像配准，所述第一医学图像数据是与所述第一3d表面图像数据同时采集的，并且描绘所述第一解剖结构和所述第二解剖结构。针对第一解剖结构和第二解剖结构中的每个分别执行图像配准。

5、根据本公开的用于对关节进行建模的方法还包括确定变换数据，所述变换数据表示将第一医学图像数据中的第一解剖结构配准到第二医学图像数据中的第一解剖结构所需的一个或多个第一变换和/或将第一医学图像数据中的第二解剖结构配准到第二医学图像数据中的第二解剖结构所需的一个或多个第二变换。

6、根据本公开的用于对关节进行建模的方法还包括：至少基于变换数据、第一铰接参数和表示第二姿势的第二铰接参数来创建和/或更新统计铰接关节模型。

7、换句话说，可以通过以下方式来解决已知方法的限制：依赖于提供深度信息的额外的传感器数据(除来自成像模态以外的数据)(例如来自表面扫描器或测距相机或其他3d相机系统，例如rgbd相机)，以记录在利用成像模态的检查期间的姿势信息。这使得能够将姿势与来自在常规工作流程中获得的成像模态的图像相关。基于该相关，可以在放射科的标准工作流程内建立铰接模型。

8、具体地，本公开的方法允许采集任意姿势，而不需要额外记录信息。例如，不需要用户观察针对给定的采集的关节的铰接姿势，并且姿势数据不必由放射科医师手动测量/跟踪。当使用测量设备测量姿势参数会成为成像模态的负担时，例如由于在ct膛内的空间限制，或由于在mri扫描器中不能使用金属，这尤其有用。

9、因此，由于所提出的方法不需要中断成像工作流程，因此它允许将来自临床常规工作流程的图像包括到用于建立铰接模型的数据中。因此，大型和多样化的数据集可以用于建立模型。

10、作为一个示例，本公开能够用于铰接关节模型的发展，其中，模型是使用对关节的mr扫描来创建的，其中，关节已被预先定位于一个或多个已知的姿势或铰接。

11、铰接模型的潜在应用是骨骼x射线图像质量评估。

12、根据以上能够看出，权利要求需要创建和/或更新铰接模型。例如，所述方法需要使用可能是经验的、半经验的或理论的任何铰接模型作为起点，并且应用本公开的步骤，特别是针对一个或多个对象和/或相同对象或不同对象的一个或多个成像会话重复进行，以改进模型。改进模型可能涉及不同的方面。例如，模型可能变得不那么通用，且更接近地表示现实，特别是在大范围对象上具有统计性的。此外，可以改善模型的精度，例如，通过允许有意义地增加数据集的大小。此外，模型的范围可以相对于极端姿势朝向移动谱末端(例如，表示非常强屈曲的姿势和/或表示关节过伸的姿势)扩展。

13、在本公开中，除了对现有技术的描述外，为了可读性的目的，将术语“关节模型”与术语“统计铰接关节模型”同义地使用。

14、关节是可移动地连接身体中的骨骼的连接。

15、例如，身体部分可以是手臂、手腕、肩膀、脚踝、腿部、臀部、脚部、手部或身体中包括关节的任何其他部分。

16、在本公开中，术语“解剖结构”是指身体的表面下部分。例如，解剖结构可以是骨骼、肌肉、软骨、韧带等。应当注意，不同的解剖结构可能有不同程度的刚性，使得某些解剖结构的移动可能比其他解剖结构的移动具有更多的自由度。例如，骨骼本质上是刚性的和不可压缩的，使得其移动通常可以由平移和旋转来表示。肌肉或软骨可能有弹性变形，例如，加长、收缩或压缩，因此它们的移动也可能包括(特别是弹性的)变形和擦伤。

17、姿势是一组解剖结构的某种相对布置。例如，姿势可以由两个骨骼的相对布置来定义，例如，描述它们在一个或多个自由度中的相对布置的一个或多个角度。

18、姿势可以由铰接参数来表示。铰接参数可以是解剖结构的相对布置的任何参数化。例如，铰接参数可以包括屈曲角。

19、应当理解，第一姿势和第二姿势是不同的，例如，它们在至少一个铰接参数上有所不同。例如，第一姿势和第二姿势的不同之处可能在于它们具有不同的屈曲角。

20、自动姿势提取可以是本领域已知的任何方法，例如从游戏应用，其基于3d表面图像数据来确定身体部分的姿势。3d信息允许解决以其他方式可能无法解决的方向性歧义。

21、应当注意，根据权利要求1，使用了表示第二姿势的第二铰接参数。第二铰接参数可以是从使用自动姿势提取获得的身体部分的第二3d表面图像数据中导出的数据。备选地，第二铰接参数可以是从第二医学图像数据和/或使用不同的成像模态获得的图像数据和/或通过直接姿势测量获得的图像数据中导出的铰接参数。

22、3d表面图像数据是提供深度信息的数据。例如，可以例如通过3d表面扫描器、立体相机和/或rgbd相机获得3d表面图像数据。

23、在本公开中，医学图像数据是指描绘身体的表面下结构的图像数据，例如，使用电离辐射获得的图像数据。例如，医学图像数据可以包括ct图像数据、mri数据或x射线图像数据。医学图像数据可以包括2d和/或3d图像数据。3d图像数据提供被成像结构的深度信息。例如，2d图像数据可以描绘被成像结构的投影。

24、根据本公开，同时采集第一3d表面图像数据和第一医学图像数据。这可能包括，在成像会话期间，在包括采集第一医学图像数据的一个或多个时间的时间段内连续采集第一3d表面图像数据。如果不存在对应的医学图像数据，例如，当它是在捕获医学图像之间的时间内获得时，也可以采用3d表面图像数据(特别是，来自所述时间段的3d表面图像数据)来建立模型。例如，这种图像数据可用于提高自动姿势提取准确度或用于在建立关节模型时提高精度，例如，通过从表面图像数据推断解剖结构的关键点，如下面进一步详细解释的，或通过帮助消除歧义。

25、图像配准可以使用本领域已知的配准方法来执行，包括：2d/3d配准，其中，2d图像数据与3d图像数据和/或网格配准；以及3d/3d配准，其中，3d图像数据与3d图像数据和/或网格配准。

26、根据本公开，对每个解剖结构分别执行图像配准。这意味着，第一解剖结构和第二解剖结构是独立配准的。尽管如此，仍可以对第一解剖结构和第二解剖结构并行地执行图像配准。

27、根据本公开的变换可以包括旋转和/或平移。此外，变换可以包括变形和缩放，例如，在解剖结构是非刚性和/或可压缩的情况下。

28、铰接关节模型可以是表示关节(特别是关节的解剖结构)在不同铰接之间的移动的模型。

29、铰接关节模型可以是：2d模型，其对投影中的关节进行建模；或，3d模型，其具有关节的深度信息(特别是解剖结构的深度信息)。为了完整起见，即使铰接关节模型是2d模型，创建和/或更新模型的过程也涉及到一些种类的3d数据，以允许避免歧义。

30、统计模型表示从多个成像会话中获得(特别是一个以上的对象)的数据。作为示例，可以针对多个对象对相同关节进行成像，并且可以建立模型，以便平均不同对象之间的差异，例如，尺寸和形状的差异、解剖结构的对齐的差异等。所述统计模型还可以选择性地基于来自共享某些特性的多个对象的数据，如下面将详细描述的。

31、创建统计铰接关节模型可能需要从不存在整体关节的模型开始，例如从第一解剖结构和第二解剖结构的个体模型开始，和/或从关节的刚性模型和/或(铰接或非铰接)关节的非统计模型开始，以获得统计铰接关节模型。

32、更新统计铰接关节模型可以包括修改统计铰接关节模型的当前版本，以考虑额外的信息，特别是考虑变换数据、第一铰接参数和表示第二姿势的第二铰接参数。

33、因此，基于变换数据、第一铰接参数和表示第二姿势的第二铰接参数来创建和/或更新统计铰接关节模型可以被视为考虑所述数据和参数以对关节进行建模，任选地连同用于对关节进行建模的已有数据一起。

34、根据本公开，统计铰接关节模型可以基于变换数据、第一铰接参数和第二铰接参数，其来自在对象的多个成像会话中采集的图像数据和/或来自多个对象中的每个对象的一个或多个成像会话。

35、成像会话可以是常规检查，并且特别地可以不包括改变常规工作流程，特别是可以不包括采集作为常规检查的部分的医学图像数据之外的医学图像数据，并且可以不包括执行对姿势的人工测量。通过允许组合来自相同或不同对象的不同成像会话的数据，可以执行大数据集，并相应地执行准确的统计，从而允许更准确的模型。

36、备选地或额外地，根据本公开，创建和/或更新统计铰接关节模型可以包括确定随机选择的群体子集上的均值和/或确定共享关节的未对齐的类型的群体子集上的均值。

37、当使用从多个(特别是随机选择的)对象中采集的数据时，可以提供平均对象特异性特性的统计模型。

38、当仅针对统计模型使用针对共享未对齐的类型的群体子集采集的数据时，这可以允许确定与未对齐相关联的关节的特性。这可以有助于更好地解决由未对齐所带来的需要，并且与仅单个对象相比，仍然具有大数据集。

39、根据本公开，统计铰接关节模型可以是3d模型。例如，可以提供关节的每个解剖结构的3d表面，特别是在模型的整个范围内。这允许对解剖结构及其相互作用进行特别详细的研究。

40、本公开的方法可以包括：针对包括第一姿势p1和第二姿势p2的多个姿势中的每个，创建星群模型c(φ0,…,φn)，以便获得多个星群模型，所述星群模型将所述第一解剖结构的布置和所述第二解剖结构的布置表示为表示相应姿势的铰接参数的函数，特别是表示为所述关节的屈曲角的函数。星群模型如此可以用作用于创建和/或更新统计铰接关节模型的输入数据。所述布置可以相对于任何合适的公共参考来确定。

41、根据本公开，创建和/或更新统计铰接关节模型可以基于多个星群模型，特别是，可以包括组合多个星群模型。例如，星群模型可以用于对图像空间中的医学图像进行排序，以创建关节模型。此外，星群模型可以连同插值一起使用，以便获得包括没有图像数据可用的姿势的铰接模型。

42、根据本公开，图像配准可以包括应用配准算法，其配准图像数据，例如基于图像数据中的界标和/或通过分割算法获得的网格，例如基于网格的一个或多个顶点。具体地，本公开的所述方法可以包括：在图像配准之前，应用分割算法分割第一解剖结构和/或第二解剖结构以获得网格。可以应用任何已知的分割和/或图像配准方法。可以采用解剖图谱数据。

43、本公开的所述方法可以包括使用第一铰接参数和第二铰接参数来进行预配准。

44、例如，第一铰接参数和第二铰接参数可以用于在实施图像配准算法之前执行与解剖结构大致匹配的变换。这会减少图像配准所需的资源，并且还会解决图像配准无法解决的歧义。

45、根据本公开，第一解剖结构可以用作参考解剖结构，并且统计铰接关节模型可以表示第二解剖结构相对于第一解剖结构的布置。

46、例如，可以相对于参考解剖结构来表达屈曲角。参考解剖结构可以是关节的一个或多个骨骼中的一个。

47、根据本公开，统计铰接关节模型可以是表示一个或多个选定的移动类型的模型，并且所述方法可以包括：对表示所述一个或多个选定的移动类型的一个或多个选定的姿势(特别是对一个或多个选定的铰接参数)的数据进行滤波，使得仅表示一个或多个选定的移动类型的数据用于创建和/或更新统计铰接关节模型。

48、表示(一个或多个)选定的移动类型的铰接关节模型有利于对关节的详细表征。其还可以减少仅一种移动类型与给定应用相关的不必要的复杂性。

49、例如，移动类型可以是仅在第一平面中的旋转和/或弯曲，或仅在第二平面中的弯曲。移动可以由作为移动的部分的姿势的集合来表示。例如，移动类型可以仅由关节的所有可能姿势的子集来表示。例如，移动类型可以仅由在一个方向上具有相同的屈曲角而在另一方向上屈曲角不同的姿势来表示。因此，表示选定的移动类型的铰接参数可以是与表示选定的移动类型的选定的姿势对应的铰接参数。

50、对选定的姿势的数据进行滤波可能需要仅将对应于选定的姿势的数据(例如，图像数据和/或网格)用作用于创建铰接关节模型的输入。

51、本公开的方法可以包括：从身体部分的3d表面图像数据推断的关键点的逐解剖结构配准，以将第一解剖结构和/或第二解剖结构的参考分割从第一姿势p1变换到第三姿势p3；以及，基于第三姿势p3的铰接参数和经变换的参考分割和/或对应的变换数据来创建和/或更新统计铰接关节模型。

52、作为示例，骨骼或其他解剖结构可能会对对象的表面具有影响，例如，可以通过皮肤和/或组织可辨别。例如，可能会在表面上形成突起。在表面图像数据中可以检测到在表面上可辨别解剖结构所在的点。然后，检测到的点的位置可以允许估计解剖结构的一个或多个关键点(例如在网格上)所在位置，具体地，基于任选地由一般解剖数据补充的给定姿势中的3d图像数据和医学图像数据。在此基础上，对于不存在可用医学图像数据的其他姿势，在3d图像数据中检测在表面上可辨别解剖结构所在的点允许推断出关键点的位置。在此基础上，可以确定关键点从一个姿势到另一姿势的变换，并且也可以基于关键点的变换对网格进行变换。因此，即使对于仅表面图像数据可用的姿势，也可以获得解剖结构的额外数据。下面更详细地描述示例。

53、本公开的方法可以包括在身体部分的第一3d表面图像数据中，确定与第一医学图像数据中的第一解剖结构和/或第二解剖结构的关键点相对应的第一3d表面图像数据中的身体部分的表面的一个或多个关键点。

54、表面的关键点可以是对象的表面上的点，其中，解剖结构的部分是可辨别的，例如，通过在表面上创建突起。解剖结构的对应的关键点可以是解剖结构的部分的表面的点，其在表面上是可辨别的，例如其形成突起。

55、本公开的所述方法还可以包括：例如借助于第一解剖结构的参考分割/所述参考分割和/或第二解剖结构的参考分割/所述参考分割，确定身体部分的表面的一个或多个关键点中的每个关键点的位置，以及第一姿势p1中的第一解剖结构和/或第二解剖结构的一个或多个关键点中的每个关键点的位置。

56、本公开的所述方法还可以包括：处理被布置处于第三姿势p3的身体部分的第三3d表面图像数据，以识别第三姿势p3中的身体部分的表面中的一个或多个关键点的位置。应当理解，第三姿势可以不同于第二姿势，且不同于第一姿势。

57、本公开的所述方法还可以包括：基于处于第三姿势p3的身体部分的表面的一个或多个关键点中的每个关键点的位置、处于第一姿势p1的身体部分的表面的一个或多个关键点中的每个关键点的位置、以及处于第一姿势p1的第一解剖结构和/或第二解剖结构的一个或多个关键点中的每个关键点的位置，确定处于第三姿势p3的第一解剖结构和/或第二解剖结构的对应的关键点中的每个关键点的位置。

58、本公开的所述方法还可以包括：确定关键点变换数据，所述关键点变换数据表示将处于第一姿势p1的第一解剖结构和/或第二解剖结构的一个或多个关键点中的每个关键点与处于第三姿势p3的第一解剖结构和/或第二解剖结构的关键点中的每个关键点相匹配所需的一个或多个第三变换。

59、本公开的所述方法还可以包括：基于关键点变换数据和表示第三姿势p3的第三铰接参数来创建和/或更新统计铰接关节模型。

60、因此，对于不存在可用医学图像数据的姿势(例如，第三姿势)的表面图像数据可以用作铰接模型的输入。这允许针对模型的甚至更广泛的输入数据集，这也提高了模型的准确度。

61、本公开的所述方法可以包括以下步骤：在从第一姿势p1变换到第三姿势p3时，检查第一解剖结构的参考分割和第二解剖结构的参考分割的潜在冲突，并相应地限制解剖结构的移动。

62、这允许避免外推错误和/或其他建模错误。具体地，在真实的解剖结构不发生冲突的情况下，表示冲突的铰接模型的部分将是不准确的，并且因此可以被丢弃。

63、本公开的所述方法可以包括同时采集第一3d表面图像数据和第一医学图像数据。即，所述方法可包括用于创建和/或更新模型的数据的数据采集的步骤。这可以通过相应的3d表面成像手段和医学成像手段来完成，例如，如上所述。

64、本发明还提供了一种数据处理系统来执行和/或控制本公开的方法步骤中的任一个。具体地，所述数据处理系统可以被配置为，例如通过控制被配置为采集3d表面图像数据的3d表面成像系统和/或被配置为采集医学图像数据的成像系统，执行本公开的计算步骤中的一个或多个和具体地全部，和/或控制采集3d表面图像数据和/或医学图像数据。

65、具体地，所述数据处理系统可以包括一个或多个处理器，特别是一个或多个计算设备和/或包括所述一个或多个处理器的计算设备的分布式网络，并且所述一个或多个处理器可以被配置为执行和/或控制本公开的方法的步骤。

66、本发明还提供了一种系统，包括本公开的数据处理系统，并且还包括3d表面成像系统，所述3d表面成像系统被配置为采集3d表面图像数据，所述3d表面图像数据包括第一3d表面图像数据和/或第二3d表面图像数据和/或第三3d表面图像数据。所述系统还包括成像系统，所述成像系统被配置为采集医学图像数据(包括第一医学图像数据和/或第二医学图像数据)，特别是ct成像系统和/或mrt成像系统和/或x射线成像系统。所述系统可以被配置为执行本公开的方法中的任一种。

67、本发明还提供了一种包括指令的计算机程序产品，当程序由计算机执行时，所述指令使计算机执行和/或控制本公开中描述的任何方法步骤。

68、本发明还提供一种包括指令的计算机可读介质，所述指令当由计算机执行时，使计算机执行和/或控制本公开中描述的方法步骤中的任一项。

69、本公开还提供了统计铰接关节模型的使用，其用于以下中的至少一项：测量数据的质量保证，正确放置/布置对象，正确测量对象，激励医学成像装置和/或将其可视化，检查对象特异性铰接、偏差和限制。

70、在用于对关节进行建模的方法的背景下概述的特征和优点同样适用于数据处理系统，所述系统包括本公开的数据处理系统、计算机程序产品和计算机可读介质。

71、另外的特征、示例和优势将从参考附图的详细描述中将变得显而易见。