断骨复位模拟方法和断骨复位模拟装置与流程

本公开涉及医疗技术领域，尤其涉及断骨复位模拟方法、断骨复位模拟装置、电子设备和计算机可读存储介质。

背景技术：

随着科技水平的发展和对医疗健康领域探索，人们对精准医疗、数字化医疗、个性化医疗的需求越来越高。

在骨科手术领域，医生在术前可以根据患者的mr(磁共振成像)、ct(计算机断层扫描成像)、x光等影像数据分析病情，制定手术方案。但对于骨折这类手术，医生需要观察影像数据并通过想象得出断骨复位后的情况，再制定适当的手术方案，非常地不直观，缺少经验的医生来说具有较大的难度。

技术实现要素：

本公开提供断骨复位模拟方法、断骨复位模拟装置、电子设备和计算机可读存储介质，以解决相关技术中的不足。

根据本公开实施例的第一方面，提供一种断骨复位模拟方法，包括：

在患者的三维图像中确定骨折区域，并将所述骨折区域中的断骨部分分离出来；

在所述三维图像中确定所述患者的骨骼中与所述骨折区域相对称的未骨折区域；

以所述患者的中轴面为对称面对所述未骨折区域做镜像操作，以得到镜像未骨折区域；

对所述断骨部分与所述镜像未骨折区域进行配准以得到模拟复位图像。

可选地，所述方法还包括：

对所述断骨部分进行三维重建以得到断骨部分三维模型，以及对所述镜像未骨折区域进行三维重建以得到未断骨部分三维模型；

其中，所述对所述断骨部分与所述镜像未骨折区域进行配准以得到模拟复位图像包括：

将所述断骨部分三维模型与所述未断骨部分三维模型进行配准。

可选地，所述方法还包括：

记录将所述断骨部分三维模型与所述未断骨部分三维模型进行配准的过程。

可选地，所述方法还包括：

将目标器械的器械三维模型置入所述模拟复位图像中；

调整所述器械三维模型在所述模拟复位图像中的位姿。

可选地，所述方法还包括：

对修复后的断骨在不同位姿拍摄多张x光图像；

根据断骨部分包含断骨的数量，对术前为所述患者拍摄的ct图像进行分割，以得到每部分断骨分别对应的ct图像；

将每部分断骨分别对应的ct图像，与所述多个x光图像进行二维三维配准，将每个配准后的ct图像进行拼接，以得到配准后的三维图像；

对比显示所述模拟复位图像和所述配准后的三维图像。

根据本公开实施例的第二方面，提供一种断骨复位模拟装置，包括：

断骨分离模块，用于在患者的三维图像中确定骨折区域，并将所述骨折区域中的断骨部分分离出来；

对称确定模块，用于在所述三维图像中确定所述患者的骨骼中与所述骨折区域相对称的未骨折区域；

镜像模块，用于以所述患者的中轴面为对称面对所述未骨折区域做镜像操作，以得到镜像未骨折区域；

第一配准模块，用于对所述断骨部分与所述镜像未骨折区域进行配准以得到模拟复位图像。

可选地，所述装置还包括：

第一重建模块，用于对所述断骨部分进行三维重建以得到断骨部分三维模型，以及对所述镜像未骨折区域进行三维重建以得到未断骨部分三维模型；

其中，所述镜像模块，用于将所述断骨部分三维模型与所述未断骨部分三维模型进行配准。

可选地，所述装置还包括：

记录模块，用于记录将所述断骨部分三维模型与所述未断骨部分三维模型进行配准的过程。

可选地，所述装置还包括：

器械置入模块，用于将目标器械的器械三维模型置入所述模拟复位图像中；

器械调整模块，被配置为调整所述器械三维模型在所述模拟复位图像中的位姿。

可选地，所述装置还包括：

拍摄模块，用于对对修复后的断骨在不同位姿拍摄多张x光图像；

图像分割模块，用于根据断骨部分包含断骨的数量，对术前为所述患者拍摄的ct图像进行分割，以得到每部分断骨分别对应的ct图像；

第二配准模块，用于将每部分断骨分别对应的ct图像，与所述多个x光图像进行二维三维配准，将每个配准后的ct图像进行拼接，以得到配准后的三维图像；

对比显示模块，用于对比显示所述模拟复位图像和所述配准后的三维图像。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现上述任一实施例所述的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例所述的方法中的步骤。

根据本公开的实施例，能够快速且准确地得出模拟复位图像，以便医生在术前直观的观察对骨折区域修复后的情况，从而无需医生依靠人工想象骨折区域术后的情况，便于医生在术前观察预测术中和术后可能的情况。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开的实施例示出的一种断骨复位模拟方法的示意流程图。

图2是根据本公开的实施例示出的另一种断骨复位模拟方法的示意流程图。

图3是根据本公开的实施例示出的又一种断骨复位模拟方法的示意流程图。

图4是根据本公开的实施例示出的又一种断骨复位模拟方法的示意流程图。

图5是根据本公开的实施例示出的又一种断骨复位模拟方法的示意流程图。

图6是根据本公开的实施例示出的一种断骨复位模拟装置的示意框图。

图7是根据本公开的实施例示出的另一种断骨复位模拟装置的示意框图。

图8是根据本公开的实施例示出的又一种断骨复位模拟装置的示意框图。

图9是根据本公开的实施例示出的又一种断骨复位模拟装置的示意框图。

图10是根据本公开的实施例示出的又一种断骨复位模拟装置的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据本公开的实施例示出的一种断骨复位模拟方法的示意流程图。如图1所示，所述断骨复位模拟方法可以包括以下步骤：

步骤s101，在患者的三维图像中确定骨折区域，并将所述骨折区域中的断骨部分分离出来；

步骤s102，在所述三维图像中确定所述患者的骨骼中与所述骨折区域相对称的未骨折区域；

步骤s103，以所述患者的中轴面为对称面对所述未骨折区域做镜像操作，以得到镜像未骨折区域；

步骤s104，对所述断骨部分与所述镜像未骨折区域进行配准以得到模拟复位图像。

需要说明的是，模拟复位图像可以只包括配准后的断骨部分，而不包括镜像未骨折区，镜像未骨折区主要是作为配准过程的参考依据。

在一个实施例中，所述三维图像包括但不限于ct图像、mr图像，以下主要以ct图像为例，对本公开的技术方案进行示例性说明。

在一个实施例中，步骤s101至步骤s104可以在术前执行。

首先可以对患者骨折进行拍摄，例如拍摄得到患者的ct图像，基于ct图像可以进行三维重建，以得到所述三维图像，进而可以在三维图像中确定骨折区域，例如患者左腿小腿胫骨骨折，那么确定的骨折区域就是左腿小腿胫骨，然后将骨折区域中的断骨部分分离出来。

其中，确定骨折区域和分离断骨部分的操作，可以由人工在图像中进行手动操作完成，也可以基于算法自动完成，例如自动分割算法包含区域生长法，水平集，基于神经网络的分割算法等。

需要说明的是，基于骨折区域的不同，分离出的断骨部分具体可以包括两个部分，或者包括三个部分。例如骨折区域是骨头的末端，那么断骨部分具体可以包括两部分，一部分是断骨原本(也即骨折前)连接的非断骨，另一部分是断骨；例如骨折区域是骨头的中段，那么断骨部分可以三部分，第一部分似乎断骨一端原本连接的非断骨，第二部分是断骨，第三部分是断骨另一端原本连接的非断骨。

然后可以在三维图像中确定患者的骨骼中与所述骨折区域相对称的未骨折区域，例如患者左腿小腿胫骨骨折，那么确定的未骨折区域就是患者右腿小腿胫骨。其中，确定未骨折区域的操作可以由人工手动操作确定，也可以基于算法自动完成。

需要说明的是，本实施例主要适用的情况是存在所述未骨折区域的情况，如果骨折区域相对称的区域也骨折了，那么本实施需要采用其他方式确定未骨折区域。

在确定未骨折区域后，可以以所述患者的中轴面为对称面对所述未骨折区域做镜像操作，以得到镜像未骨折区域，例如将上述未骨折的右腿小腿胫骨镜像到左腿骨折区域，那么得到的镜像未骨折区域中的结构，与骨折区域骨折之前的结构是基本相同。

进而可以对所述断骨部分与所述镜像未骨折区域进行配准以得到模拟复位图像。由于未骨折区域是三维图像，断骨部分也是三维图像，因此可以基于三维图像的自动配准算法，将断骨部分与镜像未骨折区域进行配准，例如确定出断骨部分的表面曲率，以及镜像未骨折区域中骨头的表面曲率，然后将曲率(配准除了可以考虑曲率，还可以考虑其他因素)相同的部分进行配准，可以将绝大部分断骨部分，配准到未骨折区域中骨头上。

例如将未骨折的右腿小腿胫骨镜像到左腿骨折区域后，可以将左腿骨折的小腿胫骨与镜像后的右腿小腿胫骨进行配准，实现的效果是将断裂、散落的左腿小腿胫骨，复位拟合到镜像后的右腿小腿胫骨，从而呈现出对左腿小腿胫骨修复后的模拟复位图像，能够快速且准确地得出模拟复位图像，以便医生在术前直观的观察对骨折区域修复后的情况，从而无需医生依靠人工想象骨折区域术后的情况，便于医生在术前观察预测术中和术后可能的情况。

图2是根据本公开的实施例示出的另一种断骨复位模拟方法的示意流程图。如图2所示，所述方法还包括：

步骤s105，对所述断骨部分进行三维重建以得到断骨部分三维模型，以及对所述镜像未骨折区域进行三维重建以得到未断骨部分三维模型；

其中，所述对所述断骨部分与所述镜像未骨折区域进行配准以得到模拟复位图像包括：

步骤s1041，将所述断骨部分三维模型与所述未断骨部分三维模型进行配准。

在一个实施例中，可以对所述断骨部分进行三维重建以得到断骨部分三维模型，以及对所述镜像未骨折区域进行三维重建以得到未断骨部分三维模型，例如可以基于交互式医学图像控制系统mimics进行三维重建。由于重建后得到的三维模型，包括三维信息，便于后续基于三维信息，例如三维模型表面的曲率，将所述断骨部分三维模型与所述未断骨部分三维模型进行配准。

图3是根据本公开的实施例示出的又一种断骨复位模拟方法的示意流程图。如图3所示，所述方法还包括：

步骤s106，记录将所述断骨部分三维模型与所述未断骨部分三维模型进行配准的过程。

在一个实施例中，由于骨折部分一般存在多块断骨，并且不同断骨在配准过程中所需进行的旋转、位移等操作可以有所不同，因此在对断骨部分三维模型与所述未断骨部分三维模型进行配准时，可以记录将所述断骨部分三维模型与所述未断骨部分三维模型进行配准的过程，以便动态演示(例如以三维动画的方式展示)断骨部分配准到未骨折部分的过程，便于医生直观地观察每块断骨可以通过何种旋转、位移等操作进行修复，从而为后续手术的规划提供参考，还可以及时发现修复过程中可能出现的问题，以便提前进行规划避免问题。

还可以将记录的内容展示给患者，以便为患者讲解修复断骨的过程，消除患者和患者家属的疑惑和紧张感。还通过展示所记录的内容进行教学。

图4是根据本公开的实施例示出的又一种断骨复位模拟方法的示意流程图。如图4所示，所述方法还包括：

步骤s107，将目标器械的器械三维模型置入所述模拟复位图像中；

步骤s108，调整所述器械三维模型在所述模拟复位图像中的位姿(位置和姿态)。

在一个实施例中，目标器械包括但不限于螺钉、钢板等可以在修复断骨过程中，用于置入患者体内和/或设置在患者体外以协助修复的器械。

可以根据用户(例如医生)的操作将目标器械的器械三维模型置入所述模拟复位图像中，进而根据需要调整所述器械三维模型在所述模拟复位图像中的位姿，以供医生直观地观看通过器械辅助修复断骨的情况，便于医生后续进行手术时，根据置入了器械三维模型的模拟复位图像确定如何在手术过程中置入器械，以协助修复断骨。

图5是根据本公开的实施例示出的又一种断骨复位模拟方法的示意流程图。如图5所示，所述方法还包括：

步骤s109，对修复后的断骨在不同位姿拍摄多张x光图像；

步骤s110，根据断骨部分包含断骨的数量，对术前为所述患者拍摄的ct图像进行分割，以得到每部分断骨分别对应的ct图像；

步骤s111，将每部分断骨分别对应的ct图像，与所述多个x光图像进行二维三维配准，将每个配准后的ct图像进行拼接，以得到配准后的三维图像；

步骤s112，对比显示所述模拟复位图像和所述配准后的三维图像。

在一个实施例中，步骤s109至步骤s112可以在术后执行。

在为患者修复断骨的术前，可以为患者拍摄ct图像，然后可以根据断骨部分所包含断骨的数量对ct图像进行分割(例如基于神经网络的分割算法进行分割)，以得到每部分断骨分别对应的ct图像。例如存在三部分断骨，第一部分、第二部分和第三部分，那么根据上述操作可以得到第一部分断骨的第一ct图像，第二部分断骨的第二ct图像，第三部分断骨的第三ct图像。

在为患者修复断骨后，可以对修复后的断骨在不同位姿拍摄多张x光图像，然后对术前为所述患者拍摄的ct图像与所述多个x光图像进行二维三维配准，从而得到转换关系，例如4×4的矩阵，进而根据转换关系对ct图像对应的三维图像进行转换，以得到配准后的三维图像。

对于多个断骨的ct图像而言，需要进行多次配准，以得到多个转换关系，再根据每个转换关系分别对相应的ct图像对应的三维图像进行转换，得到多个转换后的局部三维图像，再将多个局部三维图像拼接起来，得到配准后的三维图像。

例如对于上述第一ct图像、第二ct图像和第三ct图像，可以将第一ct图像与多个x光图像进行二维三维配准，以得到第一转换关系，将第二ct图像与多个x光图像进行二维三维配准，以得到第二转换关系，将第三ct图像与多个x光图像进行二维三维配准，以得到第三转换关系。

然后据第一转换关系对第一ct图像对应的三维图像进行转换，得到第一局部三维图像，据第二转换关系对第二ct图像对应的三维图像进行转换，得到第二局部三维图像，据第三转换关系对第三ct图像对应的三维图像进行转换，得到第三局部三维图像，再将得到的三个局部三维图像拼接起来，得到配准后的三维图像。

最后对比显示所述模拟复位图像和所述配准后的三维图像，例如可以将配准后的三维图像和模拟复位图像重叠显示，以供医生在术后进行对比。

由于模拟复位图像是术前模拟得到的断骨修复后的三维模型，而所述配准后的三维图像可以视作术后实际对断骨修复后的三维模型，将通过对比显示模拟复位图像和所述配准后的三维图像，便于医生确定术后对断骨的实际修复情况，与术前模拟修复断骨的情况之间的差异。

在一个实施例中，对所述多张x光图像和所述ct图像进行二维三维配准的过程，可以包括以下步骤：

通过采集设备在n个位姿下分别对目标物体进行拍摄，以得到n张x光图像，其中，n为大于1的整数；

确定所述n张x光图像中每张x光图像，分别相对于所述n张x光图像中参考图像的n个空间关系；

根据待定转换关系和所述n个空间关系，确定n个中间转换关系；

通过所述n个中间转换关系分别对预先为所述目标物体拍摄的ct图像进行转换，以得到n张数字重建放射影像drr；

确定所述n张drr与所述n张x光图像的目标相似性函数；

通过优化算法调整所述待定转换关系，直至所述目标相似性函数达到最大值；

输出调整后的所述待定转换关系。

根据本公开的实施例，通过拍摄n张x光图像，可以确定n个空间关系，然后可以通过n个空间关系对待定转换关系先进行转换，得到n个中间转换关系，进而通过n个中间转换关系分别对ct图像进行转换，得到n张drr。从而确定的相似性函数，是n张drr与n张x光图像的目标相似性函数，而由于n张drr图像是基于n个中间转换关系得到的，n个中间转换关系又是基于n个空间关系得到的，所以n个空间关系在通过优化算法调整的待定转换关系的过程中，充当了约束条件。

相对于传统的配准方式，无创，并且将n个空间关系作为约束条件，有利于确保输出的待定转换关系更为合理，确保根据输出的待定转换关系对ct图像进行转换得到的drr图像，可以与x光图像准确配准。

与上述断骨复位模拟方法的实施例相对应地，本公开还提出了断骨复位模拟装置的实施例。

图6是根据本公开的实施例示出的一种断骨复位模拟装置的示意框图。如图6所示，所述装置包括：

断骨分离模块101，用于在患者的三维图像中确定骨折区域，并将所述骨折区域中的断骨部分分离出来；

对称确定模块102，用于在所述三维图像中确定所述患者的骨骼中与所述骨折区域相对称的未骨折区域；

镜像模块103，用于以所述患者的中轴面为对称面对所述未骨折区域做镜像操作，以得到镜像未骨折区域；

第一配准模块104，用于对所述断骨部分与所述镜像未骨折区域进行配准以得到模拟复位图像。

图7是根据本公开的实施例示出的另一种断骨复位模拟装置的示意框图。如图7所示，所述装置还包括：

第一重建模块105，用于对所述断骨部分进行三维重建以得到断骨部分三维模型，以及对所述镜像未骨折区域进行三维重建以得到未断骨部分三维模型；

其中，所述镜像模块103，用于将所述断骨部分三维模型与所述未断骨部分三维模型进行配准。

图8是根据本公开的实施例示出的又一种断骨复位模拟装置的示意框图。如图8所示，所述装置还包括：

记录模块106，用于记录将所述断骨部分三维模型与所述未断骨部分三维模型进行配准的过程。

图9是根据本公开的实施例示出的又一种断骨复位模拟装置的示意框图。如图9所示，所述装置还包括：

器械置入模块107，用于将目标器械的器械三维模型置入所述模拟复位图像中；

器械调整模块108，被配置为调整所述器械三维模型在所述模拟复位图像中的位姿。

图10是根据本公开的实施例示出的又一种断骨复位模拟装置的示意框图。如图10所示，所述装置还包括：

拍摄模块109，用于对修复后的断骨在不同位姿拍摄多张x光图像；

图像分割模块110，用于根据断骨部分包含断骨的数量，对术前为所述患者拍摄的ct图像进行分割，以得到每部分断骨分别对应的ct图像；

第二配准模块111，用于将每部分断骨分别对应的ct图像，与所述多个x光图像进行二维三维配准，将每个配准后的ct图像进行拼接，以得到配准后的三维图像；

对比显示模块112，用于对比显示所述模拟复位图像和所述配准后的三维图像。

本公开还提出了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现上述任一实施例所述的方法。

本公开还提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例所述方法中的步骤。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。