超声三维重建的方法及装置与流程

本发明涉及基于超声引导的手术导航技术领域，更具体地，涉及一种超声三维重建的方法及装置。

背景技术：

随着微创外科和精准医学的迅速发展，基于图像的外科手术导航系统逐渐成为外科手术主流，其主要是把患者术前的医学图像资料(CT、MRI、DSA和PET多模态数据)与术中器官组织的具体位置通过计算机连接，并与相关手术器械相结合，可以准确的显示出器官组织的三维立体空间位置及与相邻的重要组织的空间位置关系，在各种复杂的情况下仍能准确定位，引导手术安全进行，节省了时间，并且在很大程度上提高了术者的自信心，能够避免重要结构的损伤等严重并发症的发生，提高手术的成功率。

超声图像凭借其实时、无创伤、无电离辐射等优势，成为目前临床最为常用的成像设备之一，超声引导肝脏介入诊疗技术也因其重要的临床使用价值获得了广泛的研究。传统的二维超声成像相比于电子计算机断层扫描(CT)和核磁共振(MR)，具有实时、方便操作、无辐射和价格低廉等优势。然而二维超声只是呈现出人体组织的一个切面图像，效果不够直观，操作者需要对人体的解剖学知识有着足够的认识，凭借其经验想象出该切片所在的组织三维结构信息，具有很强的主观性。

手持式超声重建方法将第三方定位装置安装在超声探头上，临床医生可手持超声探头观测感兴趣的人体部位，获取任意角度和方位的超声图像，该跟踪定位方法符合临床医生的操作习惯，且安装在超声探头上定位器非常小，适合临床手术环境，因而该方法得到了广泛的关注与应用。手持式三维超声重建方法由于采集的超声图像是稀疏的，插值算法的好坏将直接影响重建效果的优劣。

技术实现要素：

为了改善现有手持式三维超声重建系统进行三维重建时重建效果不理想的问题，本发明实施例提供一种超声三维重建的方法及装置。

第一方面，本发明实施例提供一种超声三维重建的方法，包括：

基于二维超声图像序列的信息，确定重建体数据的尺寸规格，所述尺寸规格包括：体数据的坐标原点、体数据的维度大小和体素间的物理间隔；

遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中并进行插值处理；

利用核回归算法对所述三维体数据进行空洞补全。

第二方面，本发明实施例提供一种超声三维重建的装置，包括：

体数据规格确定模块，用于基于二维超声图像序列的信息，确定重建体数据的尺寸规格，所述尺寸规格包括：体数据的坐标原点、体数据的维度大小和体素间的物理间隔；

体素映射模块，用于遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中并进行插值处理；

空洞补全模块，用于利用核回归算法对所述三维体数据进行空洞补全。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的超声三维重建的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的超声三维重建的方法的步骤。

本发明实施例提供的超声三维重建的方法及装置，将贝塞尔插值算法与核回归算法相结合，能够有效的改善三维超声的重建质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的超声三维重建的方法的流程示意图；

图2为手持式超声三维重建系统的结构示意图；

图3为本发明实施例提供的确定重建体数据尺寸规格的原理示意图；

图4为本发明实施例提供的遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中并进行插值处理的步骤的流程示意图；

图5为本发明实施例提供的超声三维重建的装置的结构示意图；

图6为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例提供的超声三维重建的方法的流程示意图，包括：

步骤100、基于二维超声图像序列的信息，确定重建体数据的尺寸规格，所述尺寸规格包括：体数据的坐标原点、体数据的维度大小和体素间的物理间隔；

具体地，本发明实施例所提供的超声三维重建的方法适用于手持式超声三维重建系统，如图2所示，为手持式超声三维重建系统的结构示意图。将第三方磁定位装置(如图2中的磁定位跟踪设备)安装在超声探头上，临床医生可手持超声探头观测感兴趣的人体部位，从而获取任意角度和方位的二维超声图像，然后工作站根据二维超声图像进行三维超声重建。

三维超声重建的第一步是根据二维超声图像信息，确定重建体数据的尺寸规格，尺寸规格具体包括体数据的坐标原点、维度大小和体素间的物理间隔。

体数据由多个体素构成，体素是体积元素的简称，体素是分割上的最小单位

其中，基于二维超声图像序列的信息，确定重建体数据的尺寸规格的步骤，具体为：

将每张二维超声切片的扇形边界坐标映射到真实空间中，通过搜索x轴、y轴和z轴三个方向的最大最小值来确定最小包围盒；

将所述最小包围盒的最小点作为体数据的原点；

通过计算体数据的x轴、y轴和z轴来获得体数据的维度大小，并设置体素间的物理间隔。

可以理解的是，本发明使用边界框技术来快速和简单地确定体数据的尺寸规格。一个包围盒只由它的最小点(Xmin,Ymin,Zmin)和最大点(Xmax,Ymax,Zmax)定义。通过将每张二维超声切片的扇形边界坐标映射到真实空间中，找到x轴、y轴和z轴三个方向的最大最小值来确定最小包围盒。一旦建立了体积的边界框，就可以确定体积的固有参数。体数据的原点是包围盒的最小点。如图3所示，为本发明实施例提供的确定重建体数据尺寸规格的原理示意图。体数据的x轴、y轴、z轴分别由点0到点3、点0到点1、点0到点4的矢量计算得到。体素间隔可以由操作者根据需求自己定义，体素间隔决定了是否可以获得更加精细的图像。

步骤101、遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中并进行插值处理；

具体地，三维超声重建的第二步，是对二维平面上的像素进行重新分配，即遍历二维超声平面上的每一个像素点，并根据它们的位置信息的变换矩阵，把像素映射到三维体数据中。如果不止一个像素同时落入到同一个体素中，则需要根据一定的规则，选取合适的值，例如平均值、最大值、最先(最后)到达的值等。

本发明实施例具体采用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中并进行插值处理。

如图4所示，所述遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中并进行插值处理的步骤包括：

步骤400、将所述二维超声图像序列所对应的二维超声平面上的任一个像素点作为当前像素点，采用一个包含N帧二维超声图像的控制窗口来控制生成贝塞尔曲线的像素点个数；

例如，本发明实施例采用一个可以包含四帧二维超声图像的控制窗口来控制生成贝塞尔曲线的像素点个数，也即N＝4。假设P1～P4分别表示控制窗口内的4帧二维超声图像上的像素点，且它们在各自图像中对应的位置相同。

步骤401、计算当前像素点的位置信息的变换矩阵，利用所述变换矩阵将所述控制窗口内的N帧二维超声图像上的当前像素点转换到三维网格的体元中，获得N个体素点；

将P1～P4转换到三维网格的体元中，它们在三维空间对应的体素点为V1～V4。

其中，计算当前像素点的位置信息的变换矩阵的步骤，具体为：

根据手持式三维超声扫描坐标系统的设置，利用如下公式计算当前像素点的位置信息的变换矩阵：

式中，表示从世界坐标系W到重建体数据坐标系C的变换，表示从磁定位装置坐标系M到世界坐标系W的变换，表示从超声图像扫描平面坐标系US到超声探头上磁定位装置坐标系M的变换矩阵，Xi表示二维图像中第i个像素点的二维坐标，Yi表示将二维图像中第i个像素点映射到三维空间中的三维坐标。

其中，变换矩阵是未知的，但可通过空间校准方法，即超声探头的标定方法获得，并且一旦校准之后就固定不变。变换矩阵可实时的从跟踪系统直接获得，这是一个实时动态变化的矩阵。变换矩阵的作用是将坐标系统W和坐标系统C对齐，以方便重建后体数据的操作和显示。为便于矩阵的统一操作运算，本发明实施例统一使用4×4的齐次变换矩阵。

步骤402、根据所述N个体素点的坐标，构造一条基于位置的贝塞尔曲线；

根据贝塞尔曲线定义，由4个体素点的坐标，可以构造一条基于位置的贝塞尔(Bezier)曲线，其表达式如下：

步骤403、根据所述N个体素点的灰度值，构造一条基于灰度值的贝塞尔曲线；

其中，N为大于1的自然数。

具体地，由4个体素点的灰度值，可以构造一条基于体素灰度值的贝塞尔曲线，有：

V(t)＝V1(1-t)³+3V2t(1-t)²+3V3t²(1-t)+V4t³ (3)

其中，变量t等于待插值体素V(t)与第一个控制点V1的在z轴方向上的偏移对整条曲线起点V1与终点V4之间在z轴方向上的偏移进行归一化所得的结果，有

同理，可以求得公式(2)中的变量t的取值。

步骤102、利用核回归算法对所述三维体数据进行空洞补全。

具体地，由于扫描的二维超声图像序列是不连续的，经过插值之后的三维体数据仍会存在未填补的区域，需要进一步的空洞补全进而得到完整的体数据。本发明实施例中使用核回归算法，来对空缺部分进行修补。

所述利用核回归算法对所述三维体数据进行空洞补全的步骤，具体为：

搜索需要修复的体数据，确定空缺的体素点，找到所述空缺的体素点的邻域，其中，邻域是以所述空缺的体素点为中心的正方体；

在所述邻域内找到不为零的体素点，计算不为零的体素点到所述邻域中心的x、y、z方向的偏移，基于所述偏移利用核回归算法进行空洞补全。

经过插值之后的体数据可以表示为：

Yi＝r(Xi)+εi,i＝1,2…,P (5)

其中，r(.)是回归方程，Xi＝(Xi1,Xi2,Xi3)^T是三维体素的三维坐标向量，εi是独立同分布的均值噪声。当体素X非常接近取样点Xi时，可以将回归方程进行N阶泰勒展开：

使用最小二乘法来解决下面的优化问题：

其中，K(.)为核函数，用来惩罚距离中心点较远的体素，平滑参数h(带宽)控制惩罚的强度。特别地，函数K是一个在0处达到最大值的对称函数，满足下式：

其中，c是一个常数值。函数K的特定形式的选择通常是高斯形式、指数形式或其他形式，这些形式都符合上述约束条件。由于核的选择对估计的精度影响很小，因此，本发明实施例选取计算复杂度较高的高斯核。

核函数K现在是3个变量的函数，给出非奇异的正定3×3带宽矩阵H，定义如下：

通常情况下，每个协变量都有相同的均值和方差，然后使用内核

其中，K是任意一维核，因此只有一个单一带宽参数h。

当目标值X＝(X1,X2,X3)^T时，局部平方和如下：

其中，估计值是是使平方加权和最小的β＝(β0,…,β3)^T的值。所要估计的值为：

其中，

Wx是一个对角矩阵，它的第(i,i)元素是Wi(X)。因此有：

其中，e1是个列向量，除了第一个元素为1以外，其他元素都为0，是最终重建体积数据的值。

本发明实施例提供的超声三维重建的方法，将贝塞尔插值算法与核回归算法相结合，能够有效的改善三维超声的重建质量。

基于上述实施例的内容，所述遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中，以及利用核回归算法对所述三维体数据进行空洞补全的步骤在GPU中执行。

具体地，考虑到三维重建过程中计算量庞大，使用CPU重建耗费时间过长，而GPU具有强大的并行浮点计算能力，本发明实施例在三维重建过程中利用GPU来进行运算，可极大地缩短超声三维重建的时间。

在超声的三维重建过程中有大量重复的运算过程，使用CPU串行处理的方式效率很低，很难满足临床需求。考虑到超声三维重建的特性，在插值和空洞补全的部分，使用GPU来进行运算，整套流程GPU为主，CPU为辅来优化重建的性能，在保证精度的同时，缩短重建时间。

在贝塞尔插值的过程中，假设超声图像的大小为M×N，则每次循环在GPU上创建M×N个线程，每个线程中包含四个像素点，分别代表同一控制窗口内4张连续超声图像相同位置处的像素点。像素点信息包括像素值的大小以及所对应图像坐标系到世界坐标系的旋转矩阵：前者是为了计算三维体数据的体素值，后者则是计算该像素点所在线程的坐标，进而计算像素点映射到三维世界坐标系中的位置信息。

在空洞补全的过程中，假设重建后体数据的有效区域内，存在K个未赋值体素，则在GPU上创建K个线程，每个线程内包含1个未赋值的体素以及这个体素邻域附近内体素值不为0的L个体素。每个线程并行的计算空缺体素值，最后将空洞补全，完成超声的三维重建过程。

本发明实施例提供的超声三维重建的方法，利用GPU来进行进行体素映射和空洞补全运算，极大地缩短了超声三维重建的时间，能更好地满足临床需求。

如图5所示，为本发明实施例提供的超声三维重建的装置的结构示意图，包括：体数据规格确定模块501、体素映射模块502和空洞补全模块503，其中，

体数据规格确定模块501，用于基于二维超声图像序列的信息，确定重建体数据的尺寸规格，所述尺寸规格包括：体数据的坐标原点、体数据的维度大小和体素间的物理间隔；

体素映射模块502，用于遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中；

空洞补全模块503，用于利用核回归算法对所述三维体数据进行空洞补全。

超声三维重建的装置用于执行上述方法实施例中的超声三维重建的方法。因此，在前述各实施例所提供的超声三维重建的方法中的描述和定义，可以用于本发明实施例中超声三维重建的装置的理解，在此不再赘述。

其中，所述体素映射模块502具体用于：

将所述二维超声图像序列所对应的二维超声平面上的任一个像素点作为当前像素点，采用一个包含N帧二维超声图像的控制窗口来控制生成贝塞尔曲线的像素点个数；

计算当前像素点的位置信息的变换矩阵，利用所述变换矩阵将所述控制窗口内的N帧二维超声图像上的当前像素点转换到三维网格的体元中，获得N个体素点；

根据所述N个体素点的坐标，构造一条基于位置的贝塞尔曲线；

根据所述N个体素点的灰度值，构造一条基于灰度值的贝塞尔曲线；

其中，N为大于1的自然数。

本发明实施例提供的超声三维重建的装置，将贝塞尔插值算法与核回归算法相结合，能够有效的改善三维超声的重建质量。

图6为本发明实施例提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储在存储器630上并可在处理器610上运行的计算机程序，以执行上述各方法实施例所提供的超声三维重建的方法，例如包括：基于二维超声图像序列的信息，确定重建体数据的尺寸规格，所述尺寸规格包括：体数据的坐标原点、体数据的维度大小和体素间的物理间隔；遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中并进行插值处理；利用核回归算法对所述三维体数据进行空洞补全。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的超声三维重建的方法，例如包括：基于二维超声图像序列的信息，确定重建体数据的尺寸规格，所述尺寸规格包括：体数据的坐标原点、体数据的维度大小和体素间的物理间隔；遍历所述二维超声图像序列所对应的二维超声平面上的每一个像素点，利用贝塞尔插值算法将所述二维超声平面上的每一个像素点映射到三维体数据中并进行插值处理；利用核回归算法对所述三维体数据进行空洞补全。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。