一种增强2D/3D图像融合中深度感知的可视化方法及装置与流程

本发明涉及医疗图像处理的技术领域，尤其涉及一种增强2d/3d图像融合中深度感知的可视化方法，以及增强2d/3d图像融合中深度感知的可视化装置，可用于b型主动脉夹层精准腔内修复手术导航系统中的术前规划以及交互式导航模块，可缩短手术时间和减少对病人和工作人员的辐射。

背景技术：

x射线图像仍是大多数手术介入措施中选择的实时成像方式。为了在手术过程中协助介入医师，术前影像可以与x光图像融合。这种2d/3d叠加是通过alpha混合方法获得的，也就是说，要在数据之间的透明度上做出妥协。

尽管有这个缺点，这种融合方式仍然是一个金标准，广泛应用于血管内治疗、神经放射学、肿瘤学、冠状动脉介入治疗、电生理学研究和其他治疗。三维成像数据具有提供空间信息的优势，提升介入者的深度感知是在医疗过程中使用三维数据集的主要好处。2d/3d融合显示可以让介入者更快更好地理解和感知三维结构，特别是在复杂的情况下。

然而，当前的2d/3d图像融合显示存在2d/3d信息强烈妥协以及较弱的深度感知等问题。在融合图像中快速识别和区分不同的结构变得越来越困难。介入者的视觉被改变了，因为每种形态的解剖在覆盖层中看起来是漂浮在彼此之上的，这影响感知以及血管结构的自然顺序。

技术实现要素：

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种增强2d/3d图像融合中深度感知的可视化方法，其可以增强2d/3d图像融合显示中的深度感知，使观察者更易感知和理解三维结构，能够用于b型主动脉夹层精准腔内修复手术导航系统中的术前规划以及交互式导航模块，为导航系统提供重要而准确的可视化信息。

本发明的技术方案是：这种增强2d/3d图像融合中深度感知的可视化方法，其包括以下步骤：

(1)获取三维数据场；

(2)对数据进行预处理；

(3)对数据进行分类，根据数据的特征是否相同对数据进行分类并赋予相应的颜色值与不透明度；

(4)将深度颜色编码作用于采样点的颜色信息：对颜色赋值，发出射线或者再采样，将数据用于采样点颜色值；

(5)将边缘轮廓增强作用于采样点透明度信息：对不透明度赋值，发出射线或者再采样，将数据用于采样点不透明度值；

(6)通过图像合成得到最后渲染图像的颜色，这些可视化概念在不隐藏二维信息的情况下有效地增强了空间信息。

本发明通过深度颜色编码作用于采样点的颜色信息，边缘轮廓增强作用于采样点透明度信息，得到最后渲染图像的颜色，这些可视化概念在不隐藏二维信息的情况下有效地增强了空间信息，与原显示效果相比，本发明的效果可以增强2d/3d图像融合显示中的深度感知，使观察者更易感知和理解三维结构，能够用于b型主动脉夹层精准腔内修复手术导航系统中的术前规划以及交互式导航模块，为导航系统提供重要而准确的可视化信息。

还提供了一种增强2d/3d图像融合中深度感知的可视化装置，该装置包括：

数据获取模块，其配置来获取三维数据场；

数据预处理模块，其配置来对数据进行预处理；

数据分类模块，其配置来对数据进行分类；

深度颜色编码模块，其配置来将深度颜色编码作用于采样点的颜色信息：对颜色赋值，发出射线或者再采样，将数据用于采样点颜色值；

边缘轮廓增强模块，其配置来将边缘轮廓增强作用于采样点透明度信息：对不透明度赋值，发出射线或者再采样，将数据用于采样点不透明度值；

图像合成模块，其配置来通过图像合成得到最后渲染图像的颜色，这些可视化概念在不隐藏二维信息的情况下有效地增强了空间信息。

附图说明

图1为深度颜色编码的示意图。

图2为血管的轮廓增强的示意图。

图3为光线投射原理图。

图4为根据本发明的增强2d/3d图像融合中深度感知的可视化方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。

如图4所示，这种增强2d/3d图像融合中深度感知的可视化方法，其包括以下步骤：

(1)获取三维数据场；

(2)对数据进行预处理；

(3)对数据进行分类，根据数据的特征是否相同对数据进行分类并赋予相应的颜色值与不透明度(这样可以更好地体现出一种物质的多种属性或多种物质的不同分布)；

(4)将深度颜色编码作用于采样点的颜色信息：对颜色赋值，发出射线或者再采样，将数据用于采样点颜色值；

(5)将边缘轮廓增强作用于采样点透明度信息：对不透明度赋值，

发出射线或者再采样，将数据用于采样点不透明度值；

(6)通过图像合成得到最后渲染图像的颜色，这些可视化概念在不隐藏二维信息的情况下有效地增强了空间信息。

本发明通过深度颜色编码作用于采样点的颜色信息，边缘轮廓增强作用于采样点透明度信息，得到最后渲染图像的颜色，这些可视化概念在不隐藏二维信息的情况下有效地增强了空间信息，与原显示效果相比，本发明的效果可以增强2d/3d图像融合显示中的深度感知，使观察者更易感知和理解三维结构，能够用于b型主动脉夹层精准腔内修复手术导航系统中的术前规划以及交互式导航模块，为导航系统提供重要而准确的可视化信息。

优选地，所述步骤(1)中，以图像空间为序对体数据进行绘制。

优选地，所述步骤(2)中，对于图像空间的每一个像素点f(x，y)，投射一条方向与视线方向相同的射线，这条射线以步长m穿过数据场在这条射线上选取k个等距的采样点，对于每一个采样点，选择离该采样点最近的8个数据点的颜色和不透明度作线性插值计算，从而计算出当前采样点的不透明度值和颜色值。

优选地，所述步骤(4)中，假设2d和3d图像已经在空间上配准好，则深度看作是z方向到x射线源的距离，使用一个类似彩虹的传递函数，它将深度映射到颜色；选择以下颜色深度编码方案：红色表示靠近观察者的吸收，绿色表示中心附近的吸收，蓝色表示远处的吸收；最后的像素颜色是沿着光线累积的；

其中，γd是深度率，d是当前采样点的可视深度，而dfar和dnear用来定义深度范围；

根据公式(1)获得深度率，定义当前采样点的rgb颜色值为公式(2)

或者，所述步骤(4)中，假设2d和3d图像已经在空间上配准好，则深度看作是z方向到x射线源的距离，使用一个类似彩虹的传递函数，它将深度映射到颜色；选择以下颜色深度编码方案：红色表示靠近观察者的吸收，绿色表示中心附近的吸收，蓝色表示远处的吸收；最后的像素颜色是沿着光线累积的；

其中，γd是深度率，d是当前采样点的可视深度，而dfar和dnear用来定义深度范围；

根据公式(1)获得深度率，定义当前采样点的rgb颜色值为公式(3)

c＝(1.0-γd,0,γd)(3)。

优选地，所述步骤(5)中，表面法向量n垂直于观察方向ν，是理想的轮廓，它只出现一条曲线，曲面的法向量由局部梯度g直接估计；三维数据采用三维标量场的形式，两个向量之间的角度由ν·n的点积来估计，角度值为arccos(|ν·n|)，利用上述变量，根据公式(4)得到基本的轮廓因子

κ＝e^s(θ-ψ)(4)

其中两个输入参数：(a)s∈n⁺控制轮廓的锐度；(b)ψ∈[0；π/2]

是角度值的阈值，可以控制轮廓的厚度；轮廓系数κ用来调节体积采样的颜色不透明度。

优选地，所述步骤(5)中，对于较小θ的部分表面，不透明度变得更加透明，较小的ψ值产生较粗的轮廓线，较大的s值产生较尖的轮廓线，上述轮廓可视化方法直接基于三维体数据梯度。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种增强2d/3d图像融合中深度感知的可视化装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：

数据获取模块，其配置来获取三维数据场；

数据预处理模块，其配置来对数据进行预处理；

数据分类模块，其配置来对数据进行分类；

深度颜色编码模块，其配置来将深度颜色编码作用于采样点的颜色信息：对颜色赋值，发出射线或者再采样，将数据用于采样点颜色值；

边缘轮廓增强模块，其配置来将边缘轮廓增强作用于采样点透明度信息：对不透明度赋值，发出射线或者再采样，将数据用于采样点不透明度值；

图像合成模块，其配置来通过图像合成得到最后渲染图像的颜色，这些可视化概念在不隐藏二维信息的情况下有效地增强了空间信息。

以下更详细地说明本发明。

图1为深度颜色编码的示意图。

如果将额外的深度信息编码为彩色，则可显著改善单一x射线图像的深度感知。本发明提出了一种基于一维深度的传输函数的体绘制方法，该方法在绘制只发射模型时对颜色的深度进行编码。假设2d和3d图像已经在空间上配准好，则深度可以看作是z方向到x射线源的距离，使用了一个类似彩虹的传递函数，它将深度映射到颜色，如图1所示。根据惯例，选择以下颜色深度编码方案：红色表示靠近观察者的吸收，绿色表示中心附近的吸收，蓝色表示远处的吸收；在某些情况下，仅使用两种颜色表示远近可能更容易理解。最后的像素颜色是沿着光线累积的。

式中，γd是深度率，d是当前采样点的可视深度，而dfar和dnear用来定义深度范围。

根据深度率，可以定义当前采样点的rgb颜色值为

或者，采用以下伪彩色深度编码方案

c＝(1.0-γd,0,γd)(3)。

图2为血管的轮廓增强的示意图。

边缘轮廓是血管结构的重要特征。如图2所示，在理想的情况下,表面法向量n垂直于观察方向ν所提供一个更直观的可视化、邻近地区被认为是理想的轮廓,它只出现一条曲线。因为没有中间几何表面或多边形网格生成等,曲面的法向量由局部梯度g直接估计。三维数据采用三维标量场的形式。两个向量之间的角度由ν·n的点积来估计，即角度值为arccos(|ν·n|)。利用上述变量，可以得到基本的轮廓因子，提出的公式为

κ＝e^s(θ-ψ)(4)

该公式提供了修改轮廓可视化属性的两个单独选项，即锐度和厚度。两个输入参数：(a)s∈n⁺控制轮廓的锐度；(b)ψ∈[0；π/2]是角度值的阈值，可以控制轮廓的厚度。轮廓系数κ是用来调节体积采样的颜色不透明度。对于较小θ的部分表面，不透明度变得更加透明。一般来说，较小的ψ值产生较粗的轮廓线，较大的s值产生较尖的轮廓线。上述轮廓可视化方法直接基于三维体数据梯度。

图3和图4示出了光线投射算法的原理和实现过程。

光线投射算法以图像空间为序对体数据进行绘制，首先对于图像空间的每一个像素点f(x，y)，投射一条方向与视线方向相同的射线，这条射线以步长m穿过数据场，同时在这条射线上选取k个等距的采样点，对于每一个采样点，选择离该采样点最近的8个数据点的颜色和不透明度作线性插值计算，从而计算出当前采样点的不透明度值和颜色值。在得到这条射线上所有采样点的颜色值和不透明度值后，将它们进行前向或后向合成，这样就求出了像素点的颜色值，从而使得最终的图像呈现在屏幕上，见图3。由于该算法原理简单，易于实现透视投影，且绘制图像质量较高，因此适合应用于医学图像的三维重建。光线投射算法的绘制流程如图4所示。

本发明通过改进光线投射算法，深度颜色编码作用于采样点的颜色信息，边缘轮廓增强作用于采样点透明度信息，得到最后渲染图像的颜色。轮廓绘制不是以统一的方式调节三维叠加的不透明度，而是实现了轮廓的高不透明度和血管之间的高透明度，深度颜色编码进一步促进了增强轮廓深度感知。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。