一种基于三维可视化的医疗图像处理方法与流程

1.本发明涉及图像处理的技术领域，尤其涉及一种基于三维可视化的医疗图像处理方法。


背景技术：

2.人体三维重建技术以医学和信息工程学为主要特征，虚拟现实环境下重建人体组织的三维解剖结构，现代医学科研和临床诊疗所获取的医学图像是多种多样的，如ct图像，x线，核医学图像，磁共振(mri)图像，超声图像以及各种电子内窥镜图像等，但是这些图像在未处理的情况下提供的是二维图像；面对二维图像，临床医生只能凭经验去估计病灶的大小及形状，构想病灶与其周围组织的三维几何关系，这给诊疗的准确和便捷带来了极大的难度。
3.医学图像的三维可视化技术，就是将mri、ct等数字化成像设备获得的信息数据在计算机上直观地以三维效果展示出来，从而提供用传统手段无法获得的结构信息；在用计算机重建三维图像，并在屏幕上形象逼真地显示出人体器官的立体图像后，临床医生可以方便地对重建图像进行诸如平移、旋转、剖分等操作，也可以完善术前评估甚至可以进行可视化仿真模拟手术，这样医务工作者就能更充分地了解病症的性质及其周围组织的三维结构关系，从而帮助医务工作者做出准确的诊断和制定正确的手术方案，最终达到提高诊疗准确性与科学性的目的。
4.现有的仿真内窥镜成像术(ctve)是在容积数据的基础上，将表面遮盖显示和容积再现法相结合，模拟出三维立体空间环境，在受检器官的腔内进行计算机数据后处理，显示出图像，与光纤内窥镜效果相似，常用于喉部、支气管、结肠、胆道、胃等官腔脏器；但是，ctve观察到的只是病变的影像，缺乏组织特异性，且不能活检；其次，对扁平病症的检测敏感性较低；另外，ctve不能对管腔内膜的真实颜色变化及细节进行观察，对结肠内残留的粪块无法与息肉和肿块区分，肠腔充气不足也造成观察困难；且无法通过计算机有效的重建三维图像，即三维可视化处理过程是存在技术缺陷的，这对医务工作者来说是较为头疼的。


技术实现要素：

5.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
6.鉴于上述现有存在的问题，提出了本发明。
7.为解决上述技术问题，本发明提供如下技术方案：基于医疗二维图像关键点的匹配损失进行先验，获得所述医疗二维图像到三维图像的相关性；利用所述相关性设计可微渲染通道；结合概率图模拟三角对图像平面的影响，使用聚合函数合并颜色映射，得到基于所述概率图和相对深度的渲染输出。
8.作为本发明所述的基于三维可视化的医疗图像处理方法的一种优选方案，其中：
通过所述设计可微渲染通道对所述医疗二维图像进行渲染输出，构建三维网格，还包括，
9.重建单视图网格和基于图像的形状拟合。
10.作为本发明所述的基于三维可视化的医疗图像处理方法的一种优选方案，其中：所述重建单视图网格包括，
11.给定一个输入图像，形状和颜色生成器生成一个三角形网格及其对应的颜色；
12.将其输入到软光栅化器中；
13.软射线层同时渲染轮廓和彩色图像，并通过与真实值的比较提供基于渲染的错误信号。
14.作为本发明所述的基于三维可视化的医疗图像处理方法的一种优选方案，其中：所述基于图像的形状拟合包括，
[0015][0016]
其中，r(m(p,θ,t))是网格m生成渲染图像的渲染函数，其由姿态θ、平移t和非刚性变形参数p参数化，i为渲染输出。
[0017]
作为本发明所述的基于三维可视化的医疗图像处理方法的一种优选方案，其中：利用所述相关性设计可微渲染通道包括，定义环境设置的外部变量和描述模型特定属性的内部属性；
[0018]
所述外部变量包括，相机和照明条件；
[0019]
所述内部属性包括，三角形网格和顶点外观。
[0020]
作为本发明所述的基于三维可视化的医疗图像处理方法的一种优选方案，其中：所述顶点外观包括，颜色和材质。
[0021]
作为本发明所述的基于三维可视化的医疗图像处理方法的一种优选方案，其中：所述结合概率图模拟三角对图像平面的影响包括，
[0022][0023]
其中，σ是控制概率分布锐度的正标量，而δ
ij
是符号指示器，δ
ij
＝{+1，if pi∈fi；-1，otherwise}，d(i,j)是pi到三角fj边缘的最近距离。
[0024]
作为本发明所述的基于三维可视化的医疗图像处理方法的一种优选方案，其中：所述聚合函数包括，
[0025][0026]
其中，cb是背景色，权重wj＝wb＝1，cj是颜色映射，i为渲染输出，as({cj})为聚合函数。
[0027]
作为本发明所述的基于三维可视化的医疗图像处理方法的一种优选方案，其中：还包括，
[0028][0029]
其中，z
ij
表示三角fi上3d点的标准化反深度，其2d投影为pi；ε是一个小常数以启用背景色，而γ控制聚合函数的锐度。
[0030]
本发明的有益效果：本发明通过对医疗二维图像的三维网格重建的特殊手法，即设计了可微渲染通道，增加了渲染输出和形状拟合，快速、准确、清晰、直接的帮助输入图像在计算机中的高效三维可视化转换，极大地帮助医务人员对于结肠病症的精准判断。
附图说明
[0031]
图1为本发明一个实施例所述的基于三维可视化的医疗图像处理方法的流程示意图；
[0032]
图2为本发明一个实施例所述的基于三维可视化的医疗图像处理方法的利用欧几里得距离表示不同正标量的三角形的概率图；
[0033]
图3为本发明一个实施例所述的基于三维可视化的医疗图像处理方法的单视图网格重建框架示意图；
[0034]
图4为本发明一个实施例所述的基于三维可视化的医疗图像处理方法的三维线性插值示意图。
具体实施方式
[0035]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0037]
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0038]
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0039]
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
[0040]
应当理解，在本发明中，“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
[0041]
取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
[0042]
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0043]
实施例1
[0044]
虽然目前ct、mri、pet、超声等影像设备可以采集到三维数据，但是传统的二维显示器只能呈现二维的平面信息，医生要获取更多角度尺度信息需要调整视角来获得。
[0045]
在术中直接以立体显示的形式将三维信息呈现给医生，可以让医生获取更全面准确的患者器官结构形态信息，但是碍于目前三维可视化技术的发展困境，还不能很好的将二维图像通过计算机转换成三维图像以供医务人员提供辅助诊断，尤其对于结肠病症患者来说，清晰的三维可视化技术能够极大的帮助医务人员对其进行治疗。
[0046]
参照图1～图4，为本发明的一个实施例，提供了一种基于三维可视化的医疗图像处理方法，具体包括以下步骤：
[0047]
s1：基于医疗二维图像关键点的匹配损失进行先验，获得医疗二维图像到三维图像的相关性。其中需要说明的是，所述先验包括：
[0048]
输入一个一维的独热编码条件向量；
[0049]
通过线性层将这个向量映射到(频道长*频道宽)长度的一维向量；
[0050]
将这个一维向量reshape成与频道长宽相同的二维矩阵；
[0051]
将这个矩阵作为一个新的频道叠加到神经网络输入的三维矩阵中。
[0052]
进一步的，叠加计算过程包括：
[0053]
(1)设置最大迭代次数；
[0054]
(2)均方误差小于阈值就停止迭代；
[0055]
(3)设置两次变化矩阵之间的差值小于阈值就停止迭代；
[0056]
(4)设置对应点对之间的最大距离，在(1)中使用。
[0057]
s2：利用相关性设计可微渲染通道。本步骤需要说明的是：
[0058]
定义环境设置的外部变量和描述模型特定属性的内部属性；
[0059]
外部变量包括，相机和照明条件；
[0060]
内部属性包括，三角形网格和顶点外观；
[0061]
顶点外观包括，颜色和材质。
[0062]
参照图4，通过给定顶点的数值计算立方体中其他点的数值的线性插值，以此得到需要的立体坐标，如下：
[0063]
xd＝(x-x0)/(x
1-x0)
[0064]
yd＝(y-y0)/(y
1-y0)
[0065]
zd＝(z-z0)/(z
1-z0)
[0066]
c＝c
000
(1-xd)(1-yd)(1-zd)+
[0067]c100
xd(1-yd)(1-zd)+
[0068]c010
(1-xd)yd(1-zd)+
[0069]c001
(1-xd)(1-yd)zd+
[0070]c101
xd(1-yd)zd+
[0071]c011
(1-xd)ydzd+
[0072]c110
xdyd(1-zd)+
[0073]c111
xdydzd[0074]
其中，坐标(x，y，z)为c，(x0，y0，z0)为坐标相对最小的点。
[0075]
具体的，根据标准渲染管道，相机对输入几何进行变换，得到网格法线、图像空间坐标和视觉相关深度，根据照明和材料模型，计算给定{顶点外观、网格法线、照明条件}的颜色；这两个模块都是可微的，然而，由于离散采样操作，标准图形管道中的栅格化(栅格化可以看作是由像素和三角形之间的相对位置决定的二进制掩膜)和z-buffering对于图像空间坐标和视觉相关深度是不可微的，z-buffering基于三角形的相对深度以像素级one-hot的方式合并栅格化结果。
[0076]
s3：结合概率图模拟三角对图像平面的影响，使用聚合函数合并颜色映射，得到基于概率图和相对深度的渲染输出。其中还需要说明的是：
[0077]
利用概率图dj模拟三角fj对图像平面的影响；为了估计像素pi处dj的概率，函数需要同时考虑pi与dj之间的相对位置和距离；在像素pi处定义dj如下所示：
[0078][0079]
其中，σ是控制概率分布锐度的正标量，而δ
ij
是符号指示器，δ
ij
＝{+1，if pi∈fi；-1，otherwise}，d(i,j)是pi到三角fj边缘的最近距离。
[0080]
参照图2，利用欧几里得距离表示不同正标量的三角形的概率图，图2中(a)表示像素到三角形距离的定义；图2中(b)-(d)表示不同σ生成的概率图。
[0081]
具体的，聚合函数包括：
[0082][0083]
其中，cb是背景色，权重wj＝wb＝1，cj是颜色映射，i为渲染输出，as({cj})为聚合函数。
[0084][0085]
其中，z
ij
表示三角fi上3d点的标准化反深度，其2d投影为pi；ε是一个小常数以启用背景色，而γ控制聚合函数的锐度。
[0086]
本实施例还需要说明的是，现有的opendr技术和nmr技术都在前向过程中使用标准图形渲染器，因此它们无法控制中间渲染过程，并且无法将梯度流到最终渲染图像中被遮挡的三角形中；而本发明方法完全控制了内部变量，并且能够通过聚合函数将梯度流到不可见三角形中。
[0087]
再进一步的是，由于连续概率公式，屏幕空间中像素pj的梯度可以流向所有远处的顶点，然而，对于传统的opendr技术，由于局部过滤操作，顶点只能从近距离内的相邻像素接收梯度，对于传统的nmr技术，没有从白色区域内的像素定义相对于三角形顶点的梯度。
[0088]
s4：重建单视图网格和基于图像的形状拟合。本步骤还需要说明的是，重建单视图网格包括：
[0089]
给定一个输入图像，形状和颜色生成器生成一个三角形网格及其对应的颜色；
[0090]
将其输入到软光栅化器中；
[0091]
软射线层同时渲染轮廓和彩色图像，并通过与真实值的比较提供基于渲染的错误信号。
[0092]
参照图3，其框架定义了三个损失函数，分别是轮廓损失ls，颜色损失lc和几何损失lg，如下：
[0093][0094][0095]
最后的损失是三项损失的加权和：
[0096][0097]
基于图像的形状拟合在姿态估计、形状对齐、基于模型的重建等方面有着重要的作用，传统的方法必须依赖于粗糙的对应关系，例如2d关节或特征点，以获得用于优化的监控信号；而本发明设计的可微渲染通道可以直接将像素级的误差反向传播到3d属性，从而实现密集的图像到3d的对应，进而实现高质量的形状拟合。
[0098]
但是，可微渲染器存在两个难题，遮挡和远距离影响，本实施例为了其便易于应用，通过定义的聚合函数融合了所有三角形的概率图，使得梯度流到所有顶点，包括被遮挡的顶点，基于概率分布的软近似允许梯度传播到远端，同时很好地控制接收场的大小，以此解决了这两个难题。
[0099]
通俗的说，即通过最小化目标函数来准确地解决基于图像的形状拟合问题，如下：
[0100][0101]
其中，r(m(p,θ,t))是网格m生成渲染图像的渲染函数，其由姿态θ、平移t和非刚性变形参数p参数化，i为渲染输出。
[0102]
本实施例还需要详细说明的是，从二维图像中理解、重建三维场景和结构是计算机视觉的基本目标之一，基于图像的三维推理关键在于找到从像素到三维属性的足够监督；为了获得图像到三维的相关性，先验方法主要依赖于基于二维关键点/轮廓或形状/外观的匹配损失，但是这些方法要么只适用于特定领域，要么只能提供弱监督，但是本实施例通过反转渲染器，就可以获得对通用3d推理任务的密集像素级监督，这是传统方法无法实现的。
[0103]
优选地，在传统的图形通道中，渲染过程不是可微的，尤其是标准的网格渲染器中包含一个叫做光栅化的离散采样操作，该操作阻止了梯度流入网格顶点，而在前向过程中直接使用标准图形渲染器，这会导致不受控制的优化行为和对其他三维推理任务的有限泛化能力，因此本发明中设计了一个可微的渲染框架，它能够在前向过程中渲染彩色网格。
[0104]
优选的是，本实施例中使用了编码器-解码器架构来进行单视图网格重建，编码器被用作特征提取器，其输出特征大小为512，这两个网络共享相同的特征提取器，形状生成器(特征提取器所包含的)由三个完全连接的层组成，并输出一个每个顶点的位移向量，将一个模板网格变形到一个目标模型中，颜色生成器包含两个部分：采样网络用于采样输入图像来构建调色板，选择网络用于从调色板中选择颜色来纹理采样点。
[0105]
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存
储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0106]
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0107]
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
[0108]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。