基于医学教育的对象三维绘制方法与流程

本发明涉及三维影像重建，特别涉及一种基于医学教育的对象三维绘制方法。

背景技术：

高分辨率三维影像具有更高的质量以及清晰的细节信息，对医学影像等应用领域非常重要。医学影像扫描系统需要录制模型文件并进行影像压缩后将其传输至云端，云端解压缩该模型文件后，可传输至医疗终端，以供用户实时监控；同时，云端也可用于存储影像扫描装置所采集的多个模型文件，以供用户随时调取。然而，较佳的画面流畅度及较多的影像细节信息必然需要提高模型文件的分辨率及帧率，但模型文件容量也会因此提升，进而对云端的存储空间及缓存造成更大负担。如果采用超分辨率重建等技术，则其影像边缘常有锯齿现象等失真问题。此外，现有方案的重建方法还存在信噪比较低的问题，无法针对医学影像扫描系统提出适合的影像增强机制，因此需要提供一种兼顾云端的存储空间、缓存大小、网络速度以及影像质量的高分辨率三维影像重建的方法。

技术实现要素：

为解决上述现有技术所存在的问题，本发明提出了一种基于医学教育的对象三维绘制方法，包括：

通过医学影像扫描装置采集多帧高分辨率图块和多帧低分辨率图块；

由深度学习引擎对所述高分辨率图块进行多次卷积运算，以计算得出多个候选高分辨率像素集，同时对各个候选高分辨率像素集，进行至少一次所述卷积运算，以产生参考高分辨率像素集；

所述深度学习引擎对所述参考高分辨率像素集与所述低分辨率图块进行至少一次所述卷积运算后，产生后处理残差值；

由像素求和单元对所述后处理残差值和所述低分辨率图块进行像素求和运算，以计算得出同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块；以及

由双向预测器接收所述正向预测高分辨率图块和所述反向预测高分辨率图块后，对所述正向预测高分辨率图块和所述反向预测高分辨率图块进行至少一次所述卷积运算，以产生超分辨率图块；

其中，当所述深度学习引擎对各个候选高分辨率像素集进行至少一次所述卷积运算后，先从所述卷积运算的运算结果中筛选出与所述低分辨率图块具有最小像素偏移量的像素集，以作为所述参考高分辨率像素集。

优选地，所述医学影像扫描装置所采集的多帧所述高分辨率图块的帧率低于或等于多帧所述低分辨率图块的帧率。

优选地，所述医学影像扫描装置以预设采样帧数确定连续采集图块的数量，且被采集的图块中至少包括一帧高分辨率图块。

优选地，存储解码后的各个高分辨率图块和各个低分辨率图块，以及存储未解码的多个报文，每个报文经过解码后可产生各个高分辨率图块和各个低分辨率图块。

本发明相比现有技术，具有以下优点：

本发明提出了一种基于医学教育的对象三维绘制方法，以较低的软硬件成本，有效提高了三维影像质量和运算效率，同时解决了现有重建方法的影像失真问题和现有远程重建方法的有限带宽和有限存储空间的问题。

附图说明

图1是根据本发明实施例的基于医学教育的对象三维绘制方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的些或者所有细节也可以根据权利要求书实现本发明。

本发明的方面提供了一种基于医学教育的对象三维绘制方法。所述方法由本发明的医学影像扫描重建系统来实现。该系统包括：多层缓存模块、深度学习引擎、渲染重建引擎和双向预测器；多层缓存模块接收影像扫描装置所采集具有较低帧率的多帧高分辨率图块和较高帧率的多帧低分辨率图块，深度学习引擎、渲染重建引擎和双向预测器进行超分辨率重建模型渲染，以计算得出超分辨率图块，并按序传输至医疗终端，以供用户查看三维影像，本发明以深度学习引擎作为超分辨率重建方法中影像候选样本的选择机制和模型渲染机制，由于深度学习引擎的迭代式训练和学习，采集到更为精确的影像细节。

图1是根据本发明实施例的基于医学教育的对象三维绘制方法流程图。医学影像扫描重建系统可通过网络分别与影像扫描装置和医疗终端建立通信连接，所述影像扫描装置可采集高分辨率模型文件和低分辨率模型文件，并传输至医学影像扫描重建系统，以缓存、解码和超分辨率重建，影像扫描装置所采集的高分辨率模型文件的帧率可小于或等于低分辨率模型文件。当医学影像扫描重建系统完成超分辨率重建模型渲染后，则产生具有高帧率和高分辨率的超分辨率图块，在被缓存和影像编码后，即可按序传输至医疗终端，以供用户查看具有超分辨率影像质量的三维影像。

在医学影像扫描重建系统接收影像扫描装置所采集具有较低帧率的多帧高分辨率图块和具有较高帧率的多帧低分辨率图块之后，并以采样帧数t确定影像扫描装置所采集的图块帧数，如果t＝2，则影像扫描装置采集1帧高分辨率图块和1帧低分辨率图块；如果t＝5，则影像扫描装置会采集1帧高分辨率图块和4帧低分辨率图块。采样帧数t值确定影像扫描装置所连续采集的图块帧数，且影像扫描装置所采集的图块中，至少包含1帧高分辨率图块。在优选的实施例中，其余图块均为低分辨率图块，由此可解决影像扫描装置存储空间和传输带宽有限的问题。当影像扫描装置采集完上述图块时，即提交至影像压缩模块进行影像压缩，所述压缩以降低比特率的方式减少模型文件大小，然后提交至第一传输模块进行传输。第一传输模块将经过影像压缩模块压缩后的上述图块预先分割为多个报文，再传输至医学影像扫描重建系统。

当医学影像扫描重建系统接收到第一传输模块所传输的多个报文后，即先暂存于模型缓存，模型缓存再通信连接至影像解码器，以对前述的多个报文进行解压缩，进而解码出上述图块，然后，影像解码器将上述图块暂存于多层缓存模块后，多层缓存模块再通信连接至存储模块，以存储经过解码且不需要长期保存的三维影像。在优选的实施例中，模型缓存可直接通信连接至存储模块以有效节省存储空间。而当多层缓存模块接收到经解码的上述图块后，将解码后的上述图块传输至深度学习引擎，然后深度学习引擎可对影像扫描装置所采集的图块进行超分辨率重建模型渲染。在进行超分辨率重建模型渲染前，对于深度学习引擎所接收的高分辨率图块和低分辨率图块，渲染重建引擎可通过最近邻插值、双线性插值等插值方式，将低分辨率图块放大到与高分辨率图块相同大小，进而计算得出超分辨率图块，并暂存于多层缓存模块。然后，影像编码器对超分辨率图块进行影像编码后，暂存于模型缓存。最后，模型缓存将超分辨率图块传输至医疗终端。

所述深度学习引擎包括输入层、嵌入层和输出层，输入层用于输入要进行卷积运算的图块或残差值；嵌入层用于存储多项参数，以确定深度学习引擎进行卷积运算的像素滤波单元；输出层用于输出卷积运算的运算结果；渲染重建引擎的偏移计算单元进行像素偏移量计算，以减少各连续图块所产生的偏移量差值，进而筛选出与低分辨率图块有最小像素偏移量的像素集；渲染重建引擎的像素求和单元用于进行像素求和运算，以分别生成可供双向预测器接收的图块；双向预测器用于接收同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块，以供深度学习引擎进行至少一次的卷积运算后，可计算得出超分辨率图块。

深度学习引擎的嵌入层所存储的多项参数可包括：如果为正向预测模式，且采样帧数t＝3，则输入层可对高分辨率图块，利用不同的卷积核分别进行多次卷积运算，以供输入层从第t帧高分辨率图块中计算得出多个候选高分辨率像素集作为第t+1帧，然后，为减少每个候选高分辨率像素集的候选图块数量，输入层可再对第t+1帧每个候选高分辨率像素集以更小的卷积核进行至少一次卷积运算，以产生参考的高分辨率像素集。在优选的实施例中，对于输入层对每个候选高分辨率像素集进行卷积运算后的像素集，先从其中筛选出与低分辨率图块具有最小像素偏移量的像素集，作为参考高分辨率像素集；如果为反向预测模式，则输入层可对高分辨率图块分别以不同的卷积核进行多次卷积运算，以供输入层从高分辨率图块中计算得出多个候选高分辨率像素集，然后再对多个候选高分辨率像素集以更小的卷积核进行至少一次卷积运算后，即产生参考高分辨率像素集，而对于输入层对每个候选高分辨率像素集进行卷积运算后的像素集，先从其中筛选出与低分辨率图块有最小像素偏移量的像素集，作为参考高分辨率像素集。

在优选的实施例中，对于深度学习引擎对每个候选高分辨率像素集进行卷积运算后所产生的像素集，在筛选出与低分辨率图块有最小像素偏移量的像素集之后，深度学习引擎同时对参考高分辨率像素集和低分辨率图块进行卷积运算，以生成影像叠加残差值，然后为调整影像叠加残差值的影像质量，深度学习引擎继续以相同或不同的卷积核对所述影像叠加残差值进行卷积运算，以产生第一后处理残差值，再对第一后处理残差值进行卷积运算，以产生第二后处理残差值，以此类推，可从各后处理残差值中过滤较不必要的影像信息，也可通过深度学习的学习机制，增加影像的采集细节，然后深度学习引擎即以最终产生的后处理残差值，作为正向后处理残差值和反向后处理残差值，并传输至渲染重建引擎。

可选地，深度学习引擎也可直接以影像叠加残差值作为最终产生的后处理残差值，并传输至渲染重建引擎，当渲染重建引擎接收到正向后处理残差值和反向后处理残差值后，如果为正向预测模式，则渲染重建引擎对正向后处理残差值和低分辨率图块进行像素求和运算，以产生正向预测高分辨率图块；如果为反向预测模式，则渲染重建引擎对反向后处理残差值和低分辨率图块进行像素求和运算，以产生反向预测高分辨率图块。然后将同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块传输至双向预测器，以继续执行生成超分辨率图块的步骤，即提交至深度学习引擎进行至少一次卷积运算，以产生超分辨率图块。

在生成后处理残差值时，如果为正向预测模式，则深度学习引擎得出第一后处理残差值和第二后处理残差值后，深度学习引擎的输出层确定最终产生的后处理残差值为正向后处理残差值，然后提交至像素求和单元，以将正向后处理残差值和低分辨率图块进行像素求和运算，生成正向预测高分辨率图块；相对地，如果为反向预测模式，则为调整影像叠加残差值的影像细节，输入层可再对影像叠加残差值以相同或不同的像素滤波单元再进行卷积运算，以相同过程计算得出第一和第二后处理残差值，以此类推，并确定最终产生的后处理残差值为反向后处理残差值，然后再将反向后处理残差值和低分辨率图块进行像素求和运算，以生成反向预测高分辨率图块。

无论是正向或是反向预测模式，输入层均可对所述第二后处理残差值再进行任意多次卷积运算，以生成第三，…或第n后处理残差值，并以第n后处理残差值作为正向后处理残差值或反向后处理残差值，且输入层每次如果以相同的卷积核进行卷积，即可过滤更多不必要的影像噪声，进而能增加峰值信噪比。

最后，像素求和单元将同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块再传输至双向预测器，以继续生成超分辨率图块。

如果医疗终端要查看非实时的三维影像，则所述多层缓存模块先从存储模块采集出解码后的多帧高分辨率图块和多帧低分辨率图块后，并传输至深度学习引擎，也可由存储模块采集出未解码的多个报文，并将上述报文经过影像解码器解码后，再传输至深度学习引擎、渲染重建引擎和双向预测器，以计算得出超分辨率图块，然后，先暂存于多层缓存模块以供缓存，并传输至影像编码器进行编码，完成编码后即传输至模型缓存。当影像缓存和编码步骤执行完毕后，第二传输模块将各超分辨率图块传输至医疗终端，以供医疗终端可查看非实时三维影像的功能。

本发明的深度学习引擎在生成候选高分辨率像素集，产生后处理残差值和最终产生超分辨率图块的过程中，其所进行的卷积运算，经过不断的训练和学习后，即可采集到更为精确的影像细节。

当器官和组织的精细部分的几何信息不足，或是器官和组织本身的构造具备半透明特性时，本发明优选地采用合成的方式重建三维影像模型。具体地，获取器官和组织的三维坐标与对应于器官和组织的多个透射参数；接着根据所述三维坐标与所述透射参数建立融合影像；以及，调整透射参数以调整所述融合影像，直到优化参数小于门限值。

其中，所述优化参数对应于调整后的所述融合影像中对应位置的多个像素的光强度与实际影像中的多个像素的光强度的差值。

在一个实施例中，上述优化参数包括第一项与第二项，其中所述第一项对应所述融合影像中的像素的光强度与实际影像中的对应像素的光强度的差值的平方，所述第二项对应于所述融合影像中的每一像素的估计深度与相对应的多个周围像素的深度的差值。

上述优化参数的模型可表示如下：

其中，c(z)表示所述优化参数；sⁱ表示所述融合影像中的像素i的光强度；rⁱ表示所述实际影像中像素i的光强度；zⁱ表示所述融合影像中的像素i的深度；r^j表示对应于zⁱ的多个周围像素j的像素深度；n表示所述融合影像中的像素总数；m表示多个周围像素的总数；i表示所述融合影像中的像素的索引值；j表示周围像素的索引值；w为优化参数中的第二项的权值即比重。

优选地，在获取器官和组织的三维坐标与对应的多个透射参数的过程中，还包括利用光影重建表面技术获取器官和组织的三维坐标与多个透射参数的初始值。上述透射参数包括散射系数或法向量。

其中光强度si的值关联于透射模型的透射参数pm，也就是相关于光泽度系数kd、散射系数ks与光泽度α。然后调整透射参数pm，，以调整融合影像与优化参数c(z)。然后，判断优化参数c(z)是否小于第一门限值，如果优化参数c(z)大于第一门限值，则继续调整透射参数pm。如果优化参数c(z)小于第一门限值，则确定所述透射参数pm为最优化值，接着根据该最优的透射参数pm调整三维坐标深度参数与优化参数c(z)。判断优化参数是否小于第二门限值，如果否，则继续调整深度参数；如果是，则确定所述深度参数为最优。然后判断融合影像与实际影像之差值是否小于第三门限值，如果是，则表示获得最佳折射的器官和组织融合影像；如果否，则重复调整透射系数与像素深度，直到融合影像与实际影像的差小于第三门限值。

优化参数c(z)的调整概念为，通过调整透射参数pm与深度参数，使得融合影像能够更逼近实体影像，因此希望c(z)的值越小越好，但是融合影像的调整时间越长，因此本领域技术人员可根据个人对融合影像逼真性和实时性的需求，来设定第一门限值与第二门限值与第三门限值。

优选地，在根据三维坐标与透射参数建立融合影像的过程中，还包括，利用半透明材质模型与所述透射参数建立所述融合影像。其中透射参数包括分散系数、吸收系数以及折射率。

上述半透明材质模型如下：

其中，sd为像素的光强度；ft为菲涅尔透射函数；xi为光线进入器官和组织的入射位置；xo为光线的离开器官和组织的折射位置；ωi为入射角度；ωo为折射角度；pd为器官和组织的散射曲线函数。

上述调整透射参数并重新调整融合影像的步骤还包括根据调整后的融合影像重新计算优化参数以重新调整透射参数。

上述重建三维影像模型的方法还包括，根据调整后的透射参数调整三维坐标的深度参数，直到优化参数小于门限值。重复调整透射参数与三维坐标，直到融合影像与实际影像的差小于门限值。

在优化透射参数pm与深度参数方面，首先，取初始点以及初始矩阵，然后对目标矩阵进行偏微分以获取梯度向量，如果其结果小于预设精度要求则停止计算，得到的是最优解，如果否，则计算搜索方向以逐次获取最优解。

另外，如果是器官和组织的部分为半透明材质，则可选择半透明材质模型sd对影像进行优化，为减少计算时间，pd采用以下函数计算：

其中σtr为有效传递系数；r＝||xo-xi||；dr为器官和组织表面施加磁力的点受到磁极的影响力；zr为真实光源到器官和组织表面的正相关系数。

半透明材质器官和组织的像素深度si关联于透射参数pm。因此通过上述透射参数pm，可以校正半透明模型，使得融合影像的半透明部分更逼近于实体影像。

为进一步提高影像定量的准确性，本发明通过与器官和组织体积大小有关的体积因子tb，以及与位置相关的位置衰减因子ta的乘积作为重建所需要的模型变量t，通过模型变量t进行插值，以进行适度化重建。

所述模型变量t用于描述不同位置的衰减因子差值，可将重建的过程与不同位置的衰减因子建立关系，进行快速重建。优选的实施例包括：确定关于扫描平面中的每个扫描位置(x，y)的衰减因子h(x，y)；根据所述衰减因子h(x，y)确定所述扫描平面中的每个扫描位置(x，y)相对于所述扫描平面内的基准位置的衰减距离所对应的位置模型变量ta；产生与至少一个光源在所述扫描平面上的投射影像g(x，y)，所述投射影像的每一像素对应所述扫描平面中的扫描位置(x，y)，且原始影像中的像素对应所述基准位置；根据每个像素与对应所述基准位置的像素间的距离确定相应的衰减距离，以确定每一像素相应的位置模型变量ta；根据所述投射影像g(x，y)以及所述衰减因子h(x，y)，对所述投射影像g(x，y)的每一像素进行重建运算以产生初始重建影像v(x，y)；以及对所述投射影像g(x，y)的每个像素对应的扫描位置(x，y)进行迭代运算，经过k次迭代运算后，形成迭代重建影像vk+1(x，y)，即为：

其中t是该位置模型变量ta与体积因子tb的积。

所述衰减因子可以是以基准位置为中心，其他扫描位置对所述基准位置的距离所具有的分辨率的半高全宽值。所述基准位置是扫描平面上的中心位置。而衰减距离则指所述扫描平面上的扫描位置(x，y)相对于所述基准位置的径向距离。每个像素v(k+1)(x，y)在重建过程中对应不同的衰减因子。

综上所述，本发明提出了一种基于医学教育的对象三维绘制方法，以较低的软硬件成本，有效提高了三维影像质量和运算效率，同时解决了现有重建方法的影像失真问题和现有远程重建方法的有限带宽和有限存储空间的问题。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界或者这种范围和边界的等同形式内的全部变化和修改例。