器官影像模型的远程重建方法与流程

1.本发明涉及三维影像重建，特别涉及一种器官影像模型的远程重建方法。


背景技术：

2.高分辨率三维影像具有更高的质量以及清晰的细节信息，对医学影像等应用领域非常重要。医学影像扫描系统需要录制模型文件并进行影像压缩后将其传输至云端，云端解压缩该模型文件后，可传输至医疗终端，以供用户实时监控；同时，云端也可用于存储影像扫描装置所采集的多个模型文件，以供用户随时调取。然而，较佳的画面流畅度及较多的影像细节信息必然需要提高模型文件的分辨率及帧率，但模型文件容量也会因此提升，进而对云端的存储空间及缓存造成更大负担。如果采用超分辨率重建等技术，则其影像边缘常有锯齿现象等失真问题。此外，现有方案的重建方法还存在信噪比较低的问题，无法针对医学影像扫描系统提出适合的影像增强机制，因此需要提供一种兼顾云端的存储空间、缓存大小、网络速度以及影像质量的高分辨率三维影像重建的方法。


技术实现要素：

3.为解决上述现有技术所存在的问题，本发明提出了一种器官影像模型的远程重建方法，包括：
4.通过医学影像扫描装置采集多帧高分辨率图块和多帧低分辨率图块；
5.由深度学习引擎对所述高分辨率图块进行多次卷积运算，以计算得出多个候选高分辨率像素集，同时对各个候选高分辨率像素集，进行至少一次所述卷积运算，以产生参考高分辨率像素集；
6.所述深度学习引擎对所述参考高分辨率像素集与所述低分辨率图块进行至少一次所述卷积运算后，产生后处理残差值；
7.由像素求和单元对所述后处理残差值和所述低分辨率图块进行像素求和运算，以计算得出同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块；以及
8.由双向预测器接收所述正向预测高分辨率图块和所述反向预测高分辨率图块后，对所述正向预测高分辨率图块和所述反向预测高分辨率图块进行至少一次所述卷积运算，以产生超分辨率图块；
9.其中，当一帧所述高分辨率图块与上一时间戳的一帧所述低分辨率图块按序执行所述生成候选像素集与参考像素集，产生后处理残差值并产生预测高分辨率图块步骤后，即产生所述反向预测高分辨率图块。
10.优选地，所述深度学习引擎具有输入层、嵌入层和输出层，所述输入层用于输入要进行卷积运算的图块或残差值，所述嵌入层用于存储多项参数，用于确定所述卷积运算所利用的卷积核，所述输出层用于输出所述卷积运算之运算结果。
11.优选地，所述多项参数为所述输入层可利用不同的所述卷积核，分别对所述高分辨率图块进行多次所述卷积运算，以计算得出该多个候选高分辨率像素集，且所述输入层
可再利用最小像素的卷积核，同时对各个候选高分辨率像素集进行所述卷积运算，以计算得出所述参考高分辨率像素集。
12.优选地，所述多项参数为所述输入层可利用所述卷积核，同时对所述参考高分辨率像素集和所述低分辨率图块进行卷积运算，以计算得出影像叠加残差值。
13.本发明相比现有技术，具有以下优点：
14.本发明提出了一种器官影像模型的远程重建方法，以较低的软硬件成本，有效提高了三维影像质量和运算效率，同时解决了现有重建方法的影像失真问题和现有远程重建方法的有限带宽和有限存储空间的问题。
附图说明
15.图1是根据本发明实施例的器官影像模型的远程重建方法的流程图。
具体实施方式
16.下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的些或者所有细节也可以根据权利要求书实现本发明。
17.本发明的方面提供了一种器官影像模型的远程重建方法。所述方法由本发明的医学影像扫描重建系统来实现。该系统包括：多层缓存模块、深度学习引擎、渲染重建引擎和双向预测器；多层缓存模块接收影像扫描装置所采集具有较低帧率的多帧高分辨率图块和较高帧率的多帧低分辨率图块，深度学习引擎、渲染重建引擎和双向预测器进行超分辨率重建模型渲染，以计算得出超分辨率图块，并按序传输至医疗终端，以供用户查看三维影像，本发明以深度学习引擎作为超分辨率重建方法中影像候选样本的选择机制和模型渲染机制，由于深度学习引擎的迭代式训练和学习，采集到更为精确的影像细节。
18.图1是根据本发明实施例的器官影像模型的远程重建方法流程图。医学影像扫描重建系统可通过网络分别与影像扫描装置和医疗终端建立通信连接，所述影像扫描装置可采集高分辨率模型文件和低分辨率模型文件，并传输至医学影像扫描重建系统，以缓存、解码和超分辨率重建，影像扫描装置所采集的高分辨率模型文件的帧率可小于或等于低分辨率模型文件。当医学影像扫描重建系统完成超分辨率重建模型渲染后，则产生具有高帧率和高分辨率的超分辨率图块，在被缓存和影像编码后，即可按序传输至医疗终端，以供用户查看具有超分辨率影像质量的三维影像。
19.在医学影像扫描重建系统接收影像扫描装置所采集具有较低帧率的多帧高分辨率图块和具有较高帧率的多帧低分辨率图块之后，并以采样帧数t确定影像扫描装置所采集的图块帧数，如果t＝2，则影像扫描装置采集1帧高分辨率图块和1帧低分辨率图块；如果t＝5，则影像扫描装置会采集1帧高分辨率图块和4帧低分辨率图块。采样帧数t值确定影像扫描装置所连续采集的图块帧数，且影像扫描装置所采集的图块中，至少包含1帧高分辨率图块。在优选的实施例中，其余图块均为低分辨率图块，由此可解决影像扫描装置存储空间和传输带宽有限的问题。当影像扫描装置采集完上述图块时，即提交至影像压缩模块进行
影像压缩，所述压缩以降低比特率的方式减少模型文件大小，然后提交至第一传输模块进行传输。第一传输模块将经过影像压缩模块压缩后的上述图块预先分割为多个报文，再传输至医学影像扫描重建系统。
20.当医学影像扫描重建系统接收到第一传输模块所传输的多个报文后，即先暂存于模型缓存，模型缓存再通信连接至影像解码器，以对前述的多个报文进行解压缩，进而解码出上述图块，然后，影像解码器将上述图块暂存于多层缓存模块后，多层缓存模块再通信连接至存储模块，以存储经过解码且不需要长期保存的三维影像。在优选的实施例中，模型缓存可直接通信连接至存储模块以有效节省存储空间。而当多层缓存模块接收到经解码的上述图块后，将解码后的上述图块传输至深度学习引擎，然后深度学习引擎可对影像扫描装置所采集的图块进行超分辨率重建模型渲染。在进行超分辨率重建模型渲染前，对于深度学习引擎所接收的高分辨率图块和低分辨率图块，渲染重建引擎可通过最近邻插值、双线性插值等插值方式，将低分辨率图块放大到与高分辨率图块相同大小，进而计算得出超分辨率图块，并暂存于多层缓存模块。然后，影像编码器对超分辨率图块进行影像编码后，暂存于模型缓存。最后，模型缓存将超分辨率图块传输至医疗终端。
21.所述深度学习引擎包括输入层、嵌入层和输出层，输入层用于输入要进行卷积运算的图块或残差值；嵌入层用于存储多项参数，以确定深度学习引擎进行卷积运算的像素滤波单元；输出层用于输出卷积运算的运算结果；渲染重建引擎的偏移计算单元进行像素偏移量计算，以减少各连续图块所产生的偏移量差值，进而筛选出与低分辨率图块有最小像素偏移量的像素集；渲染重建引擎的像素求和单元用于进行像素求和运算，以分别生成可供双向预测器接收的图块；双向预测器用于接收同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块，以供深度学习引擎进行至少一次的卷积运算后，可计算得出超分辨率图块。
22.深度学习引擎的嵌入层所存储的多项参数可包括：如果为正向预测模式，且采样帧数t＝3，则输入层可对高分辨率图块，利用不同的卷积核分别进行多次卷积运算，以供输入层从第t帧高分辨率图块中计算得出多个候选高分辨率像素集作为第t+1帧，然后，为减少每个候选高分辨率像素集的候选图块数量，输入层可再对第t+1帧每个候选高分辨率像素集以更小的卷积核进行至少一次卷积运算，以产生参考的高分辨率像素集。在优选的实施例中，对于输入层对每个候选高分辨率像素集进行卷积运算后的像素集，先从其中筛选出与低分辨率图块具有最小像素偏移量的像素集，作为参考高分辨率像素集；如果为反向预测模式，则输入层可对高分辨率图块分别以不同的卷积核进行多次卷积运算，以供输入层从高分辨率图块中计算得出多个候选高分辨率像素集，然后再对多个候选高分辨率像素集以更小的卷积核进行至少一次卷积运算后，即产生参考高分辨率像素集，而对于输入层对每个候选高分辨率像素集进行卷积运算后的像素集，先从其中筛选出与低分辨率图块有最小像素偏移量的像素集，作为参考高分辨率像素集。
23.在优选的实施例中，对于深度学习引擎对每个候选高分辨率像素集进行卷积运算后所产生的像素集，在筛选出与低分辨率图块有最小像素偏移量的像素集之后，深度学习引擎同时对参考高分辨率像素集和低分辨率图块进行卷积运算，以生成影像叠加残差值，然后为调整影像叠加残差值的影像质量，深度学习引擎继续以相同或不同的卷积核对所述影像叠加残差值进行卷积运算，以产生第一后处理残差值，再对第一后处理残差值进行卷
积运算，以产生第二后处理残差值，以此类推，可从各后处理残差值中过滤较不必要的影像信息，也可通过深度学习的学习机制，增加影像的采集细节，然后深度学习引擎即以最终产生的后处理残差值，作为正向后处理残差值和反向后处理残差值，并传输至渲染重建引擎。
24.可选地，深度学习引擎也可直接以影像叠加残差值作为最终产生的后处理残差值，并传输至渲染重建引擎，当渲染重建引擎接收到正向后处理残差值和反向后处理残差值后，如果为正向预测模式，则渲染重建引擎对正向后处理残差值和低分辨率图块进行像素求和运算，以产生正向预测高分辨率图块；如果为反向预测模式，则渲染重建引擎对反向后处理残差值和低分辨率图块进行像素求和运算，以产生反向预测高分辨率图块。然后将同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块传输至双向预测器，以继续执行生成超分辨率图块的步骤，即提交至深度学习引擎进行至少一次卷积运算，以产生超分辨率图块。
25.在生成后处理残差值时，如果为正向预测模式，则深度学习引擎得出第一后处理残差值和第二后处理残差值后，深度学习引擎的输出层确定最终产生的后处理残差值为正向后处理残差值，然后提交至像素求和单元，以将正向后处理残差值和低分辨率图块进行像素求和运算，生成正向预测高分辨率图块；相对地，如果为反向预测模式，则为调整影像叠加残差值的影像细节，输入层可再对影像叠加残差值以相同或不同的像素滤波单元再进行卷积运算，以相同过程计算得出第一和第二后处理残差值，以此类推，并确定最终产生的后处理残差值为反向后处理残差值，然后再将反向后处理残差值和低分辨率图块进行像素求和运算，以生成反向预测高分辨率图块。
26.无论是正向或是反向预测模式，输入层均可对所述第二后处理残差值再进行任意多次卷积运算，以生成第三，
…
或第n后处理残差值，并以第n后处理残差值作为正向后处理残差值或反向后处理残差值，且输入层每次如果以相同的卷积核进行卷积，即可过滤更多不必要的影像噪声，进而能增加峰值信噪比。
27.最后，像素求和单元将同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块再传输至双向预测器，以继续生成超分辨率图块。
28.如果医疗终端要查看非实时的三维影像，则所述多层缓存模块先从存储模块采集出解码后的多帧高分辨率图块和多帧低分辨率图块后，并传输至深度学习引擎，也可由存储模块采集出未解码的多个报文，并将上述报文经过影像解码器解码后，再传输至深度学习引擎、渲染重建引擎和双向预测器，以计算得出超分辨率图块，然后，先暂存于多层缓存模块以供缓存，并传输至影像编码器进行编码，完成编码后即传输至模型缓存。当影像缓存和编码步骤执行完毕后，第二传输模块将各超分辨率图块传输至医疗终端，以供医疗终端可查看非实时三维影像的功能。
29.本发明的深度学习引擎在生成候选高分辨率像素集，产生后处理残差值和最终产生超分辨率图块的过程中，其所进行的卷积运算，经过不断的训练和学习后，即可采集到更为精确的影像细节。
30.为进一步提高影像定量的准确性，本发明通过与器官和组织体积大小有关的体积因子tb，以及与位置相关的位置衰减因子ta的乘积作为重建所需要的模型变量t，通过模型变量t进行插值，以进行适度化重建。
31.所述模型变量t用于描述不同位置的衰减因子差值，可将重建的过程与不同位置
的衰减因子建立关系，进行快速重建。优选的实施例包括：确定关于扫描平面中的每个扫描位置(x，y)的衰减因子h(x，y)；根据所述衰减因子h(x，y)确定所述扫描平面中的每个扫描位置(x，y)相对于所述扫描平面内的基准位置的衰减距离所对应的位置模型变量ta；产生与至少一个光源在所述扫描平面上的投射影像g(x，y)，所述投射影像的每一像素对应所述扫描平面中的扫描位置(x，y)，且原始影像中的像素对应所述基准位置；根据每个像素与对应所述基准位置的像素间的距离确定相应的衰减距离，以确定每一像素相应的位置模型变量ta；根据所述投射影像g(x，y)以及所述衰减因子h(x，y)，对所述投射影像g(x，y)的每一像素进行重建运算以产生初始重建影像v(x，y)；以及对所述投射影像g(x，y)的每个像素对应的扫描位置(x，y)进行迭代运算，经过k次迭代运算后，形成迭代重建影像v
k+1
(x，y)，即为：
[0032][0033]
其中t是该位置模型变量ta与体积因子tb的积。
[0034]
所述衰减因子可以是以基准位置为中心，其他扫描位置对所述基准位置的距离所具有的分辨率的半高全宽值。所述基准位置是扫描平面上的中心位置。而衰减距离则指所述扫描平面上的扫描位置(x，y)相对于所述基准位置的径向距离。每个像素v
(k+1)
(x，y)在重建过程中对应不同的衰减因子。
[0035]
为方便计算，本发明令重建影像的每个像素都以所述基准位置所具有的衰减因子作为对应于当前像素的衰减因子。对每个经过迭代多次后所得到的重建影像像素v
k+1
(x，y)而言，加入模型变量t进行适度的补偿。由于该模型变量t是ta与体积因子tb的积，确定体积因子tb需要先获取所述衰减因子h(x，y)，其为所述扫描平面中每个扫描位置(x，y)相对于所述扫描平面中心的距离与该医学影像扫描装置所具有之的分辨率半高全宽的关系。所述衰减因子可以通过对系统分辨率的半高全宽的特定倍数范围，给予该体积因子tb从2降至1的变化关系，而超过该半高全宽的特定倍数范围时，则该体积因子tb为1。
[0036]
接上例，迭代重建影像v
k+1
(x，y)即为经过本发明的模型所得到的优化后的的重建影像。迭代运算次数k可以根据需求以及影像重建状况而定。迭代运算次数k与模型变量t之乘积为恒定，如迭代后影像已过度重建，可以通过压低模型变量t值来抑制迭代次数造成的过度影响。根据前述的方式，可以通过调整迭代运算次数k与以及模型变量t，来控制迭代运算造成影像过度重建。
[0037]
在另一实施例中，可以考虑光源体积，即确定体积因子tb的值。然后，将位置模型变量ta和体积因子tb相乘结果作为影像重建的调整模型变量t。如此可以让体积小的光源，在影像重建中也可以产生清楚的影像。甚至在多个体积大小不同的光源时，通过体积因子tb的补偿可以得到更好解析效果的重建影像。
[0038]
如果相乘的结果使得模型变量t大于2，则利用模型变量t与迭代次数k之间乘积为恒定关系，来调整增加迭代数，以降低模型变量t值，进而避免迭代发散。
[0039]
此外，由于mri等医学影像最初为大量的二维灰度数据，通过对所述二维影像进行模型渲染和重建，形成三维影像模型。然而通过二维影像重建的三维影像并非可完全呈现出原始受测器官的几何形状及构造，而且因输入的二维影像数据量过于庞大，逐一输入每帧二维影像信息以重建成原始三维影像，会造成运算量过大。因此在本发明的进一步方面，
在确保获取精确量化对称值的前提下，用可量化的对称值来建立最优的中轴面，用于辅助医疗人员在临床诊断上的识别和校正偏差的三维影像。
[0040]
因人体不同组织或器官经扫描后呈现的影像灰度值范围会有所不同，首先故在获取医学影像数据和相关参数后设定阈值范围，即用于影像中特定部位的灰度数值范围；执行包含灰度值的误差模型，求解最优参数，用于判断二值化医学影像镜像后的相似度，通过不断的比对所输入的参数来得到最优的参数，将最优参数代入中轴线模型或中轴面模型中，用于求得最佳中轴面。通过在设定参数中输入特定阈值，有效减少输入的数据量，并通过所设定的灰度值误差模型来比对输入的影像数据，即能快速重建出三维影像，或是利用所得到的最佳中轴面或最佳中轴线经插值法重新计算后，用于校正医学仪器扫描时造成的偏差影像。
[0041]
综上所述，本发明提出了一种器官影像模型的远程重建方法，以较低的软硬件成本，有效提高了三维影像质量和运算效率，同时解决了现有重建方法的影像失真问题和现有远程重建方法的有限带宽和有限存储空间的问题。
[0042]
显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。
[0043]
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界或者这种范围和边界的等同形式内的全部变化和修改例。