获取高精度三维荧光图像的方法、装置、存储介质和终端与流程

1.本发明涉及计算机软件/图像处理，尤其涉及的是一种获取高精度三维荧光图像的方法、装置、存储介质和终端。


背景技术：

2.近年来，基于吲哚菁绿的荧光导航系统已在外科手术中被广泛应用，特别地，在整形外科的手术中，具备定量分析功能的近红外荧光导航内窥镜系统，能在术中实现组织血供的量化评估，若荧光强度达到一定的标准值，则说明该组织血供正常；若荧光低于该标准值，则说明该组织血供不良，组织坏死的风险较高，医生则可以根据这个评价及时地对组织伤口进行二次处理，能有效降低患者在术后出现问题的风险。
3.现阶段，荧光导航系统主要由传统的二维图像传感器组成，系统采集得到的可见光图像和荧光图像只采集了术中组织在x、y平面上的亮度、颜色信息，在临床应用时，由于难以保证采集距离的一致性，因此，图像上的荧光强度会在一定程度上受影响，无法精准地采集到荧光强度。
4.另外，个别导航系统加入点激光传感器，获取深度信息，用于估算导航系统到组织的大致距离。但点激光传感器只能覆盖组织的单点区域，无法覆盖整体。而特别地，在整形外科应用中，往往需要采集非平面、弯曲程度较大组织的图像，例如脚部、腿部、背部、乳房的皮瓣，其自身每个区域都可能存在比较明显的深度信息差异，这会对组织荧光强度的测量准确性带来显著影响。
5.因此，现有的技术还有待于改进和发展。


技术实现要素：

6.本发明的目的在于提供一种获取高精度三维荧光图像的方法、装置、存储介质和终端，旨在解决现有技术中的一个或多个问题。
7.本发明的技术方案如下：本技术方案提供一种获取高精度三维荧光图像的方法，具体包括以下步骤：获取二维荧光图像和三维深度图像，所述二维荧光图像的像素单元和所述三维深度图像的像素单元一一对应；根据所述二维荧光图像得出所述二维荧光图像中每个像素单元的荧光信息，根据所述三维深度图像得出所述三维深度图像中每个像素单元的深度信息；将所述二维荧光图像中每个像素单元的荧光信息和所述三维深度图像中每个像素单元的深度信息进行融合，形成三维荧光图像；根据所述深度信息得出所述三维荧光图像中每个像素单元的荧光强度值的补偿权重；根据所述补偿权重对所述三维荧光图像中每个像素单元进行荧光强度值的补偿处理，得到补偿后的三维荧光图像；
输出所述补偿后的三维荧光图像。
8.本技术方案中，通过同时采集二维荧光图像和三维深度图像，将三维深度图像上每个像素单元的深度信息复制到二维荧光图像对应的像素单元上，以形成三维荧光图像，再根据三维深度图像上的深度信息计算出三维荧光图像每个像素单元的荧光强度补偿系数，根据补偿系数对三维荧光图像进行补偿处理，以获得高精度的三维荧光图像；特别是荧光导航系统在获取非平面的三维荧光图像时，解决因非平面中不同区域可能存在比较明显的深度信息差异造成对组织荧光强度的测量准确性带来显著影响的问题。
9.进一步地，所述二维荧光图像的获取通过二维荧光导航系统的荧光相机获取；所述三维深度图像通过深度相机获取。
10.进一步地，在使用前，所述荧光相机和深度相机在系统内部已经将视野调整匹配。
11.进一步地，所述荧光信息是指所述二维荧光图像中每个像素单元的rgb信息；所述深度信息是指所述三维深度图像中每个像素单元的深度信息。
12.进一步地，将所述二维荧光图像中每个像素单元的荧光信息和所述三维深度图像中每个像素单元的深度信息进行融合，形成三维荧光图像，具体包括以下过程：遍历所述三维深度图像和所述二维荧光图像，将三维深度图像上每个像素单元的深度信息，逐个复制到二维荧光图像上对应的像素单元的rgb信息上，得到rgbd结构的点云数据，即形成了三维荧光图像。
13.进一步地，根据所述深度信息得出所述三维荧光图像中每个像素单元的荧光强度值的补偿权重，具体通过以下方式实现：通过所述深度信息和所述荧光强度值的补偿权重的关系式实现；或通过查表实现。
14.进一步地，根据所述补偿权重对所述三维荧光图像中每个像素单元进行荧光强度值的补偿处理，得到补偿后的三维荧光图像，具体过程如下：根据所述补偿权重对所述三维荧光图像中每个像素单元进行荧光强度值的补偿处理，所述三维荧光图像的点云数据的rgb信息也对应进行更新，得到补偿后的三维荧光图像。
15.本技术方案还提供一种获取高精度三维荧光图像的装置，具体包括以下步骤：图像获取模块，获取二维荧光图像和三维深度图像，所述二维荧光图像的像素单元和所述三维深度图像的像素单元一一对应；信息获取模块，根据所述二维荧光图像得出所述二维荧光图像中每个像素单元的荧光信息，根据所述三维深度图像得出所述三维深度图像中每个像素单元的深度信息；信息融合模块，将所述二维荧光图像中每个像素单元的荧光信息和所述三维深度图像中每个像素单元的深度信息进行融合，形成三维荧光图像；补偿权重获取模块，根据所述深度信息得出所述三维荧光图像中每个像素单元的荧光强度值的补偿权重；补偿处理模块，根据所述补偿权重对所述三维荧光图像中每个像素单元进行荧光强度值的补偿处理，得到补偿后的三维荧光图像；图像输出模块，输出所述补偿后的三维荧光图像。
16.本技术方案还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述任一项所述的方法。
17.本技术方案还提供一种终端，包括处理器和存储器，所述存储器中存储有计算机
程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述任一项所述的方法。
18.通过上述可知，本技术方案通过同时采集二维荧光图像和三维深度图像，将三维深度图像上每个像素单元的深度信息复制到二维荧光图像对应的像素单元上，以形成三维荧光图像，再根据三维深度图像上的深度信息计算出三维荧光图像每个像素单元的荧光强度补偿系数，根据补偿系数对三维荧光图像进行补偿处理，以获得高精度的三维荧光图像；特别是荧光导航系统在获取非平面的三维荧光图像时，解决因非平面中不同区域可能存在比较明显的深度信息差异造成对组织荧光强度的测量准确性带来显著影响的问题；本技术方案可以完整采集整个测量对象每个位置的深度信息，根据采集到的深度信息进一步提高荧光强度的准确性，同步输出三维荧光图像，能以更直观的方式呈现目标组织的三维形态，提高输出三维荧光图像的精度。
附图说明
19.图1是本发明中获取高精度三维荧光图像的方法的步骤流程图。
20.图2是本发明中获取高精度三维荧光图像的装置的示意图。
21.图3是本发明中三维荧光导航系统的示意图。
22.图4是本发明中终端的示意图。
23.图5是本发明中光源发射光线照射物面的示意图。
24.图6是本发明中同一物面发出的光线照射到不同距离的点的成像区域示意图。
25.图7是本发明中物面发射光线照射到图像传感器上的示意图。
26.图8是本发明中荧光导航内窥镜系统中光源照射物面和物面成像于图像传感器上的示意图。
具体实施方式
27.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
29.如图1所示，一种获取高精度三维荧光图像的方法，适用于高精度三维荧光图像的获取，特别适用于非平面高精度三维荧光图像的获取，具体包括以下步骤：s1：获取二维荧光图像和三维深度图像，所述二维荧光图像的像素单元和所述三维深度图像的像素单元一一对应。
30.其中，所述二维荧光图像的获取通过二维荧光导航系统的荧光相机获取。
31.其中，所述三维深度图像通过深度相机（深度相机相比较传统的相机，深度相机在
功能上添加了一个深度测量，从而更方便准确的感知周围的环境及变化）获取。本实施例中，所述深度相机可以根据实际需要采用双目视觉、tof深度相机、激光光斑投影、结构光等三维成像方式，其目标都是获取拍摄对象的三维成像信息。通过引入深度相机模块，为荧光图像提供深度信息，有效减少因测量距离不一致而影响测量准确度的问题。
32.在使用前，所述荧光相机和深度相机在系统内部已经将视野调整匹配：如基于光学分光原理，使到荧光相机与深度相机的光路共轴，即可达到视野一致；或者可以基于图形匹配、仿射变换等图像算法做处理，达到视野一致。其中，所述深度相机和荧光相机的视野一致，为每个位置的荧光信息做补偿，显著提高非平面组织的荧光强度准确度。
33.s2：根据所述二维荧光图像得出所述二维荧光图像中每个像素单元的荧光信息，根据所述三维深度图像得出所述三维深度图像中每个像素单元的深度信息。
34.其中，所述荧光信息是指所述二维荧光图像中每个像素单元的rgb信息（rgb即是代表红、绿、蓝三个通道的颜色）；而所述深度信息是指所述三维深度图像中每个像素单元的depth（即深度）信息，即所述三维深度图像中每个像素单元相对于某一基准面的深度距离，所述某一基准面可以根据需要设置，如所述三维深度图像中所在高度最低的点所在的平面，或所述三维深度图像中所在高度最高的点所在的平面，等。
35.其中，将采集得到的二维荧光图像和三维深度图像同步传输到多视频信号采集与处理系统中的处理单元进行处理，得到所述二维荧光图像中每个像素单元的荧光信息和所述三维深度图像中每个像素单元的深度信息。
36.s3：将所述二维荧光图像中每个像素单元的荧光信息和所述三维深度图像中每个像素单元的深度信息进行融合，形成三维荧光图像。
37.其中，所述多视频信号采集与处理系统中的处理单元遍历所述三维深度图像和所述二维荧光图像，将三维深度图像上每个像素单元(x,y)的深度信息depth，逐个复制到二维荧光图像上对应的像素单元(x,y)的颜色信息rgb上，得到rgbd结构的点云数据，即形成了三维荧光图像。其中x
‑
y平面上仍然是二维荧光图像的rgb信息，而z方向上则是三维深度图像的depth信息。
38.s4：根据所述深度信息得出所述三维荧光图像中每个像素单元的荧光强度值的补偿权重。
39.其中，根据“荧光强度补偿
‑
距离”的关系式（为荧光强度值的补偿权重，d为三维深度图像上每个像素单元的深度（即距离信息），f为函数关系式），即可得到不同深度距离d对应的荧光强度的补偿系数。注意，该函数关系式可根据不同荧光导航系统的多次独立实验结果得到，可以是线性关系，或非线性关系，或者通过查表得到。
40.例如，从实验中归纳拟合得出理想三维荧光导航系统（所述理想三维荧光导航系统是指：假设三维荧光导航系统中，相机端的光圈、快门、增益都是固定值，关闭自动曝光的功能）的关系式为：，从实验中归纳拟合该公式的过程如下：1. 得出光源到达物面时，能量与距离的关系如下：如图5所示，光源分别在位1和位2对物面s进行照射。其中，位1离物面s的距离是d1，出光发射角是1；位2离物面s的距离是d2，出光发散角是2；假设光源发出的总能量为q、位1到达物面的能量为q1、位2到达物面的能量为q2，则有：
，由于距离越短，发射角越大，到达物面的能量越多，根据立体角的计算关系可知，发射角和距离d是反平方关系，因此有：。
41.2. 当成像在图像传感器上时，能量与距离的关系如下：不同于第1点中光源直接照射到物面s，若通过光学镜头成像在图像传感器上时（此时由成像物发出光源照射到光学镜头成像），成像物体靠近镜头时，成像物发出一样的能量为q，能量为q到达位1的图像传感器的总能量为q1’, 能量为q到达位2的图像传感器的总能量为q2’，在图像传感器靶面上每个像素的能量会因为成像大小的变化而变化。如果分布广，则能量会被摊分，例如位1发射角虽然更大，但摊分能量会更多，则单个像素点的能量会减少。如图6所示，假设物体在位1成像大小为n*n，而位2成像大小为m*m，假设位1、位2图像传感器中成像的图像上每个像素能量分别是q1”和q2”， 如图7所示，则有：因此，在摄像系统上，不同距离下发出的光的能量，到达图像传感器上的能量比值是：即主动辐射发光的物体，通过摄像系统的捕捉后，其物体的能量不会随着距离而损耗。
42.3.荧光内镜系统的能量损失如下：由图8可知，这种情况不同于“主动辐射发光”的情景，这里物面s需要被动接收光纤发出的光，然后再由物面s发射光回到摄像系统，因此，这里会涉及到两次的发射角损耗的问题：1）光纤出光发散到物面s，发散角为；2）物面s反射光回到摄像系统，而摄像系统的光阑会限制摄像机的采集光纤的角度，类似于发散角。而角的损耗是可以通过成像系统来抵消的，证明如上述第2点，但光纤出光的发散角损失是没有抵消的，因此，在该荧光内镜系统下，假设位1、位2上每个像素能量分别是q1
’’’
和q2
’’’
，联合上述第1点、第2点，则
有：综上，即可证明，在荧光内镜系统下，能量与距离成反平方关系，所以能量补偿系数与距离成平方关系（由此可知，距离越近，能量就与距离成反平方关系；因此，要补偿能量的损失，就需要采用与前述反平方关系对应的正平方关系的能量补偿系数进行补偿）。假设α为补偿系数，d为光纤出光到物面的距离，θ是常量系数，则有：。
43.如，θ=0.5（θ为权值系数，θ与三维荧光导航系统的衰减速度相关（这里的衰减速度和摄像系统采用的图像传感器芯片中红外特定波段的量子效率有关），三维荧光导航系统的衰减速度快，θ的值就大，三维荧光导航系统的衰减速度慢，θ的值就小），d的单位是厘米，当d=0时，=1；当d=1时，=1.5；当d=2时，=3。
44.上述补偿系数α的公式适用于理想三维荧光导航系统得到的三维荧光图像中每个像素单元的荧光强度值的补偿；而对于一般的三维荧光导航系统，还需要考虑三维荧光导航系统中摄像系统的增益和曝光时间因素的影响。
45.s5：根据所述补偿权重对所述三维荧光图像中每个像素单元进行荧光强度值的补偿处理，得到补偿后的三维荧光图像。
46.其中，对应到三维荧光图像上，即可根据每一个像素点的depth信息，得到每一个像素点荧光强度值的补偿系数。其中，补偿后的三维荧光图像image’=image*，image’为补偿后的三维荧光图像，image为补偿前的三维荧光图像，其中是补偿系数的集合，包含了对应image分辨率大小下所有像素点的补偿系数。同时，三维荧光图像的点云数据的rgb信息也根据image’进行更新，得到新的三维形态。
47.s6：输出所述补偿后的三维荧光图像。
48.其中，输出补偿后的三维荧光图像：如，输出在显示器上完成显示，或者输出用于其他定量测量处理。
49.如图2所示，一种获取高精度三维荧光图像的装置，具体包括以下步骤：图像获取模块101，获取二维荧光图像和三维深度图像，所述二维荧光图像的像素单元和所述三维深度图像的像素单元一一对应；信息获取模块102，根据所述二维荧光图像得出所述二维荧光图像中每个像素单元的荧光信息，根据所述三维深度图像得出所述三维深度图像中每个像素单元的深度信息；信息融合模块103，将所述二维荧光图像中每个像素单元的荧光信息和所述三维深度图像中每个像素单元的深度信息进行融合，形成三维荧光图像；补偿权重获取模块104，根据所述深度信息得出所述三维荧光图像中每个像素单元的荧光强度值的补偿权重；补偿处理模块105，根据所述补偿权重对所述三维荧光图像中每个像素单元进行荧光强度值的补偿处理，得到补偿后的三维荧光图像；图像输出模106，输出所述补偿后的三维荧光图像。
50.本技术方案中，如图3所示，所述获取高精度三维荧光图像的装置可以采用三维荧光导航系统实现，所述三维荧光导航系包括二维荧光导航系统3（所述二维荧光导航系统3包括荧光相机2）、深度相机1、多视频信号采集与处理系统4；其中，二维荧光导航系统3和深度相机1都内置并属于多视频信号采集与处理系统4。
51.在二维荧光导航系统3采集图像信号的时候，深度相机1同步采集图像信号，例如采集脚部6的图像信号。特别地，该深度相机1和二维荧光导航系统3的荧光相机2在系统内部已经将视野调整匹配。两种图像信号在多视频信号采集与处理系统4内部进行同步采集，并传输到多视频信号采集与处理系统4中的处理单元进行信号处理，即可将深度图像信息融合到荧光图像中，形成三维荧光图像。同时，多视频信号采集与处理系统4中的处理单元计算出三维荧光图像中每个位置的补偿权重，并完成三维荧光图像的荧光强度补偿。最终，系统将实时输出补偿后、具备三维信息的三维荧光图像，并在显示器5上完成图像显示，或者进行其他定量测量处理。
52.请参照图4，本发明实施例还提供一种终端。如示，终端300包括处理器301和存储器302。其中，处理器301与存储器302电性连接。处理器301是终端300的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或调用存储在存储器302内的计算机程序，以及调用存储在存储器302内的数据，执行终端的各种功能和处理数据，从而对终端300进行整体监控。
53.在本实施例中，终端300中的处理器301会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现各种功能：获取二维荧光图像和三维深度图像，所述二维荧光图像的像素单元和所述三维深度图像的像素单元一一对应；根据所述二维荧光图像得出所述二维荧光图像中每个像素单元的荧光信息，根据所述三维深度图像得出所述三维深度图像中每个像素单元的深度信息；将所述二维荧光图像中每个像素单元的荧光信息和所述三维深度图像中每个像素单元的深度信息进行融合，形成三维荧光图像；根据所述深度信息得出所述三维荧光图像中每个像素单元的荧光强度值的补偿权重；根据所述补偿权重对所述三维荧光图像中每个像素单元进行荧光强度值的补偿处理，得到补偿后的三维荧光图像；输出所述补偿后的三维荧光图像。
54.存储器302可用于存储计算机程序和数据。存储器302存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器301通过调用存储在存储器302的计算机程序，从而执行各种功能应用以及数据处理。
55.本技术实施例提供一种存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取二维荧光图像和三维深度图像，所述二维荧光图像的像素单元和所述三维深度图像的像素单元一一对应；根据所述二维荧光图像得出所述二维荧光图像中每个像素单元的荧光信息，根据所述三维深度图像得出所述三维深度图像中每个像素单元的深度信息；将所述二维荧光图像中每个像素单元的荧光信息和所述三维深度图像中每个像素单元的深度信息进行融合，形成三维荧光图像；根据所述深度信息得出所述三维荧光图像中每个像素单元的荧光强度值的补偿权重；根据所述补偿权重对所述三维荧光图像中每个像素单元进行荧光强度值的补偿处理，得到补偿后的三维荧光图像；输出所述补偿后的三维荧光图像。其中，存储介质可以由任何类型的易
失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（static random access memory, 简称sram），电可擦除可编程只读存储器（electrically erasable programmable read
‑
only memory, 简称eeprom），可擦除可编程只读存储器（erasable programmable read only memory, 简称eprom），可编程只读存储器（programmable red
‑
only memory, 简称prom），只读存储器（read
‑
only memory, 简称rom），磁存储器，快闪存储器，磁盘或光盘。
56.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
57.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
58.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
59.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
60.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。