基于单目相机重建的虚实融合渲染方法及装置

1.本发明涉及医学图像处理的技术领域，尤其涉及一种基于单目相机重建的虚实融合渲染方法，以及基于单目相机重建的虚实融合渲染装置，主要用于增强现实显示中的目标虚实遮挡处理。


背景技术：

2.当前，医疗级的增强现实显示技术都是将虚拟模型叠加在真实目标上，但虚实叠加并未处理深度问题，仅仅将虚拟模型放置在空间中的特定位置，这样导致当真实目标遮挡虚拟模型时，虚拟模型仍然飘在目标前方，缺乏深度方向的真实感。
3.在医疗领域，当重要组织的三维虚拟模型与真实环境增强融合后，若能获取相机与真实目标和虚拟模型的深度信息，则医生可以看见皮下重要组织的方位，同时也不会因为虚拟模型漂浮在皮肤上方而导致皮肤外的组织看不清。


技术实现要素：

4.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于单目相机重建的虚实融合渲染方法，其能够解决虚实互相遮挡时显示缺乏深度感的问题，提升了医生对增强现实显示中的深度感知，能够更精准地获取虚拟模型与真实解剖结构的位置关系，有助于手术视野的拓展。
5.本发明的技术方案是：这种基于单目相机重建的虚实融合渲染方法，其包括以下步骤：
6.(1)通过单目相机对真实场景的实时重建，获得真实目标的三维点云信息；
7.(2)通过计算单目相机光心到真实目标三维点云的距离以及光心到虚拟模型的距离来判断虚拟模型是否被遮挡；
8.(3)被遮挡的虚拟模型的部分仅渲染边缘轮廓，未被遮挡的部分正常渲染显示。
9.本发明通过单目相机对真实解剖结构的实时三维重建，确定了相机光心与真实目标的深度信息，进而可以判断虚拟模型的每一个点是否被真实目标遮挡，被遮挡的虚拟模型部分由点云的轮廓反投影至真实目标表面显示，未被遮挡的虚拟模型部分全部正常显示，因此能够解决虚实互相遮挡时显示缺乏深度感的问题，提升了医生对增强现实显示中的深度感知，能够更精准地获取虚拟模型与真实解剖结构的位置关系，有助于手术视野的拓展。
10.还提供了一种基于单目相机重建的虚实融合渲染方法，该方法包括以下步骤：
11.(a)获取ct或mri影像数据：利用ct设备或核磁设备对病人的预定部位进行术前扫描，以获取术前ct或mri影像；
12.(b)对ct或mri影像中的病人重要组织结构部分进行分割和三维重建，在模型空间中建立病人的重要组织三维模拟模型；
13.(c)执行空间配准，将重要组织三维虚拟模型转移至患者空间；
14.(d)计算相机光心与虚拟模型每个点的方向矢量基于orb_slam算法对单目相机视场内的解剖结构实时三维重建，获得真实目标的三维结构点云r；
15.(e)获取方向矢量与三维重建点云r的所有交点q
(i,j)(j＝1,2,
…
m)
，其中，m为交点个数；计算光心点c与交点集q
(i,j)
以及c与虚拟点pi的距离；
16.(f)判断点pi是否被遮挡：当点c与交点集q
(i,j)
中距离的最小值小于c与虚拟点pi的距离时，点pi被遮挡；当点c与交点集q
(i,j)
中距离的最小值不小于c与虚拟点pi的距离时，点pi未被遮挡；
17.(g)将被遮挡和未被遮挡的点集分隔开：被遮挡的点云根据相机视角提取边缘点集pb，边缘点集pb中的每一个点与光心c相连的矢量与点云r相交，则与光心c最近的交点替换边缘点显示在相机的像平面上；未被遮挡的点集pn全部正常显示。
18.还提供了基于单目相机重建的虚实融合渲染装置，其包括：
19.实时重建模块，其通过单目相机对真实场景的实时重建，获得真实目标的三维点云信息；
20.遮挡判断模块，其通过计算单目相机光心到真实目标三维点云的距离以及光心到虚拟模型的距离来判断虚拟模型是否被遮挡；
21.渲染模块，其配置为被遮挡的虚拟模型的部分仅渲染边缘轮廓，未被遮挡的部分正常渲染显示。
附图说明
22.图1示出了根据本发明的第一种基于单目相机重建的虚实融合渲染方法的流程图。
23.图2示出了根据本发明的第二种基于单目相机重建的虚实融合渲染方法的流程图。
24.图3示出了单目相机的虚实融合视角示意图。
具体实施方式
25.解决虚实互相遮挡导致看不清的问题的有效方式是实时获取相机与真实目标和虚拟模型的深度信息，并基于深度信息对虚拟模型进行分层次渲染，使被遮挡的虚拟部分只显示边缘轮廓，不被遮挡的虚拟部分正常显示所有点云。通过用边缘轮廓代替被遮挡的全部点云后，虚拟模型被遮挡的部分不会因为飘在真实目标前方而遮挡真实目标。
26.如图1所示，这种基于单目相机重建的虚实融合渲染方法，其包括以下步骤：
27.(1)通过单目相机对真实场景的实时重建，获得真实目标的三维点云信息；
28.(2)通过计算单目相机光心到真实目标三维点云的距离以及光心到虚拟模型的距离来判断虚拟模型是否被遮挡；
29.(3)被遮挡的虚拟模型的部分仅渲染边缘轮廓，未被遮挡的部分正常渲染显示。
30.本发明通过单目相机对真实解剖结构的实时三维重建，确定了相机光心与真实目标的深度信息，进而可以判断虚拟模型的每一个点是否被真实目标遮挡，被遮挡的虚拟模
型部分由点云的轮廓反投影至真实目标表面显示，未被遮挡的虚拟模型部分全部正常显示，因此能够解决虚实互相遮挡时显示缺乏深度感的问题，提升了医生对增强现实显示中的深度感知，能够更精准地获取虚拟模型与真实解剖结构的位置关系，有助于手术视野的拓展。
31.优选地，所述步骤(1)中，获取ct或mri影像，并进行重要组织的分割和三维重建；当执行空间配准后，虚拟模型被转换至真实患者空间；通过单目相机重建方法获取相机视场内的所有解剖结构的三维点云。
32.优选地，所述步骤(2)中，计算相机光心与虚拟模型上每一个点的方向矢量，然后计算此方向矢量与上面重建的三维点云的所有交点；对于虚拟模型上的任意一个点，计算其对应的方向矢量与解剖结构重建的三维点云的交点与相机光心的距离；若光心与每一个交点的距离的最小值大于光心与虚拟模型上的这个点的距离，则认为虚拟模型的这个点没有被真实目标遮挡；若光心与每一个交点的距离的最小值小于光心与虚拟模型上的这个点的距离，则认为虚拟模型的这个点被真实目标遮挡。
33.优选地，所述步骤(3)中，将虚拟模型上没有被遮挡的点集全部渲染显示；将被真实目标遮挡的点集根据相机视角提取其边缘点，并把这些边缘点根据相机视角方向反投影至真实目标的表面，形成在真实目标表面上的虚拟轮廓。
34.如图2所示，还提供了一种详细具体的基于单目相机重建的虚实融合渲染方法，该方法包括以下步骤：
35.(a)获取ct或mri影像数据：利用ct设备或核磁设备对病人的预定部位进行术前扫描，以获取术前ct或mri影像；
36.(b)对ct或mri影像中的病人重要组织结构部分进行分割和三维重建，在模型空间中建立病人的重要组织三维模拟模型；
37.(c)执行空间配准，将重要组织三维虚拟模型转移至患者空间；
38.(d)计算相机光心与虚拟模型每个点的方向矢量基于orb_slam算法对单目相机视场内的解剖结构实时三维重建，获得真实目标的三维结构点云r；该部分所有参数的描述如图3所示；
39.(e)获取方向矢量与三维重建点云r的所有交点q
(i,j)(j＝1,2,
…
m)
，其中，m为交点个数；计算光心点c与交点集q
(i,j)
以及c与虚拟点pi的距离；
40.(f)判断点pi是否被遮挡：当点c与交点集q
(i,j)
中距离的最小值小于c与虚拟点pi的距离时，点pi被遮挡；当点c与交点集q
(i,j)
中距离的最小值不小于c与虚拟点pi的距离时，点pi未被遮挡；
41.(g)将被遮挡和未被遮挡的点集分隔开：被遮挡的点云根据相机视角提取边缘点集pb，边缘点集pb中的每一个点与光心c相连的矢量与点云r相交，则与光心c最近的交点替换边缘点显示在相机的像平面上；未被遮挡的点集pn全部正常显示。最终可以获得具有较强深度感的虚实融合效果。
42.本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，
该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括基于单目相机重建的虚实融合渲染装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
43.实时重建模块，其通过单目相机对真实场景的实时重建，获得真实目标的三维点云信息；
44.遮挡判断模块，其通过计算单目相机光心到真实目标三维点云的距离以及光心到虚拟模型的距离来判断虚拟模型是否被遮挡；
45.渲染模块，其配置为被遮挡的虚拟模型的部分仅渲染边缘轮廓，未被遮挡的部分正常渲染显示。
46.优选地，所述实时重建模块中，获取ct或mri影像，并进行重要组织的分割和三维重建；当执行空间配准后，虚拟模型被转换至真实患者空间；通过单目相机重建方法获取相机视场内的所有解剖结构的三维点云。
47.优选地，所述遮挡判断模块中，计算相机光心与虚拟模型上每一个点的方向矢量，然后计算此方向矢量与上面重建的三维点云的所有交点；对于虚拟模型上的任意一个点，计算其对应的方向矢量与解剖结构重建的三维点云的交点与相机光心的距离；若光心与每一个交点的距离的最小值大于光心与虚拟模型上的这个点的距离，则认为虚拟模型的这个点没有被真实目标遮挡；若光心与每一个交点的距离的最小值小于光心与虚拟模型上的这个点的距离，则认为虚拟模型的这个点被真实目标遮挡。
48.优选地，所述渲染模块中，将虚拟模型上没有被遮挡的点集全部渲染显示；将被真实目标遮挡的点集根据相机视角提取其边缘点，并把这些边缘点根据相机视角方向反投影至真实目标的表面，形成在真实目标表面上的虚拟轮廓。
49.以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。