增强现实显示系统、方法、计算机设备及可读存储介质与流程

1.本发明实施例涉及计算机技术，尤其涉及一种增强现实显示系统、方法、装置、计算机设备及存储介质。


背景技术：

2.随着增强现实(augmented reality，简称ar)技术的发展，其应用越来越广泛，其中一些ar应用是在实时拍摄的场景图像中叠加一些虚拟的物体，造成一种虚拟物体融入真实世界中的感觉，使观看者达到真假难辨的效果。但在传统的增强现实系统中，所采集的场景图像一般为二维图像，向其中加入的虚拟物体虽然是可以是三维模型，但叠加之后也只能做2d显示，并不能实现真实的立体显示。


技术实现要素：

3.基于此，针对上述技术问题，本发明提供一种增强现实显示系统、方法、计算机设备及可读存储介质，可以真实立体地显示虚拟物体和拍摄场景。
4.第一方面，本发明实施例提供了一种增强现实显示系统，所述增强现实显示系统包括获取设备以及控制设备；其中，所述获取设备与所述控制设备通信连接，所述获取设备用于获取拍摄场景的双视点图像以及深度信息，所述控制设备用于根据所述深度信息将虚拟物体图像与所述双视点图像进行位置重合，以得到所述虚拟物体在所述拍摄场景内的增强现实图像。
5.上述增强现实显示系统，通过获取拍摄场景的双视点图像和深度信息，可以将虚拟物体显示在拍摄场景的增强现实图像中，从而使拍摄场景的图像更加立体和真实，有效提高了用户的增强现实图像观看体验。
6.在其中一个实施例中，所述获取设备为双目摄像设备。
7.在其中一个实施例中，所述获取设备包括双目摄像设备以及深度感知设备；其中，所述双目摄像设备用于获取拍摄场景的双视点图像，所述深度感知设备用于获取场景的深度信息。
8.在其中一个实施例中，所述增强现实显示系统还包括显示设备，所述显示设备用于显示所述增强现实图像；其中，所述显示设备和观看者之间的距离与观看者瞳距的比值等于所述双目摄像设备和拍摄场景零平面之间的距离与所述双目摄像设备的摄像头间距的比值。
9.在其中一个实施例中，所述增强现实显示系统还包括：
10.轨道，所述获取设备可移动地设置在所述轨道上；
11.人眼追踪设备，与所述控制设备通信连接，所述人眼追踪设备用于获取观看者的视角移动数据，所述控制设备根据所述视角移动数据控制所述获取设备在所述轨道上移动。
12.在其中一个实施例中，所述轨道包括水平轨道以及垂直轨道，所述获取设备可移
动地设置在所述水平轨道上，所述水平轨道可移动地设置在所述竖直轨道上。
13.第二方面，本发明实施例提供了一种增强现实显示方法，应用于上述增强现实显示系统中，所述方法包括：
14.获取拍摄场景的双视点图像以及深度信息；
15.根据所述深度信息将虚拟物体图像与所述双视点图像进行位置重合；
16.得到所述虚拟物体在所述拍摄场景内的增强现实图像。
17.上述增强现实显示方法，通过获取拍摄场景的双视点图像和深度信息，可以将虚拟物体显示在拍摄场景的增强现实图像中，从而使拍摄场景的图像更加立体和真实，有效提高了用户的增强现实图像观看体验。
18.在其中一个实施例中，所述根据所述深度信息将虚拟物体图像与所述双视点图像进行位置重合的步骤包括：
19.根据所述深度信息对拍摄场景进行实时建模；
20.向建立的模型中加入虚拟物体；
21.基于所述模型确定所述虚拟物体在所述双视点图像中的位置数据。
22.在其中一个实施例中，所述得到所述虚拟物体在所述拍摄场景内的增强现实图像的步骤包括：
23.判断所述虚拟物体在所述模型内的位置是否符合预设条件；
24.在所述虚拟物体在所述模型内的位置不符合预设条件的情况下，对所述虚拟物体进行碰撞计算；
25.基于所述碰撞计算结果在所述增强现实图像内显示所述虚拟物体的运动过程。
26.在其中一个实施例中，所述方法还包括：
27.获取观看者的视角移动数据；
28.根据所述视角移动数据对所述增强现实图像进行实时更新。
29.第四方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的增强现实显示方法。
30.第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的增强现实显示方法。
附图说明
31.图1为一个实施例中增强现实显示系统的结构示意图；
32.图2为另一个实施例中增强现实显示系统的结构示意图；
33.图3为一个实施例中增强现实显示方法的流程示意图；
34.图4为一个实施例中步骤根据深度信息将虚拟物体图像与双视点图像进行位置重合的流程示意图；
35.图5为一个实施例中步骤得到虚拟物体在拍摄场景内的增强现实图像的流程示意图；
36.图6为另一个实施例中增强现实显示方法的流程示意图。
具体实施方式
37.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
38.图1为一个实施例中增强现实显示系统的结构示意图。如图1所示，在一个实施例中，一种增强现实显示系统10，包括获取设备12以及控制设备15；其中，获取设备12与控制设备15通信连接，获取设备12用于获取拍摄场景的双视点图像以及深度信息，控制设备15用于根据深度信息将虚拟物体图像与双视点图像进行位置重合，以得到虚拟物体在拍摄场景内的增强现实图像。
39.具体地，在增强现实显示系统10中，获取设备12中可以获取当前视角下拍摄场景的双视点图像，还可以获取拍摄场景的深度信息，获取设备12的具体种类和规格可以根据实际图像需求确定，例如获取设备12具体可以包括双目摄像设备或深度感知设备等。在获取设备12获取当前拍摄场景的双视点图像以及深度信息后，将双视点图像及深度信息发送给控制设备15，控制设备15具体可以为计算机设备等，控制设备15可以通过有线或无线的方式与获取设备12通信连接。控制设备15在接收到当前拍摄场景的双视点图像以及深度信息后，根据深度信息将需要加入到拍摄场景中的虚拟物体与双视点图像进行位置重合，在完成位置重合后即可以将虚拟物体的三维图像与拍摄场景的双视点图像进行交织，从而可以得到虚拟物体在拍摄场景内的增强现实图像，该增强现实图像可以在3d屏幕等显示设备上实现真实立体的观看效果。
40.进一步地，在一些应用场景中，在增加虚拟物体时还可以显示其在虚拟场景中的动态效果，例如观看者可以通过输入设备操作向拍摄场景中投掷碰撞球等虚拟物体，由于增强现实图像中具备真实空间的深度数据，因此可以对其进行碰撞处理，在提取碰撞体后对碰撞球的运动数据进行物理计算，根据计算结果可以使碰撞球在拍摄场景中按照物理规律进行运动，并最终可以停留在现实拍摄场景中最合理的位置，而不会造成奇异的停放效果等明显失真，从而进一步提高了增强现实图像的真实性与显示效果，改善了观看者的体验。
41.上述增强现实显示系统10，通过获取拍摄场景的双视点图像和深度信息，可以将虚拟物体显示在拍摄场景的增强现实图像中，从而使拍摄场景的图像更加立体和真实，有效提高了用户的增强现实图像观看体验。
42.在一个实施例中，获取设备为双目摄像设备。获取设备具体可以为双目摄像设备，双目摄像设备中可以包括两个摄像头，通过两个摄像头拍摄生成当前视角下拍摄场景的双视点图像。然后可以根据拍摄的双视点图像进行计算，以得到拍摄场景的拍摄信息。
43.进一步地，在一个实施例中，获取设备包括双目摄像设备以及深度感知设备；其中，双目摄像设备用于获取拍摄场景的双视点图像，深度感知设备用于获取场景的深度信息。由于通过双目摄像设备同时获取拍摄场景的双视点图像与深度信息会导致计算量数据量较大，获取效率较低，且获取到的深度信息也容易产生误差。因此，为了提高深度信息获取的效率与精度，在增强现实显示系统中还可以设置有深度感知设备以获取当前视角下拍摄场景的深度信息。深度感知设备的具体规格和型号可以根据实际图像需求确定，例如具体可以采用结构光或tof等原理的深度感知设备。深度感知设备与双目摄像设备可以集成
在同一外壳内，也可以为分别独立设置的设备。
44.图2为另一个实施例中增强现实显示系统的结构示意图，在一个实施例中，如图2所示，在上述实施例的基础上，本实施例的增强现实显示系统20包括获取设备以及控制设备25，其分别可以与上述实施例中的相应结构相同，本实施例中的增强现实显示系统20中，获取设备具体包括双目摄像设备222以及深度感知设备224。增强现实显示系统20中还包括轨道24以及人眼追踪设备26，其中，获取设备可移动地设置在轨道24上，人眼追踪设备26与控制设备25通信连接，人眼追踪设备26用于获取观看者的视角移动数据，控制设备25根据视角移动数据控制获取设备在轨道24上移动。
45.具体地，双目摄像设备222与深度感知设备224可移动地设置在轨道24上，双目摄像设备222与深度感知设备224通过在轨道24上移动，以满足不同视角的增强现实图像以及深度信息的获取需求。双目摄像设备222与深度感知设备224在轨道24上一般为同步运动，以保证将双视点图像与深度信息的视角匹配。在双目摄像设备222与深度感知设备224分别获取当前拍摄场景的双视点图像以及深度信息后，再分别将双视点图像及深度信息发送给控制设备25以得到增强现实图像。
46.进一步地，上述轨道24的具体规格和形状可以根据实际需求确定，例如在一个具体的实施例中，轨道24为可移动的电控轨道，轨道24具体包扩水平轨道以及垂直轨道，双目摄像设备222与深度感知设备224可移动地设置在水平轨道上，水平轨道可移动地设置在竖直轨道上，从而实现双目摄像设备222与深度感知设备224在水平以及竖直方向上的移动控制。
47.由于观看者一般无法在观看时保持完全静止的变化，在观看者头部等发生移动时，其眼球观看的角度也会随之发生变化，因此在增强现实显示系统20中还设置有人眼追踪设备26。人眼追踪设备26可以实时获取观看者眼球在空间各方向上的视角移动数据，并将该视角移动数据发送给控制设备25，控制设备25根据观看者的视角移动数据控制双目摄像设备222与深度感知设备224在轨道24上进行相应的运动，以对增强现实图像的视角进行实时更新。从而可以在观看者的视角发生变化时，使增强现实图像的视角也进行同步变化，实现真实模拟观看者的视觉体验。
48.在一个实施例中，增强现实显示系统20还包括显示设备27，显示设备27用于显示增强现实图像；其中，显示设备27和观看者之间的距离与观看者瞳距的比值等于双目摄像设备222和拍摄场景零平面之间的距离与双目摄像设备222的摄像头间距的比值。
49.具体地，增强现实显示系统20中还设置有显示设备27，显示设备27的种类和规格可以根据实际显示需求确定，例如显示设备27可以采用裸眼3d显示器或3d投影设备等以增强立体显示效果。观看者位于显示设备27前方，双目摄像设备222以及深度感知设备224一般设置在显示设备27的后方，为了使增强现实图像更接近观看者人眼的实际视觉体验，可以获取每个观看者的人眼瞳距，并将双目摄像设备222和拍摄场景零平面之间的距离与双目摄像设备222的摄像头间距的比值设置为显示设备27和观看者之间的距离与观看者瞳距的比值，从而可以进一步优化增强现实图像的立体观看效果，使其达到观看者在现实场景中的真实视觉体验。
50.图3为一个实施例中增强现实显示方法的流程示意图，如图3所示，在一个实施例中，一种增强现实显示方法，应用于上述实施例中的增强现实显示系统中，增强现实显示方
法具体可以包括：
51.步骤s120：获取拍摄场景的双视点图像以及深度信息。
52.具体地，在进行拍摄场景的增强现实显示时，首先可以通过增强现实显示系统中的双目摄像设备获取当前拍摄场景的双视点图像，而拍摄场景的深度信息既可以通过双目摄像设备拍摄的双视点图像进行计算获取，也可以通过独立设置的其他深度感知设备获取，以提高深度信息获取的效率和精度。其中，双视点图像可以模拟观看者双眼得到的立体视觉，深度信息包括有拍摄场景内的实际空间信息，双视点图像与深度信息一般具有相同的视角，以便于后续进行图像的交织显示。
53.步骤s140：根据深度信息将虚拟物体图像与双视点图像进行位置重合。
54.步骤s160：得到虚拟物体在拍摄场景内的增强现实图像。
55.具体地，在获取当前拍摄场景的双视点图像以及深度信息后，可以根据深度信息对拍摄场景进行实时建模等，以得到双视点图像中各位置的空间数据，从而将需要加入到拍摄场景中的虚拟物体与双视点图像进行位置重合，和立体场景重合，在完成位置重合后即可以将虚拟物体的三维图像与拍摄场景的双视点图像进行交织，从而可以得到虚拟物体在拍摄场景内的增强现实图像，在增强现实图像中还可以显示虚拟物体的动态效果，根据获取的深度数据对虚拟物体进行的运动计算，根据计算结果使虚拟物体在增强现实图像中运动，可以进一步提高了增强现实图像的真实性与显示效果。得到的增强现实图像可以在裸眼3d显示器或3d投影设备等显示设备上实现真实立体的观看效果，改善了观看者的视觉体验。
56.上述增强现实显示方法，通过获取拍摄场景的双视点图像和深度信息，可以将虚拟物体显示在拍摄场景的增强现实图像中，从而使拍摄场景的图像更加立体和真实，有效提高了用户的增强现实图像观看体验。
57.图4为一个实施例中步骤根据深度信息将虚拟物体图像与双视点图像进行位置重合的流程示意图，在上述实施例的基础上，如图4所示，在一个实施例中，上述增强现实显示方法的步骤s140具体可以包括：
58.步骤s142：根据深度信息对拍摄场景进行实时建模；
59.步骤s144：向建立的模型中加入虚拟物体；
60.步骤s146：基于模型确定虚拟物体在双视点图像中的位置数据。
61.具体地，在通过深度感知设备获取拍摄场景的深度信息后，可以根据深度信息对拍摄场景进行实时建模，以得到拍摄场景的三维模型，并将三维模型各位置处的空间坐标数据与双视点图像中的各个位置进行匹配。向得到三维模型中加入虚拟物体，加入虚拟物体的方式一般可以为观看者通过鼠标、键盘等输入设备实现，再加入虚拟物体后，根据虚拟物体在三维模型中的空间坐标数据，计算其在双视点图像中的位置数据，从而可以确定虚拟物体的图像在双视点图像中的相应位置，实现虚拟物体图像与双视点图像的位置重合。
62.进一步地，图5为一个实施例中步骤得到虚拟物体在拍摄场景内的增强现实图像的流程示意图，在上述实施例的基础上，如图5所示，在一个实施例中，上述增强现实显示方法的步骤s160具体可以包括：
63.步骤s162：判断虚拟物体在模型内的位置是否符合预设条件。
64.步骤s164：在虚拟物体在模型内的位置不符合预设条件的情况下，对虚拟物体进
行碰撞计算.
65.步骤s166：基于碰撞计算结果在增强现实图像内显示虚拟物体的运动过程。
66.具体地，在一些应用场景中，观看者在向拍摄场景中增加虚拟物体时，还需要判断加入的虚拟物体的未知是否符合预设条件，其中预设条件的种类可以根据实际情况确定，预设条件具体可以为现实世界中的物理规律等，或者用户对空间场景内设置的区域限制等。例如，当预设条件为显示物理规律时，则放入的虚拟物体不能出现悬空或者跟其他物体发生空间重叠等情况。如果放入的虚拟物体符合预设条件，则可以使其处于当前放置位置处。而如果放入的虚拟物体不符合预设条件，则其需要移动至符合预设条件的位置，并显示其从加入到模型中至移动到合适位置的运动过程，具体可以根据三维模型对虚拟物体与拍摄场景中的物体进行碰撞计算，从而得到虚拟体在拍摄场景的运动数据。基于得到的运动数据，可以在增强现实图像中显示虚拟物体在拍摄场景中按照物理规律进行运动的过程，并最终使虚拟物体在增强现实图像中停留在现实拍摄场景中最合理的位置，而不会造成奇异的停放效果等明显失真，从而进一步提高了增强现实图像的真实性。
67.图6为另一个实施例中增强现实显示方法的流程示意图，在上述实施例的基础上，如图6所示，在一个实施例中，增强现实显示方法包括步骤s220、s240以及s260，其分别可以与上述是实施例中的相应步骤相同，本实施例的增强现实显示方法还可以包括：
68.步骤s280：获取观看者的视角移动数据。
69.步骤s290：根据视角移动数据对增强现实图像进行实时更新。
70.具体地，由于观看者一般无法在观看时保持完全静止的变化，在观看者头部等发生移动时，其眼球观看的角度也会随之发生变化，因此为了得到更加真实的观看体验，可以在观看者视角发生移动时，使增强现实图像模拟相应的视角变化。具体可以通过人眼追踪设备实时获取观看者眼球在空间各方向上的视角移动数据，根据观看者的视角移动数据控制双目摄像设备进行相应的运动，以对增强现实图像的视角进行实时更新。从而可以在观看者的视角发生变化时，使增强现实图像的视角也进行同步变化，实现真实模拟观看者的视觉体验。
71.可以理解的是，本发明实施例所提供的增强现实显示系统可执行本发明任意实施例所提供的增强现实显示方法，具备执行方法相应的功能模块和有益效果。上述实施例中增强现实显示系统所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
72.在一个实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可以在处理器上运行的计算机程序。处理器在运行该程序时可以执行如下步骤：获取拍摄场景的双视点图像以及深度信息；根据深度信息将虚拟物体图像与双视点图像进行位置重合；得到虚拟物体在拍摄场景内的增强现实图像。
73.可以理解的是,本发明实施例所提供的一种计算机设备,其处理器执行存储在存储器上的程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的增强现实显示方法中的相关操作。
74.进一步地，上述计算机中处理器的数量可以是一个或多个，处理器与存储器可以通过总线或其他方式连接。存储器可主要包括存储程序区和存储数据区，其中，存储程序区
可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
75.在一个实施例中，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时可以使得处理器执行如下步骤：获取拍摄场景的双视点图像以及深度信息；根据深度信息将虚拟物体图像与双视点图像进行位置重合；得到虚拟物体在拍摄场景内的增强现实图像。
76.可以理解的是,本发明实施例所提供的一种包含计算机程序的计算机可读存储介质,其计算机可执行的程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的增强现实显示方法中的相关操作。
77.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read
‑
only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例中所述的方法。
78.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
79.以上所述实施例仅表达了本发明的较佳实施例及所运用技术原理，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明专利的保护范围由所附的权利要求范围决定。