现实对象与虚拟场景的实时整合方法和整合系统与流程

本发明涉及一种数据采集处理方法，特别是涉及一种现实对象实时数据的采集处理方法。

背景技术：

随着科技不断发展进步，虚拟现实技术与网络通信技术的结合日趋紧密。利用普通眼镜尺寸的显示器结合智能手机的通信终端，或是联网后的穿戴式设备，就可以联网进入沉浸式的网络化的虚拟世界中。在虚拟世界的场景中，可以遥距操作与现实物联网上网元对应的虚拟对象，完成真实感受的控制反馈过程。这也意味着有可能将现实世界中的人或物实时无缝整合进入这个虚拟世界的场景中。这种虚拟与现实无缝融合的场景，以及在虚拟场景中通过物联网控制现实世界的物品，即是“扩展现实”。在虚拟现实场景中，通常会包括如下对象：

1)人替(avatar)，通过传感技术进行实时动态捕捉生成的，直接由用户(人)的直接生理反应实时操纵的感觉综合体的虚拟对象。

2)人摹(NPC)，由人工智能驱动的摹拟人的虚拟对象。可以是系统创设的，也可以是用户创建的。

3)物替(physicum)，直接由客观装置的状态、反馈信号实时操纵的感觉复合体的虚拟对象。对应于物联网中的服务于遥距操作的设备对象或设备。

4)物摹(physicon)，由人工智能驱动的摹拟无反馈物的虚拟对象。

5)人替摹(avatar agent)，由用户(人)脱线时人工智能驱动的人替的虚拟对象。

相应的，动物对象的加入，还会包括：

6)动物替(animal avatar)，通过传感技术进行实时动态捕捉生成的直接由用户(人)的直接生理反应实时操纵的感觉综合体的虚拟对象。

7)动物摹(animal agent)，由人工智能驱动的摹拟动物的虚拟对象。可以是系统创设的，也可以是用户创建的。

在现有的虚拟现实场景中，将现实中的人或物引入生成虚拟对象(人替或物替)的方法主要有两种，一个通过3D扫描建模，再整合到VR场景。二是通过VR拍摄获取立体视频，再整合到VR场景。

但是，3D扫描建模整合需先通过对人或物进行3D扫描建模利用例如Unity3D建模工具形成人替或物替对象，再整合到虚拟场景中，制作时间比较长，不具实时性，无法实现人替或物替在虚拟现实场景中的快速进入。VR拍摄需先拍摄制作再进入，也不具实时性，由于拍摄VR视频时只能沿着一个固定路线拍摄，所以当人进入虚拟现实后能接触的只是一个时间截面的场景。由于只有一种场景，不能进行实时场景更换，故不具互动性。

由此可见针对虚拟现实场景中人替引入，由于作为现实对象的人和物的状态灵活性和随之而来的交互复杂性，使得现有人替或复杂物替的实施建模过程的实时性还不能有效解决。

技术实现要素：

有鉴于此，本发明实施例提供了一种现实对象与虚拟场景的实时整合方法，解决了现实对象的变化状态无法实时形成虚拟对象相应状态的技术问题。

本发明实施例还提供了一种现实对象与虚拟场景的实时整合系统，解决了现实对象的变化状态与虚拟现实场景中的交互操作无法实时反馈的技术问题。

本发明的现实对象与虚拟场景的实时整合方法，包括：

步骤110，建立单色采集环境；

步骤120，利用3D摄像机采集单色采集环境中现实对象的实时状态视频；

步骤130，将实时状态视频中的现实对象独立，形成现实对象的实时立体视频；

步骤140，将接收的现实对象的实时立体视频形成实时的虚拟对象，实时引入虚拟现实场景，形成相应的人替或物替，与虚拟现实场景整合，形成观察者可观察到的统一视觉场景。

所述步骤110中，包括：建立全景单色采集环境。

所述步骤120中，在单色采集环境中布设若干3D摄像机。

所述步骤130中，所述实时立体视频包括单一角度的实时立体视频或多角度的实时立体视频。

所述步骤120中，在单色采集环境中的现实对象上设置3D摄像机，当所述现实对象为人体时，3D摄像机的取景方向沿人体的视角设置，摄像头设置位置与人体的眼部相应。

所述步骤130中，所述实时立体视频包括单一现实对象上的3D摄像机在单色采集环境中采集到的现实对象形成的实时立体视频。

所述步骤140中，包括：现实对象的实时立体视频的接收，采用宽带数据连接实时传输。

还包括：

步骤160，在虚拟现实场景中观察第一人替或第一物替的实时动作；

步骤170，在虚拟现实场景中第二人替或第二物替对第一人替或第一物替产生交互动作；

步骤180，第一人替或第一物替作出相应反馈；

步骤120，利用3D摄像机采集单色采集环境中现实对象的实时状态视频；

执行后续步骤。

本发明的现实对象与虚拟场景的实时整合系统，包括单色全景采集环境、3D摄像机、图像处理装置和虚拟现实引擎，其中：

单色全景采集环境，用于建立单色采集环境的侧壁或容器；

3D摄像机，用于利用3D摄像机采集单色采集环境中现实对象的实时状态视频；

图像处理装置，用于将实时状态视频中的现实对象独立，形成现实对象的实时立体视频；

虚拟现实引擎，将接收的现实对象的实时立体视频形成实时的虚拟对象，实时引入虚拟现实场景，形成相应的人替或物替，与虚拟现实场景整合，形成观察者可观察到的统一视觉场景。

还包括容纳人替或物替的虚拟场景，以及不同人使用的显示器，用来在虚拟现实场景中观察人替或物替的实时动作。

所述侧壁或容器包括容纳人或物的局部开放的单色平滑空间内壁，或形成密闭的单色平滑空间内壁。

所述单色包括单一颜色，或单一纹理的重复。

本发明实施例的现实对象与虚拟场景的实时整合方法可以将现实环境中的人或物的实时的变化，即时反映在虚拟现实场景中相应的人替或物替上，直接可以实现三维数据的采集和三维模型的形成，不需要进行后期制作。三维数据的高度相关性，使得利用虚拟现实引擎建模效率极高，保证了人替或物替生成的实时性。

本发明实施例的现实对象与虚拟场景的实时整合系统，建立了对象实时变化状态与虚拟场景实时整合的标准工作环境，通过本整合系统，跨越地域的人或物的主要被动的实时变化都可以在同一虚拟场景中体现，有利于不同人或物在同一虚拟场景的视角切换。

附图说明

图1为本发明实施例的现实对象与虚拟场景的实时整合方法的流程图；

图2为本发明实施例的现实对象与虚拟场景的实时整合系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。

如图1所示，本发明实施例的现实对象与虚拟场景的实时整合方法，包括：

步骤110，建立单色采集环境；

步骤120，利用3D摄像机采集单色采集环境中现实对象的实时状态视频；

步骤130，将实时状态视频中的现实对象独立，形成现实对象的实时立体视频；

步骤140，将接收的现实对象的实时立体视频形成实时的虚拟对象，实时引入虚拟现实场景，形成相应的人替或物替，与虚拟现实场景整合，形成观察者可观察到的统一视觉场景；

步骤150，在虚拟现实场景中观察人替或物替的实时动作；

步骤200，观察结束。

本实施例的现实对象与虚拟场景的实时整合方法，可以将现实环境中的人或物的实时的变化，即时反映在虚拟现实场景中相应的人替或物替上，直接可以实现三维数据的采集和三维模型的形成，不需要进行后期制作。采集的三维数据经过简单数据过滤(如单色抠图)就可以获得模型准确数据，三维数据的高度相关性，使得利用虚拟现实引擎建模效率极高，保证了人替或物替生成的实时性。由于虚拟现实场景视角的转换与现实环境中的视角转换相同或相近，利用本实施例的立体视频采集数据，可以实现实时视角变换，只需要极端的时延和较低的处理负荷，可以忽略不计。

进一步，本实施例的现实对象与虚拟场景的实时整合方法，还包括：

步骤160，在虚拟现实场景中观察第一人替或第一物替的实时动作；

步骤170，在虚拟现实场景中第二人替或第二物替对第一人替或第一物替产生交互动作；

步骤180，第一人替或第一物替作出相应反馈；

步骤120，利用3D摄像机采集单色采集环境中现实对象的实时状态视频；

执行后续步骤。

本实施例的现实对象与虚拟场景的实时整合方法可以将不同的人替或物替引入同一虚拟现实场景，人替或物替通过交互行为影响其他的人替或物替，导致被影响人替或物替对应的人或物作出反馈，形成被影响人替或物替的实时状态变化。实现了跨越不同地理位置的人或物在同一虚拟现实场景中的实时的复杂交互。

上述步骤110中，包括：建立全景单色采集环境。全景单色采集环境包括容纳人或物的局部开放的(优选的)单色平滑空间内壁，或形成密闭的(优选的)单色平滑空间内壁。单色包括单一颜色，或单一纹理的重复。

上述步骤120中，可以包括：在单色采集环境中布设若干3D摄像机。若干3D摄像机可以分别形成立体视频，这些立体视频中包括正相关的视频数据，可以作为场景视角连续变换时的关键帧的关键数据，减轻场景视角连续变换的计算负荷，提高场景视角连续变换精度。3D摄像机为单机双镜头摄像机或双机双镜头摄像机。

上述步骤130中涉及的实时立体视频，可以包括单一角度的实时立体视频或多角度的实时立体视频。多角度的实时立体视频可以对应场景中的不同视角，可以减轻场景中的不同视角间的转换换算负荷。

上述步骤120中，或者包括：在单色采集环境中的现实对象上分别设置3D摄像机，3D摄像机可以分别形成立体视频，这些立体视频中包括单色采集环境中采集到的现实对象的视频数据。受现实对象的行为模式驱动，这些立体视频中包括正相关的视频数据，可以作为场景视角连续变换时的关键帧的关键数据。当现实对象为人体时，3D摄像机的取景方向沿人体视角设置，摄像头设置位置与人体的眼部相应。例如设置在人体头部的眼部周围。

上述步骤130中涉及的实时立体视频，可以包括单一现实对象上的3D摄像机在单色采集环境中采集到的现实对象形成的实时立体视频。单一现实对象的若干实时立体视频可以在场景中满足所有其余现实对象对单一现实对象的实时观察和交互。

上述步骤140中，包括：现实对象的实时立体视频的接收，采用宽带数据连接实时传输。宽带数据连接选用成熟的无线宽带连接或有线宽带连接。

如图2所示，本发明实施例的现实对象与虚拟场景的实时整合系统，包括单色全景采集环境111、3D摄像机112、图像处理装置113和虚拟现实引擎114，其中：

单色全景采集环境111，用于建立单色采集环境的侧壁或容器；

3D摄像机112，用于利用3D摄像机采集单色采集环境中现实对象的实时状态视频；

图像处理装置113，用于将实时状态视频中的现实对象独立，形成现实对象的实时立体视频；

虚拟现实引擎114，用于将接收的现实对象的实时立体视频形成实时的虚拟对象，实时引入虚拟现实场景，形成相应的人替或物替，与虚拟现实场景整合，形成观察者可观察到的统一视觉场景。

本发明实施例的现实对象与虚拟场景的实时整合系统，建立了对象实时变化状态与虚拟场景实时整合的标准工作环境，通过本整合系统，跨越地域的人或物的主要被动的实时变化都可以在同一虚拟场景中体现，有利于不同人或物在同一虚拟场景的视角切换。使得同一虚拟场景中的交互行为可以有效地在现实对象和虚拟对象间实时传递，形成动作、反馈、控制一系列的复杂的扩展现实场景应用。

本发明实施例的现实对象与虚拟场景的实时整合系统，还包括容纳人替或物替的虚拟场景115，以及不同人使用的显示器116，用来在虚拟现实场景中观察人替或物替的实时动作。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。