LED环幕虚拟现实合成方法、装置、存储介质及电子设备与流程

led环幕虚拟现实合成方法、装置、存储介质及电子设备
技术领域
1.本发明涉及虚拟制片的技术领域，特别涉及一种led环幕虚拟现实合成方法、装置、存储介质及电子设备。


背景技术：

2.因为绿幕拍摄环境进行制片目前较为成熟，目前视频合成的方法大都利用绿幕拍摄加上后期抠像来实现。
3.采用绿幕拍摄环境进行制片，因为需要后期制作，故拍摄现场看不到最终想要呈现的画面，存在实时性差的问题，演员在拍摄时需要根据导演描述进行表演，而导演依据感觉指导演员表演，而后期制作需要按照演员表演内容进行，如果两方沟通反馈不佳也会影响到最终效果的呈现。


技术实现要素：

4.本发明的目的就是解决背景技术中提到的问题，提出一种led环幕虚拟现实合成方法、装置、存储介质及电子设备。
5.为实现上述目的，本发明首先提出了一种led环幕虚拟现实合成方法，包括以下步骤：
6.将第一主机虚幻引擎中的场景投影至led环幕；
7.获取真实相机位置数据，并将所述真实相机位置数据传输至第二主机；
8.根据所述真实相机位置数据在第二主机的虚幻引擎中生成虚拟相机；
9.获取真实相机画面并将所述真实相机画面接入第二主机的虚幻引擎中；
10.获取第二主机虚幻引擎中的虚拟相机画面；
11.将所述真实相机画面和所述虚拟相机画面进行合成，得到led环幕虚拟现实合成画面。
12.可选的，根据每帧真实相机画面，第一主机实时将所述真实相机位置数据传入第二主机缓存池中。
13.可选的，第二主机根据预设时间间隔，从缓存池中更新所述真实相机位置数据。
14.可选的，所述虚拟相机画面包括第一虚拟相机画面以及第二虚拟相机画面，所述第一虚拟相机画面为特效画面，所述第二虚拟相机画面为抠像画面。
15.可选的，根据不同层级对第二主机虚拟引擎中的虚拟物体进行渲染，生成虚拟相机画面，所述不同层级被创建用来对第二主机虚拟引擎中的虚拟物体进行分类。
16.可选的，对真实相机画面中地面处进行抠像包括以下步骤：
17.获取虚拟引擎中led环幕模型位置数据；
18.根据所述led环幕模型位置数据对真实相机视频画面进行抠像。
19.本发明还提出了一种led环幕虚拟现实合成装置，包括：
20.投影模块，被配置为将第一主机虚幻引擎中的场景投影至led环幕；
21.位置模块，被配置为获取真实相机位置数据，并将所述真实相机位置数据传输至第二主机；
22.相机模块，被配置为根据所述真实相机位置数据在第二主机的虚幻引擎中生成虚拟相机；
23.接入模块，被配置为获取真实相机画面并将所述真实相机画面接入第二主机的虚幻引擎中；
24.虚拟模块，被配置为获取第二主机虚幻引擎中的虚拟相机画面；
25.合成模块，被配置为将所述真实相机画面和所述虚拟相机画面进行合成，得到led环幕虚拟现实合成画面。
26.本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的led环幕虚拟现实合成方法。
27.本发明还提出了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的led环幕虚拟现实合成方法。
28.本发明的有益效果：
29.本发明实施例的一种led环幕虚拟现实合成方法，通过采用两台主机分别进行后景的投影以及虚拟制片基础上真实相机画面与虚拟相机画面实时合成，其中通过调节第一主机虚幻引擎中的场景，从而影响真实相机里的画面呈现，通过第二主机控制需要合成的虚实物体和特效，以及最终呈现的画面的色调等，两台主机在进行led环幕虚拟现实合成时互不干涉，对于虚拟现实合成过程中画面处理的灵活性很高，同时具有可实时预览最终的画面效果的优点。
30.本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
31.图1为本发明实施例一种led环幕虚拟现实合成方法的流程示意图；
32.图2为本发明实施例中对真实相机画面中led环幕进行抠像的流程示意图；
33.图3为本发明实施例一种led环幕虚拟现实合成装置的结构框图。
具体实施方式
34.为了便于本领域技术人员的理解，下面将结合具体实施例对本发明作进一步详细描述。
35.图1示意性示出本发明实施例一种led环幕虚拟现实合成方法的流程示意图。如图1所示，该虚拟现实场景实现方法包括步骤s10至步骤s60：
36.s10，将第一主机虚幻引擎中的场景投影至led环幕；
37.s20，获取真实相机位置数据，并将所述真实相机位置数据传输至第二主机；
38.s30，根据所述真实相机位置数据在第二主机的虚幻引擎中生成虚拟相机；
39.s40，获取真实相机画面并将所述真实相机画面接入第二主机的虚幻引擎中；
40.s50，获取第二主机虚幻引擎中的虚拟相机画面；
41.s60，将所述真实相机画面和所述虚拟相机画面进行合成，得到led环幕虚拟现实
合成画面。
42.在本发明实施例的一种led环幕虚拟现实合成方法中，采用两台主机分别进行后景的投影以及虚拟制片基础上真实相机画面与虚拟相机画面实时合成，其中通过调节第一主机虚幻引擎中的场景，从而影响真实相机里的画面呈现，通过第二主机控制需要合成的虚实物体和特效，以及最终呈现的画面的色调等，两台主机在进行led环幕虚拟现实合成时互不干涉，对于虚拟现实合成过程中画面处理的灵活性很高，同时具有可实时预览最终的画面效果的优点。
43.下面，将结合附图及实施例对本发明实施例中的led环幕虚拟现实合成方法的各个步骤进行更详细的说明。
44.在步骤s10中，将第一主机虚幻引擎中的场景投影至led环幕。
45.在本发明一个实施例中，第一主机通过利用ndisplay技术将虚幻引擎里的场景画面向led环幕进行投屏。
46.需要说明的是，虚幻引擎在游戏制作领域中应用广泛，虚幻的编辑器(unrealed)是一个以“所见即所得”为设计理念的操作工具，可以很好地运用于游戏开发中去。例如，数据属性编辑工具，可以让关卡设计人员自由地对游戏中的物件进行设置或是由程序人员通过脚本编写的形式直接进行优化设置；地图编辑工具，可以让游戏的美术开发人员自由地对地形进行升降的高度调节；图形化的材质编辑工具，可以使开发人员对材质中的色彩，alpha通道及贴图坐标进行自由的调解，定义所需要的材质内容。
47.其中，虚幻引擎可以是unreal engine引擎，unity 3d引擎或者是自身研发的引擎。
48.步骤s20，获取真实相机位置数据，并将所述真实相机位置数据传输至第二主机。
49.在一实施例中，第一主机在向led屏幕投影场景的时候，接收真实相机上绑定的定位装置发送的真实相机位置数据，并根据每帧真实相机画面，第一主机实时将所述真实相机位置数据通过udp协议传入第二主机缓存池中，第二主机根据预设时间间隔，从缓存池中更新所述真实相机位置数据。其中缓存池里的数据可以看作一个个按照进入时间排列的一组队列，通过调整预设时间间隔，使第一主机延迟几帧向缓存池中获取真实相机位置数据并且赋值给第二主机的虚幻引擎中的虚拟相机。
50.本实施例中，通过设置数据缓存池，并调整间隔时间差来减缓因延迟而导致的虚拟相机画面与真实拍摄画面撕裂问题，从而在原本基础上实现了改进。
51.步骤s30，根据所述真实相机位置数据在第二主机的虚幻引擎中生成虚拟相机。
52.由于真实相机的工艺以及真实相机的焦距、成像位置或多或少有点不同，而虚拟相机是个理想模型，所以两者会产生差距，即定位设备与真实相机的成像的位置之间存在差距、虚拟相机与真实相机之间的内外参数存在差距，在一实施例中，还通过对相机进行标定，使真实相机画面与虚拟相机画面呈现正确的透视关系，从而在后续真实相机画面和虚拟相机画面合成时，获得更好的效果。
53.步骤s40，获取真实相机画面并将所述真实相机画面接入第二主机的虚幻引擎中。
54.在一实施例中，第二主机安装有视频采集卡，第二主机利用视频采集卡接入真实相机画面，再通过相对应的插件接入到虚幻引擎中作为mediatexture画面，需要说明的是，mediatexture画面作为用于将外部视频导入虚幻引擎的载体，实质为一张贴图，可以理解
为将真实相机视频的每一帧渲染到这个贴图上，此外虚幻引擎针对两种视频采集卡封装了不同的插件，这些插件的功能就是将采集卡采集到的画面导入虚幻引擎中。
55.步骤s50，获取第二主机虚幻引擎中的虚拟相机画面。
56.在渲染得到虚拟相机画面之前，还需要预先在第二主机虚幻引擎中创建虚拟场景物体。可以通过贴图绘制软件制作虚拟场景物体，例如photoshop、substance painter等，再将其导入虚拟引擎中。
57.在led环幕虚拟制片中，需要将虚幻引擎中的场景画面投屏到led环幕上作为背景，再通过叠加其他的元素，比如cg特效、虚拟场景物体代替真实道具，然后拍摄真实的物体或演员来实现整个led环幕虚拟制片流程。
58.为了能实现以真实相机拍摄画面作为后景，虚拟相机的画面作为前景进行实时合成，在一实施例中，虚拟相机画面包括第一虚拟相机画面以及第二虚拟相机画面，其中第一虚拟相机画面为特效画面，所述第二虚拟相机画面为抠像画面。具体的，根据不同层级对第二主机虚拟引擎中的虚拟物体进行渲染，生成虚拟相机画面，所述不同层级被创建用来对第二主机虚拟引擎中的虚拟物体进行分类。
59.其中通过将在虚幻引擎里做好的特效单独放进一个层级中进行渲染来得到特效画面，而抠像画面需要创建与被抠像真实物体一比一还原的模型放入相同位置的场景当中，比如led环幕模型。
60.由于led环幕虚拟制片中，led环幕包括顶幕以及环幕，地面与环幕相连，所以真实相机可能会拍摄到地面，需要对真实相机画面中led环幕进行抠像。
61.图2示意性示出本发明实施例中对真实相机画面中led环幕进行抠像的流程示意图。
62.请参考图2，对真实相机画面中地面处进行抠像包括以下步骤：
63.步骤s70，获取虚拟引擎中led环幕模型位置数据。
64.步骤s80，根据所述led环幕模型位置数据对真实相机视频画面进行抠像。
65.通过获取虚拟引擎中led环幕模型位置数据，再利用虚幻引擎提供的composure框架做一层遮罩，遮罩可以将真实画面中的地板抠像下来合上虚拟画面，从而解决了真实相机拍摄到地面时，虚拟现实合成时出现的问题。
66.步骤s60，将所述真实相机画面和所述虚拟相机画面进行合成，得到led环幕虚拟现实合成画面。
67.在一实施例中，第二主机利用composure框架，将真实相机画面、抠像画面以及特效画面利用后处理材质球叠加在一起形成最终的led环幕虚拟现实合成画面，最后再通过采集卡输出画面，从而实时合成。
68.基于上述一种led环幕虚拟现实合成方法，本发明实施例还提供了一种led环幕虚拟现实合成方法装置，如图3所示，该装置包括以下模块：
69.投影模块15，被配置为将第一主机虚幻引擎中的场景投影至led环幕；
70.位置模块25，被配置为获取真实相机位置数据，并将所述真实相机位置数据传输至第二主机；
71.相机模块35，被配置为根据所述真实相机位置数据在第二主机的虚幻引擎中生成虚拟相机；
72.接入模块45，被配置为获取真实相机画面并将所述真实相机画面接入第二主机的虚幻引擎中；
73.虚拟模块55，被配置为获取第二主机虚幻引擎中的虚拟相机画面；
74.合成模块65，被配置为将所述真实相机画面和所述虚拟相机画面进行合成，得到led环幕虚拟现实合成画面。
75.综上所述，本发明实施例的一种led环幕虚拟现实合成装置，该装置可以实现为一种程序的形式，在计算机设备上运行。计算机设备的存储器中可存储组成该led环幕虚拟现实合成装置的各个程序模块，比如，图3所示的投影模块15、位置模块25、相机模块35、接入模块45、虚拟模块55、合成模块65。各个程序模块构成的程序使得处理器执行本说明书中描述的本技术各个实施例的一种led环幕虚拟现实合成方法中的步骤。
76.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本技术各个实施例的一种led环幕虚拟现实合成方法中的步骤。
77.本发明实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本技术各个实施例的一种led环幕虚拟现实合成方法中的步骤。
78.上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
79.上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。