AR视频数据流远程制作方法及装置、设备、存储介质与流程

ar视频数据流远程制作方法及装置、设备、存储介质
技术领域
1.本公开涉及数据处理技术领域，具体而言，涉及一种ar视频数据流远程制作方法、ar视频数据流远程制作装置、电子设备以及计算机可读存储介质。


背景技术：

2.随着虚拟直播领域的深入发展，增强现实(augmented reality，ar)技术在虚拟直播领域的应用范围也越来广。与此同时，增强现实技术也开始在电子竞技领域散发光芒。
3.然而，当前电子竞技虚拟直播对制作人员和制作设备的限制较大，使得电子竞技虚拟直播的虚拟制作的成本较大。
4.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本公开实施例的目的在于提供一种ar视频数据流远程制作方法、ar视频数据流远程制作装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服电子竞技虚拟直播对制作人员和制作设备的限制较大，以及电子竞技虚拟直播的虚拟制作的成本较大的问题。
6.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
7.根据本公开实施例的第一方面，提供了一种ar视频数据流远程制作方法，其特征在于，所述方法包括：接收由异地远程数据传输系统传输的编码数据流，并通过当地远程数据传输系统对所述编码数据流进行解码，得到解码后的摄像机信号，以及跟踪信号和锁相信号；将解码后的所述摄像机信号，以及跟踪信号和锁相信号输入至虚拟制作引擎；读取解码后的所述摄像机信号中的摄像机属性参数，并基于所述摄像机属性参数调整所述虚拟制作引擎中的虚拟摄像机；通过所述虚拟摄像机获取基于所述虚拟制作引擎制作的ar视频数据流，并将所述ar视频数据流发送至服务端，以通过所述服务端对所述ar视频数据流进行播放。
8.在本公开的一些示例实施例中，基于前述方案，所述编码数据流是通过所述异地远程数据传输系统对接入所述异地远程数据传输系统的摄像机信号和跟踪信号，以及接入所述异地远程数据传输系统的锁相信号进行编码得到的。
9.在本公开的一些示例实施例中，基于前述方案，所述通过当地远程数据传输系统对所述编码数据流进行解码，得到解码后的摄像机信号，以及跟踪信号和锁相信号，包括：获取所述异地远程数据传输系统和所述当地远程数据传输系统之间的端口映射数据，并基于所述端口映射数据查询所述编码数据流；通过当地远程数据传输系统的解码器对所述编码数据流进行解码处理，得到解码后的摄像机信号，以及跟踪信号和锁相信号。
10.在本公开的一些示例实施例中，基于前述方案，所述摄像机属性参数包括目标摄
像机的位置信息和镜头配置信息，所述基于所述摄像机属性参数调整所述虚拟制作引擎中的虚拟摄像机，包括：获取所述目标摄像机的位置信息和镜头配置信息；基于所述位置信息调整所述虚拟摄像机的位置，并根据所述镜头配置信息对所述虚拟摄像机的镜头文件进行预处理，以使所述虚拟摄像机的位置与所述目标摄像机的位置信息一致，并使所述虚拟摄像机的镜头文件和所述目标摄像机的镜头配置信息一致。
11.在本公开的一些示例实施例中，基于前述方案，所述方法还包括：获取所述目标摄像机的更新位置信息和与所述更新位置信息对应的目标摄像机拍摄画面的第一时间戳，以及获取与所述更新位置信息对应的虚拟摄像机拍摄画面的第二时间戳；计算所述第一时间戳和所述第二时间戳的时间差，并基于所述时间差对所述目标摄像机和所述虚拟摄像机进行延迟校准，以同步所述目标摄像机和所述虚拟摄像机拍摄延迟。
12.在本公开的一些示例实施例中，基于前述方案，所述摄像机信号还包括原始拍摄画面数据和音频数据流，所述通过所述虚拟摄像机获取所述虚拟制作引擎中的ar视频数据流，包括：调用虚拟场景模板，并通过所述虚拟制作引擎将所述原始拍摄画面拼合至所述虚拟场景模板中得到虚拟直播场景；以及基于所述虚拟制作引擎将所述音频数据流同步至所述虚拟直播场景中，并通过所述虚拟摄像机获取所述虚拟直播场景和所述音频数据流，得到所述ar视频数据流。
13.在本公开的一些示例实施例中，基于前述方案，所述方法还包括：建立与直转播进程的通信连接，将所述ar视频数据流发送至所述直转播进程；通过所述直转播进程控制所述虚拟制作引擎在所述ar视频数据流中自动添加虚拟动画。
14.根据本公开实施例的第二方面，提供了一种ar视频数据流远程制作装置，包括：编码数据流接收模块，用于接收由异地远程数据传输系统传输的编码数据流，并通过当地远程数据传输系统对所述编码数据流进行解码，得到解码后的摄像机信号，以及跟踪信号和锁相信号；数据输入模块，用于将解码后的所述摄像机信号，以及跟踪信号和锁相信号输入至虚拟制作引擎中；虚拟摄像机调整模块，用于读取解码后的所述摄像机信号中的摄像机属性参数，并基于所述摄像机属性参数调整所述虚拟制作引擎中的虚拟摄像机；视频数据流生成模块，用于通过所述虚拟摄像机获取基于所述虚拟制作引擎制作的ar视频数据流，并将所述ar视频数据流发送至服务端，以通过所述服务端对所述ar视频数据流进行转播。
15.在本公开的一些示例实施例中，基于前述方案，所述ar视频数据流ar视频数据流远程制作装置还包括编码数据流生成模块，所述编码数据流生成模块，用于通过所述异地远程数据传输系统对接入所述异地远程数据传输系统的摄像机信号和跟踪信号，以及接入所述异地远程数据传输系统的锁相信号进行编码。
16.在本公开的一些示例实施例中，基于前述方案，所述编码数据流接收模块还包括编码数据流解码单元，所述编码数据流解码单元，用于获取所述异地远程数据传输系统和所述当地远程数据传输系统之间的端口映射数据，并基于所述端口映射数据查询所述编码数据流；通过当地远程数据传输系统的解码器对所述编码数据流进行解码处理，得到解码后的摄像机信号，以及跟踪信号和锁相信号。
17.在本公开的一些示例实施例中，基于前述方案，所述虚拟摄像机调整模块包括虚拟摄像机调整单元，所述虚拟摄像机调整单元，用于获取所述目标摄像机的位置信息和镜头配置信息；基于所述位置信息调整所述虚拟摄像机的位置，并根据所述镜头配置信息对
所述虚拟摄像机的镜头文件进行预处理，以使所述虚拟摄像机的位置与所述目标摄像机的位置信息一致，并使所述虚拟摄像机的镜头文件和所述目标摄像机的镜头配置信息一致。
18.在本公开的一些示例实施例中，基于前述方案，所述虚拟摄像机调整模块还包括拍摄延迟同步单元，所述拍摄延迟同步单元，用于获取所述目标摄像机的更新位置信息和与所述更新位置信息对应的目标摄像机拍摄画面的第一时间戳，以及获取与所述更新位置信息对应的虚拟摄像机拍摄画面的第二时间戳；计算所述第一时间戳和所述第二时间戳的时间差，并基于所述时间差对所述目标摄像机和所述虚拟摄像机进行延迟校准，以同步所述目标摄像机和所述虚拟摄像机拍摄延迟。
19.在本公开的一些示例实施例中，基于前述方案，所述ar视频数据流生成模块包括视频数据流生成单元，所述ar视频数据流生成单元，用于调用虚拟场景模板，并通过所述虚拟制作引擎将所述原始拍摄画面拼合至所述虚拟场景模板中得到虚拟直播场景；以及基于所述虚拟制作引擎将所述音频数据流同步至所述虚拟直播场景中，并通过所述虚拟摄像机获取所述虚拟直播场景和所述音频数据流，得到所述ar视频数据流。
20.在本公开的一些示例实施例中，基于前述方案，所述ar视频数据流生成模块还包括视频数据流加工单元，所述ar视频数据流加工单元，用于建立与直转播进程的通信连接，将所述ar视频数据流发送至所述直转播进程；通过所述直转播进程控制所述虚拟制作引擎在所述ar视频数据流中自动添加虚拟动画。
21.根据本公开实施例的第三方面，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述任意一项所述的ar视频数据流远程制作方法。
22.根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的ar视频数据流远程制作方法。
23.本公开实施例提供的技术方案可以包括以下有益效果：
24.本公开的示例实施例中的ar视频数据流ar视频数据流远程制作方法，接收由异地远程数据传输系统传输的编码数据流，并通过当地远程数据传输系统对所述编码数据流进行解码，得到解码后的摄像机信号，以及跟踪信号和锁相信号；将解码后的所述摄像机信号，以及跟踪信号和锁相信号输入至虚拟制作引擎；读取解码后的所述摄像机信号对应的摄像机属性参数，并基于所述摄像机属性参数调整所述虚拟制作引擎中的虚拟摄像机；通过所述虚拟摄像机获取基于所述虚拟制作引擎制作的视频数据流，并将所述ar视频数据流发送至服务端，以通过所述服务端对所述ar视频数据流进行播放。一方面，可以通过对异地的编码数据流进行解码，并将解码后的摄像机信号、跟踪信号、锁相信号输入至虚拟制作引擎，基于摄像机信号中的摄像机属性参数调整虚拟制作引擎中的虚拟摄像机，并通过虚拟摄像机获取基于虚拟制作引擎制作的视频数据流，实现对异地传输的编码数据流进行远程虚拟制作，提高了虚拟制作编码数据流对应的摄像内容的便捷性；另一方面，通过将解码得到的摄像机信号、跟踪信号和锁相性输入至虚拟制作引擎，以通过锁相信号将摄像机信号、跟踪信号、虚拟制作引擎进行同步处理，提高了虚拟制作的稳定性和规范性，进而提高了生成ar视频数据流的实时性；再一方面，基于摄像机属性参数调整虚拟摄像机，并通过虚拟摄像机获取基于虚拟制作引擎制作的ar视频数据流，并不需要耗费虚拟制作人员的差旅成本
以及虚拟设备的运输成本，进而降低了对编码数据流对应的摄像内容进行虚拟制作以生成ar视频数据流的成本。
25.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
26.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
27.图1示意性示出了根据本公开的一些实施例的ar视频数据流远程制作方法流程的示意图；
28.图2示意性示出了根据本公开的一些实施例的编码数据流解码方法流程的示意图；
29.图3示意性示出了根据本公开的一些实施例的虚拟摄像机调整方法流程的示意图；
30.图4示意性示出了根据本公开的一些实施例的拍摄延迟同步方法流程的示意图；
31.图5示意性示出了根据本公开的一些实施例的ar视频数据流生成方法流程的示意图；
32.图6示意性示出了根据本公开的一些实施例的ar视频数据流加工方法流程的示意图；
33.图7示意性示出了根据本公开的一些实施例的远程虚拟制作架构的示意图；
34.图8示意性示出了根据本公开的一些实施例的ar视频数据流远程制作装置的示意图；
35.图9示意性示出了根据本公开的一些实施例的电子设备的计算机系统的结构示意图；
36.图10示意性示出了根据本公开的一些实施例的计算机可读存储介质的示意图。
37.在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
38.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
39.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
40.此外，附图仅为示意性图解，并非一定是按比例绘制。附图中所示的方框图仅仅是
功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
41.在本示例实施例中，首先提供了一种ar视频数据流远程制作方法，该ar视频数据流远程制作方法可以应用于终端设备，例如电脑等电子设备。该终端设备包括声音采集单元例如麦克风设备，以及图像采集单元例如摄像头。图1示意性示出了根据本公开的一些实施例的ar视频数据流远程制作方法流程的示意图。参考图1所示，该视频数据流制作方法可以包括以下步骤：
42.步骤s110，接收由异地远程数据传输系统传输的编码数据流，并通过当地远程数据传输系统对所述编码数据流进行解码，得到解码后的摄像机信号，以及跟踪信号和锁相信号；
43.步骤s120，将解码后的所述摄像机信号，以及跟踪信号和锁相信号输入至虚拟制作引擎；
44.步骤s130，读取解码后的所述摄像机信号中的摄像机属性参数，并基于所述摄像机属性参数调整所述虚拟制作引擎中的虚拟摄像机；
45.步骤s140，通过所述虚拟摄像机获取基于所述虚拟制作引擎制作的视频数据流，并将所述ar视频数据流发送至服务端，以通过所述服务端对所述ar视频数据流进行播放。
46.根据本示例实施例中的视频数据流生成方法，一方面，可以通过对异地的编码数据流进行解码，并将解码后的摄像机信号、跟踪信号、锁相信号输入至虚拟制作引擎，基于摄像机信号中的摄像机属性参数调整虚拟制作引擎中的虚拟摄像机，并通过虚拟摄像机获取基于虚拟制作引擎制作的视频数据流，实现对异地传输的编码数据流进行远程虚拟制作，提高了虚拟制作编码数据流对应的摄像内容的便捷性；另一方面，通过将解码得到的摄像机信号、跟踪信号和锁相性输入至虚拟制作引擎，以通过锁相信号将摄像机信号、跟踪信号、虚拟制作引擎进行同步处理，提高了虚拟制作的稳定性和规范性，进而提高了生成ar视频数据流的实时性；再一方面，基于摄像机属性参数调整虚拟摄像机，并通过虚拟摄像机获取基于虚拟制作引擎制作的ar视频数据流，并不需要耗费虚拟制作人员的差旅成本以及虚拟设备的运输成本，进而降低了对编码数据流对应的摄像内容进行虚拟制作以生成ar视频数据流的成本。
47.下面，将对本示例实施例中的ar视频数据流远程制作方法进行进一步的说明。
48.在步骤s110中，接收由异地远程数据传输系统传输的编码数据流，并通过当地远程数据传输系统对所述编码数据流进行解码，得到解码后的摄像机信号，以及跟踪信号和锁相信号。
49.在本公开的一个示例实施例中，异地远程数据传输系统可以指用于向虚拟制作引擎实时提供异地待制作数据的系统，例如，异地远程数据传输系统可以是对异地待制作数据进行实时编码和传输的广播级视频质量ip远程实时传输系统，当然，异地远程数据传输系统还可以是其他用于向虚拟制作引擎实时提供异地待制作数据的其他系统，本例实施例对此不作特殊限定。异地待制作数据可以指用于接入异地远程数据传输数据的信号数据，例如，异地待制作数据可以是接入异地远程数据传输系统的摄像机信号、跟踪信号、锁相信号等数据，本例实施例对此不作特殊限定。
50.编码数据流可以指通过异地远程数据传输系统对异地待制作数据进行编码得到的数据流，例如，编码数据流可以是异地远程数据传输系统对异地待制作数据中的摄像信号、跟踪信号、锁相信号进行ip编码得到的数据流，当然，编码数据流还可以是通过异地远程数据传输系统对异地待制作数据中的其他进行编码得到的数据流，本例实施例对此不作特殊限定。
51.当地远程数据传输系统可以指用于对异地远程数据传输系统传输的编码数据流进行实时解码的系统，例如，当地远程数据传输系统可以是与异地远程数据传输系统类型相同的用于对异地远程数据传输系统传输的编码数据流进行实时解码的系统，如异地远程数据传输系统是广播级视频质量ip远程实时传输系统，当地远程数据传输系统可以是广播级视频质量ip远程实时传输系统，当然，当地远程数据传输系统还可以是用于对异地远程数据传输系统传输的编码数据流进行实时解码的其他系统，本例实施例对此不作特殊限定。
52.可以接收异地远程数据传输系统传输的编码数据流，并通过当地远程数据传输系统的解码器对编码数据流进行解码，得到解码后的摄像机信号、跟踪信号、锁相信号，并将解码得到的摄像机信号、跟踪信号、锁相信号接入当地的虚拟制作引擎进行虚拟制作。
53.在步骤s120中，将解码后的所述摄像机信号，以及跟踪信号和锁相信号输入至虚拟制作引擎。
54.在本公开的一个示例实施例中，可以通过当地远程数据传输系统的信号输出接口将解码后的摄像机信号和跟踪信号输入至与虚拟制作引擎，并通过当地远程数据传输系统的同步锁定信号输出接口将解码后的锁相信号输入至与虚拟制作引擎对应的终端。
55.举例而言，若当地远程数据传输系统是广播级视频质量ip远程实时传输系统，则可以通过当地远程数据传输系统的ip数据流解码处理器的12g-sdi(serial digital interface，数字分量串行接口)将摄像信号中的拍摄画面输入至虚拟制作引擎中，并解嵌得到rj45(registered jack，注册插座)网络接口的跟踪信号，同时将解码后的跟踪信号也输入至虚拟制作引擎中。此外，可以通过异地的远程数据传输系统的genlock(同步锁定)信号输出口输出bb锁相信号接入虚拟制作引擎中对编码后的摄像机信号、跟踪信号、虚拟引擎进行同步处理，同时还可以避免虚拟摄像机拍摄画面抖动，提高了虚拟摄像机拍摄画面的稳定性。
56.在步骤s130中，读取解码后的所述摄像机信号中的摄像机属性参数，并基于所述摄像机属性参数调整所述虚拟制作引擎中的虚拟摄像机。
57.在本公开的一个示例实施例中，摄像机属性参数可以指摄像机的关键属性参数，例如，摄像机属性参数可以是摄像机的位置信息对应的位置参数，也可以是摄像机的镜头数据如焦距参数，还可以是摄像机的推近或拉远的状态参数，当然，摄像机属性参数还可以是摄像机的其他关键属性参数，本例实施例对此不作特殊限定。
58.可以根据解码后的摄像机信号中的摄像机属性参数，对虚拟制作引擎中的虚拟摄像机进行调整，例如，可以基于摄像机属性参数中的摄像机位置信息调整虚拟摄像机的位置，也可以基于摄像机属性参数中的镜头变焦数据调整虚拟摄像机的焦距，还可以基于摄像机属性参数中的推近或拉远状态参数调整虚拟摄像机的推近或拉远状态，以使虚拟摄像机的属性参数与摄像机属性参数匹配。
59.在步骤s140中，通过所述虚拟摄像机获取由所述虚拟制作引擎制作的视频数据流，并将所述ar视频数据流发送至服务端，以通过所述服务端对所述ar视频数据流进行播放。
60.在本公开的一个示例实施例中，ar视频数据流可以指基于虚拟制作引擎对解码后的摄像信号中的拍摄画面进行虚拟制作得到的视频数据流，例如，ar视频数据流可以是通过虚拟摄像机获取基于虚拟制作引擎对解码后的摄像信号中的拍摄画面进行虚拟制作得到的带有虚拟直播场景的视频数据流，当然，ar视频数据流还可以是基于虚拟制作引擎对解码后的摄像信号中的拍摄画面进行虚拟制作得到的带有其他虚拟道具的视频数据流，本例实施例对此不作特殊限定。
61.可以通过虚拟制作引擎对解码后的摄像机信号中的拍摄画面进行虚拟画面合成，并将解码后的摄像机信号中的音频数据流同步至合成后的虚拟画面中生成待直播的ar视频数据流。进而，可以由根据解码后的摄像机信号中的摄像机属性参数调整后的虚拟摄像机获取由虚拟制作引擎制作的待直播的ar视频数据流，并将ar视频数据流发送至服务端，以通过服务端在直播客户端对ar视频数据流进行播放。从而，实现对解码后的异地编码数据流中的拍摄画面进行远程虚拟制作，并将通过虚拟制作引擎制作的视频数据流进行直转播。
62.在本公开的一个示例实施例中，可以通过异地远程数据传输系统对接入异地远程数据传输系统的摄像机信号和跟踪信号，以及接入异地远程数据传输系统的锁相信号进行编码得到的编码数据流。
63.其中，可以通过异地远程数据传输系统的编码器对接入异地远程数据传输系统的摄像机信号和跟踪信号，以及接入异地远程数据传输系统的锁相信号进行编码得到编码数据流，进而，可以利用异地远程数据传输系统的低延迟、精确帧视频、数据流相互识别和通信等特性，对编码数据流进行实时传输。
64.具体的，可以通过将活动现场导控间里的摄像机控制单元ccu输出一根12g-sdi摄像机信号线接入广播级视频质量ip远程实时传输系统的ip编码发送处理器的4k 12g-sdi信号输入接口，完成摄像机信号的ip编码。其次，可以将虚拟跟踪硬件的跟踪信号通过rj45网口接入到广播级视频质量ip远程实时传输系统的支持snmp v1.0(1.0版本的简单网络管理协议，simple network management protocol)控制协议的以太网，实现跟踪信号加嵌入sdi线，保证摄像机画面和跟踪信号的同步；其中，跟踪信号需带有摄像机的三维位置坐标数据如positionx，positiony，positionz，以及pan(摄像机的追拍或摇射数据)，tilt(摄像机的倾斜角度)，roll(摄像机的翻转信息)，zoom(摄像机的推近或拉远数据)，focus(摄像机的焦距)等浮点型数据。最后，通过分别给摄像机，跟踪硬件，广播级视频质量ip远程实时传输系统接入相同的bb标准锁相信号，以使摄像机信号和跟踪信号可以同步传输。
65.图2示意性示出了根据本公开的一些实施例的编码数据流解码方法流程的示意图。参考图2所示，该编码数据流解码方法可以包括以下步骤：
66.在步骤s210中，获取所述异地远程数据传输系统和所述当地远程数据传输系统之间的端口映射数据，并基于所述端口映射数据查询所述编码数据流；
67.在步骤s220中，通过当地远程数据传输系统的解码器对所述编码数据流进行解码处理，得到解码后的摄像机信号，以及跟踪信号和锁相信号。
68.其中，端口映射数据可以指异地远程数据传输系统的网址和当前远程数据传输系统网址之间的映射数据。
69.可以通过异地远程数据传输系统和当地远程数据传输系统之间的端口映射数据，将异地远程数据传输系统的网址和当地远程数据传输系统网址映射至同一个局域网内，以使当地远程数据传输系统可以查询异地远程数据传输系统传输的编码数据流，并通过当地远程数据传输系统的解码器对编码数据流进行解码，可以得到解码后的摄像机信号、跟踪信号和锁相信号。进而，可以将解码后的摄像机信号、跟踪信号和锁相信号接入至虚拟引擎，进行虚拟制作。
70.图3示意性示出了根据本公开的一些实施例的虚拟摄像机调整方法流程的示意图。参考图3所示，该虚拟摄像机调整方法可以包括以下步骤：
71.在步骤s310中，获取所述目标摄像机的位置信息和镜头配置信息；
72.在步骤s320中，基于所述位置信息调整所述虚拟摄像机的位置，并根据所述镜头配置信息对所述虚拟摄像机的镜头文件进行预处理，以使所述虚拟摄像机的位置与所述目标摄像机的位置信息一致，并使所述虚拟摄像机的镜头文件和所述目标摄像机的镜头配置信息一致。
73.其中，目标摄像机可以指与解码后的编码数据流中的摄像机信号匹配的摄像机设备。位置信息可以指目标摄像机在三维空间中的位置信息。镜头配置信息可以指用于确定目标摄像机的镜头数据的配置信息，例如，镜头配置信息可以是用于确定目标摄像机的镜头焦距数据的配置信息，也可以是用于确定目标摄像机的镜头推近或拉远距离数据的配置信息，当然，镜头配置信息还可以是用于确定目标摄像机的其他镜头数据如翻转频率的配置信息，本例实施例对此不作特殊限定。
74.镜头文件可以用于配置虚拟摄像机的文件，例如，镜头文件可以是用于配置虚拟摄像机的虚拟效果的文件，镜头文件也可以是用于配置虚拟摄像机的推近或拉远的文件，镜头文件还可以是用于配置虚拟摄像机的焦距的文件，当然，镜头文件还可以是用于配置虚拟摄像机其他功能的文件，本例实施例对此不作特殊限定。
75.可以获取目标摄像机的位置信息和镜头配置信息，并根据目标摄像机的位置信息调整虚拟制作引擎对应的虚拟摄像机的位置，同时基于目标摄像机的镜头配置信息调整虚拟制作引擎对应的虚拟摄像机的镜头文件实现对虚拟摄像机和目标摄像机的匹配，进而可以实现虚拟摄像机模拟目标摄像机运动，拍摄得到由虚拟制作引擎制作的视频数据流。
76.图4示意性示出了根据本公开的一些实施例的拍摄延迟同步方法流程的示意图。参考图4所示，该拍摄延迟同步方法可以包括以下步骤：
77.在步骤s410中，获取所述目标摄像机的更新位置信息和与所述更新位置信息对应的目标摄像机拍摄画面的第一时间戳，以及获取与所述更新位置信息对应的虚拟摄像机拍摄画面的第二时间戳；
78.在步骤s420中，计算所述第一时间戳和所述第二时间戳的时间差，并基于所述时间差对所述目标摄像机和所述虚拟摄像机进行延迟校准，以同步所述目标摄像机和所述虚拟摄像机拍摄延迟。
79.其中，第一时间戳可以指由基于更新位置信息调整后的目标摄像机得到的拍摄画面对应的时间戳。第二时间戳可以指与调整后标摄像机对应的虚拟摄像机得到的拍摄画面
对应的时间戳。
80.可以通过快速摆动目标摄像机，以及快速推拉摄像机调整目标摄像机的位置信息，得到更新位置信息，并获取基于更新位置信息调整后的目标摄像机得到的拍摄画面的第一时间戳，以及由与调整后的目标摄像机对应的虚拟摄像机得到的拍摄画面的第二时间戳，对比目标摄像机拍摄画面的第一时间戳和虚拟摄像机拍摄画面的第二时间戳，计算第一时间戳和第二时间戳的时间差。如果虚拟摄像机拍摄画面的第二时间戳小于目标摄像机拍摄画面的第一时间戳，则需提高虚拟摄像机延迟；如果目标摄像机拍摄画面的第一时间戳小于虚拟摄像机拍摄画面的第二时间戳，则需提高目标摄像机延迟。通过多次延迟校准，可以使得虚拟摄像机和真实摄像机拍摄延迟同步，进而避免出现目标摄像机拍摄画面与虚拟场景出现不一致的问题，提高了生成视频数据流的流畅性，也提高了视频数据流的制作质量，进而提高了用户的观看体验。
81.图5示意性示出了根据本公开的一些实施例的视频数据流生成方法流程的示意图。参考图5所示，该视频数据流生成方法可以包括以下步骤：
82.在步骤s510中，调用虚拟场景模板，并通过所述虚拟制作引擎将所述原始拍摄画面拼合至所述虚拟场景模板中得到虚拟直播场景；以及
83.在步骤s520中，基于所述虚拟制作引擎将所述音频数据流同步至所述虚拟直播场景中，并通过所述虚拟摄像机获取所述虚拟直播场景和所述音频数据流，得到所述ar视频数据流。
84.其中，原始拍摄画面可以指通过目标摄像机拍摄得到拍摄画面。虚拟场景模板可以指包含虚拟场景渲染数据和拍摄画面拼合逻辑的场景模板。虚拟直播场景可以指基于虚拟制作引擎将原始拍摄画面拼合至虚拟场景模板中得到的直播场景，例如，虚拟直播场景可以是基于虚拟制作引擎按照虚拟场景模板中的拍摄画面拼合逻辑对原始拍摄画面进行拼合，并结合虚拟场景模板中的虚拟场景渲染数据对拼合后的原始拍摄画面进行渲染得到的直播场景，本例实施例对此不作特殊限定。
85.可以通过异地远程数据传输系统将由内置拾音器的目标摄像机对应的摄像机信号、跟踪信号、锁帧信号进行编码生成编码数据流；其中，摄像机信号包含原始拍摄画面以及音频数据流；在当地远程数据传输系统接收到编码数据流时，可以通过当地远程数据传输系统的解码器对编码数据流进行解码得到解码后的摄像机信号、跟踪信号、锁相信号，并将解码后的摄像机信号、跟踪信号、锁相信号输入至虚拟制作引擎中。进而，读取虚拟场景模板，并获取摄像机信号中的原始拍摄画面和音频数据流，通过虚拟制作引擎将原始拍摄画面拼合至虚拟场景模板中，得到虚拟直播场景，同时通过虚拟制作引擎将音频数据流同步至虚拟直播场景中，基于虚拟制作引擎中的虚拟摄像机获取虚拟直播场景中虚拟合成画面以及音频数据流，得到ar视频数据流，避免了将当地的制作人员和制作设备迁移到异地对目标摄像机的摄像内容进行虚拟制作，实现对异地远程数据传输系统中编码数据流对应的摄像内容的远程虚拟制作，提高了虚拟制作的弹性。
86.图6示意性示出了根据本公开的一些实施例的视频数据流加工方法流程的示意图。参考图6所示，该视频数据流加工方法可以包括以下步骤：
87.在步骤s610中，建立与直转播进程的通信连接，将所述ar视频数据流发送至所述直转播进程；
88.在步骤s620中，通过所述直转播进程控制所述虚拟制作引擎在所述ar视频数据流中自动添加虚拟动画。
89.其中，可以通过建立直转播进程与终端之间的通信连接，并响应将视频数据流发送至直转播进程的操作，通过直转播进程控制虚拟制作引擎在ar视频数据流中自动添加虚拟动画。例如，可以响应于直转播进程对应的自动化软件的启动操作，建立终端与直转播进程之间的通信连接，并通过直转播进程控制导播台由电子竞技比赛虚拟直播场景切换至颁奖典礼虚拟直播场景，打开主播的麦克风以及控制虚拟制作引擎自动在颁奖典礼的虚拟直播场景对应的ar视频数据流中添加虚拟奖杯升降动画。在通过直转播进程控制虚拟制作引擎的过程中，直转播进程相当于主进程，而虚拟制作引擎相当于直转播进程的子进程。
90.优选的，可以通过建立直转播进程与终端之间的通信连接，将由虚拟引擎进行虚拟制作的视频数据流发送至直转播进程，并通过直转播进程控制虚拟制作引擎在ar视频数据流中自动添加虚拟动画，实现远程虚拟制作与直转播远程制作的联合，使整套远程制作方案更加规范化和自动化。
91.图7示意性示出了根据本公开的一些实施例的远程虚拟制作架构的示意图。该远程虚拟制作架构700主要包括异地摄像机信号接入模块710、异地跟踪信号接入模块720、异地远程数据传输系统730、交换机740、当地远程数据传输系统750、当地虚拟制作引擎模块760、直播系统770。
92.其中，异地摄像机信号接入模块710主要用于将异地摄像机信号接入异地远程数据传输系统730；异地跟踪信号接入模块720主要用于将异地跟踪信号接入异地远程数据传输系统730；异地远程数据传输系统730主要用于对接入的异地摄像机信号和异地跟踪信号等进行编码和传输；交换机740主要用于连接异地远程数据传输系统730和当地远程数据传输系统750；当地远程数据传输系统750主要用于对异地远程数据传输系统730传输的编码数据流进行解码和传输；当地虚拟制作引擎模块760主要用于对解码后的摄像机信号中的原始拍摄画面和音频数据流进行虚拟制作生成视频数据流；直播系统770主要用于通过服务端将视频数据流在直播终端进行播放。
93.需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
94.此外，在本示例实施例中，还提供了一种ar视频数据流远程制作装置。参照图8所示，该ar视频数据流远程制作装置800包括：编码数据流接收模块810、数据输入模块820、虚拟摄像机调整模块830、ar视频数据流生成模块840。其中：编码数据流接收模块810，用于接收由异地远程数据传输系统传输的编码数据流，并通过当地远程数据传输系统对所述编码数据流进行解码，得到解码后的摄像机信号，以及跟踪信号和锁相信号；数据输入模块820，用于将解码后的所述摄像机信号，以及跟踪信号和锁相信号输入至虚拟制作引擎中；虚拟摄像机调整模块830，用于读取解码后的所述摄像机信号中的摄像机属性参数，并基于所述摄像机属性参数调整所述虚拟制作引擎中的虚拟摄像机；ar视频数据流生成模块840，用于通过所述虚拟摄像机获取由所述虚拟制作引擎制作的视频数据流，并将所述ar视频数据流发送至服务端，以通过所述服务端对所述ar视频数据流进行转播。
95.在本公开的一些示例实施例中，基于前述方案，ar视频数据流远程制作装置800还包括编码数据流生成模块，所述编码数据流生成模块，用于通过所述异地远程数据传输系统对接入所述异地远程数据传输系统的摄像机信号和跟踪信号，以及接入所述异地远程数据传输系统的锁相信号进行编码。
96.在本公开的一些示例实施例中，基于前述方案，所述编码数据流接收模块810还包括编码数据流解码单元，所述编码数据流解码单元，用于获取所述异地远程数据传输系统和所述当地远程数据传输系统之间的端口映射数据，并基于所述端口映射数据查询所述编码数据流；通过当地远程数据传输系统的解码器对所述编码数据流进行解码处理，得到解码后的摄像机信号，以及跟踪信号和锁相信号。
97.在本公开的一些示例实施例中，基于前述方案，所述虚拟摄像机调整模块830包括虚拟摄像机调整单元，所述虚拟摄像机调整单元，用于获取所述目标摄像机的位置信息和镜头配置信息；基于所述位置信息调整所述虚拟摄像机的位置，并根据所述镜头配置信息对所述虚拟摄像机的镜头文件进行预处理，以使所述虚拟摄像机的位置与所述目标摄像机的位置信息一致，并使所述虚拟摄像机的镜头文件和所述目标摄像机的镜头配置信息一致。
98.在本公开的一些示例实施例中，基于前述方案，所述虚拟摄像机调整模块830还包括拍摄延迟同步单元，所述拍摄延迟同步单元，用于获取所述目标摄像机的更新位置信息和与所述更新位置信息对应的拍摄画面的第一时间戳，以及获取与所述更新位置信息对应的虚拟摄像机拍摄画面的第二时间戳；计算所述第一时间戳和所述第二时间戳的时间差，并基于所述时间差对所述目标摄像机和所述虚拟摄像机进行延迟校准，以同步所述目标摄像机和所述虚拟摄像机拍摄延迟。
99.在本公开的一些示例实施例中，基于前述方案，所述ar视频数据流生成模块840包括视频数据流生成单元，所述ar视频数据流生成单元，用于调用虚拟场景模板，并通过所述虚拟制作引擎将所述原始拍摄画面拼合至所述虚拟场景模板中得到虚拟直播场景；以及基于所述虚拟制作引擎将所述音频数据流同步至所述虚拟直播场景中，并通过所述虚拟摄像机获取所述虚拟直播场景和所述音频数据流，得到所述ar视频数据流。
100.在本公开的一些示例实施例中，基于前述方案，所述ar视频数据流生成模块840还包括视频数据流加工单元，所述ar视频数据流加工单元，用于建立与直转播进程的通信连接，将所述ar视频数据流发送至所述直转播进程；通过所述直转播进程控制所述虚拟制作引擎在所述ar视频数据流中自动添加虚拟动画。
101.上述中ar视频数据流远程制作装置各模块的具体细节已经在对应的ar视频数据流远程制作方法中进行了详细的描述，因此此处不再赘述。
102.应当注意，尽管在上文详细描述中提及了ar视频数据流远程制作装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
103.此外，在本公开的示例性实施例中，还提供了一种能够实现上述ar视频数据流远程制作方法的电子设备。
104.所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或
程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
105.下面参照图9来描述根据本公开的这种实施例的电子设备900。图9所示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
106.如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940。
107.其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如，所述处理单元910可以执行如图1中所示的步骤s110，接收由异地远程数据传输系统传输的编码数据流，并通过当地远程数据传输系统对所述编码数据流进行解码，得到解码后的摄像机信号，以及跟踪信号和锁相信号；步骤s120，将解码后的所述摄像机信号，以及跟踪信号和锁相信号输入至虚拟制作引擎；步骤s130，读取解码后的所述摄像机信号中的摄像机属性参数，并基于所述摄像机属性参数调整所述虚拟制作引擎中的虚拟摄像机；步骤s140，通过所述虚拟摄像机获取所述虚拟制作引擎制作的的视频数据流，并将所述ar视频数据流发送至服务端，以通过所述服务端对所述ar视频数据流进行播放。
108.存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(rom)923。
109.存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
110.总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
111.电子设备900也可以与一个或多个外部设备970(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
112.通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可
以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
113.在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
114.参考图10所示，描述了根据本公开的实施例的用于实现上述ar视频数据流远程制作方法的程序产品1000，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
115.所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
116.计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
117.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
118.可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
119.此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
120.通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可
以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施例的方法。
121.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
122.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。