通过从多个无线摄像机中选择输入视频流来向制作工作室提供视频内容的方法以及对应的流控制器与流程

1.本公开一般涉及视频内容广播领域，更具体地涉及用于实现从多个无线摄像机向制作工作室传输视频内容的方法和设备。


背景技术：

2.直播活动是当今电视(tv)节目表上的主要广播之一。电视制作人投入大量精力制作直播节目，并以尽可能高的制作质量将其提供给消费者。今天用于制作直播节目和预录节目的基本工具并没有太大区别。然而，在直播节目的情况下，制作人需要确保节目中发生的各种重要活动以清晰的顺序交付给消费者。
3.图1描绘了直播活动的制作过程是如何发生的。在本公开中，假设活动制作人对报道体育场中的户外活动感兴趣。
4.制作团队将他们的摄像机分布在体育场周围，并从现场工作室(on-site studio)的不同摄像机收集馈送(feed)。现场工作室可以是体育场内的一个房间，或装有必要设备的厢式货车。替代地，现场工作室也可以是基于云的。在媒体内容被处理后，媒体内容作为单个流被发送给制作工作室。在制作工作室处，可以使用卫星链路或任何其他可用网络来分发流。
5.上述系统假设所有摄像机都经由电线连接到外部广播车(obv)，其中所有摄像机都正在发送高质量视频，高质量视频被存储在工作室的存储器中，在该存储器中可以存储大量数据以供以后查看，例如用于重放。
6.在当今的有线系统中，所有的摄像机馈送以高质量被传输，因此重放操作可以完全在本地制作工作室进行。当摄像机通过第五代(5g)电信系统连接时，并不是所有的流都在工作室处以高质量获得。为了提供高质量重放，需要从其他摄像机获取用于重放内容的高质量馈送。
7.然而，媒体制作人正在转向使用5g/新无线电(nr)将摄像机连接到现场工作室。这将简化并加速设置用于制作媒体的组成部分的过程。媒体制作不依赖于固定电线，它也可以到达不可能布线的区域，使移动变得更加容易，这在动态环境中是必需的。
8.因此，希望使系统能够允许无线摄像机传输高质量视频，从而有效利用可用的无线电资源，例如带宽。


技术实现要素：

9.本公开的目的是提供一种用于使无线摄像机能够传输hq视频内容但同时有效地使用可用无线资源的方法以及对应的流控制器。
10.在本公开的第一方面，提出了一种在无线电信网络上通过从多个无线摄像机中选择输入视频流来向制作工作室提供视频内容的方法，其中，所述无线摄像机中的每一个被布置用于提供至少高质量hq视频输出和低质量lq视频输出。
notation，json)格式，其指定摄像机的标识符并进一步指定所请求内容的开始和结束时间。替代地，可以请求开始时间和持续时间，而不是指定开始和结束时间。该指令还可以包括所请求内容应当转为播出中的时间的指示。
24.注意，根据本公开，流控制器可以分布在多个实体上。例如，估计步骤可以由与执行请求步骤不同的实体来执行。
25.在一个示例中，所述估计步骤包括：
[0026]-由所述流控制器确定在所述多个无线摄像机中的所述另一个无线摄像机与所述直播摄像机之间的距离，以及
[0027]-由所述流控制器基于所确定的距离来估计所述可能性。
[0028]
可用作用于确定可能性的输入的参数之一是距离。直播摄像机与另一个摄像机之间的距离可用作用于确定另一个摄像机是否有可能是下一个直播摄像机的输入。
[0029]
通常，所述可能性被估计为与所确定的距离成反比。
[0030]
这可以理解如下。所提出的方法可能特别适合于例如足球场、一级方程式比赛、冰球体育场或任何类似场所。在这些情况下，多个无线摄像机分布在特定区域。这提高了整个系统的覆盖区域。每个摄像机的视角(angle of view)仍可能部分重叠。在任何情况下，可以使用单个摄像机来获得动作发生的位置(即，球所在的位置或特定汽车比赛的位置或任何类似的位置)的良好图片。
[0031]
发明人已经发现，物理上靠近直播摄像机的摄像机很可能成为下一个直播摄像机。例如，考虑一场特定的一级方程式比赛，其中一辆特定的汽车在赛道上被跟随。在这种情况下，随后放置的无线摄像机被选择用作直播摄像机，以确保可以在赛道上跟踪该汽车。
[0032]
继以上内容之后，发明人因此发现每个摄像机到直播摄像机之间的距离可以被用作用于确定可能性的输入。
[0033]
可以以多种方式确定距离。例如，每个无线摄像机可以配备有用于确定它的fps位置的gps传感器，并且它的fps位置可以被分发给流控制器和/或任何无线摄像机。另一选项是，在摄像机安装期间，安装人员将每个无线摄像机的位置手动输入到流控制器处的注册表(registry)中。
[0034]
在另一示例中，所述估计进一步包括：
[0035]-由所述流控制器确定所述直播摄像机和所述多个无线摄像机中的所述另一个无线摄像机的视角的变化率；
[0036]-由所述流控制器基于所确定的所述视角的变化率来估计所述可能性。
[0037]
可用于确定特定摄像机是否可能是下一个直播摄像机的又一选项与直播摄像机和特定摄像机的视角的变化率有关。当特定摄像机的视野很可能将与直播摄像机的视野相重叠时，可以确定该特定摄像机很可能将成为下一个直播摄像机。
[0038]
更具体地，所述可能性可以被估计为与所述直播摄像机和所述多个无线摄像机中的所述另一个无线摄像机的视角的预测重叠成比例。
[0039]
在另一示例中，所述估计步骤进一步包括：
[0040]-由所述流控制器估计所述多个无线摄像机中的每一个无线摄像机作为所选择的直播摄像机之后的下一个直播摄像机的可能性；
[0041]-由所述流控制器基于所述估计而请求所述多个无线摄像机中的每一个无线摄像
机单独提供hq视频输出，以使得在所述流控制器决定切换到所述多个无线摄像机中的所述另一个无线摄像机的情况下使得hq视频输出可用。
[0042]
在又一示例中，所述请求步骤包括：
[0043]-由所述流控制器确定所估计的可能性超过预先确定的阈值，以及
[0044]
其中，所述请求步骤包括：
[0045]-由所述流控制器请求所述多个无线摄像机中的针对其确定所关联的所估计的可能性超过所述预先确定的阈值的任何无线摄像机提供hq视频输出。
[0046]
引入用于确定特定无线摄像机是否可能是下一个直播摄像机的阈值可以是有利的。这简化了所述方法在流控制器中的实现。
[0047]
在第二方面，提供了一种流控制器，用于在无线电信网络中操作并被布置用于控制通过所述无线电信网络从多个无线摄像机向制作工作室提供视频内容，其中，所述无线摄像机中的每一个被布置用于提供至少高质量hq视频输出和低质量lq视频输出，所述流控制器还包括处理器，所述处理器被布置用于：
[0048]-选择所述多个无线摄像机之中的一个无线摄像机作为直播摄像机，从而指示所选择的直播摄像机提供hq视频输出，以使得被提供给所述制作工作室的视频内容是来自所选择的直播摄像机的所述hq视频输出；
[0049]-估计所述多个无线摄像机中的另一个无线摄像机作为所选择的直播摄像机之后的下一个直播摄像机的可能性；
[0050]-基于所述估计，请求所述多个无线摄像机中的所述另一个无线摄像机提供hq视频输出，以使得在所述流控制器决定切换到所述多个无线摄像机中的所述另一个无线摄像机的情况下使得hq视频输出可用。
[0051]
可以理解，本公开的第一方面的益处和优点也与本公开的第二方面相关联，即，流控制器被布置为通过从多个无线摄像机中选择输入视频流来向制作工作室提供视频内容。流控制器可以位于无线电接入网(ran)、5g核心网中或外部应用服务器上。
[0052]
在一个示例中，所述处理器还被布置用于：
[0053]-确定在所述多个无线摄像机中的所述另一个无线摄像机与所述直播摄像机之间的距离，以及
[0054]-基于所确定的距离来估计所述可能性。
[0055]
在另一示例中，所述可能性被估计为与所确定的距离成反比。
[0056]
在另一示例中，所述处理器还被布置用于通过以下操作进行所述估计：
[0057]-确定所述直播摄像机和所述多个无线摄像机中的所述另一个无线摄像机的视角的变化率；
[0058]-基于所确定的所述视角的变化率来估计所述可能性。
[0059]
在另一示例中，所述可能性被估计为与所述直播摄像机和所述多个无线摄像机中的所述另一个无线摄像机的视角的预测重叠成比例。
[0060]
在一个示例中，所述处理器还被布置用于通过以下操作进行所述估计：
[0061]-估计所述多个无线摄像机中的每一个无线摄像机作为所选择的直播摄像机之后的下一个直播摄像机的可能性；
[0062]-基于所述估计，请求所述多个无线摄像机中的每一个无线摄像机单独提供hq视
频输出，以使得在所述流控制器决定切换到所述多个无线摄像机中的所述另一个无线摄像机的情况下使得hq视频输出可用。
[0063]
在另一示例中，所述处理器还被布置用于：
[0064]-确定所估计的可能性超过预先确定的阈值，以及
[0065]-由所述流控制器请求所述多个无线摄像机中的针对其确定所关联的所估计的可能性超过所述预先确定的阈值的任何无线摄像机提供hq视频输出。
[0066]
在本公开的第三方面，提供了一种包括其上存储指令的计算机可读介质的计算机程序产品，所述指令当由流控制器执行时使得所述流控制器实现根据如上提供的任何方法示例的方法。
[0067]
参考下文描述的实施例，本发明的这些和其他方面将变得显而易见并被阐明。
附图说明
[0068]
图1示意性地示出了户外制作系统；
[0069]
图2示意性地示出了根据现有技术的户外制作系统的架构；
[0070]
图3示意性地示出了本公开的概念；
[0071]
图4和图5示意性地示出了其中视野被用作用于确定摄像机将成为下一个直播摄像机的可能性的输入参数的示例；
[0072]
图6示意性地示出了根据本公开的方法的流程图。
具体实施方式
[0073]
现在将参考附图更全面地描述本文中构想的一些实施例。然而，其他实施例被包含在本文公开的主题的范围内。所公开的主题不应被解释为仅限于本文阐述的实施例；而是，这些实施例是通过示例的方式提供的，以向本领域技术人员传达主题的范围。
[0074]
图1示意性地示出了户外制作系统1。制作系统1通常包括多个音频捕获设备2和视频捕获设备3。它们将所生成的内容提供给外部广播车(obv)4。obv 4的架构在图2中更详细地示出。通常，obv 4负责从多个音频和视频捕获设备2、3接收多个音频/视频流并从可用的多个流中选择一个流，从而向制作工作室5提供单个视听内容流。制作工作室5可以在广播之前添加其他内容，例如评论和/或徽标(logo)。
[0075]
图2示意性地示出了根据现有技术的户外制作系统10的架构。图2所示的系统10采用有线设置，其中所有摄像机11-14是有线的，并且因此可以在没有无线电资源限制的情况下传输hq视频内容。所有摄像机11、12、13、14输出以高质量被发送给现场工作室4。制作团队正在多查看器(multi-viewer)15中的多个屏幕上查看所有输入，并根据屏幕上的内容，制作团队选择哪个摄像机应当被视为输出流的主要输入，该输出流进入制作工作室21。制作人可以选择多个输入流，并使用直播混合器(live mixer)16或记录混合器(recording mixer)17将它们混合在一个输出中。输出流之后被发送以用于进一步处理18，添加覆盖(overlap)，然后被发送以用于编码19。编码流通过网络被发送给制作工作室21。工作室21通过例如添加评论或频道徽标来准备用于分发的最终流。
[0076]
来自所有摄像机11-14的流以最高质量被存储在现场工作室4处可用的存储器19中。该流由制作团队分析并用于稍后(无论是在活动之后还是在重放期间)查看。在制作团
队正在准备重放而主流在播出中的情况下，一旦重放准备好，它就转为播出中并直播活动暂停。
[0077]
图3示意性地示出了本公开的概念。在此，考虑每个摄像机一次传输单个视频馈送以降低对无线网络的比特率要求的情况。需要解决的一个问题是，当不同的摄像机馈送转为播出中时，即，转为直播时，在lq视频内容与hq视频内容流之间切换的速度有多快。典型的编码器应当能够在一帧内切换。此外，可提供带有两个编码器的摄像机，因此摄像机可以同时生成lq内容视频和hq内容视频馈送。因此，所提出的解决方案致力于无线传输链路，即，往返时间(round-trip-time)，包括来自流控制器的从lq内容视频切换到hq内容视频的指示，直到在制作工作室处接收到hq内容视频馈送为止。
[0078]
所提出的方法旨在预测将发生到不同摄像机的切换。在部署多个摄像机的典型活动中，例如体育场、滑雪、一级方程式，摄像机被分布在整个活动场地。图3描绘101了具有十个摄像机的活动的草图，其中一个摄像机105当前正在播出中，即，直播。其他摄像机可以被划分到不同区域中(即，如附图标记102、103和104所指示的)，这些区域具有到其他摄像机的切换将发生的不同可能性。
[0079]
制作工作室可使用有关摄像机的多个信息来构建切换可能性。此类信息包括有关活动的静态信息，例如摄像机的数量、几何形状、摄像机能力、可用的编码比特率、以及有关活动的动态信息(例如，摄像机位置)。该信息可以以这样的方式在摄像机与制作工作室之间被交换，以使得：1)可以在摄像机与制作工作室之间交换静态信息，2)可发生在摄像机和制作工作室之间的上行视频流式传输，3)可发生能力和位置信息更新，以及4)制作工作室可以向摄像机给出在不同质量之间切换的指示。
[0080]
为了决定在针对摄像机馈送的不同质量之间进行切换，制作工作室创建了映射，该映射将不同的质量与切换将发生的可能性相关联。可以应用其他映射，以及可以基于所交换的摄像机能力和活动的几何形状来确定可能性和质量的数量。可以基于所更新的位置信息和其他活动相关参数来动态地更新切换可能性。
[0081]
可能性可以被确定为距离的函数。设p0＝(x0,y0,z0)为播出中摄像机的当前位置，pi＝(xi,yi,zi)为每个其他摄像机i的当前位置，i＝1
…
n，以及di(pi,p0)为摄像机与播出中摄像机之间的距离。可能性可被表达为与距离成反比：
[0082][0083]
在图3中，不同的区域用附图标记102、103和104来指示。按照上面给出的指导原则，可以确定存在于具有附图标记102的区域中的摄像机很可能是下一个直播摄像机。因此，这些摄像机被请求已经开始提供hq内容视频流。位于具有标记103的区域中的摄像机被认为是下一个直播摄像机的可能性较小。这样，位于该区域103中的摄像机可以被请求开始提供中等质量(mq)内容视频流。最后，位于具有附图标记104的区域中的摄像机不太可能被认为是下一个直播摄像机，使得这些摄像机仅提供lq视频内容流是可以接受的。
[0084]
图4和5示意性地示出了示例201、301，其中视野被用作用于确定摄像机将成为下一个直播摄像机的可能性的输入参数。
[0085]
可向预测从一个摄像机到另一个摄像机的切换中添加或代替距离方面使用的另一方面是每个摄像机的视角的变化率。在此，假设每个摄像机具有如图4和图5所示的优选
视角θi，其中cam2(摄像机2)202覆盖角度θ2内的对象，而cam1(摄像机1)203覆盖θ1内的区域中的对象。
[0086]
目标204正在从0向θ2移动，并且因此它落在cam2 202的覆盖区域内。因此，cam2 202正在向工作室流式传输高质量(hq)流，同时它正在生成中等质量(mq)视频但不传输mq视频。跟随目标204的摄像机运动通过嵌入在该摄像机中的加速度计被记录，该数据可被转换为θ
′2的值。加速度计数据被定期发送给工作室，工作室可以比较该值以了解目标的运动。
[0087]
一旦目标204已达到θ2的特定阈值(其中θ
′2《θ2)，工作室理解目标将要离开cam2 202区域并进入cam1 203区域。cam1 203开始准备hq流，并且预计很快处于播出中。还可能的是，网络获得有关此可能改变的通知，并为cam1 203准备必要的资源。当阈值增大时，其中θ
′2》θ2，cam1 203可以开始通过电信网络(例如包括无线电网络和核心网络)向制作场所发送hq流，而cam2 202从hq切换到mq内容视频。
[0088]
图6示意性地示出了根据本公开的方法的流程图401。
[0089]
一种在无线电信网络上通过从多个无线摄像机中选择输入视频流来向制作工作室提供视频内容的方法，其中，所述无线摄像机中的每一个被布置用于提供至少高质量hq视频输出和低质量lq视频输出，所述方法包括以下步骤：
[0090]-由流控制器选择402所述多个无线摄像机之中的一个无线摄像机作为直播摄像机，从而指示所选择的直播摄像机提供hq视频输出，以使得被提供给所述制作工作室的视频内容是来自所选择的直播摄像机的所述hq视频输出；
[0091]-由所述流控制器估计403所述多个无线摄像机中的另一个无线摄像机作为所选择的直播摄像机之后的下一个直播摄像机的可能性；
[0092]-由所述流控制器基于所述估计而请求404所述多个无线摄像机中的所述另一个无线摄像机提供hq视频输出，以使得在所述流控制器决定切换到所述多个无线摄像机中的所述另一个无线摄像机的情况下使得hq视频输出可用。
[0093]
本领域技术人员理解，无线摄像机可包括其他组件，最明显的是视频捕获设备。这在图中既没有示出也没有进一步描述，因为它被认为是公知的。摄像机包括被布置用于向流控制器无线地传输所捕获的视频的发射机。
[0094]
通过研究附图、公开内容和所附权利要求，本领域技术人员在实践要求保护的公开内容时可以理解和实现对公开的示例的其他变化。在权利要求中，“包括”一词不排除其他要素或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的几个项目的功能。在相互不同的从属权利要求中叙述特定措施这一事实并不表明这些措施的组合不能有利地使用。计算机程序可被存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的一部分提供的光存储介质或固态介质，但也可以以其他形式分布，例如通过互联网或有线或无线电信系统。权利要求中的任何附图标记不应被解释为限制其范围。
[0095]
本公开不限于上述公开的示例，本领域技术人员可在超出所附权利要求公开的本公开范围的情况下进行修改和增强，而不必应用创造性技能。