用于将物理显示器的可选的图像内容发送到不同观看者的方法和系统与流程

用于将物理显示器的可选的图像内容发送到不同观看者的方法和系统
1.本发明涉及一种用于将物理显示器的可选的图像内容发送给不同观看者的方法和系统。
2.诸如发光二极管(led)显示器之类的有源显示器广泛用作广告牌或招牌以向观看者传达信息或广告。通常，这种显示器用于体育赛事或娱乐活动。因此，这种显示器经常出现在针对各种不同观看者的电视广播(tv)或视频流中，典型的例子是具有不同母语或不同文化背景的不同国家的观看者。为了将这些显示器上显示的信息/广告定向为这些观看者的特定子集，已经开发了一些方法来改变通过电视广播或视频流观看显示器的观看者之间的显示器内容。例如，美国专利申请us2002/0144263描述了一种用于在广告信道上对目标广告进行分组的方法和装置。
3.更简练的方法是将广告作为视频序列的组成部分插入，例如，在视频序列中所示的广告牌上显示广告。gb2305051描述了用于视频图像中的自动电子替换广告牌的装置。类似地，gb2305049描述了用于电视广播系统的电子广告牌替换系统。然而，为了产生良好的印象并保持合成图像的自然外观，广告需要适应视频序列中的场景的其余部分。通常，这种方法需要人为干预才能获得高质量的结果。通常，就观看者体验而言，这些基于电子或基于软件的方法通常不令人满意，尤其是当广播方案涉及部分遮蔽广告牌的动态场景时。
4.在国际专利申请wo2005/112476中，描述了允许在电视广播中的观看者之间改变显示器内容的方法。该现有技术文献描述了一种方法，该方法使得多个观看者能够观看同时显示在单个视频显示器上的若干视频流之一。然而，观看者需要使用与显示器上显示的视频流之一同步的快门观看眼镜。这种系统不适用于显示器本身的电视广播。
5.通过国际专利申请wo2007/125350中描述的解决方案缓和了这些问题。该现有技术文献描述了一种用于改变物理显示器内容的方法和设备，该物理显示器在电视广播的不同观看者之间的电视广播中作为场景的一部分出现。显示器内容包括指向出现在活动(例如体育赛事)中的观看者的直接观看者显示图像，以及指向电视观看者的广播观看者显示图像。物理显示器显示两个或更多个临时交错的数据内容实例，其中同步广播观看者的显示图像以显示所述数据内容实例之一。摄像机用于记录活动的场景，包括诸如招牌的物理显示器和用于使摄像机和招牌同步的控制系统。将由摄像机记录的包括所有不同数据内容实例的视频流馈送到解复用器，该解复用器生成对应于物理显示器所示的特定数据内容实例的单独馈送。wo2007/125350中描述的方法和系统需要专用摄像技术，其允许以比用于电视或视频广播的通常帧率高得多的帧率进行记录，因为要求摄像机捕获在招牌上显示的每个图像。而且，产生各个视频馈送的解复用器的计算能力必须相应地高。因此，wo2007/125350中描述的方法需要新的专用设备，并且在体育赛事和娱乐活动中建立这种技术的相应成本很高。此外，利用wo2007/125350的方法，活动中直接观看者的观看体验下降，这是因为即使在显示图像的时间间隔期间为广播观看者插入专用图像也会导致招牌的不稳定闪烁，这对于观看者来说时间太短以至于无法有意识地感知图像内容。
6.在国际专利申请pct/ep2018/052177和pct/ep2018/052178中，本申请人已经公开
了用于将物理显示器的可选的图像内容传送到包括物理显示器的生活观看者的不同观看者组的改进方法和系统，例如在体育赛事期间的体育场中，以及广播观看者，例如在不同国家通过互联网或电视视频流观看活动的观看者。
7.pct/ep2018/052177中描述的改进包括生成以时间分片多路复用方式显示在物理显示器上的至少两组不同的图像数据，以及生成包括所述物理显示器的场景的一个或多个视频流，一组图像数据视频流由视频帧组成，视频帧与在物理显示器上显示的相应组图像数据的图像的显示同步捕获，同时至少一组图像数据包括图像序列和逆图像。包括图像序列和逆图像的一组图像数据包括旨在发送给广播观看者的图像数据。没有包括在广播的视频流中，而是仅在物理显示器上显示的相应的逆图像，导致场内直接观看者的观看体验受到的干扰最小。
8.pct/ep2018/052178涉及实现用于以不同的方式将物理显示器的可选的图像内容传输给不同观看者的方法和系统，使得其可以被结合到已经在国家和国际体育赛事中使用的现有摄像机和处理技术中。在物理显示器上以时间分片多路复用方式显示的至少两组图像数据的图像以高帧率显示，该高帧率通常是标准记录/显示帧率(例如50hz的标准帧率)的整数倍。可以用一组标准帧率摄像机记录该场景，这些摄像机被触发，以使该组中的每个摄像机记录要广播的另一组视频流的图像。在另一个实施例中，用摄像机单元以高帧率记录场景，并且将相应的高帧率视频信号发送到中间处理单元，该中间处理单元具有用于所述高帧率视频信号的输入和多个输出。通过将高帧率视频信号的连续帧周期性地发送到中间处理单元的连续视频输出，将高帧率视频信号转换成多个标准帧率视频信号。此方法将导致在每个视频输出处获得一个或多个具有标准帧率的视频流。
9.在许多体育赛事中，某些场景以慢动作的形式呈现给广播的观看者，即一个场景以标准帧率的数倍的高帧率记录，但视频流以标准帧率传输给观看者。例如，以150hz的高帧率记录但以50hz的标准帧率重播的场景导致广播观看者观看3x慢动作。在用于将物理显示器的可选的图像内容发送给不同广播观看者的本方法的上下文中，用高帧率慢动作摄像机记录场景可能导致慢动作摄像机捕捉不打算用于特定视频流的广播观看者的物理显示器的图像帧，例如打算用于直接观看者的一组图像数据的图像帧或打算用于不同视频流的图像数据视频流。因此，在申请人的pct/ep2018/052177和pct/ep2018/052178中描述的方法中，在作为慢动作中记录的场景的一部分的物理显示器上显示的图像已经与慢动作中使用的更高记录频率同步，从而导致增加的显示帧率，其迅速满足当今可用图像的限制led显示技术，尤其是当涉及例如互补/逆图像的更复杂图像序列时也被采用。因此，以慢动作速率传输用申请人的pct/ep2018/052177和pct/ep2018/052178中描述的方法生成的每个视频流并不总是可行的。
10.因此，本发明所依据的技术问题是提供一种用于将物理显示器的可选的图像内容发送到不同观看者的方法和系统，从而允许将慢动作视频流传输给至少一组广播观看者，而对直接观看者观看体验的干扰最小。本发明的方法和系统还应允许允许在由一个或多个摄像机记录的相同视频信号内包括到一个子集的广播观看者的标准帧率视频流和到不同子集的广播观看者的慢动作视频流。
11.此技术问题通过权利要求1的方法解决。本发明方法的优选实施例是从属权利要求的主题。
12.因此，本发明涉及一种用于向不同的观看者发送物理显示器的可选的图像内容的方法，包括：生成至少两组不同的图像数据，每组图像数据包括单独图像的序列；在所述物理显示器上以高显示帧率(hdfr)以时间分片多路复用的方式显示所述至少两组图像数据的图像；生成包括所述物理显示器的场景的至少两个视频流，其中，以标准广播帧率(sbfr)的整数倍的慢动作帧率(smfr)生成由与所述至少两组图像数据之一的图像的显示同步捕获的视频帧组成的至少一个视频流；并且将所述视频流发送到所述观看者的子集以所述标准广播帧率(sbfr)。为了被视为慢动作视频流，整数倍数必须至少为两个。与慢动作视频流相对应的一组图像数据的物理显示上显示的图像数也必须至少增加上述整数倍数。
13.根据本发明，在物理显示屏上显示的至少两组不同的图像数据可以包括静止图像或动画图像，例如一部电影。当静止图像显示在物理显示器上时，一组图像数据的图像基本相同。当一组图像数据包含胶片时，一组图像数据的图像可能彼此不同，以便显示动画序列。因此，在以下描述中，术语视频流和电视广播可互换使用，并且旨在包括用于将图像数据发送到观看者的各种方案，包括静止图像、动画图像、视频、带有或不带有附加音频数据。
14.根据本发明，通常通过用摄像机记录场景来生成包括物理显示器的场景的至少一个视频流。以如下方式触发摄像机：视频流由与在物理显示器上显示所述至少两组图像数据之一的图像同步捕获的视频帧组成。因此，根据本发明的一个实施例，与文献wo2007/125350中描述的方法相比，摄像机不需要捕获在物理显示器上显示的所有一组图像数据的所有图像，而是仅捕获在物理显示器上显示的一组图像数据中的一个图像。因此，在本发明的方法中使用的摄像机的最小帧率仅与一组图像数据的帧率一样高。因此，本领域中已知的常规摄像机或慢动作摄像机可用于本发明的方法。
15.在本申请的意义上，“一组图像数据”对应于显示给观看者的一个特定子集的图像(静止图像或胶卷)。根据本发明，在物理显示器上示出至少两组图像数据，同时产生包括所述两组图像数据中的一组的至少一个视频流。以其最简单的形式，本发明的方法包括一组图像数据，该图像数据旨在用于事件的直接观看者，例如，在体育或娱乐活动中实际出现的观看者。第二组图像数据被定向到视频流的观看者。更一般地说，如果物理设备上显示的一组图像数据包括直接观看者的图像数据，则生成的视频流的数量对应于一组图像数据的数量减去一个。
16.在本发明的一个实施例中，“一组图像数据”还可以包括空白图像，即时间间隔，其中在物理显示器上不显示图像。例如，如果事件的直接观看者或事件的参与者(例如足球或篮球运动员)不应被物理显示器上显示的内容(即广告)分散注意力，则这可能是期望的，在本实施例中，广告仅通过视频屏幕发送给广播观看者。
17.在本发明的另一实施例中，“一组图像数据”可包括单彩色帧，该单彩色帧可用于识别视频流中的物理显示器的位置，以便使用常规方法、基于软件的键控技术在视频流中的物理显示器的区域中插入所需广告。
18.在本发明的另一实施例中，不需要用于直接观看者的专用一组图像数据，视频屏幕的数量对应于物理显示器上显示的一组图像数据的数量。因此，针对在物理设备上显示的每组图像数据生成视频流。虽然可以使用最新的摄像机技术来实现本发明，但是专用的摄像机用于每个视频流。因此，当实施本发明的方法时，不需要对包括观看者的所有子集的所有图像数据的单个视频流进行解复用。
19.根据本发明方法的优选实施例，通过生成同步信号触发所述至少一组图像数据的图像在所述物理设备上的并发显示和所述至少一组图像数据的视频帧的捕获，来实现由与所述至少两组图像数据之一的图像的显示同步捕获的视频帧组成的视频流与所述一组图像数据相关联的视频流。例如，触发脉冲被发送到触发特定一组图像数据合的特定图像的显示的物理显示器的图像缓冲器，并且并发脉冲被发送到触发摄像机以捕获场景的视频帧的摄像机。
20.术语“标准广播帧率”表示传输一个信道，即来自物理视频输出之一的视频信号的帧率。在一实施例中，标准帧率对应于视频信号被传输给观看者的帧率。
21.本发明的方法允许容易地适配申请人的pct/ep2018/052177和pct/ep2018/052178中描述的方法，因为图像数据的组合的数量，视频流的数目和单个视频流的慢动作速度可以彼此独立地改变，使得用于向不同的观看者发送物理显示器的可选的图像内容的方法可以容易地适应诸如带宽、物理显示器的切换时间、摄像机单元的记录速度等技术限制。
22.特别地，可以以不同的帧率捕获视频流。因此，在一个实施例中，所述至少一个其它视频流包括与所述至少两组图像数据中的一个其它的图像的显示同步捕获的视频帧，所述至少两组图像数据是以不同的帧率生成的，所述帧率是标准广播帧率(sbfr)的整数倍。在这种情况下，所述另一个视频流的整数倍可以是一个，即另一个(第二)视频流可以以标准广播帧率记录，而第一视频流是至少2x的慢动作流。
23.一般来说，根据本发明的方法，从m组图像数据生成n个视频流，其中n、m是大于或等于2的整数，并且m是大于或等于n，生成至少两个视频流，但并非显示在物理显示器上的所有组图像数据都必须产生相应的视频流。以由慢动作因子f(n)和所述标准广播帧率(sbfr)的倍数定义的帧率捕获视频流，其中慢动作因子f(n)是大于或等于1的整数，并且所述慢动作因子f(n)中的至少一个大于或等于2。
24.根据优选实施例，视频帧以高记录帧率(hrfr)来捕获，其中，高记录帧率(hrfr)由以下等式定义：
[0025][0026]
sbfr是标准广播帧率，而f(i)是各个视频流的慢动作因子。根据本发明，生成至少两个视频流，并且其中至少一个是具有至少两个慢动作因子的慢动作流，因此本发明方法中的最小高记录帧率(hrfr)是标准广播帧率的三倍。如果仅使用一个摄像头单元记录所有流，则该摄像头单元必须具有较高的记录帧率(hrfr)。如果采用更多的摄像机来记录不同的流，则摄像机本身的记录帧率可以相应地较低。
[0027]
在物理显示器上呈现要记录的图像数据的高显示帧率(hdfr)至少与高记录帧率(hrfr)一样高。一般而言，高显示帧率(hdfr)是所述高记录帧率(hrfr)的整数倍：
[0028]
hdfr二f
d
·
hrfr，
[0029]
显示因子f
d
为大于或等于1的整数。在显示因子f
d
＝1时，记录在物理显示器上显示的所有图像数据。使用较高的显示系数可以引入其他图像，甚至是未记录的其他图像组。
[0030]
在优选实施例中，至少两个视频流包括将由直接观看者和可选地由广播观看者观
看的一组图像数据(m)和将仅由广播观看者观看的至少一组图像数据(p1、p2、p3)。为了增强直接观看者的观看体验，将显示因子f
d
至少设置为大于或等于2。这允许广播观看者观看一组图像数据(p1、p2、p3)的图像的图像的补充互补/逆图像，而仅在物理显示器上显示。这些附加的逆图像未在视频流中捕获。仅在广播观看者观看的一组图像数据(p1、p2、p3)和相应的逆图像仅在对于直接观看者有意识观看的图像而言太短的时间段内显示。图像和相应的逆图像的组合使直接观看者的观看体验的任何残留干扰最小化，因为图像和逆图像的快速顺序(与顺序无关)会导致组合的中性/灰色图像。
[0031]
在一个实施例中，显示因子f
d
大于或等于3，从而允许直接观看者观看该组图像数据(m)的附加图像以显示在物理显示器上。这些附加图像也未在视频流中捕获，而是增加了直接观看者观看的图像数据与不打算由直接观看者观看的图像组的净强度比。如果一组图像数据(m)的附加的未捕获图像以高于所述物理显示器的组图像数据(m、p1、p2、p3)的捕获图像的强度的强度显示，则可以进一步增加该比率。
[0032]
在一个实施例中，所述标准广播帧率(sbfr)是25hz(每秒50帧)、50hz(每秒50帧)或60hz(每秒60帧)。但是，特别是在体育赛事中，可以采用更高的标准帧率，例如100hz/fps或150hz/fps。
[0033]
本发明还涉及一种用于向不同的观看者发送物理显示器的可选的图像内容的系统，包括：至少一个物理显示器、用于以时间分片多路复用方式在所述物理显示器上显示至少第一组和第二组图像数据的控制接口、至少一个用于与所述第一组图像数据对应地记录包括所述物理显示器的场景，用于从所述至少一个摄像机提供的视频数据生成至少两个视频流的装置，其中至少一个视频流包括与所述至少两组中的一个的图像的显示同步捕获的视频帧以标准广播帧率(sbfr)的整数倍的慢动作帧率(smfr)生成图像数据的子集；以及用于以所述标准广播帧率(sbfr)将所述视频流发送到所述观看者的不同子集的装置。
[0034]
当使用市售的视频广播设备时，许多标准sdi输出将不会提供用于传输由摄像机单元捕获的hrfr视频信号所需的带宽。如申请人的pct/ep2018/052178中所述，可以采用常规的中间处理单元(基带处理单元)将后续的视频流(视频信道)定向到中间处理单元的不同物理输出。
[0035]
在传统的专业视频广播技术中，摄像机单元由摄像机控制单元(ccu)控制，来自摄像机单元的视频信号直接传输到ccu。在本发明的该实施例的上下文中，将来自摄像机的视频信号发送到布置在摄像机单元和ccu之间的中间处理单元。中间处理单元包括至少一个连接单元，连接单元具有来自摄像机的所述高帧率视频信号的输入和多个视频输出，其中所述多个视频输出的数量至少对应于生成高帧率视频信号的标准帧率的整数倍。在中间处理单元中，通过将所述高帧率输入视频信号的连续帧循环发送到所述整数个视频输出的连续视频输出，可以将高帧率视频信号转换成标准帧率视频信号。因此，将在与标准帧率相对应的时间段内的所述高帧率视频信号的每个帧发送到相同的物理视频输出。因此，可以在所述整数个视频输出之一处以标准帧率获得所述至少一个视频流。
[0036]
在本发明的特别优选的实施例中，中间处理单元是可商购的基带处理单元。
[0037]
商用基带处理单元具有视频输入，用于从摄像机单元接收高分辨率(例如4k)和/或高帧率(例如，100hz、150hz、200hz、400hz、800hz等)输入视频流，并且该商用基带处理单元包括视频处理器，用于将输入视频流转换为多于一个3g-sdi或hd-sdi视频流。因此，基带
处理单元包括相应数量的视频输出，其配置为标准3g-sdi和/或hd-sdi输出，允许例如将4k摄像机单元连接到外部广播车的标准sdi设备或已经在体育场馆中使用的sdi设备。
[0038]
为了符合传统sdi设备的带宽要求，令人惊讶地发现，商用中间处理单元通常以这样的方式配置，即以循环方式将4k高帧率视频信号的连续视频帧发送到中间处理单元的连续物理视频输出。例如，将在50hz标准帧率视频信号的单帧的时间间隔期间记录的200hz高帧率视频信号的每四帧发送到中间处理单元的四个连续单独视频输出。因此，在优选实施例中，基带处理单元包括至少一个4k高帧率视频输入和至少3g-sdi和/或hd-sdi视频输出。
[0039]
必须注意，输出的数量可以高于上述的整数倍。例如，中间处理单元可以包括用于每个视频信号的两个物理输出，例如，每帧可以传输到两个视频输出，从而允许通过不同的视频处理路径处理相同的视频信号。
[0040]
在某些实施例中，基带处理单元布置在摄像机单元和摄像机控制单元之间。通常，专业摄像机单元通过其专用摄像机控制单元(ccu)进行控制。hd摄像机单元通常有专用的hd-ccu，同样4k摄像机单元也有专用的4k-ccu。为了降低成本和互操作性，诸如索尼公司的摄像机制造商已经开发了中间处理单元，表示为“基带处理单元”(bpu)，其包括第一连接单元和第二连接单元。第一连接单元连接到在空间方向和/或时间方向上具有第一分辨率的摄像机单元。第二连接单元连接到在空间方向和/或时间方向上具有第二分辨率的摄像机控制单元。中间处理单元包括插入在第一连接单元和第二连接单元之间的信息提供单元。通过信息桥单元，桥接在摄像机单元和摄像机控制单元之间交换的信息。例如，信息桥接单元可以将从摄像机单元输入到第一连接单元的第一分辨率的视频信号转换为第二分辨率的视频信号，并将该信号输出到第二连接单元。在这种情况下，信息桥接单元可以在将从摄像机单元输入到第一连接单元的第一分辨率的视频信号转换成第二分辨率的视频信号之前，对第一分辨率的视频信号执行摄像机信号处理。因此，可以将4k分辨率摄像机连接到hd摄像机控制单元。
[0041]
典型的中间处理单元在美国专利us 9,413,923b2中描述。这种中间处理单元例如由sony corporation商用，例如作为基带处理单元bpu 4000或bpu 4800。从本质上讲，这些索尼设备允许操作带有hd摄像机控制单元的4k摄像机单元，并通过sdi输出传输高帧率4k信号。由于sdi信道不能满足高帧率4k信号的带宽要求，bpu允许以上述方式组合若干sdi输出以便发送高帧率4k。
[0042]
其他公司提供类似的设备。例如，grass valley,montreal,canada商用的xcu uxf/xf光纤基站也可用于本发明的方法中。
[0043]
因此，本发明还涉及使用诸如4k基带处理单元的中间处理单元，其包括至少第一连接单元、视频处理器和至少两个3g-sdi和/或hd-sdi视频输出，所述第一连接单元具有用于来自摄像机的高分辨率和/或高帧率视频信号的输入，所述视频处理器用于将高分辨率和/或高帧率输入视频信号转换为多于一个(例如四个或更多个)3g-sdi或hd-sdi视频流，如上述方法提及的。
[0044]
优选地，中间处理单元还包括至少第二连接单元，用于连接摄像机控制单元，例如高清摄像机控制单元。
[0045]
优选地，中间处理单元包括至少8个并且特别优选地至少16个3g-sdi和/或hd-sdi视频输出。在任何情况下，视频输出的数量都大于或等于将标准帧率与高帧率摄像机单元
相关联的整数倍。
[0046]
特别优选的是，中间处理单元是sony 4k基带处理单元，例如sony bpu 4000或sony bpu 4800或grass valley光纤基站，例如xcu uxf/xf光纤基站。
[0047]
在本发明的一个实施例中，为在所述物理显示器上显示的至少两组图像数据生成至少两个视频流。
[0048]
在另一个优选实施例中，为在所述物理显示器上显示的每组图像数据生成视频流。
[0049]
当生成多于一个视频流时，用于传输这些视频流的带宽要求显著增加，尤其是如果这些视频流包含hd、4k和/或慢动作内容。然而，在本发明的方法中，视频流仅在记录在视频流中的物理显示的内容和任何(尽管是次要的)内容上不同，记录场景中的运动效果归因于以下事实：根据所采用的高帧率摄像机单元的帧率，以一定的延迟记录不同视频流中的对应帧。因此，可以使用传统的视频压缩技术，例如在不同输出信道中的帧之间的增量编码，或者允许传输具有完整视频信息的一个输出信道的视频信号的运动补偿技术，同时仅传输允许重构原始信道信号的差分数据为其他视频信道传输。“完全”发送的视频信道本身不一定必须是未压缩的视频信号，因为诸如变换编码的传统压缩技术也可以应用于该信道，以便减少要发送的数据量。
[0050]
优选地，同步信号基于主时钟，该主时钟对应于视频流的帧率，例如，以上定义的标准帧率。可以采用在视频或电影制作中使用的任何常规帧率。例如，如果生成50p视频流(每秒50个完整帧)，则可以使用50hz主时钟。
[0051]
通常，主时钟信号直接或通过ccu馈入摄像机单元。
[0052]
在本发明的实施例中，其中仅使用单个摄像机单元来产生多个不同的视频输出，主时钟信号馈送到接口，该接口接收要在物理显示器上显示的图像数据并且以一定的速率产生触发信号，该速率对应于上述摄像机单元记录视频信号时的定义的上述高帧率。图像数据根据触发信号显示在物理显示器上。
[0053]
根据另一优选实施例，其中每个视频流使用专用的摄像机单元，主时钟用于生成专用于每个单独的一组图像数据的从时钟。通过以每个视频屏幕的特定延迟来将主时钟移位获得从时钟。例如，如果在物理设备上显示n组图像数据，则通过以延迟di＝(n-1)
·
δt移动主时钟来获得从时钟i(n)，用于第一组图像数据的同步信号对应于主时钟，而用于后续一组图像数据的同步信号在主时钟的周期时间内被相移。例如，在50hz的帧率下，相应的周期时间t＝1/帧率＝20ms。与特定视频屏幕关联的每个摄像机的最小快门时间决定了可以在物理显示器上显示并通过专用视频流传输的最大信道数(一组图像数据)。因此，在快门时间为δs的情况下，一组图像数据的最大数量n由等式n
·
δs≤1/f确定。类似地，物理显示器必须能够以所需的帧率n
·
f显示图像。在体育场中使用的商用显示器具有高达1200hz或甚至2400hz的帧率，从而可以呈现至少24组图像数据。
[0054]
根据本发明的一个实施例，第一组图像数据对应于为直接观看者呈现的图像。根据该实施例，在视频流的后续同步信号之间的延迟时段δt内示出第一组图像数据。在本发明方法的一个特别优选的实施例中，选择快门时间δs和延迟时间δt，使得在主时钟的帧周期内大约90％的时间，示出第一组图像的图像指向直接观看者(n
·
δs≤0.1
·
(n-1)
·
δt)。
[0055]
根据本发明的另一实施例，至少一组图像数据包括真实图像序列以及各个真实图像的逆或互补图像序列。根据该优选实施例，真实图像和相应的逆图像以人眼无法分辨的频率立即连续示出。因此，直接观看者将真实图像序列和逆图像序列感知为中性的无特征图像。根据本发明，以这种方式呈现用于视频流的每组图像数据，即作为真实图像序列和相应的逆/互补图像序列，而用于直接观看者的一组图像数据只呈现为图像。当在活动中的观看者观看物理显示器上显示的所有图像时，用于视频流的插入的图像组不那么令人不安，因为图像序列和逆图像序列基本上抵消了。
[0056]
由于用于记录视频的帧率通常高于人眼的时间分辨率，例如，高于20hz(每秒20帧)，则在呈现给物理显示器的每个图像之后不必插入逆/互补图像。因此，根据本发明的另一个实施例，基于包括一个以上真实图像的一组真实图像来计算逆/互补图像。逆/互补图像的呈现与这组真实图像的呈现相关联，例如，它在呈现真实图像组之前或之后显示，或者甚至在真实图像组内显示。在一个实施例中，该组真实图像包括在主时钟的一个时间段(1/(帧率))内示出的所有图像，使得在每个时间段内仅示出一个逆/互补图像。
[0057]
根据一个实施例，当显示器是彩色显示器时，通过在逐个像素的基础上对基本图像及其反色图像进行时间复用来建立图像序列和逆图像序列，从而产生显示器上的复合图像，复合图像对于显示器的直接观看者来说基本上没有特征。每个反色数据分量可以从基本图像信号的相应颜色数据分量生成并且作为其的函数，并且因此代表基本图像的相同颜色分量。由于信号幅度与图像颜色强度直接相关，尽管是非线性的，每个反色数据分量的幅度确定为其对应的颜色数据分量的幅度的函数，使得对应于所有颜色数据分量的幅度和对应于反色数据分量的颜色强度的时间加权平均值，对应于相同像素的每个复合颜色数据分量基本相同。在给定显示帧期间计算的每个反色数据分量的幅度设置为使得所得复合图像的每个对应颜色分量的强度与所有其他颜色分量基本相同。由于基本和反色数据分量以足够高的频率(使得人眼无法辨别)进行时间复用，所以由复合图像信号产生的所得图像的所有颜色分量的强度对于每个像素都看起来基本相同。结果，在像素之间没有颜色或强度的可见变化，并且所得到的复合图像看起来基本上没有特征。因此，通过在基于像素的基础上对基本图像信号的各个颜色数据分量与对应的反色数据分量进行时间复用，基本图像基本上与其计算的反色图像时间复用，以产生最终的复合图像，复合图像基本上是中性的并且对于观看者的肉眼来说是无特征的。
[0058]
根据逆图像呈现的优选实施例，以这样的方式生成每个在前和/或后续图像的逆图像，使得组合图像和逆图像导致具有均匀强度的感知图像。
[0059]
根据本发明的另一优选实施例，物理显示器是发光二极管(led)阵列/显示器。优选地，led显示器是招牌或广告牌。
[0060]
根据本发明的另一实施例，记录在一个或多个视频流中的场景是体育赛事或娱乐活动的一部分。
[0061]
本发明还涉及一种配置成执行本发明方法的控制接口，所述控制接口包括用于接收或产生主时钟信号的装置，用于产生两个或多个时移从时钟信号的装置和用于产生与所述两个或更多个时移从时钟信号相对应的触发信号的装置。
[0062]
优选地，控制接口还包括：至少一个输入，用于接收外部主时钟信号；至少两个从输出，用于将所述从时钟信号发送到一个或多个(在一个实施例中为两个或更多个)摄像
机；和至少一个触发输出，用于发送触发信号到物理显示器，且以时间分片多路复用方式在所述物理显示器上显示不同组的图像数据。
[0063]
根据一个实施例，控制接口是专用硬件接口，在专用微控制器或fpga中，其中用于接收或产生主时钟信号的装置、用于产生两个或更多个时移从时钟信号的装置和用于产生与两个或多个时移从时钟信号相对应的触发信号的装置，至少部分地由硬件实现。
[0064]
根据另一实施例，控制接口完全用软件实现。因此，用于接收或产生主时钟信号的装置、用于产生两个或更多个时移从时钟信号的装置和用于产生与两个或更多个时移从时钟信号相对应的触发信号的装置，在通用计算机或硬件组件(fpga、微控制器、发送卡、图形卡等)中作为可执行程序实现。
[0065]
最后，本发明涉及一种用于将物理显示器的可选的图像内容发送给不同观看者的系统，包括至少一个物理显示器、如上所述的用于以时间分片多路复用方式在所述物理显示器上显示至少第一和第二组图像数据的控制接口、至少一个用于记录包括与所述第一组图像数据相对应的所述物理显示器的场景的摄像机，用于从由所述至少一个摄像机提供的视频数据产生至少一个视频流并发送所述视频流到观看者子集的装置。
[0066]
在下文中，将参考附图更详细地描述本发明的优选实施例。在图中，
[0067]
图1示出了实现本发明的系统的示意图；
[0068]
图2示出了主时钟和从时钟的时间线；
[0069]
图3示出了从时钟的时间线；
[0070]
图4示出了实现本发明方法的另一实施例的系统的示意图；
[0071]
图5示出了在图4的实施例中使用的单个摄像机单元的帧序列；
[0072]
图6示出了在不参考慢动作的情况下，从图5的视频流生成的视频流的帧序列；
[0073]
图7示出了用于在本发明的方法中实现物理显示器和摄像机同步的三个替代实施例；
[0074]
图8示出了具有实现本发明的方法的不同摄像机的系统；
[0075]
图9示出了根据本发明的方法的用于在物理显示器上呈现不同组的图像数据以用于至少一个视频流的慢动作传输的方案；
[0076]
图10示出了本发明的慢动作方法的另一实施例；
[0077]
图11示出了图8的方案的变体；以及
[0078]
图12示出了图9的方案的变体。
[0079]
现在参考典型的示例，即体育赛事的电视广播，更详细地描述本发明。
[0080]
图1-7示出了申请人的pct/ep2018/052178中描述的实施例。结合图8至图12描述了用于发送慢动作视频流的改进方法。
[0081]
在图1所示的本发明的实施例中，专用摄像机单元用于每个视频流。因此，多个摄像机c1、c2、c3、c4用于提供由(部分描绘的)足球比赛运动场10示例的体育赛事的视频镜头。在运动场10的侧线11上，安装具有led显示器13的广告牌12。广告牌12包括控制器14，控制器14控制静态和/或动态图像到led阵列13的传送。在传统的多摄像机广播方案中，必须同步摄像机c1、c2、c3和c4，以允许从一个摄像机到另一个摄像机的无缝切换。为此，摄像机c1、c2、c3和c4从主时钟15接收同步信号，该主时钟15是电视控制单元的一部分，例如容纳在外部广播单元(ob单元)中，例如在ob厢式车16中。在传统的tv广播中，摄像机c1、c2、c3和
c4与相同的主时钟信号m1、m2、m3、m4同步(即m1＝m2＝m3＝m4)，这些同步信号可以分别通过线路l1、l2、l3和l4发送到摄像机c1、c2、c3、c4。如箭头所示，线路l1、l2、l3和l4可以是双向的，不仅允许同步信号发送到摄像机c1、c2、c3和c4，而且还允许来自摄像机的视频信号馈送到ob厢式车16。当然，ob厢式车16和摄像机c1、c2、c3和c4之间的双向通信可以是基于有线的或无线的或两者的组合。
[0082]
在传统的tv广播中，通常组合摄像机的视频信道以生成传送给观看者的单个视频流。相反，在根据本发明的方法中，摄像机c1、c2、c3和c4用于为不同的观看者(例如，不同国家的观看者)子集生成不同的视频信道v1、v2、v3、v4。这些不同的视频信道将在led阵列13上显示活动的基本上相同的场景，但显示的信息不同。为了允许不同的摄像机记录led阵列上显示的不同信息，从主时钟15发出的并发主时钟信号m1、m2、m3和m4不直接馈送到相应的摄像机c1、c2、c3和c4。相反，并发主时钟信号馈送到接口17，这允许在传送到各个摄像机的同步信号之间引入预定的时间延迟(相移)。相移信号分别指定为从时钟信号s1、s2、s3和s4，然后通过双向线路l1'、l2'、l3'和l4'发送到摄像机c1、c2、c3和c4。在当前情况下，从信号s1对应于主时钟信号m1，而信号s2、s3和s4分别相对于相应的主时钟信号m2、m3和m4相移了延迟δt、2
·
δt和3
·
δt。
[0083]
此外，与从时钟信号s1、s2、s3和s4同时，接口17生成触发信号t1、t2、t3和t4，这些触发信号经由线路l5传输到led阵列13的控制器14，以确保广告牌12的led阵列13在摄像机c1、c2、c3和c4的相应(相移)触发时间示出了指向特定的观看者子集的图像。
[0084]
在本发明的一个实施例中，其中一个摄像机可用于显示同一组图像数据，该组图像数据旨在供出现在活动中的直接观看者使用。在这种情况下，图像数据的组数量将对应于相对于彼此相移的摄像机的数量。然而，在图中描述的示例中，向直接观看者呈现附加的一组图像数据。因此，提供总共五组图像数据，其可以在由接口17经由控制器14确定的特定时间显示在led阵列13上。为此，接口17不仅生成触发信号t1、t2、t3、t4，还生成触发信号t5，触发信号t5用于显示指向直接观看者的一组图像数据的图像。
[0085]
具体地，存在专用于相应四个观看者子集的四组图像数据，相应四个观看者子集可以观看在led阵列13上接收专用信息或广告的体育赛事。摄像机c1为第一观看者子集生成视频流v1，而摄像机c2、c3和c4为第二、第三和第四观看者子集生成各自的视频信道v2、v3和v4。
[0086]
第五组图像数据用于描绘用于出现于体育赛事中的直接观看者的图像。如上所述，在本发明的优选实施例中，以这样的方式控制led阵列：大多数时候，在led阵列13上显示用于直接观看者的图像。
[0087]
图2描绘了在本发明的方法中使用的相应同步信号。图2a示出了以50hz的速率发射的主时钟信号，例如，针对每秒50帧的视频记录。图2b、2c、2d和2e对应于由接口17产生的从时钟信号s1、s2、s3和s4。从图2可以看出，每个从信号分别通过延迟n
·
δt面向移位，其中n＝0、1、2和3。信号s1、s2、s3和s4触发各个摄像机c1、c2、c3、c4的快门时间。
[0088]
当摄像机的快门打开时，led阵列13分别显示由触发脉冲t1、t2、t3和t4触发的各组图像数据的图像。
[0089]
图2f描绘了针对直接观看者的第五图像数据子集的触发脉冲t5。在当前描述的实施例中，这些图像仅在没有摄像机活动时显示在led阵列上，但是在其他实施例中，摄像机
也可以是活动的。从图2可以看出，led阵列的帧率远高于摄像机的帧率。
[0090]
图3描绘了图2的同步方案的变形，其中对于每个从时钟脉冲，产生两个led阵列触发脉冲。前导脉冲t1、t2、t3和t4触发由相应摄像机记录的实际图像。紧接记录视频帧之后，即在分别终止从信号s1、s2、s3和s4之后，立即产生脉冲t1i、t2i、t3i和t4i，触发在t1、t2、t3和t4处显示的相应图像的逆图像。图像和逆图像以无法用肉眼分辨的速率显示，从而为直接观看者产生更平滑的观看体验。
[0091]
应当注意，在本发明的上下文中，每个摄像机c1、c2、c3和c4可以表示一组摄像机，该组中的每个摄像机由相同的同步信号触发。因此，由每组摄像机产生的视频流v1、v2、v3和v4可以例如，包括多摄像机馈送，例如，从不同角度展示活动。
[0092]
同样，术语“同步信号”、“主时钟信号”、“从时钟信号”或“触发信号”以及在控制接口处的相应输入和输出将广义地解释。这些信号可以是模拟信号、数字信号或两者的组合。这些信号可以是基于有线或无线的信号。特别是当涉及数字信号时，除了定时/触发信息之外，这些信号还可以传送更多信息。例如，触发信号可以传送关于在特定一组图像数据中显示特定图像的信息。而且，虽然已经示出摄像机c1、c2、c3、c4经由专用线路连接到接口，但是接口的从时钟输出也可以是单个输出，例如，单个数据总线，数字寻址的从时钟信号s1、s2、s3和s4可以在其上传输到链接到数据总线的摄像机c1、c2、c3、c4。
[0093]
图4以与图1类似的示意图示意性地描绘了本发明的另一实施例，除了在该实施例中，单个摄像机单元c用于捕获场景的初始高帧率视频流，场景包括布置在足球运动场10的边线11处的广告牌12的led显示器13。可以在本实施例中使用的典型摄像机单元c是由sony corporation商用的hdc 4300摄像机，其允许以高帧率记录场景。高帧率视频流hfr(参照图5)通过第一光缆20传输到中间处理单元22的第一连接21。中间处理单元22包括信息桥23，用于将第一连接21连接到第二连接24，第二连接24可用于经由第二光缆25将中间处理单元22连接到摄像机控制单元(ccu)26。摄像机控制单元26具有用于诸如外部摄像机控制、计数器、提示器、返回视频等信号的附加输入/输出28。合适的中间处理单元22例如是基带处理单元(bpu)，例如由sony corporation商用的bpu 4000。中间处理单元22进一步包括视频处理器27，用于将初始高帧率视频流转换和路由到多个物理sdi输出o1、o2、o3等。sdi输出o1、o2、o3等提供标准帧率视频流sfr(参见图6)。
[0094]
摄像机单元c直接(未示出)或通过将主时钟15连接到摄像机控制单元26和光缆25、20的线路29从主时钟17接收主时钟信号m。
[0095]
主时钟信号m也经由线路30馈送到接口17。接口17通过图像数据输入31接收图像数据，并产生触发信号t，根据该触发信号t，图像数据通过线路32传输到led显示器13，其中根据触发信号t显示图像数据。选择触发信号t使得由摄像机单元记录的后续帧可以显示具有led显示器13上所示的不同图像数据的记录场景。当然，图像数据也可以在显示器13和/或接口17的存储介质中是传输的预先存储的。而且，接口17可以是广告牌12的一部分，使得线路32是广告牌12的内部电路的一部分。
[0096]
然而，应该注意，摄像机控制单元26对于本发明的方法不是必需的，因为摄像机单元c可以采用其专用控制单元或甚至在其中实现必要的控制。中间处理单元22的主要目的是将来自高帧率摄像机单元c的帧分割成中间处理单元22的sdi输出o1、o2、o3等处的单独视频流，如下面更多描述。
[0097]
图5示出了由摄像机单元c记录的具有三倍标准帧率(50hz)，即150hz的高帧率视频hfr的帧序列。因此，在1/50秒(20毫秒)的时间间隔期间记录三帧f i.1、f i.2、f,i.3。图5示出了在60ms的时段期间记录的帧，即i＝1、2、3)。帧通过光缆20传输到中间处理单元22(bpu)。
[0098]
如图6所示，中间处理单元22的视频处理器27将hfr流分成三个sfr流，并将帧路由到三个不同的sdi输出o1、o2、o2，使得帧(f n.i)被路由到输出oi(i＝1、2、3)，其中n是hfr视频流的连续帧。从图6可以看出，初始高帧率视频屏幕的帧1.1、2.1、3.1等在sdi输出o1处以50hz的帧率生成第一标准帧率视频流sfr。在输出o2、o3处生成类似的sfr视频流。因此，初始hfr视频流的带宽要求分配到三个sdi输出o1、o2、o3处的三个sfr视频流。在传统的广播方案中，三个流将在通过标准sdi传输线路传输之后再次组合。然而，在本发明的上下文中，触发广告牌的led显示器，使得当分别记录帧n.1、n.2和n.3(n＝1、2、3、4、5、...)时在显示器上显示不同的内容。因此，在不同的sdi输出处生成的sfr流用作针对不同观看者的不同视频流。
[0099]
图7描绘了用于在本发明的方法中实现物理显示器和一个或多个摄像机的同步的三种替代方法。在图7a、7b和7c所示的实施例中，再次示出已经在图1和4描绘的几个元件。图7的实施例示出了led显示器13和用于报告包括led显示器13的方案的摄像机c(代表一个或多个摄像机)。还如图1和图4所示，分别提供接口17，其接收要经由数据线31在led显示器13上显示的图像数据。在图7的实施例中，图像数据由计算机单元40提供，计算机单元40例如可以包括处理和存储组件41，其可以包括一个或多个图形卡42和一个或多个控制显示器43。计算机单元40还包括专用发送卡44，其从处理和存储组件41的图形卡接收图像信息，并将图像数据发送到接口17的相应接收卡17a。接口17进一步包括现场可编程门阵列(fpga)，其配置为将部分图像数据发送到led显示器13的相关led驱动器13a。多个显示器或面板13构成广告牌的完整显示器(参考图1和图4中的标志12)。
[0100]
图7a-7c的实施例区别在于led显示器13上描绘的图像数据序列与摄像机c同步的方式。在图7a的实施例中，主时钟15触发摄像机c和接口17的fpga17b。必须注意，每个fpga17b必须连接到主时钟15，因此相应的布线成本高且复杂。在图7b的优选实施例中，主时钟15的触发信号被引导到摄像机c和发送卡44，然后发送卡44不仅向接口17发送图像数据，而且还发送由各种fpga17b接收的相应触发信号。因此，用于时钟信号的相应接线要简单得多。如图7c所示，还可以将主时钟信号发送到计算机单元40的处理和存储组件41的图形卡42。然而，这需要专用的图形卡，其不仅允许发送图像数据，而且还允许向发送卡44发送附加的触发信息。
[0101]
图8示出了使用不同摄像机设置来实现本发明的方法的广播系统50。摄像机51表示慢动作摄像机，其经由传输线路52连接到其中实现了本发明的方法的摄像机控制单元(ccu)/基带处理单元(bpu)53。为此，单元53经由线路54接收用于与led显示器同步的触发信号。在ccu/bpu53与专用慢动作服务器56之间建立了由线路55表示的高带宽连接。慢动作信号可以例如是150hz的信号(即3x慢动作信号)。专用慢动作服务器56例如可以是由evs广播设备商用的慢动作服务器，经由线路57将所选场景作为标准的50hz信号发送到混频器58，该混频器例如可以提供在外部广播厢式车(ob-van)中。线路55也可以绕过专用的慢动作服务器56，并且可以直接馈送到混频器58中。在这种情况下，以高帧率记录的单独馈送与
led显示器上的不同内容同步，因此也可以用作不同子集用户的标准帧率馈送。
[0102]
摄像机59表示传统的标准帧率摄像机，它通过线路60将其视频信号传输到其专用的ccu/bpu单元61，后者也通过线路62与led显示器同步。50hz视频信号通过线路63传输到混频器58。
[0103]
在某些设置中，采用专用的高速摄像机64以很高的慢动作速率记录某些事件。这些摄像机(例如，以商品名“phantom”商用的摄像机)使用的记录帧率比本发明的方法中通常使用的高显示帧率高得多。因此，这些摄像机无法与led显示器上显示的某些内容馈送同步。摄像机64的输出通过线路65连接到其专用控制单元66，该专用控制单元又通过电缆67连接到混频器58。在图8中还显示了专用控制线路68，以指示为解决上述非同步问题，如下所示：例如，线路68可以用来向混频器58发送触发信号，指示摄像机64是活动的，这又触发混频器58以在摄像机64的视场中关闭led显示器上的可选的图像内容的显示。因此，在极少数情况下使用高速摄像机时，这些led显示器上仅显示主馈送或预选的并行馈送。可替代地，线路68可以用来指示led显示器根据本发明的方法进行操作，因此要求高速摄像机64以对应于高显示帧率的最大速度进行操作。这样的摄像机通常采用内部时钟，该内部时钟可以与高显示帧率周期性地同步，以确保在事件期间这种摄像机的相对较短的操作周期的过程中保持同步。然后可以在混频器58处选择要传输给广播观看者的合适的馈送。
[0104]
图9描述了根据本发明的方法的用于在物理显示器上呈现不同组的图像数据以用于视频流的慢动作传输的方案。
[0105]
对于该实施例，我们假设以50hz的标准广播帧率sbfr(即每秒50帧(fps))将视频馈送传递给电视或互联网广播的观看者。由适当的摄像机单元以高记录帧率hrfr记录包括物理led广告显示器13(见图1)的场景。在本实施例中，摄像机适于以通过将标准广播帧率sbfr乘以慢动作因子f
m
来限定的慢动作帧率smfr来记录具有用于直接观看者的主要组图像数据(主馈送m)的场景。在图9的实施例中，用于主馈送的慢动作因子等于三，即f
m
＝3。在本实施例中，在led屏幕上示出了三组附加的图像数据，它们基本上并行(时间多路复用)地传输到主要组图像数据m(主馈送)，并且因此被表示为仅用于广播观看者的“并行馈送”p1、p2和p3。摄像机还适于用led显示器记录场景，该led显示器以标准广播帧率sbfr(即慢动作因子f
p1
＝f
p2
＝f
p3
＝1)显示没有慢动作的并行馈送p1、p2和p3。因此，如上所述，摄像机单元必须以由下式限定的高记录帧率hrfr来操作：
[0106]
hrfr＝sbfr
·
(f
m
+f
p1
+f
p2
+f
p3
)＝50fps
·
6＝300fps，
[0107]
即300hz/fps的帧率对应于50hz/fps的标准帧率的六倍。
[0108]
为了增强直接观看者的观看体验，物理led显示器以高显示帧率hdfr来操作，所述高显示帧率hdfr甚至高于高记录帧率hrfr。在本示例中，选择显示因子fd＝3，从而允许为每个记录图像在物理显示器上显示两个附加图像。因此，高显示帧率hdfr被设置为
[0109]
hdfr＝f
d
·
hrfr＝300fps
·
3＝900fps，
[0110]
即帧率对应于50hz/fps的标准帧率的18倍。
[0111]
图9描绘了一个20ms的周期，其对应于标准帧率50hz/fps的单个周期时间。每个20ms的周期性时间被细分为1/900秒持续时间的18个时隙(即约1.1ms)，代表20毫秒内以900hz/fps的hdfr速率在物理显示器上显示18个图像。在20毫秒内在物理显示器上显示的给定馈送的图像通常是相同的。在接下来的20ms周期(图9中未显示)中，图案会重复进行，
但馈送中的图像内容通常会发生变化。
[0112]
从图9可以看出，在所示的20ms周期内，以300hz运行的摄像机c记录了六个图像，分别表示了不同的视频信道c1、c2、c3、c4、c5和c6。摄像机c的快门时间被调整为图像时隙的时间段，即快门时间小于或等于1/900秒(1.1ms)，使得由摄像机c记录的每个视频帧仅对应于在物理显示器上描绘的一个图像。摄像机记录和物理显示器是同步的，使得记录从第一个时隙的开头开始。在本实施例中，显示四组图像数据。该组图像数据m的图像对应于物理显示器上描绘的主图像馈送，并且旨在由场景的直接观看者有意识地观看。在本实施例中，出于慢动作视频流的目的，一组图像数据m的图像也由摄像机c记录。在本示例中，打算使用3x慢动作视频流。因此，在每个20ms的时间段内，主馈送m的图像在时隙1和5中显示和记录了3次。从图9可以看出，记录的帧c1、c3和c5对应于一组图像数据m。因此，主要图像数据组m以对应于所需3x慢动作视频流的150hz帧率记录。
[0113]
基本上并行(时间分片多路复用)传输到主要组图像数据m(主馈送)的三组附加图像数据表示为并行馈送p1、p2和p3，它们以50hz的标准帧率记录，即在每20ms周期时间内仅显示一次。在时隙4中描绘了一组图像数据的图像p1，在时隙10中描绘了一组图像数据的图像p2，在时隙16中描绘了一组图像数据的图像p3，使得相应的图像分别被摄像机的视频帧c2、c4和c6捕获。图像p1、p2和p3中的每一个在物理显示器上的显示时间总计约1.1ms，这太小了以至于不能被直接观看者有意识地观看。因此，这些组图像数据仅旨在分别经由从c2、c4和c6生成的视频流传输到广播观看者。如在pct/ep2018/052177中更详细地描述的，通过另外分别在时隙5、11和17中显示图像p1、p2、p3中的每一个的互补/逆图像，即逆图像i1、i2、i3，可以最小化附加组图像数据对直接观看者的任何潜在剩余干扰效果，使得每对p1和i1、p2和i2、p3和i3的直接观看者分别感知到的组合图像，结果基本上为中性/灰色图像。
[0114]
通过以p1
i
、p2
i
和p3
i
表示的较低强度记录用于广播观看者的图像，可以进一步提高直接观看者的观看体验。类似地，以较低的强度i1
i
、i2
i
和i3
i
记录相应的互补/逆图像。由于必须将摄像机单元的增益调整为相应的低强度，因此建议不要在记录并行馈送的图像和主馈送的图像之间更改摄像机设置。因此，打算用于直接观看者的组图像数据m以不同的强度水平呈现，即在由摄像机信道c1、c3和c5记录的时隙1、7和13中以低强度m
i
呈现，并且在时隙2、8和14中以更高强度m
h
呈现，并且立即紧跟在记录的时隙后面，但它们本身不是摄像机记录的。
[0115]
当前描述的图案可以通过显示因子f
d
＝2来实现。如上所述使用f
d
＝3提供附加的时隙3、6、9、12、15和18，其中主馈送的附加图像可以以更高的强度m
h
呈现，从而进一步增加主馈送与并行馈送的集成强度比，以进一步改善直接观看者的观看体验。
[0116]
从图9可以容易地推断，本方案还将允许以3x慢动作速率传输两个视频流，例如视频流m和p1，这将简单地导致用图像p1、i1分别替换时隙10和11中的p2、i2和时隙16、17中的图像p3、i3。
[0117]
图10描绘了一个实施例，其中仅打算用于广播观看者的一个馈送p1以3x慢动作帧率记录，而打算用于直接观看者和广播观看者的主馈送m以及用于广播观看者的两个附加馈送p2和p3以标准帧率被传输。如果该并行馈送(图10中的p1)不包含实际广告的图像而是诸如单色图像和/或图案图像之类的图像，则以慢动作发送并行馈送是特别有利的，所述单色图像和/或图案图像允许在使用所述技术的视频后处理中识别视频馈送中的物理显示的
位置作为色度键控，并用任何所需的图像内容替换所识别的区域。这样的方法在视频广播中被称为虚拟广告。
[0118]
在图9和10的示例中，已经采用了以高记录频率速率hrfr工作的单个摄像机单元。但是，可以设想类似的方案，其中信道c1、c2、c3等由多个摄像机单元记录。
[0119]
本发明的系统通常将包括慢动作控制器和/或服务器系统，该慢动作控制器和/或服务器系统允许确定用本发明获得的高帧率慢动作视频流是以慢动作帧率广播还是丢弃帧使得以标准帧率进行传输发生。通常，某个事件不会以慢动作完全播放，而是仅以慢动作重播某些场景。如果来自事件位置的传输带宽受到限制，使得这种预处理应该已经在事件处进行，则这是一个特别的优势。在其他实施例中，一个或多个视频流可以作为高帧率慢动作视频流完全传输，从而允许远距离的最终用户或中级用户(例如，不同国家的广播公司)选择以标准帧率或慢动作帧率重新广播流的哪些部分。慢动作控制器和/或服务器通常包括环形存储器或高速固态大容量存储器，从而允许存储几个小时的慢动作记录。可以在现场广播期间通过慢动作控制器/服务器访问此存储器，从而允许在广播流中插入/重放某些事件。
[0120]
返回参考图4，如果使用仅具有sdi输出o1、o2、o3等的常规基带处理单元(bpu)，bpu可以被配置成使得高帧率慢动作视频流的部分以标准帧率路由到不同的输出o1、o2、o3(例如，在图9的150hz视频流的情况下)，并且随后的慢动作控制器将sdi子馈送重新组合到高帧率视频流。
[0121]
图11描绘了图9的操作方案的替代操作方案。在图11中，还描绘了20ms的周期，其对应于标准帧率50hz/fts的单个周期时间。在图11的实施例中，每个20ms的周期时间被细分为24个持续时间为1/1200秒(即约0.83ms)的时隙，表示在20ms周期内以1200hz/fts的hdfr速率在物理显示器上显示24个图像。类似于图9的实施例，摄像机c以300hz操作，分别为不同的视频信道c1、c2、c3、c4、c5和c6记录六个图像。现在，摄像机c的快门时间被调整为短于每个图像时隙的时间段，即快门时间小于或等于1/1200秒。同样，主馈送被记录为3x慢动作视频流，但是以更高强度(n
h
)显示主馈送的(未记录的)图像时隙被分布，使得主频率至少为100hz，从而为现场观看者带来较少闪烁的总体体验。
[0122]
图12示出了与图10的方案相似的方案，但是代替了第三并行馈送，以2x慢动作示出了并行馈送1和2。同样，由于强度变化的每个基本频率至少为100hz或更高，因此，实况观看者的led显示器闪烁现象将大大减少。
[0123]
借助新兴的摄像头技术，可以记录800hz的广播赛事，图9-12的方案可以轻松扩展到例如32个信道，从而可以以8x的慢动作传输一个馈送(信道)，以及以50hz的标准广播帧率传输8个并行馈送(信道)。