用于多流多站点远程呈现会议系统的自动视频布局的制作方法

技术领域

本发明一般而言涉及视频会议系统，更具体而言，涉及多流、多站点会议系统。

背景技术：

视频会议需要在至少两个参与者之间交换音频、视频，及其他信息。一般而言，每一参与者位置处的视频会议端点将包括用于捕捉本地参与者的图像的摄像机以及用于显示远程参与者的图像的显示设备。视频会议端点也可以包括额外的用于显示数字内容的显示设备。在两个以上的端点参与视频会议会话的情况下，可以使用多点控制单元（MCU）作为会议控制实体。MCU和端点通常通过通信网络进行通信，MCU从端点接收并向端点传输视频、音频，以及数据信道。

远程呈现技术向参与者提供增强的视频会议体验，以便近端参与者感觉好象他们与远端参与者在同一个房间。可以提供用于各种会议系统的远程呈现视频会议，从两个人的点对点视频会议系统到多参与者多点视频会议系统。通常，远程呈现使用多个摄像机来捕捉近端参与者的图像，并使用多个显示器来显示远端参与者的图像。多个视频流被从多个端点传输到MCU以合并到一个或多个经组合的视频流，这些视频流被发回端点以显示在多个显示设备上。例如，在涉及三个端点的远程呈现系统中，每一端点都具有三个摄像机，MCU将接收九个视频流。MCU必须将九个接收到的视频流组合为一个或多个经组合的视频流，这些经组合的视频流被发回以显示在每一端点上的显示设备上。这九个视频流必须基于每一端点上的显示器的数量和类型，为每一个端点展示。此外，虽然MCU可以从端点接收当前发言者位于该端点上的信息，从每一端点接收到一个以上的视频流，但是，MCU可能不能确定多个视频流中的哪一个包括当前发言者。如此，动态地选择从端点接收到的许多视频流中的一个来突出显示可能是困难的。

传统上，对于多点和多流视频会议系统，被发送到每一端点的视频流的排列是手动执行的。例如，视频网络操作中心（也称为VNOC），提供对远程呈现视频会议的手动管理，包括适当地将传入的视频流布置为经组合的传出视频流。在VNOC处管理视频会议的人员监测当前发言者的视频流，然后，手动排列布局，以便具有当前发言者的视频流突出地显示在每一端点上的显示屏幕上。突出地显示当前发言者的图像可以涉及操纵被显示的视频流的比例和大小。再者，管理视频会议的人员也将手动执行缩放过程。然而，对VNOC的手动管理会受到人为错误和延迟的危害。另外，使用操作员以及提供对于操作设备的必需的专业训练是非常昂贵的。

概括地说，传统方法被视频流的静态布局排列（或者如果需要动态布局排列，使用易于出错的手动控制的必要性）危害。

技术实现要素：

公开了自动生成视频流的布局以向视频会议端点呈现的连续的呈现、远程呈现、视频会议MCU。视频会议端点可包括耦合到处理器的两个或更多摄像机，至少一个显示设备。处理器可包括用于编码供传输的视频和音频流和解码接收到的视频和音频流的编解码器。处理器也可以包括用于将属性指定到传出流的流属性模块。端点也可以包括用于从多个参与者中确定当前发言者的位置的发言者定位器。然后，处理器可以确定捕捉当前发言者的摄像机。随后，处理器可以指示属性模块将属性添加到由该摄像机所生成的视频流中，该属性当由MCU或另一个端点检查时可以指出相关联的视频流包括当前发言者的图像。

属性模块可以将各种属性指定到单个视频流。一些属性可以是基于位置的，指定作为视频流的源的摄像机的位置。例如，基于位置的属性可包括“FR”（远右）、“CL”（中左）等等。一些属性可以是基于角色的，指定视频流中所包括的参与者的角色。例如，基于角色的属性可包括“人”、“内容”等等。基于角色的属性可以具有层次分类，诸如，“人/观众”、“人/演示者”等等。可以给视频流指定一个以上的属性。例如，还包括当前发言者的图像的由远右摄像机捕捉到的视频流可以具有属性“FR”和“发言者”。作为另一个示例，具有基于角色的属性“人/观众”的视频流也可以具有“发言者”属性，如果观众成员中的一个也是当前发言者。

MCU可包括布局管理器和混合器。布局管理器基于传入的视频流的属性和与每一端点相关联的配置信息来生成发送到每一端点的视频流的布局。这样的配置信息可包括，例如，显示屏幕的数量、每一显示屏幕的纵横比，专用的发言者显示屏幕等等。混合器可以基于由布局管理器确定的布局来组合视频流。可以将经组合的流传输到适当的端点。布局管理器监测每一传入的视频流的属性的任何变化，传入的视频流的数量，每一端点的配置信息等等，并基于这些变化，动态地改变布局。

附图说明

通过阅读下列描述并通过参考各个附图，将更轻松地理解本发明的示例性实施例，其中：

图1描绘了示例性多点视频会议系统；

图2示出了示例性视频会议端点；

图3示出了其中两个或更多端点通过MCU相互进行通信的示例性视频会议系统；

图4A-4D示出了各种示例性显示布局；

图4E示出了由布局管理器所生成的示例性布局数据；以及

图5示出了由布局管理器在生成视频布局时执行的示例性步骤。

具体实施方式

图1描绘了示例性多点视频会议系统100。系统100可包括网络110、一个或多个多点控制单元（MCU）106，以及多个端点A-E 101-105。网络110可以是，但不仅限于，分组交换网络，电路交换网或两者的组合。端点A-E 101-105可以发送和接收音频和视频数据。通过网络的通信可以基于诸如H.320、H.324、H.323、SIP等等之类的通信协议，并可以使用诸如H.263、H.264等等之类的压缩标准。MCU 106可以启动和管理两个或更多端点之间的视频会议会话。一般而言，MCU 106可以混合从一个或多个端点接收到的音频数据，生成混合的音频数据，并将混合的音频数据发送到适当的端点。另外，MCU 106可以从一个或多个端点接收视频流。这些视频流中的一个或多个可以通过MCU 106被组合为经组合的视频流。视频流，组合的或以别的方式，可以由MCU 106发送到适当的端点，以显示在它们的相应的显示屏幕上。作为替代方案，MCU 106可以位于端点A-E 101-105中的任何一个中。

图2示出了带有多个摄像机和多个显示设备的示例性端点200。摄像机202-205捕捉出现在会议室中的本地参与者的图像，并可以成行地排列以捕捉会议室的不同的部分。相应地，摄像机202-205可以被标记为FR（远右）、CR（中右）、CL（中左），以及FL（远左）。当然，这些标记只是示例性的。例如，也可以使用不同的标记，如果摄像机205被用来捕捉所有参与者的图像，那么，它可以被标记为WR（整个房间）。在另一种情况下，摄像机202可以是只捕捉本地参与者中的当前发言者的图像的平遥-倾斜-变焦（PZT）式摄像机，并因此，可以被标记为CS（当前发言者）。标记或属性可以与摄像机相关联，并存储在处理器209中的存储器中。

处理器209可包括用于压缩和解压缩视频和音频流的编解码器210。例如，编解码器210可以压缩由摄像机202-205所生成的视频流，以生成经压缩视频流，这些经压缩视频流可以被传输到远程端点和/或MCU。另外，编解码器210还可以解压缩从远程端点或MCU接收到的视频流，并将视频流显示在显示设备206、207，以及208上。编解码器210可包括诸如H.261 FCIF、H.263 QCIF、H.263 FCIF、H.261 QCIF、H.263 SQCIF、H.264等等之类的视频编解码器，以及诸如G.711、G.722、G.722.1、G.723.1等等之类的音频编解码器。

处理器209可以与发言者定位器模块213进行通信，该发言者定位器模块213确定当前发言者（即，当前正在发言的参与者）的位置。由发言者定位器模块213所提供的信息可以被处理器209用来确定接收到的视频流中的哪一个包括当前发言者。发言者定位器模块213可以使用分析从诸如当前发言者之类的源接收到的声音的麦克风阵列224，来确定当前发言者相对于麦克风阵列224的位置。麦克风阵列224可包括可以水平地、垂直地，或组合地排列的一系列分隔的麦克风。通常，阵列中的麦克风中的至少一个可以被指定为参考麦克风。可以预定若干个候选位置，其中，候选位置与每一个麦克风的距离是已知的。由每一个麦克风捕捉到的声信号可以相对于由参考麦克风捕捉到的声信号延迟。此延迟可以部分地是候选源位置和麦克风位置相对于参考麦克风的函数。然后，可以确定与每一候选位置相关联的每一个被延迟的信号的信号能量。随后，可以选择与最高信号能量相关联的候选位置作为最佳估计音频源的实际位置的位置。换言之，通过使用最大似然率估计，可以选择可能是音频源的实际位置的最佳估计的预定的候选源作为音频源的位置。显而易见，估计的准确性可以随着候选位置的数量增大和空间分布而提高。例如，可以在距离麦克风10英尺的近似径向距离使用61个候选位置。在Chu等人所著的共同转让的标题为“System and method for computing a location of an acoustic source”的美国专利No. 6,912,178中公开了有关使用麦克风阵列确定参与者的位置的更多细节，此处引用了该申请的全部内容作为参考。

通常，麦克风阵列224和摄像机202-205之间的空间关系保持固定。因此，简单地通过改变参考系，已知的当前发言者相对于麦克风阵列224的位置可以被轻松地变换成当前发言者相对于摄像机的位置。每一摄像机，在带有其特定平遥-变焦-倾斜设置的情况下，可以捕捉会议室的特定部分，该部分的边界可以是预定的。如此，处理器209可以确定当前发言者的位置，如在摄像机的参考系内表达的，是否在由该摄像机捕捉到的会议室的该部分内。如果当前发言者位于由摄像机捕捉到的会议室的该部分内，则处理器209可以指示流属性模块212将属性“发言者”指定到由摄像机所生成的视频流。

流属性模块212可以将属性指定到传出流。这些属性可以以对于MCU和/或远程端点有用的方式限定传出视频流，以便呈现和显示视频流。这些属性可以在传输过程中被添加到传出流。例如，诸如H.323和H.320之类的协议可以被扩展，以包括可以被用来标记传出数据流的属性定义。视频流可以具有各种属性。例如，视频流可以具有标识作为该视频流的源的摄像机的相对位置的位置属性。如图2所示，传出流215-218可以具有指出它们的源摄像机的相对位置的属性。例如，流215被标记为“FR”，因为它源自被置于远右（FR）位置的摄像机202。类似地，视频流217被标记为“CL”，因为其源摄像机204位于中左（CL）位置。

视频流也可以具有诸如“人”和“内容”之类的基于角色的属性。如果视频流包括人/参与者的图像，则视频流可以被标记为带有“人”属性。基于角色的属性还可以具有层次分类。例如，在视频会议中的若干个参与者轮流演示信息的情况下，可以提供“人/演示者”和“人/观众”的分类。“人/演示者”属性可以指出相关联的视频流包括将被突出地显示的人的图像，不管视频流是否包括发言者。包含诸如演示文稿之类的数字内容的视频流可以具有“内容”属性。例如，处理器209从计算机224接收数据内容，该数据内容可包括演示文稿、文档、视频等等。数据内容可以被压缩，并给予属性“CON”。虽然未示出，在图2中，端点也可以包括专用数据内容显示器，该显示器显示从MCU或远程端点接收到的数据流。

视频流也可以具有一个以上的属性。例如，视频流可以具有基于角色的和“发言者”属性，如“人/观众，发言者”，“人/演示者，发言者”等等。可以独立于视频流的作用，来指定“发言者”属性。例如，即使当前发言者被包括在具有“人/观众”角色的视频流中，也可以另外给该视频流指定“发言者”属性。作为另一个示例，视频流可以具有位置和“发言者”属性，如，视频流215——其中，除具有“FR”属性之外，它也可以具有“发言者”属性。如前面所描述的，处理器209可以确定哪个摄像机正在捕捉当前发言者。然后，处理器可以将“发言者”属性添加到由该摄像机所生成的视频流。在图2所示出的示例中，当前发言者正在被摄像机202捕捉；因此，视频流215具有与它相关联的属性“发言者”。如果当前发言者的位置改变，那么，处理器可以重新将“发言者”属性指定到当前包括当前发言者的视频流。例如，如果不同的发言者开始说话，并且该当前发言者的图像被摄像机204捕捉，则除“CL”属性之外，还将给视频流217指定属性“发言者”。

虽然图2中只有一个传出流215被示为具有多个属性，但是，可以将这样的多个属性指定到一个以上的流。例如，流218还可以具有给它指定的诸如“人/演示者”和“FL”之类的多个属性。如此，可以给视频流指定一个或多个属性，并且指定的属性可以是基于角色的，基于摄像机位置的，基于当前发言者的，或基于任何其他选定的属性。应该理解，图2所示出的属性可以被编码，用于传输。

视频流、数据流，以及音频流，以及它们的属性可以通过网络110被端点200传输到MCU或远程端点。传输器/接收器214可以充当端点200和网络110之间的物理接口。Tx/Rx 214也可以从MCU或远程端点接收视频流。例如，视频流219-221由处理器209接收。视频流219-221可包括限定视频流并可以被处理器209用来呈现或再现视频流的属性。例如，视频流219具有属性“R”和“发言者”。处理器209可以在位于右边的显示设备208上显示视频流219。此外，由于视频流219也具有“发言者”属性，因此，视频流可以被更突出地显示。同样，带有属性“C”的视频流220可以显示在显示设备207上，而带有属性“L”的视频流221可以显示在显示设备206上。

图3示出了其中两个或更多端点通过MCU 106相互进行通信的示例性会议系统300。端点101、102，以及103可以类似于图2所示出的示例性端点。每一端点都可以具有摄像机的各种配置和用于向它们的相应的参与者提供远程呈现体验的显示屏幕。例如，端点A 101可包括4个摄像机和4个显示设备，端点B 102可包括4个摄像机和3个显示设备，而端点C 103可包括1个摄像机和2个显示设备。视频流可以在每一端点和MCU 106之间交换。为清楚起见，只详细示出了往返于端点A 101的视频流。MCU 106也可以包括通过其可以发送和接收视频、音频，以及信令数据的网络接口328。

MCU 106可包括布局管理器302和混合器303。布局管理器302可以确定显示或视频布局，该布局包括被发送到每一端点的视频流的排列。在确定视频布局时，布局管理器302不仅确定接收到的视频流中的哪些将被发送到端点，而且还确定显示视频流的空间排列。此判断可以基于与接收到的视频流相关联的属性以及与端点相关联的配置信息。布局管理器302可以确定与由MCU 106接收到的每一视频流相关联的属性。例如，可以从端点A 101接收与视频流307、308、309，以及310相关联的属性“FR，发言者”317、“CR”318、“CL”319，以及“FL”320。类似地，也可以从端点B 102和C 103（为简明起见，分别通过315和316来表示），以及任何额外的端点接收视频流以及它们的属性。从每一端点接收到的配置信息329可包括显示设备的数量，显示设备的纵横比和分辨率，专用当前发言者显示设备的存在，所使用的编码类型等等。如下文进一步详细描述的，布局管理器302可以生成发送到每一端点的视频流的排列。此排列被传递到混合器303，用于通过信号通道321来执行。

混合器303可以从一个或多个端点接收视频流。混合器303可以执行由布局管理器302确定的视频流的排列。例如，混合器303可以从端点A 101、B 102，以及C 103接收视频流，基于从布局管理器302接收到的信号321来将视频流组合起来，并将经组合的视频流发送回每一端点。混合器303可包括用于解码传入的视频和音频流，以及编码传出的视频和音频流的编解码器322。例如，音频编解码器可包括标准编解码器，诸如，G.711、G.722、G.722.1、G.723.1等等。视频编解码器可包括标准编解码器，诸如，H.261 FCIF、H.263 QCIF、H.263 FCIF、H.261 QCIF、H.263 SQCIF、H.264等等。编解码器322也可以基于在接收端点处所使用的编码方案来改变传出的音频和视频流的编码方案。

混合器303也可以包括用于执行对从各种端点接收到的视频帧的操纵的图像处理模块325。这样的操纵可包括将两个或更多视频帧组合到一个帧、缩放、裁剪、覆盖等等，在由Avishay Halavy所著的共同转让的标题为“System and method for combining a plurality of video stream generated in a videoconference”的美国专利申请序列No. 12/581,626中公开了其更多细节，在此引用该文件作为参考。

混合器303也可以包括用于将属性指定到传出流的流属性模块327。例如，流属性模块327可以将属性“FL”、“CL”、“CR，发言者”，以及“FR，CON”分别指定到流311，312，313，以及314。流属性模块327可以从布局管理器302接收有关将哪些属性指定给特定传出视频流的指令。

MCU 106可以符合ITU标准，诸如，但不仅限于，H.320、H.323，以及H.324。相应地，布局管理器302可以是媒体控制器（MC）的一部分，而混合器303可以是媒体处理器（MP）的一部分。混合器303可以在专用集成电路（ASIC）、微控制器、FPGA、硬件/固件组合、在微处理器上运行的软件等等上实现。混合器303内的各种模块，例如，编解码器322、图像处理模块325以及流属性模块327可以是单个硬件模块，或者也可以是软件/固件模块。布局管理器302也可以分别作为诸如微控制器、ASIC、FPGA、硬件/固件组合之类的硬件组件、软件等等来实现。

图4A示出了各种端点的图像的布局的示例。在所示出的示例中，MCU 106将视频流传输到端点，比方说，具有四个显示设备402、404、406，以及408的端点E。视频会议可包括四个其他端点，比方说，A、B、C，以及D。布局管理器302可以接收与由五个端点A、B、C、D，以及E中的每一个所生成的视频流相关联的属性，并确定要显示在每一端点中的每一个显示设备上的传出视频流的布局。传出视频流也可以包括可使端点确定将要在其上面显示视频流的显示设备的属性。例如，由端点E接收到的视频流可包括诸如“FL”（远左显示设备）、“CL”（中左显示设备）、“CR，发言者”（中右显示设备）和“FR”（远右显示设备）等等之类的属性。每一个显示设备的传出视频流都可以是来自多个源的视频流的合成。布局管理器302可以确定要显示在每一显示设备内的“单元”的数量，其中，在一个单元内显示的视频对应于一个源。例如，显示在显示设备402上的经组合的视频流可以由四个单元421-424组成。为了说明，单元被标记有指定给它们的源，诸如A-FL（端点A，摄像机“远左”）、A-CL（端点A，摄像机“中左”），B-FL（端点B，摄像机“远左”），以及B-CL（端点B，摄像机“中左”）。当然，这些标记不向参与者显示。

端点E也可以包括用于只显示包括当前发言者的视频流的一个或多个显示设备。然而，可以选择任何显示设备，作为示例示出了显示设备406。如上文所提及的，布局管理器302可以基于与每一视频流相关联的属性来确定传入的视频流中的哪一个包括发言者。然后，布局管理器302可以排列该视频流，以使得它显示在为包括当前发言者的视频流预留的特定显示设备上，（除排列同一个视频流以使得它显示在其他显示设备中的一个上的单元之外）。例如，在图4A中，从端点A的中左摄像机接收到的视频流包括当前发言者。布局管理器302可包括显示在显示设备402上的视频流的单元422中的视频流（除只将该视频流显示在显示设备406上之外）（注意，单元422中的参与者的图像带有阴影，只是指出相关联的视频流包括发言者）。

布局管理器302也可以响应于输入流的属性中的变化来动态地排列输出流。例如，如果当前发言者从一个视频流变为另一个，则布局管理器302可以重新排列输出流以反映此变化。如作为示例所示的，在图4B中，当前发言者现在位于端点D中的左侧摄像机的视频流中。此视频流可以具有与它相关联的属性“发言者”，该属性可以由布局管理器302检测到。因此，布局管理器可以重新排列输出流，以便被定向到显示设备406的视频流是从端点D中的左侧摄像机接收到的视频流，替换来自端点A的中左摄像机的前面所显示的视频流。

布局管理器302可以向会议参与者提供连续的呈现体验。换言之，会议参与者可以同时查看来自所有端点的视频流，而不只是来自包括当前发言者的端点的视频流。例如，参考图4A，尽管当前发言者位于端点A中，但是，端点E中的参与者可以从其他参与端点A、B、C，以及D中的每一个接收视频流。另外，会议参与者还可以查看当前发言者之外的参与者的视频流。例如，如果当前发言者位于端点A中，那么，端点E中的参与者除捕捉当前发言者的视频流之外还可以看到捕捉其他参与者的图像的视频流。此外，甚至在当前发言者的位置从一个端点变为另一个端点的情况下（例如，从端点A变为端点D），布局管理器302仍维持视频流的连续的存在显示。

图4C示出了当其中一个端点具有专用发言者摄像机时视频流的示例性布局。例如，端点C可包括至少两个摄像机：一个用于捕捉整个房间，而另一个用于捕捉房间内的当前发言者。捕捉整个房间的摄像机可以是广角摄像机，而只捕捉发言者的摄像机可以是平遥-倾斜变焦摄像机。注意，端点可包括确定当前发言者的位置的发言者定位器模块（例如，图2，213）。处理器可以使用此位置信息来控制PTZ摄像机，以便该摄像机主要捕捉当前发言者的图像。端点的流属性模块可以将属性“C-WR”指定到捕捉整个房间的摄像机的视频流，而将属性“C-发言者”指定到PTZ摄像机的视频流。在从端点C接收到这些视频流时，MCU 106的布局管理器302可以将带有“C-WR”属性的视频流指定到单元481，而将带有“C-发言者”属性的视频流指定到显示设备406。

与其中显示屏幕406被预留以只显示当前发言者并且其中发送到显示设备406的视频流没有被分成单元的图4A-4C相比，图4D中所示出的示例除当前发言者之外还可包括示出了数字内容的多个单元。发送到显示设备406的视频流可包括三个单元461、462，以及463。单元461可包括数据内容视频流，该数据内容可包括源自，例如，其中一个端点中的计算机的演示文稿。单元462和463可包括最后两个当前发言者的图像。单元462或463中的一个可以显示具有属性“人/演示者”的视频流，这表明相关联的视频流应该始终突出地显示。

图4E示出了布局管理器302可以生成并发送到混合器303的布局数据。混合器303可以使用此数据来生成参与视频会议的端点的传出流。作为示例，图4E示出了对应于为图4A中的显示屏幕402和406所描绘的显示布局的布局数据。应该理解，可以类似地生成同一个端点E的其他流的布局数据，以及其他端点的流的布局数据。

布局数据490包括混合器303可以用来混合视频流的多个参数。例如，帧大小表明流1的每一帧中的水平和垂直像素的数量。布局管理器302可以基于显示屏幕的分辨率来确定帧大小。通常作为配置信息从端点E接收有关分辨率的信息。因此，如果显示屏幕的分辨率是720x1280，那么，布局管理器302可以选定720x1280作为帧大小。单元字段的数量定义帧被分成的部分的数量。例如，参考图4A，显示在显示设备402上的帧被分成4个一样大小的单元，并被排列成两行和两列（2x2）。单元大小表示以像素为单位的每一单元大小。在单元是不相等的大小的情况下，单元大小字段可包括对应于每一单元的额外的单元大小。下一字段表示帧内每一个单元的源流。在此示例中，最上面两个单元，单元1和单元2（对应于图4A中的部分421和422）被分配了从端点A接收到的并分别具有属性FL和CL的视频流。布局管理器302也可以将属性指定到传出的流，以便接收端点E可以确定将在其上面显示此视频流的显示设备，例如，在远左（FL）显示设备402上。布局数据491可以对应于图4A的显示设备406上的视频流的布局。由于显示设备406专门用于只显示一个视频流（包括当前发言者），因此，帧只包括单个单元。布局管理器可以指定属性，以便端点可以在中右（CR）显示设备406上显示流2。

布局管理器302可以通过信号通道321将布局数据（例如，490和491）发送到混合器303。布局管理器302也可以将布局数据存储在可以被混合器303访问的存储器中。这样的存储器可包括寄存器、RAM、等等。混合器303可以反复地访问布局数据，以检查布局数据是否变化。可另选地，布局管理器302可以每当在布局数据中有任何变化或者如果存储器被更新，设置标记或导致中断。

图5示出了详述了可以由布局管理器302在确定一个端点上的显示设备上的视频流的布局时执行的步骤的示例性流程图。布局管理器302可以执行类似的步骤，以便确定参与视频会议的每一个其他端点的布局。在步骤501中，布局管理器302可以从参与视频会议会话中的所有端点接收与每一传入的视频流相关联的属性。在步骤502中，布局管理器302可以确定端点处的显示设备的数量。可以实时地以配置信息的形式接收关于显示设备的数量以及它们的属性的信息。这样的信息也可以被存储在MCU 106中的存储器中。

在步骤503中，布局管理器302可以确定要显示在端点E处的传入流的数量是否超出端点E处的显示设备的数量。如果要显示在端点E处的传入流的数量小于或等于端点E处的显示设备的数量，那么，潜在地，每一显示设备都可以显示单个视频流。如此，MCU 106可能不需要将两个或更多视频流组合为一个视频流。例如，如果端点E将具有四个显示设备并与三个其他端点处于一个视频会议会话中，每一端点都生成单个视频流，那么，布局管理器302可以将端点E处的三个显示设备与三个其他端点的视频流相关联。可以指定第四显示设备接收包括数字内容的视频流或包括当前发言者的视频流。一旦布局管理器302将视频流指定到特定显示设备（在步骤504中），布局管理器302就将属性添加到传出流中（在步骤509中）。这样的属性可包括视频流将在其上面显示的显示设备的相对位置，视频流是否包括数字内容、发言者等等。

如果要在端点E处显示的视频流的数量大于可用的显示设备的数量，那么，可以将两个或更多视频流合并到一个视频流。布局管理器302可以检查端点E处的显示设备中的任何一个是否专门用于只显示当前发言者。如果是，那么，带有属性“发言者”的视频流可以被定向到该显示设备（步骤505）。其余的显示设备可用于显示其余的视频流。

作为示例，每个显示设备的单元的数量可以通过将要显示的视频流的总数除以可用的显示设备的数量来确定。但是，在确定单元的数量和大小时，也可以考虑诸如视频流以及显示设备的纵横比，视频流的可以接受的缩小的量等等之类的其他因数。参考图4A所示出的示例，布局管理器302可以确定端点E处的显示设备406中的一个是为显示包括当前发言者的视频流预留的。因此，有三个显示设备——402、404，以及408－用于显示来自端点A、B、C，以及D的11个视频流。布局管理器302可以将显示设备中的两个的显示区分割为四个单元，而将其余的显示设备的显示区分割为三个单元。应该理解，这种确定每个显示设备的单元的数量的方法只是示例性的，也可以预见其他方法。

在步骤507中，布局管理器302可以将视频流指定到单元。如果视频流是相同格式并且没有任何空间相互关系，那么，布局管理器302可以宽松地将视频流指定到任何单元。例如，布局管理器302可以将来自一个端点的所有视频流指定到单个显示设备内的单元。但是，一般而言，在视频会议中－特别是在远程呈现视频会议中－由MCU 106从端点接收到的视频流可以表示会议室的完整的图像的某些部分，该视频流在被并排显示时可以再现完整的会议室的图像。例如，参考图4A，布局管理器302可以在四个单元421、422、441，以及442中并排排列从端点A接收到的4个视频流，其中，单元421和422属于一个显示设备402，而单元441和442属于相邻的显示设备404。结果，来自一个端点的视频流可以分布到多个显示设备上。换言之，被显示的视频流的空间关系可以在多个显示设备上延伸。以类似的方式，来自端点B的四个视频流可以被指定到单元423、424、443，以及444。同样，来自端点B的两个视频流可以被指定到单元482和483，而来自端点C的单个视频流可以被指定到单元481。

一旦传入的视频流被指定给它们的单元，布局管理器302就可以指示混合器303组合被指定给同一显示设备的单元的视频流（步骤508）。例如，参考图4A，分别与单元421、422、441，以及442相关联的被标记为“A-FL”、“A-CL”、“B-FL”，以及“B-CL”的四个视频流可以被合并到单个视频流。经组合的视频流可以具有允许接收端点确定经组合的视频流将在哪一个显示设备上显示的属性。例如，来自单元421、422、441，以及442的视频流的经组合的视频流可以具有表明远左显示设备402的属性“FL”。在步骤509中，布局管理器302可以指示混合器303将属性添加到传出的经组合的视频流中。属性也可以被添加到不是其他视频流的组合的结果（如由步骤504所产生的）的视频流。

配置了向每一端点传出的视频流的布局，布局管理器302，在步骤510中，可以监测接收到的视频流的属性的任何变化和/或视频流的数量的变化。例如，如果以前与一个传入的视频流相关联的属性“发言者”现在与一个不同的传入的视频流相关联，则布局管理器302可以检测到此变化，并重新配置（在步骤503-509中）传出的流的布局，以便当前具有属性“发言者”的视频流被适当地显示在每一端点中。例如，参考图4A和4B，当以前与从端点A的中左摄像机（A-CL）接收到的视频流相关联的“发言者”属性现在与来自端点D的左侧摄像机（D-L）的视频流相关联时，布局管理器302可以重新配置布局，以便被发送到专用发言者显示器406的视频流从A-CL变为D-L。另外，如果来自参与端点的传入的视频流的数量发生变化，例如，当端点退出视频会议会话时，布局管理器302可以检测到此变化，并重新配置传出的视频流。如此，布局管理器可以提供视频流布局的动态重新配置。

上文的描述只是说明性的，而不是限制性的。在阅读了此说明书之后，本发明的许多变化将对本领域的技术人员变得显而易见。因此，本发明的范围不应该参考上面的描述来确定，而是参考所附权利要求书以及它们的等效内容的全部范围来确定。