专利名称：一种多画面输出方法及系统的制作方法
技术领域：
本发明涉及多媒体视频会议技术，其特别涉及宽带多媒体通信、视频监控与视频会议技术，具体的讲是一种多画面输出方法及系统。
基于H.323标准的系统主要包括两种产品，即如
图1所示的多点控制单元(MCUMultipoint Control Unit)和如图2所示的终端，其中MCU主要实现的功能包括多点连接、多点控制、多点数据转发，也就是说，只要是使用多点，即通信中的物理点，点数大于等于3的视频会议，就必须使用MCU，由MCU构成一个多点、实时、交互的通信环境。而终端是视频会议的用户端设备，主要实现的功能包括语音、图像、数据等信息的输入和输出、通信联接及数据收发等。其中就通信联接而言，当一个终端与另一个终端相联时便构成了点到点的2方通信，当一个终端与MCU参与的多个终端相联时便构成了多点通信，不论是点到点方式的2点通信，还是由MCU构成的多点通信，最终用户都是通过终端观看其它点的图像，收听其它点的声音，并将自己的声音和图像发送给对方。在进行所述的多点通信时，图3所示的各个通信点的联接关系为一种可选的联接方式，即在参与通信的多个(n个)通信点中，可设定某一通信点为主通信点，其他通信点为分通信点，所述的主通信点可由终端和MCU构成(如图4所示)，所述的分通信点可由终端构成(如图2所示)。
现有技术可以实现一定程度上的多点通信，但由于技术标准和实际应用环境的限制，每个通信点在同一时间仅能观看到一个通信点的图像信息，而不能同时看到多个通信点的图像信息，这在很大程度上限制了视频会议技术的应用，因为在多点可视通信中，通信中的人更希望在同一时间能够同时了解多个其它通信点的图像信息。目前，有些厂商为了解决这一问题，提出了两种解决的方法，即多画面分屏和多路图像。其中多画面分屏指在MCU内部对接收到的多个点的图像信息进行合成，然后再将图像压缩成一个图像的分辨率，再发送到终端。这个解决方法可以实现同时观看多个点的图像，但由于它必须将多个点的图像压缩成一个图像的分辨率，因此每个图像的分辨率均变得非常低，清晰度很差。例如，将9个图像合成到一个图像时，每个图像的分辨率均变成原来的1/9，根本无法观看图像的细节，因此实用效果不佳。而多路图像是指MCU将多路图像信息同时发送到终端，由终端进行处理。这一方法由于完全采用了非标准的方法，与其它厂商的产品不能进行互操作，因此兼容性很差，这将对产品的市场造成影响。
本发明的技术方案为
一种多画面输出方法，其特征在于在n点通信环境中设置多画面支撑模块，采用所述的多画面支撑模块提取MCU接收到的n点图像数据并将所述的图像数据转发到多画面服务器；所述的多画面服务器将接收到的图像数据转换为模拟的视频信号并输出，从而实现n画面输出。
所述的在n点通信环境中设置多画面支撑模块是指所述的多画面支撑模块可以设于MCU内；或者，所述的多画面支撑模块可以为独立的装置。
所述的多画面支撑模块可以设于MCU内包括在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信道，所述的信道采用进程间通信的方式实现；在所述的多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道，所述的信道采用进程间通信的方式实现；在所述的MCU中的MC模块与MP模块之间至少增加一个控制信道，所述的信道采用进程间通信的方式实现；所述的MC模块通过该控制信道控制所述的MP模块，并将所述的图像数据传送到所述的多画面服务器。
所述的信道采用进程间通信的方式实现是指所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用消息管道通信等。
在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信道以进行信令通信；所述的信令可包括查询所述的多画面服务器能力、查询所述的多画面服务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作状态等。
在所述的多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道以进行信令通信；所述的信令可包括所述的MC模块查询所述的多画面服务器的能力、工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多画面服务器能力、工作状态、媒体信道的信息等。
本发明所述的方法包括以下步骤在多画面支撑模块与所述的多画面服务器之间建立控制信令的信道以进行信令通信，所述的信道可以采用TCP/IP通信，并采用TPKT标准进行所述信令的打包，所述的信令可包括查询所述的多画面服务器能力、查询所述的多画面服务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作状态等；在多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道以进行信令通信，所述的信令可包括所述的MC模块查询所述的多画面服务器的能力、工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多画面服务器能力、工作状态、媒体信道的信息等；所述的多画面服务器加电自检后通过与所述的多画面支撑模块之间的信道报告自身系统能力和媒体信道的信息；所述的多画面支撑模块通过与所述的MC模块之间的信道向MC模块报告已就绪的所述的多画面服务器的系统能力和媒体信道的信息；所述的MC模块控制所述的MP模块将所述的n点图像数据中的一个具体通信点的图像数据转发到所述的多画面服务器中的一个具体的媒体信道；所述的MC模块控制所述的多画面支撑模块，以对所述的多画面服务器进行控制。
所述的多画面支撑模块可以为独立的装置包括所述的多画面支撑模块获取所述的MCU收发的数据；所述的多画面支撑模块与所述的多画面服务器进行通信；所述的多画面支撑模块内设有控制模块、数据获取模块、数据转发模块，其中所述的控制模块控制所述的数据获取模块和数据转发模块协同工作，将获取的数据转发到所述的多画面服务器。
所述的多画面支撑模块获取所述的MCU收发的数据是指所述的多画面支撑模块与所述的MCU联接，并通过网卡获取所述的MCU收发的数据。
所述的控制模块接受上层的用户界面的控制。
所述的数据获取模块通过操作系统提供的底层网络编程功能实时获取网络数据，并将获取到的数据传送给所述的数据转发模块。
所述的数据转发模块从收到的数据中分离出MCU收发的全部或部分视频数据，并转发给所述的多画面服务器。
所述的多画面支撑模块与所述的MCU联接是指网络联接；所述的网络联接可采用共享式的以太网集线器，所述的MCU和所述的多画面支撑模块均连接到该集线器上；或者，采用具有端口镜像功能的以太网交换机，所述的MCU和所述的多画面支撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的全部数据镜像到所述的多画面支撑模块端口；或者，采用代理方式，使所述的MCU的全部通信均经过所述的多画面支撑模块进行代理转发。
本发明所述的方法还包括以下步骤所述的多画面支撑模块与所述的MCU联接，并通过网卡获取所述的MCU收发的数据，所述的联接是指网络联接，所述的网络联接可采用共享式的以太网集线器，所述的MCU和所述的多画面支撑模块均连接到该集线器上；或者采用具有端口镜像功能的以太网交换机，所述的MCU和所述的多画面支撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的全部数据镜像到所述的多画面支撑模块端口；或者采用代理方式，使所述的MCU的全部通信均经过所述的多画面支撑模块进行代理转发；所述的控制模块接受上层的用户界面的控制；所述的数据获取模块通过操作系统提供的底层网络编程功能实时获取网络数据，并将获取到的数据传送给所述的数据转发模块；
所述的数据转发模块从收到的数据中分离出MCU收发的全部或部分视频数据，并转发给所述的多画面服务器。
所述的多画面服务器将接收到的图像数据转换为模拟的视频信号并输出包括所述的多画面服务器接受所述的多画面支撑模块的控制，并接收所述的多画面支撑模块转发的图像数据，并对接收到的图像数据进行解码，将图像数据还原为数字化的图像，再通过D/A变换将数字化的图像转换为模拟的视频信号进行输出。
本发明所述的方法包括以下步骤所述的多画面服务器接收所述的多画面支撑模块转发的图像数据，并将所述的图像数据递交到解码器进行解码；所述的解码器接收视频数据，并对视频数据进行解码，将压缩的视频数据解压缩为图像(YUV格式或其它图像表示格式)数据，然后通过D/A变换模块将数字化的图像数据转换成模拟的视频信号进行输出。
所述的多画面服务器可进行初始化、启动、停止、暂停、画面更新请求等设置。
所述的n满足以下条件n≥1。
所述的n也可满足以下条件n≥3。
本发明还提供了一种多画面输出系统，包括MCU；其特征在于还包括多画面支撑模块、多画面服务器；采用多画面支撑模块提取MCU接收到的n点图像数据，并将所述的图像数据转发到多画面服务器；所述的多画面服务器将接收到的图像数据转换为模拟的视频信号，并将所述的视频信号输出，从而实现n画面输出。
所述的多画面支撑模块可内置于所述的MCU，其中在所述的多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道，所述的信道采用进程间通信的方式实现；在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信道，所述的信道采用进程间通信的方式实现；在所述的MCU中的MC模块与MP模块之间至少增加一个控制信道，所述的信道采用进程间通信的方式实现，所述的MC模块通过该控制信道控制所述的MP模块，并将所述的图像数据传送到所述的多画面服务器。
所述的在多画面支撑模块与所述的多画面服务器之间建立控制信令的信道包括所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用消息管道通信等；并采用TPKT标准进行所述信令的打包，所述的信道用于所述的多画面支撑模块和所述的多画面服务器之间进行信令通信。
所述的信令包括查询所述的多画面服务器能力、查询所述的多画面服务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作状态等。
所述的在多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道包括所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用消息管道通信等；所述的信令为所述的MC模块查询所述的多画面服务器的能力、工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多画面服务器能力、工作状态、媒体信道的信息等。
所述的多画面支撑模块可为一独立装置，其中包括控制模块、数据获取模块、数据转发模块、以及网卡；所述的网卡通过网络连接方式接收到所述的MCU的数据；所述的控制模块与所述的多画面服务器通信；
所述的控制模块控制所述的数据获取模块和所述的数据转发模块协同工作，所述的控制模块接受上层的用户界面的控制，所述的数据获取模块通过操作系统提供的底层网络编程功能实时获取网络数据，并将获取到的数据交所述的数据转发模块处理；所述的数据转发模块在所述的数据获取模块转交的数据中分离出所述的MCU接收到的全部或部分视频数据，并按照控制指令将视频数据转发到多画面服务器。
所述的网络连接方式包括采用共享式的以太网集线器，并将所述的MCU和所述的多画面支撑模块均连接到该集线器；或采用具有端口镜像功能的以太网交换机，并将所述的MCU和所述的多画面支撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的全部数据镜像到所述的多画面支撑模端口；或采用代理方式，使所述的MCU的全部通信均经过所述的多画面支撑模块进行代理转发。
所述的多画面支撑模块可为工控机，或者可为PC机。
所述的多画面服务器包括控制模块、媒体数据模块、解码器、D/A变换模块；所述的控制模块与所述的多画面支撑模块建立控制信道，并接受所述的多画面支撑模块的控制；所述的媒体数据接收模块接收所述的MP模块转发的媒体数据，并将媒体数据递交到解码器；所述的解码器模块接收视频数据，并对视频数据进行解码，将压缩的视频数据解压缩为图像数据，然后通过所述的D/A变换模块将数字化的图像数据转换成模拟的视频信号进行输出。
所述的多画面服务器可为工控机，或者可为PC机。
在本发明所述的系统中，所述的n满足以下条件n≥3。
本发明所述的系统还包括n个终端、网络设备、多画面显示装置；所述的n个终端分别通过各自的网络设备与网络联接；所述的MCU通过网络设备与网络联接；所述的多画面支撑模块通过网络设备与所述的多画面服务器联接；所述的多画面显示装置与所述的多画面服务器联接；所述的n个终端将各自获取的n个通信点上的图像数据送入网络；采用多画面支撑模块提取MCU从网络上接收到的n点图像数据，并将所述的图像数据转发到多画面服务器进行处理；所述的多画面服务器将接收到的图像数据经过解码后转换为模拟的视频信号，并将所述的视频信号在所述的多画面显示装置上输出，从而实现在一个通信点上可以同时看到n点的画面。
本发明所述的系统还包括n个终端、网络设备、n个多画面显示装置、n个多画面服务器；所述的n个终端、n个多画面显示装置、n个多画面服务器分别通过各自的网络设备与网络联接；所述的MCU通过网络设备与网络联接；所述的多画面支撑模块通过网络设备与网络联接；所述的多画面显示装置与所述的多画面服务器联接；所述的n个终端将各自获取的n个通信点上的图像数据送入网络；采用多画面支撑模块提取MCU从网络上接收到的n点图像数据，并将所述的图像数据通过网络分别转发到n个多画面服务器进行处理；n个多画面服务器将接收到的图像数据经过解码后转换为模拟的视频信号，并将所述的视频信号在各自联接的多画面显示装置上输出，从而实现在n点的任意一个通信点上可以同时看到n点的其他点的画面。
所述的网络为IP网；所述的多画面显示装置为多画面电视墙；所述的多画面支撑模块可以选择通过独立的通信接口与所述的多画面服务器进行连接。
本发明的有益效果在于通过提供一种多画面输出方法及系统，使得通信一方可以实时观看其它全部或多个通信点的图像信息，极大的增强了可视通信的临场感，使通信参与者仿佛置身于一个真实的会议环境，全面提升可视通信的效果和质量；多个图像信息分别显示在多个显示设备上，不同于现有技术在一个显示设备上显示多个图像(每个图像的分辨率下降)，图像分辨率很高，图像运动流畅；其可依托国际标准，完全兼容现有和未来该技术领域的产品；其可全面提升视频会议技术的应用解决方案，极大的扩大视频会议技术的应用领域。
关于多画面支撑模块多画面支撑模块在实现上有两种具体的实现方案，分别适合不同的应用情况。方案1需要对现有的MCU进行修改，将多画面支撑模块内置于MCU。方案2完全不需要修改现有MCU，多画面支撑模块与现有MCU并列工作。
方案1(如图5、图6所示)多画面支撑模块放置在标准的MCU设备内部，并增强MCU的功能，使MCU设备能够支持多画面服务器。
在所有的标准MCU设计中，MCU均包括两个主要的技术组件MC和MP。MC为多点控制模块，负责同多个终端(或MCU)建立呼叫信令和控制信令的连接，并通过呼叫信令和控制信令提供会议的集中控制功能。MP为多点处理模块，负责同多个终端(或MCU)建立媒体通信的信道，并按照MC的控制要求进行媒体(主要包括音频、视频、数据等信息)数据的接收和转发。从这个设计要求可以看出，全部通信点的媒体数据均经过了MP模块的处理，只不过在标准的实现中MP仅对媒体数据做转发处理，并且丢弃了大部分的媒体数据。
从这个实际情况出发，可以在标准MCU内部增加多画面支撑模块这一技术组件。该支撑模块放置在标准MCU内部，其位置与MC和MP并列，具体逻辑结构见附图6。附图6中各部分完成的功能为多画面支撑模块1与多画面服务器之间建立一个控制信令的信道4。该信令信道采用进程(主机)间通信的方式建立，具体可以采用的技术包括但不限于TCP/IP通信、RPC、消息管道等。为了保证数据的正确性，并尽量简化处理步骤建议采用TCP方式建立信令连接，并采用TPKT标准进行信令的打包。该信令信道用于支撑模块和多画面服务器之间进行信令通信，具体信令包括但不限于查询多画面服务器系统能力、查询多画面服务器工作状态、控制多画面服务器、多画面服务器报告工作状态等。
多画面支撑模块1与MC模块之间建立一个控制信令的信道2。该信令信道采用进程间通信的方式建立，具体可以采用的技术包括但不限于TCP/IP通信、RPC、消息管道等。该信令信道用于支撑模块和MC模块之间进行信令通信，具体信令包括但不限于MC查询多画面服务器能力、工作状态、媒体信道的信息，支撑模块报告多画面服务器能力、工作状态、媒体信道的信息等。
MC与MP之间增加一个控制信道3。该信道采用进程间通信的方式建立，具体可以采用的技术包括但不限于TCP/IP通信、RPC、消息管道等，也可以采用已有方式实现。MC模块通过该信道控制MP将媒体数据转发到多画面服务器。
MP模块在MC模块的控制下将全部或选择的部分媒体数据转发到多画面服务器。
方案1的工作流程为1)多画面服务器加电自检后通过信道4报告支撑模块自身系统能力和媒体信道的信息。
2)支撑模块通过信道2报告MC模块已就绪的多画面服务器的系统能力和媒体信道的信息。
3)MC模块控制MP模块将某个具体的通信点的媒体数据转发到某个具体的多画面服务器的媒体信道。
4)MC模块控制支撑模块对多画面服务器进行控制。
5)多画面服务器对接收到的媒体数据处理后输出。
方案2在方案1讨论的多画面解决方案中，设计思路的前提是修改标准的MCU，使支撑模块能够在标准的MCU内部配合MC和MP工作。在有些情况下(如标准MCU厂商并不愿意作这个修改工作)，这个思路就不能够很好的实现。为此，我们设计了方案2来解决这个问题。
方案2的逻辑结构图见附图7。
在方案2中，多画面支撑模块存在于一个独立的硬件设备之中，这个独立的硬件设备既可以是为多画面支撑模块专门设计的硬件设备，也可以直接使用多画面服务器。该硬件设备可以采用标准的工业控制计算机作为硬件平台，也可以采用PC机作为硬件平台，并采用嵌入式实时操作系统(Linux)作为系统软件平台。在该平台上开发实现多画面支撑模块功能的系统软件。
方案2的工作流程为1)通过特殊的网络连接方式使多画面支撑模块的网卡能够接收到标准MCU收发的全部数据。特殊的网络连接方式可以用以下几种方式实现a)采用共享式的以太网集线器，标准MCU和多画面支撑模块均连接到该集线器；b)采用具有端口镜像功能的以太网交换机，标准MCU和多画面支撑模块均连接到该交换机，该交换机设置成将标准MCU端口上收发的全部数据镜像到多画面支撑模块端口；c)采用代理方式，使标准MCU的全部通信均经过多画面支撑模块进行代理转发。
2)控制模块与多画面服务器通信。
3)控制模块控制获取模块和转发模块协同工作，获取模块和转发模块取代方案1中由MP完成的工作。
4)控制模块接受上层的用户界面的控制，取代原来MC实现的控制功能。
5)获取模块通过操作系统提供的底层网络编程功能(如在网络IP层之下进行网络编程，或通过‘钩子’等技术)实时获取网络数据，并将获取到的数据交媒体数据转发模块处理。
6)转发模块在获取模块转交的数据中分离出标准MCU接收到的全部或部分视频数据，并按照控制指令将视频数据转发到多画面服务器。
关于多画面服务器(如图8所示)多画面服务器是独立的硬件设备，它负责同MCU内置的多画面支撑模块通信，接受多画面支撑模块的控制，接收多画面支撑模块转发的图像数据，并对接收到的图像数据进行解码，将图像数据还原为数字化的图像，再通过D/A变换将数字化的图像转换为模拟的视频信号进行输出。
多画面服务器的逻辑结构图见附图8。
多画面服务器采用标准的工业控制计算机作为硬件平台，并采用嵌入式实时操作系统(Linux)作为系统软件平台。在该平台上设计开发基于PCI总线的硬件卡，单台设备最多可以插1～4块硬件卡。
多画面服务器的工作流程为1)控制模块与多画面支撑模块建立控制信道(参见支撑模块说明)，并接受支撑模块的控制。控制信令包括但不限于支撑模块查询多画面服务器系统能力、支撑模块查询多画面服务器工作状态、支撑模块控制多画面服务器、多画面服务器报告工作状态等。
2)媒体数据接收模块通过网络接收MP模块转发的媒体数据(视频数据)，并将媒体数据递交到解码器模块。
3)解码器模块接收视频数据，并对视频数据进行解码，将压缩的视频数据解压缩为图像(YUV格式或其它图像表示格式)数据，然后通过D/A变换模块将数字化的图像数据转换成模拟的视频信号进行输出。
4)控制模块与媒体数据模块之间建立控制信道，该信道采用进程间通信的方式建立，具体可以采用的技术包括但不限于TCP/IP通信、RPC、消息管道等。控制模块和媒体数据模块之间通过该信道交换控制信息。该信道上的控制信令包括但不限于初始化、启动、停止、暂停、画面更新请求等。
关于系统连接多画面支撑模块可以选择通过独立的通信接口与多画面服务器进行连接。这样的连接方法有两个明显优点
最大限度的保证现有MCU的系统处理能力；在常规应用模式下，该模块和多画面服务器可以通过直连网线或者独立的网络交换机进行连接，在这种情况下，本方法完全不占用用户的任何网络资源(包括网络端口，IP地址，网络带宽等)，最大限度的保护用户的网络稳定性和安全性，使用户完全可以接受本方法。
下面以本发明在n个通信点上的应用为例，进一步说明如下本发明还提供了一种多画面输出系统，包括MCU；其特征在于还包括多画面支撑模块、多画面服务器；采用多画面支撑模块提取MCU接收到的n点图像数据，并将所述的图像数据转发到多画面服务器进行处理；所述的多画面服务器将接收到的图像数据经过解码后转换为模拟的视频信号，并将所述的视频信号输出，从而实现n画面输出。
所述的多画面支撑模块可内置于所述的MCU，其中在所述的多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道，所述的信道采用进程间消息管道的方式实现；在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信道，所述的信道采用通信协议的方式实现；在所述的MCU中的MC模块与MP模块之间至少增加一个控制信道，所述的MC模块通过该控制信道控制所述的MP模块，并将所述的图像数据传送到所述的多画面服务器。
所述的在多画面支撑模块与所述的多画面服务器之间建立控制信令的信道包括所述的信道既可以采用TCP方式的连接，或可以采用UDP方式的连接；并采用TPKT标准进行所述信令的打包，所述的信道用于所述的多画面支撑模块和所述的多画面服务器之间进行信令通信。
所述的信令包括查询所述的多画面服务器能力、查询所述的多画面服务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作状态等。
所述的在多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道包括所述的信令为所述的MC模块查询所述的多画面服务器的能力、工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多画面服务器能力、工作状态、媒体信道的信息等；所述的信道用于所述的多画面支撑模块和所述的MC模块之间进行所述的信令通信。
所述的多画面服务器包括控制模块、媒体数据模块、解码器、D/A变换模块；所述的控制模块与所述的多画面支撑模块建立控制信道，并接受所述的多画面支撑模块的控制；所述的媒体数据接收模块接收所述的MP模块转发的媒体数据，并将媒体数据递交到解码器；所述的解码器模块接收视频数据，并对视频数据进行解码，将压缩的视频数据解压缩为图像数据，然后通过所述的D/A变换模块将数字化的图像数据转换成模拟的视频信号进行输出。
所述的控制模块与所述的媒体数据模块之间有控制信道，该信道采用进程间的消息管道方式实现，所述的控制模块和所述的媒体数据模块之间通过该信道交换控制信息；该信道上的控制信令包括初始化、启动、停止、暂停、画面更新请求等。
如图7、图11所示，所述的多画面支撑模块还可为一独立装置；其中包括控制模块、获取模块、转发模块、网卡，所述的多画面支撑模块可联接到所述的MCU的前点(如图11所示)；所述的网卡通过网络连接方式接收到所述的MCU的数据；所述的控制模块与所述的多画面服务器通信；所述的控制模块控制所述的获取模块和所述的转发模块协同工作，所述的控制模块接受上层的用户界面的控制，所述的获取模块通过操作系统提供的底层网络编程功能实时获取网络数据，并将获取到的数据交所述的转发模块处理；所述的转发模块在所述的获取模块转交的数据中分离出所述的MCU接收到的全部或部分视频数据，并按照控制指令将视频数据转发到多画面服务器。
所述的网络连接方式包括采用共享式的以太网集线器，并将所述的MCU和所述的多画面支撑模块均连接到该集线器；或
采用具有端口镜像功能的以太网交换机，并将所述的MCU和所述的多画面支撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的全部数据镜像到所述的多画面支撑模端口；或采用代理方式，使所述的MCU的全部通信均经过所述的多画面支撑模块进行代理转发。
所述的多画面支撑模块可为一工控机。
在本发明所述的系统中所述的n可满足以下条件n≥3。
本发明所述的系统还包括n个终端、网络设备、多画面显示装置；其中n≥3；如图9和图12所示的联接可作为其中的主通信点；所述的n个终端分别通过各自的网络设备与网络联接；所述的MCU通过网络设备与网络联接；所述的多画面支撑模块通过网络设备与所述的多画面服务器联接；所述的多画面显示装置与所述的多画面服务器联接；所述的n个终端将各自获取的n个通信点上的图像数据送入网络；采用多画面支撑模块提取MCU从网络上接收到的n点图像数据，并将所述的图像数据转发到多画面服务器进行处理；所述的多画面服务器将接收到的图像数据经过解码后转换为模拟的视频信号，并将所述的视频信号在所述的多画面显示装置上输出，从而实现在一个通信点上可以同时看到n点的画面。
本发明所述的系统还包括n个终端、网络设备、n个多画面显示装置、n个多画面服务器；其中n≥3；如图9和图12所示的联接可作为其中的主通信点；如图10所示的联接可作为其中的增强型分通信点；所述的n个终端、n个多画面显示装置、n个多画面服务器分别通过各自的网络设备与网络联接；所述的MCU通过网络设备与网络联接；所述的多画面支撑模块通过网络设备与网络联接；
所述的多画面显示装置与所述的多画面服务器联接；所述的n个终端将各自获取的n个通信点上的图像数据送入网络；采用多画面支撑模块提取MCU从网络上接收到的n点图像数据，并将所述的图像数据通过网络分别转发到n个多画面服务器进行处理；n个多画面服务器将接收到的图像数据经过解码后转换为模拟的视频信号，并将所述的视频信号在各自联接的多画面显示装置上输出，从而实现在n点的任意一个通信点上可以同时看到n点的其他点的画面。
所述的网络可为IP网。
所述的多画面显示装置可为多画面电视墙。
本发明的有益效果在于通过提供一种多画面输出方法，使得通信一方可以实时观看其它全部或多个通信点的图像信息，极大的增强了可视通信的临场感，使通信参与者仿佛置身于一个真实的会议环境，全面提升可视通信的效果和质量；多个图像信息分别显示在多个显示设备上，不同于现有技术在一个显示设备上显示多个图像(每个图像的分辨率下降)，图像分辨率很高，图像运动流畅；其可依托国际标准，完全兼容现有和未来该技术领域的产品；其可全面提升视频会议技术的应用解决方案，极大的扩大视频会议技术的应用领域。
以上
具体实施例方式
仅用于说明本发明而非用于限定本发明。
权利要求
1.一种多画面输出方法，其特征在于在n点通信环境中设置多画面支撑模块，采用所述的多画面支撑模块提取MCU接收到的n点图像数据并将所述的图像数据转发到多画面服务器；所述的多画面服务器将接收到的图像数据转换为模拟的视频信号并输出，从而实现n画面输出。
2.根据权利要求1所述的方法，其特征在于，所述的在n点通信环境中设置多画面支撑模块是指所述的多画面支撑模块可以设于MCU内；或者，所述的多画面支撑模块可以为独立的装置。
3.根据权利要求2所述的方法，其特征在于，所述的多画面支撑模块可以设于MCU内包括在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信道，所述的信道采用进程间通信的方式实现；在所述的多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道，所述的信道采用进程间通信的方式实现；在所述的MCU中的MC模块与MP模块之间至少增加一个控制信道，所述的信道采用进程间通信的方式实现；所述的MC模块通过该控制信道控制所述的MP模块，并将所述的图像数据传送到所述的多画面服务器。
4.根据权利要求3所述的方法，其特征在于，所述的信道采用进程间通信的方式实现是指所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用消息管道通信等。
5.根据权利要求3所述的方法，其特征在于，在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信道以进行信令通信；所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用消息管道通信等；所述的信令可包括查询所述的多画面服务器能力、查询所述的多画面服务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作状态等。
6.根据权利要求3所述的方法，其特征在于，在所述的多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道以进行信令通信；所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用消息管道通信等；所述的信令可包括所述的MC模块查询所述的多画面服务器的能力、工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多画面服务器能力、工作状态、媒体信道的信息等。
7.根据权利要求3所述的方法，其特征在于，在所述的MCU中的MC模块与MP模块之间至少增加一个控制信道以进行信令通信；所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用消息管道通信等。
8.根据权利要求3所述的方法，其特征在于包括以下步骤在多画面支撑模块与所述的多画面服务器之间建立控制信令的信道以进行信令通信，所述的信道可以采用TCP/IP通信，并采用TPKT标准进行所述信令的打包，所述的信令可包括查询所述的多画面服务器能力、查询所述的多画面服务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作状态等；在多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道以进行信令通信，所述的信令可包括所述的MC模块查询所述的多画面服务器的能力、工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多画面服务器能力、工作状态、媒体信道的信息等；所述的多画面服务器加电自检后通过与所述的多画面支撑模块之间的信道报告自身系统能力和媒体信道的信息；所述的多画面支撑模块通过与所述的MC模块之间的信道向MC模块报告已就绪的所述的多画面服务器的系统能力和媒体信道的信息；所述的MC模块控制所述的MP模块将所述的n点图像数据中的一个具体通信点的图像数据转发到所述的多画面服务器中的一个具体的媒体信道；所述的MC模块控制所述的多画面支撑模块，以对所述的多画面服务器进行控制。
9.根据权利要求2所述的方法，其特征在于，所述的多画面支撑模块可以为独立的装置包括所述的多画面支撑模块获取所述的MCU收发的数据；所述的多画面支撑模块与所述的多画面服务器进行通信；所述的多画面支撑模块内设有控制模块、数据获取模块、数据转发模块，其中所述的控制模块控制所述的数据获取模块和数据转发模块协同工作，将获取的数据转发到所述的多画面服务器。
10.根据权利要求9所述的方法，其特征在于，所述的多画面支撑模块获取所述的MCU收发的数据是指所述的多画面支撑模块与所述的MCU联接，并通过网卡获取所述的MCU收发的数据。
11.根据权利要求9所述的方法，其特征在于，所述的控制模块接受上层的用户界面的控制。
12.根据权利要求9所述的方法，其特征在于，所述的数据获取模块通过操作系统提供的底层网络编程功能实时获取网络数据，并将获取到的数据传送给所述的数据转发模块。
13.根据权利要求9所述的方法，其特征在于，所述的数据转发模块从收到的数据中分离出MCU收发的全部或部分视频数据，并转发给所述的多画面服务器。
14.根据权利要求10所述的方法，其特征在于，所述的多画面支撑模块与所述的MCU联接是指网络联接；所述的网络联接可采用共享式的以太网集线器，所述的MCU和所述的多画面支撑模块均连接到该集线器上；或者，采用具有端口镜像功能的以太网交换机，所述的MCU和所述的多画面支撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的全部数据镜像到所述的多画面支撑模块端口；或者，采用代理方式，使所述的MCU的全部通信均经过所述的多画面支撑模块进行代理转发。
15.根据权利要求9所述的方法，其特征在于包括以下步骤所述的多画面支撑模块与所述的MCU联接，并通过网卡获取所述的MCU收发的数据，所述的联接是指网络联接，所述的网络联接可采用共享式的以太网集线器，所述的MCU和所述的多画面支撑模块均连接到该集线器上；或者采用具有端口镜像功能的以太网交换机，所述的MCU和所述的多画面支撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的全部数据镜像到所述的多画面支撑模块端口；或者采用代理方式，使所述的MCU的全部通信均经过所述的多画面支撑模块进行代理转发；所述的控制模块接受上层的用户界面的控制；所述的数据获取模块通过操作系统提供的底层网络编程功能实时获取网络数据，并将获取到的数据传送给所述的数据转发模块；所述的数据转发模块从收到的数据中分离出MCU收发的全部或部分视频数据，并转发给所述的多画面服务器。
16.根据权利要求1所述的方法，其特征在于，所述的多画面服务器将接收到的图像数据转换为模拟的视频信号并输出包括所述的多画面服务器接受所述的多画面支撑模块的控制，并接收所述的多画面支撑模块转发的图像数据，并对接收到的图像数据进行解码，将图像数据还原为数字化的图像，再通过D/A变换将数字化的图像转换为模拟的视频信号进行输出。
17.根据权利要求16所述的方法，其特征在于包括以下步骤所述的多画面服务器接收所述的多画面支撑模块转发的图像数据，并将所述的图像数据递交到解码器进行解码；所述的解码器接收视频数据，并对视频数据进行解码，将压缩的视频数据解压缩为图像(YUV格式或其它图像表示格式)数据，然后通过D/A变换模块将数字化的图像数据转换成模拟的视频信号进行输出。
18.根据权利要求17所述的方法，其特征在于，所述的多画面服务器可进行初始化、启动、停止、暂停、画面更新请求等设置。
19.根据权利要求8或15所述的方法，其具体步骤为所述的多画面服务器接收所述的多画面支撑模块转发的图像数据，并将所述的图像数据递交到解码器进行解码；所述的解码器接收视频数据，并对视频数据进行解码，将压缩的视频数据解压缩为图像格式数据，然后通过D/A变换模块将数字化的图像数据转换成模拟的视频信号进行输出。
20.根据权利要求1至18任意一项所述的方法，其特征在于，所述的n满足以下条件n≥1。
21.根据权利要求19所述的方法，其特征在于，所述的n满足以下条件n≥3。
22.一种多画面输出系统，包括MCU；其特征在于还包括多画面支撑模块、多画面服务器；采用多画面支撑模块提取MCU接收到的n点图像数据，并将所述的图像数据转发到多画面服务器；所述的多画面服务器将接收到的图像数据转换为模拟的视频信号，并将所述的视频信号输出，从而实现n画面输出。
23.根据权利要求22所述的系统，其特征在于，所述的多画面支撑模块可内置于所述的MCU，其中在所述的多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道，所述的信道采用进程间通信的方式实现；在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信道，所述的信道采用进程间通信的方式实现；在所述的MCU中的MC模块与MP模块之间至少增加一个控制信道，所述的信道采用进程间通信的方式实现，所述的MC模块通过该控制信道控制所述的MP模块，并将所述的图像数据传送到所述的多画面服务器。
24.根据权利要求23所述的系统，其特征在于，所述的在多画面支撑模块与所述的多画面服务器之间建立控制信令的信道包括所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用消息管道通信等；并采用TPKT标准进行所述信令的打包，所述的信道用于所述的多画面支撑模块和所述的多画面服务器之间进行信令通信。
25.根据权利要求24所述的系统，其特征在于，所述的信令包括查询所述的多画面服务器能力、查询所述的多画面服务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作状态等。
26.根据权利要求23所述的系统，其特征在于，所述的在多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道包括所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用消息管道通信等；所述的信令为所述的MC模块查询所述的多画面服务器的能力、工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多画面服务器能力、工作状态、媒体信道的信息等。
27.根据权利要求22所述的系统，其特征在于，所述的多画面支撑模块可为一独立装置，其中包括控制模块、数据获取模块、数据转发模块、以及网卡；所述的网卡通过网络连接方式接收到所述的MCU的数据；所述的控制模块与所述的多画面服务器通信；所述的控制模块控制所述的数据获取模块和所述的数据转发模块协同工作，所述的控制模块接受上层的用户界面的控制，所述的数据获取模块通过操作系统提供的底层网络编程功能实时获取网络数据，并将获取到的数据交所述的数据转发模块处理；所述的数据转发模块在所述的数据获取模块转交的数据中分离出所述的MCU接收到的全部或部分视频数据，并按照控制指令将视频数据转发到多画面服务器。
28.根据权利要求27所述的系统，其特征在于，所述的网络连接方式包括采用共享式的以太网集线器，并将所述的MCU和所述的多画面支撑模块均连接到该集线器；或采用具有端口镜像功能的以太网交换机，并将所述的MCU和所述的多画面支撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的全部数据镜像到所述的多画面支撑模端口；或采用代理方式，使所述的MCU的全部通信均经过所述的多画面支撑模块进行代理转发。
29.根据权利要求27所述的系统，其特征在于，所述的多画面支撑模块可为工控机，或者可为PC机。
30.根据权利要求22所述的系统，其特征在于，所述的多画面服务器包括控制模块、媒体数据模块、解码器、D/A变换模块；所述的控制模块与所述的多画面支撑模块建立控制信道，并接受所述的多画面支撑模块的控制；所述的媒体数据接收模块接收所述的MP模块转发的媒体数据，并将媒体数据递交到解码器；所述的解码器模块接收视频数据，并对视频数据进行解码，将压缩的视频数据解压缩为图像数据，然后通过所述的D/A变换模块将数字化的图像数据转换成模拟的视频信号进行输出。
31.根据权利要求30所述的系统，其特征在于，所述的多画面服务器可为工控机，或者可为PC机。
32.根据权利要求22至31任意一项所述的系统，其特征在于所述的n满足以下条件n≥3。
33.根据权利要求22至31任意一项所述的系统，其特征在于还包括n个终端、网络设备、多画面显示装置；其中n≥3；所述的n个终端分别通过各自的网络设备与网络联接；所述的MCU通过网络设备与网络联接；所述的多画面支撑模块通过网络设备与所述的多画面服务器联接；所述的多画面显示装置与所述的多画面服务器联接；所述的n个终端将各自获取的n个通信点上的图像数据送入网络；采用多画面支撑模块提取MCU从网络上接收到的n点图像数据，并将所述的图像数据转发到多画面服务器进行处理；所述的多画面服务器将接收到的图像数据转换为模拟的视频信号，并将所述的视频信号在所述的多画面显示装置上输出，从而实现在一个通信点上可以同时看到n点的画面。
34.根据权利要求22至31任意一项所述的系统，其特征在于还包括n个终端、网络设备、n个多画面显示装置、n个多画面服务器；其中n≥3所述的n个终端、n个多画面显示装置、n个多画面服务器分别通过各自的网络设备与网络联接；所述的MCU通过网络设备与网络联接；所述的多画面支撑模块通过网络设备与网络联接；所述的多画面显示装置与所述的多画面服务器联接；所述的n个终端将各自获取的n个通信点上的图像数据送入网络；采用多画面支撑模块提取MCU从网络上接收到的n点图像数据，并将所述的图像数据通过网络分别转发到n个多画面服务器进行处理；n个多画面服务器将接收到的图像数据转换为模拟的视频信号，并将所述的视频信号在各自联接的多画面显示装置上输出，从而实现在n点的任意一个通信点上可以同时看到n点的其他点的画面。
35.根据权利要求33所述的系统，其特征在于，所述的网络为IP网；所述的多画面显示装置为多画面电视墙；所述的多画面支撑模块可以选择通过独立的通信接口与所述的多画面服务器进行连接。
36.根据权利要求34所述的系统，其特征在于，所述的网络为IP网；所述的多画面显示装置为多画面电视墙；所述的多画面支撑模块可以选择通过独立的通信接口与所述的多画面服务器进行连接。
全文摘要
本发明提供了一种多画面输出方法及系统，其在n点通信环境中设置多画面支撑模块，采用所述的多画面支撑模块提取MCU接收到的n点图像数据并将所述的图像数据转发到多画面服务器；所述的多画面服务器将接收到的图像数据转换为模拟的视频信号并输出，从而实现n画面输出。本发明使得在多点通信时，任意一个通信点都能够实时看到其他全部或部分通信点的图像。也就是说所述的主通信点可以同时看到全部或部分分通信点的图像，分通信点可以同时看到主通信点以及其他全部或部分分通信点的图像。本发明所述的方法及系统可使多个图像信息分别显示在多个显示设备上，并且图像分辨率高、图像运动流畅、系统兼容性强。
文档编号H04N7/15GK1422079SQ0215906
公开日2003年6月4日 申请日期2002年12月27日 优先权日2002年12月27日
发明者熊胜峰, 戴少华 申请人:北京鼎视通软件技术有限公司