专利名称：一种实现多画面的方法
技术领域：
本发明涉及多媒体会议电视技术，特别是涉及一种实现多画面的方法。
背景技术：
在会议电视中，一般都有多方参加，在以前的会议电视中，由于没有多画面技术，参会的一方只能看到另外一方的图像，这样就在一定程度上降低了会议电视的直观性，使得参会方感觉自己和其他所有参会方的交流不是面对面的。所以，如何在一个显示屏上看见多个参会方图像的多画面技术对于提高会议电视的性能，满足用户的需求是非常重要的。
现有技术中的多画面的传输方案一般包括以下两种方法第一种方法首先由MCU(Multipoint Control Unit多点控制单元)对来自各个终端的视频码流进行解码，得到相应的多路解出图像；接着将各个解出图像缩放成合适的尺寸并组合在一起；接着对组合图像进行编码，编码后所得到的码流被传送给一个终端；最后该终端对组合图像码流解码后所得到的解出图像即为多画面图像。
第二种方法MCU对多路视频码流进行基于CPM(ContinuousPresence Multipoint and Video Multiplex多路视频码流复用)的复用传输方法，该方法是H.263标准建议的多画面解决方法。在该方法中参与多画面组合的各个终端所编出的子码流被赋予一个用于区分彼此的标识，该标识被简称为“SBI”(Sub-Bitstream Indicator子码流标识)，并被插入子码流的图像头或GOB(Group of Blocks宏块组)头中。
在第二种方法中，MCU并不对视频子码流进行解码，而只是将各路子码流以GOB或帧为单位组合在一起，形成多路复合码流，接收到多路复合码流的终端根据各个图像头或GOB头中的SBI标识将复合码流中的各路子码流加以区分，并分别予以解码，最后将各路子码流的解出图像组合起来显示，于是得到了多画面图像。
然而，上述现有技术却存在许多缺点，具体如下第一种方法虽然可以实现尽可能多个子画面的组合，但是其成本高昂，需要在MCU侧开销大量的运算能力、内存等资源。而第二种方法虽然成本低廉，但是，由于H.263语法规定其SBI标识只有2个比特(BIT)，对于二进制算法而言，该SBI标识只能代表4个不同的值，因此第二种方法最多只能组合4路码流，也即，该方法最多只能支持4个子画面的组合。
发明内容
本发明提供一种实现多画面的方法，以解决现有技术中不能既成本低又能实现多于四路多画面的问题。
为解决上述问题，本发明提供如下技术方案一种实现多画面的方法，包含以下步骤a、MCU为各个终端生成一个包含有多画面信息的标识，并将该标识发送至各个终端；b、各个终端接收所述标识，根据多画面信息标识中的信息对源图像进行编码并将该多画面信息标识插入子码流发送至MCU；c、MCU收到各个终端的子码流，组合成复合码流，发送给显示终端；d、显示终端接收复合码流，从中取出各路子码流，根据各路子码流的多画面信息标识，对各路子码流进行解码并将解出的多个子画面组合成多画面图像输出。
其中，所述的标识是指包含有多画面模式、子画面位置、尺寸和格式信息的ESBI(Extended Sub-Bitstream Indicator扩展的子码流标识)。
所述的步骤b中将该多画面信息标识插入子码流更具体是指如果MCU组合各路子码流时是以帧为单位，则将该多画面信息标识插入子码流的图像头中，如果MCU组合各路子码流时是以GOB为单位，则将该多画面信息标识同时插入子码流的图像头和GOB头中。
所述的步骤b中根据多画面信息标识中的信息对源图像进行编码具体是指按照该多画面信息标识包含的子画面尺寸、格式信息对源图像进行编码。
所述的步骤c中组合成复合码流更具体是指以帧或GOB为单位组合成复合码流。
所述的步骤d中从中取出各路子码流更具体是指以帧或GOB为单位从复合码流中取出各路子码流。
所述的步骤d中根据各路子码流的多画面信息标识更具体是指如果MCU组合各路子码流时是以帧为单位，则是根据各路子码流的图像头中的多画面信息标识，如果MCU组合各路子码流时是以GOB为单位，则是根据各路子码流的图像头和GOB头中的多画面信息标识。
本发明通过对H.263建议的CPM/SBI语法进行了扩展，使得多画面信息标识的长度更长，而可以负载更多的信息，从而使得MCU在无需对视频码流进行解码和再编码的情况下，能够实现尽可能多的子画面码流的传输和组合显示，而子画面的解码和组合完全在终端上进行。本发明的优点在于一方面降低了成本，另一方面大大扩展了多画面传输和组合能力，能够实现尽可能多的子画面的传输与组合。
图1为本发明实施例的系统架构示意图；图2A为本发明实施例终端显示的2画面模式示意图；图2B为本发明实施例终端显示的3画面模式示意图；图2C为本发明实施例终端显示的4画面模式示意图；图2D为本发明实施例终端显示的6画面模式示意图；
图3为本发明实施例的方法流程图；图4为本发明实施例ESBI标识的比特域的字节划分示意图。
具体实现方式如图1所示，本发明实施例的系统是目前使用广泛的基于H.320和H.323标准的会议电视系统，该会议电视系统由6个终端、一个MCU、一个显示终端组成，通过传输网络如ISDN(Integrated ServicesDigital Network综合服务数字网)或LAN(Local Area Network局域网)等，将MCU、6个终端、显示终端连接起来。本会议电视系统需要将来自6个终端的子画面通过MCU传输，在显示终端输出组合后的多画面。
假设本实施例的会议电视系统所使用的产品可以实现4种模式的多画面，如图2A、2B、2C、2D所示，其中各子画面左上角的数字即该子画面的子画面号，当前的会议电视系统使用的多画面模式为6画面模式，如图2D所示。
如图3所示，本发明实施例所述的一种基于扩展CPM语法的实现多画面的方法，具体包括以下步骤第一、MCU为各个终端生成一个包含有多画面模式、子画面位置、尺寸和格式信息的ESBI标识，并将该ESBI标识发送至各个终端。
在多画面电视会议召开以前，需要确定ESBI标识的具体内容。本产品中由于只有4种多画面模式，可在ESBI标识的比特域中提供2位长度用于表示多画面模式；由于最大的子画面号为5，用二进制表示为“101”，可在ESBI标识的比特域中提供3位长度用于表示子画面号，3位长度可表示的最大子画面号为7。
这样ESBI比特域一共5比特长度，如图4所示为本实施例的ESBI标识的比特域的字节划分情况。
其中，多画面模式的2比特长度可指定为如下含义“00”表示2画面模式；“01”表示3画面模式；
“10”表示4画面模式；“11”表示6画面模式。
子画面号的3比特的长度的情况比较复杂，需要和多画面模式配合才可得到子画面的显示位置、尺寸和格式，当前多画面模式为6画面模式，即其比特域为“11”时，多画面图像为CIF(CommonIntermediate Format通用中间格式)格式的图像，其分辨率的象素为(352×288)，则可指定子画面号的比特域为如下含义“000”表示子画面的显示位置为((0，0))，格式为(CIF，120×96)；“001”表示子画面的显示位置为((120，0))，格式为(CIF，112×96)；“010”表示子画面的显示位置为((232，0))，格式为(CIF，120×96)；“011”表示子画面的显示位置为((0，96))，格式为(CIF，120×96)；“100”表示子画面的显示位置为((120，96))，格式为(CIF，232×192)；“101”表示子画面的显示位置为((0，192))，格式为(CIF，120×96)；“110”和″111″表示为无效值。
MCU将上述的5比特长度的ESBI标识发送给各个终端，这些ESBI标识都是唯一的，各个终端得到的ESBI标识分别为终端1(″11，000″)；终端2(″11，001″)；终端3(″11，010″)；终端4(″11，011″)；终端5(″11，100″)；终端6(″11，101″)。
第二、各个终端接收该ESBI标识，将其源图像按照该ESBI标识包含的子画面尺寸、格式信息进行编码后，将该ESBI标识插入子码流发送至MCU。
以终端1为例，终端1接收到ESBI标识“11，000”，按照该ESBI标识包含的子画面尺寸、格式信息，“(CIF，120×96)”，将其源图像缩放成尺寸为120×96像素的图像并进行编码成子码流1，假设MCU对各个子码流的组合是以GOB为单位的，并将该ESBI标识插入到子码流1的图像头和GOB头中。
其他各个终端和终端1类似。
第三、MCU收到各个终端的子码流，组合成复合码流，发送给显示终端。
MCU收到6个终端的子码流1-6后，不须对码流进行解码，只需将各个子码流以GOB为单位组合成复合码流，并发送给显示终端。
第四、显示终端接收复合码流，从中取出各路子码流，根据各路子码流的ESBI标识，得到当前的多画面模式、各子画面位置和格式，完成各个子码流的解码，并将解出的多个子画面组合成为所需的多画面图像输出。
显示终端收到该复合码流后，以GOB为单位取出各路子码流，并分解各路子码流的ESBI标识，如子码流1而言，可从中分解其ESBI标识“11,000”，从而得到当前的多画面模式为6画面模式，子码流1对应的子画面0的位置为“(0，0)”，子画面0的格式为“(CIF，120×96)”。
显示终端继续完成各路子码流1-6的解码，得到相应的子画面0-5，然后将解出的各个子画面组合成如图2D所示的多画面输出显示。
上述实施例ESBI标识中的5比特长度和指定的各个字节的含义仅仅只是一种示例，不能用来限制本发明的保护范围。
权利要求
1.一种实现多画面的方法，其特征在于，该方法包含以下步骤a、MCU为各个终端生成一个包含有多画面信息的标识，并将该标识发送至各个终端；b、各个终端接收所述标识，根据多画面信息标识中的信息对源图像进行编码并将该多画面信息标识插入子码流发送至MCU；c、MCU收到各个终端的子码流，组合成复合码流，发送给显示终端；d、显示终端接收复合码流，从中取出各路子码流，根据各路子码流的多画面信息标识，对各路子码流进行解码并将解出的多个子画面组合成多画面图像输出。
2.如权利要求1所述的一种实现多画面的方法，其特征在于，所述的多画面信息标识是指包含有多画面模式、子画面位置、尺寸和格式信息的ESBI。
3.如权利要求2所述的一种实现多画面的方法，其特征在于，所述的ESBI长度大于2个比特。
4.如权利要求1所述的一种实现多画面的方法，其特征在于，所述的步骤b中根据多画面信息标识中的信息对源图像进行编码具体是指按照该多画面信息标识包含的子画面尺寸、格式信息对源图像进行编码。
5.如权利要求1所述的一种实现多画面的方法，其特征在于，所述的步骤b中将该ESBI标识插入子码流更具体是指如果MCU组合各路子码流时是以帧为单位，则将该ESBI标识插入子码流的图像头中，如果MCU组合各路子码流时是以GOB为单位，则将该ESBI标识同时插入子码流的图像头和GOB头中。
6.如权利要求1所述的一种实现多画面的方法，其特征在于，所述的步骤c中组合成复合码流更具体是指以帧或GOB为单位组合成复合码流。
7.如权利要求1所述的一种实现多画面的方法，其特征在于，所述的步骤d中从中取出各路子码流更具体是指以帧或GOB为单位从复合码流中取出各路子码流。
8.如权利要求1所述的一种基于扩展CPM语法的多画面实现方法，其特征在于，所述的步骤d中根据各路子码流的多画面信息标识更具体是指如果MCU组合各路子码流时是以帧为单位，则是根据各路子码流的图像头中的多画面信息标识，如果MCU组合各路子码流时是以GOB为单位，则是根据各路子码流的图像头和GOB头中的多画面信息标识。
全文摘要
本发明提出了一种实现多画面的方法，包含以下步骤a.MCU为各个终端生成一个包含有多画面信息的标识，并将该标识发送至各个终端；b.各个终端接收所述标识，根据多画面信息标识中的信息对源图像进行编码并将该多画面信息标识插入子码流发送至MCU；c.MCU收到各个终端的子码流，组合成复合码流，发送给显示终端；d.显示终端接收复合码流，从中取出各路子码流，根据各路子码流的多画面信息标识，对各路子码流进行解码并将解出的多个子画面组合成多画面图像输出。其既降低了成本，又扩展了多画面传输和组合能力，能够实现多子画面的传输与组合。
文档编号H04N7/15GK1571508SQ0317839
公开日2005年1月26日 申请日期2003年7月19日 优先权日2003年7月19日
发明者王静, 汪小荣, 魏小霞, 郭戈 申请人:华为技术有限公司