视频会议方法及其设备的制作方法

视频会议方法及其设备的制作方法
【专利摘要】本发明公开涉及视频会议方法及其设备。具体地，提供了一种在两个或更多个视频会议端点之间进行视频会议的方法，其中所述方法包括步骤：把视频会议的媒体数据处理成统一编码格式，同时在两个或更多个视频会议端点之间切换视频会议的媒体数据；及把处理后的媒体数据保存到持续存在模式与演讲模式的记录文件中，其中持续存在模式的记录文件保存由两个或更多个视频会议端点生成的媒体数据，而演讲模式的记录文件保存由作为视频会议中的演讲者的视频会议端点生成的媒体数据。相应地，提供了视频会议设备。
【专利说明】视频会议方法及其设备
【技术领域】
[0001]本公开涉及远程通信，尤其涉及用于视频会议的方法与设备。
【背景技术】
[0002]利用音频数据与视频数据通信，视频会议使得可以在彼此远离的个人之间进行面对面的会议。视频会议可以包括至少两个站点(点到点)或者多个站点(多点)。
[0003]参加视频会议的人通过视频会议端点(EP)与其它站点交互。视频会议端点是网络中可以提供与其它视频会议端点或多点控制单元(MCU)的实时与双向音频/视频/其它内容数据通信的端点。视频会议端点可以只提供音频、只提供视频或者只提供其它内容数据，或者其任意组合，等等。示例性的视频会议端点可以包括可以从Polycom公司获得的POLYCOM?、VSX?和HDX?系列(POLYCOM VSX 和 HDX 是 Polycom 公司的注册商标)。视频会议端点从本地站点向一个或多个远端站点发送音频、视频和/或其它内容数据，并且显示从一个或多个远端站点接收到的视频和/或其它内容数据。
[0004]MCU可以用于管理视频会议。MCU是可以在网络的节点或视频会议端点中或者任何其它位置的会议控制实体。MCU也被称为充当开关的视频会议服务器，它在同步分离从多个视频会议端点接收到的信息流之后提取诸如音频、视频、数据等的信息及信令，然后把视频会议端点的信息与信令输入到处理模块以供对应的音频组合或选择、视频组合或选择、数据广播和路由、定时与会议控制等，并且最终把个别会议站点期望的所有信息组合到一起并且把它们发送到对应的视频会议端点。MCU可以基于特定的规程从接入端口接收并处理多个媒体流并且通过其它端口把它们分发到所连接的通道。MCU的例子可以包括可以从Polycom公司获得的MGC-100与RMX? 4000(RMX4000是Polycom公司的注册商标)。常见的MCU在多项专利与专利申请中被公开。有些MCU可以包括两个逻辑单元:多点控制器(MO与多点处理器(MP)，其中MC主要负责利用视频会议端点之间的序列进行媒体连接的协调并且利用H.245定义发送内容的规范；MP是基于MC的控制规范实际从事音频/视频处理、切换及其它处理的端点。MCU的MC是强制管理功能模块，而MP是基于视频会议端点的视频处理能力与通用背景框架的需要选择的。端点与MCU的更具体定义可以在国际电信联盟的标准中找到，例如但不限于H.320、H.324和H.323标准。关于ITU标准的附加信息可以在ITU的网站www.1tu.1nt上找到。
[0005]总的来说，MCU可能需要把每个输入的视频流解码成未压缩的全帧视频流，管理与会议关联的多个未压缩视频流并且组合和/或管理多个输出流。由此，处理和管理多个视频会议需要大量昂贵的计算资源，因此MCU —般是既昂贵又很复杂的产品。
[0006]就像机构、个人和家庭用户等的小型企业或小型用户而言，MCU很显然不合适，其中对这些小型企业或小型用户来说在这方面投资太多是不合适的，因此尤其是对于点到点的会议，MCU看起来更加多余。
[0007]当视频会议在进行中时,记录与播放服务器可以用于记录视频会议。记录与播放服务器的例子可以包括可以从Polycom公司获得的RSS? 4000 (RSS4000是Polycom公司的注册商标)。
[0008]记录与播放服务器可以在用户的屏幕上以流媒体的形式播放事先记录的那些演示数据，从而节省时间与资源。例如，教育机构可以按流媒体的形式向远端站点播放学习内容，从而扩大其教学覆盖范围。当对新员工进行教育和培训时，可以采用这种理想的措施来进行归档。
[0009]在现有技术中，有三种途径来记录视频会议:
[0010]一种途径是由视频会议端点来记录，其中，记录系统集成到视频会议端点中，而且当视频会议在进行中时，视频会议端点的记录功能被启用，以便记录并保存诸如视频会议端点的本地音频/视频等的数据，或者记录并保存从另一个视频会议端点接收到的远端音频/视频数据。由于视频会议端点有限的能力，一次只能记录一个视频会议端点的数据。
[0011]另一种途径是通过探测记录服务器的探测记录，其中探测记录服务器访问视频会议端点与MCU所处的网络，并且在视频会议期间，探测记录设备探测网络中的通信数据分组，而过滤设备独立地提取并保存要记录的数据。
[0012]还有另一种途径是由MCU来筛选并控制媒体流以供记录。MCU分别连接到视频会议端点与视频会议记录设备，而且要记录的媒体流被MCU发送到视频会议记录设备，其中，使用单个媒体流，即，一次只记录一个视频会议端点的数据。由MCU筛选和控制媒体流以供记录的系统体系结构在图1中示出。在图1中，视频会议端点EP1、EP2-EPN通过等效或不同的网络N1、N2-NN连接到网络N中的MCU，其中网络N1、N2-NN、N可以是但不限于分组交换网络、电路交换网络、集成服务数字网络(ISDN)、公共交换电话网络(PSTN)、异步传输模式(ATM)网络、互联网或内联网。MCU和记录与流化系统(RSS)连接，其中RSS负责记录视频会议并且还提供播放功能。要记录的媒体流是由MCU确定的并且以单个媒体流的形式发送到RSS以供记录。
[0013]以上提到的视频会议记录或者需要MCU，或者利用单个媒体流而不是多个媒体流的组合来记录会议，因此，用户可以只访问视频会议的一部分而且不会沉浸在其中。在有些情况下，当视频会议在视频会议端点之间举行时，用户可能需要记录他们所有的视频内容。
[0014]除此之外，记录内容被写到一个文件中，如果有附加的播放需求的话，则需要重新处理。

【发明内容】

[0015]提供本摘要是为了以简化的形式介绍在以下具体描述中进一步描述的概念的选择。本摘要不是要识别所保护主题的关键特征或必要特征，也不是要用于帮助确定所保护主题的范围。
[0016]提供了在两个或更多个视频会议端点之间进行视频会议的方法，该方法包括步骤:把视频会议的媒体数据处理成统一编码格式，同时在两个或更多个视频会议端点之间切换视频会议的媒体数据；并且把处理后的媒体数据保存到持续存在模式与演讲模式的记录文件中，其中持续存在模式的记录文件保存由两个或更多个视频会议端点生成的媒体数据，而演讲模式的记录文件保存由作为视频会议中的演讲者的视频会议端点生成的媒体数据。演讲者是由在会议中讲话的一个或多个用户使用的视频会议端点。
[0017]另外，提供了在两个或更多个视频会议端点之间进行视频会议的设备，其中该设备包括:网络接口模块，用于接收和发送视频会议的媒体数据；视频切换会议模块，用于切换视频会议的媒体数据；后端代码转换模块，用于把视频会议的媒体数据处理成统一编码格式，并且把处理后的媒体数据保存到持续存在模式与演讲模式的记录文件中；及存储模块，用于保存记录文件；其中持续存在模式的记录文件保存由两个或更多个视频会议端点生成的媒体数据，而演讲模式的记录文件保存由作为视频会议中的演讲者的视频会议端点生成的媒体数据。
【专利附图】

【附图说明】
[0018]图1说明了根据现有技术的、包括MCU与视频会议记录设备的系统体系结构；
[0019]图2说明了根据一种实施例的系统体系结构；
[0020]图3a说明了根据一种实施例的端点的框图；
[0021]图3b说明了根据另一种实施例的端点的框图；
[0022]图4a说明了根据一种实施例的视频会议记录设备的框图；
[0023]图4b说明了根据一种实施例的后端代码转换模块的框图；
[0024]图4c说明了根据一种实施例的、由后端代码转换模块基于持续存在模式处理媒体流的流程图；
[0025]图4d说明了根据一种实施例的、由后端代码转换模块基于演讲模式处理媒体流的流程图；
[0026]图5说明了根据优选实施例的、利用视频会议记录设备创建媒体连接并记录的流程图；
[0027]图6说明了根据优选实施例的、利用视频会议记录设备创建媒体连接并记录的流程图；
[0028]图7说明了根据优选实施例的、在会议过程中请求其它端点参加视频会议的流程图；
[0029]图8说明了根据优选实施例的、在会议过程中其它端点请求参加视频会议的流程图；和
[0030]图9说明了根据一种实施例的布局。
具体实施例
[0031]本文主题是为了满足法定需求而在此具体描述的。但是，描述本身不是要限定本专利的范围。相反，发明人预期所保护的主题还有可能以其它途径体现，以与其它现有或将来的技术结合，包括不同的步骤或者与本文档中描述的步骤类似的步骤的组合。
[0032]图2说明了用于在多点会议中进行记录的系统体系结构。系统2可以包括网络N、网络N1、网络N2-网络NN、端点EP1、EP2-EPN及视频会议记录设备RD。网络N、网络N1、网络N2-网络NN分别代表单个网络或者两个或更多个网络的组合。网络N、网络N1、网络N2-网络NN可以是任何类型的网络，包括分组交换网络、电路交换网络、集成服务数字网络(ISDN)、公共交换电话网络(PSTN)、异步传输模式(ATM)网络、互联网或内联网。网络中的多媒体通信可以基于任何通信协议，包括H.320、H.324、H.323、SIP等。
[0033]系统2所描述的部分只包括和描述最相关的元件。系统2仍然可以包括未在此描述的其它部分。本领域技术人员可以理解，每个系统都可以根据布置与系统的期望具有不同数量的端点和网络。但是，在这里说明了具有多个端点、多个网络和视频会议记录设备400的系统2。
[0034]端点EPl、EP2_EPN之间的通信可以包括信令与控制、音频、视频和/或其它内容数据。EP1、EP2-EPN的不同组合可以参加会议。EP1、EP2-EPN可以提供音频、视频、其它内容数据、信令、控制或者其组合。
[0035]图3a说明了根据本发明另一种实施例的端点的框图。端点EP1、EP2-EPN中的任何一个都可以包括用户控制模块301，用于使用户与端点接口。用户控制模块301可以是例如利用DTMF信号的拨号垫(例如，电话的键区)，利用除DTMF信号之外的控制信号的专用控制设备或者基于ITU标准的H.224和H.281的远端照相机控制信令单元。在一种实施例中，用户控制模块301是键区。作为替代，用户控制模块301可以是在显示屏上示出虚拟键盘的软件。在另一种实施例中，用户控制模块301可以包括DTMF发生器，诸如按键式电话的通用键盘和/或用于电视机的遥控器。
[0036]端点EP1、EP2-EPN还可以包括音频输入模块302，该模块允许端点的用户在会议中说话或者对被其他用户听到的语音和噪音起作用，诸如一个或多个麦克风；视频输入模块303，该模块允许端点EPl、EP2-EPN把现场视频数据输入到会议中，诸如照相机；音频输出模块304，该模块使会议可以被听到，诸如一个或多个扩音器；视频输出模块305，该模块使会议可以被示出，诸如显示屏。就他们参加会议的途径而言，缺乏这些部件之一的那些端点可能会遇到限制。作为替代，端点EP1、EP2-EPN还可以包括数据输入模块308，通过该模块，端点希望向其它端点示出其它内容数据，及显示内容数据的数据输出模块309，参考图3bο其它内容数据可以是例如类似于由PowerPoint、视频/音频剪辑、光栅/矢量图像、动画、文档等制作的那些的演示图像。
[0037]端点EP1、EP2-EPN还可以包括EP网络接口模块306，EP网络接口模块306可以通过网络从视频会议记录设备接收通信。EP网络接口模块306可以根据一种或多种通信标准，包括H.320、H.321、H.323、H.324、会话发起协议(SIP)等，处理通信。EP网络接口模块306可以从视频会议记录设备接收控制信息、音频、视频和/或其它内容数据信息并且发送它们，反之亦然。关于端点与视频会议记录设备之间通信的更多信息和描述信令与控制的信息可以在国际电信联盟的H.320、H.321、H.323、H.324标准或者在ffiTF互联网工作组网站中找到。
[0038]端点EP1、EP2-EPN还可以包括用于控制端点中的用户控制模块301、音频输入模块302、音频输出模块304、视频输入模块303、视频输出模块305、EP网络接口模块306及作为替代地，数据输入模块308与数据输出模块309的单独操作及其交互的EP控制模块307。
[0039]图4a说明了根据本发明一种实施例的视频会议记录设备的框图。视频会议记录设备400可以包括RD网络接口模块401、用户接口模块402、视频会议设置模块403、视频切换会议模块404、RD控制模块405、存储模块406和后端代码转换模块407。
[0040]RD网络接口模块401可以通过网络从多个视频会议端点接收通信。RD网络接口模块401可以根据一种或多种通信标准，包括H.320、H.321、H.323、H.324、会话发起协议(SIP)等，处理通信。RD网络接口模块401可以从其它端点接收控制信息与内容数据信息并且把它们发送到其它端点。关于端点与视频会议记录设备400之间通信的更多信息和描述信令与控制的信息可以在国际电信联盟的H.320、H.321、H.323、H.324标准或者在IETF互联网工作组网站中找到。
[0041]用户接口模块402可以为用户提供交互式接口和视频会议显示。用户可以通过用户接口模块402设置并控制视频会议，例如，用户可以设置视频会议的开始时间、可以控制记录的开始与结束并且可以设置在视频会议端点中显示视频会议的模式。具体的描述可以在随后的描述中找到。
[0042]视频会议设置模块403可以用于创建虚拟视频会议室。虚拟视频会议室的创建可以在视频会议开始之前进行，而且也可以在启动视频会议的同时进行。创建的途径可以是用户通过端点的用户控制模块301请求创建，而且作为替代，创建的途径可以是通过视频会议记录设备400的用户接口模块402创建。一系列设置可以通过视频会议设置模块403进行，这些设置可以包括但不限于开始和结束记录的途径的设置、开始会议的时间的设置、是否发送会议报警的设置，等等。
[0043]视频切换会议模块404可以用于创建和释放视频会议的连接，协商参加视频会议的两个或全部端点之间的能力及在连接的时候切换音频、视频和/或其它内容数据。一个视频切换会议模块404单独对应于一个视频会议。相应地，同时举行的多个视频会议需要多个视频切换会议模块404。
[0044]存储模块406用于存储记录文件。记录文件可以包括所记录的音频/视频和/或其它内容数据。存储模块406可以包括但不限于RAM、R0M、ERDR0M、闪存或者其它存储器技术、CD-ROM、数字多样化盘(DVD)和其它光学储存器、磁带、盒式磁带、磁盘储存器或者其它磁性存储设备。
[0045]图4b说明了根据本发明一种实施例的后端代码转换模块的框图。后端代码转换模块407用于诸如处理接收到的视频、音频等以便支持视频会议的显示、记录和播放之类的功能。其中，后端代码转换模块407可以包括音频处理模块4071、视频处理模块4072和后端代码转换控制模块4073。后端代码转换控制模块4073控制音频处理模块4071和视频处理模块4072的处理。视频处理模块4072可以是接收并发送压缩后的视频流的逻辑模块，而音频处理模块4071可以是接收并发送压缩后的音频流的逻辑模块，用于视频流的压缩协议可以是:H.263、H.264、MPEG2、MPEG4等，而用于音频流的压缩协议可以是:G.711、
G.722、G.729、ACC等。后端代码转换模块407基于不同的需求采取不同的处理。现有技术中已知的视频处理模块4072的常见功能没有在本文中具体描述。作为替代，其中音频处理模块4071可以包括至少DTMF (双音多频)模块(未示出)。DTMF模块可以检测和/或知道从视频会议端点接收到的音频流中的DTMF信号。DTMF模块可以把DTMF信号变换成DTMF控制数据，例如，用于控制会议的用户名与口令访问，或者控制视频会议端点上的会议显示模式。作为替代，音频处理模块4071还可以包括语音识别模块(未示出)。语音识别模块可以使用会议参加者的语音命令来控制视频会议。
[0046]在一种实施例中，后端代码转换模块407需要支持视频会议端点上的会议显示。会议显示可以是持续存在(CP )模式和演讲模式。在持续存在模式，持续地显示多个视频会议端点。在演讲模式，只显示演讲者。例如，在持续存在模式中，在控制模块4073的控制下，视频处理模块4072从视频会议端点接收多个压缩后的视频输入流。然后，视频处理模块4072对它们进行解压缩与解码处理，并且对来自不同端点的多个视频流进行组合以便为每个端点形成用于布局显示的一个视频流。关于布局显示的具体描述将稍后给出。然后，在编码和/或压缩之后，为不同端点组合的视频流通过RD网络接口模块401发送。还有，在持续存在模式中，在控制模块4073的控制下，音频处理模块4071从视频会议端点接收多个压缩的音频输入流。然后，音频处理模块4071对它们进行解压缩与解码处理，并且对来自不同端点的多个音频流进行组合以便为每个端点形成一个音频流。然后，在编码和/或压缩之后，为不同端点组合的音频流通过RD网络接口模块发送。图4c说明了根据本发明一种实施例的基于持续存在模式由后端代码转换模块处理媒体流的流程图。在演讲模式中，在控制模块4073的控制下，音频处理模块4071从视频会议端点接收多个压缩的音频输入流。然后，它对它们进行解压缩和解码处理，并且对来自不同端点的处理后的多个音频流进行组合以便为每个端点形成一个音频流。然后，在编码和/或压缩之后，为不同端点组合的音频流通过RD网络接口模块发送。图4d说明了根据本发明一种实施例的基于演讲模式由后端代码转换模块处理媒体流的流程图。作为替代，音频处理模块4071可以检测音频能量信息。音频处理模块4071可以分析从端点接收到的音频信号，并且确定每个音频信号的能量。如果某一端点的音频信号持续时间比预定的时间(例如，3秒钟)长，并且在这3秒内累计的音量最大，则通过后端代码转换控制模块4073移交到新的视频流。然后，基于端点的能力，需要对视频流的解压缩、压缩、编码与解码处理。因而，无需演讲者之间不必要的乒乓移交就实现了快速移交。
[0047]在另一种实施例中，后端代码转换模块需要处理从视频会议端点接收到的音频、视频和/或其它内容数据、把它们变换成通用的统一编码格式以供在记录文件中保存。记录文件可以包括持续存在模式的记录文件和演讲模式的记录文件。持续存在模式的记录文件保存由参加视频会议的多个视频会议端点生成的媒体数据，而演讲模式的记录文件保存由作为视频会议中的演讲者的视频会议端点生成的媒体数据。例如，在持续存在模式中，在控制t旲块4073的控制下，视频处理t旲块4072从视频会议纟而点接收多个压缩后的视频输入流。然后，视频处理模块4072对它们进行解压缩与解码处理，并且对来自不同端点的多个视频流进行组合以便为每个端点形成用于布局显示的一个视频流。关于布局显示的具体描述将稍后给出。然后，在编码和/或压缩之后，视频处理模块4072把它们写到记录文件I中来保存。在控制模块4073的控制下，音频处理模块4071从视频会议端点接收多个压缩后的音频输入流。然后，音频处理模块4071对它们进行解压缩与解码处理，并且对来自不同端点的处理后的多个音频流进行组合以基于设置或选择形成一个音频流。然后，在编码和/或压缩之后，音频处理模块4071把它们写到记录文件I中来保存。在演讲模式中，在控制模块4073的控制下，音频处理模块4071从视频会议端点接收多个压缩后的音频输入流。然后，音频处理模块4071对它们进行解压缩与解码处理，并且对来自不同端点的处理后的多个音频流进行组合以基于设置或选择形成一个音频流，在编码和/或压缩之后，该音频流被写到记录文件2中来保存。作为替代，音频处理模块4071可以检测音频能量信息。音频处理模块4071可以分析从端点接收到的音频信号，并且确定每个音频信号的能量。如果某一端点的音频信号持续时间比预定的时间(例如，3秒钟)长，并且在这3秒内累计的音量最大，则通过后端代码转换控制模块4073移交到新的视频流。然后，基于设置或选择，进行视频流的编码和压缩。因而，无需演讲者之间不必要的乒乓移交就实现了快速移交。
[0048]在还有另一种实施例中，后端代码转换模块需要通过RD网络接口模块401对记录文件中的内容数据进行重新处理以保存到其它文件中或者发送到其它端点，用于播放。重新处理可以包括例如把一种编码格式的音频/视频数据变换成另一种。
[0049]RC控制模块405用于控制RD网络接口模块401、用户接口模块402、视频会议设置模块403、视频切换会议模块404、存储模块406和后端代码转换模块407的操作及其交互。
[0050]图5说明了利用视频会议记录设备创建媒体连接并且记录的流程图。在一种实施例中，用户通过端点生成DTMF信号并且把它们发送到视频会议记录设备400以请求分配虚拟视频会议室(501)。然后，用户指定访问号或者视频会议记录设备400自动分配访问号(502)。然后，第一视频会议端点和第二视频会议端点通过该访问号进入所分配的虚拟视频会议室(503)。接下来,视频会议记录设备400获得第一视频会议端点和第二视频会议端点的能力，这可以包括音频/视频编码协议、音频/视频代码速率、视频分辨率、视频帧速率(504)。相应地，视频会议记录设备400确定第一视频会议端点和第二视频会议端点都支持的能力，这被发送到第一视频会议端点和第二视频会议端点，用于确认(505)。例如，如果第一视频会议端点支持1080p的视频分辨率，而第二视频会议端点支持720p的视频分辨率，则视频会议记录设备400确定由第一视频会议端点和第二视频会议端点都支持的能力是720p的视频分辨率。然后，第一视频会议端点和第二视频会议端点进行确认，协商完成(506)。因而，第一视频会议端点和第二视频会议端点之间的媒体连接是根据协商好的能力创建的(507)。然后，第一视频会议端点和第二视频会议端点根据协商好的能力向彼此和/或从彼此发送并接收音频、视频和/或其它内容数据(508)。同时，视频会议的音频、视频和/或其它内容数据被处理成获得统一的编码格式，而且处理后的数据被保存到两个记录文件中，如以上所提到的(509)。
[0051]根据以上实施例，视频会议记录设备400被充分利用来创建视频会议，节省了 MCU的使用。除此之外，视频会议不需要任何对MCU的需求就可以记录，而且同时，要记录的视频会议媒体流不需要附加的发送，因而节省了带宽资源。
[0052]作为替代，在步骤502中，用户可以进一步设置会议的开始时间，而且参加会议的端点是第一视频会议端点和第二视频会议端点，而且还可以设置报警。在会议应当开始之前的某个时间，例如会议应当开始之前的20分钟，视频会议记录设备400把视频会议报警发送到打算参加会议的第一视频会议端点和第二视频会议端点，而且报警的途径可以是已知的途径，诸如电子邮件、短消息、电话呼叫等。
[0053]作为替代，在步骤502中，用户可以指定访问口令，或者视频会议记录设备400自动分配访问口令。开始记录的途径还可以是可以包括一旦创建媒体连接就触发记录、在预定的时间触发记录或者由用户触发记录的设置。结束记录的途径也可以是可以包括视频会议一结束就结束记录、在预定的时间结束记录或者由用户结束记录的设置。作为替代，在步骤508和509中，用户接口模块402可以由端点通过网络来访问。因而，开始、暂停和结束记录的途径及视频会议记录的控制与管理的设置可以通过用户接口模块402输入。在步骤508中，总的来说，音频与视频的切换需要解压缩、解码、编码和/或压缩，但是，由于音频/视频是基于协商好的音频/视频编码协议、音频/视频编码速率、视频分辨率、视频帧速率发送的，因此，对于点到点视频会议中只需要给出另一个端点的视频的端点，或者被设置或选择成只给出某个端点的音频和/或视频的其它视频会议端点，启用没有任何解压缩、解码、编码和/或压缩的直接切换，从而节省了视频会议记录设备的大量处理资源。但是，对于需要音频流与视频流的组合处理的端点，使用直接切换是不适当的。
[0054]图6说明了利用视频会议记录设备创建媒体连接并记录的流程图。在一种实施例中，用户通过端点生成DTMF信号并且把它们发送到视频会议记录设备400以请求分配虚拟视频会议室(601)。然后，用户指定访问号或者视频会议记录设备400自动分配访问号，并且用户设置会议的开始时间，而且将参加会议的端点是第一视频会议端点和第二视频会议端点(602)。当开始会议的时间到来时，视频会议记录设备400通过网络向将参加会议的第一视频会议端点和第二视频会议端点发送消息以请求它们进入视频会议(603)。然后，视频会议记录设备400从第一视频会议端点和第二视频会议端点接收确认消息，从而使第一视频会议端点和第二视频会议端点能够进入虚拟视频会议室(604)。接下来,视频会议记录设备400获得第一视频会议端点和第二视频会议端点的能力，这包括音频/视频编码协议、音频/视频编码速率、视频分辨率、视频帧速率(605)。相应地，视频会议记录设备400确定由第一视频会议端点和第二视频会议端点都支持的能力，这被发送到第一视频会议端点和第二视频会议端点，用于确认(606)。例如，如果第一视频会议端点支持1080p的视频分辨率，而第二视频会议端点支持720p的视频分辨率,则视频会议记录设备400确定第一视频会议端点和第二视频会议端点都支持的能力是720p的视频分辨率。然后，第一视频会议端点和第二视频会议端点进行确认，协商完成(607)。因而，第一视频会议端点和第二视频会议端点之间的媒体连接是根据协商好的能力创建的(608)。因而，第一视频会议端点和第二视频会议端点根据协商好的能力向彼此和/或从彼此发送并接收音频、视频和/或其它内容数据(609)。同时，视频会议的音频、视频和/或其它内容数据被处理成获得统一的编码格式，而且处理后的数据被保存到两个记录文件中，如以上所提到的(610 )。
[0055]作为替代，开始记录的途径也可以是可以包括一旦创建了媒体连接就触发记录、在预定的时间触发记录或者由用户触发记录的设置。作为替代，在步骤609和610中，用户接口模块402可以在端点上运行，而且开始、暂停和结束记录的途径和视频会议记录的控制与管理的设置可以通过用户接口模块402进行。
[0056]作为替代，在以上提到的实施例中，如果设置了开始会议的时间，则也可以同时设置虚拟视频会议室的预约时间。例如，在5-120分钟范围内的时间；如果在开始时间到达之后的预约时间内没有端点进入虚拟视频会议室，就除去该虚拟视频会议室。如果希望虚拟视频会议室永久保留，则预约时间设置不可用。
[0057]图7说明了在会议期间请求其它端点参加视频会议的流程图。实际上，当举行视频会议时，可能需要呼叫另一个端点进入该会议。在这种情况下，在图5或6中的步骤之后执行以下步骤:
[0058]视频会议记录设备400接收从第一视频会议端点或第二视频会议端点发送的控制消息，该控制消息用于请求视频会议记录设备400呼叫第三视频会议端点参加视频会议(701)。然后，视频会议记录设备400基于协商好的能力向第三视频会议端点发消息以请求它参加视频会议(702)。然后，第三视频会议端点检查它是否支持协商好的能力(703)。如果支持，第三视频会议端点就向视频会议记录设备400发送确认消息，因此视频会议记录设备400在第一视频会议端点、第二视频会议端点和第三视频会议端点之间创建媒体连接，视频会议的音频、视频和/或其它内容数据切换到新的媒体连接上而且最初的媒体连接被释放(704)。如果第三视频会议端点不支持协商好的能力，则执行以下步骤:视频会议记录设备400接收协商好的能力不被第三视频会议端点支持的消息(705)。接下来，视频会议记录设备400在第一视频会议端点、第二视频会议端点和第三视频会议端点之间再次执行能力协商(706)。相应地，根据新协商好的能力创建第一视频会议端点、第二视频会议端点和第三视频会议端点之间的新媒体连接，视频会议的音频、视频和/或其它内容数据切换到新的媒体连接上而且最初的媒体连接被释放(707 )。作为替代，705-707不能执行，则第三视频会议端点不参加视频会议。
[0059]图8说明了在会议期间其它端点请求参加视频会议的流程图。当保留视频会议时，可能有参加该会议的“晚来者”。在这种情况下，在图5或6的步骤之后，执行以下步骤:
[0060]第三视频会议端点请求通过访问号参加视频会议(801)。然后，视频会议记录设备400向第三视频会议端点发送带有协商好的能力的能力请求(802)。然后，第三视频会议端点检查它是否支持协商好的能力(803)。如果支持，第三视频会议端点就向视频会议记录设备400发送确认消息，因而视频会议记录设备400在第一视频会议端点、第二视频会议端点和第三视频会议端点之间创建媒体连接(804)。如果第三视频会议端点不支持协商好的能力，则执行以下步骤:视频会议记录设备400接收协商好的能力不被第三视频会议端点支持的消息(805)。视频会议记录设备400在第一视频会议端点、第二视频会议端点和第三视频会议端点之间再次执行能力协商(806)。相应地，根据新协商好的能力创建第一视频会议端点、第二视频会议端点和第三视频会议端点之间的新媒体连接，视频会议的音频、视频和/或其它内容数据切换到新的媒体连接上而且最初的媒体连接被释放(807)。
[0061]作为替代，步骤806和807不能执行。如果第三视频会议端点不支持协商好的能力，就不允许第三视频会议端点参加视频会议。
[0062]在视频会议中，演讲者可能需要向参加视频会议的每个端点示范除来自诸如麦克风或照相机等的音频或视频输入模块的那些之外的任何类型的信息与数据，例如，类似于由PowerPoint、视频/音频剪辑、光栅/矢量图像、动画、文档等制成的那些的演示图像。H.239标准可以用于发送。即，一旦创建了媒体连接，共享带宽的多个媒体流就在两个
H.239端点之间发送，因此，多个视频流可以在会议系统中发送并示出。例如，一个端点的VGA信号可以直接作为媒体流取得，并且通过EP网络接口模块306发送，使得桌面信号与活动的音频/视频图像可以同时发送到会议的其它端点。该方法的使用可以向会议的其它端点发送类似于由PowerPoint、opened Word文档或其它桌面形式制成的那些的演示图像。
[0063]在一种实施例中，基于H.329创建两个附加的媒体通道，这两个通道中的每个通道都被指定“任务选项卡”以显示该通道的使用。例如，一个通道用于视频会议端点的音频/视频剪辑的发送，另一个用于在视频会议端点的桌面上所显示的演示图像的发送。这两个发送都像发送来自诸如麦克风、照相机等的音频/视频输入模块的数据那样进行。当发送在相同的媒体连接上进行时，视频会议记录设备可以直接切换它们以进一步在参加视频会议的其它端点上显示它们。然后，可以记录基于H.239发送的多个媒体流。
[0064]在另一种实施例中，需要播放所记录的视频会议。例如，连接到视频会议记录设备400的端点会通过视频会议记录设备400要求会议利用诸如TRSP H.323/SIP等流控制协议。例如，根据播放模式的选择，RD控制模块405控制记录文件的读取。如果播放模式是持续存在模式，则持续存在模式的记录文件是红色的，而如果播放模式是演讲模式，则演讲模式的记录文件是红色的，从而获得音频流、视频流和/或其它内容数据并且把它们发送到要求端点。另外，要求端点请求重新处理所保存的记录文件，并且随后后端代码转换模块把所保存的记录文件中的数据重新编码和解码成期望的格式。
[0065]当参加视频会议的端点显示视频会议或播放所记录的视频会议时,可以在布局中安排在屏幕上显示的视频图像。布局可以包括用于显示视频图像的一个或多个段。一个段是分配给从参加视频会议的一个端点接收视频图像的接收端点的屏幕的一部分。在视频会议期间，一段可以覆盖本地端点的屏幕的整个显示区域以显示来自另一个端点的视频。毫无疑问，并且作为替代，来自多个端点的视频数据可以同时显示。例如，在一个例子中，在以演讲模式显示的视频会议中，本地端点的屏幕只根据会议的动态变化显示参加视频会议的一个端点的视频，移交可以在那些视频会议端点之间对视频进行。在另一个例子中，在以CP模式显示的视频会议中，来自参加视频会议的多个端点的视频数据在本地端点上显示。每个端点的视频可以在布局的相应段中显示，而且该段可以具有相同或不同的尺寸。被显示并且与布局的段相关联的端点的选择可以变化。
[0066]图9说明了根据一种实施例的布局。图9中所示的布局示出了来自两个视频会议端点的视频数据，并且显示其它内容数据-来自一个视频会议端点的桌面的数据。
[0067]以上对各种发明概念的说明与描述应当认为是说明性或示例性的而不是约束性的。以下权利要求的范围不是要由以上描述来限定。根据对附图、公开内容及所附权利要求的学习，对所公开实施例的其它变体可以被本领域技术人员理解并实现。在权利要求中，词“包括”不排除其它元件或步骤，而且不定冠词“一”或“一个”不排除多个。除非另外规定，否则单个处理器或其它单元可以履行在权利要求中所述的多个条目的功能，或者反之亦然。仅仅某些测量在相互不同的从属权利要求中进行阐述的事实不指示这些测量的组合不能被有利地使用。
【权利要求】
1.一种在两个或更多个视频会议端点之间进行视频会议的方法，包括步骤: 把视频会议的媒体数据处理成统一编码格式，同时在两个或更多个视频会议端点之间切换视频会议的媒体数据；及 把处理后的媒体数据保存到持续存在模式与演讲模式的记录文件中，其中持续存在模式的记录文件保存由两个或更多个视频会议端点生成的媒体数据，而演讲模式的记录文件保存由作为视频会议中的演讲者的视频会议端点生成的媒体数据。
2.如权利要求1所述的进行视频会议的方法，进一步包括步骤: 在两个或更多个视频会议端点之间执行能力协商；及 根据协商好的能力在两个或更多个视频会议端点之间创建媒体连接。
3.如权利要求2所述的进行视频会议的方法，其中，如果视频会议在第一视频会议端点与第二视频会议端点之间举行，则媒体连接直接切换媒体数据。
4.如权利要求1所述的进行视频会议的方法，其中媒体数据包括音频、视频和/或其它内容数据，并且所述其它内容数据包括演示图像、视频/音频剪辑、光栅/矢量图像、动画和文档。
5.如权利要求4所述的进行视频会议的方法，其中: 持续存在模式的记录文件保存两个或更多个视频会议端点的音频、视频和/或内容数据，其中两个或更多个视频会议端点的音频数据的处理包括组合音频数据，而两个或更多个视频会议端点的视频数据的处理包括组合视频数据。
6.如权利要求4所述的进行视频会议的方法，其中: 演讲模式的记录文件保存演讲者的音频、视频和/或其它内容数据及参加视频会议的另一个视频会议端点的音频数据， 其中来自演讲者和另一个视频会议端点的音频数据的处理包括组合音频数据，而演讲者和另一个视频会议端点的视频数据的处理包括从演讲者和另一个视频会议端点的那些数据中选择视频。
7.如权利要求6所述的进行视频会议的方法，其中从演讲者和另一个视频会议端点的那些数据中选择视频是基于语音激励。
8.如权利要求3所述的进行视频会议的方法，在创建媒体连接之后，进一步包括以下步骤: 接收从第一视频会议端点或第二视频会议端点发送的、请求呼叫第三视频会议端点参加视频会议的控制消息； 基于协商好的能力向第三视频会议端点发送请求其参加视频会议的消息； 等待第三视频会议端点检查它是否支持协商好的能力； 如果第三视频会议端点支持，则接收从第三视频会议端点发送的确认消息，在第一视频会议端点、第二视频会议端点和第三视频会议端点之间创建新的媒体连接，把视频会议的媒体数据切换到新的媒体连接上并且释放最初的媒体连接。
9.如权利要求8所述的进行视频会议的方法，如果第三视频会议端点不支持协商好的能力，则进一步包括以下步骤: 接收第三视频会议端点不支持协商好的能力的消息； 在第一视频会议端点、第二视频会议端点和第三视频会议端点之间再次协商能力；根据新协商好的能力在第一视频会议端点、第二视频会议端点和第三视频会议端点之间创建新的媒体连接，把视频会议的媒体数据切换到新的媒体连接上并且释放最初的媒体连接。
10.如权利要求2所述的进行视频会议的方法，其中能力协商包括音频/视频编码协议、音频/视频编码速率、视频分辨率、视频帧速率的协商。
11.如权利要求1所述的进行视频会议的方法，进一步包括以下步骤: 从一个端点接收播放要求，所述播放要求指示持续存在模式或演讲模式的播放模式； 读取记录文件，其中如果播放模式是持续存在模式，则读取持续存在模式的记录文件，而如果播放模式是演讲模式，则读取演讲模式的记录文件，从而获得媒体数据； 把媒体数据发送到所述一个端点以供播放。
12.如权利要求1 1所述的进行视频会议的方法，其中能够对所获得的媒体数据进行重新处理。
13.如权利要求1或12所述的进行视频会议的方法，其中处理和重新处理包括解压缩、解码、组合音频流、组合视频流、编码和/或压缩中的一个或多个。
14.一种在两个或更多个视频会议端点之间进行视频会议的设备，其中所述设备包括: 网络接口模块，用于接收和发送视频会议的媒体数据； 视频切换会议模块，用于切换视频会议的媒体数据； 后端代码转换模块，用于把视频会议的媒体数据处理成统一编码格式，并且把处理后的媒体数据保存到持续存在模式与演讲模式的记录文件中；及 存储模块，用于保存记录文件； 其中，持续存在模式的记录文件保存由两个或更多个视频会议端点生成的媒体数据，而演讲模式的记录文件保存由作为视频会议中的演讲者的视频会议端点生成的媒体数据。
15.如权利要求14所述的进行视频会议的设备，其中视频切换会议模块进一步用于: 在两个或更多个视频会议端点之间执行能力协商；及 根据协商好的能力在两个或更多个视频会议端点之间创建媒体连接。
16.如权利要求15所述的进行视频会议的设备，其中如果视频会议在第一视频会议端点与第二视频会议端点之间举行，则媒体连接直接切换媒体数据。
17.如权利要求14所述的进行视频会议的设备，其中媒体数据包括音频、视频和/或其它内容数据，并且所述其它内容数据包括演示图像、视频/音频剪辑、光栅/矢量图像、动画和文档。
18.如权利要求17所述的进行视频会议的设备，其中持续存在模式的记录文件保存两个或更多个视频会议端点的音频、视频和/或内容数据，其中两个或更多个视频会议端点的音频数据的处理包括组合音频数据，而两个或更多个视频会议端点的视频数据的处理包括组合视频数据。
19.如权利要求17所述的进行视频会议的设备，其中演讲模式的记录文件保存演讲者的音频、视频和/或其它内容数据及参加视频会议的另一个视频会议端点的音频数据，其中来自演讲者和另一个视频会议端点的音频数据的处理包括组合音频数据，而演讲者和另一个视频会议端点的视频数据的处理包括从演讲者和另一个视频会议端点的那些数据中选择视频。
20.如权利要求19所述的进行视频会议的设备，其中利用后端代码转换模块从演讲者和另一个视频会议端点的那些数据中选择视频。
21.如权利要求16所述的进行视频会议的设备，其中，在创建媒体连接之后，网络接口模块进一步用于: 接收从第一视频会议端点或第二视频会议端点发送的、请求呼叫第三视频会议端点参加视频会议的控制消息； 基于协商好的能力向第三视频会议端点发送请求其参加视频会议的消息； 如果网络接口模块从第三视频会议端点接收到确认，则视频切换会议模块进一步用于: 在第一视频会议端点、第二视频会议端点和第三视频会议端点之间创建新的媒体连接，把视频会议的媒体数据切换到新的媒体连接上并且释放最初的媒体连接。
22.如权利要求21所述的进行视频会议的设备，其中，如果第三视频会议端点不支持协商好的能力， 则网络接口模块进一步用于接收第三视频会议端点不支持协商好的能力的消息； 视频切换会议模块进一步用于: 在第一视频会议端点、第二视频会议端点和第三视频会议端点之间再次协商能力；根据新协商好的能力在第一视`频会议端点、第二视频会议端点和第三视频会议端点之间创建新的媒体连接，把视频会议的媒体数据切换到新的媒体连接上并且释放最初的媒体连接。
23.如权利要求15所述的进行视频会议的设备，其中能力协商包括音频/视频编码协议、音频/视频编码速率、视频分辨率、视频帧速率的协商。
24.如权利要求14所述的进行视频会议的设备，其中网络接口模块进一步用于: 从一个端点接收播放要求，所述播放要求指示持续存在模式或演讲模式的播放模式； 把媒体数据发送到所述一个端点以供播放； 后端代码转换模块进一步用于: 读取记录文件，其中如果播放模式是持续存在模式，则读取持续存在模式的记录文件，而如果播放模式是演讲模式，则读取演讲模式的记录文件，从而获得媒体数据。
25.如权利要求24所述的进行视频会议的设备，其中后端代码转换模块重新处理所获得的媒体数据。
26.如权利要求14或25所述的进行视频会议的设备，其中处理和重新处理包括解压缩、解码、组合音频流、组合视频流、编码和/或压缩中的一个或多个。
【文档编号】H04N7/15GK103795964SQ201310520203
【公开日】2014年5月14日 申请日期:2013年10月29日 优先权日:2012年10月30日
【发明者】郭夏良, 郭元峰 申请人:宝利通公司