一种基于QoS的多流的视频会议系统及控制方法
【专利摘要】本发明涉及一种基于QoS的多流的视频会议系统和控制方法，包括媒体转发服务器和视频终端；媒体转发服务器包括服务器视频流接收端、服务器视频流存储模块、服务器传出流模块、服务器视频流发送端、服务器Qos收发模块和服务器Qos分析判断模块，视频终端包括终端视频流发送模块、终端视频流接收模块和终端Qos信息模块。本发明的系统和方法使终端根据自己的能力选看不同档次的视频流，实现不同的终端均可参与视频会议或视频聊天。并通过采用分段的Qos方案以及RTCP的数据的发送和接收，使得终端能够流畅的发送视频流，从而使各个终端在多流方案下提供清晰流畅的视频效果。
【专利说明】
一种基于QoS的多流的视频会议系统及控制方法
技术领域
[0001]本发明涉及一种视频会议系统和方法，具体涉及一种基于QoS的多流的视频会议系统及控制方法。
【背景技术】
[0002]视频会议是在两个或多个地点的用户之间举行会议，实时传送声音、图像的通信方式，在视频会议早期，往往通过合屏的方式实现多画面，通过MCU设备将多个用户的视频画面合并在一起，拼接成多画面，然后广播给各个视频终端播放，但随着视频技术的发展，这种视频会议方案逐渐暴露了其弱点。首先，采用多画面合成的方式，每个视频终端看到的视频画面都是相同的，画面布局由会议管理者指定，作为普通参与方的用户无法自由选看视频画面;其次，移动设备的出现导致视频会议参与方的能力不对等，一个专业的视频设备可以搞定高清画面的解码播放，但一个移动设备可能就无法完成高清画面如720P的解码播放，它只能处理VGA的视频档次，但合成的画面往往只有一个档次，无法满足视频终端的不同档次要求。
[0003]基于上述问题，业界开始偏向多流的视频会议实现，业界对多流的选择有不同的方案选择，包括SVC、多RTP Sess1n、单RTP Sess1n通过SSRC区分媒体流，但是多流方案下的Qos模型如何建立却没有标准。
[0004]Qos(Quality ofService，服务质量)，指一个网络能够利用各种基础技术，为指定的网络通信提供更好的服务能力，是网络的一种安全机制，是用来解决网络延迟和阻塞等问题的一种技术。RTCP为RTP源携带一个持久性传输层标识符，其提供数据分发质量反馈信息。
【发明内容】
[0005]本发明的目的是提供一种基于QoS的多流的视频会议系统及控制方法，解决了现有技术中提到的不足。本发明的目的是通过以下技术方案来实现:
[0006]—种基于QoS的多流的视频会议系统，包括媒体转发服务器和若干视频终端;所述媒体转发服务器包括:
[0007]服务器视频流接收端，用于接收视频终端发送的不同档次的视频流；
[0008]服务器视频流存储模块，用于存储各个终端发送来的视频流；
[0009]服务器传出流模块，用于将服务器视频流存储模块所存储的视频流根据不同视频终端所需接收的其他视频终端的视频流进行有序的排列；
[0010]服务器视频流发送端，用于向所述终端发送其所能接收的(其他终端的)视频流；
[0011]服务器Qos收发模块，用于采集(或接收)各个终端发送的QoS质量信息以及发送QoS质量信息，并保证视频流媒体转发服务器的服务质量；
[0012]服务器Qos分析判断模块，与所述服务器Qos收发模块连接，用于分析、判断服务器Qos收发模块发送来的QoS质量信息；
[0013]所述视频终端包括:
[0014]若干终端视频流发送模块，用于发送不同档次的视频流；
[0015]终端视频流接收模块，用于接收其能够接收的档次的视频流；
[0016]终端Qos信息模块，用于和所述服务器Qos收发模块建立连接，并保证能够顺畅的发送视频流。
[0017]进一步优选地，所述服务器视频流接收端连接所述服务器视频流存储模块，该服务器视频流存储模块连接所述服务器传出流模块，该服务器传出流模块上连接有服务器视频流发送端。
[0018]进一步优选地，所述服务器传出流模块与服务器Qos分析判断模块连接。
[0019]进一步优选地，所述服务器Qos收发模块与终端Qos信息模块连接。
[0020]进一步优选地，所述视频终端与媒体转发服务器通过通信网络进行通讯连接。
[0021]进一步优选地，所述媒体转发服务器还包括服务器RTCP发送端口、服务器RTCP接收端口以及服务器RTCP处理模块，所述服务器RTCP发送端口用于在发送的数据流中加载RTCP数据，所述服务器RTCP接收端口用于从发送来的数据流中分离RTCP数据，所述服务器RTCP处理模块用于分析、处理服务器RTCP接收端口接收到的RTCP数据;所述服务器RTCP处理模块连接所述服务器RTCP发送端口和服务器RTCP接收端口。
[0022]进一步优选地，所述视频终端设有终端RTCP接收口和终端RTCP发送口，所述终端RTCP接收口用于从发送来的数据流中分离RTCP数据，所述终端RTCP发送口在发送的数据流中加载RTCP数据。
[0023]进一步优选地，所述终端RTCP接收口连接所述服务器RTCP发送端口；所述终端RTCP发送口连接所述服务器RTCP接收端口，终端通过RTCP反馈来调整接收视频流的档次。
[0024]一种基于QoS的多流的视频会议系统的控制方法，所述方法包括:
[0025]参与视频会议的视频终端基于终端Qos信息模块，通过终端视频流发送模块发送不同档次的视频流到媒体转发服务器；
[0026]媒体转发服务器基于服务器Qos收发模块和服务器Qos分析判断模块，通过服务器视频流接收端接收视频终端所发送的所有档次的视频流，并存储在服务器视频流存储模块，然后服务器传出流模块根据不同视频终端所需接收的其他视频终端的视频流将服务器视频流存储模块中的视频流进行有序的排列，并根据服务器Qos收发模块和服务器Qos分析判断模块将每个视频终端所能接收的档次的视频流传给服务器视频流发送端；
[0027]所述视频终端通过终端视频流接收模块接收服务器视频流发送端发来的其它终端的视频流，实现通畅的视频会议。
[0028]进一步优选地，所述视频终端的终端RTCP接收口连接所述服务器RTCP发送端口；所述终端RTCP发送口连接所述服务器RTCP接收端口，终端通过RTCP反馈来调整接收视频流的档次。
[0029]本发明提供了一种基于QoS的多流的视频会议系统及控制方法，其主要具有的有益效果为:
[0030]①本发明通过参与视频或参与会议的终端发送不同档次的视频流(如720P、VGA、QCIF)，然后根据自己的能力选看不同档次的视频流，实现不同的终端包括移动终端均可参与视频会议或视频聊天。
[0031]②本发明通过采用非对称、分段的Qos方案，使得终端能够流畅的发送视频流，从而使各个终端在多流方案下提供清晰流畅的视频效果，因此，使终端能够极佳的参与视频。
[0032]③本发明的服务器只需要进行转发各个终端上传的视频流并进行简单的存储排列等处理，因此无需使用现有技术中拥有非常专业的价格昂贵的硬件设备的MCU，本发明的设备简单，容易实现，且极大程度上降低了会议成本。
[0033]④本发明通过RTCP的数据的发送和接收实现了终端接收视频质量的实时反馈，从而保证了其视频会议的顺畅进行。
【附图说明】
[0034]下面根据附图对本发明作进一步详细说明。
[0035]图1是本发明实施例所述的媒体转发服务器的结构示意图；
[0036]图2是本发明另一个实施例所述的媒体转发服务器的结构示意图；
[0037]图3是本发明实施例所述的视频终端与媒体转发服务器的服务质量关系结构示意图；
[0038]图4是本发明实施例所述的多个视频终端的视频会议系统示意图；
[0039]图5是本发明实施例所述的RTCP数据收发的示意图；
[0040]图6是本发明另一个实施例所述的多流转发的视频会议系统示意图；
[0041]图7是本发明另一个实施例所述的视频发送的简易Qos模型结构示意图；
[0042]图8是本发明另一个实施例所述的视频接收的简易Qos模型结构示意图。
【具体实施方式】
[0043]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接;可以是机械连接，也可以是电连接或通讯连接;可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0045]下面以具体实验案例为例来说明【具体实施方式】，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0046]本发明实施例所述的一种基于QoS的多流的视频会议系统，包括媒体转发服务器I和若干视频终端2;如图1所示，所述媒体转发服务器I包括服务器视频流接收端11、服务器视频流存储模块12、服务器传出流模块13和服务器视频流发送端14。
[0047]所述服务器视频流接收端11用于接收或采集所有视频终端发送来的所有的不同档次的视频流;所述服务器视频流存储模块12用于存储各个终端发送来的视频流，以免数据丢失;所述服务器传出流模块13用于将服务器视频流存储模块12所存储的视频流根据不同视频终端所需接收的其他视频终端的视频流进行有序的排列，如图6所示的多流转发方案图(对图6的描述见后文)，每个视频终端编码不同档次的视频流发送给媒体转发服务器I，接收其他终端不同档次的视频流。所述服务器视频流发送端14用于向所述终端发送其所能接收的其他终端的视频流。
[0048]所述服务器视频流接收端11连接所述服务器视频流存储模块12，该服务器视频流存储模块12与所述服务器传出流模块13连接，该服务器传出流模块13上连接有服务器视频流发送端14。
[0049]所述视频终端2包括若干终端视频发送模块28和终端视频接收模块29，若干所述终端视频发送模块28用于发送不同档次的视频流;所述终端视频接收模块29，用于接收其能够接收的档次的视频流。
[0050]作为另一种可实施的技术方案，所述服务器视频流存储模块12与所述服务器传出流模块13之间设有编解码器。
[0051]作为另一种可实施的技术方案，所述媒体转发服务器I上连接有定位装置，所述定位装置上连接有声音采集装置和显示装置。
[0052]作为另一种可实施的技术方案，如图2所示，所述媒体转发服务器I中还设有服务器Qos收发模块15以及服务器Qos分析判断模块16，所述服务器Qos收发模块15用于采集或接收各个终端发送的QoS质量信息以及发送QoS质量信息，并保证视频流媒体转发服务器I的服务质量;所述服务器Qos分析判断模块16用于分析、判断服务器Qos收发模块15发送来的QoS质量信息;所述服务器传出流模块13与服务器Qos分析判断模块16连接;所述服务器Qos收发模块15与所述服务器Qos分析判断模块16连接。
[0053]作为另一种可实施的技术方案，如图3所示，所述视频终端2还包括终端Qos信息模块20，其用于和所述服务器Qos收发模块15建立连接，并保证能够顺畅的发送视频流。
[0054]作为另一种可实施的技术方案，如图4所示，所述多个不同的视频终端2与媒体转发服务器I通过通信网络10进行连接。
[0055]作为另一种可实施的技术方案，如图5所示，所述媒体转发服务器I还包括服务器RTCP发送端口 17、服务器RTCP接收端口 18以及服务器RTCP处理模块19，所述服务器RTCP发送端口 17用于在媒体转发服务器I发送的数据流中加载RTCP数据，所述服务器RTCP接收端口 18用于从发送来的数据流中分离RTCP数据，所述服务器RTCP处理模块19用于分析、处理服务器RTCP接收端口 18接收到的RTCP数据;所述服务器RTCP处理模块19连接所述服务器RTCP发送端口 17和服务器RTCP接收端口 18。
[0056]所述视频终端2设有终端RTCP接收口 26和终端RTCP发送口 25，所述终端RTCP接收口 26用于从发送来的数据流中分离RTCP数据，所述终端RTCP发送口 25在发送的数据流中加载RTCP数据。
[0057]所述终端RTCP接收口 26连接所述服务器RTCP发送端口 25 ；所述终端RTCP发送口 25连接所述服务器RTCP接收端口 18，视频终端通过RTCP反馈来调整接收视频流的档次。
[0058]作为另一种可实施的技术方案，所述不同档次的视频流包括720P、VGA、QCIF等等，可根据实际情况进行实际选择上传哪个或哪几个档次的视频流。
[0059]—种根据基于QOS的多流的视频会议系统的控制方法，所述方法为:
[0060]参与视频会议的不同的视频终端2基于终端Qos信息模块20，通过终端视频发送模块28发送不同档次的视频流到媒体转发服务器I;媒体转发服务器I基于服务器Qos收发模块15和服务器Qos分析判断模块16，通过服务器视频流接收端11接收视频终端2所发送的所有档次的视频流，并存储在服务器视频流存储模块12，然后服务器传出流模块13根据不同视频终端2所需接收的其他视频终端的视频流将服务器视频流存储模块12中的视频流进行有序的排列，并根据服务器Qos收发模块15和服务器Qos分析判断模块16将每个视频终端2所能接收的档次的视频流传给服务器视频流发送端14;所述视频终端2通过终端视频接收模块29接收服务器视频流发送端发来的其它终端的视频流，实现通畅的视频会议。
[0061 ]作为另一个优选的实施例，如图5所示，所述视频终端2的终端RTCP接收口 26连接所述服务器RTCP发送端口 17;所述终端RTCP发送口 25连接所述服务器RTCP接收端口 18。所述服务器RTCP发送端口 17用于在媒体转发服务器I发送的数据流中加载RTCP数据，所述服务器RTCP接收端口 18用于从发送来的数据流中分离RTCP数据，所述服务器RTCP处理模块19用于分析、处理服务器RTCP接收端口 18接收到的RTCP数据;终端通过RTCP反馈来调整接收视频流的档次。
[0062]为了进一步理解上述实施方式，如图6所示，假设有三个视频终端，为了区别将其分别标记为21、22和23，三个视频终端均上传两个档次的视频流，如视频终端21上传的两个档次的视频流为21-1和21-2，视频终端22上传的两个档次的视频流为22-1和22-2，视频终端23上传的两个档次的视频流为23-1和23-2(末尾后的I和2代表不同的档次)，这些视频流均通过服务器视频流接收端11接收并传至服务器视频流存储模块12，然后服务器传出流模块13能够根据不同视频终端所需接收的其他视频终端的视频流，将服务器存储模块12中存储的视频流进行有序的排列，从而使得某个视频终端能够顺畅的接收到其他各个视频终端的视频，如视频终端21能准确无误的接收到视频终端22和23上传的视频流;服务器传出流模块13还可根据服务器Qos收发模块和服务器Qos分析判断模块将每个视频终端所能接收的档次的视频流传给服务器视频流发送端14，并发送给视频终端，如视频终端21只能接收档次为“I”的视频流，那么该终端便能准确无误的接收到其它视频终端传出的档次为“I”的视频流，即视频终端22传出的视频流22-1和视频终端23传出的视频流23-1;同样，视频终端22能够接收档次“2”的视频流，则其能够准确无误的接收视频终端21传出的视频流21-2和视频终端23传出的视频流23-2。
[0063]为了进一步理解上述实施方式，如图7所示视频发送的简易Qos模型，Qos方案就是要保证每个终端的视频流收发都是流畅的，首先要保证每个视频终端发送时的流畅度，即保证视频终端2 (发端)发送时的流畅度，2 ’表示收端。
[0064]考虑到一个视频流有多个不同的接收方，每个接收方的网络状况不一样，发端不可能兼顾到所有的收端，因此只保证发端和流媒体服务器的Q0S，通过流媒体服务器与发端的RTCP反馈，保证发送视频的质量。对于视频接收的Qos简易模型如图8所示。收端2通过端到端的RTCP反馈来获取视频的接收质量，调整自己的接收档次，从而保证接收视频的质量，2’表示发端。
[0065]由以上实施例可知，本发明实现了一种基于多流的非对称、分段Qos方案，能够在多流方案下提供清晰流畅的视频效果。
[0066]最后应说明的是:以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制;尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【主权项】
1.一种基于QoS的多流的视频会议系统，其特征在于:包括媒体转发服务器和若干视频终端;所述媒体转发服务器包括: 服务器视频流接收端，用于接收视频终端发送的不同档次的视频流； 服务器视频流存储模块，用于存储各个终端发送来的视频流； 服务器传出流模块，将存储的视频流进行有序的排列，使终端准确无误的接收其它终端的视频流； 服务器视频流发送端，用于向所述终端发送其所能接收的视频流； 服务器Qos收发模块，用于采集和接收各个终端发送的QoS质量信息以及发送QoS质量信息，并保证视频流媒体转发服务器的服务质量； 服务器Qos分析判断模块，与所述服务器Qos收发模块连接，用于分析、判断服务器Qos收发模块发送来的QoS质量信息； 所述视频终端包括: 若干终端视频流发送模块，用于发送不同档次的视频流； 终端视频流接收模块，用于接收其能够接收的档次的视频流； 终端Q0S信息模块，用于和所述服务器Q0S收发模块建立连接，并保证能够顺畅的发送视频流。2.根据权利要求1所述的基于QoS的多流的视频会议系统，其特征在于:所述服务器视频流接收端连接所述服务器视频流存储模块，该服务器视频流存储模块连接所述服务器传出流模块，该服务器传出流模块上连接有服务器视频流发送端。3.根据权利要求1所述的基于QoS的多流的视频会议系统，其特征在于:所述服务器传出流模块与服务器Qos分析判断模块连接。4.根据权利要求1所述的基于QoS的多流的视频会议系统，其特征在于:所述服务器Qos收发模块与终端Qos信息模块连接。5.根据权利要求1所述的基于QoS的多流的视频会议系统，其特征在于:所述视频终端与媒体转发服务器通过通信网络进行通讯连接。6.根据权利要求1所述的基于QoS的多流的视频会议系统，其特征在于:所述媒体转发服务器还包括服务器RTCP发送端口、服务器RTCP接收端口以及服务器RTCP处理模块，所述服务器RTCP发送端口用于在发送的数据流中加载RTCP数据，所述服务器RTCP接收端口用于从发送来的数据流中分离RTCP数据，所述服务器RTCP处理模块用于分析、处理服务器RTCP接收端口接收到的RTCP数据;所述服务器RTCP处理模块连接所述服务器RTCP发送端口和服务器RTCP接收端口。7.根据权利要求6所述的基于QoS的多流的视频会议系统，其特征在于:所述视频终端设有终端RTCP接收口和终端RTCP发送口，所述终端RTCP接收口用于从发送来的数据流中分离RTCP数据，所述终端RTCP发送口在发送的数据流中加载RTCP数据。8.根据权利要求7所述的基于QoS的多流的视频会议系统，其特征在于:所述终端RTCP接收口连接所述服务器RTCP发送端口 ；所述终端RTCP发送口连接所述服务器RTCP接收端口，终端通过RTCP反馈来调整接收视频流的档次。9.一种根据权利要求1?8所述的基于QOS的多流的视频会议系统的控制方法，其特征在于:所述方法包括: 参与视频会议的视频终端基于终端Qos信息模块，通过终端视频流发送模块发送不同档次的视频流到媒体转发服务器； 媒体转发服务器基于服务器Qos收发模块和服务器Qos分析判断模块，通过服务器视频流接收端接收视频终端所发送的所有档次的视频流，并存储在服务器视频流存储模块，然后服务器传出流模块根据不同视频终端所需接收的其他视频终端的视频流将服务器视频流存储模块中的视频流进行有序的排列，并根据服务器Qos收发模块和服务器Qos分析判断模块将每个视频终端所能接收的档次的视频流传给服务器视频流发送端； 所述视频终端通过终端视频流接收模块接收服务器视频流发送端发来的其它终端的视频流，实现通畅的视频会议。10.根据权利要求9所述的控制方法，其特征在于:所述视频终端的终端RTCP接收口连接所述服务器RTCP发送端口 ；所述终端RTCP发送口连接所述服务器RTCP接收端口，所述服务器RTCP发送端口用于在发送的数据流中加载RTCP数据，所述服务器RTCP接收端口用于从发送来的数据流中分离RTCP数据，所述服务器RTCP处理模块用于分析、处理服务器RTCP接收端口接收到的RTCP数据;终端通过RTCP反馈来调整接收视频流的档次。
【文档编号】H04L29/06GK105897698SQ201610182185
【公开日】2016年8月24日
【申请日】2016年3月28日
【发明人】潘晓克, 董寿先
【申请人】深圳明心科技有限公司