一种多人视频端会议数据处理系统及方法与流程

本发明涉及网络通信，具体涉及一种多人视频端会议数据处理系统及方法。

背景技术：

1、视频会议系统，是指两个或多个参与者通过传输线路及多媒体设备，将声音、影像、文件资料互相传送，实现即时沟通，以达到会议效果的系统设备。在视频会议系统中，数据的通信和管理是其核心组成部分。

2、现行的视频通信软件多为需要安装在设备上的基于c/s构架的独立应用程序，不同客户端的安装升级工作对于用户来讲十分繁琐麻烦，而直接基于web浏览器的即时通信视频系统大多需要安装插件，不能体现web应用的优点。

技术实现思路

1、本发明旨在针对现有技术的技术缺陷，提供一种多人视频端会议数据处理系统及方法，以解决目前，作为独立应用程序的视频通信软件，其安装升级工作对用户而言较为繁琐的技术问题。

2、本发明要解决的另一技术问题是，直接基于web浏览器的即时通信视频系统大多需要安装插件，不能体现web应用的优点。

3、为实现以上技术目的，本发明采用以下技术方案：

4、一种多人视频端会议数据处理系统，包括视频数据处理器、会议网关单元、数据监控单元、音频视频合流单元和应答对象创建单元；

5、视频数据处理器，对会议系统的数据进行处理，并针对数据进行删除或是保存的命令发布；

6、会议网关单元，对会议系统中不同协议进行网络互连；

7、数据监控单元，针对视频数据的传输，并对解码后的数据进行监控；

8、音频视频合流单元，将解码后相同码流的视频和音频进行合并，视频与音频统一化，通过文件计算公式来确定音视频传输过程中的大小，文件计算公式如下：

9、w＝(q1/8+q2/8)·m，其中q1为音频码率，q2为视频码率，m为视频长度；

10、通过丢包计算公式来判断网络的拥塞程度，且丢包计算公式如下：

11、

12、其中az(hx)是hx时刻的带宽估计值，通过指定时间接收延迟和发送间隔可以计算出延迟梯度，进而计算带宽估计值，通过带宽数值反馈来获取接收端的丢包率；

13、应答对象创建单元，接收音频视频合流单元中视频和音频的相关参数，并将其相关参数进行收集保存。

14、优选的，还包括连接对象创建单元、数据输送单元、视频解码单元、音频解码单元、signal服务器和数据储存单元；

15、连接对象创建单元，采集从会议网关单元中输入的不同码流下的视频与音频，对其数据进行集中压缩；

16、数据输送单元，将连接对象创建单元中采集到的数据进行接收，并将其数据进行向下传输；

17、视频解码单元，对压缩后的视频进行解码；

18、音频解码单元，对压缩后的音频进行解码；

19、signal服务器，在应答对象创建单元和连接对象创建单元之间进行音视频数据相通；

20、数据储存单元，对音视频数据信息进行保存。

21、优选的，所述视频数据处理器的输出端均与数据储存单元、会议网关单元、数据监控单元、音频视频合流单元、应答对象创建单元、连接对象创建单元、数据输送单元、视频解码单元和音频解码单元的输入端相连接，所述会议网关单元的输出端与连接对象创建单元的输入端相连接，所述连接对象创建单元的输出端与数据输送单元的输入端相连接，所述数据输送单元的输出端均与视频解码单元和音频解码单元的输入端相连接，所述视频解码单元、音频解码单元和应答对象创建单元的输出端均与signal服务器的输入端相连接，所述signal服务器的输出端均与数据监控单元和连接对象创建单元的输入端相连接，所述数据监控单元的输出端与音频视频合流单元的输入端相连接，所述音频视频合流单元的输出端与应答对象创建单元的输入端相连接。

22、一种多人视频端会议数据处理方法，包括以下步骤：

23、s1、客户a首先创建peerconnection对象；

24、s2、客户a调用peerconnection的createoffer方法创建一个用于offer的业务发布平台对象；

25、s3、客户b接收客户a发送的offer业务发布平台对象；

26、s4、客户a接收客户b发送的应答业务发布平台对象。

27、优选的，步骤s1包括：客户a首先创建出peerconnection对象，然后打开本地音频设备，将音视频数据封装成mediastream添加到peerconnection中。

28、优选的，步骤s2包括：客户a通过调用peerconnection的createoffer方法创建出一个用于offer的业务发布平台对象，且业务发布平台对象中保存有当前音视频的相关参数，客户a通过peerconnection的setlocaldescription方法将该业务发布平台对象保存起来，并通过signal服务器将业务发布平台对象发送给客户b。

29、优选的，步骤s2中业务发布平台信息在offer/answer流程中，客户a和客户b已经根据业务发布平台信息创建好相应的音频channel和视频channel并开启candidate数据的收集，candidate数据可理解为client端的ip地址信息，所述ip地址信息包括本地ip地址、公网ip地址和relay服务端分配的地址。

30、优选的，客户a收集到candidate信息后，peerconnection会通过onicecandidate接口给客户a发送通知，客户a将收到的candidate信息通过signal服务器发送给客户b，客户b通过peerconnection的addicecandidate方法进行保存，其上操作适用于客户b到客户a的信息传输，与此同时客户a和客户b建立出音视频传输的p2p通道，客户b接收到客户a传送过来的音视频流，会通过peerconnection的onaddstream回调接口返回一个标识客户a端音视频流的mediastream对象，之后通过客户b端进行渲染，其上操作也适应客户b到客户a的音视频流传输。

31、优选的，步骤s3包括：客户b接收到客户a发送的offer业务发布平台对象，通过peerconnection的setremotedescription方法将其保存起来，并调用peerconnection的createanswer方法创建一个应答的业务发布平台对象，通过peerconnection的setlocaldescription的方法保存该应答业务发布平台对象并将它通过signal服务器发送给客户a。

32、优选的，步骤s4包括：客户a接收到客户b发送过来的应答业务发布平台对象，并将其通过peerconnection的setremotedescription方法保存起来。

33、本发明提供了一种多人视频端会议数据处理系统及方法，与现有技术相比具备以下有益效果：

34、1、该多人视频端会议数据处理系统及方法，通过使用webrtc协议直接通过浏览器的web页面实现音视频对聊功能，由于webrtc项目是开源的，我们可以借助webrtc源码快速构建自己的音视频对聊功能，体现强大的打洞能力。

35、2、该多人视频端会议数据处理系统及方法，通过本方法可以在不安装插件的情况下实现网页端的即时通信和多人视频会议功能，有效减少人们在安装升级软件或插件时花费的精力，其良好的跨平台性以及兼容性也为人们的工作交流提供便利。