浸入式会议中视频、音频布局方法与装置的制造方法
【技术领域】
[0001]本发明实施例涉及通信技术领域，尤其涉及一种浸入式会议中视频、音频布局方法与装置。
【背景技术】
[0002]随着通信科技的发展，视频会议系统越来越多的应用在人们的工作和生活中，而会议的体验也越来越多的被人们所重视。业界出现了很多可以用来增强会议体验的技术方案，如立体声、3D视频、增强现实(AR)等，与此同时，关于浸入式会议体验(Immersiveconference experience)的研究也越来越多。在用户参加视频会议的过程中，会议系统控制其它与会者的视频流播放的策略和布局方式是影响用户参加视频会议体验的重要因素之一 O
[0003]现有技术中的一种方案是:当本地与会者加入到一个正在召开的视频会议中以后，会议系统会默认接收所有其它与会者的视频流并在对应的视频窗口中播放，即用户可以看到所有其它与会者的视频图像。该方案的缺点是:当与会者人数较多时(>=9)，在一个固定尺寸的显示器上看这么多的与会者，会使本地与会者在会议中不能很简单的找到重点，而且同时面对多个时刻在变化的视频图像时容易造成本地与会者疲惫不堪的感觉，降低了与会者的会议体验。而且当收到的视频流增多时，为了保持视频图像播放的质量，对网络传输带宽也会有很高的要求。
[0004]现有技术中的另一种方案是:本地与会者在加入视频会议以后，只能接收到特定与会者例如会议主席、会议主讲人或者会议召集人的视频流并在对应的视频窗口中播放，即用户只会看到固定的几个人的视频图像。该方案的缺点是:随着会议的进行，会议的关键视频流可能会发生变化，例如当会议中出现非固定人讲话时，与会者不能够及时的看到当前主讲人的视频，这样与会者就不能很好的跟踪会议的最新进展，降低了与会者的会议体验。
【发明内容】
[0005]本发明实施例提供一种浸入式会议中视频、音频布局方法与装置，可实现随着会议的进行将关键的视频流数据呈现给与会者，提高用户的会议体验。
[0006]第一方面，本发明实施例提供一种浸入式会议中视频布局方法，包括:
[0007]会议开始后，获取当前主说话人的媒体流数据，所述媒体流数据包括视频流数据和音频流数据；
[0008]将所述当前主说话人的视频流数据放置在主视频窗口进行播放。
[0009]在第一方面的第一种可能的实施方式中，所述获取当前主说话人的媒体流数据包括:
[0010]接收媒体控制单元MCU发送的其他与会者的视频流数据和音频流数据；
[0011]接收所述MCU发送的所述MCU根据接收到的所有与会者的音频流数据检测出的当前主说话人的视频流标识，所述视频流标识用于标识视频流数据所属的说话人；
[0012]根据所述当前主说话人的视频流标识，得到所述当前主说话人的视频流数据。
[0013]结合第一方面的第一种可能的实施方式中,在第一方面的第二种可能的实施方式中，所述MCU在检测出新的当前主说话人时，所述方法还包括:
[0014]接收所述MCU发送的所述新的当前主说话人的视频流标识；
[0015]所述将所述当前主说话人的视频流数据放置在主视频窗口进行播放，包括:
[0016]将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
[0017]结合第一方面的第二种可能的实施方式，在第一方面的第三种可能的实施方式中，所述方法还包括:
[0018]接收所述MCU发送的历史主说话人的视频流标识，将变化前的历史主说话人的视频流数据放置在历史主视频窗口进行播放。
[0019]结合第一方面的第三种可能的实施方式，在第一方面的第四种可能的实施方式中，所述历史主视频窗口为N个，N小于等于4，当所述MCU检测出新的当前主说话人，且所述N个历史主视频窗口被占满时，所述方法还包括:
[0020]按照时间的顺序删除最早的历史主说话人的视频流数据，将其他历史主说话人的视频流数据依次放置在历史主视频窗口进行播放。
[0021]结合第一方面，在第一方面的第五种可能的实施方式中，所述获取当前主说话人的媒体流数据包括:
[0022]接收所有与会者的音频流数据；
[0023]根据接收到的所有与会者的音频流数据检测出当前主说话人；
[0024]向所述MCU发送第一请求信息，所述第一请求信息包含所述当前主说话人的视频流标识，所述视频流标识用于标识视频流数据所属的说话人，以使所述MCU根据所述当前主说话人的视频流标识将所述当前主说话人的视频流数据返回；
[0025]接收所述MCU返回的所述当前主说话人的视频流数据。
[0026]结合第一方面的第五种可能的实施方式，在第一方面的第六种可能的实施方式中，所述根据接收到的所有与会者的音频流数据检测出当前主说话人之前，还包括:
[0027]发送当前说话人的视频流标识给所述MCU，以使所述MCU广播视频流信息，所述视频流信息包括所述MCU接收到的所有与会者发送的视频流标识。
[0028]结合第一方面的第五种可能的实施方式或第一方面的第六种可能的实施方式，在第一方面的第七种可能的实施方式中，检测出新的当前主说话人时，所述方法还包括:
[0029]向所述MCU发送第二请求信息，所述第二请求信息包含所述新的当前主说话人的视频流标识，以使所述MCU根据所述新的当前主说话人的视频流标识将所述新的当前主说话人的视频流数据返回；
[0030]所述接收所述MCU返回的所述当前主说话人的视频流数据，包括:
[0031]接收所述MCU返回的所述新的当前主说话人的视频流数据；
[0032]所述将所述当前主说话人的视频流数据放置在主视频窗口进行播放，包括:
[0033]将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
[0034]结合第一方面的第七种可能的实施方式，在第一方面的第八种可能的实施方式中，所述第二请求信息还包含历史主说话人的视频流标识，以使所述MCU根据所述历史主说话人的视频流标识将所述历史主说话人的视频流数据返回，所述方法还包括:
[0035]接收所述MCU返回的历史主说话人的视频流数据；
[0036]将所述历史主说话人的视频流数据放置在历史主视频窗口进行播放。
[0037]结合第一方面的第八种可能的实施方式，在第一方面的第九种可能的实施方式中，所述历史主视频窗口为N个，N小于等于4，当检测出新的当前主说话人，且所述N个历史主视频窗口被占满时，所述方法还包括:
[0038]向所述MCU发送切换消息，所述切换消息包含所述新的当前主说话人的视频流标识和按照时间的顺序最早的历史主说话人的视频流标识，以使所述MCU根据所述切换消息停止发送所述最早的历史主说话人的视频流数据，发送所述新的当前主说话人的视频流数据。
[0039]结合第一方面的第九种可能的实施方式，在第一方面的第十种可能的实施方式中，所述向所述MCU发送切换消息之后，还包括:
[0040]删除所述最早的历史主说话人的视频流数据，将其他历史主说话人的视频流数据依次放置在历史主视频窗口进行播放。
[0041]第二方面，本发明实施例提供一种浸入式会议中视频布局方法，包括:
[0042]会议开始后，将接收到的与会者的媒体流数据转发给所有与会者，所述媒体流数据包括视频流数据和音频流数据；
[0043]根据所述音频流数据检测出当前主说话人；
[0044]将所述当前主说话人的视频流标识发送给所有与会者，所述视频流标识用于标识视频流数据所属的说话人，以使所有与会者根据所述当前主说话人的视频流标识将所述当前主说话人的视频流数据放置在主视频窗口进行播放。
[0045]在第二方面的第一种可能的实施方式中，检测出新的当前主说话人时，所述方法还包括:
[0046]将所述新的当前主说话人的视频流标识发送给所有与会者，以使所有与会者将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
[0047]结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述方法还包括:
[0048]将变化前的历史主说话人的视频流标识发送给所有与会者，以使所有与会者将所述历史主说话人的视频流数据放置在历史主视频窗口进行播放。
[0049]结合第二方面的第二种可能的实施方式，在第二方面的第三种可能的实施方式中，所述历史主视频窗口为N个，N小于等于4，当检测出新的当前主说话人，且所述N个历史主视频窗口被占满时，所述方法还包括:
[0050]停止发送第一位历史主说话人的视频流标识，发送所述新的当前主说话人的视频流标识给所有与会者，以使所有与会者将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
[0051]结合第二方面至第二方面的第三种可能的实施方式中任一项所述的方法，在第二方面的第四种可能的实施方式中，若一与会者由当前主说话人变为非主说话人时，所述方法还包括:
[0052]降低发送所述与会者的视频流数据所用的编码速率；
[0053]若一与会者由非主说话人变为主说话人时，所述方法还包括:
[0054]提高发送所述与会者的视频流数据所用的编码速率。
[0055]第三方面，本实施例提供一种浸入式会议中视频布局方法，包括:
[0056]接收所有与会者的视频流数据和音频流数据；
[0057]接收所有与会者发送的视频流标识，并广播视频流信息，所述视频流信息包括所有与会者发送的视频流标识，所述视频流标识用于标识视频流数据所属的说话人；
[0058]接收第一与会者发送的第一请求信息，所述第一请求信息是所述第一与会者根据接收到的所有与会者的音频流数据检测出当前主说话人之后发送的，所述第一请求信息包含所述当前主说话人的视频流标识；
[0059]根据所述当前主说话人的视频流标识将所述当前主说话人的视频流数据返回给所述第一与会者，以使所述第一与会者将接收到的所述当前主说话人的视频流数据放置在主视频窗口进行播放。
[0060]在第三方面的第一种可能的实施方式中，所述第一与会者检测出新的当前主说话人时，所述方法还包括:
[0061]接收所述第一与会者发送的第二请求信息，所述第二请求信息是所述第一与会者检测出新的当前主说话人后发送的，所述第二请求信息包含所述新的当前主说话人的视频流标识；
[0062]根据所述新的当前主说话人的视频流标识将所述新的当前主说话人的视频流数据返回给所述第一与会者，以使所述第一与会者将接收到的所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
[0063]结合第三方面的第一种可能的实施方式，在第三方面的第二种可能的实施方式中，所述第二请求信息还包含历史主说话人的视频流标识，所述方法还包括:
[0064]根据所述历史主说话人的视频流标识将所述历史主说话人的视频流数据返回给所述第一与会者，以使所述第一与会者将接收到的历史主说话人的视频流数据放置在历史主视频窗口进行播放。
[0065]结合第三方面的第二种可能的实施方式，在第三方面的第三种可能的实施方式中，所述历史主视频窗口为N个，N小于等于4，当所述第一与会者检测出新的当前主说话人，且所述N个历史主视频窗口被占满时，所述方法还包括:
[0066]接收所述第一与会者发送的切换消息，所述切换消息是所述第一与会者在所述N个历史主视频窗口被占满，且所述第一与会者检测出新的当前主说话人时发送的，所述切换消息包含所述新的当前主说话人的视频流标识和按照时间的顺序最早的历史主说话人的视频流标识；
[0067]根据所述切换消息停止发送所述最早的历史主说话人的视频流数据，发送所述新的当前主说话人的视频流数据，以使所述客户端将接收到的所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
[0068]结合第三方面至第三方面的第三种可能的实施方式中任一项所述的方法，在第三方面的第四种可能的实施方式中，若一与会者由当前主说话人变为非主说话人时，所述方法还包括:
[0069]降低发送所述与会者的视频流数据所用的编码速率；
[0070]若一与会者由非主说话人变为主说话人时，所述方法还包括:
[0071]提高发送所述与会者的视频流数据所用的编码速率。
[0072]第四方面，本实施例提供一种浸入式会议中音频布局方法，包括:
[0073]会议开始后，将所有与会者的声音位置分别设置在初始位置；
[0074]当第一与会者的视频流数据在主视频窗口或历史主视频窗口进行播放时，重新设置所述第一与会者的声音位置。
[0075]在第四方面的第一种可能的实施方式中，还包括:
[0076]当所述第一与会者的视频流数据从主视频窗口或历史主视频窗口删除时，设置所述第一与会者的声音位置为所述初始位置。
[0077]第五方面，本实施例提供一种浸入式会议中视频布局装置，包括:
[0078]获取模块，用于在会议开始后，获取当前主说话人的媒体流数据，所述媒体流数据包括视频流数据和音频流数据；
[0079]处理模块，用于将所述当前主说话人的视频流数据放置在主视频窗口进行播放。
[0080]在第五方面的第一种可能的实施方式中，所述获取模块包括:
[0081]接收单元，用于接收媒体控制单元MCU发送的其他与会者的视频流数据和音频流数据；
[0082]所述接收单元还用于接收所述MCU发送的所述MCU根据接收到的所有与会者的音频流数据检测出的当前主说话人的视频流标识，所述视频流标识用于标识视频流数据所属的说话人；
[0083]获取单元，用于根据所述当前主说话人的视频流标识，得到所述当前主说话人的视