直播连麦合流方法、设备和存储介质与流程

本发明涉及流媒体，尤其涉及一种直播连麦合流方法、设备和存储介质。

背景技术：

1、随着互联网技术的发展，网络直播得到了不断的发展和广泛的普及,在主播进行直播的过程中，经常会和其他主播进行互动，互动时通常会把多个主播的直播画面合并成一个直播画面，使得观众可以在一个屏幕中同时看到所有主播的直播画面。

2、以6个主播连麦为例，直播间需要展示6个主播的画面，每个主播的直播间里都需要展示6人的直播画面，但自己都需要出现在最显著的位置。传统的直播连麦合流方案中，通过将6个主播的直播流发送至合流服务器，合流服务器对6个直播流进行合流处理，合流成6路布局不同的直播流，并将6个不同布局的直播流分别输出至对应的客户端，这样需要进行6次合流编码处理，不仅会提高处理成本，还会浪费服务器系统视频解码资源和内存资源。

技术实现思路

1、本发明实施例提供一种直播连麦合流方法、设备和存储介质，能够实现高效地处理直播连麦合流，降低资源浪费，节省合流成本。

2、第一方面，本发明实施例提供一种直播连麦合流方法，应用于服务端，所述方法包括：

3、若检测出目标直播间当前的直播模式为多人视频连麦模式，则获取所述目标直播间中正在连麦的多个主播各自对应的第一多媒体数据流以及所述多个主播各自对应的标识信息；

4、确定所述多个主播在直播画面中的布局信息；

5、基于所述布局信息，对所述第一多媒体数据流进行合流处理，获得初始第二多媒体数据流，并将所述布局信息和所述多个主播的标识信息插入到所述初始第二多媒体数据流的补充增强信息中，获得目标第二多媒体数据流；

6、对所述目标第二多媒体数据流进行编码处理，生成第三多媒体数据流；

7、将所述第三多媒体数据流发送至所述多个主播对应的多个客户端，以使得所述多个主播对应的客户端分别对所述第三多媒体数据流进行解码处理，获得所述布局信息和所述目标第二多媒体数据流，并基于所述布局信息对所述目标第二多媒体数据流的画面显示布局进行调整，以获得各自所在直播间对应的直播画面。

8、第二方面，本发明实施例提供一种直播连麦合流装置，所述装置位于服务端，包括：

9、检测模块，用于若检测出目标直播间当前的直播模式为多人视频连麦模式，则获取所述目标直播间中正在连麦的多个主播各自对应的第一多媒体数据流以及所述多个主播各自对应的标识信息；

10、确定模块，用于确定所述多个主播在直播画面中的布局信息；

11、合流模块，用于基于所述布局信息，对所述第一多媒体数据流进行合流处理，获得初始第二多媒体数据流，并将所述布局信息和所述多个主播的标识信息插入到所述初始第二多媒体数据流的补充增强信息中，获得目标第二多媒体数据流；

12、生成模块，用于对所述目标第二多媒体数据流进行编码处理，生成第三多媒体数据流；

13、发送模块，用于将所述第三多媒体数据流发送至所述多个主播对应的多个客户端，以使得所述多个主播对应的客户端分别对所述第三多媒体数据流进行解码处理，获得所述布局信息和所述目标第二多媒体数据流，并基于所述布局信息对所述目标第二多媒体数据流的画面显示布局进行调整，以获得各自所在直播间对应的直播画面。

14、第三方面，本本发明实施例提供一种电子设备，包括处理器、存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如第一方面所述的直播连麦合流方法。

15、第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被传输设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的直播连麦合流方法。

16、第五方面，本发明实施例提供一种直播连麦合流方法，应用于客户端，所述方法包括：

17、接收服务端发送的第一多媒体数据流，所述第一多媒体数据流是按如上述第一方面所述的直播合流方法，对目标直播间内的正在连麦的多个主播各自对应的第二多媒体数据流进行处理后得到的；

18、对所述第一多媒体数据流进行解码处理，获得所述多个主播在直播画面中的布局信息和第二多媒体数据流；

19、基于所述布局信息，对所述第二多媒体数据流的画面显示布局进行调整，以获得所述客户端所在直接间对应的目标直播画面。

20、第六方面，本发明实施例提供一种直播连麦合流装置，所述装置位于客户端，包括：

21、接收模块，用于接收服务端发送的第一多媒体数据流，所述第一多媒体数据流是按如第一方面所述的直播合流方法，对目标直播间内的正在连麦的多个主播各自对应的第二多媒体数据流进行处理后得到的；

22、解码模块，用于对所述第一多媒体数据流进行解码处理，获得所述多个主播在直播画面中的布局信息和第二多媒体数据流；

23、调整模块，用于基于所述布局信息，对所述第二多媒体数据流的画面显示布局进行调整，以获得所述客户端所在直接间对应的目标直播画面。

24、第七方面，本本发明实施例提供一种电子设备，包括处理器、存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如第五方面所述的直播连麦合流方法。

25、第八方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被传输设备的处理器执行时，使所述处理器至少可以实现如第五方面所述的直播连麦合流方法。

26、本发明实施例提供的直播合流连麦方案中，服务端可以为处于同一连麦房间内的正在连麦的多个主播对应的直播流进行合流处理，使得多个主播处于同一直播画面内，并且可以使得不同主播所对应的观众客户端可以对直播画面进行位置调整，以获得目标直播画面。具体的，对于服务端来说：首先检测各个直播间的直播模式，若检测出目标直播间当前的直播模式为多人视频连麦模式，则获取该目标直播间内正在连麦的多个主播各自对应的第一媒体数据流以及各个主播对应的标识信息。接着，确定多个主播在直播画面中的布局信息，并基于布局信息，对该直播连麦内的多个主播所对应的第一多媒体数据流进行合流处理，获得合流后的初始第二多媒体数据流，并将布局信息和多个主播的标识信息插入到初始第二多媒体数据流的补充增强信息中，获得目标第二多媒体数据。而后，对目标第二多媒体数据流进行编码处理，生成第三多媒体数据流，并将第三多媒体数据流发送至多个主播对应的多个客户端，以使得多个主播对应的客户端可以分别对第三多媒体数据流进行解码处理，获得布局信息和目标第二多媒体数据流，并基于布局信息对目标第二多媒体数据流的画面显示布局进行调整，以获得各自所在直播间对应的直播画面。

27、在上述方案中，通过将各个主播在直播画面中的布局信息插入到合流处理后的初始第二多媒体数据流的补充增强信息中，获得目标第二多媒体数据流，并目标第二多媒体数据流进行编码处理，生成第三多媒体数据流。那么当各个客户端对获取到的第三多媒体数据流进行解码处理后，就可以获得目标第二多媒体数据流和补充增强信息中的布局信息，基于布局信息，对所在主播直播间的直播画面进行调整，实现了服务端只需进行一次合流编码处理，就可以使得各个主播多对应的客户端可以基于布局信息实现对直播画面的调整，不仅提高了直播连麦合流处理效率，还可以有效降低资源浪费，节省合流成本。