技术特征：
1.一种基于客户端的多路视频混屏方法，其特征在于，所述方法包括：混屏推流客户端基于混屏模块启动指令，创建主进程，并在所述主进程中创建流提取模块、合成线程以及编码线程；通过所述流提取模块在视频服务器中提取若干直播互动端的直播视频流；通过所述合成线程将所述若干直播视频流中同一时刻的若干直播图像帧，按照预设布局合成一张目标图像帧；基于合成的所述目标图像帧，得到目标图像序列；通过所述编码线程将所述目标图像序列编码为目标视频流，并发送到内容分发网络cdn。2.根据权利要求1所述的一种基于客户端的多路视频混屏方法，其特征在于，在通过所述流提取模块在视频服务器中提取若干直播互动端的直播视频流之后，所述方法还包括：为提取的每个所述直播视频流创建一个子进程，并在所述子进程中创建解码线程；通过socket通信方式将提取的所述直播视频流发送到所述解码线程；通过所述解码线程对每个所述直播视频流进行解码，得到若干直播图像帧序列。3.根据权利要求2所述的一种基于客户端的多路视频混屏方法，其特征在于，在通过所述解码线程对每个所述直播视频流进行解码，得到若干直播图像帧序列之后，所述方法还包括：在所述主进程与每个所述子进程之间均创建一块共享内存；其中，所述共享内存通过内存映射将主进程和每个子进程之间的内存进行共享；将所述解码线程中得到的所述若干直播图像帧序列实时存储于所述共享内存中。4.根据权利要求3所述的一种基于客户端的多路视频混屏方法，其特征在于，通过所述合成线程将所述若干直播视频流中同一时刻的若干直播图像帧，按照预设布局合成一张目标图像帧，具体包括：通过所述合成线程，在所述共享内存中获取每个直播视频流对应的直播图像帧序列，并将所述直播图像帧序列按照时间轴进行对齐；基于调用指令，调用对应的预设布局；将对应于同一时刻的所有直播图像帧，按照所述预设布局合成为一张目标图像帧；其中，所述预设布局用于指示每张所述直播图像帧在所述目标图像帧中的位置和尺寸。5.根据权利要求4所述的一种基于客户端的多路视频混屏方法，其特征在于，将对应于同一时刻的所有直播图像帧，按照所述预设布局合成为一张目标图像帧，具体包括：基于预设映射方法，将同一时刻的所有直播图像帧分别映射到所述预设布局中的对应区域，得到一张目标图像帧；其中，所述预设映射方法至少包括以下任意一项或多项：像素点抽样映射方法、插值映射方法。6.根据权利要求4所述的一种基于客户端的多路视频混屏方法，其特征在于，所述基于调用指令，调用对应的预设布局，具体包括：接收来自直播主导者的调用指令；其中，所述调用指令中包含对应的预设布局；根据所述调用指令调用所述对应的预设布局，并按照所述预设布局对所述直播图像帧进行合成；
在直播过程中，若接收到来自所述直播主导者的新的调用指令，则根据所述新的调用指令调用新的预设布局，以使当前时刻之后的所述目标图像帧以新的预设布局进行显示。7.根据权利要求1所述的一种基于客户端的多路视频混屏方法，其特征在于，通过所述编码线程将所述目标图像序列编码为目标视频流，具体包括：将所述合成线程中得到目标图像帧按照时间顺序进行排列，得到所述目标图像序列，并发送到所述编码线程中；通过所述编码线程，对所述目标图像序列进行编码，得到目标视频流；在得到目标视频流之后，所述方法还包括：将所述目标视频流封装为实时消息传输协议rtmp流。8.根据权利要求7所述的一种基于客户端的多路视频混屏方法，其特征在于，通过所述编码线程将所述目标图像序列编码为目标视频流，发送到内容分发网络cdn，具体包括：根据主cdn供应商所支持的运营商对应的网络速率，选择接入的运营商；将所述运营商接入所述主cdn供应商的边缘节点；将所述rtmp流通过所述边缘节点发送到主cdn的核心节点，以使所述主cdn核心节点将所述rtmp流分发到观看直播的若干直播观看端；在所述主cdn供应商所支持的运营商的网络速率均小于预设阈值的情况下，接入备cdn供应商。9.一种基于客户端的多路视频混屏系统，其特征在于，所述系统包括：视频服务器，用于接收并存储若干直播互动端的直播视频流；混屏推流客户端，用于基于混屏模块启动指令，创建主进程，并在所述主进程中创建流提取模块、合成线程以及编码线程；通过所述流提取模块在视频服务器中提取若干直播互动端的直播视频流；通过所述合成线程将所述若干直播视频流中同一时刻的若干直播图像帧，按照预设布局合成一张目标图像帧；基于合成的所述目标图像帧，得到目标图像序列；通过所述编码线程将所述目标图像序列编码为目标视频流，并发送到内容分发网络cdn；内容分发网络cdn，用于将所述目标视频流分发到若干直播观看端。10.一种基于客户端的多路视频混屏设备，其特征在于，所述设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1
‑
8任一项所述的一种基于客户端的多路视频混屏方法。
技术总结
本申请实施例公开了一种基于客户端的多路视频混屏方法、系统及设备，方法包括：基于混屏模块启动指令，创建主进程，并在主进程中创建流提取模块、合成线程以及编码线程；通过流提取模块在视频服务器中提取若干直播互动端的直播视频流；通过合成线程将若干直播视频流中同一时刻的若干直播图像帧，按照预设布局合成一张目标图像帧；基于合成的目标图像帧，得到目标图像序列；通过编码线程将目标图像序列编码为目标视频流，并发送到内容分发网络CDN。用以解决现有的视频混屏方法在服务器端进行导致灵活性低，在客户端进行不能更改视频混屏时的布局的技术问题。本申请属于一般的图像处理或产生领域。可以满足不同场景下的不同混屏布局需求。布局需求。布局需求。
技术研发人员：王卫东 王军 巩家雨
受保护的技术使用者：山东亚华电子股份有限公司
技术研发日：2021.09.09
技术公布日：2021/10/15