一种一对多同屏方法、装置和系统、同屏设备及存储介质与流程

本发明涉及多媒体技术领域，尤其涉及一种一对多同屏方法、装置和系统、同屏设备及存储介质。

背景技术：

现有技术中，通过将电脑和手机连接在同一个wifi下，能够实现手机和电脑的同屏。目前，这种将一个终端的屏幕内容经由wifi传输到另一个终端的无线同屏技术主要有三种：dlna、airplay、miracast。其中，dlna是基于upnp进行组网，可以无线播放现有的多媒体资源或文件，不支持屏幕投射。miracast，即wifidisplay，是以wifidirect为基础的无线显示标准，可实现无线投屏，但建立连接过程比较缓慢，不易操作，体验不佳。airplay，支持文件播放和投屏，但更多的只适用于认证过的苹果设备和一些苹果授权的合作伙伴的设备。

以上技术方案，主要应用在一对一的投屏场景,不能适应教学领域中几十甚至上百个终端的同屏。

技术实现要素：

本发明的目的在于提供一种一对多同屏方法、装置、设备及系统，以解决上述背景技术中提出的问题。

根据本发明的一个方面，提供一种一对多同屏方法，包括：

获取第一终端发送的投屏内容，所述投屏内容为对所述第一终端的屏幕进行录制编码产生的音视频数据流；

将所述投屏内容解码后在投屏窗口进行展示；

对自身屏幕进行录制编码生成分屏内容；

将所述分屏内容分别发送至多个第二终端。

在本发明的一个实施例中，所述投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。

在本发明的一个实施例中，根据第二终端的数量及当前所处网络的性能来确定第二编码质量。

在本发明的一个实施例中，所述第一编码质量和所述第二编码质量包括：比特率、分辨率和帧速率。

在本发明的一个实施例中，所述获取第一终端发送的投屏内容前包括：

监听投屏服务端口，与第一终端建立投屏会话连接；

将所述分屏内容分别发送至多个第二终端前包括：

监听分屏服务端口，分别与各第二终端建立分屏会话连接。

在本发明的一个实施例中，所述获取第一终端发送的投屏内容，将所述投屏内容解码后在投屏窗口进行展示具体为：

接收第一终端发送的第一开始传输指令，对解码器及投屏窗口进行初始化；

接收第一终端发送的投屏内容数据，将所述投屏内容数据进行解码后在投屏窗口进行展示；

接收第一终端发送的第一结束传输指令，释放解码器及关闭投屏窗口。

在本发明的一个实施例中，所述方法还包括：

接收第一终端发送的感兴趣区域显示指令，所述感兴趣区域显示指令包括感兴趣区域的大小和位置；

将所述投屏内容数据进行解码后的图像根据感兴趣区域的大小和位置进行截取，并对截取后的图像进行变换在投屏窗口进行展示。

在本发明的一个实施例中，将所述分屏内容分别发送至多个第二终端前包括：

为每个分屏会话连接设置一写缓冲器，所述写缓冲器设置有高水位阈值和低水位阈值；

当写缓冲器达到高水位阈值时，停止将分屏内容数据写入；

当写缓冲器降到低水位阈值时，恢复分屏内容数据的写入。

根据本发明的一个方面，提供一种一对多同屏装置，包括：

投屏内容获取模块，用于获取第一终端发送的投屏内容，所述投屏内容为对所述第一终端的屏幕进行录制编码产生的音视频数据流；

投屏输出模块，将所述投屏内容解码后在投屏窗口进行展示；

分屏内容生成模块，对自身屏幕进行录制编码生成分屏内容；

分屏内容发送模块，将所述分屏内容分别发送至多个第二终端。

在本发明的一个实施例中，所述投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。

在本发明的一个实施例中，所述同屏装置用于执行实现上述任一项所述的同屏方法的操作。

根据本发明的一个方面，提供一种一对多同屏装置，包括存储器和处理器，其中：

存储器，用于存储指令；

处理器，用于执行所述指令，使得所述同屏装置执行实现上述任一项所述的同屏方法的操作。

根据本发明的一个方面，提供一种同屏设备，包括上述任一项所述的同屏装置。

根据本发明的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

根据本发明的一个方面，提供一种一对多同屏系统，包括第一终端、上述所述的同屏设备、多个第二终端，其中，

第一终端，用于对自身的屏幕进行录制编码生成投屏内容，将投屏内容发送至同屏设备；

同屏设备，用于获取第一终端发送的投屏内容，将所述投屏内容解码后在投屏窗口进行展示，对自身屏幕进行录制编码生成分屏内容，将所述分屏内容分别发送至多个第二终端；

第二终端，用于接收同屏设备发送的分屏内容，将所述分屏内容解码后进行显示。

在本发明的一个实施例中，所述同屏系统还包括ap，第一终端和多个第二终端通过wifi连接至所述ap，同屏设备通过网线或wifi连接至所述ap。

在本发明的一个实施例中，所述同屏系统还包括与所述同屏设备对接的显示装置，所述同屏设备还用于将投屏窗口及自身桌面通过所述显示装置进行展示。

在本发明的一个实施例中，所述投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。

在本发明的一个实施例中，所述同屏设备还用于根据自身的ip地址生成二维码进行展示；所述第一终端还用于扫描所述二维码与所述同屏设备建立投屏会话连接，将所述同屏设备的ip地址发送至多个第二终端；第二终端根据所述同屏设备的ip地址与所述同屏设备建立分屏会话连接。

实施本发明实施例，将具有如下有益效果：

本发明实施例通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。此外，在同屏设备端进行重新录制编码既可以将第一终端的投屏内容同屏至各第二终端，也可以将同屏设备自身桌面同屏至各第二终端，增强了同屏的灵活性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为本发明一个实施例中一种一对多同屏方法的流程图；

图2为本发明另一个实施例中一种一对多同屏方法的流程图，

图3为本发明一个实施例中一种一对多同屏装置的结构图；

图4为本发明另一个实施例中一种一对多同屏装置的结构图；

图5为本发明一个实施例中一种一对多同屏系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明一个实施例中一种一对多同屏方法的流程图。优选的，本实施例可由同屏装置执行。该方法包括以下步骤：

步骤s102，获取第一终端发送的投屏内容，所述投屏内容为对第一终端的屏幕进行录制编码产生的音视频数据流。

在本发明的一个实施例中，第一终端、多个第二终端、同屏装置均与同一ap(accesspoint，无线接入节点)建立网络连接，其中，第一终端、多个第二终端与该ap通过wifi建立无线网络连接，同屏装置与该ap既可通过wifi建立无线网络连接，又可通过网线建立有线网络连接。为了保障传输的质量，优选的，同屏装置与该ap通过网线建立有线网络连接。

同屏装置启动后，获取自身的ip地址生成二维码进行展示。第一终端扫描该二维码可与同屏装置建立通讯连接。在本发明的一个实施例中，第一终端内存储有同屏装置的ip地址，用户通过点击或触摸相应按键即可与同屏装置建立通讯连接。第一终端对自身屏幕进行录制，录制内容包括音频和视频，音视频编码方式可采用h.264和aac。当画面动态率较高时，帧速率最高可达40帧以上，对带宽造成很大压力，不能满足实时传输播放的要求。为了实现有效的帧速率控制，可通过设置二级转存储及在硬件性能允许范围内调整帧速率，达到在同等带宽条件下，提高画质和流畅度的目的。

在本发明的一个实施例中，投屏内容采用第一编码质量进行编码，该第一编码质量可预先设定，也可由程序根据第一终端的性能和当前所处网络状态来动态确定。第一编码质量包括比特率、分辨率和帧速率。

步骤s104，将投屏内容解码后在投屏窗口进行展示。

该投屏窗口为软件设置的虚拟窗口，类似视频播放器的播放窗口。将同屏装置连接上显示装置后，投屏内容通过投屏窗口输出到显示装置。

步骤s106，对自身屏幕进行录制编码生成分屏内容。

在本发明的一个实施例中，同屏装置对自身屏幕进行录制编码生成分屏内容，所述分屏内容采用第二编码质量进行编码。由于分屏内容需要同步到几十上百个第二终端，为了保障低延迟同屏，第二编码质量低于第一编码质量，可根据第二终端的数量及当前所处网络的性能来动态设置。同上，第二编码质量也包括比特率、分辨率和帧速率。此步骤中，同屏装置通过对自身屏幕内容重新录制编码，既可以将第一终端的投屏内容同屏至各第二终端，也可以将同屏装置自身桌面同屏至各第二终端，增强了同屏的灵活性。

步骤s108，将分屏内容分别发送至多个第二终端。

在本发明的一个实施例中，第一终端将同屏装置的ip地址发送至各第二终端，以使第二终端与同屏装置建立通讯连接；或者，第二终端通过扫描同屏装置的ip地址二维码与同屏装置建立通讯连接。

如图2所示，为本发明另一个实施例中一种一对多同屏方法的流程图。优选的，本实施例可由同屏装置执行。该方法包括以下步骤：

步骤s202，监听投屏服务端口，与第一终端建立投屏会话连接；监听分屏服务端口，分别与各第二终端建立分屏会话连接。

在本发明的一个实施例中，同屏装置启动后，固定监听两个服务端口(投屏服务端口和分屏服务端口)，等待第一终端和第二终端与之建立通讯连接。

在本发明的一个实施例中，同屏装置还用于根据自身ip地址生成二维码通过显示装置进行展示。第一终端根据同屏装置的ip地址向同屏装置发起投屏会话连接请求，同屏装置获取第一终端的信息，对其进行设备注册后，接受第一终端的投屏会话连接请求。

在本发明的一个实施例中，各第二终端根据同屏装置的ip地址分别向同屏装置发起分屏会话连接请求，同屏装置获取第二终端的信息，对其进行设备注册后，接受第二终端的分屏会话连接请求。

步骤s204，接收第一终端发送的第一开始传输指令，对解码器及投屏窗口进行初始化。

在本发明的一个实施例中，第一开始传输指令中包含第一编码质量信息，如比特率、分辨率和帧速率。同屏装置根据第一开始传输指令对解码器和投屏窗口进行初始化。

步骤s206，接收第一终端发送的投屏内容数据，将所述投屏内容数据进行解码后在投屏窗口进行展示。

在本发明的一个实施例中，投屏内容数据包括关键帧标识、时间戳、数据内容和数据长度。

在录制第一终端的屏幕内容时，会将系统工具栏也录制进去，为了扩大信息的显示区域，可以通过设置roi(regionofinterest，感兴趣区域)区域来去掉不需要的系统工具栏区域。此外，用户也可以根据自身需求在第一终端设置roi区域的大小和位置，以使同屏装置仅显示roi区域。

在本发明的一个实施例中，同屏装置还用于接收第一终端发送的感兴趣区域显示指令，所述感兴趣区域显示指令包括感兴趣区域的大小和位置；将所述投屏内容数据进行解码后的图像根据感兴趣区域的大小和位置进行截取，并对截取后的图像进行变换在投屏窗口进行展示。

步骤s202～步骤s206实现了将第一终端屏幕内容到同屏装置的投屏流程。进一步地，需要将投屏内容同屏到与同屏装置建立通讯连接的各第二终端。

步骤s208，对自身屏幕进行录制编码生成分屏内容。

该步骤与图1实施例相同，在此不再赘述。

步骤s210，发送第二开始传输指令至第二终端。

在传输分频内容数据之前，同屏装置将包含比特率、分辨率和帧速率的第二开始传输指令发送至第二终端。

步骤s212，发送分屏内容数据至第二终端。

在本发明的一个实施例中，分屏内容数据包括关键帧标识、时间戳、数据内容和数据长度。

在本发明的一个实施例中，在步骤s212之前还包括：

为每个分屏会话连接设置一写缓冲器，所述写缓冲器设置有高水位阈值和低水位阈值；

当写缓冲器达到高水位阈值时，停止将分屏内容数据写入；

当写缓冲器降到低水位阈值时，恢复分屏内容数据的写入。

步骤s214，接收第一终端发送的第一结束传输指令，释放解码器及关闭投屏窗口。

步骤s216，接收第二终端发送的断开连接请求，停止将分屏内容数据发送至该第二终端，并注销第二终端的设备信息。

需要说明的是步骤s214和步骤s216分别是由第一终端和第二终端发起的，并不限定在最后执行。

在本发明的一个实施例中，同屏装置还用于接收第一终端发送的断开连接请求，注销第一终端的设备信息。

上述实施例提供的一对多同屏方法，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。

如图3所示为本发明一个实施例中一种一对多同屏装置的结构图，包括投屏内容获取模块31、投屏输出模块32、分屏内容生成模块33和分屏内容发送模块34，其中：

投屏内容获取模块31，用于获取第一终端发送的投屏内容，所述投屏内容为对所述第一终端的屏幕进行录制编码产生的音视频数据流。

在本发明的一个实施例中，第一终端、多个第二终端、同屏装置均与同一ap建立网络连接，其中，第一终端、多个第二终端与该ap通过wifi建立无线网络连接，同屏装置与该ap既可通过wifi建立无线网络连接，又可通过网线建立有线网络连接。为了保障传输的质量，优选的，同屏装置与该ap通过网线建立有线网络连接。

同屏装置启动后，获取自身的ip地址生成二维码进行展示。第一终端扫描该二维码可与同屏装置建立通讯连接。第一终端对自身屏幕进行录制，录制内容包括音频和视频，音视频编码方式可采用h.264和aac。

在本发明的一个实施例中，投屏内容采用第一编码质量进行编码，该第一编码质量可预先设定，也可由根据第一终端的性能和当前所处网络状态来动态设定。第一编码质量包括比特率、分辨率和帧速率。

投屏输出模块32，将投屏内容解码后在投屏窗口进行展示。

该投屏窗口为软件设置的虚拟窗口，类似视频播放器的播放窗口。将同屏装置连接上显示装置后，投屏内容通过投屏窗口输出到显示装置。

分屏内容生成模块33，对自身屏幕进行录制编码生成分屏内容。

在本发明的一个实施例中，分屏内容生成模块33对同屏装置的屏幕进行录制编码生成分屏内容，所述分屏内容采用第二编码质量进行编码，其中，第二编码质量低于第一编码质量。同屏装置还用于根据第二终端的数量及当前所处网络的性能来动态设置第二编码质量。第二编码质量包括比特率、分辨率和帧速率。此步骤中，同屏装置通过对自身屏幕内容重新录制编码既可以将第一终端的投屏内容同屏至各第二终端，也可以将同屏设备自身桌面同屏至各第二终端，增强了同屏的灵活性。

分屏内容发送模块34，将分屏内容分别发送至多个第二终端。

在本发明的一个实施例中，第一终端将同屏装置的ip地址发送至各第二终端，以使第二终端与同屏装置建立分屏会话连接；或者，第二终端通过扫描同屏装置的ip地址二维码与同屏装置建立分屏会话连接。

在本发明的一个实施例中，所述同屏装置用于执行实现如上述任一实施例(图1或图2实施例)所述的同屏方法的操作。

上述实施例提供的一对多同屏装置，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。

如图4所示为本发明另一个实施例中一种一对多同屏装置的结构图，所述投屏装置包括存储器41和处理器42，其中：

存储器41，用于存储可在处理器42上运行的计算机程序。

处理器42，用于执行计算机程序，使得投屏装置执行实现如上述任一实施例(图1或图2实施例)所述的同屏方法的操作。

上述实施例提供的一对多同屏装置，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。

根据本发明的另一方面，提供一种同屏设备，包括如上述任一实施例(图3或图4实施例)所述的同屏装置。

上述实施例提供的一对多同屏设备，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。

根据本发明的另一方面，提供一种计算机可读存储介质，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被储器执行时实现如上述任一实施例(例如图1或图2实施例)所述的同屏方法，可以应用于智能设备中；前述实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，移动设备或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

基于本发明上述实施例提供的计算机可读存储介质，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。

如图5所示为本发明一个实施例中一种一对多同屏系统的结构图，包括：第一终端51、上述所述的同屏设备52、多个第二终端53，其中，

第一终端51，用于对自身的屏幕进行录制编码生成投屏内容，将投屏内容发送至同屏设备52；

同屏设备52，用于获取第一终端51发送的投屏内容，将所述投屏内容解码后在投屏窗口进行展示，对自身屏幕进行录制编码生成分屏内容，将所述分屏内容分别发送至多个第二终端53；

第二终端53，用于接收同屏设备52发送的分屏内容，将所述分屏内容解码后进行显示。

在本发明的一个实施例中，同屏设备52同时支持wifi和以太网，同屏系统还包括ap54，第一终端51和多个第二终端53通过wifi连接至ap54，同屏设备52通过网线或wifi连接至ap54。

在本发明的一个实施例中，所述ap支持5g频段，也可同时支持2.4g频段，支持的最大用户数大于50。

在本发明的一个实施例中，同屏系统还包括与同屏设备52对接的显示装置55，同屏设备52还用于将投屏窗口及自身桌面通过所述显示装置进行展示。显示装置55可以是高清电视、大屏显示器、一体机、投影仪、电脑等，同屏设备52与显示装置55可通过hdmi线、vga线等进行有线连接，也可通过wifi进行无线连接。

在本发明的一个实施例中，投屏内容采用第一编码质量进行编码，所述分屏内容采用第二编码质量进行编码，所述第一编码质量高于第二编码质量。

在本发明的一个实施例中，同屏设备52还用于根据自身的ip地址生成二维码进行展示；第一终端51还用于扫描所述二维码与同屏设备52建立投屏会话连接，将同屏设备52的ip地址发送至多个第二终端53；第二终端53根据同屏设备52的ip地址与同屏设备52建立分屏会话连接。

基于本发明上述实施例提供的同屏系统，通过对投屏内容解码输出后重新录制编码生成分屏内容，再将分屏内容分别发送至多个第二终端，实现了一对多同屏。对投屏内容和分屏内容采用不同编码质量进行录制编码，不仅保证了大屏输出画面的高品质，而且，也使得各第二终端可以低延迟同屏。

在上述描述的同屏装置可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(plc)、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。