一种基于协议的非浏览器插件实时音视频播放器的制作方法

本发明涉及流媒体播放器领域，具体涉及一种基于协议的非浏览器插件实时音视频播放器，主要用于播放实时视频、安防和视频监控。

背景技术：

1、随着4g、5g通讯技术快速发展，车载记录仪、执法记录仪等移动影音设备日益普及，浏览器页面级别的客户端要完成对设备端的音视频进行实时播放，达到在监控中心可以实时、动态地了解现场作业状况的需求增加。在使用浏览器页面级别的客户端进行实时视频播放时，存在如下问题：

2、随着ie浏览器的退市，ie的activex回调插件方式调用本机程序运行的功能也会被放弃，其他一些插件也并不支持h.265等格式的解码，想要使用浏览器前端客户端播放不支持的编解码格式不方便；

3、随着国产化pc的软硬件系统的发展，代码跨平台也成为趋势，诸如act ivex等受限于系统的播放方式将被特定市场淘汰；

4、浏览器的编解码方式并不能支持所有音视频格式，如h.265；

5、使用webassembly方式解码和播放浏览器不支持的解码格式存在弊端，如h.265解码播放时耗费系统资源(cpu等)较多，支持路数较少，不能合理利用gpu、cpu等系统资源；

6、在本机或服务器解码后传输数据流到浏览器的方式存在多路海量数据造成系统资源耗尽的弊端；

7、在本机或服务器转码后传输媒体流到浏览器，则存在增加延迟、画质变差的问题；

8、传统播放器只能处理点对点问题，在涉及多端、多级问题时只能依靠其他方式知会后，才能在其他端继续处理单端业务，效率较低；

9、传统的播放器不具备跨主机播放，完成复杂任务如播放业务流转，多机互通，硬件共享，播放端之间语音/视频对讲(包括但不限于摄像头、麦克风等)等能力。

10、综上所述，现有技术中，基于浏览器的视频监控平台缺少一种能够支持无需转码、无额外系统开销、支持浏览器不支持的解码格式、跨平台的音视频播放器。

技术实现思路

1、为解决现有技术中存在的问题，本发明提供一种基于协议的非浏览器插件实时音视频播放器，有效解决现状问题，并具有播放端之间联动互通的能力。

2、为实现上述目的，本发明采用如下方案：

3、本发明提供一种基于协议的非浏览器插件实时音视频播放器，包括：

4、终端设备，包括设备端；

5、服务端，包括播放器注册及交互服务端、流媒体服务端、web后端和终端连接服务端；

6、客户端，包括至少一组播放器，所述播放器包括播放端和web前端；

7、其中，

8、所述web后端与所述设备端通过所述终端连接服务端进行第一交互，与所述web前端进行第二交互，实现注册、音视频推拉流、音视频对讲功能；

9、所述播放端与所述流媒体服务端进行第三交互，通过前端信令给与的url实现推拉流功能，与所述播放器注册及交互服务端进行第四交互，实现对播放功能的管理、消息中转功能；

10、所述播放器注册及交互服务端与所述web后端进行第五交互，实现web服务对播放器信息的查询功能、其他业务请求功能；

11、所述设备端与所述流媒体服务端进行第六交互，实现推拉流功能。

12、进一步地，所述第一交互和所述第二交互的通信方式为websocket。

13、进一步地，所述播放端包括核心组件、窗口组件、通信协议服务端和通信协议客户端，其中，所述窗口组件用于接收操作和显示响应，所述核心组件与所述窗口组件交互，用于处理和传递信息，所述通信协议服务端和通信协议客户端与所述核心组件交互，将收到的信息传递到核心组件或外发，所述通信协议服务端与所述web前端进行第七交互，所述通信协议客户端与所述播放器注册及交互服务端进行第四交互。

14、进一步地，所述第七交互中，本地播放器监听协定端口作为通信协议服务端，web前端用户登录后，发起连接，完成注册信息、配置和播放器信息采集工作。

15、进一步地，所述核心组件包括：

16、基础组件，包含采集麦克风和摄像头设备、相关编解码器、编解码、音视频渲染、配置ini文件、网络等工具包，不涉及业务；

17、播放组件，包含音视频播放相关工具，播放工具只需输入对应媒体输入源和分屏窗口句柄即可将媒体数据进行播放；

18、业务流转组件，能够将本分屏窗口正在进行的业务进行转移/复制到另一台远端pc；

19、程序处理中心，用于与所述窗口组件、通信协议服务端和通信协议客户端交互；

20、同步大屏，能够将本机正在进行的业务转移到大屏，过程无需投屏；

21、硬件共享组件，能够将麦克风、摄像头、喇叭等外设通过数字化方式分享给其他播放端，对于共享权限，能够对指定用户/指定群组/指定组织进行开放；

22、播放端群组，包括第一播放端、第二播放端等多个播放端。

23、进一步地，所述业务流转组件中，在本机播放端中操作查找对应在线播放端pc机器，通过交互服务端通知对端进行业务转移/复制；

24、所述同步大屏中，通过播放端交互服务端查询当前大屏播放器是否有注册，无则提示，有则将不同分屏进行转义/复制；

25、所述硬件共享组件中，第一播放端获取到第二播放端的硬件处于可共享状态，便能够直接使用，第二播放端会将采集到的数据进行实时压缩为对端需要的格式进行上传，并通知第一播放端上传url，提供给第一播放端进行使用。

26、进一步地，所述核心组件与所述窗口组件的交互中，所述程序处理中心处理后将响应操作传递到对应分屏窗口或接收分屏窗口操作指令，包括弹出/隐藏播放器、拉流/推流、语音/视频对讲。

27、进一步地，所述第四交互中，本地播放器与服务端信令交互，支持业务流转、同步大屏、硬件共享、播放器群组等组件和功能。

28、进一步地，所述终端连接服务端包括http协议服务客户端、多路复用组件和业务处理中心，其中，所述多路复用组件与所述设备端基于tcp方式的网络连接，用于实时通信；所述多路复用组件传递解析后的字符串到所述业务处理中心进行处理，并传递所述web后端请求数据到所述设备端；所述http协议服务客户端与所述web后端通信，将来自web后端相关请求处理后通知到设备或来自设备的消息处理后通知到web后端；所述http协议服务客户端与所述业务处理中心通信，将对应模块处理结果，交付给ht tp客户端或将对应web后端请求交付给业务处理中心进行处理。

29、进一步地，所述播放器注册及交互服务端包括通信协议服务端、http服务客户端和处理模块，其中，所述通信协议服务端与所述播放器交互，监听注册、同步大屏需求，同时，通过连接池对应socket使得播放器接收来自web后端或处理后的请求消息；所述http服务客户端与所述web后端交互，相互进行http请求；所述通信协议服务端传递所述处理模块处理后的来自播放器消息或web后端消息，发送到对应web后端或播放器；所述http服务客户端传递所述处理模块处理后的来自播放器消息或web后端消息，通过对应http请求到对应播放器或web后端。

30、本发明的有益效果是：

31、本发明提供一种基于协议的非浏览器插件实时音视频播放器，浏览器与桌面系统原生程序通过协议(包括且不限于websocket/http)交互，进而通过在浏览器控制本机/远程主机上的播放端程序完成各项播放业务，也可以多机部署互通互联，特权用户一键多机共享视频流到其他登录用户播放端，并可发起平台用户多人实时通话议会功能，配置大屏时也可以同步推送消息到大屏控制大屏播放端播放指定流，根据实际需求配置具体能力。