一种基于CEF离屏渲染技术的课件媒体混合录制方法与流程

本发明涉及视频处理相关技术领域，尤其是指一种基于cef离屏渲染技术的课件媒体混合录制方法。

背景技术：

课件和老师学生视频分别录制，课件录制通常由一个服务器在上课过程中，同时加载课件接收老师操作过程如翻页画线等信令，保存信令事后信令回放的方式；而老师学生视频由媒体服务器录制，课程结束后再把课件和视频混合。而分开录制需要后期处理合成，需要课件和视频做时间同步，容易出错，只能录制课件和视频，而上课过程还有其他内容如交流区，学生列表等无法录制，回放采用信令回放方式需要专门的播放器。

技术实现要素：

本发明是为了克服现有技术中存在上述的不足，提供了一种无需后期合成的基于cef离屏渲染技术的课件媒体混合录制方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于cef离屏渲染技术的课件媒体混合录制方法，具体包括如下步骤：

(1)在服务器端部署基于cef浏览器内核的录制端；

(2)老师端开始上课时，服务器收到老师开始上课指令，通知录制端加载该老师的上课课件；

(3)老师在课件上的翻页、画线、播放视频会同步到录制端；

(4)基于cef浏览器内核将课件画面和声音离屏渲染到内存并传递给录制端；

(5)录制端将画面和声音保存成视频文件。

基于cef离屏渲染技术，服务器把自己作为一个学生端，用cef引擎加载上课页面，cef引擎会和普通上课学生一样把整个上课页面包括课件、视频、交流区都渲染出来；和普通上课学生端不同的是，普通上课学生端把画面输出到屏幕，把声音输出到扬声器，cef离屏渲染把画面和声音都输出到内存，这样录制程序直接从内存获取内容保存即可；通过本方法的设计使得录制结果无须后期合成，可录制交流区，同时无须专用播放器，易于分享，也支持即时转推其他协议如rtmp分发分享。

作为优选，在步骤(1)中，服务器包括课件服务器和媒体服务器，课件服务器将课件上的翻页、画线信令加载给基于cef浏览器内核的录制端，媒体服务器将课件上的播放视频分发给基于cef浏览器内核的录制端。

作为优选，在步骤(2)中，课件服务器接受上课指令后，基于cef浏览器内核的录制端加载该老师的上课html课件。

作为优选，在步骤(3)中，课件上还设有交流区和学生列表，课件服务器将课件上的交流区和学生列表信令加载给基于cef浏览器内核的录制端。

作为优选，所述离屏渲染指的是gpu在当前屏幕缓冲区以外开辟一个缓冲区进行渲染操作。

本发明的有益效果是：录制结果无须后期合成，可录制交流区，同时无须专用播放器，易于分享，也支持即时转推其他协议如rtmp分发分享。

附图说明

图1是本发明的方法框图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1所述的实施例中，一种基于cef离屏渲染技术的课件媒体混合录制方法，具体包括如下步骤：

(1)在服务器端部署基于cef浏览器内核的录制端；服务器包括课件服务器和媒体服务器，课件服务器将课件上的翻页、画线信令加载给基于cef浏览器内核的录制端，媒体服务器将课件上的播放视频分发给基于cef浏览器内核的录制端；

(2)老师端开始上课时，服务器收到老师开始上课指令，通知录制端加载该老师的上课课件；课件服务器接受上课指令后，基于cef浏览器内核的录制端加载该老师的上课html课件；

(3)老师在课件上的翻页、画线、播放视频会同步到录制端；课件上还设有交流区和学生列表，课件服务器将课件上的交流区和学生列表信令加载给基于cef浏览器内核的录制端；

(4)基于cef浏览器内核将课件画面和声音离屏渲染到内存并传递给录制端；离屏渲染指的是gpu在当前屏幕缓冲区以外开辟一个缓冲区进行渲染操作；

(5)录制端将画面和声音保存成视频文件。

chromiumembeddedframework(cef)是个基于googlechromium项目的开源webbrowser控件，支持windows、linux、mac平台，除了提供c/c++接口外，也有其他语言的移植版。基于cef离屏渲染技术，服务器把自己作为一个学生端，用cef引擎加载上课页面，cef引擎会和普通上课学生一样把整个上课页面包括课件、视频、交流区都渲染出来；和普通上课学生端不同的是，普通上课学生端把画面输出到屏幕，把声音输出到扬声器，cef离屏渲染把画面和声音都输出到内存，这样录制程序直接从内存获取内容保存即可；通过本方法的设计使得录制结果无须后期合成，可录制交流区，同时无须专用播放器，易于分享，也支持即时转推其他协议如rtmp分发分享。

技术特征：

1.一种基于cef离屏渲染技术的课件媒体混合录制方法，其特征是，具体包括如下步骤：

(1)在服务器端部署基于cef浏览器内核的录制端；

(2)老师端开始上课时，服务器端收到老师开始上课指令，通知录制端加载该老师的上课课件；

(3)老师在课件上的翻页、画线、播放视频会同步到录制端；

(4)基于cef浏览器内核将课件画面和声音离屏渲染到内存并传递给录制端；

(5)录制端将画面和声音保存成视频文件。

2.根据权利要求1所述的一种基于cef离屏渲染技术的课件媒体混合录制方法，其特征是，在步骤(1)中，服务器包括课件服务器和媒体服务器，课件服务器将课件上的翻页、画线信令加载给基于cef浏览器内核的录制端，媒体服务器将课件上的播放视频分发给基于cef浏览器内核的录制端；基于cef浏览器内核的录制端部署在一台独立的服务器上，通过websocket协议连接到课件服务器，获取课堂开始和结束消息并做相应的录制和停止操作。

3.根据权利要求2所述的一种基于cef离屏渲染技术的课件媒体混合录制方法，其特征是，在步骤(2)中，课件服务器接受上课指令后，基于cef浏览器内核的录制端加载该老师的上课html课件。

4.根据权利要求3所述的一种基于cef离屏渲染技术的课件媒体混合录制方法，其特征是，在步骤(3)中，课件上还设有交流区和学生列表，课件服务器将课件上的交流区和学生列表信令加载给基于cef浏览器内核的录制端。

5.根据权利要求1所述的一种基于cef离屏渲染技术的课件媒体混合录制方法，其特征是，所述离屏渲染指的是gpu在当前屏幕缓冲区以外开辟一个缓冲区进行渲染操作，其不直接显示到屏幕，而是把显示的内容放到内存。

技术总结
本发明公开了一种基于CEF离屏渲染技术的课件媒体混合录制方法。它具体包括如下步骤：(1)在服务器端部署基于CEF浏览器内核的录制端；(2)老师端开始上课时，服务器端收到老师开始上课指令，通知录制端加载该老师的上课课件；(3)老师在课件上的翻页、画线、播放视频会同步到录制端；(4)基于CEF浏览器内核将课件画面和声音离屏渲染到内存并传递给录制端；(5)录制端将画面和声音保存成视频文件。本发明的有益效果是：录制结果无须后期合成，可录制交流区，同时无须专用播放器，易于分享，也支持即时转推其他协议如RTMP分发分享。

技术研发人员：杨海平
受保护的技术使用者：杭州米络星科技(集团)有限公司
技术研发日：2019.11.20
技术公布日：2020.04.21