一种基于多端实时绿幕合成的同步授课技术及应用的制作方法

[0001]
本发明涉及同步授课技术技术领域，更具体为一种基于多端实时绿幕合成的同步授课技术及应用。


背景技术：

[0002]
在多人远程视频教学场景中，老师和多个学生同时加入一个视频会议进行教学活动。远程视频教学的方式突破了时间、空间的限制，人与人交流不受空间物理特性的约束，学习时间也不必受上下学和白天晚上的限制。远程视频教学同时提供了良好的互动教学方式，学生可以享受到internet以及多媒体教材提供的更加丰富的内容。在这些优势下，远程视频教学更加提供了经济实惠的解决方案，教学方可以以更低的成本提供教学服务，学生可以以更低的费用接受更好的教育。因此，远程视频教学获得了广泛的采用。
[0003]
同时，远程视频教学也对视频会议技术提出了独特的挑战。首先，为了更好的模拟真实上课的场景，我们需要将老师的视频叠加于教材内容之上，就仿佛老师站在黑板前给学生上课一样。因此，这里需要使用绿幕技术将老师视频与多媒体教材内容进行合成，以实现老师位于教材之上的效果。其次，为了提供给学生更加清晰和流畅的上课体验，我们需要保持老师的视频流以高分辨率和高帧率进行发送。
[0004]
现有技术中，将教材内容以共享屏幕的方式发送，同时独立发送老师视频流的方式，在展现形式上割裂了老师和教学内容，因此在课堂的真实感和沉浸感上会相对较差。同时，由于高帧率分享屏幕对设备性能有较高的要求，因此限制了多媒体教材的内容必须保持相对静态。另一种在老师端进行绿幕合成后，再通过屏幕分享的方式，如果需要保持老师画面的高分辨率和高帧率，则需要高清晰度和高帧率分享屏幕，因此对老师设备的性能要求很高，大部分老师的个人电脑无法满足要求，限制了这一方案的适用范围。因此，需要提供一种新的技术方案给予解决。


技术实现要素：

[0005]
本发明的目的在于提供一种基于多端实时绿幕合成的同步授课技术及应用，解决了现有技术中由于高帧率分享屏幕对设备性能有较高的要求，因此限制了多媒体教材的内容必须保持相对静态。另一种在老师端进行绿幕合成后，再通过屏幕分享的方式，如果需要保持老师画面的高分辨率和高帧率，则需要高清晰度和高帧率分享屏幕，因此对老师设备的性能要求很高，大部分老师的个人电脑无法满足要求，限制了这一方案的适用范围的问题。
[0006]
为实现上述目的，本发明提供如下技术方案：一种基于多端实时绿幕合成的同步授课技术及应用，包括：老师端和学生端，所述老师端与学生端之间构建分发多媒体教材操作事件的同步服务器，并使用websocket通信协议与老师端和学生端之间建立连接用于转发教材事件，所述老师端和学生端之间构建webrtc服务用于传输老师和学生的音视频流，所述老师端构建可同步的多媒体教材，该教材可将所有的老师操作编码成事件，并对外发
送事件，同时可根据这些事件进行回放，所述老师端和学生端均构建绿幕合成软件和音视频软件。
[0007]
作为本发明的一种优选实施方式，所述老师端需构建老师端教学环境，所述老师端教学环境包括个人终端、绿幕背景和光源组件，以保证良好的绿幕合成效果。
[0008]
作为本发明的一种优选实施方式，所述webrtc服务可以自建或采用第三方的webrtc服务。
[0009]
作为本发明的一种优选实施方式，所述绿幕合成软件用于合成老师视频流和多媒体教材。
[0010]
作为本发明的一种优选实施方式，所述音视频软件用于播放绿幕技术合成老师音视频流和多媒体教材内容。
[0011]
作为本发明的一种优选实施方式，所述授课技术的应用包括如下步骤：
[0012]
步骤1：老师端：独立发布老师视频流；在老师端，直接获取老师摄像头视频流，并直接以高分辨率和高帧率发布该视频流，保证老师画面的清晰和流畅；
[0013]
步骤2：老师端：展现教材内容，并发送教材操作事件；由于需要降低对老师电脑性能的要求，因此不再采用屏幕分享的方式来发送教材内容。这里我们将制作一种可以通过事件进行回放的多媒体教材，并将老师的操作事件实时同步到学生端，学生端将根据这些事件同步回放教材，以次完成多媒体教材的多端同步；
[0014]
步骤3：老师端：本地合成老师视频流和多媒体教材；为了提供更加沉浸式的教学体验，需要将老师视频叠加在多媒体教材之上，这是通过绿幕合成技术来实现的。老师端和学生端都需要独立完成这一步骤。这里，在老师端的电脑上，通过绿幕合成老师视频流以及多媒体教材，直接展现给老师合成后的最终画面。
[0015]
步骤4：老师端和学生端的数据传递；老师端和学生端之间有两种类型的数据需要进行传递，一种是音视频流，用于传递老师和学生的画面，这是通过webrtc技术实现的。另一种数据流是多媒体教材的操作事件，以及其他额外的控制流数据。我们实现了一套基于websocket的事件分发服务，用于在老师和学生之间传递事件类数据；
[0016]
步骤5：学生端：接收老师视频流；学生端本地通过webrtc接收老师视频流，完成音视频解码；
[0017]
步骤6：学生端：根据教材操作事件回放教材内容；学生端接收到老师端发送来的多媒体教材的操作事件，并根据这些事件回放教学内容。所以，在整个过程中，学生可以实时观看到完整的多媒体教材内容以及老师的操作；
[0018]
步骤7：学生端：本地合成老师视频流和多媒体教材；为了提供给学生沉浸式的教学体验，学生需要看到老师叠加在教材内容之上，因此需要在学生端本地的电脑上，使用绿幕技术合成老师视频流和多媒体教材内容。
[0019]
与现有技术相比，本发明的有益效果如下：
[0020]
本发明相较于其他技术，通过本技术进行的远程视频教学，可以在对老师的硬件性能要求较低的前提下，保持高分辨率和高帧率的教学视频传输，并通过事件的方式同步传输多媒体教材，可以高质量的实现在教学过程中将老师叠加在多媒体教材内容之上的沉浸式体验。
附图说明
[0021]
图1为本发明整体流程示意图。
具体实施方式
[0022]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0023]
请参阅图1，本发明提供一种技术方案：一种基于多端实时绿幕合成的同步授课技术及应用，包括：老师端和学生端，所述老师端与学生端之间构建分发多媒体教材操作事件的同步服务器，并使用websocket通信协议与老师端和学生端之间建立连接用于转发教材事件，websocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据，所述老师端和学生端之间构建webrtc服务用于传输老师和学生的音视频流，所述老师端构建可同步的多媒体教材，该教材可将所有的老师操作编码成事件，并对外发送事件，同时可根据这些事件进行回放，所述老师端和学生端均构建绿幕合成软件和音视频软件。
[0024]
进一步改进地，所述老师端需构建老师端教学环境，所述老师端教学环境包括个人终端、绿幕背景和光源组件，以保证良好的绿幕合成效果。
[0025]
进一步改进地，所述webrtc服务可以自建或采用第三方的webrtc服务，webrtc服务的最终目的主要是让web开发者能够基于浏览器轻易快捷开发出丰富的实时多媒体应用，而无需下载安装任何插件，web开发者也无需关注多媒体的数字信号处理过程，只需编写简单的javascript程序即可实现。
[0026]
进一步改进地，所述绿幕合成软件用于合成老师视频流和多媒体教材，采用绿幕，是绿幕所使用的荧光绿色在电脑系统中更容易与前景分离，同时这种颜色较为明亮，不易产生黑边。
[0027]
进一步改进地，所述音视频软件用于播放绿幕技术合成老师音视频流和多媒体教材内容。
[0028]
进一步改进地，所述授课技术的应用包括如下步骤：
[0029]
步骤1：老师端：独立发布老师视频流；在老师端，直接获取老师摄像头视频流，并直接以高分辨率和高帧率发布该视频流，保证老师画面的清晰和流畅；
[0030]
步骤2：老师端：展现教材内容，并发送教材操作事件；由于需要降低对老师电脑性能的要求，因此不再采用屏幕分享的方式来发送教材内容。这里我们将制作一种可以通过事件进行回放的多媒体教材，并将老师的操作事件实时同步到学生端，学生端将根据这些事件同步回放教材，以次完成多媒体教材的多端同步；
[0031]
步骤3：老师端：本地合成老师视频流和多媒体教材；为了提供更加沉浸式的教学体验，需要将老师视频叠加在多媒体教材之上，这是通过绿幕合成技术来实现的。老师端和学生端都需要独立完成这一步骤。这里，在老师端的电脑上，通过绿幕合成老师视频流以及多媒体教材，直接展现给老师合成后的最终画面。
[0032]
步骤4：老师端和学生端的数据传递；老师端和学生端之间有两种类型的数据需要
进行传递，一种是音视频流，用于传递老师和学生的画面，这是通过webrtc技术实现的。另一种数据流是多媒体教材的操作事件，以及其他额外的控制流数据。我们实现了一套基于websocket的事件分发服务，用于在老师和学生之间传递事件类数据；
[0033]
步骤5：学生端：接收老师视频流；学生端本地通过webrtc接收老师视频流，完成音视频解码；
[0034]
步骤6：学生端：根据教材操作事件回放教材内容；学生端接收到老师端发送来的多媒体教材的操作事件，并根据这些事件回放教学内容。所以，在整个过程中，学生可以实时观看到完整的多媒体教材内容以及老师的操作；
[0035]
步骤7：学生端：本地合成老师视频流和多媒体教材；为了提供给学生沉浸式的教学体验，学生需要看到老师叠加在教材内容之上，因此需要在学生端本地的电脑上，使用绿幕技术合成老师视频流和多媒体教材内容。
[0036]
本发明相较于其他技术，通过本技术进行的远程视频教学，可以在对老师的硬件性能要求较低的前提下，保持高分辨率和高帧率的教学视频传输，并通过事件的方式同步传输多媒体教材，可以高质量的实现在教学过程中将老师叠加在多媒体教材内容之上的沉浸式体验。
[0037]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。