在线教学数据传输方法、系统和介质与流程

1.本发明涉及数据传输领域，尤其涉及在线教学数据传输方法、系统和介质。


背景技术：

2.当前线上教学的主要技术方案是采用视频流，要想获得高质量的学习体验，就必须是高清的视频流，但是高清视频流造成移动设备的流量消耗大、网络时延高，容易发生视频卡顿。因此，亟需一种新的在线教学数据传输方法以改善上述问题。


技术实现要素：

3.本发明的目的在于提供在线教学数据传输方法、系统和介质，该方法用于降低在线教学数据传输占用的带宽、流量和功耗。
4.第一方面，本发明提供在线教学数据传输方法，应用于在线教学系统，所述在线教学系统包括教师侧客户端、学员侧客户端和中心服务器，包括：所述教师侧客户端将教师的板书操作转化为矢量事件流，以及将实时语音数据流和矢量事件流发送至所述中心服务器；所述中心服务器接收来自所述教师侧客户端的实时语音数据流和矢量事件流；以及将所述实时语音数据流和矢量事件流发送至学员侧客户端；所述学员侧客户端接收所述实时语音数据流和所述矢量事件流；以及对所述实时语音数据流解码后播放声音；根据所述矢量事件流实时渲染所述学员侧客户端的画面。
5.本发明的方法有益效果为：通过所述教师侧客户端将教师的板书操作转化为矢量事件流，以及将实时语音数据流和矢量事件流发送至所述中心服务器；所述中心服务器接收来自所述教师侧客户端的实时语音数据流和矢量事件流；以及将所述实时语音数据流和矢量事件流发送至学员侧客户端；所述学员侧客户端接收所述实时语音数据流和所述矢量事件流；以及对所述实时语音数据流解码后播放声音；根据所述矢量事件流实时渲染所述学员侧客户端的画面。使得教师侧客户端所有的板书操作通过矢量事件流传递到学员侧客户端，传输数据量少，速度快，延迟低，确保教师侧客户端的操作能够实时同步到学员侧客户端，而且因为将教师侧客户端的画面内容渲染至学员侧客户端的画面所以没有分辨率的问题，在任何分辨率的学员侧客户端的画面上显示都是零失真。
6.可选的，所述教师侧客户端和所述学员侧客户端采用发布订阅的模式同步所述矢量事件流。
7.可选的，所述矢量事件流包括事件头和事件内容；所述事件内容用于将所述教师侧客户端的画面内容渲染至所述学员侧客户端的画面。其有益效果在于：通过将所述教师侧客户端的画面内容渲染至所述学员侧客户端的画面，实现学员侧客户端的画面与所述教师侧客户端的画面同步，节约传输占用的流量，且不影响画面清晰度。
8.可选的，所述中心服务器控制所述学员侧客户端的上传数据类型；当所述中心服务器接收到所述学员侧客户端的请求信息时，所述中心服务器将所述请求信息发送至所述教师侧客户端；根据所述教师侧客户端的反馈信息控制所述学员侧客户端的上传数据类
型。其有益效果在于：通过所述中心服务器控制所述学员侧客户端的上传数据类型；当所述中心服务器接收到所述学员侧客户端的请求信息时，所述中心服务器将所述请求信息发送至所述教师侧客户端；根据所述教师侧客户端的反馈信息控制所述学员侧客户端的上传数据类型。有利于学员侧客户端在取得教师侧客户端的同意后上传数据，以分享所述学员侧客户端的画面和声音。
9.可选的，当所述反馈信息为同意请求时，所述中心服务器控制所述学员侧客户端的上传数据类型新增至少一种所述矢量事件流；当所述反馈信息为拒绝请求时，所述中心服务器控制所述学员侧客户端的上传数据类型维持不变。
10.可选的，所述中心服务器当获取所述学员侧客户端的矢量事件流时，将所述矢量事件流发送至所述教师侧客户端和所述学员侧客户端。
11.可选的，所述事件头包括时间戳和事件类型；所述事件类型包括绘制类事件和操作类事件；所述绘制类事件包括笔画事件和图片事件。其有益效果在于：通过设置的所述事件头包括时间戳和事件类型；所述事件类型包括绘制类事件和操作类事件；所述绘制类事件包括笔画事件和图片事件。以使所述学员侧客户端将所述绘制类事件和操作类事件按所述时间戳的顺序渲染到所述学员侧客户端的画面，有利于学员理解教学内容。
12.可选的，所述笔画事件包括笔画开始事件和笔画结束事件。
13.可选的，所述笔画事件还包括笔画移动事件。
14.可选的，所述图片事件的事件内容包括位置信息和图片的链接；所述位置信息包括所述图片的定位点坐标和所述图片在所述画面内的尺寸。
15.可选的，所述操作类事件包括开始上课事件、结束上课事件、切换笔画尺寸事件、切换笔画颜色事件、切换笔画类型事件、切换到画面擦除模式事件、画面滚动事件、撤销事件和恢复事件。
16.可选的，将获取所述矢量事件流的时间和发送所述矢量事件流的时间进行同步的方式包括发布订阅模式；所述发布订阅模式包括教师侧客户端通过发布的方式输出所述矢量事件流，以及所述学员侧客户端通过订阅的方式获取所述矢量事件流。
17.第二方面，本发明提供一种在线教学数据传输方法系统，包括：教师侧客户端、学员侧客户端和中心服务器；所述教师侧客户端，用于将教师的板书操作转化为矢量事件流，以及将实时语音数据流和矢量事件流发送至所述中心服务器；所述中心服务器，用于接收来自所述教师侧客户端的实时语音数据流和矢量事件流；以及将所述实时语音数据流和矢量事件流发送至学员侧客户端；所述学员侧客户端，用于接收所述实时语音数据流和所述矢量事件流；以及对所述实时语音数据流解码后播放声音；根据所述矢量事件流实时渲染所述学员侧客户端的画面。
18.可选的，所述教师侧客户端和所述学员侧客户端采用发布订阅的模式同步所述矢量事件流。
19.可选的，所述矢量事件流包括事件头和事件内容；所述事件内容用于将所述教师侧客户端的画面内容渲染至所述学员侧客户端的画面。
20.第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述任一方面的任意一种可能的设计的方法。
附图说明
21.图1为本发明提供的一种在线教学数据传输方法的流程示意图；
22.图2为本发明提供的第一种在线教学数据传输系统的结构示意图；
23.图3为本发明提供的第二种在线教学数据传输系统的结构示意图；
24.图4为本发明提供的第三种在线教学数据传输系统的结构示意图；
25.图5为本发明提供的第四种在线教学数据传输系统的结构示意图。
具体实施方式
26.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
27.图1为本发明提供的一种在线教学数据传输方法的流程示意图。
28.针对现有技术存在的问题，如图1所示，本发明提供了在线教学数据传输方法，应用于在线教学系统，所述在线教学系统包括教师侧客户端、学员侧客户端和中心服务器，包括：
29.s101，所述教师侧客户端将教师的板书操作转化为矢量事件流，以及将实时语音数据流和矢量事件流发送至所述中心服务器。
30.在一些实施例中，所述教师的板书操作包括画笔的绘制动作、画面擦除、画面滚动、画面旋转、画面缩放和图片显示。
31.s102，所述中心服务器接收来自所述教师侧客户端的实时语音数据流和矢量事件流。以及将所述实时语音数据流和矢量事件流发送至学员侧客户端。
32.示例性的，所述教师侧客户端和所述学员侧客户端采用发布订阅的模式同步所述矢量事件流。
33.在一些实施例中，使用消息队列来实现事件流的发布订阅，消息队列可选兔子消息队列(rabbit message queue，rabbitmq)，火箭消息队列(rocket message queue，rocketmq)和卡夫卡(kafka)分布式发布订阅消息系统。使用开放式图形库(open graphics library，opengl)绘制的画布(canvas)来模拟教学课堂的黑板，与渲染相关的事件都会转化为开放式图形库的着色器操作最终绘制到画布上。与渲染相关的事件包括但不限于绘制事件、笔画属性切换事件和黑板滚动事件。
34.在一些实施例中，所述矢量事件流包括事件头和事件内容。所述事件内容用于将所述教师侧客户端的画面内容渲染至所述学员侧客户端的画面。通过将所述教师侧客户端的画面内容渲染至所述学员侧客户端的画面，实现学员侧客户端的画面与所述教师侧客户端的画面同步，节约传输占用的流量，且不影响画面清晰度。
35.在一些实施例中，如表一所示，所述事件头包括时间戳和事件类型。所述事件类型包括绘制类事件和操作类事件。所述绘制类事件包括笔画事件和图片事件。通过设置的所
述事件头包括时间戳和事件类型。所述事件类型包括绘制类事件和操作类事件。所述绘制类事件包括笔画事件和图片事件。以使所述学员侧客户端将所述绘制类事件和操作类事件按所述时间戳的顺序渲染到所述学员侧客户端的画面，有利于学员理解教学内容。
36.一些实施例中，相邻的所述时间戳的时间间隔为采样时间间隔。事件类型1表示绘制类事件。事件内容的type＝1表示笔画开始事件。事件内容的type＝2表示笔画移动事件，事件内容的type＝3表示笔画结束事件。事件内容的location表示画笔的相对于画面的坐标。
37.另一些实施例中，事件类型2表示操作类事件。事件内容的location表示图片的左上角坐标。事件内容的size表示图片在画面中显示的宽高。事件内容的url表示图片地址。所述图片地址设置为网址或所述学员侧客户端的本地地址。
[0038][0039]
[0040]
在一些实施例中，所述笔画事件包括笔画开始事件和笔画结束事件。这种设置有利于展示画笔的起点和画笔的终点，例如应用于围棋教学。
[0041]
在一些实施例中，所述笔画事件还包括笔画移动事件。这种设置有利于展示画笔的轨迹，例如应用于书法教学。
[0042]
在一些实施例中，所述图片事件的事件内容包括位置信息和图片的链接。所述位置信息包括所述图片的定位点坐标和所述图片在所述画面内的尺寸。
[0043]
在一些实施例中，所述操作类事件包括开始上课事件、结束上课事件、切换笔画尺寸事件、切换笔画颜色事件、切换笔画类型事件、切换到画面擦除模式事件、画面滚动事件、撤销事件和恢复事件。
[0044]
在一些实施例中，将获取所述矢量事件流的时间和发送所述矢量事件流的时间进行同步的方式包括发布订阅模式。所述发布订阅模式包括教师侧客户端通过发布的方式输出所述矢量事件流，以及所述学员侧客户端通过订阅的方式获取所述矢量事件流。
[0045]
s103，所述学员侧客户端接收所述实时语音数据流和所述矢量事件流。以及对所述实时语音数据流解码后播放声音。根据所述矢量事件流实时渲染所述学员侧客户端的画面。
[0046]
在一些实施例中，所述中心服务器控制所述学员侧客户端的上传数据类型。当所述中心服务器接收到所述学员侧客户端的请求信息时，所述中心服务器将所述请求信息发送至所述教师侧客户端。根据所述教师侧客户端的反馈信息控制所述学员侧客户端的上传数据类型。通过所述中心服务器控制所述学员侧客户端的上传数据类型。当所述中心服务器接收到所述学员侧客户端的请求信息时，所述中心服务器将所述请求信息发送至所述教师侧客户端。根据所述教师侧客户端的反馈信息控制所述学员侧客户端的上传数据类型。有利于学员侧客户端在取得教师侧客户端的同意后上传数据，以分享所述学员侧客户端的画面和声音。
[0047]
在一些实施例中，当所述反馈信息为同意请求时，所述中心服务器控制所述学员侧客户端的上传数据类型新增至少一种所述矢量事件流。当所述反馈信息为拒绝请求时，所述中心服务器控制所述学员侧客户端的上传数据类型维持不变。
[0048]
在一些实施例中，所述中心服务器当获取所述学员侧客户端的矢量事件流时，将所述矢量事件流发送至所述教师侧客户端和所述学员侧客户端。
[0049]
值得说明的是，通过所述教师侧客户端将教师的板书操作转化为矢量事件流，以及将实时语音数据流和矢量事件流发送至所述中心服务器。所述中心服务器接收来自所述教师侧客户端的实时语音数据流和矢量事件流。以及将所述实时语音数据流和矢量事件流发送至学员侧客户端。所述学员侧客户端接收所述实时语音数据流和所述矢量事件流。以及对所述实时语音数据流解码后播放声音。根据所述矢量事件流实时渲染所述学员侧客户端的画面。使得教师侧客户端所有的板书操作通过矢量事件流传递到学员侧客户端，传输数据量少，速度快，延迟低，确保教师侧客户端的操作能够实时同步到学员侧客户端，而且因为将教师侧客户端的画面内容渲染至学员侧客户端的画面所以没有分辨率的问题，在任何分辨率的学员侧客户端的画面上显示都是零失真。
[0050]
在一些实施例中，本发明提供一种在线教学数据传输方法系统，包括：教师侧客户端、学员侧客户端和中心服务器。所述教师侧客户端，用于将教师的板书操作转化为矢量事
件流，以及将实时语音数据流和矢量事件流发送至所述中心服务器。所述中心服务器，用于接收来自所述教师侧客户端的实时语音数据流和矢量事件流。以及将所述实时语音数据流和矢量事件流发送至学员侧客户端。所述学员侧客户端，用于接收所述实时语音数据流和所述矢量事件流。以及对所述实时语音数据流解码后播放声音。根据所述矢量事件流实时渲染所述学员侧客户端的画面。
[0051]
本发明的方案与传统视频流方案对比如下：
[0052]
传统视频流方案直播1小时课程，采用h.265协议标准编码，视频分辨率1080p，帧率30fps，平均消耗1gb流量。
[0053]
采用本发明的方案直播1小时课程，平均传输10万个矢量事件，每个矢量事件平均占用50byte。因此，矢量事件流量和平均为5mb。以及本发明的方案通过编号乐曲(opus)的编码格式，生成的实时语音流采用的比特率为16kbit/s，1小时的实时语音流量为7.2mb。易得，采用本发明的方案直播1小时课程消耗的矢量事件流量和实时语音流量共计12.2mb，只有视频流方案的1.2％。
[0054]
值得说明的是，传统视频流方案的延迟为网络传输和缓存，最少为3秒。本发明方案的实时语音流和矢量事件流同步传输，且所述矢量事件流延迟远小于所述实时语音流。因此本发明方案的延迟主要体现在编号乐曲的编解码延迟为50毫秒，以及基本的网络延时为20～100毫秒，本技术的方案综合延迟率只有视频流方案的3.3％。
[0055]
图2为本发明提供的一种在线教学数据传输系统100的结构示意图。
[0056]
一些具体实施例中，如图2所示，所述数据传输系统100设有1个教师侧客户端101和3个学员侧客户端103。所述中心服务器102用于接收所述教师侧客户端101的矢量事件流，将所述矢量事件流发送至学员侧客户端103。
[0057]
值得说明的是，所述教师侧客户端101的数量和所述学员侧客户端103的数量均可以设置为任意正整数。
[0058]
图3为本发明提供的另一种在线教学数据传输系统100的结构示意图。
[0059]
另一些具体实施例中，如图3所示，当一个所述学员侧客户端103向所述中心服务器102发送请求信息时，所述中心服务器102将所述请求信息发送至教师侧客户端101，所述教师侧客户端101向所述中心服务器102发送反馈信息。当所述反馈信息为拒绝请求时，所述中心服务器102不改变发送所述请求信息的所述学员侧客户端103上传的数据类型。当所述反馈信息为同意请求时，所述中心服务器102允许发送所述请求信息的所述学员侧客户端103上传的数据类型新增矢量事件流或实时语音流。所述中心服务器102将发送所述请求信息的所述学员侧客户端103上传的数据类型新增矢量事件流或实时语音流发送到教师侧客户端101和所有学员侧客户端103。
[0060]
图4为本发明提供的又一种在线教学数据传输系统100的结构示意图。
[0061]
又一些具体实施例中，如图4所示，所述数据传输系统100设有1个教师侧客户端101和1个学员侧客户端103。所述中心服务器102用于接收所述教师侧客户端101的矢量事件流，将所述矢量事件流发送至学员侧客户端103。这种设置实现了一对一教学。
[0062]
图5为本发明提供的再一种在线教学数据传输系统100的结构示意图。
[0063]
再一些具体实施例中，如图5所示，所述数据传输系统100设有1个教师侧客户端101和3个学员侧客户端103。所述中心服务器102用于接收所述教师侧客户端101的实时语
音流，将所述实时语音流发送至学员侧客户端103。所述教师侧客户端101设有编号乐曲编码器(opus encoder)104，用于将所述教师侧的语音编码生成所述实时语音流。所述学员侧客户端103设有编号乐曲解码器(opus decoder)105，用于根据所述实时语音流生成语音。这种设置通过编号乐曲编码和编号乐曲解码对所述语音压缩，有利于节约传输语音信号需要的带宽和流量。这种设置通过对实时语音流使用编号乐曲对声音进行编码，编号乐曲具有压缩比高且的算法延迟低的特性。算法延迟低默认为22.5ms，这使得在传输过程中保持了声音质量的同时，有效的降低了传输数据量和延迟。声音的传输协议采用实时流传输(real time streaming protocol，rtsp)协议。
[0064]
值得说明的是，所述编号乐曲编码器104可以设置为其他声音编码器，编号乐曲解码器105可以设置为其他声音解码器。
[0065]
在一些实施例中，所述教师侧客户端101和所述学员侧客户端103采用发布订阅的模式同步所述矢量事件流。
[0066]
在一些实施例中，所述矢量事件流包括事件头和事件内容。所述事件内容用于将所述教师侧客户端101的画面内容渲染至所述学员侧客户端103的画面。
[0067]
在一些实施例中，本发明提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述任一实施例所述的方法。
[0068]
虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。