一种基于直播教学云的后台数据管理系统的制作方法

本发明涉及网络教学领域，尤其是一种基于直播教学云的后台数据管理系统。

背景技术：

我国现有的教育体系十分庞大，相比之下优秀的教育资源却不多，而且优秀的教育资源分布较为集中，很多偏远地区的教育质量根本无法与发达地区的教育质量相比，在很大程度上造成了教育资源分配的不公平。随着技术的不断发展和信息时代的到来，网络教学方兴未艾。

目前，商学院等在线教育的授课模式主要有三种，一是录播课程，二是在线一对一教育，三是直播课程教育。

在线教育最早的授课模式就是录播课程，基本方法是，挑选优秀的老师录制课堂视频，放在网上售卖。随着在线教育行业的不断发展完善，录播课程的弊端也逐渐显现出来，最大的问题就是学员毫无参与感，老师讲老师的，学员听不听随意，课后也难以交流沟通，上课效果难以保证。而且，许多教育机构急功近利，录播课程质量无法保证，导致课程粗制滥造。

在线一对一模式的优势在于因材施教，以学生为中心，一对一交谈，真实互动，更能够调动学生的学习兴趣，提高学生的学习能力和坚持学习率，一对一的针对性也非常强，能够做到及时查漏补缺，针对学生存在的问题做改善。然而一对一模式也存在难以大规模地推广、优质师资难以全面保障、受教育成本过高等问题。

远程教学直播系统，能够利用网络不受地域传播的优势，为学生提供最优秀的教育资源，并能够解决录播授课的随意性和一对一授课的高成本等问题。然而，传统的直播系统中的视频采集系统，都是采用的现有技术，硬件设备没有针对教学系统进行优化，而且体积庞大，不太适用于真实的课堂教学环境。

随着云计算(cloud)技术的兴起，越来越多的教育机构尝试将云计算技术应用到网络教学上以提供更快速、个性化的教学服务。云计算是一种新型互联网的相关服务模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云计算具有以下几个主要特征：

(1)资源配置动态化。根据消费者的需求动态划分或释放不同的物理和虚拟资源，当增加一个需求时，可通过增加可用的资源进行匹配，实现资源的快速弹性提供；如果用户不再使用这部分资源时，可释放这些资源。云计算为客户提供的这种能力是无限的，实现了it资源利用的可扩展性。

(2)需求服务自助化。云计算为客户提供自助化的资源服务，用户无需同提供商交互就可自动得到自助的计算资源能力。同时云计算系统为客户提供一定的应用服务目录，客户可采用自助方式选择满足自身需求的服务项目和内容。

(3)网络访问便捷化，客户可借助不同的终端设备，通过标准的应用实现对网络访问的可用能力，使对网络的访问无处不在。

(4)服务可计量化。在提供云服务过程中，针对客户不同的服务类型，通过计量的方法来自动控制和优化资源配置。即资源的使用可被监测和控制，是一种即付即用的服务模式。

(5)资源的虚拟化。借助于虚拟化技术.将分布在不同地区的计算资源进行整合，实现基础设施资源的共享。

然而，现有技术中基于云计算的网络教学直播课程质量较低、稳定性较差，无法真实模拟课堂、满足师生之间互动的需求，这也成了目前急需解决的技术问题。

技术实现要素：

本发明针对现有技术的不足，提出一种基于直播教学云的后台数据管理系统，能够利用大数据分析和统计实现学员的情绪分析、信息的智能审核、直播过程中的多语言实时字幕、会议速记等功能。

为了实现上述发明目的，本发明提供以下技术方案：

一种基于直播教学云的后台数据管理系统，其特征在于：包括ai情绪分析模块、ai智能审核模块、ai多语言实时字幕模块和ai课程速记模块；所述ai情绪分析模块用于通过面部识别系统对学员的面部情绪和身体特征进行识别，所述面部情绪和身体特征包括听课专注度、情绪、性别、年龄；所述ai智能审核模块用于从海量的大数据样本中，监控审核不文明不合法信息并进行信息过滤；所述ai多语言实时字幕模块，用于对全球进行直播授课，并在直播过程中将多语言实时字幕投放在各地的屏幕上；所述ai课程速记模块，用于在直播授课过程中利用声纹识别技术记录讲课课程。

进一步地，该系统应用安装有面部识别追踪传感器的3d摄像头/摄像机从不同角度捕捉画面，识别追踪授课者或听课者面部动作的实时图像，对手势图像进行简单的预处理后通过总控室内的控制系统从所述图像中识别面部运动变化的图像。

进一步地，所述ai智能审核模块具体包括数据管理模块、规则解析模块和信息审核模块。

进一步地，所述数据管理模块包括信息子模块、字库子模块、规则子模块；所述信息子模块，用于当学员在系统中输入信息后，在所述数据管理模块的前端界面上添加或导入学员输入的面部、语音、文字信息，并针对各种信息的各个字段自动添加id属性信息；所述字库子模块，用于为所述信息子模块提供字库服务，若所述信息的字段选择某个字库作为依据，则审核时用户发送的该字段的数据必须符合字库中对于关联信息的定义，否则审核不通过；所述规则子模块中的规则为用户在所述数据管理模块的前端界面通过配置语法树的形式构造的规则内容，所述规则还包括多个操作符，每个操作符都有特定的drl(deepreinforcementlearning,深度增强学习)表达式。

进一步地，所述规则解析模块用于将每个操作符特定的drl表达式解析转化为drools规则文件，具体包括：drl规则描述子模块和解释器解析子模块；所述drl规则描述子模块，用于在前端界面与规则引擎之间传递规则信息；所述解释器解析子模块，用于对各个规则的解析转化进行描述，实现从drl表达式到drools规则文件的转换。

进一步地，所述信息审核模块，用于对学员通过接口传输的包括待审数据、作业名称以及指定审核方式的任务进行处理和审核，包括：同步任务审核子模块和异步任务审核子模块；所述同步任务审核子模块，用于在任务请求到达后，在当前http请求周期内完成审核并直接返回结果；所述异步任务审核子模块，用于在任务请求到达后将所述任务请求直接存入缓存队列，由后台程序提取并进行审核。

进一步地，所述ai多语言实时字幕模块直播过程中所需要的语言字幕，根据服务器发送文本串的目的地址来指定，或通过向文本串添加一个翻译软件能够识别的代码来指定，或通过将终端编程为改变从解码的字幕信息中获得字幕标识符的方向，使其通过因特网到达服务器来指定。

进一步地，所述ai课程速记模块，包括声音采集子模块和s2t处理子模块；所述声音采集子模块用于采集老师和学生在听课过程中发出的声音，并识别过滤掉噪音；所述s2t处理子模块用于将收集到的声音进行转化为文字。

进一步地，所述直播教学云的后台数据管理系统还包括直播云服务器，所述直播云服务器将直播过程中老师讲授的文字进行记录，并与时间进行自动匹配，并将接收到的请求转化为文本处理，进行会议纪要的查询和管理。

进一步地，所述直播教学云的后台数据管理系统还包括后台用户角色管理模块，用于实现rbac(role-basedaccesscontrol，基于角色的访问控制)权限设计模型，具体包括：用户管理子模块、角色管理模块子和权限管理子模块；所述角色管理模块用于实现角色管理、自动赋权、角色赋权、角色继承、角色互斥、临时角色和黑白名单功能；所述权限管理子模块用于实现权限管理、功能菜单权限、功能操作权限、数据字段权限功能。

与现有技术相比，本发明具有以下优点：该系统能够在直播互动教学中，进行跨运营商跨终端的高质量、高稳定性的音视频直播，打造出一个以学习者为中心，360度模拟真实课堂，满足师生互动、生生互动的学习型即时社交环境和企业家身边的商学院，重构管理教育生态圈。

本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的基于直播教学云的后台数据管理系统的结构框图；

图2为图像分割的原图；

图3为图像分割的二值图；

图4为图像分割的灰度图；

图5为图像分割的前景人像图；

图6为rbac权限设计模型图；

图7为本发明中角色管理模块结构框图；

具体实施方式

下面结合实施例对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何的限制作用。

如图1所示，本发明的基于直播教学云的后台数据管理系统，包括ai情绪分析模块11、ai智能审核模块12、ai多语言实时字幕模块13和ai课程速记模块14。所述ai情绪分析模块11用于通过面部识别系统对学员的面部情绪和身体特征进行识别，所述面部情绪和身体特征包括听课专注度、情绪、性别、年龄等因素。所述ai智能审核模块12用于从海量的大数据样本中，监控审核暴恐、涉政、涉黄等不文明不合法信息并进行信息过滤。所述ai多语言实时字幕模块13，用于对全球进行直播授课，并在直播过程中将多语言实时字幕投放在各地的屏幕上，所述屏幕为全景沉浸式大屏，能把图像呈现得更加真实，与真人做到1:1呈现，让分院的学员获得身临其境的感觉。所述ai课程速记模块14，用于在直播授课过程中利用声纹识别技术记录讲课课程。

其中，所述ai情绪分析模块11还可利用面部识别系统采集学员的一张静态图片(可正常解码，且长宽比适宜)，识别人体的轮廓范围，与背景进行分离，返回分割后的二值结果图、灰度图、透明背景的人像图(png格式)，用于拍照背景替换、照片合成、身体特效等场景。本发明在运行时对静态图片的分割效果示意图及流程如下所示：原图如图2所示，二值图如图3所示，灰度图如图4所示，前景人像图(透明背景)如图5所示。灰度图和前景人像图不用处理，直接解码保存图片即可，返回的二值图像需要进行二次处理才可查看分割效果。

在本发明的一个实施例中，在教室的正中心位置的天花板上安装1-4个可360度电脑控制旋转红外线面部识别装置，工作人员能在控制室内调节监控内容，根据需要操控实现推近、拉远、旋转、跟踪等。具体方法为，应用安装有面部识别追踪传感器的3d摄像头/摄像机从不同角度捕捉画面，重建出面部在真实世界三维空间的变化信息，利用摄像头识别追踪授课者或听课者面部动作的实时图像，对手势图像进行简单的预处理后通过总控室内的控制系统从所述图像中识别面部运动变化的图像。

在一个优选的实施例中，安装4个360度电脑控制旋转高清摄像头，加装三角盘录像机，进而在控制室内调节监控内容，实现推近、拉远、旋转、跟踪监视等。

所述ai智能审核模块12具体包括数据管理模块、规则解析模块和信息审核模块。

其中，所述数据管理模块包括信息子模块、字库子模块、规则子模块。

所述信息子模块，用于当学员在系统中输入信息后，在所述数据管理模块的前端界面上添加或导入学员输入的面部、语音、文字信息，并针对各种信息的各个字段自动添加id属性信息。

所述字库子模块，用于为所述信息子模块提供字库服务，若所述信息的字段选择某个字库作为依据，则审核时用户发送的该字段的数据必须符合字库中对于关联信息的定义，否则审核不通过。

所述规则子模块中的规则为用户在所述数据管理模块的前端界面通过配置语法树的形式构造的规则内容，包含规则的drl(deepreinforcementlearning,深度增强学习)表达式、触发规则的警告级别、触发规则的推荐措施，所述规则还包括多个操作符，每个操作符都有特定的drl表达式。

其中，所述规则解析模块用于将每个操作符特定的drl表达式解析转化为drools规则文件。drools是为java量身定制的基于charlesforgy的rete算法的规则引擎的实现，它具有一个易于访问企业策略、易于调整以及易于管理的开源业务规则引擎，审核人员利用它可以轻松查看业务规则，从而检验已编码的规则是否执行了所需的业务规则，该方法审核速度快、效率高。

在本发明的一个实施例中，所述规则解析模块进一步包括，drl规则描述子模块和解释器解析子模块。

所述drl规则描述子模块，用于在前端界面与规则引擎之间传递规则信息，包括对drl规则的描述，如规则结构及其语法定义、以及数据类型描述。

所述解释器解析子模块，用于对各个规则的解析转化进行描述，实现从drl表达式到drools规则文件的转换。

所述信息审核模块，用于对学员通过接口传输的包括待审数据、作业名称以及指定审核方式的任务进行处理和审核，具体包括：信息模块的数据处理子模块、规则模块的数据处理子模块、同步任务审核子模块和异步任务审核子模块。

所述信息模块的数据处理子模块，用于使用java动态编译技术将每个信息的字段编译生成javabean的class文件，报表名为bean的类名，报表字段名和类型分别为bean的属性和属性的基本类型。

规则模块的数据处理子模块，用于通过对规则模块的数据遍历规则的条件部分的变量，查找是否存在该数据，若存在则在drools规则文件的import部分增加导入语句，导入该报表对应的javabean；对于每个规则的条件部分的drl表达式，通过规则解析模块的drl规则描述子模块转化为drools规则文件的条件部分；而对于每个规则的返回结果部分，通过规则解析模块的drl规则描述子模块转化为drools规则文件的结果部分。

所述同步任务审核子模块，用于在任务请求到达后，在当前http请求周期内完成审核并直接返回结果。

所述异步任务审核子模块，用于在任务请求到达后将所述任务请求直接存入缓存队列，由后台程序提取并进行审核。

所述的同步任务审核子模块和异步任务审核子模块在审核过程中需要遍历所有信息构造对象，根据作业类型加载所有规则并启动drools引擎执行规则推理。

其中，所述drl规则的数据类型包括：文本数据类型text、数值数据类型num、布尔数据类型bool、日期数据类型date、时间数据类型time和时间戳数据类型timestamp。

在本发明的一个实施例中，所述ai多语言实时字幕模块13用于对全球进行直播授课，并在直播过程中将多语言实时字幕投放在各地的屏幕上。其中，所需要的语言字幕可以根据服务器将文本串发送到的目的地址来指定，一致的资源定位符(url)被用于一种语言。所需要的语言字幕也可通过向文本串添加一个翻译软件能够识别的代码来指定，为源语言(文本串以该种语言被提供到翻译服务器中)和想要语言的每种组合提供一个url。然后，该终端需要访问一系列地址。为了保证能够提供一种从任何一种语言到任何一种另外语言的真正通用的翻译业务，优选地被编程为将对源语言的说明加到翻译业务服务器形成的文本串中。这样，提供的嵌入的字幕信息流可以是任何一种语言。

在本发明的另一个实施例中，服务器包括具有多个字幕条目的字幕数据库，每一个条目记录一个字幕标识符和字幕字符串的至少一种翻译。终端被编程为改变从解码的字幕信息中获得字幕标识符的方向，使其通过因特网到达服务器。

所述ai课程速记模块14，包括声音采集子模块和s2t处理子模块。

所述声音采集子模块用于采集老师和学生在听课过程中发出的声音，并识别过滤掉噪音，具体组成包括拾音器单元、主动降噪滤波单元、音频控制单元和音频输出单元。

所述拾音器单元负责采集声音数据，数据原始格式为pcm格式，拾音器单元连接主动降噪滤波单元。

所述主动降噪滤波单元采用双路降噪滤波器，使之能实现独立左右声道增益调节(-25db～25db)、降噪级别调节(0～60db)的控制。主动降噪滤波单元，通过降噪系统产生与外界噪音相等的反向声波，将噪音中和，从而实现降噪的效果。主动降噪滤波单元与音频控制单元连接，用来控制音频的声音大小和传输效果。

所述音频控制单元与音频输出单元连接，将声音数据用speex编码器进行编码压缩后，通过输出接口采用左右声道独立输出。

所述拾音器单元通过audioqueue耳麦进行采音获取音频流。

进一步地，对不同发言人的身份信息通过唯一id标记进行标识。

所述s2t处理子模块用于将收集到的声音进行转化为文字，具体包括：st解析单元，用于将接收到的音频文件进行解析以得到对应的声波信号；第二傅立叶变换单元，用于将所述st解析单元生成的声波信号进行逆向傅立叶变换，从而得到对应的声码；st信息处理单元，用于将所述第二傅立叶变换单元生成的声码转换成带有id信息的文字信息。

s2t处理子模块中所使用的傅立叶变换、傅立叶逆变换的计算公式分别如公式(1)、(2)所示：

其中，f(t)是t的周期函数，如果t满足狄里赫莱条件：在一个以2t为周期内f(x)连续或只有有限个第一类间断点，附f(x)单调或可划分成有限个单调区间，则f(x)以2t为周期的傅里叶级数收敛，和函数s(x)也是以2t为周期的周期函数，且在这些间断点上，函数是有限值。在一个周期内具有有限个极值点，绝对可积。f(t)为原函数，f(ω)为傅立叶变换的像函数。f(ω)是f(t)的像。f(t)是f(ω)原像。

进一步地，所述直播教学云的后台数据管理系统还包括直播云服务器，所述直播云服务器将直播过程中老师讲授的文字进行记录，并与时间进行自动匹配，具体包括：在录制现场通过麦克风采集授课老师的声音，直播云服务器自动获取终端上相关的音频数据；直播云服务器通过声纹识别获取授课老师的身份id；直播云服务器将音频数据转换为文本，并将获取到的授课老师的身份id与该文本中的相应内容和发言时间进行关联；将转换好的文本保存在文件中，并存储在直播云服务器上。

进一步地，在直播云服务器中，首先会将语音文件转换为对应语种的文字，如授课老师采用中文发言，则首先将语音文件转换为中文，然后再根据用户的要求进行语言种类的转换，可采用上述ai多语言实时字幕模块13中的翻译软件进行翻译。

进一步地，直播云服务器将接收到的请求转化为文本处理，进入文本处理流程，在该流程中用户可以进行会议纪要的查询和管理。具体流程如下：首先用户可以将会议纪要转换为自己需要的语种类型；用户操作可以是下载相关的课程纪要或者是对课程纪要进行其他的操作；需要下载会议纪要的用户进入下载界面；下载需要的会议纪要。

进一步地，所述直播教学云的后台数据管理系统还包括后台用户角色管理模块，用于实现rbac(role-basedaccesscontrol，基于角色的访问控制)权限设计模型，具体包括：用户管理子模块、角色管理模块子和权限管理子模块。

如图6所示，rbac权限设计模型就是用户通过角色与权限进行关联，从而获得某些功能的使用权限。权限被赋予给角色，而不是用户，但是一个用户可以拥有若干个角色，当一个角色被赋予给某一个用户时，此用户就拥有了该角色所包含的功能权限。简单地说，一个用户拥有若干角色，每一个角色拥有若干功能权限。这样，就构造成“用户-角色-权限”的授权模型。在这种模型中，用户与角色之间，角色与权限之间，一般者是多对多的关系。

用户管理往往随着行政部门划分或者随着业务线部门划分，对应部门或者小组内的用户有着基本相似的功能需求和权限等级；角色管理相对来讲更加固定，它往往是基于业务管理需求而预先在系统中设定好的角色标签，一般不会随意更改，更像是一个用户分组标签；权限管理内容相对更加庞杂和丰富，主要包含了目标、操作和许可权三个部分，当某一功能权限授权给用户时，也就相当于为该用户开通了可以操作某个目标功能的许可权。

所述用户管理子模块管理的用户主要是功能系统的使用者，这些用户是一个一个的员工个体，这些个体往往从两个维度来进行划分：行政关系(部门架构)、业务部门(业务架构)。用户管理就是在此两个维度来给员工个体进行关联性的初步分群或者分组。按照行政部门或者按照业务线部门划分后，对应部门或者小组内的用户有着基本相似的系统功能使用需求和权限等级；

如图7所示，所述角色管理模块用于实现角色管理、自动赋权、角色赋权、角色继承、角色互斥、临时角色和黑白名单等功能。

(1)角色管理

角色往往是基于业务管理需求而预先在系统中设定好的固定标签，每个角色对应明确的系统权限，其所拥有的系统权限一般不会随意更改，并且角色也不会随着用户的被添加和被移除而进行改变，相较于用户管理而言更加稳定。

(2)自动赋权：用户自动进入角色

如果角色与行政关系下的组织部门存在绑定关系，那么如果一个用户进入到该组织部门后，该用户会自动被加入到对应的角色中，并且拥有该角色所有的系统权限。如一个财务人员【小张】入职财务部后，那么该用户无需进行额外的授权即可在对应财务报表系统查看该部门员工可查看的财务数据报表和对应的操作权限(比如操作财务审批等)。

(3)角色赋权：用户被添加进角色

业务是不断创新和发展的，随着业务的发展，会有越来越多的新的角色被设置和创建，比如公司新启动了一个企业课程项目，项目部横向的从各个部门找了多个员工组建项目团队，并且该项目的业务权限也只是授权给这批员工可查看和操作，那么，在此项目中，会产生一个新的角色“财务1”，系统高级管理员会把从财务部门选中的财务【小张】添加到“财务1”这个角色中，那么【小张】即可获得查看企业团餐项目业务数据报表和操作的权限。这种权限的授予无法通过用户行政关系的自动绑定来实现。

(4)角色继承：角色权限的继承

权限可以是独有的，也可以是继承的。每个角色都有自己的权限集，角色继承其实也就是继承父系角色的权限，一般角色在继承其父系角色的全部权限的基础上增加拥有一些自己的权限。而系统角色继承往往存在于用户分级管理比较明确的团队或者公司。

(5)角色互斥：角色包含的权限互斥

角色互斥的业务背景：当一个业务流程由于风控的原因，需要将其操作给划分成分开的几个步骤时，需要给这几个不同的步骤授权不同的角色，并且这些角色之间需要进行互斥。比如大额财务报销审批流程，财务人员【小张】拥有了审批人权限后，就无法将审核确认的权限再授予小张，以此来规避一个人完成大额报销而带来的财务风险。

(6)临时角色

临时角色往往是针对特殊群体设置的，比如公司有特殊访问团队莅临，需要给这些特殊的客户一些临时身份来体验某些功能操作。那么把这些人添加到部门的组织架构中显然是不合适的，因为这些人只是临时的摆放者，不是企业员工。其次，这些客户需要体验的功能操作往往是横跨多个业务模块和产品线的(比较繁杂)，一般公司并没有现成的固定角色符合拥有客户所需的全部操作权限，因此需要给这些客户开设临时角色，并且支持给临时角色最大的权限选择空间。

(7)黑白名单

通过为角色或用户设置黑白名单，可以自定义某类用户或某位用户的具体权限，如赋予用户特定的权限或禁止用户特定的权限。

所述权限管理子模块用于实现权限管理、功能菜单权限、功能操作权限、数据字段权限等功能。

(1)权限管理

权限管理更多是从功能菜单、功能操作、数据参数三个不同颗粒度等级来考量的。具体颗粒度的大小视公司结构和团队规模而定，如果不是业务属性一定要求将权限控制到非常精细的级别，就没有必要将权限的颗粒度拆分到具体某一项操作或者某一个按钮。

(2)功能菜单权限

对于后台产品来讲，针对功能菜单来划分用户权限其实是比较粗颗粒度的一种管理方式，这种模式下用户一旦获得授权即可使用该菜单栏下的全部数据查看权限和功能操作权限。

(3)功能操作权限

功能操作层级的权限相对于功能菜单会更为深入，这种情况下，不同角色的用户可以进入同一菜单页后台查看相同的数据字段信息，但是他们可执行的功能操作不同。

(4)数据字段权限

数据字段层面是较细颗粒度的拆分，此时不同角色用户进入同一菜单页后台，可见的数据字段都有差异。比如销售人员进入某销售业绩管理后台时，可以看到自己的业绩提升数据，但是财务人员看到的是业务工单的费用字段，这些字段共存在一个菜单页中，只是受限于不同的角色权限而已。

本发明的基于直播教学云的后台数据管理系统，能够利用大数据分析和统计实现学员的情绪分析、信息的智能审核、直播过程中的多语言实时字幕、会议速记等功能。进而实现在直播互动教学中，进行跨运营商跨终端的高质量、高稳定性的音视频直播，打造出一个以学习者为中心，360度模拟真实课堂，满足师生互动、生生互动的学习型即时社交环境和企业家身边的商学院，重构管理教育生态圈。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。