一种课堂实时监测与评估系统及其工作方法、创建方法与流程

本发明涉及智慧教育领域，具体而言涉及一种课堂实时监测与评估系统及其工作方法、创建方法。

背景技术：

课堂教学是人才培养过程中进行理论知识传授最基本、最重要的环节，其质量的优劣对人才培养的质量有着直接的影响。实践表明，课堂效果监测与评估对于提高课堂教学质量，评价教师课堂教学，辅助教师了解学生学习情况、更新教学内容、调整教学方案、改进教学方法有着积极的促进作用。

传统教学模式里，常见的课堂效果评价分为现场观察评价、监视监听评价、录像评价、量表评价等，一般用于对教师的评价；而教师了解学生的方式则主要通过作业或者测验，滞后性比较大。

技术实现要素：

本发明目的在于提供一种课堂实时检测和评估系统，能够实时显示学生的听课表现，能帮助教师随时掌握学生的情况，及时提醒听课走神的学生、更改教学方式、调整教学方案，切实提高教学质量。

为达成上述目的，本发明提出一种课堂实时监测与评估系统，所述课堂实时监测与评估系统为一fpga系统，包括依次连接的视频采集模块、数据调度模块、图像分析模块、结果统计模块；

所述视频采集模块用以实时采集教室内的视频图像，将采集的视频图像解析成若干帧后依次发送至数据调度模块；

所述数据调度模块包括至少一个第一存储器和一先入先出队列子模块，数据调度模块将接收到的图像帧发送至第一存储器，经过先入先出队列依次进入图像分析模块进行图像分析；

所述图像分析模块包括一基于yolo网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及用以输出分析结果的yolo输出层；

每个所述网络层包括对应设置的卷积层与池化层，卷积层和池化层的输出结果交替写入两个第二存储器中，以实现乒乓操作；

所述行为表情分析网络模型隔层之间的启动切换由握手信号决定，即：由握手信号启动的卷积层和池化层交替地从两个第二存储器中读取数据，进行处理后发送至下一级网络层；

所述yolo输出层分别与最后一级网络层、结果统计模块连接，用以将输出结果传输至结果统计模块；

所述结果统计模块接收图像分析模块发送的分析结果，对其中的异常行为进行统计分析。

进一步的实施例中，所述第一存储器为同步动态随机存储器；

所述第二存储器为静态随机存取存储器。

进一步的实施例中，所述池化层为最大池化层。

进一步的实施例中，所述数据调度模块与图像分析模块之间设置有一图像调整模块，用以接收数据调度模块输出的图像，缩放后发送至两个第二存储器中供网络层调用。

进一步的实施例中，所述行为表情分析网络模型还具有一权重设置模块，用以设置网络层的卷积核权重。

基于前述课堂实时监测与评估系统，本发明还提及一种课堂实时监测与评估系统的工作方法，所述工作方法包括：

实时采集课堂上学生的行为和表情图像，将之导入课堂实时监测与评估系统进行课堂表现分析和统计，课堂表现包括异常行为和正常行为两种，以及

响应于同一时刻的异常行为的学生数量大于一设定数量阈值，发出警告。

进一步的实施例中，所述方法还包括：

对采集的每帧图像中的学生行为表情进行课堂表现评分，低于设定分值的课堂表现被定义成异常行为。

进一步的实施例中，所述方法还包括：

将一次课堂过程划分成若干个时间段ti，统计每个时间段中采集的所有图像中的学生行为表情的课堂表现的评分ai，i＝{1,2,…,n}，根据下述公式计算本次课堂的教学结果总评分s：

其中，ωi是每个时间段评分在计算教学结果总评分时所占据的权重，

进一步的实施例中，所述方法还包括：

将所述结果统计模块的统计分析结果在课堂结束后发送至一指定客户端。

本发明还提及一种课堂实时监测与评估系统的创建方法，所述课堂实时监测与评估系统的创建方法包括：

s1：采集学生的行为和表情图像，叠加标准的人脸表情数据库以创建课堂学生行为表情数据库；

s2：对课堂学生行为表情数据库中的数据进行深度网络训练，经多次循环以获取最佳的网络参数；

s3：根据步骤s2中获取的网络参数以建立课堂实时监测与评估系统。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

1)建立课堂学生行为和表情数据库，为课堂效果评估提供依据。

2)实时显示课堂学生的学习状况，通过捕捉学生的面部表情和行为举止，统计分析学生课堂表现，当出现异常行为时提醒教师。

3)系统的fpga设计与实现，系统采集的数据无需上传云端，最大限度地保护学生和教师的隐私。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的课堂实时监测与评估系统的结构示意图。

图2是本发明的yolov3_tiny网络结构的示意图。

图3是本发明的目标检测网络的fpga设计与实现的架构图。

图4是本发明的课堂实时监测与评估系统的工作方法示意图。

图5是本发明的课堂实时监测与评估系统的创建方法示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图1，本发明提出一种课堂实时监测与评估系统，所述课堂实时监测与评估系统为一fpga系统，包括依次连接的视频采集模块10、数据调度模块20、图像分析模块30、结果统计模块40和一协调所有模块正常运行的处理器模块(图中未标识)。

所述视频采集模块10用以实时采集教室内的视频图像，将采集的视频图像解析成若干帧后依次发送至数据调度模块20。

结合图3，所述数据调度模块20包括至少一个第一存储器和一先入先出队列子模块，数据调度模块20将接收到的图像帧发送至第一存储器，经过先入先出队列依次进入图像分析模块30进行图像分析。优选的，所述第一存储器为同步动态随机存储器。

所述图像分析模块30包括一基于yolo网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及用以输出分析结果的yolo输出层。优选的，所述第二存储器为静态随机存取存储器。

此处的yolo网络选用的是yolov3_tiny网络，对比常用的v1网络、v2网络，v3网络具有响应速度快、性能更优的特性，适合在课堂分析这种人群密集度较高、行为表情特征值较多的场合应用。

结合图2，每个所述网络层包括对应设置的卷积层与池化层，卷积层和池化层的输出结果交替写入两个第二存储器中，以实现乒乓操作。

在本实施例中，所述池化层为最大池化层。

所述行为表情分析网络模型隔层之间的启动切换由握手信号决定，即：由握手信号启动的卷积层和池化层交替地从两个第二存储器中读取数据，进行处理后发送至下一级网络层。

所述yolo输出层分别与最后一级网络层、结果统计模块40连接，用以将输出结果传输至结果统计模块40。

所述结果统计模块40接收图像分析模块30发送的分析结果，对其中的异常行为进行统计分析。

在一些例子中，所述数据调度模块20与图像分析模块30之间设置有一图像调整模块，用以接收数据调度模块20输出的图像，缩放后发送至两个第二存储器中供网络层调用，数据调整模块用以对数据调度模块20输出的图像帧进行缩放后发送至图像分析模块30，使图像帧符合图像分析模块30的接收标准。

例如，一幅图像帧的像素比为1920*1080，经图像调整模块处理后转换成像素比为288*288的图像进入图像分析模块30进行具体行为表情的分析。

进一步的实施例中，所述行为表情分析网络模型还具有一权重设置模块，用以设置网络层的卷积核权重，卷积核权重并无定值，需要使用者根据实际需求设定。

结合图4，基于前述课堂实时监测与评估系统，本发明还提及一种课堂实时监测与评估系统的工作方法，所述工作方法包括：

实时采集课堂上学生的行为和表情图像，将之导入课堂实时监测与评估系统进行课堂表现分析和统计，课堂表现包括异常行为和正常行为两种，以及响应于同一时刻的异常行为的学生数量大于一设定数量阈值，发出警告。

对应的，课堂实时监测与评估系统中还包括一警告模块，用以发出警告提醒教师及时注意课堂上的异常行为。

其中，异常行为的判定标准可以设置如下：

对采集的每帧图像中的学生行为表情进行课堂表现评分，低于设定分值的课堂表现被定义成异常行为。

例如，其中学生a的眼睛注视老师、坐姿端正、正在举手回答问题、表情为高兴，各记一分，学生a的得分为4分；学生b的眼睛注视老师、表情为高兴，各记一分，但其动作为趴桌子，扣一分，学生b的得分则为1分。如果设定分值为2分，则学生a的行为被判定为正常行为，学生b的行为则被判定为异常行为。

考虑到一次课堂过程中，临近课堂开始时学生的注意力较为集中，而课堂中段或者后段学生的注意力会因为疲劳而有所涣散，结果统计模块40在统计一次课堂的教学结果总评分时可以将时间因素考虑进去，以获取更为客观和精确的判定结果。

具体的，所述方法还包括：

将一次课堂过程划分成若干个时间段ti，统计每个时间段中采集的所有图像中的学生行为表情的课堂表现的评分ai，i＝{1,2,…,n}，根据下述公式计算本次课堂的教学结果总评分s：

其中，ωi是每个时间段评分在计算教学结果总评分时所占据的权重，

所述方法还包括：

将所述结果统计模块40的统计分析结果在课堂结束后发送至一指定客户端，例如对应老师的手机、负责评价课堂效果的工作人员的手机等等。

结合图5，本发明还提及一种课堂实时监测与评估系统的创建方法，所述课堂实时监测与评估系统的创建方法包括：

s1：采集学生的行为和表情图像，叠加标准的人脸表情数据库以创建课堂学生行为表情数据库。

具体的，创建课堂学生行为表情数据库的方法还包括：对采集的图像数据进行标注，不仅标注目标人脸的区域还需要标注其行为和表情。

s2：对课堂学生行为表情数据库中的数据进行深度网络训练，经多次循环以获取最佳的网络参数。例如，由bp算法训练深度网络，通过多次循环得到最佳的网络参数。

s3：根据步骤s2中获取的网络参数以建立课堂实时监测与评估系统，课堂实时监测与评估系统为一fpga系统，系统采集的数据无需上传云端，最大限度地保护学生和教师的隐私。

所述的课堂行为和表情数据库是通过积累的学生资料加上采集的图像，记录学生阅读、记笔记、听讲、举手和趴桌子等行为以及高兴、反感、发呆、惊讶、愤怒等表情，建立课堂学生行为表情数据库，训练网络参数。

所述的实时显示课堂学生的学习状况，是通过捕捉学生的面部表情和行为举止，统计分析学生课堂表现，并对异常行为(如大批学生集体睡觉、玩手机等现象)进行提醒。

所述的实时嵌入式系统所有运算均由fpga本地完成，无需上传云端，无需上传云端，保护学生和教师的隐私。系统的fpga设计如图3所示。所述的统计输出结果在课堂结束后将结果发送至教师手机上。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。