一种基于视频分析的师生课堂即时互动系统和方法与流程

本发明涉及智慧互动课堂领域，具体涉及一种基于视频分析的师生课堂即时互动系统和方法。

背景技术：

传统的教学模式，是教师教为主、学生被动接受的模式，师生互动较少，教师难以及时准确的获取到学生的学习情况。为解决师生互动不足的问题，实现师生互动式教学的方式多通过学生使用以电子书包、答题器、学生智能笔等为主要载体的学生智能终端和教师使用的终端设备相配套来实现，该方式对于学校的软硬件环境和网络环境都要求较高，同时，学生智能终端对学生视力和身心健康也存在一定的影响，并且大量的学生终端设备其成本高昂，也就导致了基于学生终端设备的互动教学模式难以在教学课堂上得到普及。

技术实现要素：

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于视频分析的师生课堂即时互动系统和方法，无需使用任何学生智能终端的方式即可实现师生课堂的即时互动。

为达到以上目的，第一方面，本发明实施例提供一种基于视频分析的师生课堂即时互动系统，应用于在一教学课堂空间中的师生课堂即时互动，所述互动系统包括通信连接的视频分析设备和互动课堂终端，所述视频分析设备包括：

存储器，其预存有学生的互动行为和该互动行为的识别结果；

摄像头，其安装在所述教学课堂空间，用于实时监控所述教学课堂空间；

处理器，其与所述存储器和所述摄像头均相连；当师生课堂即时互动时，所述互动课堂终端向所述视频分析设备发送互动行为识别指令，所述处理器启动所述摄像头采集所有学生当前的互动行为；以及根据采集到的当前的互动行为判断其是否与预存的互动行为一致，若是，则生成对应的识别结果，并将所述识别结果发送至所述互动课堂终端；

其中，所述互动课堂终端用于根据所述即时互动的预设结果和所述识别结果进行数据分析，以完成课堂即时互动。

在上述技术方案的基础上，所述存储器还存储有所有学生的身份-人脸特征的数据。

第二方面，本发明实施例还提供一种如上述的基于视频分析的师生课堂即时互动系统的师生课堂即时互动方法，应用于在一教学课堂空间中的师生课堂即时互动，所述课堂互动方法包括：

预存学生的互动行为和该互动行为的识别结果在视频分析设备的存储器中；

互动课堂终端向所述视频分析设备发送互动行为识别指令，所述视频分析设备的处理器启动所述视频分析设备的摄像头采集所有学生当前的互动行为；

所述处理器根据采集到的当前的互动行为判断其是否与预存的互动行为一致，若是，则生成对应的识别结果，并将所述识别结果发送至所述互动课堂终端；

所述互动课堂终端根据所述即时互动的预设结果和所述识别结果进行数据分析，完成课堂即时互动。

在上述技术方案的基础上，当所述师生课堂即时互动为课堂问答时，所述互动行为为学生响应于教师的问题的回答；其中，所述互动行为包括手势、颜色卡片、标志物中的至少一种，所述识别结果为选项或正误。

在上述技术方案的基础上，所述互动课堂终端根据所述即时互动的预设结果和所述识别结果进行数据分析的具体方法包括：

所述互动课堂终端根据接收到的所有识别结果的数量，动态计算学生的参与率；

判断所述识别结果是否与所述预设结果一致，若是，则回答正确，否则，回答错误；

计算回答正确的数量与所有识别结果的数量，动态计算学生回答的正确率。

在上述技术方案的基础上，当所述师生课堂即时互动为课堂讨论时，所述互动行为为学生的面部表情，所述识别结果为兴奋、喜欢、参与、沮丧、厌恶、回避。

在上述技术方案的基础上，所述互动课堂终端根据所述即时互动的预设结果和所述识别结果进行数据分析的具体方法包括：

所述互动课堂终端根据接收到的所有识别结果的类型和数量，动态计算课堂上学生的活跃指数。

在上述技术方案的基础上，在互动课堂终端向所述视频分析设备发送互动行为识别指令之前，所述课堂互动方法还包括：

所述互动课堂终端向所述视频分析设备依次发送学生人脸的采集指令，所述采集指令包括学生的身份信息；

所述视频分析设备依次采集学生身份和该学生的人脸特征，以及依次存储所有所述学生的身份-人脸特征。

在上述技术方案的基础上，所述视频分析设备将所有学生的人脸特征依次回传至所述互动课堂终端，以形成具有学生的人脸特征的学生信息数据库。

在上述技术方案的基础上，当所述互动课堂终端根据所述即时互动的预设结果和所述识别结果进行数据分析之后，所述互动课堂终端向所述视频分析设备发送停止互动行为识别指令。

与现有技术相比，本发明的优点在于：

(1)本发明中，教师使用互动课堂终端控制安装在视频分析设备采集识别学生在课堂上的互动行为，视频分析设备自动将互动行为的识别结果回传至互动课堂终端，互动课堂终端对识别结果和预设结果进行比对分析以即时快速地获取学生在课堂上上表现，实现师生课堂的即时互动，方便教师快速了解学生的学习情况。

(2)本发明中，视频分析设备在未接受互动课堂终端的互动行为识别指令状态时，仅作视频监控之用，且学生也无需使用学生智能终端，提高学生对于课堂的关注度，有利于提高课堂的教学质量。

(3)本发明中，师生课堂即时互动系统仅需使用视频分析设备和互动课堂终端，与现有的互动教学相比，师生课堂即时互动系统中涉及的设备少，具有较大的成本优势，也有利于师生互动式教学推广。

附图说明

图1为本发明实施例中一种基于视频分析的师生课堂即时互动系统的结构示意图；

图2为本发明实施例中一种基于视频分析的师生课堂即时互动方法的流程示意图；

图3为本发明实施例中在师生课堂即时互动为课堂问答时的课堂问答的流程示意图；

图4为本发明实施例中学生信息数据库形成的流程示意图。

具体实施方式

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

实施例

参见图1所示，本发明实施例提供一种基于视频分析的师生课堂即时互动系统，应用于在一教学课堂空间中的师生课堂即时互动，所述互动系统包括通信连接的视频分析设备和互动课堂终端，所述视频分析设备包括存储器、摄像头和处理器；其中，所述存储器预存有学生的互动行为和该互动行为的识别结果；所述摄像头安装在所述教学课堂空间，用于实时监控所述教学课堂空间；所述处理器与所述存储器和所述摄像头均相连；当师生课堂即时互动时，所述互动课堂终端向所述视频分析设备发送互动行为识别指令，所述处理器启动所述摄像头采集所有学生当前的互动行为；以及根据采集到的当前的互动行为判断其是否与预存的互动行为一致，若是，则生成对应的识别结果，并将所述识别结果发送至所述互动课堂终端；所述互动课堂终端用于根据所述即时互动的预设结果和所述识别结果进行数据分析，以完成课堂即时互动。

本发明实施例提供一种基于视频分析的师生课堂即时互动系统，教师在使用该互动系统时，使用互动课堂终端控制安装在视频分析设备采集识别学生在课堂上的互动行为，视频分析设备自动将互动行为的识别结果回传至互动课堂终端，其中，使用视频分析设备的摄像头动态获取学生的互动行为视频，通过处理器将该互动行为视频采用现有的图像处理技术提取该互动行为，并通过识别定义的方式定义该互动行为的识别结果，互动课堂终端对识别结果和预设结果进行比对分析以即时快速地获取学生在课堂上上表现，实现师生课堂的即时互动，方便教师快速了解学生的学习情况。

同时，对于现有技术中的具有学生智能终端的互动系统而言，本发明实施例也可以在其基础上通过对教室内的摄像头加以改进，使得互动课堂终端，即教师用的客户端，可以控制改进后的摄像头采集学生的互动行为并识别回传至互动课堂终端，可见，本申请在原有互动系统的基础上，在摄像头的设备的基础上对其改进，使得该摄像头具备视频分析识别的效果，实现双互动系统，其实现方式简单易操作，且当停止原互动系统中的学生智能终端的使用时，改进过的摄像头可作为备用互动系统使用。与现有的互动系统相比，本发明实施例中涉及的设备少，具有较大的成本优势，也有利于师生互动式教学推广。本发明实施例改变了老师通过被动接收学生使用学生智能终端回传的课堂互动的信息，直接通过老师来控制互动课堂终端来主动获取学生的课堂互动的信息；并且学生不使用学生智能终端，减少了课堂上的干扰因素，提高学生对于课堂的关注度，有利于提高课堂的教学质量。

作为对本实施例的进一步完善与补充，所述存储器还存储有所有学生的身份-人脸特征的数据。视频分析设备本地存储课堂上所有学生的身份-人脸特征的数据，在视频分析设备将学生在课堂上的互动行为识别为识别结果之后，将学生的识别结果回传至互动课堂终端，教师可明确知道每个学生的互动行为，有利于教师关注单个学生的发展。

参见图2所示，本发明实施例还提供一种如上述的基于视频分析的师生课堂即时互动系统的师生课堂即时互动方法，所述师生课堂即时互动系统包括视频分析设备和互动课堂终端，所述课堂互动方法包括：

步骤s1：预存学生的互动行为和该互动行为的识别结果在视频分析设备的存储器中；

步骤s2：互动课堂终端向所述视频分析设备发送互动行为识别指令，所述视频分析设备的处理器启动所述视频分析设备的摄像头采集所有学生当前的互动行为；

步骤s3：所述处理器根据采集到的当前的互动行为判断其是否与预存的互动行为一致，若是，则生成对应的识别结果，并将所述识别结果发送至所述互动课堂终端；若否，则转至步骤s5；

步骤s4：所述互动课堂终端根据所述即时互动的预设结果和所述识别结果进行数据分析，完成课堂即时互动；

步骤s5；认定当前的互动行为为无效行为，不统计识别结果。

作为本发明实施例的一种优选方案，当所述师生课堂即时互动为课堂问答时，所述互动行为为学生响应于教师的问题的回答；其中，所述互动行为包括手势、颜色卡片、标志物中的至少一种，所述识别结果为选项或正误。

参见图2所示，示例性地，本发明实施例提出构建了一种课堂问答的识别模式模型，其对手势、颜色卡片、标志物三种识别模式的定义，每种识别模式均对应选择题的选项(如a、b、c、d)、判断题的选项(正确、错误)。首先通过互动课堂终端指定识别类型，如手势、颜色卡片等，向视频分析设备发送识别模式定义的命令，摄像头进入识别模式定义状态，摄像头将采集到的指定识别类型(手势、颜色卡片等)与课堂问答的回答选项建立映射关系，比如互动行为为手势拳头，识别结果为选择题的选项a，互动行为为手势伸出大拇指，识别结果为判断题的选项“正确”等。对于手势识别，通过摄像头采集录入定义的手势；对于颜色卡片识别，通过摄像头采集录入定义的颜色。

具体地，所述步骤s4的具体方法包括：

步骤s401：所述互动课堂终端根据接收到的所有识别结果的数量，动态计算学生的参与率；

步骤s402：判断所述识别结果是否与所述预设结果一致，若是，则回答正确，否则，回答错误；

步骤s403：计算回答正确的数量与所有识别结果的数量，动态计算学生回答的正确率。

为了更好地统计分析学生的学习情况，在互动课堂终端向所述视频分析设备发送互动行为识别指令之前，所述课堂互动方法还包括：

所述互动课堂终端向所述视频分析设备依次发送学生人脸的采集指令，所述采集指令包括学生的身份信息；

所述视频分析设备依次采集学生身份和该学生的人脸特征，以及依次存储所有所述学生的身份-人脸特征。

更进一步地，所述视频分析设备将所有学生的人脸特征依次回传至所述互动课堂终端，以形成具有学生的人脸特征的学生信息数据库。方便收集学生的完整信息，用于学生学习情况的后期分析统计。

如图4所示，示例性地，本发明实施例通过互动课堂终端和视频分析设备中的人脸识别信息采集摄像头共同完成学生信息采集。其实施方式为：互动课堂终端发送开启人员信息采集的指令到视频分析设备，摄像头进入信息采集模式；教师创建班级和学生对象，学生信息包括学生的学号、性别、姓名、年龄等基础信息，教师指定该学生进行人脸采集，通过互动课堂终端将该学生学号发送到视频分析设备，学生面对摄像头进行人脸扫描，摄像头采集到人脸特征后，将该学生的面部特征、人脸图像等特征与该学生的学号关联起来存储本地，同时将学生面部特征和人脸图像信息回传到互动课堂终端；互动课堂终端将该学生的基础信息和人脸识别信息结合起来，形成该学生的信息化数据；教师按照该方式完成班级所有学生的信息采集，视频分析设备存储所有学生的学号-人脸特征的数据，便于课堂互动时能将互动行为对应的识别结果与学生本人关联起来。

参见图3所示，在师生课堂即时互动时，教师发起提问，并使用互动课堂终端向视频分析设备发送开始采集指令，摄像头根据设定的问答识别模式，扫描学生的手势或者手中卡片的颜色，并将识别结果映射成问答选项，如a、b、c、d、正确、错误；同时，所述视频分析设备根据学生的人脸特征识别出具体的学生，将学生和学生的识别结果一同回传给互动课堂终端；互动课堂终端根据视频分析设备回传的学生回答数据，动态解析和统计学生参与回答的比率，根据正确答案与学生回答结果的比对，计算出学生回答的正确率。

优选地，当所述互动课堂终端根据所述即时互动的预设结果和所述识别结果进行数据分析之后，所述互动课堂终端向所述视频分析设备发送停止互动行为识别指令。

作为本发明实施例的另一种优选方案，当所述师生课堂即时互动为课堂讨论时，所述互动行为为学生的面部表情，所述识别结果为兴奋、喜欢、参与、沮丧、厌恶、回避。

具体地，所述互动课堂终端根据所述即时互动的预设结果和所述识别结果进行数据分析的具体方法包括：

所述互动课堂终端根据接收到的所有识别结果的类型和数量，动态计算课堂上学生的活跃指数。

示例性地，本发明实施例还可以通过学生面部表情识别实现高效小组教学(group-teaching)，将小组内正面参与小组讨论的学生占比定义为小组讨论活跃指数，通过视频分析设备识别学生面部表情并向互动课堂终端回传，互动课堂终端计算小组讨论活跃指数，进而可教师针对讨论活跃指数低的小组进行干预和引导，实现高效的小组教学。

本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。