一种基于图像识别的教室教学情况监控系统及方法与流程

本发明涉及教学监控技术领域，特别是一种基于图像识别的教室教学情况监控系统及方法。

背景技术：

目前，以计算机网络、中控系统应用、闭路电视监控为辅助工具的多媒体教室管理系统越来越普及，大大减轻了管理人员以及教师的工作量，但是学生上课效率、险情报警、学生考勤问题也随之而来。为进一步提高多媒体教室管理的智能化水平，利用摄像机视频信息进行教室学生计数以及课堂管理就成为一个值得研究的课题。

对于教室这一人员较为固定的场所，对教室内学生人数及其行为进行识别是教室管理中的核心问题和难点。现有的教室管理系统主要有三种方式。第一种方式是采用ic卡验证方式，ic卡实名认证且一人一卡，学生进教室刷卡。但这种方法有很大的一个缺点就是只能识别ic卡而不能识别学生本身，可能会出现有学生代刷ic卡或者未带ic卡不能签到等问题；第二种方式是采用一种流动人数统计装置，该装置由进出判别器、可逆计数器、译码驱动器和显示电路构成，利用红外线传感器等设备统计出具体的人数。此方法虽然能够实现人数的统计，但是它的判定条件过低，只要有物体对传感器信号有遮挡便计入人数，可能会出现多计或者漏计的问题；第三种方式是用监控摄像头采集教室内的图像信息，利用图像处理的方法对教室内学生人数进行统计。此方法用软硬件结合的方法对人数进行统计，具有很好的实时性，准确性和易用性较高，是市面上采用最为广泛的方法。

然而目前市面上存在的教室视频监控系统大多只能实现对学生人数的识别，除此以外，对于学生课堂行为以及一些紧急情况，如火灾等的判别尚缺少成熟的监控方案。

技术实现要素：

本发明的目的在于提供一种能够对教室教学过程进行智能化监控、减少教师的工作量，并能对紧急情况进行监控和报警的基于图像识别的教室教学情况监控系统及方法。

实现本发明目的的技术解决方案为：一种基于图像识别的教室教学情况监控系统，包括图像采集单元、信息处理与控制单元、信息提示单元，其中：

所述图像采集单元，用于采集教室内的图像，并将采集的图像数据传输至信息处理与控制单元；

所述信息处理与控制单元，用于对采集到的图像信息进行识别处理，得到上课学生人数、长时间低头学生座位号以及是否有火灾发生的信息，并将处理结果发送到信息提示单元；

所述信息提示单元，用于显示上课学生人数、长时间低头学生座位号以及在检测到火灾时发出报警信号。

进一步地，所述图像采集单元为安装在教室内不同位置的多架监控摄像头以及usb数据采集卡；所述监控摄像头用于采集原始视频数据；所述usb数据采集卡以设定的频率采样视频数据，并将采样得到的图像信息转换成数字量发送到信息处理与控制单元。

进一步地，所述信息处理与控制单元为计算机，所述计算机通过usb数据采集卡接收来自监控摄像头的图像信息，并对图像信息进行识别处理，得到上课学生人数、长时间低头学生座位号以及是否有火灾发生的信息；最后，计算机将处理结果发送到信息提示单元。

进一步地，所述信息提示单元包括显示器、显示数码管和报警装置；所述显示器用来显示上课学生人数，所述显示数码管用于显示长时间低头学生的座位号，所述报警装置用于在火灾发生时控制报警铃进行报警。

一种基于图像识别的教室教学情况监控方法，包括以下步骤：

步骤1，图像采集单元采集教室内的图像，并将采集的图像数据传输至信息处理与控制单元；

步骤2，信息处理与控制单元通过对教室内有人和无人时的图像进行比对，判断出座位上是否有人，得到教室内的上课学生人数；

步骤3，信息处理与控制单元对有人座位的局部图像进行人脸识别，以能否检测到人脸为依据判断学生是否低头；

步骤4，在判定学生低头的基础上，继续判断学生是否属于长时间低头即持续低头时间是否超出设定阈值，如果判断结果为长时间低头学生则识别该学生的座位号；

步骤5，信息处理与控制单元通过对教室图像进行火焰数据检测，判断是否有火灾发生；

步骤6，信息提示单元根据信息处理与控制单元得到的结果，显示上课学生人数、长时间低头学生座位号以及是否有火灾发生的信息，在检测到火灾时发出报警信号。

进一步地，步骤2中所述的信息处理与控制单元通过对教室内有人和无人时的图像进行比对，判断出座位上是否有人，得到教室内的上课学生人数，具体如下：

步骤1.1、读入无人时和有人时的图像，将每一排从整个图像中分离出来，再对每一排的图像进行滤波和腐蚀重构处理；

步骤1.2、将处理后的图像转化为灰度图像，并进行直方图均衡化，然后将均衡化后的无人图像与有人图像的每一排做绝对差处理，得到差值图像；

步骤1.3、将差值图像中每个座位区域分离出来，并将其二值化，再进行区域标记；

步骤1.4、计算每个座位对应的标记区域面积是否满足设定的条件，满足则代表有人，不满足则代表无人，从而得到教室的人数统计信息。

进一步地，步骤3中所述的信息处理与控制单元对有人座位的局部图像进行人脸识别，以能否检测到人脸为依据判断学生是否低头，具体如下：

将系统分离出来的以每个座位为单位的图像，只对判定为有人的座位照片进行人脸检测，若检测不到人脸，则判断为学生低头。

进一步地，步骤4中所述的判断学生是否属于长时间低头，具体如下：

步骤3.1、如果步骤2中判定座位上的学生发生低头行为，则在系统中将该座位号的低头数据x加1，x的初始取值为0；

步骤3.2、系统每次取样图像数据都对该座位进行低头检测，若没有检测到低头行为，则将x清零，若检测到低头行为则x的值加1；

步骤3.3、若x达到界限值y，则判定该学生属于长时间低头。

进一步地，步骤5中所述的信息处理与控制单元通过对教室图像进行火焰数据检测，判断是否有火灾发生，具体如下：

根据图像亮度计算算法计算出图像的亮度，如果图像亮度大于预先设定的火焰图像的先验亮度值，则判定有火灾发生。

本发明与现有技术相比，其显著优点在于：(1)实现了对教室教学过程的智能化监控，减少了教师的工作量；(2)能够对火灾等紧急情况进行监控，提高了教室和教学过程的安全性。

附图说明

图1是本发明基于图像识别的教室教学情况监控系统的结构示意图。

图2是本发明的模块结构图。

图3是本发明主程序的流程示意图。

图4是本发明中人数统计子程序的流程示意图。

图5是本发明中长时间低头检测子程序的流程示意图。

图6是本发明中火灾检测子程序的流程示意图。

具体实施方式

一种基于图像识别的教室教学情况监控系统，包括图像采集单元、信息处理与控制单元、信息提示单元，其中：

所述图像采集单元，用于采集教室内的图像，并将采集的图像数据传输至信息处理与控制单元；

所述信息处理与控制单元，用于对采集到的图像信息进行识别处理，得到上课学生人数、长时间低头学生座位号以及是否有火灾发生的信息，并将处理结果发送到信息提示单元；

所述信息提示单元，用于显示上课学生人数、长时间低头学生座位号以及在检测到火灾时发出报警信号。

进一步地，所述图像采集单元为安装在教室内不同位置的多架监控摄像头以及usb数据采集卡；所述监控摄像头用于采集原始视频数据；所述usb数据采集卡以设定的频率采样视频数据，并将采样得到的图像信息转换成数字量发送到信息处理与控制单元。

进一步地，所述信息处理与控制单元为计算机，所述计算机通过usb数据采集卡接收来自监控摄像头的图像信息，并对图像信息进行识别处理，得到上课学生人数、长时间低头学生座位号以及是否有火灾发生的信息；最后，计算机将处理结果发送到信息提示单元。

进一步地，所述信息提示单元包括显示器、显示数码管和报警装置；所述显示器用来显示上课学生人数，所述显示数码管用于显示长时间低头学生的座位号，所述报警装置用于在火灾发生时控制报警铃进行报警。

一种基于图像识别的教室教学情况监控方法，包括以下步骤：

步骤1，图像采集单元采集教室内的图像，并将采集的图像数据传输至信息处理与控制单元；

步骤2，信息处理与控制单元通过对教室内有人和无人时的图像进行比对，判断出座位上是否有人，得到教室内的上课学生人数；

步骤3，信息处理与控制单元对有人座位的局部图像进行人脸识别，以能否检测到人脸为依据判断学生是否低头；

步骤4，在判定学生低头的基础上，继续判断学生是否属于长时间低头即持续低头时间是否超出设定阈值，如果判断结果为长时间低头学生则识别该学生的座位号；

步骤5，信息处理与控制单元通过对教室图像进行火焰数据检测，判断是否有火灾发生；

步骤6，信息提示单元根据信息处理与控制单元得到的结果，显示上课学生人数、长时间低头学生座位号以及是否有火灾发生的信息，在检测到火灾时发出报警信号。

进一步地，步骤2中所述的信息处理与控制单元通过对教室内有人和无人时的图像进行比对，判断出座位上是否有人，得到教室内的上课学生人数，具体如下：

步骤1.1、读入无人时和有人时的图像，将每一排从整个图像中分离出来，再对每一排的图像进行滤波和腐蚀重构处理；

步骤1.2、将处理后的图像转化为灰度图像，并进行直方图均衡化，然后将均衡化后的无人图像与有人图像的每一排做绝对差处理，得到差值图像；

步骤1.3、将差值图像中每个座位区域分离出来，并将其二值化，再进行区域标记；

步骤1.4、计算每个座位对应的标记区域面积是否满足设定的条件，满足则代表有人，不满足则代表无人，从而得到教室的人数统计信息。

进一步地，步骤3中所述的信息处理与控制单元对有人座位的局部图像进行人脸识别，以能否检测到人脸为依据判断学生是否低头，具体如下：

将系统分离出来的以每个座位为单位的图像，只对判定为有人的座位照片进行人脸检测，若检测不到人脸，则判断为学生低头。

进一步地，步骤4中所述的判断学生是否属于长时间低头，具体如下：

步骤3.1、如果步骤2中判定座位上的学生发生低头行为，则在系统中将该座位号的低头数据x加1，x的初始取值为0；

步骤3.2、系统按照一定的频率取样，每次取样都会对该座位进行低头检测，若没有检测到低头行为，则将x清零，若检测到低头行为则x的值加1；

步骤3.3、若x达到界限值y，则判定该学生属于长时间低头。

进一步地，步骤5中所述的信息处理与控制单元通过对教室图像进行火焰数据检测，判断是否有火灾发生，具体如下：

根据图像亮度计算算法计算出图像的亮度，如果图像亮度大于预先设定的火焰图像的先验亮度值，则判定有火灾发生。

下面结合附图，对本发明的具体实施方式进行详细的说明。

实施例

结合图1、图2，本发明一种基于图像识别的教室教学情况监控系统，包括图像采集单元、信息处理与控制单元和信息提示单元，其中：

所述图像采集单元，用于采集教室内的图像，并将采集的图像数据传输至信息处理与控制单元；

所述信息处理与控制单元，用于对采集到的图像信息进行识别和处理，并将处理的结果送到信息提示单元；

所述信息提示单元，用于显示上课学生人数、长时间低头学生座位号以及在检测到火灾时发出报警信号。

系统采用两枚监控摄像头从教室前方的两个角度采集教室内图像，图像经过usb数据采集卡送到计算机。本具体实施方案中数据采集卡采用的是usb2831。usb2831是一款具有usb接口的精度为12位数据采集器，可以通过usb接口与计算机相连，可以实现250ks/s的采样频率，具有a/d、d/a以及dio功能。

设置usb2831以每秒一次的采样频率采集视频信号，并将采样信息转换为数字信号通过usb接口传送给计算机；计算机对图像信息进行处理与识别，得出上课学生人数、长时间低头学生座位号以及火灾的发生等信息。

结合图3，一种基于图像识别的教室教学情况监控系统，包括以下步骤：

步骤1：信息处理与控制单元通过对教室内有人和无人时的图像进行比对，判断出座位上是否有人，得到教室内的学生人数，结合图4，具体如下：

步骤1.1、读入无人时和有人时的图像，将每一排从整个图像中分离出来，由于每一排的光照强度基本相同，因此以行为单位对图像进行分离，有利于对图像进行后续的滤波、腐蚀、灰度处理等操作，减小光照的影响。分行处理相对于对整个图像进行处理的优势是：受光照影响较小，可以简化算法，可以提高人数统计的准确性，稳定性较高；再对分离出的每一排的图像进行滤波和腐蚀重构处理，以减小光照的影响，滤波和腐蚀重构的具体方法及参数可以根据具体的教室及摄像头情况设定；

步骤1.2、将处理后的图像转化为灰度图像，并进行直方图均衡化，然后将均衡化后的无人图像与有人图像的每一排做绝对差处理，得到差值图像；

步骤1.3、将差值图像中每个座位区域分离出来，并将其二值化，再进行区域标记，得到最终的标记区域，此处的区域标记就是将二值化后的图像中白色的部分进行标记，从而得到标记面积；

步骤1.4、计算每个座位对应的标记区域面积是否满足设定的条件，得到的标记区域的总面积即是桌面上的被占区域，当此区域超过整个桌面区域的1/3时，视为有人，否则代表无人；将判断为有人的座位数相加，从而得到教室的人数统计信息。

步骤2：信息处理与控制单元对有人座位的局部图像进行人脸识别，以能否检测到人脸为依据判断学生是否低头，具体如下：

步骤2.1、将系统得到的以行为单位的图像按座位分割成每个座位的图像，只对判定为有人的座位照片进行人脸检测；

步骤2.2、制作平均人脸模板，具体如下：

①搜集人脸样本，筛选出具有显著特性的人脸样本，包括性别、年龄、种族等，转换为灰度图像；

②在筛选出的人脸样本中通过截图工具截取人脸区域，人的眼睛、鼻子、嘴巴必须包含在截取的样图中；

③对手工截图的人脸区域的尺寸大小规范化，保证人脸模板有相同的大小，同时满足人脸区域的长宽比、面积大小的要求；

④人脸模板的标准化；标准化的目的是为了消除光照对肤色的影响，相比于灰度均衡化，标准化可以减小人脸模板之间的区别，能制作出更标准的人脸模板；

步骤2.3、采用基于像素的模板匹配方法，判断图像中是否存在人脸，设有大小m×m为的模板，大小为n×n待筛选区域。例如模板的像素大小为30×30，在像素为900×900的待筛选区域内进行模板匹配，即将待筛选图像中的每一个与模板一样大小的子区域与模板作比较，求得相关系数最大的子区域就是我们需要的目标位置。模板匹配的算法流程为：

①计算出模板的均值，以及方差；

②计算出当前待筛选区域的均值，以及方差；

③当模板匹配到待检测区域时，计算模板和区域的相关系数r，公式如下：

其中，tij、dij分别为模板和待筛选区域的像素点的像素值；ut为模板的均值，ud为当前待选筛区域的均值；σr为模板的方差，σu为当前待筛选区域的方差。

④得到相关系数后，与阈值比较，确定是否为人脸区域；

步骤3：在判定学生低头的基础上，继续判断学生是否属于长时间低头，结合图5，具体如下：

步骤3.1、如果步骤2中判定某一座位上的学生发生低头行为，则在系统中将该座位号的低头数据x加1，x的初始值为零；

步骤3.2、系统每隔1秒采样图像数据，并且每次采样都会对该座位进行低头检测，若没有检测到低头行为，则将x清零，若检测到低头行为则x的值加1；

步骤3.3、若x达到界限值y，则判定该学生属于长时间低头。

在本实施例中，设y的值为180，当x的值超过180时，即3分钟内未检测到学生人脸数据，将判断该学生为长时间低头，上课注意力不集中。在其它的实际应用中，可根据需要自行设置y的取值。

步骤4：信息处理与控制单元通过对教室图像进行火焰数据检测，来判断火灾的发生，结合图6，具体如下：

步骤4.1、监控摄像头采集教室整体图像，信号处理控制系统定时对图像进行取样；

步骤4.2、求出图像的灰度直方图，并对图像进行直方图均衡化；

步骤4.3、采用中值滤波，去除图像噪声；

步骤4.4、滤波之后，对图像进行二值化分析，将火焰图像和背景分离；

步骤4.5、图像边缘提取，利用matlab自带的函数计算图像的面积及边缘轮廓的周长，然后通过图像亮度计算算法计算出图像的亮度，如果图像亮度大于预先设定的火焰图像的先验亮度值，则判定有火情发生，系统就会通过报警装置发出报警信号。

系统通过usb2831数据采集卡的dio接口与显示数码管以及报警装置相连，实现信息提示功能。

综上可知，本发明基于图像识别的教室教学情况监控系统，可以实现对教室内学生人数、学生长时间低头以及火灾情况的判定，能够实现对教学过程智能实时的管理。