一种考场智能监控系统和方法

专利名称：一种考场智能监控系统和方法
技术领域：
本发明涉及一种监控系统和方法，更具体地说，涉及一种考场智能监控系统和方法。
背景技术：
随着社会对考试公平的要求越来越高，考试过程中考生的行为识别与监控技术获得越来越多的重视。目前网上巡考系统正在大量推行，在应用过程中如何对全国数以万计的考点、近千万考生的考试行为进行实时监控，是一个亟待解决的问题。目前网上巡考系统是一种事件历史记录系统，不能实现考试过程异常事件和考生疑似违规行为的监控。目前的系统将多台摄像机的视频信息传回到监控中心。各级巡考点可通过网络通路进行考点视频的巡视和检查，但人观察的范围极为有限。因此，研究如何应用人工智能技术对监控信息进行处理、识别考场疑似违规行为进而报警变得越来越重要。

发明内容
本发明要解决的技术问题在于，针对现有技术的上述不能提供考场实时监控自动提示的缺陷，提供一种应用人工智能技术对监控信息进行处理、识别考场疑似违规行为进而报警的考场智能监控系统和方法。本发明解决所述技术问题可以通过采用以下技术方案来实现构造一种考场智能监控系统，其中，包括信号输入系统用于采集并发送监控信号；信号预处理系统用于预处理和特征提取所述监控信号并发送预处理和特征提取后的监控信号；考场行为单模态识别系统用于对预处理后的监控信号及其特征进行单模态识别和疑似违规行为分类，并产生识别结果；考场监控管理后台系统用于接收所述识别结果并作出处理。在本发明所述的考场智能监控系统中，所述监控信号包括视频监控信号、音频监控信号和/或传感器接收到的监控信号；所述信号输入系统包括视频信号采集设备用于采集、数字化、压缩编码并发送视频监控信号；和/或音频信号采集设备用于采集、数字化、压缩编码并发送音频监控信号；和/或传感器采集设备用于采集并发送相应的传感器接收到的监控信号；所述信号预处理系统包括与所述视频信号采集设备相应的视频信号预处理单元、正常动作过滤单元、视频特征提取单元；和/或与所述音频信号采集设备相应的音频信号预处理单元、异常声音定位单元、音频特征提取单元；所述视频信号预处理单元用于对所述视频监控信号进行信号状态判断和预处理；所述正常动作过滤单元用于将考场内正常的动作过滤；所述视频特征提取单元用于对所述视频信号预处理单元处理过的视频监控信号进行特征提取处理；所述音频信号预处理单元用于对所述音频监控信号进行信号状态判断和预处理；所述异常声音定位单元用于估计考场内异常声音方位； 所述音频特征提取单元用于对所述音频信号预处理单元处理过的音频监控信号进行特征提取处理；音频监控信号和/或视频监控信号采用流媒体方式通过流媒体接口发送到考场监控管理后台系统。
在本发明所述的考场智能监控系统中，所述考场行为单模态识别系统包括所述视频异常分析单元用于通过异常行为模型库对所述视频特征提取单元处理过的视频监控信号进行异常行为分类；或所述音频异常分析单元用于通过异常声音模型库对所述音频特征提取单元处理过的音频监控信号进行异常声音分类；所述异常行为模型库和所述异常声音模型库根据所述考场监控管理后台系统的处理结果进行学习并更新所述异常行为模型库和所述异常声音模型库中的识别模型。在本发明所述的考场智能监控系统中，所述考场监控管理后台系统包括报文提示与管理单元、流媒体显示与回放单元、行为识别单元设置与升级单元、考场行为监控系统配置与管理单元；所述报文提示与管理单元用于接收所述考场行为单模态识别系统以报文发出的识别结果，并采用数据库技术进行管理；所述流媒体显示与回放单元用于接收流媒体接口送出的音频监控信号和/或视频监控信号，并进行显示、回放以及管理；所述行为识别单元设置与升级单元用于对异常行为模型库以及异常声音模型库的识别算法参数以及其他各单元模块的参数接口进行远程设置，对信号输入系统、信号预处理系统以及考场行为单模态识别系统进行整体软件升级；所述考场行为监控系统配置与管理单元用于对所述考场行为智能监控系统软硬件进行配置和管理，并通过连接考场监考教师通信设备远程发送指令或系统识别信息。在本发明所述的考场智能监控系统中，还包括考场行为多模态决策和识别系统包括基于决策层的多模态融合单元、考场行为多模态识别规则与模型库及考场行为多模态识别单元，所述考场行为多模态识别单元根据基于决策层的多模态融合单元融合视频异常分析单元、视频异常分析单元以及传感器采集设备获取的信号，根据考场行为多模态识别规则与模型库进行综合分析，并将发送综合识别结果发送给考场监控管理后台系统。在本发明所述的考场智能监控系统中，所述考场行为多模态识别规则与模型库根据所述考场监控管理后台系统的处理结果进行学习并更新所述考场行为多模态识别规则与模型库中的识别模型和规则。在本发明所述的考场智能监控系统中，所述考场监控管理后台系统包括报文提示与管理单元、流媒体显示与回放单元、行为识别单元设置与升级单元、考场行为监控系统配置与管理单元；所述报文提示与管理单元用于接收考场行为多模态决策和识别系统以报文发出的识别结果，并采用数据库技术进行管理；所述流媒体显示与回放单元用于接收流媒体接口送出的音频监控信号和/或视频监控信号，并进行显示、回放以及管理；所述行为识别单元设置与升级单元用于对异常行为模型库、异常声音模型库以及考场行为多模态识别规则与模型库的识别算法参数以及其他各单元模块的参数接口进行远程设置，对信号输入系统、信号预处理系统、考场行为单模态识别系统以及考场行为多模态决策和识别系统进行整体软件升级；所述考场行为监控系统配置与管理单元用于对考场行为智能监控系统软硬件进行配置和管理，并通过连接考场监考教师通信设备远程发送指令或系统识别信息。构造一种考场智能监控方法，基于一种考场智能监控系统，所述考场智能监控系统包括信号输入系统、信号预处理系统、考场行为单模态识别系统以及考场监控管理后台系统，其中，包括S1、信号输入系统采集并发送监控信号；S2、信号预处理系统预处理和特征提取所述监控信号并发送预处理和特征提取后的监控信号；S3、考场行为单模态识别系统对预处理后的监控信号及其特征进行单模态识别和疑似违规行为分类，并产生识别结果；S4、考场监控管理后台系统接收所述识别结果并作出处理。在本发明所述的考场智能监控方法中，所述监控信号为视频监控信号、音频监控信号和/或传感器接收到的监控信号；所述步骤Si包括视频信号采集设备采集、数字化、 压缩编码并发送视频监控信号，音频信号采集设备采集、数字化、压缩编码并发送音频监控信号，传感器采集设备采集并发送相应的传感器接收到的监控信号；所述步骤S2包括视频信号预处理单元对所述视频监控信号进行信号状态判断和预处理，正常动作过滤单元将考场内正常的动作过滤，视频特征提取单元对所述视频信号预处理单元处理过的视频监控信号进行特征提取处理；音频信号预处理单元对所述音频监控信号进行信号状态判断和预处理，异常声音定位单元估计考场内异常声音方位，音频特征提取单元对所述音频信号预处理单元处理过的音频监控信号进行特征提取处理。在本发明所述的考场智能监控方法中，步骤S3包括a、将所述视频信号特征提取单元或所述音频信号特征提取单元06)提取的各种特征量进行选择、加权以及降维处理， 构成特征向量；b、视频异常分析单元根据所述特征向量选择异常行为模型库中对应的识别模型进行实时分类，音频异常分析单元根据所述特征向量选择异常声音模型库中对应的识别模型进行实时分类；所述异常行为模型库或所述异常声音模型库中存储的是一系列已训练好的针对各种考场行为和声音的所述识别模型，所述识别模型为采用机器学习技术构建的分类器。在本发明所述的考场智能监控方法中，还包括所述考场行为多模态决策与识别系统接收所述考场行为单模态识别系统的识别结果进行多模态综合分析并发送给所述考场监控管理后台系统处理的步骤，所述多模态综合分析包括a、通过算法进行融合处理，融合处理算法包括小波变换、加权平均、产生式规则和卡尔曼滤波；b、对经a步骤处理后的信号通过算法进行特征融合处理，将多个低维的特征描述向量融合形成更高维的联合特征向量参数，特征融合处理算法包括参量模板法、聚类分析法、模糊集理论、可能性理论、自适应神经网络、物理模型、黑板模型和逻辑模板法；C、利用考场行为多模态识别规则与模型库中的模型，对经步骤b处理过的信号通过算法进行识别判断处理，识别判断处理算法包括经典推理、贝叶斯推理、统计决策、DS证据理论、模糊理论、神经网络、专家系统、粗糙集理论、广义证据推理理论、直接推断法、可能理论和缺省推理。在本发明所述的考场智能监控方法中，还包括根据所述考场监控管理后台系统的处理结果进行学习并更新多模态识别规则与模型库中的信息的步骤。采用本发明所述的考场智能监控系统以及方法，具有以下有益效果采用本发明信号预处理系统和考场行为识别系统可以实现应用人工智能技术对监控信息进行处理，识别考场疑似违规行为进而报警。多种监控信号的采集设备以及现场干预信号发生设备使得采集的信号更加全面， 同时避免考场内异常信号的产生；信号预处理单元、信号特征提取单元以及信号异常分析单元压缩减少了监控的数据量，并对提取特征进行了预分类；正常动作过滤单元实现对考场内监考老师的正常巡考活动进行过滤，以避免监考老师的正常活动对考生活动识别的干扰；异常声音定位单元实现对考场内发生异常声音方位的估计，这一功能通过在现场安装麦克风阵列实现；同时场行为单模态识别系统的信号模型库具有根据考场监控管理后台系统的处理结果进行学习从而更新模型库。考场监控管理后台系统的设置方便的监考人员检查监控效果并及时做出修正、设置。多模态决策单元和数据库通过监控信号特征判断识别考场疑似违规行为的同时还可以根据考场监控管理后台系统的处理结果进行学习从而更新判断识别标准。


下面将结合附图及实施例对本发明作进一步说明，附图中图1是本发明考场智能监控系统的优选实施例的结构示意图；图2是本发明考场智能监控系统的优选实施例的应用图。
具体实施例方式以下结合附图所示之最佳实施例作进一步详述本发明构建了一套针对考场疑似违规行为识别的考场智能监控系统，该系统采用了视频监控、音频监控及通用传感器通信平台监控的复合监控方式，对预先设定的感兴趣的监控对象行为进行监控，根据基于规则的知识库，自动识别考场内考生的行为，并做出实时记录及报警。人类具有将人体的各种感觉器官(眼、耳、鼻、四肢等)所得到的信息(包括图像、 声音、气味、触觉等)结合先验知识进行综合处理的能力，就可以对周围环境和正在发生的事情作出估计和判断。这一处理过程是复杂的，也是自适应的，它将各种信息转化为对环境的有价值的解释。本发明涉及的考场智能监控系统的核心就是充分利用多个信息源提供的信息，期望像人脑综合处理各种信息的过程一样，通过对这些信息的合理使用，把冗余或者互补的信息依据某种规则来进行组合，以获得对被监控对象及其事件的一致性解释或描述。作为本发明所述的一种考场智能监控系统的优选实施例，如图1所示，包括信号输入系统1、信号预处理系统2、考场行为单模态识别系统3以及考场监控管理后台系统5 ； 信号输入系统1将采集的监控信号送往到信号预处理系统2进行预处理，然后将预处理后的信号送往考场行为单模态识别系统3，由考场行为单模态识别系统3进行识别判断分类， 并产生识别结果，触发安装在考场现场的设备或其他模态通道的驱动机构进行协同联动与及时干预，从而将所产生的相关信息发送给考场监控管理后台系统5，实现考场行为监控的目的。该系统实现同时对多个考场的考试过程进行实时监控，通过对实时监控信号进行实时智能分析，实现对考试过程中的疑似违规行为进行自动实时地识别，并将该疑似违规行为的相关信息发送给考场监控管理后台系统5。作为本发明所述的一种考场智能监控系统的优选实施例，如图1所示，所述信号输入系统1包括视频信号采集设备11、音频信号采集设备12以及通用传感器采集设备13。 视频信号采集设备11用于采集、数字化、压缩编码并发送视频监控信号，音频信号采集设备12用于采集、数字化、压缩编码并发送音频监控信号，通用传感器采集设备13用于采集并发送相应的传感器接收到的监控信号。使用本考场智能监控系统，针对考场环境中考生考试过程发生的疑似违规行为进行实时识别、提示并协助处理。该系统可单独采用视频信号、音频信号或传感器信号进行考生考试行为的监控；也可综合音视频及多种传感器信号智能分析的结果进行多模态融合与判断，以考生考试行为进行更为精确的识别。所述信号预处理系统2包括视频信号预处理单元21、正常动作过滤单元22、视频特征提取单元23、音频信号预处理单元M、异常声音定位单元25以及音频特征提取单元 26。所述视频信号转换单元21对从视频信号采集设备11传送过来的视频信号进行信号状态判断和预处理，然后送往视频特征提取单元23进行视频信号特征提取处理；音频信号转换单元M对从音频信号采集设备12传送过来的音频信号进行信号状态判断和预处理，然后送往音频特征提取单元沈进行音频信号特征提取处理；音视频信号的信号状态判断功能用于识别信号是否丢失、是否收干扰，以确保信号处于正常状态。音视频信号的信号预处理主要功能为提高信噪比，以便于特征提取单元的效果。正常动作过滤单元22实现对考场内监考老师的正常巡考活动进行过滤，以避免监考老师的正常活动对考生活动识别的干扰。异常声音定位单元25实现对考场内发生异常声音方位的估计，这一功能需要在现场安装拾音器阵列。音频监控信号和/或视频监控信号采用流媒体方式通过流媒体接口 20发送到考场监控管理后台系统5，方便记录数据和人工的实时监控。作为本发明所述的一种考场智能监控系统的优选实施例，如图1所示，所述考场行为单模态识别系统3包括异常行为模型库31、视频异常分析单元32、异常声音模型库33 以及音频异常分析单元；34。视频异常分析单元32通过异常行为模型库31对视频特征提取单元23处理过的视频监控信号进行异常行为分类；音频异常分析单元34通过异常声音模型库33对音频特征提取单元沈处理过的音频监控信号进行异常声音分类；异常行为模型库31和异常声音模型库33根据考场监控管理后台系统5的处理结果进行学习并更新异常行为模型库31和异常声音模型库33中的识别模型。考场行为单模态识别系统3内嵌智能行为识别模型，可对预处理过音/视频信号及其特征进行考生及监考老师的进行声音分析、动作分析和疑似违规行为分类。考场行为单模态识别系统3工作时，视频信号预处理单元21、音频信号预处理单元M、视频特征提取单元23和音频特征提取单元沈为计算机或数字信号处理设备。视频信号采集设备11、视频信号预处理单元21、正常动作过滤单元 22和视频特征提取单元23组成视频智能分析子系统；音频信号采集设备12、音频信号预处理单元M、异常声音定位单元25和音频特征提取单元沈组成音频智能分析子系统；传感器采集设备13自身组成传感器平台分析子系统；视频智能分析子系统、音频智能分析子系统和通用传感器平台分析子系统将各自信息通过各自通道送往考场行为单模态识别系统3 处理。所述视频智能分析子系统通过对视频信号的分析，实现以下功能目标提取与跟踪；异常运动行为分析。所述音频智能分析子系统通过对音频信号的分析，实现以下功能1)异常声音识别异常声音识别模块通过对大量含有异常声音如，尖叫声、集体喧闹声、玻璃破碎声、哭声等的样本进行学习，以及平时为正常声音但考场内为非正常的声音如，笑声、鼓掌声等，与考场内的正常声音，如，桌椅移动声、发卷时纸张翻动声音、监考老师宣读规则等声音进行模式分类，从而具备了对异常声音的识别能力；幻异常声音定位(需要异常声音定位单元 25的支持)通过拾音器阵列对异常声音的来源进行识别，实现对声源的初步定位。该功能用于与PTZ(Pan/TiltAoom 云台全方位移动及镜头变倍、变焦控制)相机协同联动，引导 PTZ相机转向声源位置，再进一步利用视频分析功能进行判别。
所述传感器平台分析子系统分析除视频、音频信号以外的传感器信号，传感器采集设备13是考场智能监控系统的另一主要输入信号，它作为视音频信号的有效扩展，可以充分发挥传感器种类多、相应快速和性能可靠等特点，特别适用于一些特殊监控场所。可扩展的传感器有人体红外传感器、无线射频信号探测器等，传感器类型、形式和数量可根据实际需要进行扩展。应用视频信号采集设备11的机器视觉与机器学习技术，所述视频智能分析子系统对视频信号进行实时分析，根据运动目标的运动特征，识别出视野内各类考场疑似违规行为。通过对数万条各类音频样本特征学习，音频智能分析子系统建立了针对几类典型异常声音的识别模型，该子系统对音频信号进行实时分类，判别出异常声音。作为本发明所述的一种考场智能监控系统的优选实施例，如图1所示，考场监控管理后台系统5包括报文提示与管理单元51、流媒体显示与回放单元52、行为识别单元设置与升级单元53、考场行为监控系统配置与管理单元M。报文提示与管理单元51接收考场行为单模态识别系统3以报文发出的识别结果，并采用数据库技术进行管理；流媒体显示与回放单元52接收流媒体接口 20送出的音频监控信号和/或视频监控信号，并进行显示、 回放以及管理；行为识别单元设置与升级单元53对异常行为模型库31以及异常声音模型库33的识别算法参数以及其他各单元模块的参数接口进行远程设置，对信号输入系统1、 信号预处理系统2以及考场行为单模态识别系统3进行整体软件升级；考场行为监控系统配置与管理单元M对所述考场行为智能监控系统软硬件进行配置和管理，并通过连接考场监考教师通信设备6远程发送指令或系统识别信息。考场监控管理后台系统5的设置方便的监考人员检查监控效果并及时做出修正、设置。作为本发明所述的一种考场智能监控系统的优选实施例，如图1所示，所述考场智能监控系统还包括考场行为多模态决策和识别系统4，考场行为多模态决策和识别系统 4包括基于决策层的多模态融合单元41、考场行为多模态识别规则与模型库42及考场行为多模态识别单元43。考场行为多模态识别单元43根据基于决策层的多模态融合单元41融合视频异常分析单元32、视频异常分析单元34以及传感器采集设备13获取的信号，根据考场行为多模态识别规则与模型库42进行综合分析，并将发送综合识别结果发送给考场监控管理后台系统5。各个考场的单模态行为识别结果以及传感器信号送往考场行为多模态决策与识别系统4进行信息融合，得到在考试过程中考生以及监考老师行为的多模态描述。根据对考场情况的综合描述信息，系统采用规则推理与决策方法对考场中考生或监考老师异常行为的程度、个体或群体行为的类型以及其他值得关注的异常事件等进行识别， 并将相关信息报文和音视频信号可通过TCP/IP网络发送到考场监控管理后台系统5进行显示和告警。本考场行为多模态决策和识别系统4工作时，经过考场行为单模态识别系统3 处理过的音视频信号传送给考场行为多模态决策与识别系统4进行识别判断，传感器采集设备13接收到的监控信号经考场行为单模态识别系统3传送给考场行为多模态决策与识别系统4进行识别判断。考场行为单模态识别系统3发送到考场行为多模态决策与识别系统4数据分为两类。第一类为压缩编码的音视频流，用于在考场监控管理后台系统5进行观看。第二类为信号预处理报文，考场行为单模态识别系统3通过报文的形式将识别的结果发往考场行为多模态决策与识别系统4，进行进一步的分类和判断。报文格式、加密方法和发送速率可根据应用要求、传输模式进行调整。报文内容可包括以下内容1、时间；2、处理单元编号；3、信号通道编号；4、信号通道状态；5、异常事件识别等级与内容；6、异常事件发生位置(视频)或方位(音频)。考生行为分类与报文设计如下1 时间T0000002处理单元编号S00003信号通道编号CH004异常事件识别等级与内容4. 1低等级C000不触发报警，保存记录4. 1.1考生快速动作4. 1. 2考生疑似动作举例4. 1. 2. 1考生疑似动作1 俯身捡东西4. 1. 2. 2考生疑似动作2 频繁转头4. 1. 3考生频繁疑似动作4. 1. 4考场发生笑声、鼓掌声4. 2中等级B000触发中报警，保存记录4. 2. 1考生具体异常行为分类4. 2. 1. 1考生疑似行为1 考生挥舞手臂4. 2. 1. 2考生疑似行为2 考生离开座位4. 2. 1. 3考生疑似行为3 考生回头看后排4. 2. 2监考教师异常行为分类4. 2. 2. 1监考教师行为1 进入考生座位区域4. 2. 2. 2监考教师行为2 站立在摄像头前时间过长4. 2. 3考场发生尖叫声、哭声、玻璃破碎声4. 3高等级A000触发高报警，保存记录4. 3. 1考生群体大幅度动作4. 3. 2考生群体离开考位4. 3. 3考场发生考生群体喧闹声4. 4其他000000触发提示，保存记录4. 4.1摄像头遮挡4. 4. 2摄像头偏移位置4. 4. 3图像丢失4. 4. 4图像噪声4. 4. 5图像亮度突变4. 5事件发生位置P0000。如图1所示，作为本发明的考场智能监控系统的优选实施例，考场行为多模态识别规则与模型库42可根据考场监控管理后台系统5的处理结果进行学习并更新所述考场行为多模态识别规则与模型库42中的识别模型和规则。考场行为多模态决策与识别系统 4对所采集的视频信号、音频信号和其它传感器信号进行判别决策，得出对考场疑似违规行为的决策结果，再将决策结果发送至考场监控管理后台系统5，考场监控管理后台系统5也可以是报警器。考场行为多模态决策与识别系统3是整个系统的核心，考场行为多模态决策与识别系统3接收音/视频特征信息及传感器信息，根据考场疑似违规行为判别规则库在知识层面上对事件性质进行判别，该系统第一时间将识别结果提示给后台监控人员，由监考人员触发安装在现场的干预装置，与考场监考老师进行通信，对疑似考试违规行为进行主动干预，从而真正实现对事件的监与控。考场行为多模态识别规则与模型库42的升级功能可根据考场监控管理后台系统 5的处理结果进行学习并更新考场行为多模态识别规则与模型库42中的模型和规则。学习算法主要采用神经网络、支持向量机等统计机器学习模型以及隐马尔科夫模型(HMM)学习模型。考场行为多模态决策与识别系统4在进行学习时，通过以下方式进行1、基于知识的模型模仿人在目标识别中所采用的经验知识和分析推理过程，将目标的信息(包括分类、结构等)以知识的形式(句法规则、框架、逻辑关系)存放在预先建立好的知识库中，采用启发式的方法来进行目标的识别。其中的逻辑模板法和模糊集理论体现了对人的认识经验进行的数据描述，可通过规则制定的方式对已知的行为进行判别。2、基于特征的推理技术对特征进行关联后，取联合特征完成识别各类目标的任务，采用基于统计计算的方法和应用信息论技术的方法对事件性质进行推理。3、基于物理模型的方法根据物理模型直接计算目标的特征，按照目标属性的分类建立不同类别或具有不同类参数的目标属性模型，并通过目标测量信息与物理模型给出的预测信息进行匹配来识别目标。4、协同联动协同是指多模态通道之间的协同配合、信息共享，共同完成监控任务的过程。与多模态信息融合不同，这种功能更强调各模态之间的主次、辅助与实施等角色的分配。联动是指针对决策结论的干预实施，目的是为了阻止事件的进一步发展。考场行为多模态识别规则与模型库42用来存储专家知识，可由事实性知识和推理性知识组成，包含描述关系、现象和方法的规则，以及在系统专家范围内解决问题的知识。知识库对预先存储的知识按照预先指定的规则进行推理计算。考场行为多模态识别规则与模型库42分为实时数据库和非实时数据库，实时数据库用于向系统提供当前观测结果及融合所需要的各种其它数据，并存储中间结果。非实时数据库存储历史数据及有关环境和目标的辅助信息。基于决策层的多模态融合单元41和考场行为多模态识别规则与模型库42通过监控信号特征判断识别考场疑似违规行为的同时还可以根据考场监控管理后台系统5的处理结果进行学习从而更新判断标准。如图1所示，作为本发明的考场智能监控系统的优选实施例，当使用考场行为多模态决策和识别系统4时，考场监控管理后台系统5可设置考场行为多模态决策与识别系统3的各个参数；识别判断结果的显示；监控信号的调用、回放。考场监控管理后台系统5以良好的人机交互为监考教师提供高效的考场监控方式，可通过TCP/IP网络提供多组信号输入和预处理系统2、考场行为单模态识别系统3、考场行为多模态决策与识别系统4的管理，实现同时多个考场考试过程的实时监控。考场监控管理后台系统根据异常事件的等级，向考试现场的监考教师发送存在疑似违规行为的提示与事件干预指令，可通过TCP/IP 网络向网上巡考系统发送提示消息。具体的说，考场监控管理后台系统5的考场行为监控系统配置与管理单元M具备以下功能 智能流媒体服务器名称、IP地址设定；图像质量、播放效果、网络参数设定 考场管理信息考试开始时间；考试结束时间；交卷时间设定；发卷时间设定； 监考老师数量；参数设定； 摄像机标定基于课桌自动标定；手工标定摄像机；手工绘制课桌区域 客户端操作功能日志列表选择播放录像(无DVR模式)；设备列表选择播放实时视频；监考教师过滤。 考场行为识别单元参数设定目标尺寸；敏感度；更新速率；考场监控管理后台系统4方便监考人员检查监控效果并及时做出修正、设置。对于事件的正确理解是监控的一方面，监控系统更重要的任务是在于对于考场疑似违规行为的主动干预，防止事件进一步恶化，以避免监控人员得到了及时的提示而无法对事件作及时处理，以至于失去对事态的控制.考场智能监控除了要实现对于事件的全方位监视，同时通过考场通信设备与现场监考教师实现通信，使其能够对现场事件实时干预。本发明还构建了一套针对考场疑似违规行为识别的考场智能监控方法，该方法基于一种考场智能监控系统，该监控系统包括信号输入系统1、信号预处理系统2、考场行为单模态识别系统3以及考场监控管理后台系统5，信号输入系统1将采集的音视频信号送往信号预处理系统2进行预处理，然后将预处理后的信号送往考场行为单模态识别系统3，由考场行为单模态识别系统3进行识别判断分类，从而将所产生的识别结果发送给考场监控管理后台系统5，实现考场行为监控的目的，所述方法包括步骤Si、信号输入系统1采集并发送监控信号；S2、信号预处理系统2预处理和特征提取所述监控信号并发送预处理和特征提取后的监控信号；S3、考场行为单模态识别系统3对预处理后的监控信号及其特征进行单模态识别和疑似违规行为分类，并产生识别结果；S4、考场监控管理后台系统5接收所述识别结果并作出处理。上述步骤Si、S2中，信号输入系统1的采集和信号预处理系统2预处理所述监控信号包括对所述视频监控信号进行数字化、压缩编码处理、信号状态判断和信号预处理， 随后进行特征提取处理；对所述音频监控信号进行数字化、压缩编码处理、信号状态判断和信号预处理，随后进行特征提取处理；上述步骤S3中，对预处理后的监控信号及其特征进行单模态识别和疑似违规行为分类包括a、将视频信号特征提取单元23或音频信号特征提取单元06)提取的各种特征量进行选择、加权以及降维处理，构成特征向量；
b、视频异常分析单元32根据所述特征向量选择异常行为模型库31中对应的识别模型进行实时分类，音频异常分析单元34根据所述特征向量选择异常声音模型库33中对应的识别模型进行实时分类；异常行为模型库31或异常声音模型库33中存储的是一系列已训练好的针对各种考场行为和声音的所述识别模型，所述识别模型为采用机器学习技术构建的分类器。上述步骤S4中，考场监控管理后台系统5接收所述识别判断结果并作出处理包括可设置所述考场智能监控系统的各个参数；识别判断结果的显示；监控信号的调用、回放以及所述考场智能监控系统各个单元和模块的管理等。作为本发明的考场智能监控方法的优选实施例，还包括考场行为多模态决策与识别系统4接收考场行为单模态识别系统3的识别结果进行多模态综合分析并发送给所述考场监控管理后台系统5处理的步骤所述多模态综合分析包括a、将考场行为单模态识别系统3传送过来的低层信号通过融合算法进行融合处理，所述融合算法包括小波变换、加权平均、产生式规则和卡尔曼滤波；b、对经步骤S2处理后的信息通过算法进行特征融合处理，将多个低维的特征描述向量融合形成更高维的联合特征向量参数，所述算法包括参量模板法、聚类分析法、模糊集理论、可能性理论、自适应神经网络、物理模型、黑板模型和逻辑模板法；C、对经步骤S3处理过的信号通过算法进行识别判断处理，所述算法包括经典推理、贝叶斯推理、统计决策、DS证据理论、模糊理论、神经网络、专家系统、粗糙集理论、广义证据推理理论、直接推断法、可能理论和缺省推理。考场行为多模态决策与识别系统3主要完成对信息的识别判断，是本发明的核心，在本实施例中，考场行为多模态决策与识别系统3主要功能及结构主要为(1)考场行为多模态决策与识别系统3逻辑上呈层级结构，各层结构及功能为a.元数据层用于采集、传输各多模态通道；b.参数与特征层用于提取和传输各模态通道相关参数以及特征提取；C.模型层用于训练各通道的识别模型；存储与应用各通道的分析与识别功能；d.决策层属于整个系统构架的最顶层，用于汇总各通道模型得到的识别结论， 进行事件性质的综合判断。(2)结合上述(1)考场行为多模态决策与识别系统3在接收到信息后，需要对各类型的信息进行融合处理，其过程可以概括为a.数据级最低层的数据级，直接包括了对原始特征最充分、最有效的描述，由于数据的大量性、特征的复杂性、以及数据之间的强相关性等，使得直接利用原始数据的融合几乎是不可能。因此数据级的融合还只能是层级框架的一个理论组成部分，数据层融合算法有小波变换、加权平均、产生式规则、卡尔曼滤波等。b.参数、特征与模型级参数包括各模态通道较为低层的信息，主要表征元数据中离散的元素之间的普遍关系，如图像参数。另一方面，也表征了各模态通道本身的参数， 这些参数对于各模态的特征和处理方法都有影响。输入数据经过前端处理以后，对于各模态通道分别得到其特征描述向量，然后经过特征融合的处理，将多个低维的特征描述向量融合(合并)形成更高维的联合特征向量参数。在系统建模时，针对该高维向量进行模型的建立，匹配时，利用该高维向量进行匹配。参数、特征层的融合算法有参量模板法、聚类分析法、模糊集理论、可能性理论、自适应神经网络、物理模型、黑板模型、逻辑模板法等。c.决策级融合决策融合的系统，输入信号经过处理得到特征参数，然后分别进行单模态的建模与识别，将识别的中间结果参数，通过决策融合模块进行融合，然后通过多模态决策算法得到最终的鉴别结果。决策层融合算法有经典推理、贝叶斯推理、统计决策、 D-S证据理论、模糊理论、神经网络、专家系统、粗糙集理论、广义证据推理理论、直接推断法、可能理论、缺省推理等。信息融合三个层次的配合根据模态的特征进行调整，如各模态通道得到的数据相匹配，则可进行数据层融合，反之则在特征层或者决策层进行融合。(3)考场行为单模态识别系统3逻辑上呈层级结构，各层结构及功能为a.元数据层用于采集、传输各多模态通道；b.参数与特征层用于提取和传输各模态通道相关参数以及特征提取；c.模型层用于训练各通道的识别模型；存储与应用各通道的分析与识别功能；d.决策层属于整个系统构架的最顶层，用于汇总各通道模型得到的识别结论， 进行事件性质的综合判断。(4)结合上述(1)考场行为单模态识别系统3在接收到信息后，需要对各类型的信息进行融合处理，其过程可以概括为a.数据级最低层的数据级，直接包括了对原始特征最充分、最有效的描述，由于数据的大量性、特征的复杂性、以及数据之间的强相关性等，使得直接利用原始数据的融合几乎是不可能。因此数据级的融合还只能是层级框架的一个理论组成部分，数据层融合算法有小波变换、加权平均、产生式规则、卡尔曼滤波等。b.参数、特征与模型级参数包括各模态通道较为低层的信息，主要表征元数据中离散的元素之间的普遍关系，如图像参数。另一方面，也表征了各模态通道本身的参数， 这些参数对于各模态的特征和处理方法都有影响。输入数据经过前端处理以后，对于各模态通道分别得到其特征描述向量，然后经过特征融合的处理，将多个低维的特征描述向量融合(合并)形成更高维的联合特征向量参数。在系统建模时，针对该高维向量进行模型的建立，匹配时，利用该高维向量进行匹配。 参数、特征层的融合算法有参量模板法、聚类分析法、模糊集理论、可能性理论、自适应神经网络、物理模型、黑板模型、逻辑模板法等。c.决策级融合决策融合的系统，输入信号经过处理得到特征参数，然后分别进行单模态的建模与识别，将识别的中间结果参数，通过决策融合模块进行融合，然后通过多模态决策算法得到最终的鉴别结果。决策层融合算法有经典推理、贝叶斯推理、统计决策、 D-S证据理论、模糊理论、神经网络、专家系统、粗糙集理论、广义证据推理理论、直接推断法、可能理论、缺省推理等。信息融合三个层次的配合根据模态的特征进行调整，如各模态通道得到的数据相匹配，则可进行数据层融合，反之则在特征层或者决策层进行融合。本发明中，信号输入系统1和信号预处理系统2根据获取的视频信号经处理可分析得出的参数和特征包括物理参数摄像机内部参数，摄像机相对于环境的外部参数(通过摄像机标定获得)；图像参数包括颜色、纹理和亮度；目标几何特征前景块位置、边缘、特征点、轮廓与形状；目标运动特征运动矢量(包括特征点的实时运动速度、方向)、目标之间相对运动关系。本发明中，信号输入系统1和信号预处理系统2根据获取的音频信号经处理可分析得出的参数和特征包括音量参数包括幅度、频率和短时能量；波动参数包括过零率和基频；发音特征包括MFCC (梅尔倒谱系数)和LPC (线性预测倒谱系数)；韵律特征包括语调、重音和停顿。考场行为多模态决策与识别系统7对各个模态通道得到的结论，在知识层面上， 根据不同场景和事件制定的规则库来进行判断事件的性质.例如，是个人行为还是群体行为，是轻微违规还是严重违规等。下面就结合具体实施例，作进一步说明该实例系统采用了串并行共存的系统构架，信号输入系统1中的视频信号采集设备11为摄像机；音频信号采集设备12为拾音器，用于采集音频信号；传感器采集设备13为各类传感器；信号预处理系统2和考场行为单模态识别系统由计算机组成或由数字信号处理平台的智能处理设备来实现。摄像机、拾音器、传感器等设备是本系统的信号输入设备，用来采集视频、音频及其他感兴趣的信号，信号预处理系统2可用计算机架构或数字信号处理平台的智能处理设备实现，用于对系统输入的原始数据进行分析和特征提取，其中计算机硬件构架主要用于多路视频的中低密度情况下精确目标跟踪结果，数字信号处理芯片构架处理设备，主要用于人群状态、音频分析、通用传感器等基础数据提取；图1中，考场行为多模态决策与识别系统4对经考场行为单模态识别系统3的视频、音频和传感器特征数据进行综合判别，识别出考场疑似违规行为，进而输出考场监控管理后台系统5，同时进行存储、报警等操作。摄像机、拾音器及其他传感器设备、考场行为单模态识别系统3、考场行为多模态决策与识别系统4及考场监控管理后台系统5之间可通过TCP/IP网络或者其他通信方式组成网络进行 。图1中，各模态的通道锁采用的串行构架是将特征提取与模式识别拆分为两个独立部分，分别有考场行为单模态识别系统3与考场行为多模态决策与识别系统4分别完成； 图1中，系统可采用的并行构架是每个摄像机配置一个处理单元进行同步独立处理，提取出来的特征和抽象出来的信息仅需要较少的数据量来表示，降低了信息传输网络的负担， 对于提取出的基础数据对于分析服务器的要求相对较低。复杂的分析任务进行了功能性分解，缓解了处理装置的负担，实现了基础数据的有效共享。图2中，信号输入系统1、信号预处理系统2、考场行为单模态识别系统3及考场行为多模态决策与识别系统4可以搭载在1台考场智能监控服务器硬件平台上。服务器硬件平台可采用PC构架也可采用DSP构架。考场监控管理后台系统5可以搭载在1台考场智能监控客户端硬件平台上。客户端硬件平台主要采用PC构架。根据图1中串行+并行的系统构架，1台考场行为智能监控服务器可实现对多个考场的实时监控。如图2中，通过考点TCP/IP网络，1台考场智能监控管理后台系统4能够同时管理多台考场行为智能监控服务器，从而实现对整个考点的监控。如图1中，系统通过考区TCP/IP网络与网上巡考系统通信，则可实现对更大范围考点的考场行为智能实时监控任务。考场行为多模态决策与识别系统3的学习过程与上述考场智能监控系统中的学习功能的描述相同。以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
权利要求
1.一种考场智能监控系统，其特征在于包括 信号输入系统(1)用于采集并发送监控信号；信号预处理系统O)用于预处理和特征提取所述监控信号并发送预处理和特征提取后的监控信号；考场行为单模态识别系统(3)用于对预处理后的监控信号及其特征进行单模态识别和疑似违规行为分类，并产生识别结果；考场监控管理后台系统(5)用于接收所述识别结果并作出处理。
2.根据权利要求1所述的考场智能监控系统，其特征在于，所述监控信号包括视频监控信号、音频监控信号和/或传感器接收到的监控信号； 所述信号输入系统(1)包括视频信号采集设备(11)用于采集、数字化、压缩编码并发送视频监控信号；和/或音频信号采集设备(1 用于采集、数字化、压缩编码并发送音频监控信号；和/或传感器采集设备(1 用于采集并发送相应的传感器接收到的监控信号； 所述信号预处理系统( 包括与所述视频信号采集设备(11)相应的视频信号预处理单元(21)、正常动作过滤单元 (22)、视频特征提取单元(23)；和/或与所述音频信号采集设备(1 相应的音频信号预处理单元(M)、异常声音定位单元 (25)、音频特征提取单元(26)；所述视频信号预处理单元用于对所述视频监控信号进行信号状态判断和预处理；所述正常动作过滤单元02)用于将考场内正常的动作过滤； 所述视频特征提取单元用于对所述视频信号预处理单元处理过的视频监控信号进行特征提取处理；所述音频信号预处理单元04)用于对所述音频监控信号进行信号状态判断和预处理；所述异常声音定位单元0 用于估计考场内异常声音方位； 所述音频特征提取单元06)用于对所述音频信号预处理单元04)处理过的音频监控信号进行特征提取处理；音频监控信号和/或视频监控信号采用流媒体方式通过流媒体接口 00)发送到考场监控管理后台系统(5)。
3.根据权利要求2所述的考场智能监控系统，其特征在于，所述考场行为单模态识别系统⑶包括所述视频异常分析单元(3 用于通过异常行为模型库(31)对所述视频特征提取单元处理过的视频监控信号进行异常行为分类；或所述音频异常分析单元(34)用于通过异常声音模型库(3 对所述音频特征提取单元06)处理过的音频监控信号进行异常声音分类；所述异常行为模型库(31)和所述异常声音模型库(3 根据所述考场监控管理后台系统(5)的处理结果进行学习并更新所述异常行为模型库(31)和所述异常声音模型库(33) 中的识别模型。
4.根据权利要求3所述的考场智能监控系统，其特征在于，所述考场监控管理后台系统(5)包括报文提示与管理单元(51)、流媒体显示与回放单元(5 、行为识别单元设置与升级单元(53)、考场行为监控系统配置与管理单元(54)；所述报文提示与管理单元(51)用于接收所述考场行为单模态识别系统(3)以报文发出的识别结果，并采用数据库技术进行管理；所述流媒体显示与回放单元(5 用于接收流媒体接口 00)送出的音频监控信号和/ 或视频监控信号，并进行显示、回放以及管理；所述行为识别单元设置与升级单元(5 用于对异常行为模型库(31)以及异常声音模型库(3 的识别算法参数以及其他各单元模块的参数接口进行远程设置，对信号输入系统(1)、信号预处理系统O)以及考场行为单模态识别系统(3)进行整体软件升级；所述考场行为监控系统配置与管理单元(54)用于对所述考场行为智能监控系统软硬件进行配置和管理，并通过连接考场监考教师通信设备(6)远程发送指令或系统识别信肩、ο
5.根据权利要求1所述的考场智能监控系统，其特征在于，还包括考场行为多模态决策和识别系统(4)包括基于决策层的多模态融合单元(41)、考场行为多模态识别规则与模型库0 及考场行为多模态识别单元G3)，所述考场行为多模态识别单元G3)根据基于决策层的多模态融合单元Gl)融合视频异常分析单元(3 、视频异常分析单元(34)以及传感器采集设备(1 获取的信号，根据考场行为多模态识别规则与模型库0 进行综合分析，并将发送综合识别结果发送给考场监控管理后台系统(5)。
6.根据权利要求5所述的考场智能监控系统，其特征在于，所述考场行为多模态识别规则与模型库G2)根据所述考场监控管理后台系统(5)的处理结果进行学习并更新所述考场行为多模态识别规则与模型库G2)中的识别模型和规则。
7.根据权利要求5所述的考场智能监控系统，其特征在于，所述考场监控管理后台系统( 包括报文提示与管理单元(51)、流媒体显示与回放单元(52)、行为识别单元设置与升级单元(53)、考场行为监控系统配置与管理单元(54)； 所述报文提示与管理单元(51)用于接收考场行为多模态决策和识别系统以报文发出的识别结果，并采用数据库技术进行管理；所述流媒体显示与回放单元(5 用于接收流媒体接口 00)送出的音频监控信号和/ 或视频监控信号，并进行显示、回放以及管理；所述行为识别单元设置与升级单元(5 用于对异常行为模型库(31)、异常声音模型库(3 以及考场行为多模态识别规则与模型库0 的识别算法参数以及其他各单元模块的参数接口进行远程设置，对信号输入系统(1)、信号预处理系统O)、考场行为单模态识别系统(3)以及考场行为多模态决策和识别系统(4)进行整体软件升级；所述考场行为监控系统配置与管理单元(54)用于对考场行为智能监控系统软硬件进行配置和管理，并通过连接考场监考教师通信设备(6)远程发送指令或系统识别信息。
8.一种考场智能监控方法，基于一种考场智能监控系统，所述考场智能监控系统包括信号输入系统(1)、信号预处理系统O)、考场行为单模态识别系统(3)以及考场监控管理后台系统(5)，其特征在于，包括S1、信号输入系统(1)采集并发送监控信号；S2、信号预处理系统( 预处理和特征提取所述监控信号并发送预处理和特征提取后的监控信号；S3、考场行为单模态识别系统C3)对预处理后的监控信号及其特征进行单模态识别和疑似违规行为分类，并产生识别结果；S4、考场监控管理后台系统(5)接收所述识别结果并作出处理。
9.根据权利要求8所述的考场智能监控方法，其特征在于，所述监控信号为视频监控信号、音频监控信号和/或传感器接收到的监控信号；所述步骤Sl包括视频信号采集设备(11)采集、数字化、压缩编码并发送视频监控信号，音频信号采集设备(1 采集、数字化、压缩编码并发送音频监控信号，传感器采集设备(1 采集并发送相应的传感器接收到的监控信号；所述步骤S2包括视频信号预处理单元对所述视频监控信号进行信号状态判断和预处理，正常动作过滤单元02)将考场内正常的动作过滤，视频特征提取单元对所述视频信号预处理单元处理过的视频监控信号进行特征提取处理；音频信号预处理单元04)对所述音频监控信号进行信号状态判断和预处理，异常声音定位单元0 估计考场内异常声音方位，音频特征提取单元06)对所述音频信号预处理单元04)处理过的音频监控信号进行特征提取处理。
10.根据权利要求9所述的考场智能监控方法，其特征在于，步骤S3包括a、将所述视频信号特征提取单元(2 或所述音频信号特征提取单元06)提取的各种特征量进行选择、加权以及降维处理，构成特征向量；b、视频异常分析单元(3 根据所述特征向量选择异常行为模型库(31)中对应的识别模型进行实时分类，音频异常分析单元(34)根据所述特征向量选择异常声音模型库(3 中对应的识别模型进行实时分类；所述异常行为模型库(31)或所述异常声音模型库(3 中存储的是一系列已训练好的针对各种考场行为和声音的所述识别模型，所述识别模型为采用机器学习技术构建的分类器。
11.根据权利要求10所述的考场智能监控方法，其特征在于，还包括所述考场行为多模态决策与识别系统(4)接收所述考场行为单模态识别系统(3)的识别结果进行多模态综合分析并发送给所述考场监控管理后台系统( 处理的步骤，所述多模态综合分析包括a、通过算法进行融合处理，融合处理算法包括小波变换、加权平均、产生式规则和卡尔曼滤波；b、对经a步骤处理后的信号通过算法进行特征融合处理，将多个低维的特征描述向量融合形成更高维的联合特征向量参数，特征融合处理算法包括参量模板法、聚类分析法、 模糊集理论、可能性理论、自适应神经网络、物理模型、黑板模型和逻辑模板法；C、利用考场行为多模态识别规则与模型库0 中的模型，对经步骤b处理过的信号通过算法进行识别判断处理，识别判断处理算法包括经典推理、贝叶斯推理、统计决策、DS 证据理论、模糊理论、神经网络、专家系统、粗糙集理论、广义证据推理理论、直接推断法、可能理论和缺省推理。
12.根据权利要求11所述的考场智能监控方法，其特征在于，还包括根据所述考场监控管理后台系统(5)的处理结果进行学习并更新多模态识别规则与模型库G2)中的信息的步骤。
全文摘要
本发明涉及一种考场智能监控系统和方法，包括信号输入系统、信号预处理系统、考场行为单模态识别系统、考场行为多模态决策和识别系统以及考场监控管理后台系统，所述信号输入系统将采集的音/视频信号送往信号预处理系统进行预处理后将信号送往考场行为单模态识别系统和考场行为多模态决策和识别系统进行分类识别判断，从而将所产生的识别结果发送给考场监控管理后台系统，实现考场行为监控的目的。采用本发明所述考场智能监控系统和方法，能同时针对视频信息、音频信息和传感器多模态信息采用人工智能技术对其进行处理、识别考场疑似违规行为进而报警。
文档编号G06K9/00GK102348101SQ201010241279
公开日2012年2月8日 申请日期2010年7月30日 优先权日2010年7月30日
发明者丁宁 申请人:深圳市先进智能技术研究所