专利名称：一种社会治安视频监控图像智能处理和检索方法
技术领域：
本发明涉及社会治安视频监控系统技术领域，具体是一种社会治安视频监控图像智能处理和检索方法。
背景技术：
社会治安视频监控系统近年来得到突飞猛进地发展，其发展主要体现在清晰度提高、通讯能力增强和显示方式丰富多彩，如体现图像清晰度的摄像机分辨率不断提高，已迈入千万像素行列；光通讯技术、网络技术的进步使视频图像可以实时、高清地传送到任何地方；显示单元屏幕越来越大、色彩越来越艳丽、逼真，使得监控系统后端的显示墙面积越来 越大，显示方式越来越灵活；磁存储技术的发展使存储的视频图像信息越来越多，称为“海量”存储。而对视频监控图像的智能化处理和检测技术、检索技术受算法理论自身和运算量大等技术制约，发展速度严重滞后，使如此海量的视频信息仅仅依靠“人”监视、处理和检索，视频监控图像信息中反映的大量异常状态、治安事件得不到及时的报警、处理，即使事后求证，也需要靠“人”在海量的视频信息中搜索，费时费力。
发明内容
本发明要解决的技术问题是提供一种社会治安视频监控图像智能处理和检索方法，解决现有的社会治安视频监控系统人为进行监控和检索费时费力的问题。本发明的技术方案为
一种社会治安视频监控图像智能处理和检索方法，采用社会治安视频监控系统实现图像智能处理和检索；所述的社会治安视频监控系统包括摄像机、视频分配器、视频矩阵、显示屏、硬盘录像机、视频智能处理器、报警装置、网络交换机、数据库服务器和检索工作站；所述的社会治安视频监控图像智能处理和检索方法具体包括以下步骤
(1)、预处理视频智能处理器采集摄像机拍摄到的监控视频，然后对采集到的监控视频进行预处理，消除和改善视频中的图像模糊；
(2)、动态目标提取视频智能处理器采用“混合高斯背景模型算法”对预处理后的视频图像中的动态目标进行提取，然后根据“轮廓特征+仿射变换算法”的比对，识别出带有行人、助力车和机动车的图像；
(3)、动态目标处理视频智能处理器通过行人处理模块、助力车处理模块和机动车处理模块分别对行人、助力车和机动车图像进行处理，分别得到行人、助力车和机动车的特征属性、异常行为和置信度，行人、助力车和机动车的特征属性、异常行为和置信度以及与之关联的视频图像时间、摄像机编码和抓拍的视频流入口快照一起记录在数据库中永久保存；
(4)、显示和报警视频智能处理器采用“Kalman滤波算法、MeanShift跟踪算法、BlobTracking”对行人、助力车和机动车的进行跟踪、并分析其运动行为，若检测到异常行为，视频智能处理器控制视频矩阵把出现异常行为的视频图像切换到显示屏上突出显示；同时开启报警装置发出红色闪光信号和高频嘯叫声，提醒值班人员注意并采取处警措施；在采取处警措施后，报警信号自动关闭；
(5)、视频检索首先在检索工作站中输入检索条件；然后在数据库服务器中进行检索，将满足检索条件信息的快照在检索工作站进行排列显示，最后点击快照，根据点击的快照的摄像机编码、时间等信息从硬盘录像机中调取对应的视频流开始播放。所述的步骤I中的预处理采用“拉普拉斯锐化算法”消除摄像机抖动引起的图像模糊，采用“直方图增强去雾算法”改善因雨雾阴霾天气照成的图像模糊；所述的预处理后，动态目标提取之前，采用“滑动平均背景模型算法”对监控视频图像背景进行刷新，消除图像明暗、亮度变化影响。 所述的行人处理模块对每帧画面根据“行人轮廓特征算法+ HOG算法”识别出是 一人、两人还是至少两人，然后采用“基于YCbCr空间的高斯颜色模型算法”提取行人的上衣和下装颜色，颜色分类为不确定，深色、浅色，红色、橙色、黄色、绿色、青色、蓝色、紫色、黑色、白色、灰色，最后根据“Kalman滤波算法+ Mean Shift跟踪算法”对行人的行为特征进行分析，判别在监控区域内是否有“非法进入，非法滞留，聚集”这样的异常行为，处理完毕，得出行人特征属性、异常行为和数据置信度信息；
所述的助力车处理模块对每帧画面根据“助力车轮廓特征算法+速度信息统计算法+目标生命周期法”识别出是二轮车，还是三轮车，然后采用“基于YCbCr空间的高斯颜色模型算法”提取助力车的颜色，颜色分类为不确定，深色、浅色，红色、橙色、黄色、绿色、青色、蓝色、紫色、黑色、白色、灰色，最后根据“Kalman滤波算法+ Mean Shift跟踪算法”对助力车的行为特征进行分析，判别在监控区域内是否有“非法进入，非法滞留”这样的异常行为，处理完毕，得出助力车特征属性、异常行为和数据置信度信息；
所述的机动车处理模块对每帧画面根据“机动车轮廓特征算法”的比对识别出是大车，还是小车，然后根据采用“基于YCbCr空间的高斯颜色模型算法”提取机动车的颜色，颜色分类为不确定，深色、浅色，红色、橙色、黄色、绿色、青色、蓝色、紫色、黑色、白色、灰色，最后根据“Blob Tracking算法”对机动车的行为特征进行分析，判别在监控区域内是否有“非法进入，非法滞留，逆向行驶”这样的异常行为，处理完毕，得出机动车特征属性、异常行为和数据置信度信息。所述的步骤4中的检索条件包括有检索必要条件和非检索必要条件，检索必要条件为检索目标、时间范围和摄像机编码，非检索必要条件为特征属性和异常行为。所述的步骤5中满足检索条件信息的快照排列显示的顺序为置信度高于70%的视频流优先级最高，其视频流快照排列在前，置信度在40%到70%之间的视频流优先级次之，置信度低于40%的视频流优先级最小，视频流快照排列在最后；相同置信度级别有多个视频流快照，则其按时间顺序排列。本发明的优点
(I)、本发明由视频智能处理器完成对监控视频的数字化、编码、预处理、目标识别、特征提取、异常行为分析，实现对报警装置、视频矩阵的控制等功能，无需人为进行监控，省时省力；(2)、检索采用检索工作站在数据库服务器中进行自动检索，操作简单，无需进行进行海量检索，节省了检索的时间，且检索结果显示清楚。
图I是本发明社会治安视频监控系统的结构原理示意图。图2是本发明视频监控图像智能化处理流程图。图3是本发明视频监控图像智能化检索流程图。
具体实施方式
见图1，社会治安视频监控系统包括摄像机，视频分配器，与视频分配器连接的视频矩阵、硬盘录像机和视频智能处理器，与视频矩阵连接的显示屏，与视频智能处理器连接的报警装置和网络交换机，与网络交换机连接的数据库服务器和检索工作站；且视频智能处理器与视频矩阵连接，网络交换机与硬盘录像机连接；
见图2、图3，社会治安视频监控图像智能处理和检索方法具体包括以下步骤
(1)、预处理首先采用视频智能处理器采集摄像机拍摄到的监控视频，然后采用拉普拉斯锐化算法”消除摄像机抖动引起的图像模糊，采用“直方图增强去雾算法”改善因雨雾阴霾天气照成的图像模糊；
(2)、动态目标提取采用“滑动平均背景模型算法”对监控视频图像背景进行刷新，消除图像明暗、亮度变化影响；然后视频智能处理器采用“混合高斯背景模型算法”对预处理后的视频图像中的动态目标进行提取；为了消除噪声影响，减少目标分割不准确的情况发生，对监控图像采用了阈值处理、形态学运算和图像融合处理；然后根据“轮廓特征+仿射变换算法”的比对，初步识别出是行人、助力车还是机动车；助力车是指无驾驶舱，人在车外的车辆，包括二轮车和三轮车；机动车是指有驾驶舱，人在车内的车辆，包括大车和小车；识别出的行人、助力车、机动车分别由三个不同的视频处理软件模块进行相应的特征提取和行为分析；
(3)、动态目标处理采用视频智能处理器通过行人处理模块、助力车处理模块和机动车处理模块分别对行人、助力车和机动车图像进行处理，具体处理方式为
行人处理模块对每帧画面根据“行人轮廓特征算法+ HOG算法”识别出是一人、两人还是至少两人，然后采用“基于YCbCr空间的高斯颜色模型算法”提取行人的上衣和下装颜色，颜色分类为不确定，深色、浅色，红色、橙色、黄色、绿色、青色、蓝色、紫色、黑色、白色、灰色，最后根据“Kalman滤波算法+ Mean Shift跟踪算法”对行人的行为特征进行分析，判别在监控区域内是否有“非法进入，非法滞留，聚集”这样的异常行为，处理完毕，得出行人特征属性、异常行为和数据置信度信息；助力车处理模块对每帧画面根据“助力车轮廓特征算法+速度信息统计算法+目标生命周期法”识别出是二轮车，还是三轮车，然后采用“基于YCbCr空间的高斯颜色模型算法”提取助力车的颜色，颜色分类为不确定，深色、浅色，红色、橙色、黄色、绿色、青色、蓝色、紫色、黑色、白色、灰色，最后根据“Kalman滤波算法+ Mean Shift跟踪算法”对助力车的行为特征进行分析，判别在监控区域内是否有“非法进入，非法滞留”这样的异常行为，处理完毕，得出助力车特征属性、异常行为和数据置信度信息；机动车处理模块对每帧画面根据“机动车轮廓特征算法”的比对识别出是大车，还是小车，然后根据采用“基于YCbCr空间的高斯颜色模型算法”提取机动车的颜色，颜色分类为不确定，深色、浅色，红色、橙色、黄色、绿色、青色、蓝色、紫色、黑色、白色、灰色，最后根据“Blob Tracking算法”对机动车的行为特征进行分析，判别在监控区域内是否有“非法进入，非法滞留，逆向行驶”这样的异常行为，处理完毕，得出机动车特征属性、异常行为和数据置信度信息。分别得到行人、助力车和机动车的特征属性、异常行为和置信度，行人、助力车和机动车的特征属性、异常行为和置信度以及与之关联的视频图像时间、摄像机编码和抓拍的视频流入口快照一起记录在数据库中永久保存；
(4)、显示和报警视频智能处理器采用“Kalman滤波算法、MeanShift跟踪算法、BlobTracking”对行人、助力车和机动车进行跟踪、并分析其运动行为，若检测到异常行为，视频智能处理器控制视频矩阵把出现异常行为的视频图像切换到显示屏上突出显示；同时开启报警装置发出红色闪光信号和高频嘯叫声，提醒值班人员注意并采取处警措施；在采取处警措施后，报警信号自动关闭；
(5)、视频检索首先在检索工作站中输入检索条件，检索条件包括有检索必要条件和非检索必要条件，检索必要条件为检索目标、时间范围和摄像机编码，必须确定，非检索必 要条件为特征属性和异常行为，可以确定，也可以不确定；然后在数据库服务器中进行检索，将满足检索条件信息的快照在检索工作站进行排列显示；快照排列显示的顺序为置信度高于70%的视频流优先级最高，其视频流快照排列在前，置信度在40%到70%之间的视频流优先级次之，置信度低于40%的视频流优先级最小，视频流快照排列在最后，相同置信度级别有多个视频流快照，则其按时间顺序排列；最后点击快照，根据点击的快照的摄像机编码、时间等信息从硬盘录像机中调取对应的视频流开始播放。
权利要求
1.一种社会治安视频监控图像智能处理和检索方法，其特征在于采用社会治安视频监控系统实现图像智能处理和检索；所述的社会治安视频监控系统包括摄像机、视频分配器、视频矩阵、显示屏、硬盘录像机、视频智能处理器、报警装置、网络交换机、数据库服务器和检索工作站； 所述的社会治安视频监控图像智能处理和检索方法具体包括以下步骤 (1)、预处理视频智能处理器采集摄像机拍摄到的监控视频，然后对采集到的监控视频进行预处理，消除和改善视频中的图像模糊； (2)、动态目标提取视频智能处理器采用“混合高斯背景模型算法”对预处理后的视频图像中的动态目标进行提取，然后根据“轮廓特征+仿射变换算法”的比对，识别出带有行人、助力车和机动车的图像； (3)、动态目标处理视频智能处理器通过行人处理模块、助力车处理模块和机动车处理模块分别对行人、助力车和机动车图像进行处理，分别得到行人、助力车和机动车的特征属性、异常行为和置信度，行人、助力车和机动车的特征属性、异常行为和置信度以及与之关联的视频图像时间、摄像机编码和抓拍的视频流入口快照一起记录在数据库中永久保存； (4)、显示和报警视频智能处理器采用“Kalman滤波算法、MeanShift跟踪算法、BlobTracking”对行人、助力车和机动车进行跟踪、并分析其运动行为，若检测到异常行为，视频智能处理器控制视频矩阵把出现异常行为的视频图像切换到显示屏上突出显示；同时开启报警装置发出红色闪光信号和高频嘯叫声，提醒值班人员注意并采取处警措施；在采取处警措施后，报警信号自动关闭； (5)、视频检索首先在检索工作站中输入检索条件；然后在数据库服务器中进行检索，将满足检索条件信息的快照在检索工作站进行排列显示，最后点击快照，根据点击的快照的摄像机编码、时间等信息从硬盘录像机中调取对应的视频流开始播放。
2.根据权利要求I所述的一种社会治安视频监控图像智能处理和检索方法，其特征在于所述的步骤I中的预处理采用“拉普拉斯锐化算法”消除摄像机抖动引起的图像模糊，采用“直方图增强去雾算法”改善因雨雾阴霾天气照成的图像模糊；所述的预处理后，动态目标提取之前，采用“滑动平均背景模型算法”对监控视频图像背景进行刷新，消除图像明暗、亮度变化影响。
3.根据权利要求I所述的一种社会治安视频监控图像智能处理和检索方法，其特征在于所述的行人处理模块对每帧画面根据“行人轮廓特征算法+ HOG算法”识别出是一人、两人还是至少两人，然后采用“基于YCbCr空间的高斯颜色模型算法”提取行人的上衣和下装颜色，颜色分类为不确定，深色、浅色，红色、橙色、黄色、绿色、青色、蓝色、紫色、黑色、白色、灰色，最后根据“Kalman滤波算法+ Mean Shift跟踪算法”对行人的行为特征进行分析，判别在监控区域内是否有“非法进入，非法滞留，聚集”这样的异常行为，处理完毕，得出行人特征属性、异常行为和数据置信度信息； 所述的助力车处理模块对每帧画面根据“助力车轮廓特征算法+速度信息统计算法+目标生命周期法”识别出是二轮车，还是三轮车，然后采用“基于YCbCr空间的高斯颜色模型算法”提取助力车的颜色，颜色分类为不确定，深色、浅色，红色、橙色、黄色、绿色、青色、蓝色、紫色、黑色、白色、灰色，最后根据“Kalman滤波算法+ Mean Shift跟踪算法”对助力车的行为特征进行分析，判别在监控区域内是否有“非法进入，非法滞留”这样的异常行为，处理完毕，得出助力车特征属性、异常行为和数据置信度信息； 所述的机动车处理模块对每帧画面根据“机动车轮廓特征算法”的比对识别出是大车，还是小车，然后根据采用“基于YCbCr空间的高斯颜色模型算法”提取机动车的颜色，颜色分类为不确定，深色、浅色，红色、橙色、黄色、绿色、青色、蓝色、紫色、黑色、白色、灰色，最后根据“Blob Tracking算法”对机动车的行为特征进行分析，判别在监控区域内是否有“非法进入，非法滞留，逆向行驶”这样的异常行为，处理完毕，得出机动车特征属性、异常行为和数据置信度信息。
4.根据权利要求I所述的一种社会治安视频监控图像智能处理和检索方法，其特征在于所述的步骤4中的检索条件包括有检索必要条件和非检索必要条件，检索必要条件为检索目标、时间范围和摄像机编码，非检索必要条件为特征属性和异常行为。
5.根据权利要求I所述的一种社会治安视频监控图像智能处理和检索方法，其特征在于所述的步骤5中满足检索条件信息的快照排列显示的顺序为置信度高于70%的视频流优先级最高，其视频流快照排列在前，置信度在40%到70%之间的视频流优先级次之，置信度低于40%的视频流优先级最小，视频流快照排列在最后；相同置信度级别有多个视频流快照，则其按时间顺序排列。
全文摘要
本发明公开了一种社会治安视频监控图像智能处理和检索方法，采用社会治安视频监控系统实现图像智能处理和检索；社会治安视频监控系统包括摄像机、视频分配器、视频矩阵、显示屏、硬盘录像机、视频智能处理器、报警装置、网络交换机、数据库服务器和检索工作站。本发明采用视频智能处理器完成对监控视频的数字化、编码、预处理、目标识别、特征提取、异常行为分析，实现对报警装置、视频矩阵的控制等功能，无需人为进行监控，省时省力；检索采用检索工作站在数据库服务器中进行自动检索，操作简单，无需进行海量检索，节省了检索的时间，且检索结果显示清楚。
文档编号H04N5/14GK102665071SQ201210147970
公开日2012年9月12日 申请日期2012年5月14日 优先权日2012年5月14日
发明者丁业兵, 姚叶春, 王志会, 赵峰, 邱佳杰, 郝诗海, 郭慧 申请人:安徽三联交通应用技术股份有限公司