一种红外图像和彩色图像融合的人流量统计方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，尤其涉及一种红外图像和彩色图像融合的人流量 统计方法。
【背景技术】
[0002] 随着社会不断的进步，社会情况越来越复杂，管理者需要往往需要知道各地的实 际情况，尤其在超市、地铁、码头以及车站等公共场所，具有人流量较大，人员分布情况复杂 等特点，所以这些出入口处通常安装有监控设备。通过这些监控设备，管理人员可以实时了 解掌握监控区域的安全运行情况。但是，随着通道人流量的增加，管理者很多时候需要掌握 相应通道在一定时间段内的人流量信息。就这个需要目前主要有以下几种方法：
[0003] 第一种，通过人工统计的方式。这种方式一方面需要长时间的人力资源的消耗；另 一方面，随着时间的推移，人工统计的效果会逐渐变差，影响最终的人流量统计结果，而且 该方法的实时性比较差。
[0004] 第二种，通过传感器方式。这种方式在需要进行人流量统计的通道口安装传感器， 其中包括机械式传感器和红外传感器，该方法主要受传感器的分布影响较大，而且对传感 器的精度和使用寿命都有较高要求，同时对于人流分布不均匀，人流遮挡等复杂情况的辨 识度低，统计效果不理想。
[0005] 第三种，基于视频监控的技术。其中又可以分为以下几种1)基于行人检测跟踪的 方法；2)基于特征点轨迹聚类的方法；3)基于底层特征回归的方法；这三类方法往往都需 要用到彩色摄像头，前两类方法主要基于运动检测跟踪，对于非人体目标的辨识度不是很 大，容易漏检，而基于底层特征回归的方法，则是利用训练分类的方法，来尽可能的实现各 种复杂人头的识别，但在实际操作中，训练的分类器不可能考虑所有人头的变化，所以也是 比较难以实现的，同时基于彩色摄像头进行人流量统计不可避免的受到环境光线的影响， 这是彩色图像无法克服的问题。
【发明内容】
[0006] 为了克服传统单一的基于彩色摄像头的人像检测中，受环境影响大，人脸辨识度 低，近红外摄像头中分类器训练麻烦等问题，本发明提供一种具有良好自适应能力和可靠 性的基于红外图像和彩色图像融合的人流量统计方法。
[0007] 本发明的目的是通过以下技术方案来实现的：一种红外图像和彩色图像融合的人 流量统计方法，包括以下步骤：
[0008] (1)利用标定模板法对红外摄像头和彩色摄像头进行标定，获得红外图像和彩色 图像像素点之间的匹配关系；
[0009] (2)计算环境光亮度，若环境光亮度大于阈值时，则执行步骤3 ;若环境光亮度小 于阈值，则执行步骤4;
[0010] (3)利用自适应混合高斯模型区分彩色图像的前后景，获得运动前景，得到一系列 人体运动包围框；利用红外图像区分彩色图像的人体运动包围框中的人体和其他非人体区 域；根据人体运动包围框和去除非人体区域后的运动前景得到人头数统计结果；
[0011] (4)利用基于人脸血流模型的识别技术对红外图像进行人脸识别，得到人头数统 计结果。
[0012] 进一步地，所述步骤（2)具体为：
[0013] a.设定白天晴天中午日照条件下的图像平均亮度作为基准光亮度；
[0014] b.计算彩色图像的平均亮度，若低于基准光亮度的一半，则采用以红外图像为主 的统计方法，若高于基准光亮度的一半，则采用以彩色图像为主结合红外图像的统计方法。
[0015] 进一步地，所述步骤（3)中，所述利用自适应混合高斯模型区分彩色图像的前后 景，获得运动前景，得到一系列人体运动包围框，包括以下子步骤：
[0016] a.随机建立K个高斯分布；
[0017] b.如果彩色图像的某个像素的观测值位于高斯混合模型中某一高斯分布的2. 5 个标准偏差范围内，则认为其与该高斯分布配对；
[0018] c.根据配对的情况对所有高斯分布的权值进行更新；
[0019] d.如果某个像素不存在配对的高斯分布，则将概率值最小的高斯分布替换为一个 均值为该像素的观测值、大方差、小权值的高斯分布，对下一帧图像重复执行步骤b_d;
[0020] e.按照权值和与其对应的标准差的比值对K个高斯分布降序排列，把权值之和大 于背景闭值T的最前面的b个高斯分布作为背景模型B，
[0021] 即有：
【主权项】
1. 一种红外图像和彩色图像融合的人流量统计方法，其特征在于，包括以下步骤： (1) 利用标定模板法对红外摄像头和彩色摄像头进行标定，获得红外图像和彩色图像 像素点之间的匹配关系； (2) 计算环境光亮度，若环境光亮度大于阈值时，则执行步骤3 ;若环境光亮度小于阈 值，则执行步骤4; (3) 利用自适应混合高斯模型区分彩色图像的前后景，获得运动前景，得到一系列人体 运动包围框；利用红外图像区分彩色图像的人体运动包围框中的人体和其他非人体区域； 根据人体运动包围框和去除非人体区域后的运动前景得到人头数统计结果； (4) 利用基于人脸血流模型的识别技术对红外图像进行人脸识别，得到人头数统计结 果。
2. 根据权利要求1所述的一种红外图像和彩色图像融合的人流量统计方法，其特征在 于，所述步骤（2)具体为： a. 设定白天晴天中午日照条件下的图像平均亮度作为基准光亮度； b. 计算彩色图像的平均亮度，若低于基准光亮度的一半，则采用以红外图像为主的统 计方法，若高于基准光亮度的一半，则采用以彩色图像为主结合红外图像的统计方法。
3. 根据权利要求1所述的一种红外图像和彩色图像融合的人流量统计方法，其特征 在于，所述步骤（3)中，所述利用自适应混合高斯模型区分彩色图像的前后景，获得运动前 景，得到一系列人体运动包围框，包括以下子步骤： a. 随机建立K个高斯分布； b. 如果彩色图像的某个像素的观测值位于高斯混合模型中某一高斯分布的2. 5个标 准偏差范围内，则认为其与该高斯分布配对； c. 根据配对的情况对所有高斯分布的权值进行更新； d. 如果某个像素不存在配对的高斯分布，则将概率值最小的高斯分布替换为一个均值 为该像素的观测值、大方差、小权值的高斯分布，对下一帧图像重复执行步骤b-d; e. 按照权值和与其对应的标准差的比值对K个高斯分布降序排列，把权值之和大于背 景闭值T的最前面的b个高斯分布作为背景模型B， 即有：
，这里为第k个高斯分布的权值； f. 在背景模型B确定后，即可对图像中的背景像素和前景像素进行区分，如果新观测 的像素与该b个高斯分布中的某一个配对，则认为其属于背景，否则属于前景，最终得到一 系列人体运动包围框。
4. 根据权利要求1所述的一种红外图像和彩色图像融合的人流量统计方法，其特征在 于，所述步骤（3)中，所述利用红外图像区分彩色图像的人体运动包围框中的人体和其他 非人体区域，包括以下子步骤： a. 对获得的运动前景图像进行滤波、孔洞填补等预处理； b. 根据步骤1获得的红外图像和彩色图像像素点之间的匹配关系，根据温谱图去除彩 色图像人体运动包围框的非生物特征的区域，该过程只去除属于连通边界的部分，对于会 形成孔洞的区域不进行剔除。
5. 根据权利要求1所述的一种红外图像和彩色图像融合的人流量统计方法，其特征在 于，所述步骤（3)中，所述根据人体运动包围框和去除非人体区域后的运动前景得到人头 数统计结果，具体包括以下子步骤： a. 在摄像头拍摄方向设置检测线，若有符合人体红外特征的包围框碰撞到检测线，则 对彩色图像中的人体运动包围框进行从上到下的扫描，并记录人体扫描宽度； b. 将扫描过程中扫描宽度突然变大的扫描高度作为阶跃高度，计算初始扫描高度到阶 跃高度之间人体扫描宽度的平均值xl，同时计算阶跃高度之后经过相同扫描高度的人体扫 描宽度的平均值x2 ;若xl和x2的比值在人体头宽和肩膀宽度比例的变化范围之内，则记 为一个人头数；若出现多人遮挡时，即人体运动包围框内扫描线出现中断情况，则根据扫描 数据的间隔数量N，计算实际人人头数为N+1 ; c. 统计两个方向上的人流量，获得最后的总人流量。
6. 根据权利要求1所述的一种红外图像和彩色图像融合的人流量统计方法，其特征在 于，所述步骤4具体包括以下子步骤： a. 利用自适应混合高斯模型区分红外图像的前后景，获得运动前景，得到一系列人体 运动包围框； b. 利用人脸血流图模型建立模型库，进行训练； c. 利用离线的数据库对于运动前景中的人脸进行识别； d. 设置碰撞检测线，进行人流量统计。
【专利摘要】本发明公开了一种基于红外图像和彩色图像融合的人流量统计方法，该方法能自动判断环境光照情况，选择不同的方法对人流量进行快速实时的统计，在光照充足时，对彩色图像进行混合高斯建模获得运动前景，再结合红外图像去除前景中非生物的区域，对于获得的人体区域采用扫描线方法进行人头数统计，通过设置碰撞线，统计延摄像头拍摄方向上在向前向后两个方向上的人头数，完成人流量的统计；在光照不充足时，则主要利用红外图像，使用人脸模型建立模型库，采用基于人脸模型的匹配方法，获得最终的人流量统计，通过以上两个方法就可以实现多光照条件下的人流量统计。本发明方法具有良好自适应能力和可靠性，人流量的统计结果更为准确。
【IPC分类】G06M11-00, G06T7-20
【公开号】CN104573811
【申请号】CN201510007723
【发明人】方力洋, 吕剑彪, 马利刚, 王进
【申请人】杭州天迈网络有限公司
【公开日】2015年4月29日
【申请日】2015年1月8日