专利名称：一种人群密度监测方法及装置的制作方法
技术领域：
本发明涉及图像处理领域，尤其涉及一种人群密度监测方法及装置。
背景技术：
人群密度估计指的是利用数字图像处理技术对某一指定区域的人群进行监控，从而得到量化的人群密度，根据所获得的人群密度可以知道人群整体所处的状态，从而对人群的行为做出判断。传统的人群监控是靠闭路电视通过监视某一区域的人群实现的。这种监控方式靠工作人员时刻注视着闭路电视，才能了解到当前人群的大概密度，无法对人群的数量进行统计，进行定量分析。即使是现代的数字网络摄像头也需要工作人员对场景图像中的人群密度做出判断。这种方法主观性很强，不能进行定量分析。
发明内容
本发明的目的在于提供一种人群密度监测方法及装置，能够对人群进行定量分析，完成人群密度的监测。为了达到上述目的，本发明的技术方案是这样实现的:一种人群密度监测方法，包括:对源图像进行特征点监测，提取当前帧图像的特征点；利用光流法对提取到的的特征点的位置进行跟踪，得到下一帧图像中的跟踪的特征点；计算当前帧的特征点与下一帧图像中跟踪的特征点的距离，将距离小于预设的第一阈值所对应的特征点删除；根据统计多帧图像中特征点的数量与实际人数得到的特征点的数量与实际人数的对应关系，得到跟踪的特征点所对应的人群密度。优选地，所述对源图像进行特征点监测包括:步骤Al:将源图像转换为灰度图像并去噪；步骤A2:对去噪后的灰度图像中的每一个像素点，获取每一个像素点在水平方向和竖直方向的一阶差商；步骤A3:根据每一个像素点在水平方向和竖直方向的一阶差商，得到每一个像素点的海塞矩阵并求出每一个所述海塞矩阵的最小特征值；步骤A4:对每一个所述海塞矩阵的最小特征值与设定的第二阈值进行判定，若最小特征值大于所述第二阈值，则删除该最小特征值所对应的像素；若最小特征值小于所述第二阈值，则保留该特征值所对应的像素点并将该像素点选取为特征点。进一步，在所述步骤A4之后还包括:步骤A5:对选取的特征点，按照每一个特征点所对应的海塞矩阵的最小特征值从小到大排序，设定第三阈值，选取最小特征值位于所述第三阈值之前所对应的特征点作为最佳特征点。进一步，在所述步骤A5之后还包括:步骤A6:根据选取的最佳特征点，利用双线性差值对以该特征点为中心的邻域进
行差值运算。优选地，所述利用光流法对提取到的特征点的位置进行跟踪包括:根据前一帧灰度图像中监测到的特征点及其邻域内的特征点的位置，在后一帧灰度图像中查找与所述前一帧的特征点以及邻域内的特征点残差最小的特征点。优选地，所述根据前一帧灰度图像中监测到的特征点及其邻域内的点的位置，在后一帧灰度图像中查找与所述前一帧的特征点以及邻域内的特征点残差最小的特征点包括:步骤B1:根据灰度图像的特征点的海塞矩阵及该特征点的位置变化，计算该特征点的光流向量；步骤B2:根据所述光流向量和该特征点的一阶差商，得到前一帧灰度图像的特征点及其邻域内的特征点与后一帧灰度图像的对应的特征点及其领域内的特征点的残差表达式；步骤B3:根据所述残差表达式，将残差表达式的值最小时所对应的后一帧灰度图像的特征点作为跟踪的特征点。进一步，所述利用光流法对提取到的特征点的位置进行跟踪之前还包括:将每一帧灰度图像进行分层采样。优选地，所述计算当前帧的特征点与下一帧图像中跟踪的特征点的距离，将距离小于预设的第一阈值所对应的特征点删除包括:对跟踪的特征点的运动距离与设定的第一阈值进行判定，若跟踪的特征点的运动距离大于所述第一阈值，则保留该特征点；若跟踪的特征点的运动距离小于所述第一阈值，则删除该特征点。优选地，所述根据统计多帧图像中特征点的数量与实际人数得到的特征点的数量与实际人数的对应关系，得到跟踪的特征点所对应的人群密度包括:统计多帧图像中每帧图像所拍摄的实际人数，根据每一帧图像中特征点的数量与实际人数的对应关系，得到特征点的数量与实际的人数的均值和方差，根据均值拟合出特征点的数量与实际人数的变化曲线，根据方差得到人数的置信区间，从而得到人群密度。一种实施上述的人群密度监测方法的人群密度监测装置，包括:图像采集模块，用于采集源图像；特征点监测模块，用于对所采集的源图像进行特征点监测，提取当前帧图像的特征点；特征点跟踪模块，用于对提取到的特征点的位置进行跟踪，得到下一帧图像中的跟踪的特征点；特征点判定模块，用于计算当前帧的特征点与下一帧图像中跟踪的特征点的距离，将距离小于预设的第一阈值所对应的特征点删除；人群密度计算模块，用于根据统计多帧图像中特征点的数量与实际人数得到的特征点的数量与实际人数的对应关系，得到跟踪的特征点所对应的人群密度。
与现有技术相比，本发明的优点在于:所述人群密度监测方法包括以下步骤，首先对源图像进行特征点监测，提取当前帧图像的特征点；然后利用光流法对提取到的特征点的位置进行跟踪，即对当前帧图像中提取的特征点进行跟踪，在下一帧图像中找到前一帧跟踪的特征点；然后计算当前帧的特征点与下一帧图像中跟踪的特征点的距离，将距离小于预设的第一阈值所对应的特征点删除，即对图像中的特征点计算其在不同帧之间的距离，再将该距离与设定的第一阈值进行判定，若跟踪的特征点的距离大于第一阈值，则保留该特征点；若跟踪的特征点的距离小于第一阈值，则删除该特征点；最后，根据统计多帧图像中特征点的数量与实际人数得到的特征点的数量与实际人数的对应关系，得到跟踪的特征点所对应的人群密度，其中特征点的数量与实际人数的对应关系，需要先统计多帧图像中特征点的数量与实际人数，然后根据统计的信息得到特征点的数量与实际人数的对应关系，然后可以得到跟踪的特征点所对应的人数，实现对人群的定量分析，完成对人群密度的监测。在进一步的技术方案中，根据选取的最佳特征点，利用双线性差值对以该特征点为中心的邻域进行差值运算，进行差值运算后的特征点可以将特征点的位置提高到亚像素级，可以得到可靠的特征点。
为了更清楚地说明本发明具体实施方式
或现有技术中的技术方案，下面将对具体实施方式
或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例提供的人群密度监测方法的结构图；图2为本发明实施例提供的特征点检测的结构图；图3为本发明实施例提供的光流法的结构图；图4为本发明实施例提供的人群密度监测装置的结构图。
具体实施例方式以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。实施例1如图1所示为本实施例所述的一种人群密度监测方法，包括:对源图像进行特征点监测，提取当前帧图像的特征点；利用光流法对提取到的的特征点的位置进行跟踪，得到下一帧图像中的跟踪的特征点；计算当前帧的特征点与下一帧图像中跟踪的特征点的距离，将距离小于预设的第一阈值所对应的特征点删除；根据统计多帧图像中特征点的数量与实际人数得到的特征点的数量与实际人数的对应关系，得到跟踪的特征点所对应的人群
山/又o所述人群密度监测方法包括以下步骤，首先对源图像进行特征点监测，提取当前帧图像的特征点；然后利用光流法对提取到的特征点的位置进行跟踪，即对当前帧图像中提取的特征点进行跟踪，在下一帧图像中找到前一帧跟踪的特征点；然后计算当前帧的特征点与下一帧图像中跟踪的特征点的距离，将距离小于预设的第一阈值所对应的特征点删除，即对图像中的特征点计算其在不同帧之间的距离，再将该距离与设定的第一阈值进行判定，若跟踪的特征点的距离大于第一阈值，则保留该特征点；若跟踪的特征点的距离小于第一阈值，则删除该特征点；最后，根据统计多帧图像中特征点的数量与实际人数得到的特征点的数量与实际人数的对应关系，得到跟踪的特征点所对应的人群密度，其中特征点的数量与实际人数的对应关系，需要先统计多帧图像中特征点的数量与实际人数，然后根据统计的信息得到特征点的数量与实际人数的对应关系，然后可以得到跟踪的特征点所对应的人数，实现对人群的定量分析，完成对人群密度的监测。下面将在实施例2中对本发明的技术方案进行详细的描述。实施例2如图1所示为本实施例所述的一种人群密度监测方法，包括:步骤101:对源图像进行特征点监测，提取当前帧图像的特征点。如图2所示，对于特征点监测，具体的监测过程如下:步骤Al:将源图像转换为灰度图像并去噪；具体地，对于需要监测人群密度的源图像，获取源图像中的每一帧图像。由于获取的源图像中的每一帧图像均匀彩色图像，因此需要将彩色图像转换为灰度图像，即将源图像中的每一帧图像转换为灰度图像。另外，在图像处理过程中，由于图像采集设备或者其它原因，所采集的图像不可避免的存在噪声，因此，需要将图像中的噪声去除。这里去除噪声可以使用高斯滤波进行图像去噪，也可以使用小波去噪或者中值滤波去噪。步骤A2:对去噪后的灰度图像中的每一个像素点，获取每一个像素点在水平方向和竖直方向的一阶差商；在这个步骤中，使用sobel算子对每一帧灰度图像中的像素点在水平方向和竖直方向卷积，即得到每一个像素点在水平方向和竖直方向的一阶差商。例如，对于一张灰度图像，令点A (x，y)为该灰度图像中的一个像素点，则使用sobel算子对该点进行卷积后，得到的水平方向的一阶差商和竖直方向的一阶差商分别为df(x,y)/dx,df{x,y)/d\>。所述水平方向的一阶差商和竖直方向的一阶差商可以作为该像素点的基本信息，在后续的过程中会经常使用。步骤A3:根据每一个像素点在水平方向和竖直方向的一阶差商，得到每一个像素点的海塞矩阵并求出每一个所述海塞矩阵的最小特征值；对于每一个像素点，可以在该像素点及给定的邻域内，计算该像素点的海塞矩阵。即:
权利要求
1.种人群密度监测方法，其特征在于，包括: 对源图像进行特征点检测，提取当前帧图像的特征点； 利用光流法对提取到的的特征点的位置进行跟踪，得到下一帧图像中的跟踪的特征占.计算当前帧的特征点与下一帧图像中跟踪的特征点的距离，将距离小于预设的第一阈值所对应的特征点删除； 根据统计多帧图像中特征点的数量与实际人数得到的特征点的数量与实际人数的对应关系，得到跟踪的特征点所对应的人群密度。
2.权利要求1所述的人群密度监测方法，其特征在于，所述对源图像进行特征点检测包括: 步骤(Al):将源图像转换为灰度图像并去噪； 步骤(A2):对去噪后的灰度图像中的每一个像素点，获取每一个像素点在水平方向和竖直方向的一阶差商； 步骤(A3):根据每一个像素点在水平方向和竖直方向的一阶差商，得到每一个像素点的海塞矩阵并求出每一个所述海塞矩阵的最小特征值； 步骤(A4):对每一个所述海塞矩阵的最小特征值与设定的第二阈值进行判定，若最小特征值大于所述第二阈值 ，则删除该最小特征值所对应的像素；若最小特征值小于所述第二阈值，则保留该特征值所对应的像素点并将该像素点选取为特征点。
3.权利要求2所述的人群密度监测方法，其特征在于，在所述步骤(A4)之后还包括: 步骤(A5):对选取的特征点，按照每一个特征点所对应的海塞矩阵的最小特征值从小到大排序，设定第三阈值，选取最小特征值位于所述第三阈值之前所对应的特征点作为最佳特征点。
4.权利要求3所述的人群密度监测方法，其特征在于，在所述步骤(A5)之后还包括: 步骤(A6):根据选取的最佳特征点，利用双线性差值对以该特征点为中心的邻域进行差值运算。
5.权利要求2所述的人群密度监测方法，其特征在于，所述利用光流法对提取到的特征点的位置进行跟踪包括: 根据前一帧灰度图像中提取到的特征点及其邻域内的特征点的位置，在后一帧灰度图像中查找与所述前一帧的特征点以及邻域内的特征点残差最小的特征点。
6.权利要求5所述的人群密度监测方法，其特征在于，所述根据前一帧灰度图像中提取到的特征点及其邻域内的点的位置，在后一帧灰度图像中查找与所述前一帧的特征点以及邻域内的特征点残差最小的特征点包括: 步骤(BI):根据灰度图像的特征点的海塞矩阵及该特征点的位置变化，计算该特征点的光流向量； 步骤(B2):根据所述光流向量和该特征点的一阶差商，得到前一帧灰度图像的特征点及其邻域内的特征点与后一帧灰度图像的对应的特征点及其领域内的特征点的残差表达式；步骤(B3):根据所述残差表达式，将残差表达式的值最小时所对应的后一帧灰度图像的特征点作为跟踪的特征点。
7.权利要求2所述的人群密度监测方法，其特征在于，所述利用光流法对提取到的特征点的位置进行跟踪之前还包括: 将每一帧灰度图像进行分层采样。
8.权利要求1所述的人群密度监测方法，其特征在于，所述计算当前帧的特征点与下一帧图像中跟踪的特征点的距离，将距离小于预设的第一阈值所对应的特征点删除包括: 对跟踪的特征点的运动距离与设定的第一阈值进行判定，若跟踪的特征点的运动距离大于所述第一阈值，则保留该特征点；若跟踪的特征点的运动距离小于所述第一阈值，则删除该特征点。
9.权利要求1所述的人群密度监测方法，其特征在于，所述根据统计多帧图像中特征点的数量与实际人数得到的特征点的数量与实际人数的对应关系，得到跟踪的特征点所对应的人群密度包括: 统计多帧图像中每帧图像所拍摄的实际人数，根据每一帧图像中特征点的数量与实际人数的对应关系，得到特征点的数量与实际的人数的均值和方差，根据均值拟合出特征点的数量与实际人数的变化曲线，根据方差得到人数的置信区间，从而得到人群密度。
10.种实施如权利要求1、中任一项所述的人群密度监测方法的人群密度监测装置，其特征在于，包括: 图像采集模块，用于采集源图 像； 特征点监测模块，用于对所采集的源图像进行特征点监测，提取当前帧图像的特征占.特征点跟踪模块，用于对提取到的特征点的位置进行跟踪，得到下一帧图像中的跟踪的特征点； 特征点判定模块，用于计算当前帧的特征点与下一帧图像中跟踪的特征点的距离，将距离小于预设的第一阈值所对应的特征点删除； 人群密度计算模块，用于根据统计多帧图像中特征点的数量与实际人数得到的特征点的数量与实际人数的对应关系，得到跟踪的特征点所对应的人群密度。
全文摘要
本发明涉及图像处理领域，尤其涉及一种人群密度监测方法及装置。其包括对源图像进行特征点监测，提取当前帧图像的特征点；利用光流法对提取到的的特征点的位置进行跟踪，得到下一帧图像中的跟踪的特征点；计算当前帧的特征点与下一帧图像中跟踪的特征点的距离，将距离小于预设的第一阈值所对应的特征点删除；根据统计多帧图像中特征点的数量与实际人数得到的特征点的数量与实际人数的对应关系，得到跟踪的特征点所对应的人群密度。使用该人群密度监测方法及装置，能够对人群进行定量分析，完成人群密度的监测。
文档编号G06K9/00GK103093198SQ20131001456
公开日2013年5月8日 申请日期2013年1月15日 优先权日2013年1月15日
发明者王海峰, 刘忠轩 申请人:信帧电子技术(北京)有限公司