基于Kinect的人流计数方法
【专利摘要】本发明公开了一种基于Kinect的人流计数方法。该方法步骤包括：读入深度图像当前帧，设置阈值对深度图像进行分割，得到阈值分割图；对阈值分割图去噪，获得跟踪对象图；对像素点作投影处理，获得跟踪对象投影图；在投影图中获得跟踪对象连通区域的轮廓序列；在跟踪对象图中获得头部跟踪对象连通区域，构成当前帧轨迹点集合；判断各轨迹点的跟踪对象归属，更新或新建跟踪对象的轨迹点集合；判断所有跟踪对象轨迹点集合是否满足跟踪计数条件，更新入出计数器；排除已离开场景跟踪对象的轨迹点集合。该方法适用于各类通道口的人流计数，计数准确率高，设备复杂度低，不受场景光线变化、阴影、透视效应及遮挡的影响，适应于不同环境场所的人流计数。
【专利说明】基于Kinect的人流计数方法
【技术领域】
[0001]本发明是涉及一种视频目标跟踪及计数的方法，具体地说是涉及一种基于Kinect立体视觉的人流计数方法。该方法采用Microsoft Kinect 3D立体感摄像机作为视频输入，可用于深度图像的动态捕捉实现实时的人头目标跟踪与计数，尤其适用于公众场所通道出入口的人流计数。
【背景技术】
[0002]基于机器视觉的通道出入口处的人流计数是根据摄像机拍摄的场景图像，通过对场景图像的处理检测场景图像内的人，统计通过通道出入口处的人流的数量。比如，通过在展厅的出入口处安装摄像机，实时估计展厅内的人数，得到展厅的拥挤程度，进而作出判断和处理。
[0003]目前基于机器视觉的人流计数系统是利用对人体跟踪的方法进行人流计数。对人体跟踪的方法，有单个摄像机获取的单目视觉的人体跟踪计数方法和多个摄像机同步获取的立体视觉的人体跟踪计数方法。
[0004]基于单目视觉的人体跟踪计数方法，该方法的跟踪算法复杂度较低，但是视频图像的特征的提取具有较大的难度。对视频图像中人体和背景的对比程度有着较高要求，且对光照、阴影、服饰等的变化较为敏感。当人体旋转或被其它物遮挡时，视频图像中无法得至IJ人体区域的特征，会出现跟踪目标丢失的现象。
[0005]基于多个摄像机同步获取的立体视觉的人体跟踪计数方法，是通过人体的空间三维信息进行跟踪和计数，该方法有赖于图像的无歧义匹配，由于受到摄像机拍摄的场景中诸多因素的影响，例如，场景中物体几何形状、噪声干扰及摄像机特性等因素的影响，同一被拍摄对象在不同视点下获取的图像，拍摄的图像会有很大的差别，难以将不同视点下的图像进行无歧义地匹配，三维场景中的部分空间信息将丢失或出错，在拍摄的视频图像中无法得到全部人体区域的特征，将导致跟踪目标丢失，人流计数准确率下降。
[0006]Microsoft公司的Kinect系统是一种基于红外结构光原理的深度相机,在3.5m的短距离范围内可以获得较精确的跟踪目标动态深度和色彩图像，这为利用跟踪目标深度信息进行跟踪目标的检测与分割提供了较好的硬件解决手段。
【发明内容】
[0007]本发明的目的在于针对现有基于立体视觉人流跟踪计数技术中存在的技术问题，提供一种基于Kinect的人流计数方法,该方法采用Kinect摄像机，自顶向下安装,能拍摄人体的深度视频图像，适用于通道出入口的人流计数的需求，不受摄像机拍摄的场景光线变化的影响，进而提高人流计数准确率。
[0008]为了达到上述目的，本发明的技术方案是:上述基于Kinect的人流计数方法，其特征在于该方法包括如下步骤:
(I)、采用OpenNI驱动读入深度图像的当前帧，遍历深度图像中的每一个像素点，设置用于分割深度图像的阈值，按分割阈值对深度图像分割，得到阈值分割图；对阈值分割图作消除噪声处理，获得跟踪对象图；
(2)、遍历上述跟踪对象图中每一个像素点，对像素点作投影处理，获得跟踪对象投影图；在跟踪对象投影图中获得跟踪对象连通区域的轮廓序列；在跟踪对象图中排除肩部连通区域；通过跟踪对象连通区域存在交点轮廓序列获得头部跟踪对象连通区域；将头部跟踪对象连通区域中心点作为跟踪对象轨迹点,构成当前巾贞轨迹点集合；
(3)、判断当前帧各轨迹点的跟踪对象归属，若属于现有跟踪对象的轨迹点集合，则将轨迹点加入该集合；若是新进轨迹点，则建立新的跟踪对象的轨迹点集合；
(4)、判断上述所有跟踪对象轨迹点集合中的跟踪对象轨迹点是否满足跟踪计数条件，若是满足跟踪计数条件，则相应“ A”的计数器或“出”的计数器加I，并删除该跟踪对象的轨迹点；否则保留该跟踪对象的轨迹点；
(5)、排除已离开场景跟踪对象的轨迹点集合，返回步骤(1)，重复循环进行步骤(I)至步骤(5)，直至计数结束。
[0009]本发明的基于Kinect的人流计数方法与现有人流计数方法相比较，具有如下特征和优点:本发明采用Kinect设备，以此来获得场景的深度图像，Kinect使用不可见的红外线来获取场景的深度信息，不受场景光线变化的影响；利用透视投影和贝叶斯框架跟踪方法来实现精确获取场景中人头位置并实现运动跟踪，达到计数的目的。本发明提出的基于Kinect的人流计数方法适用于公众场所的通道口人流计数的需求，不受场景光线变化、阴影、透视效应及遮挡的影响，具有设备简单，计数准确率高的特点。
【专利附图】
【附图说明】
[0010]图1是本发明的基于Kinect的人流计数方法的硬件构成示意图。
[0011]图2是本发明的基于Kinect的人流计数方法的流程图。
[0012]图3是本发明的基于kinect的人流计数方法的【具体实施方式】流程示意图。
【具体实施方式】
[0013]以下结合附图对本发明的基于Kinect的人流计数方法作进一步的详细描述。
[0014]如图1所示,上述基于Kinect的计数方法所涉硬件由自顶向下安装的Kinect深度摄像机和计数主机组成；如图2、图3所示，上述基于Kinect的人流计数方法，其特征在于包括如下步骤:
(I)、通过OpenNI驱动读入深度图像的当前帧，遍历深度图像中的每一个像素点，设置用于分割深度图像的阈值T，按分割阈值对深度图像分割，得到阈值分割图；对阈值分割图作消除噪声处理，获得跟踪对象图，其具体步骤如下:
(1-1)、、上述步骤(I)所述的采用通过OpenNI驱动读入深度图像，遍历深度图像中的每一个像素点，设置用于分割深度图像的阈值T，按分割阈值对深度图像分割，得到阈值分割图，其具体如下:
将上述深度图像中的像素点位置记为该像素点的灰度值记为/ (i，J)，设置用于分割深度图像的阈值T，判断深度图像中的灰度值/ (人70是否大于阈值1'，如果灰度值f (i，j0大于阈值T，则将灰度值/ (i，j0所表示的像素点的灰度值保留，否则将灰度值/(i，jO所表示的像素点的灰度值置为255，其表达式如下:
【权利要求】
1.一种基于Kinect的人流计数方法,其特征在于,该方法包括如下步骤: (1)、采用OpenNI驱动读入深度图像的当前帧，遍历深度图像中的每一个像素点，设置用于分割深度图像的阈值，按分割阈值对深度图像分割，得到阈值分割图；对阈值分割图作消除噪声处理，获得跟踪对象图； (2)、遍历上述跟踪对象图中每一个像素点，对像素点作投影处理，获得跟踪对象投影图；在跟踪对象投影图中获得跟踪对象连通区域的轮廓序列；在跟踪对象图中排除肩部连通区域；通过跟踪对象连通区域存在交点轮廓序列获得头部跟踪对象连通区域；将头部跟踪对象连通区域中心点作为跟踪对象轨迹点,构成当前帧轨迹点集合； (3)、判断当前帧各轨迹点的跟踪对象归属，若属于现有跟踪对象的轨迹点集合，则将轨迹点加入该集合；若是新进轨迹点，则建立新的跟踪对象的轨迹点集合； (4)、判断上述所有跟踪对象轨迹点集合中的跟踪对象轨迹点是否满足跟踪计数条件，若是满足跟踪计数条件，则相应“入”的计数器或“出”的计数器加1，并删除该跟踪对象的轨迹点；否则保留该跟踪对象的轨迹点； (5)、排除已离开场景跟踪对象的轨迹点集合，返回步骤(1)，重复循环进行步骤(1)至步骤(5)，直至计数结束。
2.根据权利要求1所述的基于Kinect的人流计数方法，其特征在于，上述步骤(1)所述的通过O penNI驱动读入深度图像的当前帧，遍历深度图像中的每一个像素点，设置用于分割深度图像的阈值T，按分割阈值对深度图像分割，得到阈值分割图；对阈值分割图作消除噪声处理，获得跟踪对象图，其具体步骤如下: (1-1)、上述步骤(1)所述的采用通过OpenNI驱动读入深度图像，遍历深度图像中的每一个像素点，设置用于分割深度图像的阈值T，按分割阈值对深度图像分割，得到阈值分割图，其具体如下: 将上述深度图像中的像素点位置记为该像素点的灰度值记为/ (i，J)，设置用于分割深度图像的阈值T，判断深度图像中的灰度值/ (人70是否大于阈值1'，如果灰度值f (i，j0大于阈值T，则将灰度值/ (i，j0所表示的像素点的灰度值保留，否则将灰度值/(i，j0所表示的像素点的灰度值置为255，其表达式如下: g^j)=\ K } 1、 ⑴
[255 /(i,j) > T 式(I)中，(i，J')是像素点坐标位置，/ U,j)表示像素点的灰度值，T为用于分割深度图像的阈值，该阈值为Kinect安装高度与所检测运动目标高度的差值，g (i,j)为域值分割后的阈值分割图； (1-2)、对步骤(1-1)中所述的的阈值分割图作消除噪声处理，获得跟踪对象图，其具体如下: 以3X3的像素点作为结构元素，记为&对阈值分割图J')分别作形态学的开运算及闭运算处理，以去除噪声，分别得到开运算后的跟踪对象图、闭运算后的跟踪对象图，其表达式分别如下:
3.根据权利要求2所述的基于Kinect的人流计数方法，其特征在于，上述步骤(2)所述的遍历上述跟踪对象图中每一个像素点，对像素点作透视投影处理，获得跟踪对象投影图；在跟踪对象投影图中获得跟踪对象连通区域的轮廓序列；通过轮廓序列获得头部跟踪对象连通区域位置的中心点作为跟踪对象轨迹点，构成当前帧轨迹点集合，其具体步骤如下: (2-1 )、遍历步骤(1)的跟踪对象图中每一个像素点，对每一个像素点作透视投影，获得跟踪对象的地面投影图，其具体如下: 遍历步骤(1-2)所得的跟踪对象图中的每一个像素点的灰度值& (i，J.)，判断跟踪对象图中的各像素点的灰度值是否等于255，如果像素点的灰度值不等于255，则将灰度值&(i，jO进行透视坐标映射，其表达式如下:
4.根据权利要求3所述的基于Kinect的人流计数方法，其特征在于，上述步骤(3)所述的判断当前帧各轨迹点的跟踪对象归属，若属于现有跟踪对象的轨迹点集合，则将轨迹点加入该集合；若是新进轨迹点，则建立新的跟踪对象的轨迹点集合，其具体步骤如下:(3-1)、对由步骤(2)获得的各轨迹点作归属判断，其具体如下: 设第i个跟踪对象的轨迹点集合为尽，其表达式为: 其中ek= Uk,_Fk)为集合中的第々个轨迹点， P (^kk)为以下一帧预测轨迹点为均值的高斯分布，其表达式如下:
5.根据权利要求4所述的基于Kinect的人流计数方法，其特征在于，上述步骤(4)所述的判断上述所有跟踪对象轨迹点集合是否满足跟踪计数条件，若是满足跟踪计数条件，贝IJ相应“入”的计数器或“出”的计数器加1，并删除该跟踪对象的轨迹点，否则保留该跟踪对象的轨迹点，其具体步骤如下: (4-1)、根据步骤(4)，对跟踪对象的轨迹点集合状态作判断，其具体如下: 对于第i个跟踪对象轨迹点集合尽，统计集合尽在Z及_7方向上的偏移，表达式为:
【文档编号】G06K9/00GK103530874SQ201310464624
【公开日】2014年1月22日 申请日期:2013年10月9日 优先权日:2013年10月9日
【发明者】朱秋煜, 所文俊, 王锦柏, 陈波, 袁赛, 王国威, 徐建忠 申请人:上海大学