专利名称：一种基于机器视觉的人体跌倒检测方法
技术领域：
本发明涉及一种利用机器视觉进行人体跌倒检测的方法，属于模式识别领域。
背景技术：
21世纪被称为“银发世纪”，人口的老龄化正成为一种全球性的发展趋势。近些年来，随着社会经济的发展、居住方式的变化、家庭结构的小型化等因素，老人家庭空巢率正在不断提高。预期到2030年空巢老年人家庭的比例将达到90%，届时我国老年人家庭将严重空巢化。对于老年人，跌倒是一主要的健康问题。跌倒会导致严重的伤痛、长期行动不便。需要住院治疗的老人中大约有50%是由于跌倒的原因。而且，随着年龄的增长，跌倒导致的死亡率急剧增大，在65岁及以上年龄的女性和男性人群中，57%和36%的死亡是由于跌倒引起的。先进的计算机技术和通信技术为改善人的生活质量，特别是提高老年人的生活提供了有效途径。基于机器视觉的跌倒检测系统，在不影响老人日常活动的情况下，一方面可以减轻老年人的心理负担，让老年人不再因为害怕跌倒而减少活动，提高老年人的生活的质量；另一方面可以减轻社会和子女的压力，对构建以人为本的和谐社会有着非常积极的意义。针对基于视频图像的人体跌倒行为，研究者们提出了很多检测方法。2004年 ((Proceedings of International Conference on Pattern Recognition))(模式识别国际会议)在323-326发表的《Activity summarisation and fall detection in a supportive home environment))(家居环境中的活动概述和跌倒检测)定义已知环境中的椅子、床等区域为正常的不活动区域，如果检测到人在这些正常的不活动区域以外处于不活动状态，就认为发生了跌倒，这种算法只能应用于已知固定环境，在家具搬动时，需要重新对环境进行定义。2006 年〈〈Proceedings of IEEE International Conference on Engineering in Medicine and Biology Society)) (IEEE医药和生物工程国际会议论文集)在6384-6387 页发表的〈〈Monocular 3d head tracking to detect falls of e lderly people〉〉(基于单目摄像头的3D头部跟踪实现老年人跌倒检测)认为头部的移动跟人体跌倒有很大的相关性，提出利用头部的三维运动分析算法进行人体跌倒检测，这种方法需要检测、定位和跟踪头部或面部，耗费时间多。目前，用于人体跌倒检测的最普遍特征是身体形状的变化。2007 年((Proceedings of International Conference on Pattern Recognition and Machine Intelligence》(模式识别与机器智能国际会议论文集)发表的《Automatic detection of human fall in video》(视频中人体跌倒自动检测)用边界盒子近似表示人体形状，通过计算边界盒子的纵横比和倾斜角进行人体跌倒检测。由于人体跌倒发生的时间较短，捕获人体形状的迅速变化显得很有意义。2006年《Proceedings of IEEE International Conference on Signal Processing andCommunications Applications)) (IEEE 信号处理和通信应用国际会议论文集)在1-4页发表的《HMM based falling person detection using both audio and video》(利用声频和音频信息实现基于隐马尔科夫模型的人体跌倒检测)提取了盒子高度和盒子宽度之比的小波系数用于人体跌倒检测。与边界盒子相比，椭圆能够更精确地近似人体形状。2005年《Proceedings of IEEE Workshop on Multimedia Signal Processing)) (IEEE多媒体信号处理研讨会议论文集)在1-4页发表的((Human behavior analysis using deformable triangulations))(基于可变三角形的人体行为分析)提出利用人体骨架结构进行人体跌倒检测。2010年《Proceedings of IEEE International Conference on Image Processing)) (IEEE 图像处理国际会议论文集)在 3485-3488发表的《A hybrid human fall detection scheme》(混杂人体跌倒检测方法)提出结合形状轮廓变化和骨架信息对人体跌倒进行检测，性能要优于使用单一特征的方法。 2007 年《Expert Systems》(专家系统)在 24 (5):334-345 发表的《A multi-camera vision system for fall detection and alarm generation))(一种用于跌倒检测和报警的多摄像机视觉系统)利用分割出人体形状后的映射直方图进行跌倒检测。2008年《Proceedings of International Conference on Computer and Information Technology))(计算机和信息技术国际会议论文集)在219-224发表的《Intelligent video surveillance for monitoring fall detection of elderly in home environments〉〉(用于家居环境中老年人跌倒检测的智能视频监控系统)结合了形状映射直方图和头部位置的变化进行跌倒检测。 2011 年〈〈Proceedings of International Conference on Intelligent Environments)) (国际智能环境会议论文集)在40-46页发表的《A monocular view-invariant fall detection system for the elderly in assisted home environments》(用于家庭护理环境具有视角不变性的人体跌倒检测单目视觉系统)指出用为了使得跌倒检测具有视觉不变性，应用单目摄像机往往需要完整的人体姿态模型。2009年《Proceedings of International Conference on Advanced Communication Technology))(先进通讯技术国际会议论文集)在 2308-2312 页发表的《Multiple object tracking for fall detection in real-time surveillance system》(实时监控系统中用于人体跌倒检测的多目标跟踪)指出当跟踪多个跌倒事件时，单目摄像机解决方案会受到遮挡限制。2011年《IEEE Transactions on Information Technology in Biomedicine)) (IEEE 生物医学中的信息技术期刊)在 15 (2) :290-300 页发表的《Fall detection with multiple cameras:An occlusion-resistant method based on 3-d silhouette vertical distribution))(利用多摄像机进行跌倒检测一种基于3D轮廓垂直分布的抗遮挡方法)表明用多个摄像机能够获得视角不变性。2011 年《Proceedings of International Conference on Digital Signal Processing))(数字信号处理国际会议论文集)在1-6页发表的《Fall detection for the elderly in a smart room by using an enhanced one class support vector machine》(利用加强的一类SVM实现智能室内环境的老年人跌倒检测)融合了多个摄像机获得的人体中心位置和方位的时间变化，进行跌倒检测，需要对多个摄像机进行耗时的校正。 2010 年〈〈Proceedings of IEEE International Symposium on Industrial Electronics)) (IEEE工业电子国际研讨会论文集)在2301-2306页发表的《An automated active vision system for fall detection and posture analysis in ambi ent assisted living applications》(用于辅助家居生活跌倒检测和姿态分析的主动视觉系统)计算人体3D 中心距离地板平面的高度和人体躯干的方向进行跌倒检测。2011年《Proceedings of International Conference on Pervasive Computing Technologies for Healthcare))(用于卫生保健的普适计算技术国际会议论文集)在71-77页发表的《Evaluation of an inexpensive depth camera for passive in-home fall risk assessment))(用于家居环境跌倒检测的低成本深度摄像机)使用微软Kinect深度摄像机提取行走速度、跨步时间和长度，进行跌倒检测。在提取出特征后，研究者们应用设定阈值方法、支持向量机、隐马尔科夫模型等分类器判断是否发生了跌倒。2007年《IEEE Transactions on Systems, Man and Cybernetics =Part A))(系统、人和控制论IEEE期刊A部)在37 (6) :984-994发表的 ((Human body posture classification by a neural fuzzy network and home care system application))(基于模糊神经网络的人体姿态分类及其在家庭护理中的应用)利用模糊神经网络检测跌倒是否发生，需要大量的训练样本和较长的训练时间。2006年 《Neurocomputing》(神经计算)在 70( 1-3):489-501 页发表的《Extreme learning machine Theory and applications))介绍了一种简单的神经网络，即具有快速学习能力和泛化能力的极限学习机。
随着处理器速度的大幅度提升和摄像机价格的下降，基于机器视觉的跌倒检测系统越来越受到研究者的关注。基于机器视觉的跌倒检测系统，不但减轻了被检测对象的负担，而且提高了检测的准确性，但是这种系统也有着不足。到目前为止，大部分检测算法是首先获取人体轮廓，然后提取轮廓特征，并用该特征进行分类器训练。提取人体轮廓时，用混合高斯对背景建模并用背景减法获取人体前景图像，但是由于光照和场景的变化等得不到理想的效果。特征选择是检测算法成败的关键，由于人体姿态的多样性，相关论文用到边界盒子纵横比等特征受到了严重的限制，所以寻找适合人体动作的特征就变得极其重要。 由于分类器训练的特点，需要被检测对象和训练对象具有一致性，所以当人的大小和姿态等发生与训练样本严重不一致后，就无法进行正常的分类检测。
发明内容
本发明针对现有跌倒检测技术存在的不足，提出一种基于机器视觉的人体跌倒检测方法，该方法基于极限学习机的分类器进行人体跌倒检测的判断，能够在训练样本很少的情况下，以较少的训练时间，获得较为精确的跌倒检测结果。本发明的基于机器视觉的人体跌倒检测方法，基于以下条件所有的检测对象都是人，而且在室内环境；所有人的活动范围有限，能够用深度摄像机捕捉到人体；具体包括以下步骤(I)利用深度摄像机进行图像采集；因为Kinect深度摄像机采用红外线测试技术获取物体的深度信息，并根据物体位置的远近而形成不同颜色的深度图像，因此深度图像具有对环境光照变化不敏感的特征。(2)利用高斯混合模型对背景建模，通过新得到的图像减去背景提取出图像中的前景；(3)利用二值图像轮廓提取算法获得前景轮廓；(4)前景轮廓与不同尺度的高斯函数进行卷积计算，高斯函数 / .1 Z
=将高斯函数的标准差σ定义为尺度，σ由小到大变化，均值μ =0，
^2πσ将轮廓图像映射到曲率尺度空间形成CSS图(稀疏曲率尺度空间图像)，然后提取CSS图的峰值点，该峰值点作为轮廓图像特征，不同尺度下的峰值点便构成了基于曲率尺度特征的视频词包；(5)用得到的基于曲率尺度空间特征的视频词包训练极限学习机分类器；利用极限学习机分类器进行人体跌倒检测。由于极限学习机具有利用较少的训练样本即可得到较好的分类精度、并且学习速度快的特点，使得基于极限学习机分类器的人体跌倒检测的精度较好。本发明基于深度图像获得的人体轮廓，根据人体轮廓的稀疏曲率尺度空间图像 (CSS:Curvature Scale Space)峰值点特征的视频词包模型描述人体跌倒行为,按照曲率的定义，基于人体轮廓的稀疏曲率尺度空间特征对于移动、旋转、尺度变化具有不变性，并且将人体轮廓映射到其曲率尺度空间，提取出稀疏的曲率尺度空间的峰值点，可以实现快速匹配，利用简单的极限学习机分类器即可获得较好的检测精度，本发明提出的方法对于环境光照变化、人体形态变化具有一定的不敏感性。
图I是本发明基于机器视觉的人体跌倒检测方法的人体跌倒检测算法。图2是对人体轮廓进行卷积后得到的形状示意图。 图3是弯腰、向前跌倒、坐和躺的运动变化图。图4是深度图像。图5是跌倒行为二值分类的混淆矩阵。图6是跌倒行为多值分类的混淆矩阵。图7是隐层神经元个数对跌倒检测精度的影响(词包聚类中心个数设为80)。图8是词包聚类中心个数对跌倒检测精度的影响示意图。
具体实施例方式本发明所提出的基于机器视觉的人体跌倒检测方法，基于以下假设( I)所有的检测对象都是人，而且在室内环境；(2)所有人的活动范围有限，可以用深度摄像机捕捉到人体；允许有一定的环境光照变化和形体变化，以及其它非跌倒动作或似跌倒动作的存在。将深度摄像机采集的深度视频图像进行二值化处理，得到人体轮廓图像。对人体轮廓视频图像进行长度归一化，并将其进行卷积得到不同尺度下曲率尺度空间图像，提取该图像上的峰值点作为人体轮廓特征。提取一段深度图像视频所有峰值点特征，形成基于曲率尺度空间特征的视频词包，该视频词包反映了视频的特征，因为深度视频图像中只有人体存在，因此其是对人体行为的一种特征反映。本发明的基于机器视觉的跌倒检测方法，具体实现步骤如下(I)利用深度摄像机进行图像采集。本发明采用的视频采集设备是微软Kinect深度摄像机，这种摄像机采用红外线测试技术获取物体的深度信息，并根据物体位置的远近而形成不同颜色的深度图像，因此深度图像具有对环境光照变化不敏感的特征，不会受到环境光照变化的影响。
(2)利用高斯混合模型对背景建模，新得到的图像减去背景即可提取出图像中的前景。(3)利用二值图像轮廓提取算法获得前景轮廓。(4)对前景轮廓与不同尺度的高斯函数进行卷积计算，高斯函数
权利要求
1.一种基于机器视觉的跌倒检测方法，其特征是，基于以下条件所有的检测对象都是人，而且在室内环境；所有人的活动范围有限，能够用深度摄像机捕捉到人体；具体包括以下步骤(1)利用深度摄像机进行图像采集；(2)利用高斯混合模型对背景建模，通过新得到的图像减去背景提取出图像中的前景。(3)利用二值图像轮廓提取算法获得前景轮廓；(4)前景轮廓与不同尺度的高斯函数进行卷积计算，高斯函数
全文摘要
本发明提出一种基于机器视觉的人体跌倒检测方法，该方法基于以下条件所有的检测对象都是人，而且在室内环境；所有人的活动范围能够用深度摄像机捕捉到人体；具体包括以下步骤(1)利用深度摄像机进行图像采集；(2)通过新得到的图像减去背景提取出图像中的前景；(3)利用二值图像轮廓提取算法获得前景轮廓；(4)对前景轮廓与不同尺度的高斯函数进行卷积计算，将轮廓图像映射到曲率尺度空间形成曲率尺度空间CSS图像，提取CSS图的峰值点，不同尺度下的峰值点便构成了基于曲率尺度特征的视频词包；(5)用得到的视频词包训练极限学习机分类器。本发明能够在训练样本很少的情况下，以较少的训练时间，获得较为精确的跌倒检测结果。
文档编号G06K9/62GK102722721SQ201210167580
公开日2012年10月10日 申请日期2012年5月25日 优先权日2012年5月25日
发明者周民刚, 李贻斌, 王海波, 马昕 申请人:山东大学