一种智能家居养老的视频监控异常行为系统及方法
【专利摘要】本发明公开了一种智能家居养老的视频监控异常行为系统及方法，属于模式识别、计算机视觉技术领域。本发明的监控系统包括：双镜头监控摄像头、视频处理节点以及通讯中心，该系统通过双镜头监控摄像头实时监控室内活动情况；通过视频处理节点识别处理异常行为，并依据人脸表情作为辅助识别，检测是否出现异常行为活动；然后由通讯中心给用户发送异常行为警告信息。本发明可以实时监控人体活动状态，在出现异常情况时发出警报，具有应用范围广、安全性高、识别稳定可靠等优点。
【专利说明】
一种智能家居养老的视频监控异常行为系统及方法
技术领域
[0001 ]本发明涉及模式识别、计算机视觉以及自动化技术和嵌入式领域，更具体地说，涉 及一种智能家居养老的视频监控异常行为系统及方法。
【背景技术】
[0002] 根据民政部门最新统计，目前我国人口老龄化问题愈发严重，老年人口高达1.62 亿。2009年开始我国进入老龄化的快速发展阶段，2020年老年人人数会达到2.48亿，平均每 三四个人中就有一位老人。过快的老龄化速度会引发一系列社会问题，老人保障制度不完 善、服务发展滞后等都反映我国在人口老龄化问题上存在着明显不足。
[0003] 2005年随着物联网概念的提出，智能养老这个概念也被越来越多的人所了解。贯 通物联网技术，通过智能感知、识别技术与普适云计算打破传统养老思维模式，通过各类传 感器和计算机网络进行连接，让老人的日常生活(尤其是老年人的日常健康状况监控和出 行安全状况)能通过网络让子女远程了解和查看。这种结合物联网科技手段，能实时监控老 人活动状态的新型养老模式，即智能养老系统，不仅能让老人在养老院舒适安全的生活，也 让老人的子女能随时关注父母的活动状态，不必担忧父母走失等情况的发生，充分满足了 子女对老人的关注与远程监控。
[0004] 随着计算机硬件处理能力的提高和计算机视觉技术的出现，人们对计算机实现智 能监控的期望已成为现实。同时随着经济发展迅速，智能家庭监控受到越来越多的关注，在 服务、陪护老人、康复期的病人等方面有广阔的发展空间。美国、日本等国家已率先开展了 具有智能视频监控功能机器人及其行为分析、理解算法方面的研究，旨在解决独居老人的 照顾、病人康复监测、儿童行为分析等问题。研发具有智能视频监控功能的助老助残、医疗 辅助家居养老系统在敬老院及独居老人、康复病人的家庭有很大的重要性。
[0005] 目前，家居视频监控是一个研究热点，具有很大的发展空间。在现有技术中，绝大 部分的系统只能传输给指定设备(手机、电脑等)实时视频信息，大部分时间上这些视频信 息是无用的，也很浪费数据带宽，但有异常行为(摔倒、昏迷等）的时候，系统没有主动提示 功能，所以实用性很差。部分系统在设计的时候加入了运动目标检测的功能，在视频所覆盖 的范围内只要有物体运动，就发出警报，提示用户有异常行为，这类设计存在很多的误报情 况。即使在一些含有人体运动的算法监控系统中，所运用的算法也是非常简单且鲁棒性差 的。单一的行为监控是不能完全说明是否存在异常行为。同时，现有的各种监控方案多采用 普通摄像头进行监控，缺乏对监控范围内细节的捕捉。
[0006] 因此，目前急需一种识别误差小、鲁棒性好的智能家居视频监控系统。
[0007] 经检索，中国专利公开号CN103325080A，申请公布日为2013年9月25日，发明创造 名称为:一种基于物联网技术的敬老院智能看护系统及方法，该申请案结合物联网技术与 行为识别技术，通过监护仪和环境传感器对老人的生理信息、姿态信息及环境信息进行监 控，同时通过监护仪携带的RFID标签信息计算老人的位置信息，当有异常情况发生时，视频 监控网络根据老人的位置信息获取老人监控视频的序列图像，对序列图像进行行为识别， 根据老人的行为进一步判定是否确实有危险情况发生。该申请案在老人发生危险时进行双 重判断，且该申请案基于物联网技术在设置完成后可自动运行，降低了看护人员的工作量。
[0008] 中国专利公开号CN 105046876A，申请公布日为2015年11月11日，发明创造名称 为:一种基于图像识别的儿童安全监测系统；该申请案主要是采用GPS/LBS，即卫星定位和 基站的智能模式定位技术，监护人可以通过上网或者手机等移动终端查看儿童的实时信 息，以确保是否处于安全的区域;一旦离开安全区域就会将信息发送给家长，还包括一些紧 急救援，比如有危险或者异常发生时，可以按紧急呼救键并拨打预先设定的手机号。该系统 是在基于人脸图像识别的基础上，通过人脸表情识别技术提高对儿童安全性的判断，更进 一步的判定儿童的安全性。
[0009] 上述申请案均不失为一种较好的智能家居监控系统，但上述申请案均忽视了对监 控范围内细节的捕捉，使得仍存在较大识别误差，鲁棒性差，仍需进一步改进。
【发明内容】
[0010] 1.发明要解决的技术问题
[0011] 本发明鉴于上述现有技术存在的不足，提供了一种智能家居养老的视频监控异常 行为系统及方法;本发明通过目标跟踪、特征提取和异常行为识别，可以对老人的日常行为 进行跟踪检测，并在发生危险异常情况时进行报警提示。
[0012] 2.技术方案
[0013] 为达到上述目的，本发明提供的技术方案为：
[0014] 本发明的一种智能家居养老的视频监控异常行为系统，包括监控摄像头、视频处 理节点和通讯中心;其中：
[0015] 所述的监控摄像头用于获取室内的视频图像，并通过网络传输给视频处理节点；
[0016] 所述的视频处理节点接收来自监控摄像头的视频数据，并进行目标跟踪，提取人 体运动的特征信息，然后对人体运动分类，识别人脸表情作为辅助，将异常的运动信息通过 网络传输给通讯中心；
[0017] 每一个视频处理节点拥有一个指定的编号，所述编号对应指定的手机号码；
[0018] 所述的通讯中心接收视频处理节点的异常运动信息，并将异常运动信息通过GSM 传输给编号指定的手机号码。
[0019] 更进一步地，所述的监控摄像头包括镜头，镜头为定焦镜头，监控范围不小于90°; 镜头为变焦镜头，在检查到有异常行为时，自动变焦对人面部表情进行识别，作为异常行为 的辅助判断。
[0020] 更进一步地，所述监控摄像头在单个房间内至少安装4个，要求监控范围覆盖整个 房间;每一个视频处理节点接收一个房间内所有监控摄像头的数据。
[0021] 更进一步地，所述的视频处理节点包括无线网接收模块、视频压缩编码模块和图 像处理模块，所述无线网接收模块采用2.4GHz/5GHz WLAN接收视频数据;所述视频压缩编 码模块将接收到的视频数据压缩编码，缩小帧率，生成待处理的视频数据;所述图像处理模 块采用背景减除法对运动目标进行跟踪，再用时空兴趣点的方法提取运动特征，然后使用 条件随机场模型对运动进行分类，将异常运动信息和视频处理节点对应的编号通过有线网 络发送给通讯中心。
[0022] 更进一步地，所述的视频处理节点采用Cortex-A系列内核的32位微处理器。
[0023] 更进一步地，所述的通讯中心包括Cortex-M内核的STM32微处理器芯片、以太网模 块和GSM模块。
[0024]本发明的一种智能家居养老的视频监控异常行为系统方法，其步骤为：
[0025]步骤一、监控摄像头拍摄视频数据传输给视频处理节点；
[0026]步骤二、视频处理节点接收视频数据，压缩格式，提取运动特征，然后分类识别，将 异常运动信息发送给通讯中心；
[0027]步骤三、通讯中心接收到异常运动信息，通过GSM发送给指定的手机号码。
[0028]更进一步地，步骤一中监控摄像头的镜头作为室内场景监控，实时监控老人在室 内的活动;镜头作为面部表情辅助监控，在检查到有异常运动时，启动镜头，捕捉人脸轮廓， 然后改变焦距，清晰化人脸表情，再将镜头数据传输给视频处理节点，进行异常表情识别， 作为异常行为的辅助判断。
[0029]更进一步地，步骤二中视频处理节点提取运动特征，然后分类识别，将异常运动信 息发送给通讯中心的具体处理过程为：
[0030] (1)采用背景减除法提取运动目标：
[0031] 对缩小帧率后生成的待处理视频进行背景前景的分割，得背景图像fb(x，y)，然后 使用当前帧图像fk(x，y)与背景图像fb(x，y)做差得到帧差图像D k(x，y)，并对得到的帧差图 像进行二值化处理，处理规则为： .、i). D. (y) < T _2]咏
[0033] 其中，100〈Τ〈150;
[0034] (2)对提取的运动目标使用时空兴趣点方法提取运动特征：
[0035]对图像中时空Harris角点进行检测，搜索图像区域中具有显著特征值的点，通过 非边界条件对兴趣点进行筛选，得到前N个最大极值点，作为最终提取到的运动特征；
[0036] (3)采用条件随机场模型对运动特征进行分类：
[0037] 在条件随机场预测算法中，将提取到的时空兴趣点作为输入的观测序列X=(X1， X2，…，xn);所输出的最优路径/ = ' ·，)〇即为分类结果;具体算法如下：
[0038] 输入:模型特征向量F(y，X)和权值向量W，观测序列X= (XI，X2，…，Xn);
[0039]输出：最优路径 /
[0040] a.初始化非规范化概率：
[0041] δι( j)=w · Fi(yo = start ,yi = j ,χ),
[0042] j = l，2,…，m
[0043] b.递推:对i = l，2,…，n
[0053] (4)当检测到出现异常运动的时候，通过LBP算法识别人脸表情状态，作为辅助判 另IJ，综合识别出现异常行为时，将异常运动信息和对应视频处理节点的编号发送给通讯中 心。
[0054] 3.有益效果
[0055] 采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
[0056] (1)本发明的一种智能家居养老的视频监控异常行为系统，基于双镜头摄像技术 和面部表情辅助识别，其中，双镜头摄像技术不仅能准确的拍摄室内整体变化，而且可以捕 捉到面部的细微表情，通过自动变焦技术可以更充分的描述面部表情特征;在异常行为的 识别中加入表情辅助识别，可以更加准确的识别出异常表情，减少了误判的概率；
[0057] (2)本发明的一种智能家居养老的视频监控异常行为系统，视频处理节点只向通 讯中心发送异常运动信息和标签，不会传输视频数据，有效的防止视频外泄，有利于保护个 人隐私；
[0058] (3)本发明的一种智能家居养老的视频监控异常行为系统方法，采用背景减除法 对运动目标进行跟踪，再用时空兴趣点的方法提取运动特征，然后使用条件随机场模型对 运动进行分类，该异常运动信息分类方法准确率及效率高，有利于异常信息的准确、快速传 达。
【附图说明】
[0059] 图1为本发明的一种智能家居养老的视频监控异常行为系统的结构示意图；
[0060] 图2为本发明的监控系统中摄像头的结构示意图；
[0061] 图3为本发明的监控系统中摄像头的分布示意图；
[0062]图4为本发明中视频处理节点系统框图；
[0063] 图5为本发明的监控系统运行流程图。
[0064] 不意图中的标号说明：
[0065] 100、监控摄像头；101、镜头；102、镜头;200、视频处理节点；201、无线网接收模块； 202、视频压缩编码模块;203、图像处理模块;300、通讯中心。
【具体实施方式】
[0066] 为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
[0067] 实施例1
[0068] 参见图1，本实施例的一种智能家居养老的视频监控异常行为系统，主要包括监控 摄像头100、视频处理节点200和通讯中心300。其中监控摄像头100作为视频监控系统的数 据源头，将拍摄的室内场景通过无线网络实时传输给视频处理节点200。
[0069] 参见图2,本实施例中每个监控摄像头100包含两个高清的镜头101和镜头102。其 中镜头101采用定焦镜头作为室内场景监控，实时监控老人在室内的活动;镜头102采用自 动变焦镜头作为面部表情辅助监控，在系统检查到有异常运动时，启动镜头102，通过人脸 识别算法捕捉人脸轮廓，然后改变焦距，清晰化人脸表情，再将镜头102数据传输给视频处 理节点200,进行异常表情识别，作为异常行为的辅助判断。
[0070] 参见图3,本实施例在每个需监控的房间中放置4个或以上的监控摄像头100,每个 监控摄像头100正对房间中心，成环形在墙壁间隔2米处排列。每个监控摄像头100监控角度 大于等于90度，所以监控范围可以包围整个房间，以达到无死角监控的目的。对于相邻两个 监控摄像头100的监控边界以两摄像头的距离中点为界，在此中点上粘贴特殊图案作为标 签。在视频处理过程中，通过标签可以连接整个房间内摄像头的可视边界。
[0071] 所述视频处理节点200采用Cortex-A系列内核的32位微处理器，每一个视频处理 节点200处理一个监控房间的视频数据，拥有一个指定的编号，安放于所在房间内。对于家 中有多个房间的情况，每个编号都对应一个指定手机号码(老人子女的手机号）；对于养老 院的情况，一个编号对应一个指定的手机号码（居住在对应编号房间内老人子女的手机 号)。
[0072]视频处理节点200通过无线网络接收来自监控摄像头100的视频数据，并对视频数 据进行处理，将异常运动信息通过有线网络传输给通讯中心300。
[0073]参见图4,视频处理节点200上运行无线网接收模块201、视频压缩编码模块202和 图像处理模块203。其中，无线网接收模块201采用2.4GHz/5GHz WLAN接收视频数据，至少可 以同时接收4个监控摄像头100发来的视频数据。视频压缩编码模块202将接收到的各路视 频数据压缩编码，缩小帧率，生成待处理的视频数据，其具体步骤为：
[0074] 利用OpenCV函数库中VideoCapture类定义一个对象capture，将视频载入 cap tur e;然后利用c vRe s i z e函数对视频中每帧数据进行缩放，经过处理后每帧图像尺寸大 小为640*480;最后将视频顺序读出Captur e>>frame，每隔一帧保存一次，将保存的帧写入 输出的avi格式视频，得到的输出视频数据比原始视频尺寸减小、帧率为之前的二分之一、 格式为avi格式。
[0075]图像处理模块203采用背景减除法对运动目标进行跟踪，再用时空兴趣点的方法 提取运动特征，然后使用条件随机场模型对运动进行分类，将异常运动信息和所述视频处 理节点的编号通过有线网络发送给通讯中心300。具体处理过程为：
[0076] (1)采用背景减除法提取运动目标：
[0077] 利用OpenCV函数库中BackgroundSubtrac torM0G2函数进行背景前景的分割，通过 getBackgroundlmageO函数返回背景图像fb(x，y)，然后使用当前帧图像fk(x，y)与背景图 像f b(x，y)做差得到帧差图像Dk(x，y)，并对得到的帧差图像通过threshold函数进行二值化 处理，处理规则为：
[0079]对于帧差图像Dk( X，y)是256阶的灰度图像，二值化的阈值T作为灰度中间值取值 范围在127前后，具体范围根据监控环境不同在100〈T〈150。
[0080] (2)对提取的运动目标使用时空兴趣点方法提取运动特征：
[0081 ] 利用OpenCV函数库中cornerHarris函数对图像中时空Harris角点进行检测，搜索 图像区域中具有显著特征值的点，即在水平、竖直、时间三个维度变化较大的点，通过非边 界条件(三个维度均有较大变化的点)对兴趣点进行筛选，得到前N个最大极值点，20〈N〈30， 作为最终提取到的运动特征。
[0082] (3)采用条件随机场模型对运动特征进行分类：
[0083] 在条件随机场预测算法中，将提取到的时空兴趣点作为输入的观测序列X=(X1， ^…^上所输出的最优路径/^^广^^即为分类结果虏体算法如下：
[0084] 输入:模型特征向量F(y，X)和权值向量w，观测序列x= (XI，X2，…，χη);
[0085] 输出：最优路径/ =(￥，％，···》Λ)。
[0086] a.初始化非规范化概率：
[0087] δχ( j)=w · Fi(yo = start,yi = j ,χ),
[0088] j = l ,2, ··· ,m
[0089] b.递推：对i = l ,2, ···，n
[0099] (4)当检测到出现异常运动的时候，通过LBP算法识别人脸表情状态，作为辅助判 另IJ，综合识别出现异常行为时，将异常运动信息和对应视频处理节点的编号发送给通讯中 心，具体处理过程为：
[0100]当检测到异常运动时，调用镜头102调整焦距，捕捉人脸区域，进行LBP表情特征提 取:将被检测的窗口划分为16 X 16的小区域;对于每个小区域中的单个像素点，与相邻的8 个像素点灰度值进行比较，若周围像素点灰度值大于中心像素点灰度值，则该像素点的位 置被标记为1，否则为0。如此，中心像素点邻域内的8个像素点经比较可产生8位二进制数； 计算每个小区域的直方图，即每个数字(十进制数LBP值）出现的频率;对该直方图进行归一 化处理。然后将得到的每个小区域的统计直方图进行连接，形成一个特征向量，也就是整幅 图的LBP纹理特征向量，最后利用libsvm函数库进行分类。在得出异常表情判断时，将异常 运动信息和对应视频处理节点的编号发送给通讯中心。
[0101] 通讯中心300包括Cortex-M内核的STM32微处理器芯片、以太网模块和GSM模块，通 过有线网络可以接收多个视频处理节点200的数据。当接收到异常运动数据和视频处理节 点的编号时，通过GSM将异常信息发送给标签对应的手机号码。这个过程中只有异常运动的 发生时间和系统判别的异常行为类型，不包括任何视频数据。
[0102] 参见图5,根据上述方案得到的智能家居养老的视频监控异常行为实现过程如下：
[0103] 当监控范围内出现运动行为时，监控摄像头100拍摄视频数据传输给视频处理节 点 200;
[0104]视频处理节点200接收视频数据，压缩格式，提取运动特征，然后分类识别，将异常 运动信息发送给通讯中心300;
[0105]通讯中心300接收到异常运动信息，通过GSM发送给指定的号码。
[0106] 本实施例可以实时监控人体活动状态，在出现异常情况时发出警报，具有应用范 围广、安全性高、识别稳定可靠等优点。
[0107] 以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所 示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技 术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案 相似的结构方式及实施例，均应属于本发明的保护范围。
【主权项】
1. 一种智能家居养老的视频监控异常行为系统，其特征在于:包括监控摄像头（100)、 视频处理节点（200)和通讯中心(300);其中： 所述的监控摄像头（100)用于获取室内的视频图像，并通过网络传输给视频处理节点 (200)； 所述的视频处理节点（200)接收来自监控摄像头（100)的视频数据，并进行目标跟踪， 提取人体运动的特征信息，然后对人体运动分类，识别人脸表情作为辅助，将异常的运动信 息通过网络传输给通讯中心(300); 每一个视频处理节点(200)拥有一个指定的编号，所述编号对应指定的手机号码； 所述的通讯中心(300)接收视频处理节点（200)的异常运动信息，并将异常运动信息通 过GSM传输给编号指定的手机号码。2. 根据权利要求1所述的一种智能家居养老的视频监控异常行为系统，其特征在于:所 述的监控摄像头（100)包括镜头（101、102)，镜头（101)为定焦镜头，监控范围不小于90°;镜 头（102)为变焦镜头，在检查到有异常行为时，自动变焦对人面部表情进行识别，作为异常 行为的辅助判断。3. 根据权利要求2所述的一种智能家居养老的视频监控异常行为系统，其特征在于:所 述监控摄像头（100)在单个房间内至少安装4个，要求监控范围覆盖整个房间；每一个视频 处理节点(200)接收一个房间内所有监控摄像头(100)的数据。4. 根据权利要求1所述的一种智能家居养老的视频监控异常行为系统，其特征在于:所 述的视频处理节点（200)包括无线网接收模块(201)、视频压缩编码模块(202)和图像处理 模块(203)，所述无线网接收模块(201)采用2.4GHz/5GHz WLAN接收视频数据;所述视频压 缩编码模块(202)将接收到的视频数据压缩编码，缩小帧率，生成待处理的视频数据;所述 图像处理模块(203)采用背景减除法对运动目标进行跟踪，再用时空兴趣点的方法提取运 动特征，然后使用条件随机场模型对运动进行分类，将异常运动信息和视频处理节点（200) 对应的编号通过有线网络发送给通讯中心(300)。5. 根据权利要求4所述的一种智能家居养老的视频监控异常行为系统，其特征在于:所 述的视频处理节点（200)采用Cortex-A系列内核的32位微处理器。6. 根据权利要求1所述的一种智能家居养老的视频监控异常行为系统，其特征在于:所 述的通讯中心(300)包括Cortex-M内核的STM32微处理器芯片、以太网模块和GSM模块。7. 利用权利要求1~6任一项所述的一种智能家居养老的视频监控异常行为系统的监 控方法，其步骤为： 步骤一、监控摄像头（100)拍摄视频数据传输给视频处理节点(200); 步骤二、视频处理节点（200)接收视频数据，压缩格式，提取运动特征，然后分类识别， 将异常运动信息发送给通讯中心(300); 步骤三、通讯中心(300)接收到异常运动信息，通过GSM发送给指定的手机号码。8. 根据权利要求7所述的一种智能家居养老的视频监控异常行为方法，其特征在于:步 骤一中监控摄像头（100)的镜头（101)作为室内场景监控，实时监控老人在室内的活动;镜 头（102)作为面部表情辅助监控，在检查到有异常运动时，启动镜头（102)，捕捉人脸轮廓， 然后改变焦距，清晰化人脸表情，再将镜头（102)数据传输给视频处理节点（200)，进行异常 表情识别，作为异常行为的辅助判断。9.根据权利要求8所述的一种智能家居养老的视频监控异常行为方法，其特征在于:步 骤二中视频处理节点（200)提取运动特征，然后分类识别，将异常运动信息发送给通讯中心 (300)的具体处理过程为： (1) 采用背景减除法提取运动目标： 对缩小帧率后生成的待处理视频进行背景前景的分割，得背景图像fb(x，y)，然后使用 当前帧图像fk(x，y)与背景图像fb(x，y)做差得到帧差图像Dk(x，y)，并对得到的帧差图像进 行二值化处理，处理规则为：其中，100〈T〈150; (2) 对提取的运动目标使用时空兴趣点方法提取运动特征： 对图像中时空Harris角点进行检测，搜索图像区域中具有显著特征值的点，通过非边 界条件对兴趣点进行筛选，得到前N个最大极值点，作为最终提取到的运动特征； (3) 采用条件随机场模型对运动特征进行分类： 在条件随机场预测算法中，将提取到的时空兴趣点作为输入的观测序列x=(X1，X2，···， 叉丄所输出的最优路径/^义'…^^即为分类结果:具体算法如下： 输入:模型特征向量F (y，X)和权值向量w，观测序列X = (Xi，X2，…，χη); 输出:最优路径/ = (3〈，允，…,X1(4) 当检测到出现异常运动的时候，通过LBP算法识别人脸表情状态，作为辅助判别，综 合识别出现异常行为时，将异常运动信息和对应视频处理节点（200)的编号发送给通讯中 心(300) 〇
【文档编号】H04N7/18GK106027978SQ201610447391
【公开日】2016年10月12日
【申请日】2016年6月21日
【发明人】何毅, 朱佳, 梅雪, 刘莎, 王莉
【申请人】南京工业大学