一种带隐私保护的摄像机智能系统及其实现方法与流程
本发明涉及智能跟踪领域，尤其是一种摄像机的智能跟踪方法。
背景技术：
目前的家用监控摄像头大都能通过用户远程指令控制摄像头转动，也有部分摄像头可以实现智能跟拍，智能跟拍方法主要有两类，一类对所有移动物体无差别对待，一律跟拍，这样做的优点是技术难度相对较低，速度也较快，不过缺点也很明显，摄像头容易被恶意闯入者诱导，或者频繁向用户发送一些家里宠物等运动物体的视频，造成误警和不必要的流量浪费；另外一类跟拍方案是对人体进行检测，之后进行人体跟踪，不过缺点是对所有人体都进行追踪，这样有一个很明显的缺点是若摄像头被盗链，家庭用户隐私视频信息很有可能被泄露。
另一方面从算法的角度讲现有家用摄像头的运动目标检测普遍采用背景减法，帧间差分法，光流场法，这些算法在速度上较快，不过缺点是不能区分人体和其它任何运动物体，目前目标跟踪普遍采用的算法则是卡尔曼滤波，粒子滤波，mean-shift，oab等，这些算法在精度或者速度上相较于目前相关滤波类跟踪算法都有较大的缺陷。
技术实现要素：
为了克服现有技术的不足，本发明提供一种带隐私保护的摄像机智能系统及其实现方法，利用聚合通道人体检测与核相关滤波跟踪级联并利用聚合通道人脸检测和支持向量机人脸识别技术，实现了有选择地对人体进行快速跟踪且能对部分人员有选择地进行不跟踪的目的。
本发明解决其技术问题所采用的技术方案是：
一种带隐私保护的摄像机智能系统，包括摄像机、人体热释电传感器、跟踪执行机构、主控板以及智能检测识别及跟踪程序；
人体热释电传感器安装于摄像机的摄像头前方，并接收到来自人体的红外触发信号，摄像机的守护进程唤醒摄像机，开启智能检测，并读取摄像头的第一帧图片；同时开启聚合通道人体检测和聚合通道人脸检测，若摄像机检测到人体，则开启核相关滤波人体跟踪，若摄像机检测到人脸，则开启支持向量机人脸识别；根据检测到的人脸，则判断人脸的主人是否为待保护人员，若是待保护人员，则关闭人体跟踪，摄像机进入休眠即隐私保护模式，否则录制视频并推送到用户客户端并保持跟踪非保护人员。
所述触发信号由人体热释电传感器接收到的人体红外信号作为触发信号。
所述跟踪的执行机构为舵机，共2自由度。
所述同时开启聚合通道人体检测和聚合通道人脸检测的具体实现步骤如下，其中步骤a202至步骤a204为聚合通道人体检测步骤，步骤b202至步骤b204为聚合通道人脸检测步骤：
步骤a202：摄像机开始接收视频帧，将视频帧送入聚合通道人体检测模块，并开启15s的定时器，若在15s内未检测到人体，则关闭摄像机智能检测程序，使摄像机进入休眠，否则进入步骤a203；
步骤a203：挂起人体检测线程，开启人体跟踪线程，并将人体检测线程最后得到的视频帧及视频帧中的人体位置送入人体跟踪线程；
步骤a204：利用a203步骤送入的视频帧及人体位置初始化核相关滤波器跟踪器，并通过v4l视频采集接口读取视频帧更新核相关滤波器跟踪器，在跟踪过程中，若跟踪失败则返回步骤s_a202重新唤醒聚合通道人体检测线程；
步骤b202：摄像机开始接收视频帧，将视频帧送入聚合通道人脸检测模块，并开启15s的定时器，若在15s内未检测到人脸，则直接关闭人脸检测线程并保持核相关滤波人体跟踪，否则进入步骤b203；
步骤b203：关闭人脸检测线程，开启支持向量机人脸识别线程，并将人脸检测线程最后得到的视频帧及视频帧中的人脸位置送入支持向量机人脸识别线程；
步骤b204：将s_b203中检测到视频帧及人脸位置送入支持向量机分类器，利用分类器输出标签及可信度，并与摄像机中本地数据库的待保护人员标签作对比，若为待保护人员则关闭核相关滤波人体跟踪线程，否则退出人脸识别线程，并保持核相关滤波人体跟踪。
步骤a202及步骤b202中所述进行聚合通道人体检测和聚合通道人脸检测的具体步骤如下：
步骤s401：读取当前摄像头视频帧；
步骤s402：为适应人体或者人脸的尺度变化，构造特征金字塔，每个特征金字塔的图层的长宽缩放比例为
步骤s403：利用adaboost决策树分类器对输入分类器的特征描述进行分类；
步骤s404：输出检测到的视频帧中人体及人脸位置。
步骤a204所述核相关滤波跟踪器具体实现步骤如下：
步骤s501：核相关滤波跟踪器使用的第一帧为聚合通道人体检测模块检测到的视频帧，之后核相关滤波跟踪器则直接通过v4l接口读取摄像头视频帧；
步骤s502：若当前读取到的图像是第一帧为聚合通道人体检测模块检测到的视频帧，则基于视频帧中的已知人体位置对图片进行循环偏移，构造正负样本并提取样本的方向梯度直方图hog；若当前读取到的图像不是第一帧，则利用前一帧中的目标位置为中心将当前帧进行循环偏移，构造正负样本，并提取hog特征，对hog特征进行离散傅里叶变换，求取目标的外观模型zt；
步骤s503：判断当前视频帧是否进入该人体跟踪模块的第一帧，若是，则进入步骤s507利用该帧及帧中的人体位置初始化岭回归分类器，否则，进入步骤s504；
步骤s504：计算目标外观模型的核相关性
步骤s505：找出步骤s504中最大回归值所对应的区域，即为目标位置；
步骤s506：将目标矩形框的长宽均扩大2.5倍得到搜索区域，对搜索区域提取hog特征，对该hog特征进行离散傅里叶变换，获得目标在离散傅里叶变换下的外观模型x′t，x′t是根据上一时刻计算的目标位置获取的目标外观模型；
步骤s507：计算外观模型核相关性κ(xt′，xt′)，利用岭回归模型学习当前帧核滤波参数αt′＝(κ(xt′，xt′)+iλ)-1y，其中y为对应样本回归值组成的列向量，之后利用新的外观模型xt′和核滤波参数αt′更新s504步骤的岭回归分类器，将滤波参数更新为αt＝(1-β)αt-1+βαt′，将外观模型更新为xt＝(1-β)xt-1+βxt′，其中β为学习参数，若当前帧为第一帧，则αt＝α′t，xt＝x′t。
本发明的有益效果在于当前行人检测领域聚合通道检测算法在速度及召回率上有很大的优势，在视觉跟踪领域核相关滤波则同时兼顾速度和精度，本发明利用两者的级联实现智能摄像头中对人体有选择的跟踪，且在速度和精度上相较于传统方案都有很大程度提高；算法的运行环境硬件要求也远低于目前的深度学习视频处理方法，很大程度上降低了设备成本，有利于大规模推广；此外利用人脸检测和识别技术能对人员进行有选择地跟踪和报警，减少了误警和不必要的流量消耗，也很好地保护了个人隐私。
附图说明
图1为本发明的带隐私保护的摄像机智能跟踪方法流程图。
图2为本发明的带隐私保护的摄像机智能跟踪方法具体实现流程图。
图3为本发明的基于聚合通道人体/人脸检测模型训练流程图。
图4为本发明的基于聚合通道人体/人脸检测流程图。
图5为本发明的基于核相关滤波的人体跟踪流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
一种带隐私保护的摄像机智能系统，包括摄像机、人体热释电传感器、跟踪执行机构、主控板以及智能检测识别及跟踪程序；
人体热释电传感器安装于摄像机的摄像头前方，并接收到来自人体的红外触发信号，摄像机的守护进程唤醒摄像机，开启智能检测，并读取摄像头的第一帧图片；同时开启聚合通道人体检测和聚合通道人脸检测，若摄像机检测到人体，则开启核相关滤波人体跟踪，若摄像机检测到人脸，则开启支持向量机人脸识别；根据检测到的人脸，则判断人脸的主人是否为待保护人员，若是待保护人员，则关闭人体跟踪，摄像机进入休眠即隐私保护模式，否则录制视频并推送到用户客户端并保持跟踪非保护人员。所述跟踪执行机构用于旋转摄像机，以便检测人体或人脸。
所述主控板运行智能检测识别及跟踪程序，并控制带隐私保护的摄像机智能系统的整体运行。
所述触发信号由人体热释电传感器接收到的人体红外信号作为触发信号。
所述跟踪的执行机构为舵机，共2自由度。
所述同时开启聚合通道人体检测和聚合通道人脸检测的具体实现步骤如下，其中步骤a202至步骤a204为聚合通道人体检测步骤，步骤b202至步骤b204为聚合通道人脸检测步骤：
步骤a202：摄像机开始接收视频帧，将视频帧送入聚合通道人体检测模块，并开启15s的定时器，若在15s内未检测到人体，则关闭摄像机智能检测程序，使摄像机进入休眠，否则进入步骤a203；
步骤a203：挂起人体检测线程，开启人体跟踪线程，并将人体检测线程最后得到的视频帧及视频帧中的人体位置送入人体跟踪线程；
步骤a204：利用a203步骤送入的视频帧及人体位置初始化核相关滤波器跟踪器，并通过v4l视频采集接口读取视频帧更新核相关滤波器跟踪器，在跟踪过程中，若跟踪失败则返回步骤s_a202重新唤醒聚合通道人体检测线程；
步骤b202：摄像机开始接收视频帧，将视频帧送入聚合通道人脸检测模块，并开启15s的定时器，若在15s内未检测到人脸，则直接关闭人脸检测线程并保持核相关滤波人体跟踪，否则进入步骤b203；
步骤b203：关闭人脸检测线程，开启支持向量机人脸识别线程，并将人脸检测线程最后得到的视频帧及视频帧中的人脸位置送入支持向量机人脸识别线程；
步骤b204：将s_b203中检测到视频帧及人脸位置送入支持向量机分类器，利用分类器输出标签及可信度，并与摄像机中本地数据库的待保护人员标签作对比，若为待保护人员则关闭核相关滤波人体跟踪线程，否则退出人脸识别线程，并保持核相关滤波人体跟踪。
步骤a202及步骤b202中所述进行聚合通道人体检测和聚合通道人脸检测的具体步骤如下：
步骤s401：读取当前摄像头视频帧；
步骤s402：为适应人体或者人脸的尺度变化，构造特征金字塔，每个特征金字塔的图层的长宽缩放比例为
步骤s403：利用adaboost决策树分类器对输入分类器的特征描述进行分类；
步骤s404：输出检测到的视频帧中人体及人脸位置。
步骤a204所述核相关滤波跟踪器具体实现步骤如下：
步骤s501：核相关滤波跟踪器使用的第一帧为聚合通道人体检测模块检测到的视频帧，之后核相关滤波跟踪器则直接通过v4l接口读取摄像头视频帧；
步骤s502：若当前读取到的图像是第一帧为聚合通道人体检测模块检测到的视频帧，则基于视频帧中的已知人体位置对图片进行循环偏移，构造正负样本并提取样本的方向梯度直方图hog；若当前读取到的图像不是第一帧，则利用前一帧中的目标位置为中心将当前帧进行循环偏移，构造正负样本，并提取hog特征，对hog特征进行离散傅里叶变换，求取目标的外观模型zt；
步骤s503：判断当前视频帧是否进入该人体跟踪模块的第一帧，若是，则进入步骤s507利用该帧及帧中的人体位置初始化岭回归分类器，否则，进入步骤s504；
步骤s504：计算目标外观模型的核相关性
步骤s505：找出步骤s504中最大回归值所对应的区域，即为目标位置；
步骤s506：将目标矩形框的长宽均扩大2.5倍得到搜索区域，对搜索区域提取hog特征，对该hog特征进行离散傅里叶变换，获得目标在离散傅里叶变换下的外观模型xt′，xt′是根据上一时刻计算的目标位置获取的目标外观模型；
步骤s507：计算外观模型核相关性κ(xt′，xt′)，利用岭回归模型学习当前帧核滤波参数αt′＝(κ(xt′，xt′)+iλ)-1y，其中y为对应样本回归值组成的列向量，之后利用新的外观模型xt′和核滤波参数αt′更新s504步骤的岭回归分类器，将滤波参数更新为αt＝(1-β)αt-1+βαt′，将外观模型更新为xt＝(1-β)xt-1+βxt′，其中β为学习参数，若当前帧为第一帧，则αt＝α′t，xt＝x′t。
为了体现本发明的技术流程，技术特点和优势，下面将结合实施例附图具体讲解本发明工作流程，注意本实施例是示例性的，只是为了让相关技术人员更深入了解本发明，不代表所有应用场景。
图1示出了本发明实施例所提供的带隐私保护的摄像机智能跟踪方法流程图。
摄像机接收到触发信号，唤醒摄像机，开启智能检测并读取第一帧图片。
所述的带隐私保护的摄像机智能系统，触发信号为摄像机人体热释电模块接收到的人体红外信号，因此对于其它的生物或非生物红外信号并不适用于本实施例，假设家里某人经过摄像机，摄像机接收到红外信号，开启智能检测程序并读取当前视频帧。
同时开启聚合通道人体检测和聚合通道人脸检测，若检测到人体开启核相关滤波人体跟踪，若检测到人脸则开启支持向量机人脸识别模块。
所述同时开启聚合通道人体检测和聚合通道人脸检测，若在15s内未检测到人体，将退出本次任务，摄像机进入休眠状态，若在15s内未检测到人脸，则直接关闭本人脸检测和人脸识别模块。当检测到人体后，则挂起人体检测模块，进入核相关滤波人体跟踪模块，若跟踪失败则重新唤醒人体检测模块，以重新初始化跟踪模块，但此时不再开启人脸检测模块。当检测到人脸后，则停止人脸检测模块，并将检测到的视频帧及人脸位置送入支持向量机人脸识别模块。
根据检测到的人脸判断是否是待保护人员，若是，则关闭人体跟踪，摄像机进入休眠即隐私保护模式，否则录制报警视频推送到用户客户端并保持跟踪，视频录制在跟踪过程中同时进行，录制完20s视频后，通过rtmp推流到云服务器，云服务器下发到客户端。
用户需将待保护人员脸部照片通过客户端上传到云中，云端通过更新的数据集训练出新的模型，并下发到用户id所属的摄像头设备，同时更新设备本地数据库待保护人员标签。利用识别结果与本地数据库待保护人员对比，若为待保护人员则直接结束本次跟踪任务，否则继续跟踪并结束本模块。
图2示出了本发明实施例所提供的带隐私保护的摄像机智能跟踪方法具体实现流程图。
下面将结合具体的例子对本发明的实现过程进行详述：假设用户已经通过客户端将人员x的身份信息更新到摄像机本地数据库，某日人员x到访。
步骤s201：摄像机检测到人员x人体红外热释电信号后，唤醒摄像机，运行智能检测程序并读取第一帧图片(程序同时开启s_a202和s_b202两个线程，以下先介绍s_a线程)。
步骤s_a202：本线程开启聚合通道特征(aggregatechannelfeatures，acf)人体检测，若15s内未检测到人员x，则进入步骤s_b207关闭程序，摄像机进入休眠状态；若检测到人员x，则进入s_a203，其中acf检测器的训练及具体检测流程分别见附图3和附图4及其说明。
步骤s_a203：挂起本acf人体检测线程，关闭人体检测。
步骤s_a204：开启核相关滤波(kernelizedcorrelationfilters，kcf)跟踪线程，对人员x进行跟踪，跟踪的执行机构为摄像机主控板控制的两路舵机，自由度为2，由于机械结构上的限制，导致在同一时间内摄像头只能精确地随动跟踪一人，若此时室内同时出现两人及以上，则随机的择其一进行跟踪，若跟踪失败则进入s_a202，唤醒kcf人体检测线程，若跟踪成功则进入s_a205。其中kcf跟踪器具体工作流程见图5及其说明。
步骤s_a205：在对人员x开启kcf跟踪时同时开启了视频录制，若在这期间人脸检测及识别线程已经确认人员x为保护人员，则停止视频录制并放弃向用户客户端推流，否则录制完成20s后利用rtmp协议通过阿里云向用户推流报警。
步骤s_b202：本线程开启acf人脸检测，若15s内未检测到人员x的人脸，则直接关闭本线程，保持kcf跟踪线程。这样做的理由是考虑到一些不法分子刻意遮挡脸部，当出现这种情况则直接保持跟踪，将视频推送到用户端，由用户进行决策。
步骤s_b203：若检测到人员x的脸部，则关闭acf人脸检测线程。
步骤s_b204：将s_b202步骤检测得到的人脸帧先进行lbph特征提取，之后送入支持向量机(supportvectormachine，svm)人脸检测模块，并将识别结果与本地数据库待保护人员信息进行对比，若成功识别人员x确认其为保护人员，则进入步骤s_b206，关闭对待保护人员的跟踪，若未成功识别人员x(如人员x脸部有较严重的遮挡)，则进入s_b205。
步骤s_b205：关闭人脸识别线程，保持kcf跟踪。
步骤s_b206：若人员x已成功识别，关闭视频跟踪，进入隐私保护模式。
步骤s_b207：关闭程序开启的各线程，退出智能跟踪，摄像机继续进入休眠状态。
图3示出了本发明实施例所提供的基于聚合通道人体/人脸检测模型训练流程图。
在使用聚合通道人体/人脸检测前需先对分类器进行训练，训练步骤如下所示：
步骤s301：人体与人脸的训练步骤相同，唯一的区别是人体检测训练样本集采用caltech行人数据集，人脸检测训练样本集采用fddb数据集。
步骤s302：选取样本图片的10个聚合通道特征包括3个luv颜色通道，6个梯度方向直方图通道及1个局部归一化梯度幅值通道，聚合通道特征提取的过程为先利用[121]/4对样本图片进行去噪；之后分别对10个通道进行计算，并利用双线性插值对各通道进行降采样即将各通道划分成4*4的小块并求和；最后再次利用[121]/4模板对降采样后的各通道进行滤波。
步骤s303：分类器设计方法采用adaboost,选择2层决策树作为弱分类器，考虑到人体和人脸容易有较大形变，选择采用2048棵决策树，每棵决策树的根节点随机选择2个特征，之后将弱分类器经过t轮迭代产生t个最优弱分类器，并加权所有弱分类器得到最终的强分类器。另外由于检测在每个图层及每个图层的每个区域进行，因此很可能出现同个目标被检测到多次的情况，这里采用pascal原则进行非极大值抑制，pascal原则的原理如下，定义
图4示出了本发明实施例所提供的基于聚合通道人体/人脸检测流程图。
利用上一步训练好的聚合通道人体检测模型和人脸检测模型，分别可完成人体检测和人脸检测，具体的步骤如下：
步骤s401：读取当前摄像头视频帧。
步骤s402：为适应人体或者人脸的尺度变化，构造特征金字塔，特征金字塔的每个图层的长宽缩放比例为2-1/8,每隔8个图层计算一次图层特征通道，其余图层通过相邻图层推算。选取每个图层上滑动窗口的大小为64*48，像素点步长为4，因此得到64*48*10/(4*4)＝1920维特征，之后将这1920维特征向量化输入分类器。
步骤s403：利用adaboost决策树分类器对输入的特征描述进行分类。
步骤s404：输出检测到的视频帧中人体及人脸位置。
图5示出了本发明实施例所提供的基于核相关滤波的人体跟踪流程图。
步骤s501：第一帧为聚合通道人体检测模块检测到的视频帧，之后则直接通过v4l接口读取摄像头视频帧。
步骤s502：若是第一帧则基于视频帧中的已知人体位置对图片进行循环偏移，构造正负样本并提取样本的方向梯度直方图(hog)；若不是第一帧，则利用前一帧中的目标位置为中心将当前帧进行循环偏移，构造正负样本，并提取hog特征，之后对特征进行离散傅里叶变换，求取特征的外观模型zt。
步骤s503：判断当前视频帧是不是进入该人体跟踪模块的第一帧，若是，则进入步骤s507利用该帧及帧中的人体位置初始化岭回归分类器，否则，进入步骤s504。
步骤s504：计算目标外观模型的核相关性κ(xt-1，zt)，并通过核滤波参数αt-1计算当前待检测图片所有候选区域的回归值
步骤s505：找出步骤s505中回归值res最大值所对应的区域即为目标位置。
步骤s506：根据当前目标位置获取搜索区域，对该区域进行提取hog特征，对该特征进行离散傅里叶变换，获得目标在离散傅里叶变换下的外观模型记作xt′。
步骤s507：计算外观模型核相关性κ(xt′，xt′)，利用岭回归模型学习当前帧核滤波参数αt′＝(κ(xt′，xt′)+iλ)-1y，其中y为对应样本回归值组成的列向量，之后利用新的外观模型xt′和核滤波参数αt′更新s504步骤的岭回归分类器，将滤波参数更新为αt＝(1-β)αt-1+βαt′，将外观模型更新为xt＝(1-β)xt-1+βxt′,其中β为学习参数，若当前帧为第一帧，则αt＝α′t，xt＝x′t。
- 还没有人留言评论。精彩留言会获得点赞！