一种摄像机及基于摄像机人脸识别的人脸信息收集方法与流程

本发明是2017年07月10日所提出的申请号为201710557708.0、发明名称为《一种基于摄像机人脸识别的人脸信息收集方法》的发明专利申请的分案申请。

本发明涉及一种人脸信息的收集方法，具体涉及一种摄像机及基于摄像机人脸识别的人脸信息收集方法。

背景技术：

当今社会，出于安全方面的考虑，视频监控设备越来越多地应用到平安城市监控，以及小区，工厂等各种场所的监控中。监控过程多数情况下是针对人的识别，而随着人脸识别技术的成熟，使得由人工智能来自动消化监控视频数据中的人脸成为可能。随着监控设备越来越普及，并且人脸识别对视频质量的要求较高，相应的监控数据也越来越大。

目前，在监控系统中运用人脸识别，绝大部分情况下，采用的方式是摄像机把视频数据发给后台服务器，后台服务器再依赖其强大的硬件、复杂的软件做智能分析。如此监控网络的数据吞吐量惊人；在摄像机越来越多的条件下，后台服务器的存储能力和运算能力也备受考验，使得成本极大提升；此外监控环境复杂多样，摄像机的参数设置并不能保证实时完好，会导致无法识别和收集人像的情况发生，而使用远端服务器解析图像判断图像质量并返回摄像机参数修改要求，摄像机再调整拍照，会对硬件开销造成极大的压力，时间上也来不及。

近年来算法的改进和硬件性能的提升为摄像机识别人脸提供了可能，传统上采用cortex或基于x86的atom等常见移动端架构的通用处理器并不适用于进行视频处理和硬件管理的同时再进行人工智能所需的大规模简单运算。

技术实现要素：

为了克服现有技术监控系统网络开销大，硬件开销分布严重不均的情况，本发明的目的旨在提供一种基于摄像机人脸识别的人脸信息收集方法。

本发明提供的方法如下：

一种基于摄像机人脸识别的人脸信息收集方法，其方法为：摄像机采集视频数据的过程中，同时对每一帧视频数据进行人脸信息识别获得当前帧内所有人物的人脸图像和对应的人脸图像的质量参数，最后确定所述当前帧内所有人物中人脸图像的人脸信息及质量参数达到预设标准的人物，并且对该人物抓拍人脸照片。

所述对每一帧视频数据进行人脸信息识别获得当前帧内所有人物的人脸图像和对应的人脸图像的质量参数，具体为：所述摄像机根据视频数据的其中一帧中的亮度分布拾取人脸信息，之后根据人脸信息中的人脸图像的亮度、清晰度及正脸下人脸特征匹配程度确定人脸图像的质量参数。

所述摄像机根据视频数据的其中一帧中的亮度分布拾取人脸信息之后还包括：所述摄像机根据当前人脸信息与邻近若干帧中拾取人脸信息对比情况判断当前人脸图像是否为新人，如果确定为新人，为当前人脸图像分配人脸id，反之，将当前人脸图像与已有的人脸id建立对应关系。

所述确定所述当前帧内所有人物中人脸图像的人脸信息及质量参数达到预设标准的人物，并且对该人物抓拍人脸照片，具体为：当确定为新人且人脸图像的质量参数大于或等于预设阈值时，所述摄像机抓拍人脸照片并存储。

对每一帧视频数据进行人脸信息识别获得当前帧内所有人物的人脸图像和对应的人脸图像的质量参数之后，该方法还包括：当确定为新人但人脸图像的质量参数小于预设阈值时，所述摄像机根据人脸信息调整摄像机参数，同时丢弃人脸图像并继续判断后续视频数据产生的人脸图像的质量参数直至人脸图像的质量参数大于或等于预设阈值。

确定所述当前帧内所有人物中人脸图像的人脸信息及质量参数达到预设标准的人物，并且对该人物抓拍人脸照片，具体为：当确定为原有人脸且人脸图像的质量参数大于或等于预设阈值时，所述摄像机判断人脸图像的质量参数或人脸正脸程度大于原有人脸照片，最后抓拍人脸照片并替换原有人脸照片。

对每一帧视频数据进行人脸信息识别获得当前帧内所有人物的人脸图像和对应的人脸图像的质量参数之后，该方法还包括：当确定为原有人脸但人脸图像的质量参数小于预设阈值时，所述摄像机根据人脸信息调整摄像机参数，同时丢弃人脸图像并继续判断后续视频数据产生的人脸图像的质量参数直至人脸图像的质量参数大于或等于预设阈值。

人脸图像的质量参数大于或等于预设阈值时后，该方法还包括：所述摄像机记录人脸图像的质量参数大于或等于阈值时的曝光参数，之后判断摄像机在预设时间内未检测到人脸信息，则根据最近一次人脸图像参数大于或等于预设阈值时记录的曝光参数调整摄像机。

确定所述当前帧内所有人物中人脸图像的人脸信息及质量参数达到预设标准的人物，并且对该人物抓拍人脸照片同时，该方法还包括：摄像机检测到存储容量少于预警值，之后删除部分人脸照片，具体为：摄像机根据人脸id对应的人脸照片的存取状态、上传状态和跟踪状态确定人脸id的优先级并做实时调整，同时根据优先级排序删除人脸id对应的人脸照片并注销该人脸id，最后检测到存储容量高于预设阈值停止删除工作。

根据人脸信息及人脸图像的质量参数达到预设指标抓拍人脸照片并上传，具体为，摄像机根据远端服务器需求选择人脸照片的抓拍方式。

根据权利要求1所述的一种基于摄像机人脸识别的人脸信息收集方法，根据人脸信息及人脸图像的质量参数达到预设指标抓拍人脸照片并上传，具体为，摄像机根据远端服务器需求选择人脸照片的上传策略。

与现有技术相比，本发明通过添加图像运算芯片承担简单但大量的人脸识别工作，并使用通用处理器根据人脸识别的结果进行人脸照片的获取和上传，取代原先直接上传原始视频码流供服务器进行人脸识别造成的带宽浪费，以及服务器的硬件资源浪费，适合同时监控和跟踪更多的人脸提升监控效果。

附图说明

图1为一种基于摄像机人脸识别的人脸信息收集方法的流程图；

图2为一种基于摄像机人脸识别的人脸信息收集方法的一种具体实施方式的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种基于摄像机的人脸识别方法，步骤包括：摄像机采集视频数据，在采集数据的同时对每一帧视频数据进行人脸信息识别以获取人脸人脸图像的人脸信息和人脸图像的质量参数，确定人脸图像达到预设指标，对人脸达到预设指标的人脸进行拍照。

为具体实现该方法，所述摄像机内部包括了用于控制摄像机操作、图像编解码及通信等工作的主控制器，以及对应的主存储器，还包括用于使用人脸识别算法进行人脸图像识别的图像运算芯片及其对应的存储器等外接部件，摄像机还可以加设外存，用于存储抓拍所得的照片，降低主存储器的存储压力。在此基础之上该方法的具体步骤包括：

步骤100：主控制器采集传感器的视频数据并缓存至主存储器。

步骤200：主控制器将分段视频数据传输至图像运算芯片。

步骤300：图像运算芯片分析分段视频数据中的人脸，识别人脸并将人脸信息返回给主控制器。

步骤301：图像运算芯片根据收到的分段视频数据中某一帧当中人脸图像的亮度分布，拾取人脸信息。

步骤302：图像运算芯片根据当前检测的人脸信息与向前邻近若干帧中检测到的人脸图像的人脸信息进行比对，判断二者相似度，并根据相似度和设定的阈值判断当前被检测的人脸是否为新人，根据判断结果将已经出现过的人脸图像的人脸信息与相应人脸id相对应，或者为新人设置新的人脸id。

步骤303；图像运算芯片根据当前人脸图像的亮度、清晰度以及与正脸下人脸特征的匹配程度给出当前人脸图像的质量参数。

步骤304：将人脸图像及质量参数信息传输至主控制器。

步骤400：主控制器根据人脸信息调整环境外设。

步骤401：主控制器根据人脸图像的质量参数及当前人脸的亮度判断是否需要调整曝光参数及需要的调整步长。

步骤402：人脸图像的质量参数达到设定阈值时，主控制器记录一段时间内的曝光参数。

步骤403：当检测不到人脸时，主控制器使用记录的曝光参数设置摄像机。

步骤500：主控制器抓拍人脸并存储在主存储器或外存中。

步骤501：根据人脸id，当收到新人人脸图像的质量参数高于预设阈值时，主控制器控制摄像机抓怕人脸照片并存储。

具体的，主控制器根据设定，控制摄像机抓拍人脸图、人体图或原图，或三者的自由组合。

步骤502：根据人脸id，当收到已保存人脸照片的人脸图像信息时，主控制器判断当前人脸图像并非正脸时，当前人脸图像与已经保存过的人脸照片的正脸面积相比更大，且当前人脸图像的质量参数高于阈值，或者当前人脸图像的质量参数高于已保存人脸照片则抓怕人脸照片并存储替换原有人脸照片并记录人脸照片的质量参数。

步骤503：根据人脸id，当收到已保存人脸照片的人脸图像信息时，主控制器判断当已保存人脸照片为正脸时，当前人脸图像的质量参数大于已保存人脸则抓拍人脸照片并存储替换原有人脸照片并记录人脸照片的质量参数。

步骤600：上传并清理人脸照片。

步骤601：当人脸照片质量超过设定值时，主控制器上传人脸照片。

具体的，主控制器优先上传照片质量参数达到上传标准的照片并且与当前时间间隔更短的人脸照片，及所有人脸照片中质量参数更高的人脸照片。

具体的，主控制器根据设定，控制摄像机进行实时上传、人离开后上传和间隔上传三种上传方式，其中实时上传是在人脸照片产生变动后马上上传人脸照片，人离开后上传是当人离开检测区域后上传最优照片，间隔上传是人脸id对应人脸图像在检测区域中出现时，定期上传最优照片。

步骤602：当主存储器或外存的使用容量达到设定值时，主控制器根据人脸id对应人脸照片当前存取情况，当前上传情况，当前跟踪情况及最后跟踪时间为每个人脸id设置优先级。

具体的，当前正在存取的人脸照片具有最高的优先级，当前尚未上传的人脸照片获得较高优先级，当前正在跟踪的人脸照片获得较高优先级，最后跟踪时间与当前时间间隔更长的人脸照片获得较低优先级。

步骤603：根据人脸id的优先级，优先删除和覆盖优先级更低的人脸照片，并注销被覆盖人脸照片对应的人脸id。

实施例一：

摄像机对所在检测区域进行录像，并存储在内存中，arm处理器将分段视频数据通过bt1120标准视频数据接口传输至所述fpga运算芯片。

fpga运算芯片将分段视频数据缓存在fpga运算芯片的内存中并对分段数据逐帧分析，拾取图像中人脸区域的亮度分布，抓取人脸图像并记录人脸信息。fpga运算芯片使用当前记录的人脸信息与最近若干帧记录的人脸信息对比，判断该人脸是否与在先记录的人脸相一致，如果该人脸被判断是新人人脸则分配新的人脸id，如果该人脸被判断是原有人脸，则将当前记录的人脸信息与原有人脸对应的人脸id相关联。

fpga运算芯片根据当前人脸信息的亮度、清晰度以及正脸下人脸特征的匹配程度给出当前人脸图像的质量参数并将质量参数和人脸信息传输至arm处理器。

arm处理器根据当前人脸信息的人脸亮度和质量参数判断是否需要调整曝光参数及其它摄像机参数，并确认调整的步长，控制摄像机完成拍摄参数的修改,同时监测fpga运算芯片传输的后续人脸图像中的人脸信息，直至亮度足够，质量参数达到标准。

在人脸图像质量参数达到预设阈值的前提下，arm处理器抓拍人脸照片并存储在内存中。

具体的，arm处理器将缓存中的人脸图像提取作为人脸照片，同时添加对该文件的说明信息，记录拍摄时间和人脸id。

arm处理器将内存中存储的人脸照片上传至远端服务器。

该方案的优势在于：使用人脸id判断人脸图像的获取情况，便于精确的控制和记录人脸信息的收集状况，并且无需获取并上传大量的图片，大大的节省了硬件的开销。

根据人脸照片的人脸信息和质量参数获取照片拍摄情况，实时调整摄像机参数，有利于拍出质量更高的照片。

实施例二：

在实施例一的基础之上，fpga运算芯片检测不到任何人脸时，arm处理器回溯最近拍出达到标准的人脸照片是，调整的曝光参数，用于设定摄像机。

该方案便于在检测检测区域下没有人脸时将摄像机的曝光状态设置在最合理的状态下，便于再次检测到人脸后更快捷的调整到合适的曝光位置。

实施例三：

在实施例一的基础之上，arm控制器收到人脸图像信息后判断人脸id，当人脸该人脸id已抓拍并存储照片，则对应存储的人脸照片的质量参数以及正脸面积和当前人脸图像信息中包含的质量参数及人脸面积，若质量参数更高或正脸面积更大，则再次抓拍人脸照片并替换原先的人脸照片。

若存储的人脸照片为正脸则仅对比该人脸照片的质量参数及当前人脸图像的质量参数。若当前人脸图像的质量参数高于已存储人脸照片的质量参数，则抓拍并存储新的人脸照片，替换老的人脸照片。

平均而言正脸面积较大的照片，人脸图像的质量参数也相应较高，所以该方案适合筛选出更能辨识出人员的图像及照片。该方案便于快捷的对比和得到质量更高的人脸照片，便于保存质量更优的人脸照片。

实施例四：

在实施例三的基础之上，arm处理器还接收来自于远端服务器的指令，根据远端服务器的需求调整抓怕规则。

具体的，包括但不限于如下图片样式：

当前场景原图，跟踪人脸所属人体图或跟踪人脸的人脸图或三者的任意组合；

还包括但不限于如下抓拍策略：

当人脸图像的质量参数达到阈值后，马上抓拍并上传；

当人脸所属人员离开检测区域后，上传该人脸对应的最优人脸照片；

当人脸所属人员在检测区域出现后定期传输最优人脸图片。

该方案使得摄像机更适应日常的监控任务，在没有视频资料作为存档的情况下保留更合理的资料。

实施例五：

在实施例一的基础之上，加设tf卡或rom存储器作为外部存储与arm处理器连接，arm处理器将人脸照片存储在tf卡或rom存储器中。

该方案优化了人脸照片的存储环境，防止上传不及时，而造成照片没有上传被丢弃或，新抓拍的照片无法存储的情况。

实施例六：

在实施例一或五的基础之上，当arm处理器监测到内存或外存的存储空间小于预设阈值，对存储的人脸照片进行优先级排序。

具体的，根据人脸id，判断人脸id对应的人脸照片是否正在存取，为正在存取的人脸照片设置高优先级，判断人脸id对应人脸照片的上传情况，为已经上传的人脸照片设置低优先级，判断人脸id对应的人脸图像跟踪情况，为正在跟踪的人脸图像对应的人脸id设置高优先级，根据最后跟踪时间从近到远顺次设置从高到低的优先级。

arm处理器根据实时变化的优先级信息，删除内存或外存中优先级较低的人脸id对应的人脸照片，并注销该人脸id。当内存或外存的存储空间高于一个预设阈值，停止删除工作。

该方案在网络状况极端恶劣的情况下，保证了高价值的人脸照片更有效的保存同时不妨碍监控工作的正常进行。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。