基于卷积神经网络的人脸检测方法及装置与流程

本发明涉及图像处理、视频监控以及安防领域，特别涉及人脸检测方法及装置。

背景技术：

近年来，由于人脸识别的广泛应用和其较高的市场期望，人脸识别一直是模式识别中的一个热门方向。

人脸检测作为人脸识别系统中的关键环节，占用了大部分的系统资源，并且其检测性能直接影响最终的识别精度，因此显得十分重要。

目前，常见的基于视频图像的人脸检测方法有模板匹配法、肤色模型法、神经网络法、svm分类器法、adaboost分类器法等。但这些方法检测准确率较低，难以适应复杂的环境。

近年来，随着人工智能的快速发展，深度学习被越来越多地引入到人脸识别领域中，其通过组合底层特征形成高层特征，受环境变化的影响较小。卷积神经网络(convolutionalneuralnetworks，简称cnn)是深度学习的一种模型结构，其通过卷积层和子采样层的相关运算来处理图像信息，对平移、缩放、倾斜和旋转等变形的敏感度低，更加适用于无约束环境的图像人脸检测。

然而，现有的基于卷积神经网络的人脸检测方法一般采用较多的网络层实现，其运算复杂度较高。

综上所述，需要提出一种运算复杂度低且检测准确率高的人脸检测方法。

技术实现要素：

有鉴于此，本发明的主要目的在于快速的实现人脸检测，且检测准确率高。

为达到上述目的，按照本发明的第一个方面，提供了基于卷积神经网络的人脸检测方法，该方法包括：

第一步骤，输入待处理图像；

第二步骤，采用双肤色分割法，从待处理图像中提取前景区域；

第三步骤，根据前景区域的前景点所占比值和宽高比，从前景区域中筛选出候选区域；

第四步骤，选取标注人脸的图像为正样本图像，标注非人脸的图像为负样本图像，根据正样本图像和负样本图像对卷积神经网络进行反复训练，获取训练好的人脸检测模型；以及

第五步骤，采用训练好的人脸检测模型对候选区域进行人脸检测，输出检测结果。

进一步地，所述第二步骤包括：

yiq前景分割步骤，将待处理图像从rgb颜色空间转换到yiq颜色空间，统计待处理图像中像素点(x,y)的i分量值i(x,y)，若ith1≤i(x，y)≤ith2，则认为像素点(x,y)为前景点，否则认为像素点(x,y)为背景点，生成由前景点与背景点构成的二值图像，对二值图像进行中值滤波处理，以获取yiq二值图像；

ycbcr前景分割步骤，将待处理图像从rgb颜色空间转换到ycbcr颜色空间，统计待处理图像中像素点(x,y)的cb分量值cb(x,y)和cr分量值cr(x,y)，若cbth1≤cb(x,y)≤cbth2并且crth1≤cr(x,y)≤crth2，则认为像素点(x,y)为前景点，否则认为像素点(x,y)为背景点，生成由前景点与背景点构成的二值图像，对二值图像进行中值滤波处理，以获取ycbcr二值图像；

双肤色二值图像获取步骤，yiq二值图像与ycbcr二值图像做与操作，获取双肤色二值图像；

前景区域获取步骤，采用连通区域法对双肤色二值图像进行连通区域标记，统计标记连通区域cri的标记点的个数sri，若sri≥sth，则在待处理图像中获取对应标记连通区域的外接矩形区域作为前景区域，其中cri为标记的第i个连通区域。

进一步地，所述第三步骤包括：

区域宽高比计算步骤，统计第j个前景区域的宽度fawj和高度fahj，计算宽度与高度的比值

前景点比值计算步骤，统计第j个前景区域内前景点数量fsumj，计算前景点所占的比值

候选区域筛选步骤，若rth1≤whrj≤rth2并且frj≥rth3，则认为第j个前景区域为候选区域，否则将第j个前景区域内的所有前景点设置为背景点。

进一步地，所述第四步骤包括：

训练样本选取步骤，选取多样式的标注人脸图像为正样本图像，选取多样式的标注非人脸图像为负样本图像；

样本初步训练步骤，将正样本图像和负样本图像进行灰度化处理，并将其缩放到固定宽度和固定高度，采用卷积神经网络对经过灰度化和缩放处理的正样本图像和负样本图像进行训练，获得初步训练的人脸检测模型；

测试样本选取步骤，选取多样式的标注人脸图像和标注非人脸图像为测试图像；

样本二次训练步骤，将测试图像进行灰度化处理，并将其缩放到固定宽度和固定高度，采用初步训练的人脸检测模型对经过灰度化和缩放处理的测试图像进行反复训练，直至人脸检测模型收敛。

进一步地，所述第五步骤包括：

前景区域特征提取步骤，利用训练好的人脸检测模型分别提取前景区域图像的特征；

人脸检测判定步骤，计算提取的前景区域图像特征与人脸检测模型中人脸分类特征的相似度simi1，计算提取的前景区域图像特征与人脸检测模型中非人脸分类特征的相似度simi2，若simi1＞simi2，则认为前景区域为人脸区域，否则认为前景区域为非人脸区域；

人脸区域输出步骤，标注人脸区域并输出。

按照本发明的另一个方面，提供了基于卷积神经网络的人脸检测装置，该装置包括：

图像采集模块，用于输入待处理图像；

前景区域提取模块，用于采用双肤色分割法，从待处理图像中提取前景区域；

候选区域获取模块，用于根据前景区域的前景点所占比值和宽高比，从前景区域中筛选出候选区域；

人脸检测模型训练模块，用于选取标注人脸的图像为正样本图像，标注非人脸的图像为负样本图像，根据正样本图像和负样本图像对卷积神经网络进行反复训练，获取训练好的人脸检测模型；以及

人脸区域获取模块，用于采用训练好的人脸检测模型对候选区域进行人脸检测，输出检测结果。

进一步地，所述前景区域提取模块包括：

yiq前景分割模块，用于将待处理图像从rgb颜色空间转换到yiq颜色空间，统计待处理图像中像素点(x,y)的i分量值i(x,y)，若ith1≤i(x，y)≤ith2，则认为像素点(x,y)为前景点，否则认为像素点(x,y)为背景点，生成由前景点与背景点构成的二值图像，对二值图像进行中值滤波处理，以获取yiq二值图像；

ycbcr前景分割模块，用于将待处理图像从rgb颜色空间转换到ycbcr颜色空间，统计待处理图像中像素点(x,y)的cb分量值cb(x,y)和cr分量值cr(x,y)，若cbth1≤cb(x,y)≤cbth2并且crth1≤cr(x,y)≤crth2，则认为像素点(x,y)为前景点，否则认为像素点(x,y)为背景点，生成由前景点与背景点构成的二值图像，对二值图像进行中值滤波处理，以获取ycbcr二值图像；

双肤色二值图像获取模块，用于yiq二值图像与ycbcr二值图像做与操作，获取双肤色二值图像；

前景区域获取模块，用于采用连通区域法对双肤色二值图像进行连通区域标记，统计标记连通区域cri的标记点的个数sri，若sri≥sth，则在待处理图像中获取对应标记连通区域的外接矩形区域作为前景区域，其中cri为标记的第i个连通区域。

进一步地，所述候选区域获取模块包括：

区域宽高比计算模块，用于统计第j个前景区域的宽度fawj和高度fahj，计算宽度与高度的比值

前景点比值计算模块，用于统计第j个前景区域内前景点数量fsumj，计算前景点所占的比值

候选区域筛选模块，用于当rth1≤whrj≤rth2并且frj≥rth3，则认为第j个前景区域为候选区域，否则将第j个前景区域内的所有前景点设置为背景点。

进一步地，所述人脸检测模型训练模块包括：

训练样本选取模块，用于选取多样式的标注人脸图像为正样本图像，选取多样式的标注非人脸图像为负样本图像；

样本初步训练模块，用于将正样本图像和负样本图像进行灰度化处理，并将其缩放到固定宽度和固定高度，采用卷积神经网络对经过灰度化和缩放处理的正样本图像和负样本图像进行训练，获得初步训练的人脸检测模型；

测试样本选取模块，用于选取多样式的标注人脸图像和标注非人脸图像为测试图像；

样本二次训练模块，用于将测试图像进行灰度化处理，并将其缩放到固定宽度和固定高度，采用初步训练的人脸检测模型对经过灰度化和缩放处理的测试图像进行反复训练，直至人脸检测模型收敛。

进一步地，所述人脸区域获取模块包括：

前景区域特征提取模块，用于利用训练好的人脸检测模型分别提取前景区域图像的特征；

人脸检测判定模块，用于计算提取的前景区域图像特征与人脸检测模型中人脸分类特征的相似度simi1，计算提取的前景区域图像特征与人脸检测模型中非人脸分类特征的相似度simi2，若simi1＞simi2，则认为前景区域为人脸区域，否则认为前景区域为非人脸区域；

人脸区域输出模块，用于标注人脸区域并输出。

与现有的人脸检测技术相比，本发明的基于卷积神经网络的人脸检测方法及装置一方面采用双肤色分割法先获取可能存在人脸的前景区域，并对前景区域进行筛选获取候选区域，减少了后期进行人脸检测的区域，从而提高了检测速度；另一方面采用卷积神经网络对样本图像进行训练，根据训练好的人脸检测模型对可能存在人脸的前景区域进行检测，提高了人脸检测的准确率，且鲁棒性较好。

附图说明

图1示出了按照本发明的基于卷积神经网络的人脸检测方法的流程图。

图2示出了按照本发明的基于卷积神经网络的人脸检测装置的框架图。

具体实施方式

为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

图1给出了按照本发明的基于卷积神经网络的人脸检测方法的流程图。如图1所示，按照本发明的基于卷积神经网络的人脸检测方法包括：

第一步骤s1，输入待处理图像；

第二步骤s2，采用双肤色分割法，从待处理图像中提取前景区域；

第三步骤s3，根据前景区域的前景点所占比值和宽高比，从前景区域中筛选出候选区域；

第四步骤s4，选取标注人脸的图像为正样本图像，标注非人脸的图像为负样本图像，根据正样本图像和负样本图像对卷积神经网络进行反复训练，获取训练好的人脸检测模型；以及

第五步骤s5，采用训练好的人脸检测模型对候选区域进行人脸检测，输出检测结果。

所述第一步骤s1中待处理图像为rgb彩色图像。

进一步地，所述第二步骤s2包括：

yiq前景分割步骤s21，将待处理图像从rgb颜色空间转换到yiq颜色空间，统计待处理图像中像素点(x,y)的i分量值i(x,y)，若ith1≤i(x，y)≤ith2，则认为像素点(x,y)为前景点，否则认为像素点(x,y)为背景点，生成由前景点与背景点构成的二值图像，对二值图像进行中值滤波处理，以获取yiq二值图像；

ycbcr前景分割步骤s22，将待处理图像从rgb颜色空间转换到ycbcr颜色空间，统计待处理图像中像素点(x,y)的cb分量值cb(x,y)和cr分量值cr(x,y)，若cbth1≤cb(x,y)≤cbth2并且crth1≤cr(x,y)≤crth2，则认为像素点(x,y)为前景点，否则认为像素点(x,y)为背景点，生成由前景点与背景点构成的二值图像，对二值图像进行中值滤波处理，以获取ycbcr二值图像；

双肤色二值图像获取步骤s23，若yiq二值图像与ycbcr二值图像做与操作，获取双肤色二值图像；

前景区域获取步骤s24，采用连通区域法对双肤色二值图像进行连通区域标记，统计标记连通区域cri的标记点的个数sri，若sri≥sth，则在待处理图像中获取对应标记连通区域的外接矩形区域作为前景区域，其中cri为标记的第i个连通区域。

进一步地，所述ith1的取值范围为0.01～0.06，所述ith2的取值范围为0.1～0.6，所述cbth1的取值范围为60～90，所述cbth2的取值范围为110～150，crth1的取值范围为115～155，所述crth2的取值范围为150～190，所述sth的取值范围为15～40。例如，所述ith1可以选为0.02或者0.025或者0.03，所述ith2可以选为0.2或者0.25或者0.5，所述cbth1可以选为70或者77或者85，所述cbth2可以选为120或者130或者140，所述crth1可以选为125或者133或者140，所述crth2可以选为160或者173或者185，所述sth可以选为20或者30。

进一步地，所述第三步骤s3包括：

区域宽高比计算步骤s31，统计第j个前景区域的宽度fawj和高度fahj，计算宽度与高度的比值

前景点比值计算步骤s32，统计第j个前景区域内前景点数量fsumj，计算前景点所占的比值

候选区域筛选步骤s33，当rth1≤whrj≤rth2并且frj≥rth3，则认为第j个前景区域为候选区域，否则将第j个前景区域内的所有前景点设置为背景点。

进一步地，所述rth1的取值范围为0.4～0.9，所述rth2的取值范围为1.2～2.2，所述rth3的取值范围为0.4～0.9。例如，所述rth1可以选为0.6或者0.75或者0.8，所述rth2可以选为1.6或者1.75或者2，所述rth3可以选为0.6或者0.7或者0.75。

进一步地，所述第四步骤s4包括：

训练样本选取步骤s41，选取多样式的标注人脸图像为正样本图像，选取多样式的标注非人脸图像为负样本图像；

样本初步训练步骤s42，将正样本图像和负样本图像进行灰度化处理，并将其缩放到固定宽度和固定高度，采用卷积神经网络对经过灰度化和缩放处理的正样本图像和负样本图像进行训练，获得初步训练的人脸检测模型；

测试样本选取步骤s43，选取多样式的标注人脸图像和标注非人脸图像为测试图像；

样本二次训练步骤s44，将测试图像进行灰度化处理，并将其缩放到固定宽度和固定高度，采用初步训练的人脸检测模型对经过灰度化和缩放处理的测试图像进行反复训练，直至人脸检测模型收敛。

所述多样式的标注人脸图像为不同场景、不同光照、不同姿态、不同人种等情况下只框选人脸的图像，所述多样式的标注非人脸图像为不同场景、不同光照等情况下不含人脸的图像。

所述固定宽度的取值范围为16～256，所述固定高度的取值范围为16～256。例如，所述固定宽度可以选为32或者64，所述固定高度可以选为32或者64。

实施例，所述卷积神经网络(convolutionalneuralnetwork,简称cnn)包括并不限于以下一种或者多种网络的组合：rcnn、sppnet、fast-rcnn、faster-rcnn、yolo、ssd等。

实施例，所述卷积神经网络包括：

输入层，输入固定宽度和固定高度的图像；

第一层卷积层，输出ck1个卷积核，卷积核的大小为cksi1*cksi1、步长为1；

第一层采样层，采用池化算法输出大小为ksi*ksi、步长为ksi的采样核；

第二层卷积层，输出ck2个卷积核，卷积核的大小为cksi2*cksi2、步长为1；

第二层采样层，采用池化算法输出大小为ksi*ksi、步长为ksi的采样核；

第一层全连接层，采用激活函数，输出nnum个神经元；

第二层全连接层，输出2个神经元，即人脸类别与非人脸类别。

其中，所述ck1的取值范围为6～20，所述cksi1的取值范围为3～7，所述ksi的取值范围为2～4，所述ck2的取值范围为10～40，所述cksi2的取值范围为3～9，所述nnum的取值范围为80～10000。

进一步地，所述第五步骤s5包括：

前景区域特征提取步骤s51，利用训练好的人脸检测模型分别提取前景区域图像的特征；

人脸检测判定步骤s52，计算提取的前景区域图像特征与人脸检测模型中人脸分类特征的相似度simi1，计算提取的前景区域图像特征与人脸检测模型中非人脸分类特征的相似度simi2，若simi1＞simi2，则认为前景区域为人脸区域，否则认为前景区域为非人脸区域；

人脸区域输出步骤s53，标注人脸区域并输出。

图2给出了按照本发明的基于卷积神经网络的人脸检测装置的框架图。如图2所示，按照本发明的基于卷积神经网络的人脸检测装置包括：

图像采集模块1，用于输入待处理图像；

前景区域提取模块2，用于采用双肤色分割法，从待处理图像中提取前景区域；

候选区域获取模块3，用于根据前景区域的前景点所占比值和宽高比，从前景区域中筛选出候选区域；

人脸检测模型训练模块4，用于选取标注人脸的图像为正样本图像，标注非人脸的图像为负样本图像，根据正样本图像和负样本图像对卷积神经网络进行反复训练，获取训练好的人脸检测模型；以及

人脸区域获取模块5，用于采用训练好的人脸检测模型对候选区域进行人脸检测，输出检测结果。

所述图像采集模块1中待处理图像为rgb彩色图像。

进一步地，所述前景区域提取模块2包括：

yiq前景分割模块21，用于将待处理图像从rgb颜色空间转换到yiq颜色空间，统计待处理图像中像素点(x,y)的i分量值i(x,y)，若ith1≤i(x，y)≤ith2，则认为像素点(x,y)为前景点，否则认为像素点(x,y)为背景点，生成由前景点与背景点构成的二值图像，对二值图像进行中值滤波处理，以获取yiq二值图像；

ycbcr前景分割模块22，用于将待处理图像从rgb颜色空间转换到ycbcr颜色空间，统计待处理图像中像素点(x,y)的cb分量值cb(x,y)和cr分量值cr(x,y)，若cbth1≤cb(x,y)≤cbth2并且crth1≤cr(x,y)≤crth2，则认为像素点(x,y)为前景点，否则认为像素点(x,y)为背景点，生成由前景点与背景点构成的二值图像，对二值图像进行中值滤波处理，以获取ycbcr二值图像；

双肤色二值图像获取模块23，用于yiq二值图像与ycbcr二值图像做与操作，获取双肤色二值图像；

前景区域获取模块24，用于采用连通区域法对双肤色二值图像进行连通区域标记，统计标记连通区域cri的标记点的个数sri，若sri≥sth，则在待处理图像中获取对应标记连通区域的外接矩形区域作为前景区域，其中cri为标记的第i个连通区域。

进一步地，所述ith1的取值范围为0.01～0.06，所述ith2的取值范围为0.1～0.6，所述cbth1的取值范围为60～90，所述cbth2的取值范围为110～150，crth1的取值范围为115～155，所述crth2的取值范围为150～190，所述sth的取值范围为15～40。例如，所述ith1可以选为0.02或者0.025或者0.03，所述ith2可以选为0.2或者0.25或者0.5，所述cbth1可以选为70或者77或者85，所述cbth2可以选为120或者130或者140，所述crth1可以选为125或者133或者140，所述crth2可以选为160或者173或者185，所述sth可以选为20或者30。

进一步地，所述候选区域获取模块3包括：

区域宽高比计算模块31，用于统计第j个前景区域的宽度fawj和高度fahj，计算宽度与高度的比值

前景点比值计算模块32，用于统计第j个前景区域内前景点数量fsumj，计算前景点所占的比值

候选区域筛选模块33，用于当rth1≤whrj≤rth2并且frj≥rth3，则认为第j个前景区域为候选区域，否则将第j个前景区域内的所有前景点设置为背景点。

进一步地，所述rth1的取值范围为0.4～0.9，所述rth2的取值范围为1.2～2.2，所述rth3的取值范围为0.4～0.9。例如，所述rth1可以选为0.6或者0.75或者0.8，所述rth2可以选为1.6或者1.75或者2，所述rth3可以选为0.6或者0.7或者0.75。

进一步地，所述人脸检测模型训练模块4包括：

训练样本选取模块41，用于选取多样式的标注人脸图像为正样本图像，选取多样式的标注非人脸图像为负样本图像；

样本初步训练模块42，用于将正样本图像和负样本图像进行灰度化处理，并将其缩放到固定宽度和固定高度，采用卷积神经网络对经过灰度化和缩放处理的正样本图像和负样本图像进行训练，获得初步训练的人脸检测模型；

测试样本选取模块43，用于选取多样式的标注人脸图像和标注非人脸图像为测试图像；

样本二次训练模块44，用于将测试图像进行灰度化处理，并将其缩放到固定宽度和固定高度，采用初步训练的人脸检测模型对经过灰度化和缩放处理的测试图像进行反复训练，直至人脸检测模型收敛。

所述多样式的标注人脸图像为不同场景、不同光照、不同姿态、不同人种等情况下只框选人脸的图像，所述多样式的标注非人脸图像为不同场景、不同光照等情况下不含人脸的图像。

所述固定宽度的取值范围为16～256，所述固定高度的取值范围为16～256。例如，所述固定宽度可以选为32或者64，所述固定高度可以选为32或者64。

进一步地，所述人脸区域获取模块5包括：

前景区域特征提取模块51，用于利用训练好的人脸检测模型分别提取前景区域图像的特征；

人脸检测判定模块52，用于计算提取的前景区域图像特征与人脸检测模型中人脸分类特征的相似度simi1，计算提取的前景区域图像特征与人脸检测模型中非人脸分类特征的相似度simi2，若simi1＞simi2，则认为前景区域为人脸区域，否则认为前景区域为非人脸区域；

人脸区域输出模块53，用于标注人脸区域并输出。

与现有的人脸检测技术相比，本发明的基于卷积神经网络的人脸检测方法及装置一方面采用双肤色分割法先获取可能存在人脸的前景区域，减少了后期进行人脸检测的区域，从而提高了检测速度；另一方面采用卷积神经网络对样本图像进行训练，根据训练好的人脸检测模型对可能存在人脸的前景区域进行检测，提高了人脸检测的准确率，且鲁棒性较好。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。