一种儿童人脸表情识别方法与流程

本发明涉及模式识别与图像处理领域，具体涉及一种基于离散二维小波分解和区域协方差的儿童人脸表情识别方法。

背景技术：

人脸的面部表情识别是生物特征识别研究的重要内容，是当前模式识别和计算机视觉研究的热点。自动面部表情识别的研究始于上世纪70年代，在上世纪90年代随着计算机软硬件设备的发展以及人脸检测、定位等关键技术的提高而得到迅速发展。目前，人脸表情识别技术水平已经得到很大发展，并在教育、娱乐等部分场合下开始得到应用。但是，纵观现有表情识别文献可以发现，目前的面部表情识别方法研究大多是针对成年人，对儿童的面部表情识别问题很少有文献报道。另一方面，儿童的面部表情识别在很多场合下具有重要的应用前景。例如，在儿童社会情绪能力发展研究中，面部表情识别是一项重要的内容，是进行儿童的社会情绪能力检测的重要手段。

儿童人脸表情图像大多存在部分人脸被遮挡、姿态变化和拍照人脸表情图像存在尺度变化，因此，儿童非人脸表情识别主要需解决表情类内差异大、特征提取针对性弱等问题，使得人脸表情识别系统更具实用性。

有鉴于此，本发明人针对上述儿童人脸识别中存在的诸多问题，而深入构思，进而开发出本发明。

技术实现要素：

本发明的目的在于提供一种儿童人脸表情识别方法，其有效解决了表情类内差异大的问题，提高了儿童人脸表情识别的准确率。

为实现上述目的，本发明采用的技术方案是：

一种儿童人脸表情识别方法，其具体包括以下步骤：

步骤1、获取多副儿童表情图像，对每一副儿童表情图像标识类别，并进行二维离散小波变换获取每一儿童表情图像的协方差矩阵，从而建立儿童表情数据库；

步骤1.1、输入n幅儿童表情图像ii(i＝1,…,n)及其对应的标识向量y(i)；

步骤1.2、然后运用二维离散小波变换(2d-dwt)方法对每幅儿童表情图像ii进行处理获取儿童表情图像的协方差矩阵，其具体如下：

步骤1.2.1、采用二维离散小波变换把每幅表情图像ii分解为低通和高通的四幅子图像iil(l＝1,2,3,4)，并将每幅子图像iil按人脸区域划为不同的区域图像i^(r)(r＝1,2,3,4,5)；

步骤1.2.2、对每副子图像的每个面部表情图像区域进行特征提取；

儿童表情图像i的一个区域图像i^(r)(r＝1,2,3,4,5)经过gabor特征和lbp特征提取后，该区域图像的每个像素位置分别对应一组gabor特征和一个lbp特征；

定义guv(x,y)(u＝0,…,5；v＝1,…,5)和lbps,r(x,y)分别代表在像素位置(x,y)处所提取的gabor特征(共30个)和lbp特征。现把guv(x,y)和lbps,r(x,y)连同图像在(x,y)处的灰度值、一阶和二阶导数排列成一个维数为36的特征矢量x，即

x＝[i(x,y),|gx|,|gy|,|gxx|,|gyy|,lbps,r(x,y),g0,1(x,y),…,g5,5(x,y)]^t,

其中，

设区域图像i^(r)(r＝1,2,3,4,5)的像素个数为n^(r)，则经特征提取后，i^(r)对应一个元素个数为n^(r)的特征向量集其中代表集合的第k个元素。那么，特征向量集x^(r)对应的协方差矩阵rcm为：

其中，是集合的均值；

步骤2、获取待识别的儿童表情图像it，并利用步骤1得到的儿童表情数据进行表情识别；

首先采用离散二维小波变换对该儿童表情图像进行分解获得四副子图像，然后将每一子图像按人脸区域划为不同的区域图像；接着对每一区域图像进行特征提取，获取相应的协方差矩阵；

然后，根据协方差矩阵将待识别的儿童表情图像it与儿童表情识别数据库中的图像ii进行相似度比较，获取与儿童表情图像it最相似的表情图像

其中，d(it,ii)为两幅表情图像之间的相似性距离；其表达式为：

d(ct,ci)为两个协防差矩阵之间的距离，其表达式如下：

获取最相似的儿童表情图像后，其对应的表情类别y(i^*)即为待识别的儿童表情图像it的表情类别。

本发明方法与现有技术相比，具有以下的优点：

1.本发明基于离散二维小波分解和人脸区域划分，充分利用图像的局部特征和全局特征。

2.本发明采用区域协方差矩阵进行图像描述的主要优点在于rcm从统计分析角度描述图像的内容，能适应图像的尺度变换、旋转变换以及光照变换，即在这些变换下协方差矩阵仍能保持很好的不变性。

3.本发明使用区域协方差矩阵进行表情识别，可以避免高维向量的产生从而降低计算复杂度，同时融合了多种表情特征，可以更有效的进行儿童人脸表情识别。

4.本发明采用基于广义特征值距离的度量方式对每幅图像所对应的rcm进行匹配表情识别方法能够有效地识别强度较大的表情，取得良好的识别率以及识别速度，并对各类表情间的变化具有良好的鲁棒性。

附图说明

图1为本发明儿童人脸表情识别方法框图；

图2为本发明不同的区域协方差描述图。

具体实施方式

如图1和图2所示，本发明揭示了一种儿童人脸表情识别方法，其具体包括以下步骤：

步骤1、获取多副儿童表情图像，对每一副儿童表情图像标识类别，并进行二维离散小波变换获取每一儿童表情图像的协方差矩阵，从而建立儿童表情数据库；

步骤1.1、输入n幅儿童表情图像ii(i＝1,…,n)及其对应的标识向量y(i)；

步骤1.2、然后运用二维离散小波变换(2d-dwt)方法对每幅儿童表情图像ii进行处理获取儿童表情图像的协方差矩阵，其具体如下：

步骤1.2.1、进行离散二维小波变换图像分解和儿童人脸表情图像区域划分；

二维离散小波变换(2d-dwt)旨在将二维图像分解成高频和低频的不同分量图像。原始图像经2d-dwt后被分解为四部分子图像，其中低频图像与原始图像最相似，保留了大部分原始图像的信息，而高频图像则与虽然与原始图像差别较大，但保留图像的大部分边缘信息。因此，经2d-dwt后各子图像包含原始图像的不同信息，对图像的识别具有各自的作用。本发明把每副儿童表情图像ii分解四幅不同的表情子图像ii1、ii2、ii3和ii4。

为了更好地进行面部表情的识别，必须对每幅子图像iil(l＝1,2,3,4)进行表情特征提取。为此，本发明的区域划分方式把每幅表情子图像iil划分为五个区域和区域的具体划分方式为：区域为整个图像面部区域，区域为上半部人脸区域，区域则为下半部人脸区域，区域为左半部人脸区域，区域则为右半部人脸区域。

步骤1.2.2、对每副子图像的每个面部表情图像区域进行特征提取；

儿童表情图像i的一个区域图像i^(r)(r＝1,2,3,4,5)经过gabor特征和lbp特征提取后，该区域图像的每个像素位置分别对应一组gabor特征和一个lbp特征。

设guv(x,y)(u＝0,…,5；v＝1,…,5)和lbps,r(x,y)分别代表在像素位置(x,y)处所提取的gabor特征(共30个)和lbp特征。现把guv(x,y)和lbps,r(x,y)连同图像在(x,y)处的灰度值、一阶和二阶导数排列成一个维数为36的特征矢量x，即

x＝[i(x,y),|gx|,|gy|,|gxx|,|gyy|,lbps,r(x,y),g0,1(x,y),…,g5,5(x,y)]^t,

其中，

设区域图像i^(r)(r＝1,2,3,4,5)的像素个数为n^(r)，则经特征提取后，i^(r)对应一个元素个数为n^(r)的特征向量集其中代表集合的第k个元素。那么，特征向量集x(r)对应的协方差矩阵rcm为：

其中，是集合的均值。

c^(r)是一个实对称非负定矩阵，且c^(r)的尺寸大小仅取决于特征向量的维数，与区域图像i^(r)的尺寸大小无关。

步骤2、获取待识别的儿童表情图像，并利用步骤1得到的儿童表情数据进行表情识别；

假设it是待识别的儿童表情图像，首先采用离散二维小波变换对该儿童表情图像进行分解获得四副子图像，然后对每一子图像进行按人脸区域划为不同的区域图像；接着对每一区域图像进行特征提取，获取相应的协方差矩阵。该部分处理与步骤1.2相同，此处不再进行赘述。

然后，根据协方差矩阵将待识别的儿童表情图像it与儿童表情识别数据库中的图像ii进行相似度比较，获取与儿童表情图像it最相似的表情图像

其中，d(it,ii)为两幅表情图像之间的相似性距离。

两幅表情图像it和ii之间的相似性距离为：

其中，d(ct,ci)为两个协防差矩阵之间的距离，其表达式如下：

获取最相似的儿童表情图像后，其对应的表情类别y(i^*)即为待识别的儿童表情图像it的表情类别。

本发明方法与现有技术相比，具有以下的优点：

1.基于离散二维小波分解和人脸区域划分，充分利用图像的局部特征和全局特征。

2.采用区域协方差矩阵进行图像描述的主要优点在于rcm从统计分析角度描述图像的内容，能适应图像的尺度变换、旋转变换以及光照变换，即在这些变换下协方差矩阵仍能保持很好的不变性。

3.使用区域协方差矩阵进行表情识别，可以避免高维向量的产生从而降低计算复杂度，同时融合了多种表情特征，可以更有效的进行儿童人脸表情识别。

4.用基于广义特征值距离的度量方式对每幅图像所对应的rcm进行匹配表情识别方法能够有效地识别强度较大的表情，取得良好的识别率以及识别速度，并对各类表情间的变化具有良好的鲁棒性。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。