专利名称：基于异构主动视觉网络的人脸图像样本采集优化方法
技术领域：
本发明属于人脸识别技术领域，特别涉及一种基于异构主动视觉网络的人脸图像样本采集优化方法。
背景技术：
人脸识别技术在民用和军用领域都有很好的应用价值和应用前景，主要包括人脸图像样本采集、样本图像预处理、分类器训练(亦称人脸注册)和样本识别(亦称人脸识别)这几个技术环节，目前对样本采集环节的研究较少。在人机交互应用场景中，已具备一些对样本采集环节的研究。这些技术与研究通常通过安装在机器人上摄像头的转动和变焦，以及机器人本身的移动，来采集分辨率、姿态角合适的人脸图像样本，以注册■和识别人脸。Marc Hanheide等在文献Who am I talking with : A Face Memory for Social Robots. 2008 IEEE International Conference onRobotics and Automation Pasadena, CA, USA, May 19-23, 2008 中提出了一种人与机器人的交互框架，采用了一个配备有云台摄像头的移动机器人，可以记住看过的人，并与之交谈。Do Joon Jung 等在文献 Detection and Tracking of Face by a Walking Robot.J. S. Marques et al. (Eds.) =IbPRIA 2005，LNCS 3522，pp. 500-507，2005 中设计的机器人能够在动态变化的环境中，检测和跟踪人脸，并通过对机器人简单的运动控制，使人脸保持在镜头中央。Chi-Yi Tsai 等在文献 ROBUST FACE TRACKING CONTROL OF A MOBILEROBOT USING SELF-TUNING KALMAN FILTER AND ECHO STATE NETWORK. Asian Journalof Control, Vol. 12, No. 4, pp. 488509, July 2010中采用对偶雅可比模型来描述机器人和目标的在世界坐标系和图像平面中的空间位置关系和运动学关系，并利用卡曼滤波算法对目标位置进行估计与跟踪。T. Wilhelm等在文献A multi-modal system fortracking and analyzmgfaces on a mobile robot. Robotics and Autonomous bystems48(2004)31-40.中利用ー个多形态系统，由全景摄像头、激光传感器和移动机器人组成，来跟踪和分析目标及其人脸。不同于人机交互，在监控或军事应用领域中，目标往往不会以期望的理想姿态，出现在距摄像头合适的距离及角度范围内。单摄像头由于视野的局限性，不足以完成对目标的人脸图像样本采集，而且，依靠如文献ROBUST FACE TRACKING CONTROL OF A MOBILEROBOT USING SELF-TUNING KALMAN FILTER AND ECHO STATE NETWORK. Asian Journal ofControl, Vol. 12，No. 4，pp. 488509，July 2010中所述的滤波算法，难以处理目标位置跳变等情况，会导致目标丢失。因此，可以考虑采用摄像头网络，扩大视野范围，利用多摄像头的视觉冗余，增强鲁棒性。由于选用的摄像头同时应具备镜头运动和镜头參数调节能力，因而称其为主动视觉网络。摄像头同时还可以是不同类型的，称其为异构。摄像头的不同功能特点可以形成互补。此外，对摄像头的简单控制不足以保证采集到的人脸图像样本具有足够好的效果，使其能真正用于人脸注册或人脸识别，需要根据人脸注册或识别对人脸图像样本的要求，设计评价函数，定量地对摄像头进行精细的控制。James N. K. Liu等在文献 iBotGuard :An Internet-Based IntelligentRobot Security System UsingInvariant FaceRecognition Against Intruder. IEEE TRANSACTIONS ON SYSTEMS, MAN,AND CYBERNETICS -PART C APPLICATIONS AND REVIEWS，VOL. 35，N0. 1，FEBRUARY2005 中设计了基于互联网的智能机器人安防系统，利用人脸识别对入侵者进行监測，但由于其设计的系统架构相对简单，对技术模块间的衔接与集成缺乏考虑，且只片面的研究了架构下的人脸识别技术，不足以在真实环境下进行应用。系统的、细致的架构设计，关键技术及其整合技术的研究显得十分重要。在监控或军事应用领域中，目标通常是非合作的，不会以期望的姿态，出现在离摄像头合适的距离及视角范围内。此时，采集到的人脸图像样本的分辨率往往会不够高；姿态角会不够正，或者不同的姿态角不丰富。这样的人脸图像样本，在人脸注册和识别中，效果不佳
发明内容
为了克服上述现有技术的不足，本发明的目的在于提供ー种基于异构主动视觉网络的人脸图像样本采集优化方法，采用异构主动视觉网络，基于对人脸图像样本质量的经验评价函数，通过摄像头的多目标分配和摄像头的状态调节，对样本采集环节进行优化，获得分辨率较好、姿态角丰富的人脸图像样本，以用于人脸注册和识别。为了实现上述目的，本发明采用的技术方案是一种基于异构主动视觉网络的人脸图像样本采集优化方法，包括以下内容寻优过程为每隔At时间，所有摄像头进行目标分配和状态调整，以完成一轮目标图像样本采集；寻优变量依次为摄像头与目标的分配关系I (C，t)、摄像头在世界坐标系中的位置与朝向角L。、以及摄像头的焦距f。，其中I(c，t)是ー个示性函数，c表示摄像头的标号，c e {1,2,... , Nj , t表示目标的标号，t e {1,2,... , Nj , I (c, t) = I表示将第t个目标分配给第c个摄像头，I (c, t) = O表示未分配，4= (υ 為I)表示第c个摄像头在世界坐标系中的位置、水平转角及俯仰转角；寻优目标最大化所有目标的总体经验评价函数Sumt (ft)，其中第t个目标的评价函数ft如下所示 /, (p , , ,-,P1 , i) = fAPnl-I，\—1，..·，Λ，Γ1 ) + (fp (A，··.，Pn, ) — fV (Λ ,…，凡,—D) · Ir ひ;,)nt = 2，3，…ft (P1, T1) = fp (P1) · fr (r^ft{pnrr t，P1,n)为第t个目标的nt个人脸图像样本的联合评价函数，通过达代方法计算；fp为对姿态角的评价函数，根据所有姿态角在(-90°，90° )区间分布的均匀和密集程度来计算，凡表示第nt个人脸图像样本的姿态角度；f；表示对分辨率的评价函数，根据分辨率的高低来计算，表示第nt个人脸图像样本的分辨率。寻优方法为遍历I(c，t)即目标分配方案；在每ー种目标分配方案下，采取遗传算法，求解每个摄像头L。和f。使得ft最大；选取最佳分配方案从而得到最大的Sumt (ft)。在采集单目标的情况下，I (c，t)为常值，在At时间内，摄像头依次进行ー轮样本采集，由于每当一个摄像头采集后，目标的图像样本集合就发生了变化，这将影响到下ー个摄像头的采集时的评价函数计算，从而影响采集其行为，因而需要遍历求解次序，找到最佳次序，得到最优解，不过，随机次序也是可以的。在采集多目标的情况下，如果ー个摄像头只分配一个目标，则遍历I (c，t)，即目标分配方案，再遍历摄像头的采集次序，在每ー种次序中，每个摄像头最大化它分配到的目标的评价函数ft，从而确定最佳分配方案、最佳采集次序和最佳摄像头状态。在采集多目标的情况下，如果ー个摄像头分配多个目标，则遍历I (c，t)，再遍历摄像头的采集次序，然后每个摄像头最大化它分配到的所有目标的目标函数之和即、誦:I U、)，τ。为摄像头C分配到的目标集合，从而确定最佳分配方案、最佳采集次序和最佳摄像头状态。 与现有技术相比，本发明參考了现有的人脸识别技术和系统的研究，了解到不同人脸图像样本对人脸注册和人脸识别产生影响的指标中，较为主要两个为人脸在图像中的分辨率和姿态角，本发明将这两个指标以主动视觉技术进行改良。异构主动视觉网络是较新颖、较先进的主动视觉技木，它具备主动采集、任务协同、功能互补等特性，可以比单个摄像头采集、静态摄像头、扫描摄像头等传统设备和技术更有效地获取非合作目标的人脸图像样本。本发明根据已有的人脸识别技术和系统的研究，进行了进ー步的图像分析和数学分析，建立了人脸图像样本质量的经验评价函数(主要与分辨率和姿态角相关)，以最大化经验评价函数值为目标，利用异构主动视觉网络，对样本采集环节进行优化，获得分辨率较好、姿态角丰富的人脸图像样本，以用于人脸注册和识别。该技术的应用场景主要定位为在监控或军事场景中，对非合作目标的人脸图像样本进行采集，目标亦可进ー步泛化为非人的目标。
图I为不同原始分辨率的样本缩放到同一參考分辨率示意图，从左到右依次为原始分辨率4 X 6、8 X 12、20 X 30、40 X 60缩放为參考分辨率40 X 60。图2为不同原始分辨率的图像在频域的幅度组分上的可分性图像，从左到右依次为原始分辨率原始分辨率4X 6、8 X 12、20 X 30、40 X 60缩放为參考分辨率40 X 60，越明亮代表该原始分辨率的样本可分性越强。图3为分辨率r与评价函数值f；关系示意图，横坐标为r，纵坐标为f；值，折线段表征了若干指定分辨率的人脸样本图像的分辨率评价函数值；光滑曲线为以二次曲线拟合折线段的結果。图4为对不同姿态角样本在图像空间中近似ー维分布的刻画示意图，折线段表征了若干指定姿态角在图像空间中近似ー维分布，直线为參考线(图像空间-姿态角均匀分布)，比较表明了不同姿态角样本在图像空间中的近似ー维分布不是均匀分布。图5为不同姿态角样本在图像空间中的近似ー维分布，及拟合得到的解析曲线。虚线为图4中的折线段，实线为用二次曲线拟合虚线的結果。图6为姿态角的感知示意图，图㈧描述了四个摄像头对两个目标的图像样本采集，图(B)阐释了人脸与摄像头的相对朝向决定了人脸在图像中的朝向，与两者相对位置无关，图(C)阐释了根据人脸朝向和摄像头朝向计算人脸对摄像头的相对朝向。图7为本发明仿真实验示意图。
π π 、图8姿态角区间(一マ，γ)，每ー个小空心圆表示某个姿态角的样本。图9为不同采集方法比较示意图，三角符号表示异构采集，加号表示改进的主动采集，圆圈表示主动采集，星号表示扫描采集，菱形符号表示静态采集。图10为目标小范围运动示意图。图11为目标小范围运动时,改进的主动采集优于主动采集。图12为目标小范围运动时，主动采集得到样本的姿态角分布。 图13为目标小范围运动时，改进的主动采集得到样本的姿态角分布。
具体实施例方式下面结合附图和实施例对本发明做进ー步详细说明。分三个部分详述本实施方式。(一)人脸图像样本评价准则人脸图像样本对人脸注册和人脸识别产生影响的指标，有图像压缩率、目标距离、目标表情等。參考人脸识别领域的研究，以及主动视觉技术能够改变的指标，本技术选取了分辨率和姿态角两项指标，即人脸区域的分辨率和人脸在图像中的姿态角。人脸区域通常为矩形，如40X60大小(単位是宽像素X长像素)，可以以宽度像素值r = 40来描述。人脸的姿态角P从左到右以角度以从-90°到+90°来描述。人脸图像样本的经验评价函数对分辨率和姿态角分别进行评价，进而建立对该两个指标的联合评价函数。根据现有的方法，注册ー个目标，通常需要多张不同姿态角的人脸图像样本，以提高注册后系统对目标在不同姿态角下的识别能力；在识别目标时，采集的目标在不同姿态角的人脸图像样本越多，用于识别的信息则越多，识别正确率亦越高。根据对人脸识别系统评价实验的结果可知，人脸区域分辨率越高，人脸识别的效果越好；注册和识别时人脸图像样本的姿态角偏差越大，识别正确率越低。因而，本发明总结得到人脸图像样本中，人脸区域的分辨率越高，人脸在图像中朝向的角度--姿态角越丰富、分布越均匀，则人脸注册和人脸识别的效果越好，所以评价函数值应越大。此外，人脸注册和人脸识别的效果会随着分辨率的増大、姿态角的增加而逐渐饱和，而不再显著增长，因此评价函数亦需具有相应的特性。实际应用中，采集到的人脸图像样本通常是各种分辨率的，需要放缩到同一个參考标准分辨率，然后进行人脸注册或人脸识别。如果原始分辨率低于參考标准分辨率，那放大到參考标准分辨率之后，图像质量会变差。因而，我们关注的是采集时的原始分辨率大小，即决定了图像在分辨率指标上的质量。采用FERET人脸样本库(ba bj系列样本集)进行实验。样本集包含194个目标(人)在不同角度的人脸图像。实验中，194个目标(人)的人脸图像样本被分别缩小到4X6、8X12、20X30、40X60原始分辨率，再统ー放大到40X60的參考分辨率，进而进行图像处理和数学分析，如图I。然后采用ニ维傅立叶变换，经傅立叶变换后，在实部、虚部、幅度和相角四个组分中选取幅度，因为样本在幅度组分的可分性最好。图2为不同原始分辨率的样本经过傅立叶变换(WXL维的图像空间变换到WXL维的频域空间)后，计算所有样本在频域上每个点的可分性数值，将每一点的数值换算为(取IoglO对数后再乘以50，以保证灰度值在O 255之间，且不同分辨率的结果对比明显)ー个灰度值，即可得图2。越明亮，代表该原始分辨率下，样本可分性越好。每个图像样本得到ー个40X60维即2400维的，在频域的幅度组分的样本。将每一个目标的所有人脸图像样本看成ー类，不同的目标为不同的类。计算不同原始分辨率的样本在频域幅度组分的样本所有维度上的可分性(类似方差的概念)之和，取以IoglO对数再乘以50 (这样处理以与上文所述的同样处理保持一致)，作为该分辨率的评价函数值，其结果如表I所示。可分性可以决定样本在人脸注册和人脸识别中的效果，可分性越大，效果越好。表I样本评价结果
权利要求
1.一种基于异构主动视觉网络的人脸图像样本采集优化方法，其特征在于，包括以下内容 寻优过程为每隔At时间，所有摄像头进行目标分配和状态调整，以完成一轮目标图像样本采集； 寻优变量依次为摄像头与目标的分配关系I(c，t)、摄像头在世界坐标系中的位置与朝向角L。、以及摄像头的焦距f。，其中I(c，t)是ー个示性函数，c表示摄像头的标号，c e {1，2, ...，N。}, t表示目标的标号，t e {1，2，· · ·，Nt}，I (c, t)=l表示将第t个目标分配给第c个摄像头，I (c, t) =O表示未分配，ん=(xf, X.,息)表示第c个摄像头在世界坐标系中的位置、水平转角及俯仰转角； 寻优目标最大化所有目标的总体经验评价函数Sumt (ft)，其中第t个目标的评价函数ft如下所示 n+ = 2，3，… ft (Pi, T1) = fp (P1) · fr O1) (A,，な,，…，ΛΑ)为第t个目标的nt个人脸图像样本的联合评价函数，通过迭代方法计算；fp为对姿态角的评价函数，根据所有姿态角在(-90°，90° )区间分布的均匀和密集程度来计算，A,表示第nt个人脸图像样本的姿态角度；f；表示对分辨率的评价函数，根据分辨率的高低来计算，ら,表示第nt个人脸图像样本的分辨率； 寻优方法为遍历I (c，t)即目标分配方案；在每ー种目标分配方案下，采取遗传算法，求解每个摄像头L。和f。使得ft最大；选取最佳分配方案从而得到最大的Sumt (ft)。
2.根据权利要求I所述采集优化方法，其特征在于，在采集单目标的情况下，I(c，t)为常值，在At时间内，摄像头以随机次序进行ー轮样本采集。
3.根据权利要求I所述采集优化方法，其特征在于，在采集单目标的情况下，I(c，t)为常值，在At时间内，摄像头依次进行ー轮样本采集，遍历求解次序，找到最佳次序，得到最优解。
4.根据权利要求I所述采集优化方法，其特征在于，在采集多目标的情况下，如果ー个摄像头只分配ー个目标，则遍历I (c，t)，即目标分配方案，再遍历摄像头的采集次序，在每ー种次序中，每个摄像头最大化它分配到的目标的评价函数ft，从而确定最佳分配方案、最佳采集次序和最佳摄像头状态。
5.根据权利要求I所述采集优化方法，其特征在于，在采集多目标的情况下，如果ー个摄像头分配多个目标，则遍历I (c，t)，再遍历摄像头的采集次序，然后每个摄像头最大化它分配到的所有目标的目标函数之和即&(/f)，Tc为摄像头c分配到的目标集合，从而确定最佳分配方案、最佳采集次序和最佳摄像头状态。
全文摘要
一种基于异构主动视觉网络的人脸图像样本采集优化方法，寻优过程为每隔Δt时间，所有摄像头进行目标分配和状态调整，完成一轮目标图像样本采集；寻优变量依次为摄像头与目标的分配关系、摄像头在世界坐标系中的位置与朝向角、以及摄像头的焦距，寻优目标为最大化所有目标的总体经验评价函数，遍历目标分配方案，在每一种目标分配方案下，采取遗传算法，求解寻优变量使得目标评价函数最大，选取最佳分配方案从而得到最大的总体经验评价函数，本发明将人脸在图像中的分辨率和姿态角以主动视觉技术进行改良，利用异构主动视觉网络，对样本采集环节进行优化，获得分辨率较好、姿态角丰富的人脸图像样本，以用于人脸注册和识别。
文档编号G06K9/00GK102693417SQ20121015229
公开日2012年9月26日 申请日期2012年5月16日 优先权日2012年5月16日
发明者孙昊, 张涛, 成宇, 李何羿, 李潇涵, 陈学东, 陈宋 申请人:清华大学