专利名称：特征点定位装置、其处理方法及图像识别装置的制作方法
技术领域：
本发明涉及特征点定位装置、其处理方法以及图像识别装置。
背景技术：
已知一种用于从图像数据中识别预定图案(pattern)(例如，面部识别)的技术。 在这样的识别处理中，面部器官或者与之相关的特征部位(以下称之为特征点)的位置决 定是重要的工作，并且经常限制识别性能。特征点的高精度位置决定需要高处理负荷，并且经常限制总体识别处理所需的时 间。日本专利特开2009-75999号公报(以下称为参考文献1)公开了一种在要从运动图像 数据中识别个体时，利用之前帧的识别结果来减少要从待处理的帧中提取的特征点的数量 的方法。即，一旦识别了目标人(追踪状态)，就减少下一帧中要提取的特征点的数量，以此 来力口速处理。另一方面，[Beumer，G.M. ；Tao，Q. ；Bazen，A.M. ；Veldhuis，R. N. J. “A landmark paper in face recognition)面部识别方向的里程碑式的论文)"Automatic Face and Gesture Recognition,2006. FGR 2006. 7th InternationalConference,pp. 73-78(以下禾尔 为参考文献2)]公开了一种根据几何约束决定多个面部器官特征位置的方法。由于参考文献1中公开的方法减少了特征点的数量，因此识别性能的降低相当严 重。当减少特征点时，在要使用所减少后的特征点来执行的识别处理上增加了负荷。例如， 在识别处理中，必须要准备多个识别处理方法和参数(用于识别的各种处理参数、登记数 据等)，并且必须要从中选择任意方法和参数。因此，作为替换和选择参数的结果，处理时间 和处理所需的存储资源增加。利用参考文献2中公开的方法，使用子空间校正特征点的位置。但是，当目标特征 点的数量改变时，必须要准备与特征点的数量相应的子空间。
发明内容
本发明提供一种即使以高速执行特征点定位时、也能够抑制精度降低的技术。根据本发明的第一方面，提供了一种特征点定位装置，其针对图像数据中的预定 图案定位多个特征点，该特征点定位装置包括第一候选决定单元，其被配置为执行第一候 选决定处理，以决定所述特征点的候选位置；第二候选决定单元，其被配置为执行处理速度 高于所述第一候选决定处理的第二候选决定处理，以决定所述特征点的候选位置；控制单 元，其被配置为控制所述第一候选决定单元和所述第二候选决定单元，以根据操作模式而 针对各个特征点选择性地执行所述第一候选决定处理和所述第二候选决定处理；以及校正 单元，其被配置为基于所述多个特征点之间的布局关系，来校正通过所述第一候选决定处 理和所述第二候选决定处理获得的所述多个特征点的所述候选位置，其中，当所述操作模 式是以高于通常模式的速度执行操作的高速模式时，所述控制单元进行控制以针对比所述 通常模式中多的特征点执行所述第二候选决定处理。根据本发明的第二方面，提供了一种图像识别装置，其基于由上述特征点定位装4置决定的所述多个特征点的位置，来识别所述图像数据中的所述预定图案。根据本发明的第三方面，提供了一种特征点定位装置的处理方法，所述特征点定 位装置针对图像数据中的预定图案定位多个特征点，所述处理方法包括以下步骤根据操 作模式选择性地执行第一候选决定处理和第二候选决定处理，其中，所述第一候选决定处 理决定所述特征点的候选位置，所述第二候选决定处理以高于所述第一候选决定处理的处 理速度决定所述特征点的候选位置，并且当所述操作模式是以高于通常模式的速度执行操 作的高速模式时，针对比所述通常模式中多的特征点执行所述第二候选决定处理；以及基 于所述多个特征点之间的布局关系，来校正通过所述第一候选决定处理和所述第二候选决 定处理获得的所述多个特征点的所述候选位置。通过下面参照附图对示例性实施例的说明，本发明的其他特征将变得清楚。
图1是示出根据本发明的实施例的图像识别装置的结构的示例的框图；图2是示出用于提取面部图像的处理的示例的图；图3是示出通过图1所示的CPU 17实现的功能结构的示例的框图；图4是示出特征点的校正处理的示例的图；图5是示出图1和图2所示的图像识别装置10的操作的示例的流程图；图6是示出特征点的示例的图；图7示出了操作信息表的示例；图8是示出图5所示的步骤S108中的第一候选决定处理的概要的图；图9是示出图5所示的步骤S112中的校正处理的概要的图；图IOA至图IOC是示出根据第二实施例的特征点的示例的图；图11示出了根据第二实施例的操作信息表的示例；图12A至图12C是示出根据第三实施例的特征点的示例的图；图13示出了根据第三实施例的操作信息表的示例；以及图14是示出根据第三实施例的图像识别装置10的操作的示例的流程图。
具体实施例方式现在，参照附图详细说明本发明的示例性实施例。应当注意，除非另外特殊说明， 否则，这些实施例中描述的部件的相对设置、数字表达和数值并不限制本发明的范围。(第一实施例)图1是示出应用了根据本发明的实施例的特征点定位装置的图像识别装置10的 结构的示例的框图。图像识别装置10包含一个或者多个计算机。图像识别装置10从图像数据中提取 预定图案(在本实施例中是面部图像数据)。然后，图像识别装置10从提取的面部图像数 据中决定多个特征点的位置，并基于决定的特征点的位置执行面部识别。在这种情况下，图像识别装置10包括图像输入单元11、预处理单元12、提取处理 单元 13、桥 14、DMA 控制器 15、CPU 17、ROM 18 以及 RAM 19。图像输入单元11将图像数据输入到该装置。图像输入单元11例如通过用于控制光学系统设备、光电转换设备以及传感器的驱动电路、AD转换器、用于控制各种图像校正的 信号处理电路、以及帧缓存器等实现。预处理单元12对图像输入单元11输入的图像数据实施预处理。预处理包括，例 如，颜色转换处理和对比校正处理。注意，实施预处理是为了有效地实现各种后续处理。预 处理单元12可以通过硬件或者软件实现。提取处理单元13对预处理单元12处理(校正)过的图像数据实施面部检测处理， 并针对各检测出的面部通过将其正规化至预定尺寸来提取面部图像数据。注意，可以使用 常规提出的各种面部检测方法。更具体地说，如图2所示，提取处理单元13从预处理单元 12处理过的图像31中检测面部区域32，并通过将面部区域32正规化至预定尺寸来提取面 部图像33。即，面部图像33具有独立于面部的恒定尺寸。在下面的描述中，特征点的位置 将以其在面部33中的坐标来说明。这种情况下的坐标通过以面部图像33的左上端为原点 的坐标系(χ和y坐标)来表现。注意，经由DMA (Direct Memory Access，直接存储访问) 控制器15将提取的图像存储在RAM (Random Access Memory,随机存取存储器)19中。CPU(中央处理单元)17系统地控制图像识别装置10中的操作。CPU17例如针对 存储在RAM 19中的面部图像33执行识别处理。桥14设置在图像总线20和CPU总线16之间，并提供总线桥功能。ROM (Read Only Memory，只读存储器)18存储由CPU 17执行的控制程序。RAM 19用作CPU 17的工作区域。 RAM 19还存储指示作为识别目标登记的人的面部的信息(例如，指示特征的特征矢量)。注 意，RAM19由例如，诸如DRAM(动态RAM)的相对大容量的存储器构成，并经由存储器控制器 (未示出)连接到CPU总线16。图像总线20和CPU总线16上的设备同步操作。图3是示出图1所示的CPU 17实现的功能结构的示例的框图。CPU17实现的各种 处理功能主要在CPU 17执行存储在ROM 18中的控制程序时实现。注意，CPU 17包括模式确定单元41、控制单元42、校正单元45和识别单元46作 为功能部件。模式确定单元41确定操作模式。根据第一实施例的操作模式包括通常模式和追 踪模式(高速模式)。在通常模式中，通过与处理速度相比更强调识别精度来执行面部识 别。在追踪模式中，尽管允许一定程度的精度降低，但是执行高速处理。基于在之前帧中是 否识别了要识别的人(作为识别目标登记的人)来进行模式确定。更具体地说，模式确定 单元41参照存储在RAM 19中的之前帧的识别结果确定操作模式。控制单元42控制特征点的候选位置的决定处理的执行。控制单元42包括第一候 选决定单元43和第二候选决定单元44。第一候选决定单元43执行第一候选决定处理以决定特征点的候选位置。该处理 使用，例如CNN(Convolutional Neural Networks，卷积神经网络)计算来以高精度决定特 征点的候选位置。也就是说，第一候选决定单元43使用虽然需要长的处理时间但能够保证 高精度的方法，来决定特征点的候选位置。第二候选决定单元44执行第二候选决定处理以决定特征点的候选位置。该处理 采用具有轻处理负荷的方法高速决定特征点的候选位置。该实施例将对预先计算特征点的 平均位置、并将其用作特征点的候选位置的情况进行说明。特征点的平均位置可以使用例 如几何校正处理(下面描述)中使用的平均矢量值。即，第二候选决定单元44根据通过学习(learning)预先计算的平均矢量，决定对应的特征点的坐标值的候选。校正单元45对第一候选决定单元43和第二候选决定单元44决定的特征点的候 选位置实施校正处理。例如，如图4所示，假设决定了特征点的候选位置。在这种情况下， 特征点40 指示眼角，但是它布置在眉毛一端的位置。校正单元45将特征点40 校正到 特征点402b的位置。注意，下文将说明该校正处理的细节，且校正单元45基于人的面部特 征的布置关系，通过统计处理校正位置。识别单元46基于校正过的特征点的位置执行识别处理(在该实施例中是面部识 别)。注意，识别处理的方法并不特别限定，因为各种常规提出的方法可以用作识别处理。 例如，参照决定的特征点的位置提取多个局部区域，并且通过例如正交变换执行局部区域 的维度缩减。然后，将经过尺寸缩减的数据用作特征矢量。同样，通过与计算出的登记的人 的特征矢量的相关计算来计算与登记的人的相似度。注意，登记的人的特征矢量在识别之 前存储在例如RAM 19中。参照特征矢量的位置计算多个特征矢量。例如，基于包括眼睛、 鼻子和嘴的多个局部区域计算特征矢量。然后，结合多个计算出的特征矢量的校正值来计 算最终相似度。在计算出最终相似度后，进行阈值处理，并且基于处理结果确定是否要识别 该登记的人。以此方式，可以实现识别处理。上面说明了 CPU 17实现的功能结构的示例。注意，上述结构并不总是由CPU 17 实现。例如，可以在硬件中实现部分或者全部部件。以下将参照图5说明图1和图2中示出的图像识别装置10的操作的示例。在该 示例中，将说明当执行特征点位置决定处理和面部识别处理时的操作。注意，该处理主要由 CPU 17执行。当该处理开始时，图像识别装置10使用模式确定单元41确定操作模式(SlOl)。 如上所述，确定操作模式是通常模式还是追踪模式。在模式确定之后，图像识别装置10基于模式确定结果使用控制单元42获取操作 信息。更具体地说，如果操作模式是通常模式(S102:是)，则控制单元42获取通常模式中 的操作信息(通常模式表)(S103)。另一方面，如果操作模式是追踪模式(S102 否)，则控 制单元42获取追踪模式中的操作信息(追踪模式表)(S104)。也就是说，控制单元42根 据操作模式获取不同的操作信息。图6示出了面部器官和与这些面部器官相关的特征点的 位置的示例。执行特征点位置决定处理以确定图6所示的特征点401至415(在该示例中 有15个特征点)的位置。图7所示的操作信息表(包括通常模式表和追踪模式表)针对 各特征点，规定使用第一候选决定处理和第二候选决定处理中的哪个来决定特征点的候选 位置。图7所示的操作信息表中规定的“1”表示将要执行由第一候选决定单元43进行的 第一候选决定处理，“2”表示将要执行由第二候选决定单元44进行的第二候选决定处理。在获取操作信息之后，图像识别装置10使用控制单元42指定作为位置决定目标 的特征点(S105)。也就是说，控制单元42指定特征点401至415中至少一个作为位置决定 目标。基于例如预先设置的信息进行该指定。接下来，图像识别装置10决定各个特征点的候选位置。注意，该处理以步骤S105 中的处理中决定的特征点为目标。如上所述，使用第一候选决定单元43和第二候选决定单 元44中的一者决定各个特征点的候选位置。使用第一候选决定单元43和第二候选决定单 元44中的哪个，遵循操作信息表中规定的操作信息。当决定了各个特征点的候选位置时，基于步骤S103或S104中获取的操作信息决定当决定第η个特征点的候选位置时要执行的 处理(S106)。然后，根据该决定结果，执行第一候选决定处理(S107中的“是”之后的S108) 或者第二候选决定处理(S107中的“否”之后的S109)。也就是说，根据操作模式使用不同 的方法针对各个特征点决定候选位置。例如，参照图7所示的表，在通常模式中，针对所有 的特征点执行由第一候选决定单元43进行的第一候选决定处理。在追踪模式中，针对各个 特征点执行不同的处理。例如，针对特征点401和402执行第一候选决定处理，针对特征点 403和404执行第二候选决定处理。以此方式，在通常模式中，以高精度决定所有特征点的 候选位置。另一方面，在追踪模式中，通过第一候选决定处理(例如使用CNN计算)以高精 度决定特征点401，402，405，406，412和415的候选位置，通过第二候选决定处理(例如使 用平均矢量)以高速决定剩余的特征点的候选位置。也就是说，在追踪模式中，仅仅后续处 理中的一些具有高度重要性的特征点的候选位置以高精度计算。注意，考虑到处理速度和 性能，预先决定图7所示的操作信息表中规定的信息。之后，图像识别装置10使用控制单元42确定是否针对作为位置决定目标的所有 特征点执行了上述步骤S106至S109中的处理。如果仍然存在要决定候选位置的特征点 (步骤SllO 否)，则控制单元42针对下一个特征点(η = η+1)执行同样的处理(Slll)。 另一方面，如果处理了作为目标的所有特征点(S110:是)，则图像识别装置10使用控制单 元42将所决定的特征点的候选位置存储在RAM 19中。接下来，图像识别装置10使用校正单元45对由前述处理获得的特征点的候选位 置(在本实施例中有15个候选位置)实施几何校正处理。这样，决定特征点的最终位置 (S112)。在决定了特征点的最终位置之后，图像识别装置10使用识别单元46，基于特征点 的最终位置(特征点的校正位置)实施面部识别处理(Si 13)，并将结果存储在例如RAM 19 中(S114)。之后，图像识别装置10针对下一帧执行前述处理。注意，不论操作模式如何，在 步骤S113中的识别处理中使用的局部区域的数量和类型都相同。即，在本实施例中，不论 操作模式如何都执行相同的识别处理。下面，将参照图8说明图5所示的步骤S108中的第一候选决定处理。根据本实施 例的第一候选决定处理使用CNN计算。为了便于理解，下面将举例说明要决定两个特征点 的候选位置的情况。CNN计算包括分级特征提取处理。图8示出了两层CNN计算的示例，第一层506的 特征的数量是3，第二层510的特征的数量是2。附图标记501表示面部图像数据，其与使 用图2描述的面部图像33对应。附图标记503a至503c表示第一层506的特征面。特征面是存储通过特征提取滤 波器(卷积计算的累积和处理和非线性处理)对前一层数据进行扫描和计算而获得的结果 的图像数据面。特征面是对光栅扫描的图像数据的检测结果。因此，该检测结果用面表示。参照面部图像数据501使用不同的特征提取滤波器来计算特征面503a至503c。 分别通过二维卷积滤波器50 至5(Mc的计算以及该计算结果的非线性转换而生成特征面 503a至503c。注意，附图标记502表示卷积计算所需的参照图像区域。例如，具有滤波尺 寸=11X11(水平长度X垂直高度)的卷积滤波器计算使用以下给出的积和计算
权利要求
1.一种特征点定位装置，其针对图像数据中的预定图案定位多个特征点，该特征点定 位装置包括第一候选决定单元，其被配置为执行第一候选决定处理，以决定所述特征点的候选位置；第二候选决定单元，其被配置为执行处理速度高于所述第一候选决定处理的第二候选 决定处理，以决定所述特征点的候选位置；控制单元，其被配置为控制所述第一候选决定单元和所述第二候选决定单元，以根据 操作模式而针对各个所述特征点选择性地执行所述第一候选决定处理和所述第二候选决 定处理；以及校正单元，其被配置为基于所述多个特征点之间的布局关系，来校正通过所述第一候 选决定处理和所述第二候选决定处理获得的所述多个特征点的所述候选位置，其中，当所述操作模式是以高于通常模式的速度执行操作的高速模式时，所述控制单 元进行控制以针对比所述通常模式中多的特征点执行所述第二候选决定处理。
2.根据权利要求1所述的特征点定位装置，其中，所述第二候选决定处理需要比所述 第一候选决定处理小的计算量。
3.根据权利要求1所述的特征点定位装置，其中，在所述第一候选决定处理和所述第 二候选决定处理中，通过搜索所述图像数据中的范围来决定所述特征点的所述候选位置， 并且所述第二候选决定处理进行搜索的范围窄于所述第一候选位置决定处理进行搜索的 范围。
4.根据权利要求1所述的特征点定位装置，其中，所述校正单元包括生成单元，其被配置为通过联结所述多个特征点的所述候选位置的坐标数据来生成矢量数据；减法器，其被配置为从所述生成单元生成的所述矢量数据中减去预先计算出的平均矢量；投影单元，其被配置为使用预先计算出的本征矢量，将所述减法器减过的所述矢量数 据投影到具有与所述本征矢量相同维度的子空间上；逆投影单元，其被配置为使用所述本征矢量，对所述投影单元投影了的所述矢量数据 进行逆投影；以及加法器，其被配置为将所述平均矢量加到由所述逆投影单元进行了逆投影的所述矢量 数据中，并将结果作为所述特征点的校正位置输出。
5.根据权利要求4所述的特征点定位装置，其中，通过使用根据所述操作模式所需的 所有特征点的位置坐标数据进行学习，来生成所述平均矢量和所述本征矢量。
6.根据权利要求4所述的特征点定位装置，其中，所述第二候选决定单元将与所述平 均矢量对应的元素决定为所述特征点的所述候选位置。
7.根据权利要求1所述的特征点定位装置，其中，所述控制单元包括状态确定单元，所 述状态确定单元被配置为确定所述图像数据中的所述预定图案的状态，并且，所述控制单元控制所述第一候选决定单元和所述第二候选决定单元，以根据所述状态 确定单元的确定结果和所述操作模式而针对所述各个特征点选择性地执行所述第一候选 决定处理和所述第二候选决定处理。
8.一种图像识别装置，其基于根据权利要求1所述的特征点定位装置决定的所述多个 特征点的位置，来识别所述图像数据中的所述预定图案。
9.一种特征点定位装置的处理方法，所述特征点定位装置针对图像数据中的预定图案 定位多个特征点，所述处理方法包括以下步骤根据操作模式选择性地执行第一候选决定处理和第二候选决定处理，其中，所述第一 候选决定处理决定所述特征点的候选位置，所述第二候选决定处理以高于所述第一候选决 定处理的处理速度决定所述特征点的候选位置，并且当所述操作模式是以高于通常模式的 速度执行操作的高速模式时，针对比所述通常模式中多的特征点执行所述第二候选决定处 理；以及基于所述多个特征点之间的布局关系，来校正通过所述第一候选决定处理和所述第二 候选决定处理获得的所述多个特征点的所述候选位置。
全文摘要
本发明提供一种特征点定位装置、其处理方法及图像识别装置。所述特征点定位装置针对图像数据中的预定图案定位多个特征点。所述装置根据操作模式选择性地执行决定所述特征点的候选位置的第一候选决定处理和以高于所述第一候选决定处理的处理速度决定所述特征点的候选位置的第二候选决定处理，并且当所述操作模式是以高于通常模式的速度执行操作的高速模式时，针对比所述通常模式中多的特征点执行所述第二候选决定处理；并且基于所述多个特征点之间的布局关系，来校正通过所述第一候选决定处理和所述第二候选决定处理获得的所述多个特征点的所述候选位置。
文档编号G06K9/32GK102043956SQ201010511498
公开日2011年5月4日 申请日期2010年10月19日 优先权日2009年10月19日
发明者加藤政美, 森克彦 申请人:佳能株式会社