面部认证系统的制作方法

1.本发明涉及使用面部图像来识别个人的面部认证系统。


背景技术：

2.作为使用生物信息的生物认证之一的面部认证技术预先登记个人用户的面部图像，将认证时提取出的面部图像与预先登记的面部图像进行对照，由此来判定该人是否为本人。面部认证技术能够从较远的场所拍摄面部图像，因此能够以非接触的方式实施认证，并且与指纹认证等不同，具有用户不需要进行认证动作的优点。面部认证在办公室、教育机构、活动会场等的进出管理、使用了监视摄像机影像的监视安保用途等应用的场所正在扩大使用。
3.特别是近年来，由于covid19的影响，在佩戴口罩、护目镜的状态下进行本人确认的需求提高，要求一种即使在佩戴口罩等佩戴物时也能够进行面部认证的系统。
4.针对上述课题，例如，在专利文献1中公开了如下技术：作为在对照时使用的登记面部图像，使用对素颜图像合成了口罩、帽子等佩戴物图像而得到的图像，由此登记时的用户负担少，在佩戴着佩戴物的状态下进行面部认证。
5.在专利文献1所记载的方法中，将佩戴物图像直接对素颜图像进行合成，因此无法生成与面部部位的个人差异(配置、大小、形状等)、面部朝向的变化(向偏航、滚动、俯仰方向的角度的旋转)对应的佩戴物图像，针对面部状态变化的鲁棒性低。此外，在使用标牌的多人同时认证、使用监视摄像机的面部认证的用途中，认证时的面部朝向的状态不限于正面面部，设想面部朝向各种方向的情况。因此，期望针对面部朝向的鲁棒性高的面部认证系统。
6.专利文献1：日本特开2015-088095号公报


技术实现要素：

7.本发明是鉴于上述课题而做出的，其目的在于提供一种在使用佩戴有佩戴物状态下的面部图像来识别个人时，对于面部部位的个人差异或者面部朝向的变动稳健的面部认证系统。
8.本发明的面部认证系统使用将佩戴物图像变形为适合于个人的面部形状的合成图像来识别上述个人。
9.根据本发明的面部认证系统，在使用佩戴有佩戴物状态下的面部图像来识别个人时，能够提高与面部部位的个人差异或面部朝向的变动相对的鲁棒性，提供高精度的面部认证系统。
附图说明
10.图1是表示实施方式1的面部认证系统1的整体结构的框图。
11.图2a是素颜图像401的例子。
12.图2b是佩戴物图像402的例子。
13.图2c是合成图像403的例子。
14.图3是表示面部图像登记部220以及面部图像对照部320的内部结构的框图。
15.图4是说明在面部登记时登记素颜图像401的处理的流程图。
16.图5表示根据素颜图像401生成合成图像403的过程。
17.图6是说明根据素颜图像401生成合成图像403并记录在数据存储部400中的处理的流程图。
18.图7是说明面部认证时的处理的流程图。
19.图8a表示使面部从正面向偏航方向倾斜时的类似度的比较结果。
20.图8b表示使面部从正面向滚动方向倾斜时的类似度的比较结果。
21.图9表示实施方式2中的面部认证系统1的详细结构。
22.图10是说明实施方式2中的面部登记时的处理的流程图。
23.图11是说明实施方式2中的面部认证时的处理的流程图。
24.图12是实施方式3的面部认证系统1的结构图。
25.图13表示面部认证系统1的内部处理模块。
26.图14是说明在面部登记时生成/登记合成图像403的处理的流程图。
27.图15是实施方式3中的面部认证部300的结构图。
28.图16是表示实施方式3中的面部认证时的动作的流程图。
29.图17是实施方式4中的面部认证部300的结构图。
30.图18是说明实施方式4中的认证时的动作的流程图。
31.图19是实施方式5中的面部登记部200的结构图。
32.图20表示实施方式5的效果。
33.图21是实施方式5中的面部认证部300的结构图。
34.实施方式
35.《实施方式1》
36.图1是表示本发明的实施方式1的面部认证系统1的整体结构的框图。面部认证系统1是使用面部图像来识别个人的系统。面部认证系统1具备拍摄部100、面部登记部200、面部认证部300以及数据存储部400。
37.面部登记部200具备面部区域检测部210和面部图像登记部220。面部认证部300具备面部区域检测部310以及面部图像对照部320。数据存储部400存储素颜图像401、佩戴物图像402、合成图像403。如后所述，面部登记部200和面部认证部300有时通过将素颜图像401与佩戴物图像402进行合成来生成合成图像403，因此能够具有作为生成合成图像403的“合成部”的作用。
38.拍摄部100只要能够取得在xy方向上存储有亮度信息的2维图像、或者除了xy方向的亮度信息以外还存储有z方向的距离(深度)信息的3维图像即可。
39.合成图像403是将佩戴物图像402加工成适合于素颜图像401并与素颜图像401进行合成而得到的图像。关于加工例在后面叙述。也可以按照口罩、眼镜、太阳镜、护目镜、帽子等外在佩戴物的每个种类保存多个合成图像403。在针对同一种类的佩戴物存在多个形状图案的情况下，可以按照每个形状图案生成合成图像403。例如，若佩戴物为口罩，则为扁
平口罩或立体型口罩等，若佩戴物为眼镜，则镜片的形状为方形或圆形等的图案。另外，也可以同时合成多种外在佩戴物。例如，合成口罩和护目镜等。在本发明中，素颜图像401、佩戴物图像402以及合成图像403可以是2维图像、3维图像中的任意一个，也可以不是图像形态而是特征向量。
40.面部认证系统1也可以具备2个以上的数据存储部400，根据数据的种类区分使用数据存储部400。例如，也可以是以下的形式：将素颜图像401、佩戴物图像402以及合成图像403分别登记到外部的不同的数据存储部400，以无线方式从数据基站2接收。
41.对面部登记时的动作进行说明。将拍摄部100拍摄到的拍摄图像发送给面部登记部200内的面部区域检测部210。面部区域检测部210从拍摄图像中提取素颜图像，并输入到面部图像登记部220。面部图像登记部220将输入的素颜图像作为用户的登记面部数据记录在数据存储部400中。登记面部数据是指素颜图像401以及合成图像403，可以仅记录一方或者同时记录。也可以根据佩戴物的种类同时记录多种合成图像403。
42.对面部认证时的动作进行说明。将拍摄部100拍摄到的拍摄图像发送给面部认证部300内的面部区域检测部310。面部区域检测部310从拍摄图像中提取面部图像，并输入到面部图像对照部320。面部区域检测部310提取的面部图像可以是素颜或佩戴有佩戴物时的任意情况，取决于认证时的用户面部的状态。面部图像对照部320从数据存储部400取得素颜图像401或合成图像403中的1个或多个。面部图像对照部320实施所取得的登记面部数据与认证时从拍摄图像中提取出的各个面部图像之间的面部图像对照处理，并将通过对照而得到的认证结果输出至输出设备或其他系统。具体而言，面部图像对照部320计算面部区域检测部310提取出的面部图像与从数据存储部取得的1个或多个登记面部数据中的各个登记面部数据之间的类似度，在任意一个类似度达到了规定的情况下，认证为该用户是登记用户。
43.图2a是素颜图像401的例子。素颜图像401是未佩戴外在的佩戴物的状态下的面部图像，即使被拍摄体进行了化妆等也设为素颜图像。
44.图2b是佩戴物图像402的例子。佩戴物图像402是佩戴物单体的图像。这里所说的佩戴物是如口罩、太阳镜、护目镜、眼镜、帽子等那样佩戴在素颜(认证对象者的头部)的外在人造物，是在面部认证方面成为障碍的物品。
45.图2c是合成图像403的例子。合成图像403是将佩戴物图像402加工成与面部的部分或面部的朝向相一致，并以适合于素颜图像401的方式合成后的图像。例如，在素颜图像401以偏航轴为中心进行了旋转的情况下，通过使佩戴物图像402同样以偏航轴为中心旋转并与素颜图像401合成，能够生成合成图像403。
46.本实施方式能够适用于与所输入的生物信息进行对照的生物信息为1对1关系的1：1认证、与所输入的生物信息进行比较的生物信息存在较多的1对n关系的1：n认证中的任何一个认证。在1：1认证中，作为例子，使用卡和生物信息，将输入的生物信息与卡中登记的生物信息进行对照。在1：n认证中，将输入的生物信息与数据库中登记的全部生物信息依次进行比较，唯一地确定最接近的用户。
47.图3是表示面部图像登记部220以及面部图像对照部320的内部结构的框图。面部图像登记部220具备面部标志物检测部221、佩戴物图像加工部222、认证数据生成部223。面部图像对照部320具备认证数据生成部321。关于这些功能部的动作在后面叙述。
48.图4是说明在面部登记时登记素颜图像401的处理的流程图。将拍摄部100拍摄到的拍摄图像输入到面部区域检测部210(s401)。面部区域检测部210从拍摄图像中提取作为登记对象的用户的面部区域来生成素颜图像(s402)。将所生成的素颜图像发送给认证数据生成部223。认证数据生成部223基于素颜图像生成认证数据(s403)，并记录在数据存储部400中(s404)。认证数据可以是合成图像403本身，也可以使用其特征量来作为认证数据。在前者的情况下，将合成图像403与拍摄图像进行对照，在后者的情况下，将合成图像403的特征量与拍摄图像的特征量进行对照。
49.在s402中，根据拍摄图像中的亮度信息(或者也可以是距离信息或者它们的组合)确定相当于面部区域的图像区域，从拍摄图像中切出该图像区域来生成面部图像。在s402中，在根据从拍摄图像中切出的面部区域生成面部图像时，也可以包含1个以上的用于将面部图像处理为对于面部认证而言更适当的状态的处理过程。例如，能够采用以下的处理：基于图像尺寸变换、图像旋转、仿射变换、自由变形(free form deformation：ffd)法等通过非刚性变形法进行的面部朝向角度变形、面部图像中包含的噪声以及模糊去除、对比度调整、失真校正、背景区域去除等。
50.关于s402中的面部区域检测处理方法，能够采用公知的方法。例如，能够采用使用了haar-like特征量的viola-jopnes法、或者采用基于神经网络(neural network)(以下称为nn)模型的检测器。
51.在s403中生成的认证数据是变换为适合于面部认证部300所采用的算法的形式的数据，可以是特征向量，也可以是图像形式。以下，对生成特征向量时的例子进行说明。认证数据生成部223将取得的素颜图像输入到预定的特征提取器中，由此生成表示该面部图像的特征的特征向量。作为特征提取器的例子，能够使用基于nn模型的特征提取器，或者能够使用基于局部二值模式(local binary patterns)的算法等，其中，上述nn模型通过使用学习数据进行学习而得到。也可以将多个登记面部图像同时输入到特征提取器，生成综合的特征向量。例如，将素颜图像401和多种合成图像403的组合等同时输入到特征提取器，生成特征向量。也可以将对于多个登记面部图像分别对应的特征向量乘以预定的权重后计算总和而得到的结果作为特征向量。
52.在s404中，在数据存储部400中记录数据时，可以实施用于提高安全性的加密处理等。
53.图5表示根据素颜图像401生成合成图像403的过程。面部标志物检测部221从素颜图像401中检测面部标志物401-1。面部标志物是面部图像上的基准点。佩戴物图像加工部222对佩戴物图像402进行变形以适合面部标志物401-1的位置，由此生成加工后佩戴物图像402-1。认证数据生成部223将素颜图像401与加工后佩戴物图像402-1进行合成，由此生成合成图像403。合成步骤如下所述。
54.(合成步骤：其1)面部标志物检测部221基于面部标志物来检测面部的旋转角度(偏航、滚动、俯仰中的任意1个以上的组合)。佩戴物图像加工部222使佩戴物图像402旋转以便与面部的旋转角度一致。
55.(合成步骤：其2)佩戴物图像加工部222使佩戴物图像变形，使得佩戴物图像402的纵向尺寸与面部标志物中的佩戴佩戴物的佩戴位置的纵向尺寸一致。例如，可以将口罩顶部(覆盖鼻子的部分的最突出的部位)与口罩底部之间的距离设为佩戴物图像402的纵向尺
trees)的特征点提取方法、或者基于nn模型的检测器。将在s402中生成的素颜图像401和在s601中检测出的面部标志物401-1的信息输入到佩戴物图像加工部222。
64.(图6：步骤s602)
65.佩戴物图像加工部222取得预先存储在数据存储部400中的佩戴物图像402，根据面部标志物401-1生成对佩戴物图像402进行加工后的加工后佩戴物图像402-1。
66.(图6：步骤s603)
67.认证数据生成部223通过将加工后佩戴物图像402-1以适合于素颜图像401的方式进行合成来生成合成图像403，并存储到数据存储部400。
68.关于在s602中取得的佩戴物图像402，在上述例子中使用了1张，但也可以根据佩戴物图像的种类取得多张以上，也可以按照佩戴物图像的种类数、并且按照同一种类的佩戴物的形状图案数来生成合成图像403。另外，例如也可以如将口罩和护目镜同时与素颜图像401进行合成的情况那样，生成同时佩戴了多种佩戴物的合成图像403。
69.在上述方法中，根据素颜图像401自动生成合成图像403，因此用户仅登记素颜图像401即可，不需要拍摄佩戴了佩戴物的图像，能够降低登记时的用户负担。另外，在面部认证时，在面部区域检测部310提取出的面部图像与存储在数据存储部400中的素颜图像401以及合成图像403之间分别取得匹配，由此即使在面部认证时用户佩戴了佩戴物，也能够进行面部认证。合成图像403是按照用户登记的素颜图像401中的面部部分的配置、各面部部分的大小、各面部部分的形状、面部轮廓的形状等，对佩戴物图像402进行加工并合成后的图像，因此与每个用户的面部部分的个人差异、偏航、滚动以及俯仰方向的旋转角等面部的朝向无关，类似度的导出精度高，能够针对面部状态的变化进行稳健且高精度的面部认证。
70.图7是说明面部认证时的处理的流程图。与图4相比，追加了s701～s704。以下主要说明相对于图4追加的步骤。
71.(图7：步骤s401～s403)
72.与面部登记时同样地，在面部认证时，将面部区域检测部310生成的面部图像输入到面部图像对照部320内的认证数据生成部321，认证数据生成部321生成认证数据。
73.(图7：步骤s701～s703)
74.面部认证部300从数据存储部400取得用于与面部认证时取得的面部图像进行对照的素颜图像401以及合成图像403(s701)。此时，面部认证部300确认在面部认证时取得的面部图像的认证数据和从数据存储部400取得的认证数据是否齐备(s702)。在认证数据未齐备的情况下，再次返回s701。在认证数据齐备的情况下，计算认证时取得的面部图像与从数据存储部400取得的多个登记面部数据中的各个登记面部数据之间的类似度，由此将两者进行对照(s703)。
75.(图7：步骤s702：补充)
76.所谓认证数据齐备是指面部认证系统1针对假定为认证对象者的所有人已生成认证数据。
77.(图7：步骤s703：补充1)
78.作为类似度计算的例子，在认证数据为特征向量的情况下，能够使用公知的欧几里德范数(euclidean norm)或者余弦相似度(cosine similarity)等。在2维图像或3维图像等的像素集合的类似度计算中，可以使用基于公知的块匹配的方法、或者基于图像的亮
度分布矢量的方法等。在基于特征向量的认证中，一般与使用像素集合的情况相比抑制了计算量，因此在想要使对照处理高速化的情况下，使用特征向量的类似度计算是有效的。
79.(图7：步骤s703：补充2)
80.在本步骤中，可以将特征向量、2维图像以及3维图像中的任意2个以上进行组合，综合地计算类似度。例如，在使用特征向量和2维图像的情况下，可以对其分别计算出预定的类似度，基于预先决定的加权将最终相加后的值作为类似度。
81.(图7：步骤s704)
82.面部认证部300通过确认计算出的类似度是否满足预定的阈值条件，来实施面部认证。面部认证部300将认证结果输出到输出设备或其他系统等。关于认证方法，例如能够使用以下方法。在1：1认证的情况下，如果计算出的类似度满足预定的阈值条件，则将该用户作为登记用户本人。如果不满足阈值条件，则判定为“与本人不一致”。在1：n认证的情况下，将计算出的类似度最大且满足预定的阈值条件的登记用户判定为该用户。在不满足阈值条件的情况下，判定为“未登记”。
83.图8a～图8b表示将本发明的使用合成图像403进行了认证的情况与不对佩戴物图像402进行加工而直接与素颜图像401进行合成来进行认证的情况进行比较的结果，其中，上述合成图像403是基于面部标志物对佩戴物图像402进行加工使其适合于素颜图像401而生成的合成图像。在此，将佩戴物图像设为口罩，对同一人进行了比较。在登记时，登记朝向特定角度的素颜图像，并基于预定的方法合成口罩。在认证时，佩戴真正的口罩并朝向预定的角度，计算与上述合成口罩后的面部图像的类似度。关于认证数据，使用由基于nn模型的特征提取器生成的特征向量，在类似度的计算中使用欧几里德范数(euclidean norm)。纵轴表示在将朝向正面进行认证时的类似度设为0时，每个面部角度的相对类似度。类似度越小，表示能够进行越高精度的检测。
84.图8a表示使面部从正面向偏航方向倾斜时的类似度的比较结果，图8b表示使面部从正面向滚动方向倾斜时的类似度的比较结果。虚线表示没有佩戴物图像加工的结果，实线表示有本发明的佩戴物图像加工的结果。在认证时使用了基于面部标志物生成的合成图像403的情况与没有佩戴物加工的情况相比，类似度更小。特别是当观察与滚动方向的角度相对的图表时，相对的类似度之差为0.05左右，本发明具有特别是在滚动方向上有效果的倾向。另一方面，在不根据面部的部分或朝向进行佩戴物图像402的加工而直接进行合成的情况下，存在随着面部朝向的角度变大类似度的差也变大的倾向，在设定了一定阈值的情况下，对认证精度带来不良影响(例如，在将类似度的阈值设为0.15的情况下，在偏航方向的情况以及滚动方向的情况下，当面部从正面旋转了某种程度以上时类似度成为阈值以上，成为“与本人不一致”)。因此，可知本发明即使在面部角度发生了变化的情况下，也能够减小对类似度的导出造成的影响，相对于面部朝向角度的鲁棒性得到提高。
85.《实施方式2》
86.在本发明的实施方式2中说明以下的结构例：通过检测佩戴物的图案来判定是否佩戴有佩戴物，在佩戴有佩戴物的情况下合成与其图案对应的佩戴物图像402。
87.在此，佩戴物的形状图案除了包括佩戴物的种类(口罩、眼镜、护目镜等)以外，还包括在同一种类的佩戴物中形状不同的形状图案(例如，如果是口罩，则为扁平口罩、立体型口罩、儿童用口罩、或者女性用口罩等)。
88.图9表示本实施方式2的面部认证系统1的详细结构。与图3所示的实施方式1相比，面部图像登记部220以及面部图像对照部320的内部结构不同。其他与实施方式1相同。
89.面部图像登记部220在内部模块中具有面部图像记录部224。面部图像对照部320具备认证数据生成部321、佩戴物形状图案检测部322、佩戴物图像取得部323、面部标志物检测部324以及佩戴物图像加工部325。省略与实施方式1的处理共通的模块的说明，仅对面部图像登记部220以及面部图像对照部320的内部处理进行说明。
90.图10是说明本实施方式2的面部登记时的处理的流程图。对于与实施方式1相同的步骤标注相同的附图标记并省略说明。在步骤s1001中，将由面部区域检测部210生成的素颜图像发送给面部图像登记部220中的面部图像记录部224，登记在数据存储部400中。此时，登记的素颜图像的形式可以是2维图像，也可以是3维图像。如果在认证时需要特征向量，则可以在s402后追加s403，使用特征提取器来生成特征向量，也可以与上述的图像形式的数据同时进行记录。在作为图像形式记录到数据存储部400时，为了削减数据容量，可以在对登记的面部图像实施可逆压缩处理后进行记录。
91.图11是说明本实施方式2的面部认证时的处理的流程图。对于与实施方式1中说明的步骤相同的部分标注相同的步骤编号并省略说明。以下，主要对本实施方式2中的不同点进行说明。
92.将在s402中由面部区域检测部310生成的面部图像发送给佩戴物形状图案检测部322。在s1101中，佩戴物形状图案检测部322根据面部图像检测佩戴物形状。在s1102中，佩戴物形状图案检测部322基于检测结果确认有无佩戴物。作为图案检测的例子，能够使用公知的几何学形状图案匹配或者基于nn模型的检测器、或者其组合。关于有无佩戴物，例如在使用几何学形状图案匹配的情况下，在没有匹配的图案时能够判定为没有佩戴物。只要能够检测佩戴物的形状和有无，则检测方法不限于此。
93.在s1101之后，将从拍摄图像中提取出的面部图像发送给认证数据生成部321，认证数据生成部321生成认证数据(s403)。
94.在s1102中判定为佩戴了佩戴物的情况下，佩戴物图像取得部323在s1103中选择与检测到的形状图案最匹配的佩戴物图像402并从数据存储部400取得该最匹配的佩戴物图像402，并且取得预先登记的素颜图像401。将所取得的图像发送至面部标志物检测部324，基于素颜图像401来检测面部标志物401-1(s601)。基于检测出的面部标志物401-1，对所取得的佩戴物图像402进行加工(s602)，以适合于素颜图像401的方式生成合成图像403(s603)。将佩戴物图像加工部325生成的合成图像403发送给认证数据生成部321，生成认证数据(s403)。将基于认证时从拍摄图像提取出的面部图像的认证数据与基于所生成的合成图像403的认证数据进行对照，由此来实施本人认证。
95.在s1102中判定为在认证时没有佩戴佩戴物的情况下，佩戴物图像取得部323不取得佩戴物图像402，仅取得所登记的素颜图像401(s1104)，认证数据生成部321生成仅素颜图像401的认证数据(s403)。通过设置s1102，能够跳过s601至s603，能够实现对照的高速化。
96.虽然在附图中未图示，但在佩戴物图像取得部323中，也可以生成具有与检测到的佩戴物的形状图案相同的形状图案的佩戴物图像来用作佩戴物图像402，从而代替取得与佩戴物的形状图案最匹配的佩戴物图像402。例如，用户在认证时佩戴了口罩的情况下，可
以生成具有与检测到的口罩的形状相同形状的口罩来作为佩戴物图像402。由此，不是在数据存储部400中预先准备多个佩戴物图像402，而是能够应对任意形状的佩戴物。可以将此时生成或提取的佩戴物图像402直接登记在数据存储部400中，能够在生成其他的合成图像403时使用。
97.《实施方式2：总结》
98.在本实施方式2的面部认证系统1中，佩戴物形状图案检测部322检测被认证者的佩戴物的形状图案，从数据存储部400仅取得与该形状图案对应的佩戴物图像来生成合成图像。由此，能够抑制面部认证时所使用的合成图像的数量，因此能够使认证处理高速化。特别是在如1：1认证那样预先确定了认证对象者的范围的情况下是有用的。另一方面，如1：n认证那样，在对不确定的多人实施个人识别时，对全部认证对象者实施图11的右半部分，因此运算负荷有可能过大。因此，本实施方式2特别是在前者中有用。
99.《实施方式3》
100.图12是本发明的实施方式3的面部认证系统1的结构图。在本实施方式3中，除了在实施方式1～2中说明的结构以外，还新具备3维信息拍摄部110。除了被拍摄体的亮度信息之外，3维信息拍摄部110还取得距离(深度)信息(即，从3维信息拍摄部110到拍摄位置的距离)。通过使用这些信息，能够更忠实于真实世界地实施佩戴物的加工以及合成，能够提高类似度的导出精度，并能够提高面部状态变化时的鲁棒性。
101.3维信息拍摄部110只要是tof(time of flight：飞行时间)照相机或ir照相机(红外线照相机)等能够取得距离信息的装置即可。另外，也可以使用拍摄部100和3维信息拍摄部110一体化，能够同时取得亮度信息和距离信息的装置。或者，也可以使用2个立体照相机等取得亮度信息的拍摄部100，根据从2个拍摄部得到的各像素彼此的视差来取得距离信息。
102.图13表示面部认证系统1的内部处理模块。与实施方式1相比，面部图像登记部220的内部结构和合成图像403的登记流程中的动作不同。其他模块的动作与实施方式1相同，因此主要对面部图像登记部220的内部处理以及合成图像403的登记流程中的动作进行说明。
103.对面部图像登记部220的内部处理进行说明。面部图像登记部220具备3维面部标志物检测部225、佩戴物图像加工部226、认证数据生成部223。与实施方式1相比，处理的信息被扩展为除了亮度信息以外还包含距离信息的3维。
104.由面部区域检测部210生成的素颜图像可以是具有亮度信息以及距离信息的3维信息的3维图像、或者存储有亮度信息的2维图像与存储有距离信息的2维图像的组合，只要具有亮度信息及距离信息的3维信息，则可以是任意的图像形式。
105.图14是用于说明在面部登记时生成和登记合成图像403的处理的流程图。在图14的流程图中，对于进行与实施方式1相同的动作的步骤标注相同的附图标记并省略说明。
106.将素颜图像发送给3维面部标志物检测部225。3维面部标志物检测部225基于3维信息拍摄部110取得的距离信息来3维地检测面部标志物(s1401)。关于s1401中的3维面部标志物的检测方法，能够使用基于公知的几何学图案匹配的方法、以nn模型为基础的检测器等，只要能够3维地取得面部标志物，则检测方法不限于此。
107.将检测到的3维的面部标志物的信息与面部区域检测部210生成的素颜图像一起
发送给佩戴物图像加工部226。佩戴物图像加工部226从数据存储部400取得佩戴物图像402，基于3维面部标志物对佩戴物进行3维加工(s1402)，以适合面部图像的方式进行3维合成(s1403)，将生成的佩戴物合成面部图像发送给认证数据生成部223。
108.在s1402中，从数据存储部400取得的佩戴物图像402只要能够3维地对佩戴物进行加工以及合成为3维的面部图像，则既可以是3维图像，也可以是2维图像。记录在数据存储部400中的素颜图像401和合成图像403的形式可以是由特征提取器生成的特征向量、3维图像、将3维图像转换为2维图像后的2维图像，以及它们的组合中的任意一个。在生成特征向量时，输入到特征提取器的图像形式可以是3维图像或2维图像，或者也可以将它们组合而成的图像输入到特征提取器来生成综合的特征向量。
109.图15是本实施方式3的面部认证部300的结构图。与实施方式2的图9相比，面部图像对照部320的内部处理不同，其他模块的动作与实施方式2相同。在本实施方式3中，图9中的面部标志物检测部324和佩戴物图像加工部325被分别置换为3维面部标志物检测部326和佩戴物图像加工部327。
110.图16是表示本实施方式3的面部认证时的动作的流程图。在图16的流程图中，对于进行与实施方式2相同动作的步骤标注相同的附图标记并省略说明。
111.在s1102中判定为佩戴有佩戴物的情况下，将在佩戴物图像取得部323中取得的素颜图像401以及佩戴物图像402(s1103)发送给3维面部标志物检测部326，3维地检测面部的标志物(s1401)。将检测出的3维面部标志物信息、素颜图像401以及佩戴物图像402发送给佩戴物图像加工部327。关于佩戴物图像402，基于3维面部标志物信息对佩戴物图像进行3维加工(s1402)，并以适合于素颜图像401的方式进行3维合成(s1403)。
112.《实施方式3：总结》
113.本实施方式3的面部认证系统1与实施方式1～2中的2维地检测面部标志物并合成佩戴物的情况相比，基于3维面部标志物来3维地加工以及合成佩戴物图像，因此即使在面部朝向发生了变化时也能够忠实地再现佩戴物的曲面部，能够更高精度地对素颜图像401合成佩戴物图像402。由此，通过忠实再现佩戴佩戴物的情况从而能够提高类似度的导出精度，并且通过面部朝向能够提高类似度的鲁棒性。另外，在面部对照时，距离信息也包含在对照用数据内，因此不仅在佩戴了佩戴物的情况下，还能够提高素颜图像单体的认证精度。
114.《实施方式4》
115.在本发明的实施方式4中，对用于提高实施方式1中的对照效率，使对照处理高速化的结构进行说明。在实施方式1中，当佩戴物的变化增加时，登记在数据存储部400中的合成图像403的数量也成比例地增加(特别是在1：n认证中，登记面部数据增加与登记的人相应的量)，当想要对数据存储部400中存储的全部的登记面部数据依次进行对照时，对照所花费的时间增加。在本实施方式4中实现对照的高速化。
116.图17是本实施方式4中的面部认证部300的结构图。与实施方式1的不同点在于，在面部图像对照部320内追加了对照类别检测部328、对照数据取得部329。追加对照类别检测部328的优点在于，例如能够预先检测佩戴物的有无(是素颜还是佩戴了佩戴物)、佩戴物的种类(口罩、护目镜、眼镜、帽子等)、以及人的属性(年龄、性别等)、面部的朝向(偏航、滚动、俯仰中的任意1个以上的组合)等，将用于对照的登记面部数据的类别缩小为与该检测到的属性对应的类别。由此，与依次认证全部的登记图像的情况相比，能够提高对照效率，实现
对照时间的高速化。
117.图18是说明本实施方式4中的认证时的动作的流程图。在图18的流程图中，对于进行与实施方式1相同动作的步骤标注相同的附图标记并省略说明。
118.将面部区域检测部310生成的面部图像发送给对照类别检测部328。对照类别检测部328检测面部图像的类别(s1801)。作为对照类别的例子，可举出佩戴物的有无、佩戴物的种类、人的属性、面部的朝向中的任意一个或它们的组合。作为类别检测方法，能够使用公知的几何学形状图案匹配、基于nn模型的检测器、或者其组合。可以是将2个以上的nn模型检测器进行了组合的结构。例如，是判别佩戴物种类的nn模型检测器与判定性别分类的专用的nn模型检测器的组合的例子。将检测出的类别的信息发送给对照数据取得部329。对照数据取得部329从数据存储部400取得适合于检测出的类别的登记图像(素颜图像401或者合成图像403)(s1802)，并向认证数据生成部321发送。
119.《实施方式4：总结》
120.本实施方式4的面部认证系统1从数据存储部400仅取得与佩戴物的种类或认证对象者的属性对应的素颜图像401或合成图像403，使用该图像来实施面部认证。由此，能够缩小在对照时使用的登记面部数据，能够减少对照次数，因此能够提高对照效率以及实现对照的高速化。
121.《实施方式5》
122.在本发明的实施方式5中说明以下结构：为了针对面部的朝向实施更稳健的面部认证，通过实施面部朝向的变更来提高针对面部朝向的鲁棒性。在使用了标牌(signage)的多用户同时面部认证、监视摄像机影像中的面部认证等用途中，认证时的面部的朝向并不限于正面面部，面部朝向角度的变化大。因此，例如，存在当面部倾斜时必须进行认证的情况。在本实施方式5中，实现进一步提高这样情况下的认证鲁棒性。
123.图19是本实施方式5中的面部登记部200的结构图。与实施方式1的不同点在于，在面部图像登记部220内追加了面部朝向变更部227。追加面部朝向变更部227的优点在于，能够在数据存储部400中预先存储多个具有各种面部朝向的素颜图像401以及合成图像403，与认证时的面部朝向无关地能够实现高精度的认证。省略与实施方式1共通的模块的说明，以下对动作不同的面部朝向变更部227进行说明。
124.首先，将面部区域检测部210生成的素颜图像发送给面部朝向变更部227。面部朝向变更部227变更所输入的面部图像的面部朝向角度。在生成素颜图像401时，将变更了面部朝向的面部图像直接发送给认证数据生成部223，在生成合成图像403时发送给面部标志物检测部221。
125.面部朝向变更部227能够通过基于公知的仿射变换或者ffd法的非刚性变形法来进行面部朝向的变形。关于ffd非刚性变形法，在面部图像上配置控制点，通过使该控制点移动来使面部图像变形。在作为控制点而使用面部标志物的情况下，可以构成为在面部朝向变更部227之前配置面部标志物检测部221，在先实施面部标志物检测之后变更面部朝向。另外，在面部朝向变更部227中，也可以在生成多个朝向的面部图像后，根据面部朝向不同的多个面部图像补充生成其中间朝向的面部图像。例如，根据正面和横向的面部图像来生成其中间的斜向的面部图像等。
126.图20表示实施方式5的效果。在此，作为例子，示出了在通过面部朝向变更部227向
2个方向变更了面部朝向之后，作为佩戴物图像402而合成口罩图像的例子。基于由面部区域检测部210生成的素颜图像20-1，通过改变面部朝向，生成向滚动方向上的角度倾斜的素颜图像20-2以及向偏航方向上的角度倾斜的素颜图像20-3。对素颜图像20-1、20-2、20-3分别实施面部标志物检测，以适合面部朝向的方式对佩戴物图像进行加工并合成，由此分别生成佩戴物合成面部图像20-4、20-5、20-6。将图像20-1至20-6记录在数据存储部400中，在认证时，能够将面部朝向变更前和变更后进行合并来进行与3个方向的面部朝向角度对应的面部认证。在图20的例子中，向2个方向变更了面部朝向，但变更面部朝向的方向是任意的，其数量也没有限定。
127.在本实施方式5中，也可以与实施方式4进行组合来使认证时的对照高速化。在面部认证时的对照类别检测中，检测面部朝向，从数据存储部400取得具有与检测出的面部朝向相等的面部朝向的登记面部数据，由此能够提高对照效率。
128.图21是本实施方式5中的面部认证部300的结构图。与实施方式2的不同点在于，在面部图像对照部320内追加了面部朝向变更部331，佩戴物形状图案检测部322被替换为佩戴物形状图案检测部330。与实施方式2相比，追加面部朝向变更部331的优点在于，能够与认证时的面部朝向相匹配地变更数据存储部400中登记的面部图像的面部朝向。由此，能够生成具有与认证时的用户的面部朝向角度相同的面部朝向角度的合成图像，因此类似度的导出精度提高。以下，省略与实施方式2共通的模块的说明，对动作不同的模块进行说明。
129.通过佩戴物形状图案检测部330从面部区域检测部310生成的面部图像中检测出认证时所佩戴的佩戴物的图案和面部朝向。面部朝向变更部331基于检测出的面部朝向信息，变更所取得的素颜图像401。为了加工并合成佩戴物，将与认证时的面部朝向角度相匹配地变更了面部朝向的素颜图像401发送给面部标志物检测部324。在认证时用户未佩戴佩戴物的情况下，直接将变更了面部朝向的素颜图像401发送给认证数据生成部321。
130.佩戴物形状图案检测部330除了实施在图11的s1101中说明的佩戴物形状图案的检测之外，还实施面部朝向检测。关于面部朝向检测，能够使用公知的检测面部标志物并在预定的点与朝向正面时的面部标志物进行比较来推定面部朝向角度的方法、或者能够使用基于nn模型的检测器等。
131.《实施方式5：总结》
132.在本实施方式5的面部认证系统1中，通过面部朝向变更部331，在实施方式1以及实施方式2的任意一个情况下，都能够灵活地变更认证时所使用的素颜图像401以及合成图像403的面部朝向角度，然后将该图像预先保存在数据存储部400中。由此，在认证时，即使用户的面部朝向为朝向各种方向，也能够进行高精度的面部认证，能够针对面部朝向角度实现更稳健的面部认证系统。
133.《关于本发明的变形例》
134.本发明并不限于上述的实施方式，包含各种变形例。例如，上述的实施方式是为了容易理解地说明本发明而详细说明的实施方式，并不限于必须具备所说明的全部结构。另外，能够将某实施方式的一部分结构置换为其他实施方式的结构，另外，也能够在某实施方式的结构中添加其他实施方式的结构。另外，对于各实施方式的一部分结构，能够进行其他结构的追加、删除、置换。
135.在以上的实施方式中，记载了将面部登记部200以及面部认证部300与一个拍摄部
100连接的例子，但也可以构成为针对面部登记部200以及面部认证部300分别具备拍摄部100。
136.在以上的实施方式中，一体地图示了面部认证系统1，但也可以是拍摄部100、面部登记部200、面部认证部300以及数据存储部400分别处于空间上不同的场所，分别从数据基站2通过无线进行数据通信的方式。
137.在以上的实施方式中，认证数据生成部可以使用按佩戴物的种类(包括有无佩戴物)、个人的属性、面部的朝向、或者它们的组合而不同的特征量提取器，提取出合成图像的特征量。例如在实施方式1中，在被认证者未佩戴佩戴物的情况下使用素颜图像用的特征量提取器，在被认证者佩戴了口罩的情况下使用口罩用的特征量提取器。或者，在实施方式4中，如果被认证者的属性是“男性”，则使用男性用的特征量提取器。或者，如果被认证者是“口罩、男性”，则使用口罩且男性用的特征提取器。在登记面部图像时也可以同样地，按照佩戴物的种类、个人的属性而使用不同的特征量提取器。
138.在以上的实施方式中，面部登记部200和面部认证部300(以及作为它们的内部模块而配置的各功能部)既可以由安装了这些功能的电路设备等硬件来构成，也可以通过由运算装置(例：中央处理器：central processing unit，cpu)执行安装了这些功能的软件来构成。
139.符号说明
140.1 面部认证系统
141.2 数据基站
142.100 拍摄部
143.200 面部登记部
144.300 面部认证部
145.400 数据存储部
146.210、310 面部区域检测部
147.220 面部图像登记部
148.320 面部图像对照部
149.401 素颜图像
150.402 佩戴物图像
151.403 合成图像
152.221、324 面部标志物检测部
153.222、325 佩戴物图像加工部
154.223、321 认证数据生成部
155.224 面部图像记录部
156.322 佩戴物形状图案检测部
157.323 佩戴物图像取得部
158.110 3维信息拍摄部
159.225、326 3维面部标志物检测部
160.226、327 佩戴物图像加工部
161.328 对照类别检测部
162.329 对照数据取得部
163.227、331 面部朝向变更部。