生物体认证装置及生物体认证方法与流程

1.本发明涉及使用生物体信息对个人进行认证的生物体认证装置及生物体认证方法。


背景技术：

2.在各种生物体认证技术之中，已知指静脉认证能够实现高精度的认证。指静脉认证由于使用手指内部的复杂的血管样式，所以实现良好的认证精度，并且与指纹认证相比难以伪造及篡改，从而能够实现高度的安全性。
3.近年来，在便利店等的小卖店或饮食店等中，以与个人的智能电话协同的qr结算为代表的无现金结算正在普及。这样的结算手段不需要现金支付，便利性较高，并且通过与各种网点服务的协同，能提高顾客的购买意愿，所以店铺方的导入利益也较大。另一方面，存在因为忘带智能电话、故障、遗失等而未能结算，或因智能电话的被盗而被他人利用等的风险。对此，开始广泛研究利用使用者本人的生物体进行结算的基于生物体认证的结算，正在逐渐实用化。
4.在基于生物体认证的结算中，通过将手指、手、脸等使用者自身的生物体罩在生物体认证终端上而进行与事前登记的生物体信息的对照，在认证为是登记者本人的情况下结算完成。特别在使用手指的生物体认证中将手指放置在终端所具备的手指放置台的情况较多，但由于装置与手指的尺寸不匹配、或有感到不想接触到终端的使用者，所以希望即使是非接触也能够认证。在此情况下，将装置上部开放地设计，但在用相机拍摄生物体的情况下受到设置了终端的照明环境的影响，特别是如果存在不需要的外界光，则有不能将生物体正确地扫描的情况。此外，在非接触的情况下，明确地表示应怎样使生物体罩上变得重要。
5.因而，为了实现非接触型的生物体认证装置，课题在于提供不易受到终端的设置环境的影响的技术，并且提供直观且容易理解的生物体的出示引导手段，提供在罩上生物体时的位置或姿势偏离的情况下也能够正确地实施认证的技术。
6.关于降低外界光的影响的方法的现有技术，作为在以掌静脉进行认证时正确地判别装置光源的光和外界光的技术而有专利文献1，作为在以指静脉及手指的表皮进行认证时进行背景分离处理的技术而有专利文献2。
7.专利文献1：日本特开2019－040472号公报
8.专利文献2：日本特开2020－123068号公报
9.在利用手指的生物体特征的非接触型的手指认证中，需要不受外界光的影响而感测生物体的技术和将罩上手指的方式进行引导的技术。特别是，在太阳光等的不需要的外界光射入到装置的周边环境中的情况下，由于较强的光被房间的顶棚或墙壁等反射而在手指的背景中映入不需要的被摄体，所以不再能够正确地实施手指的拍摄位置及姿势的检测处理，有认证精度变差的课题。
10.在专利文献1中，公开了以下的技术：在进行使用掌静脉的生物体认证时，需要适当地用于调整静脉拍摄的照明，但在所拍摄的图像中有高亮度的区域的情况下，判定是因
外界光而亮度变高还是因装置的照明过强而亮度变高。但是，在专利文献1中，并没有提及解决因外界光而在生物体的背景中映入不需要的被摄体、从而生物体的检测失败这一课题的技术。
11.在专利文献2中，公开了以下的技术：在进行使用指静脉及手指的表皮的生物体认证时，为了分离手指区域和背景区域，将按rgb的每个颜色分离的图像的亮度差较小的部分判定为背景。但是，在专利文献2中公开的背景分离由于仅在外界光为特定的波长及强度的情况下正确地动作，所以没有提及能够在多种环境下实现的背景分离技术。
12.上述的问题并不限于手指，关于使用者的手掌、指甲、脸等的各种生物体也可以说是同样的。像这样，在以往技术中，以多个手指为代表在使用各种生物体的生物体认证中，有在多种外界光环境下不能正确地检测生物体的位置及姿势，导致认证精度的下降的课题。


技术实现要素：

13.本发明的目的是提供一种在拍摄生物体时的外界光环境发生偏离的情况下也能够实现高精度的认证的生物体认证装置及生物体认证方法。
14.在本发明的生物体认证装置的优选的例子中，具备：摄像部，经由光学滤波器拍摄拍到生物体的图像，上述光学滤波器使向生物体照射的包含第1波长的波段的光、向生物体照射的包含与第1波长不同的第2波长的波段的光、以及起因于外部环境的包含与第1波长及第2波长不同的第3波长的波段的光透射，并且将其以外的波段的波长阻断；分光处理部，从得到的拍到上述生物体的图像，分离并获得第1波长的光强度的图像、第2波长的光强度的图像、以及第3波长的光强度的图像；背景去除部，从上述第3波长的光强度的图像提取背景区域，从上述第1波长及第2波长的光强度的图像分别去除上述背景区域；以及认证处理部，从去除上述背景区域后的第1波长及第2波长的光强度的图像提取生物体的各种特征，并与预先登记的每个人的生物体特征进行对照，计算每个生物体特征的类似度，进行基于各种生物体特征的类似度确定个人的生物体认证。
15.此外，作为本发明的其他特征，在上述生物体认证装置中，上述背景去除部具备神经网络，该神经网络是预先在学习处理中准备多个正解的距离图像作为教师数据进行学习而得到的，上述多个正解的距离图像是通过多次的生物体的出示，从拍到生物体的图像分离第1波长、第2波长及第3波长的光强度的图像，并由与摄像部并列设置的距离传感器进行计测而得到的；将由分光处理部分离后的被摄体的第1波长、第2波长及第3波长的光强度的图像输入到神经网络，推测被出示的生物体的距离图像，从距离图像提取背景区域，从上述第1波长及上述第2波长的光强度的图像分别去除上述背景区域。
16.此外，在本发明的生物体认证方法的优选的例子中，其特征在于，摄像部经由光学滤波器拍摄使用者罩上的生物体而取得图像，上述光学滤波器使向生物体照射的包含第1波长的波段的光、向生物体照射的包含与第1波长不同的第2波长的波段的光、以及起因于外部环境的包含与第1波长及第2波长不同的第3波长的波段的光透射，并且将其以外的波段的波长阻断；分光处理部从得到的拍到上述生物体的图像，分离并获得第1波长的光强度的图像、第2波长的光强度的图像、以及第3波长的光强度的图像；背景去除部从上述第3波长的光强度的图像提取背景区域，从上述第1波长及第2波长的光强度的图像分别去除上述
背景区域；认证处理部从去除上述背景区域后的第1波长及第2波长的光强度的图像提取生物体的各种特征，并与预先登记的每个人的生物体特征进行对照，计算每个生物体特征的类似度，进行基于各种生物体特征的类似度确定个人的生物体认证。
17.发明效果
18.根据本发明，即使在拍摄生物体时映入不需要的被摄体的情况下，也能够实现高精度的认证。
附图说明
19.图1a是表示有关实施例1的生物体认证系统的整体的结构的图。
20.图1b是表示有关实施例1的保存在存储器中的程序的功能结构的一例的图。
21.图2是有关实施例1的输入装置的剖视图(a)及俯视图(b)。
22.图3是有关实施例1的带通滤波器的分光透射率特性的说明图。
23.图4是表示有关实施例1的生物体认证系统的登记处理部的处理流程的一例的图。
24.图5是表示有关实施例1的生物体认证系统的认证处理部的处理流程的一例的图。
25.图6是表示有关实施例1的相机的分光灵敏度特性的示意图。
26.图7是有关实施例1的拍到外界光的情况下的背景去除的说明图。
27.图8是有关实施例1的带通滤波器的分光透射率特性的另一结构的说明图。
28.图9是有关实施例2的被摄体的距离测量的原理说明图。
29.图10是表示有关实施例2的对被摄体的距离进行学习及推理的神经网络的一例的结构图。
30.图11是有关实施例3的对指尖的位置进行引导的认证装置的一实施例。
31.图12是有关实施例3的推测手指的距离的一实施例的说明图。
32.图13是有关实施例3的对指尖进行引导的装置构造的一例的说明图。
33.图14是表示有关实施例3的装置的设置方法的一例的说明图。
34.标号说明
35.1 手指
36.2 输入装置
37.3 光源
38.9 摄像装置
39.10 认证处理装置
40.11 中央处理部(cpu)
41.12 存储器
42.13 接口
43.14 存储装置
44.15 显示部
45.16 输入部
46.17 扬声器
47.18 图像输入部
48.19 通信部
49.20 登记处理部
50.21 认证处理部
51.22 图像处理部
52.23 分光处理部
53.24 背景去除部
54.25 姿势修正部
55.26 特征提取部
56.27 对照部
57.28 光量调整部
58.30 通信网络
59.41 可视光源
60.42 红外光源
61.43 装置顶面罩
62.44 带通滤波器
63.45 遮光部
64.61 红外光透射波段
65.62 可视光透射波段
66.63 外界光透射波段
67.64 红外光源的发光强度特性
68.65 可视光源的发光强度特性
69.121 蓝色受光元件的分光灵敏度特性
70.122 绿色受光元件的分光灵敏度特性
71.123 红色受光元件的分光灵敏度特性
72.141 顶棚
73.142 外界光
74.143 外界光环境时的手指图像
75.144 可视光图像
76.145 红外光图像
77.146 外界光图像
78.147 背景被去除后的可视光图像
79.148 背景被去除后的红外光图像
80.201 原图像
81.202 深层神经网络
82.203 推理出的距离图像
83.204 正解的距离图像
84.221 指尖指引可视光源
85.222 指尖指引红外光源
86.241 指尖指引光的可视光亮点
87.242 指尖指引光的红外光亮点
88.243 可视光和红外光的分光图像
89.261 指尖的手指放置台
90.1000 生物体认证系统
具体实施方式
91.以下，参照附图说明本发明的实施方式。以下的记载及附图是用来说明本发明的例示，为了使说明清楚而适当进行省略及简略化。本发明也能够以其他各种形态实施。只要没有特别限定，各构成要素既可以是单个也可以是多个。
92.在附图中表示的各构成要素的位置、大小、形状、范围等为了使发明的理解变得容易而有不表示实际的位置、大小、形状、范围等的情况。因此，本发明并不一定限定于在附图中公开的位置、大小、形状、范围等。
93.此外，在以下的说明中，有说明执行程序而进行的处理的情况，但由于程序通过由处理器(例如cpu(central processing unit)、gpu(graphics processing unit))执行而一边适当地使用存储资源(例如存储器)及/或接口设备(例如通信端口)等一边进行所设定的处理，所以也可以将处理的主体设为处理器。同样，执行程序而进行的处理的主体也可以是具有处理器的控制器、装置、系统、计算机、节点。执行程序而进行的处理的主体只要是运算部即可，也可以包括进行特定的处理的专用电路(例如fpga(field－programmable gate array)或asic(application specific integrated circuit))。
94.另外，在本说明书中，生物体特征是指指静脉、指纹、关节图样、皮肤图样、手指轮廓形状、脂肪小叶纹、各手指的长度的比率、指宽、手指面积、黑色素图样、掌静脉、掌纹、指甲静脉、脸静脉、耳静脉、或者脸、耳、虹彩等的在解剖学上不同的生物体的特征。
95.[实施例1]
[0096]
图1a是表示在本实施例中使用手指的生物体特征的生物体认证系统1000的整体的结构的一例的图。另外，本实施例的结构也可以不是构成为系统，当然也可以为构成为在壳体搭载了全部或一部分结构的装置。关于装置，既可以为包括认证处理的个人认证装置，也可以为在装置外部进行认证处理，为取得手指的图像而特制的手指图像取得装置、手指的特征图像提取装置。此外，也可以是作为终端的实施方式。将至少具备拍摄生物体的摄像部、以及对所拍摄的图像进行处理而进行生物体的认证的认证处理部的结构称作生物体认证装置。
[0097]
图1a所示的本实施例的生物体认证系统1000包括作为摄像部的输入装置2、认证处理装置10、存储装置14、显示部15、输入部16、扬声器17及图像输入部18。输入装置2也可以包括设置于壳体内部的摄像装置9、并且包括设置于该壳体的光源3。认证处理装置10具备图像处理功能。
[0098]
光源3例如是led(light emitting diode)等的发光元件，向被出示在输入装置2的上方的手指1照射光。根据实施方式，光源3既可以是能够照射各种各样的波长的光源，也可以是能够照射生物体的透射光的光源，也可以是能够照射生物体的反射光的光源。
[0099]
摄像装置9拍摄被出示到输入装置2的手指1的图像。另外，也可以同时拍摄脸、虹彩、手的指甲、手掌等的生物体。摄像装置9是能够拍摄多个波长的光的光学传感器，既可以是彩色相机，也可以是除了可视光以外还能够同时拍摄紫外光或红外光的多光谱相机。此
外，也可以是能够计测被摄体的距离的距离相机，也可以是将相同的相机组合多个而成的立体相机的结构。输入装置2中也可以包括这样的多个摄像装置。进而，手指1也可以是多根，也可以同时包括两手的多个手指。
[0100]
图像输入部18取得由输入装置2内的摄像装置9拍摄的图像，将所取得的图像向认证处理装置10输出。作为图像输入部18，例如可以使用用来读取图像的各种读取器装置(例如是视频采集卡)。
[0101]
认证处理装置10例如由包括中央处理部(cpu)11、存储器12、各种接口(if)13及通信部19的计算机构成。cpu11通过执行存储在存储器12中的程序，实现认证处理等的各功能部。
[0102]
图1b是表示为了实现认证处理装置10的各功能而保存在存储器12中的程序的功能结构的一例的图。如图1b所示，认证处理装置10由将个人的生物体特征与个人id建立关联而预先登记的登记处理部20、基于登记有当前拍摄并提取出的生物体特征的生物体信息进行认证并输出认证结果的认证处理部21、对被输入的图像进行噪声去除及生物体的位置检测等的图像处理部22、将所拍摄的多个波长的影像分离为各个波长的影像的分光处理部23、将映入到生物体的背景中的不需要的被摄体去除的背景去除部24、对使用者进行引导并将生物体的姿势变动进行修正以使生物体成为适合于认证的姿势的姿势修正部25、在登记处理及认证处理时提取生物体特征的特征提取部26、比较生物体特征的类似度的对照部27、以及适当地调整输入装置的各光源的照射光的强度的光量调整部28的各种处理块构成。关于这些各种处理在后面详细叙述。存储器12存储由cpu11执行的程序。此外，存储器12暂时存储从图像输入部18输入的图像等。
[0103]
接口13将认证处理装置10与外部的装置连接。具体而言，接口13是具有用来与输入装置2、存储装置14、显示部15、输入部16、扬声器17、及图像输入部18等连接的端口等的设备。
[0104]
通信部19用于认证处理装置10经由通信网络30而与外部的装置进行通信。如果通信网络30为有线lan，则通信部19是进行遵循ieee802.3标准的通信的装置，如果通信网络30为无线lan，则通信部19是进行遵循ieee802.11标准的通信的装置。
[0105]
存储装置14例如由hdd(hard disk drive)或ssd(solid state drive)构成，存储使用者的登记数据等。登记数据是用来将在登记处理时得到的使用者进行对照的信息，例如是与登记者id建立了关联的指静脉样式等的图像数据或生物体特征数据。指静脉样式的图像是将分布在手指的皮下的血管即指静脉作为暗影的样式或稍稍发蓝的样式拍摄的图像。此外，指静脉样式的特征数据是将静脉部分的图像变换为2值或8比特图像的数据，或者是由根据静脉的弯曲部、分支、端点等的特征点的坐标或特征点周边的亮度信息生成的特征量构成的数据。
[0106]
显示部15例如是液晶显示器，是显示从认证处理装置10接收到的信息、上述生物体的姿势引导信息及姿势判定结果的输出装置。输入部16例如是键盘或触摸面板，将从使用者输入的信息发送给认证处理装置10。另外，显示部15也可以具有触摸面板等的输入功能。扬声器17是将从认证处理装置10接收到的信息例如以声音等的音响信号发送的输出装置。
[0107]
图2的(a)、(b)是在本实施例中详述的输入装置2的剖视图(图2的(a))及俯视图
(图2的(b))。作为与用来拍摄生物体的光源3对应的结构，在壳体的上部具备可视光源41及红外光源42，从各个光源朝向手指1照射可视光及红外光。可视光和红外光例如是各自的中心波长为530nm和850nm的光。这些两个波长的光在手指1的表面及表面下反射、吸收、散射后，作为反射光到达输入装置2。
[0108]
可视光主要拍摄由皮肤表面的细小的褶皱、指纹、手指关节的褶皱、脂肪小叶或黑色素图样等引起的斑点状的特征，此外红外光主要拍摄皮下的血管特征。因此，并不限定于在本实施例中记载的中心波长或波长的种类数，能够在适合拍摄想要利用的生物体特征的多个波长的组合的范围中任意地设定。如果如本实施例那样是照射两个波长的装置结构，则能够拍摄的生物体特征的可变类型与1个波长的情况相比能够增加，并且装置结构不会大幅复杂化，所以能够以比较简单的结构使认证精度飞跃性地提高。
[0109]
由手指1反射的光穿过装置顶面罩43并穿过带通滤波器44，到达相机9。装置顶面罩43由对于可视光及红外光透明的部件形成，对装置进行保护以免灰尘等从外部进入到装置内。带通滤波器44具有至少使上述可视光源41及红外光源42的照射光通过、并且使不从上述光源发出的特定的一部分波段通过、将其以外的波长阻断的性质。关于该特性在后面叙述。另外，也可以使装置顶面罩43拥有带通滤波器44的光学特性。在此情况下，装置顶面罩43能得到在视觉上遮蔽装置的内部构造的效果。此外，本实施例的相机9设为具有rgb的3波长的cmos传感器阵列，并且这些传感器是具有较高的红外灵敏度的彩色相机，但并不限定于此。
[0110]
在可视光源41及红外光源42的周围设有遮光部45。如果来自光源的光直接照射装置内部，则有装置内部的构造物映入到相机或发生拖尾(smear)噪声或鬼影(ghost)的情况，在图像上映入不需要的噪声。所以，通过设置遮光部45，能够防止不需要的光的侵入，提高画质。
[0111]
为了将被出示到输入装置上部的多个手指均匀地照射，在本实施例的结构中可视光源41及红外光源42配置在装置的四角，能够分别独立地调整发光强度。由此，能够对作为被摄体的手指，在整体上没有不匀地以最优的明亮度照射，能够实现生物体的高画质拍摄。另外，光源的配置并不限定于四角，例如也可以配置在以相机9为中心的同心圆状，或者整体地配置为面光源。
[0112]
图3是表示带通滤波器44的分光透射率特性的一例和可视光源41及红外光源42的发光强度特性的一例的示意图。本实施例的带通滤波器是使2个波段的波长通过、将其以外的波段的波长阻断的双带通滤波器的结构。通过的波段之一是红外光透射波段61，使包括具有由红外光源的发光强度特性64表示的特性的红外光源42的中心波长即850nm在内的大约800nm到900nm的波段的光通过。另一个通过波段是包括具有由可视光源的发光强度特性65表示的特性的可视光源41的中心波长即530nm在内的大约430nm到600nm的可视光透射波段62，该波段使大约蓝到绿的光透射。并且，其以外的波长的光被阻断。通过将其以外的波长的光阻断，去除在生物体的拍摄中不需要的光成分，所以具有提高画质的效果。
[0113]
进而，如果将图3所示的上述可视光透射波段62与可视光源的发光强度特性65进行比较，则设计为，使作为可视光源41不能发出的波长的大约420nm到500nm的波段也一并透射。即，带通滤波器44除了装置光源发出的两个波长以外，还具有使其以外的波段的一部分通过的波段即外界光透射波段63。特别是，透射外界光透射波段63的光，是并非从装置所
具备的光源发出的光，即主要从起因于装置被设置的环境的光源发出的光，即外界光被拍摄。关于外界光的检测方法在后面叙述。
[0114]
图4及图5分别是表示使用在本实施例中说明的手指的个人特征的生物体认证技术的登记处理和认证处理的概略流程的一例的图。该登记处理和认证处理例如由上述的认证处理装置10的cpu11所执行的程序实现。另外，在本实施例中以拍摄3根手指为前提进行说明，但也可以是1根手指或其以外的任意的根数的手指。
[0115]
首先，对图4的登记处理的流程进行说明。登记处理部20通过由使用者进行的登记处理的指示而被起动，首先，系统将促使使用者出示手指的指引显示在显示部15上，随之，使用者将手指1罩在输入装置2上(s401)。作为显示在显示部15上的指引的一例，可以图示罩上3根手指的理想的罩盖方式，并显示“请罩上3根手指”等文章。接受到该指引的使用者按照指引将手指罩在输入装置2的上部。另外，在本实施例中设想使手指从装置稍稍浮起而罩上的情况，但也可以设置手指的载置部而使其物理接触。此外，关于指引的显示，不仅是显示部15，而且也可以另行搭载指引用光源，向手指1照射并通过其颜色、闪烁样式进行引导。此时，例如可以在没有被罩在适当的距离及位置的情况下用红色表现，在没有被适当地罩上的情况下用蓝色等表现。或者，也可以通过声音表现是否被罩在适当的位置上。
[0116]
接着，进行用来确认手指是否被罩在输入装置的上部的手指检测处理(s402)。作为其一实施例，一边使可视光源41或红外光源42以规定的强度点亮一边进行拍摄，在预先设定的图像的中央附近的部分区域的平均亮度超过了一定值的情况下判定为存在手指。此时，为了缓和外界光的影响，也可以使该光源闪烁而根据明暗两张图像的差分图像来判定手指的存在。
[0117]
接着，启动光量调整部28，实施适当地调整可视光源41和红外光源42的照射光的强度的光量调整处理(s403)。在本实施例中，相机9是彩色相机，能够同时拍摄可视光源41和红外光源42双方的波长。所以，控制各个场所及波长的光源的光强度，以使得在上述预先设定的图像的中央附近的部分区域中，在同时照射了两个波长时在该区域的像素值中不发生曝光过度或曝光不足，并且两个波长的光强度的平衡成为相同程度。由此，能够都以适当的明亮度拍摄在后级的分光处理中得到的两个波长的影像。另外，光量调整处理也可以在实施后级的手指姿势检测(s406)之后进行。在此情况下，由于是检测到手指的位置的状态，所以能够将光源单独控制，以将手指整体均匀地照明。此外同样，在光量调整处理中也可以包含手指姿势检测处理，在此情况下也可以以更简单化的手指姿势检测处理高速地实施。
[0118]
接着，启动分光处理部23，进行将同时拍摄的多个波长的光按每个波长进行分离的分光处理(s404)，基于该结果，启动背景去除部24而实施从所拍摄的影像之中仅取出手指部分的背景去除处理(s405)。关于这些处理的详细情况，在后面叙述。
[0119]
然后，进行从仅有手指的影像之中取出多个手指的指尖、指根、指宽的信息的手指姿势检测处理(s406)。作为获得多个指尖及指根的位置的一实施例，首先获得去除背景后的手指区域的轮廓，在轮廓线上进行跟踪而求出手指区域内侧的曲率，将手指区域为凸并且其轮廓线的曲率最高的部分决定为指尖。同样，将手指区域为凹并且其轮廓线的曲率最高的部分决定为指缝。此外，作为指宽的决定方法的一实施例，可以将对处于手指的两侧面的两个指缝的点进行连结的线的中点设为指根，将连结该手指的指尖和指根的线段定义为该手指的中心轴，将经过上述中心轴的中点并与上述中心轴正交的线和该手指的指轮廓线
相交的两点之间的距离定义为指宽。
[0120]
接着，进行判定手指是否被适当地罩上的手指姿势判定(s407)。在手指姿势判定中，基于上述手指姿势检测的结果，判定手指的位置存在于适当的位置、或手指静止了一定时间的情况。作为手指静止检测的一实施例，只要确认上述指尖的位置等的手指姿势信息在时间上不变化即可。另外，由于难以将手指完全静止，所以也可以在包含在某一定的移动量的范围中的情况下判定为手指静止。即使这样，在手指没有静止的情况或手指看起来过远的情况(手指远离相机，手看起来较小的情况)等不是适当的姿势的情况下将该消息进行指引显示，虽然图示省略，但重新回到促使出示手指的处理(s401)。
[0121]
接着，启动姿势修正部25，实施将检测到的全部手指的粗细和朝向标准化的姿势修正处理(s408)。在本实施例中，设想获得将检测到的全部手指按每个手指切取为1张图像的roi(region of interest)图像的情况。作为roi图像的生成方法，生成在内部包含各手指的指尖的点及两侧面的指缝的两点、并且进行旋转以使手指的中心轴与图像的横轴平行、并且进行放大缩小以使各手指的指宽成为一定值的图像。由此，在全部手指的roi图像中映入的图像上的手指的朝向和粗细被统一。基于这样的方法，能够将手指的姿势进行修正。另外，关于各手指的roi图像，能够获得可视光图像及红外光图像这两种，但由于两个波长的图像基本上是同时拍摄的，所以只要在某一方的波长的图像中决定用来生成roi图像的切取位置、旋转量、放大量，则另一方的波长的图像就能够原样利用其结果。
[0122]
接着，启动特征提取部26，进行从可视光图像中提取包括皮肤的褶皱图样、脂肪或黑色素的图样等的表皮特征、并且从红外图像中提取静脉特征的特征提取处理(s409)。作为这些生物体特征的获得方法，通过通常的边缘强调滤波器、盖博(gabor)滤波器、匹配滤波器等的滤波处理，能够强调表皮及血管的线样式特征、脂肪小叶的斑点特征等的生物体特征，通过将其结果2值化或3值化等而获得生物体特征。或者，也可以通过从sift(scale－invariant feature transform)特征量等的关键点提取亮度梯度特征的方法来获得。不论怎样，可以是从图像提取生物体特征，并能够计算它们彼此的类似度的任何的特征量。
[0123]
然后，实施对提取出的样式适当的情况、以及所拍摄的手指不是异物或伪造物的情况进行检测的数据适当判定(s410)。假如在该判定结果为不适当的情况下重新回到促使出示手指的处理(图示省略)，但如果判定结果为适当，则将提取出的特征数据作为登记候选进行储存(s411)。作为数据适当判定处理的一实施例，当虽然为如血管样式那样的线特征但不能提取连续性较高的样式，或从原图像观测到在真正的手指中不会观测到的较强的边缘的情况下，能够认为样式的提取失败或者被输入了伪造物而丢弃。或者，也可以是根据运动图像检测伴随于手指的血流的变化的图像亮度的脉动、在不能检测到脉动的情况下丢弃的方法。
[0124]
并且，反复进行这些步骤(s401～s411)，判定是否储存了3次量的登记候选(s412)，在储存了3次的情况下进行登记选择处理(s413)。作为登记选择处理的一实施例，有如下方法：将3次量的登记候选的特征数据循环地进行对照，计算各候选间的类似度，选择与其他候选的两件的类似度的合计最高的登记候选作为登记数据。根据该方法，会登记3次拍摄之中最容易再现的稳定的特征数据，所以认证精度提高。
[0125]
但是，在此时选择的登记数据和其他候选的两件的类似度两者都是不被认为是相同样式的值的情况下，视为3次量的登记候选都是不稳定的生物体特征而设为没有决定登
记数据。并且，判定是否决定了适合于登记的1个特征数据(s414)，在决定了的情况下，将该特征数据与在登记处理的开始时由登记者输入的登记者id建立关联，作为登记数据保存到存储装置14中(s415)，在没有决定的情况下报告登记失败的状况(s416)。另外，也可以在登记失败的情况下多次反复登记处理。
[0126]
接着，对图5的认证处理的流程进行说明。认证处理是已经通过登记处理登记了个人的生物体信息的使用者使生物体认证系统1000认证是否是登记本人的处理。认证处理中，拍摄使用者出示的生物体，提取生物体的特征量，与登记数据的各特征数据进行对照，当存在能够判定为本人的登记数据的情况下输出认证成功结果和登记者id，当不存在能够判定为本人的登记数据的情况下输出认证失败通知。
[0127]
通过由使用者进行的认证处理的指示，启动认证处理部21，从促使出示手指的指引的显示(s501)到数据适当判定(s510)为止与图4的登记处理是同样的，所以省略说明。
[0128]
接着，启动对照部27，将从可视光图像及红外光图像进行特征提取(s509)而获得的认证数据与预先登记在存储装置14中的1件以上的登记数据(通常设想登记有多个登记者)依次进行对照(s511)。
[0129]
在对照处理中，关于提取出的表皮特征及静脉特征，分别计算与登记数据(1件登记数据的表皮特征及静脉特征)的类似度。这里，对上述类似度的计算的一实施例进行说明。首先，在本实施例中设为登记数据及认证数据都具有3个手指量的生物体特征数据，这里基于检测到的手指的位置分别决定对应的手指的对，用对彼此的手指计算上述类似度。另外，类似度是将相同的生物体部位彼此的生物体特征进行比较。此时，由于对3个手指的对分别计算表皮特征和静脉特征这两种的类似度，所以对于1件登记数据合计获得6件类似度。
[0130]
在本实施例中，将该6件的类似度看作6维的得分，并且构成在6维空间上大量获得以下两种标会点并记录的数据库，该两种标会点为，由将预先从同一人物得到的多个认证数据彼此进行对照而得到的6件类似度构成的标绘点、以及由将从不同的人物得到的多个认证数据彼此进行对照而得到的6件类似度构成的标绘点。并且，在能够在5维的超平面中分离数据库上的本人间的对照结果的标绘点的集合和他人间的对照结果的标绘点的集合的情况下，例如通过感知器，基于该两个集合的比率，计算本人区域和他人区域相对于6维的得分的边界超平面(认证阈值)。
[0131]
并且，根据与上述边界超平面(认证阈值)的位置关系判定在认证数据的对照处理中得到的6维的得分是否包含在本人区域中，如果包含在本人区域中，则判定为与登记数据类似(s512)。在6维的得分包含在本人区域中的情况下能够判断为与相应的登记数据类似，所以输出与认证成功结果及相应登记数据建立了关联的登记者id(s513)，在不是这样的情况下输出与全部的登记数据的认证失败之意的通知(未能认证为登记者本人之意的通知)(s514)。
[0132]
在上述中例示的基于6维的得分判定类似度的方法，即使在某1个手指的类似度变低的情况下，在其余的2个手指的类似度较高的情况下也能够判定为是本人，并且即使在表皮特征的类似度下降的情况下，在静脉特征的类似度较高的情况下也能够判定为是本人。根据这样的判定方法，例如即使在一部分的手指的特征因手指的放置方式的影响或手指受伤的影响等而偶发地失去了类似性的情况下，由于其以外的手指及特征量会弥补整体的类
似性，所以有只要是登记者本人就能够正确地认证的优点。进而，根据预先大量获得的数据决定判定基准的方法具有能够自动且正确地决定基准本身的优点。
[0133]
在对照处理中，在对照的对象的登记数据有多个的情况下，依次对每1件的登记数据与认证数据进行对照来计算6个类似度，在进行与全部的登记数据的对照后，选择6个类似度的合计值或平均值最高的登记数据(s511)。并且，根据所选择的登记数据的6维的得分是否包含在上述本人区域中，判定是否与登记数据类似(s512)。
[0134]
另外，为了判定认证数据与登记数据是否类似，除了根据通过对照得到的6维的得分与上述边界超平面(认证阈值)的关系来判定是否包含在本人区域中的方法以外，也可以根据6个类似度的平均值来判定，或用将各手指的2个类似度进行平均的值中的值最高的2个手指的平均值来判定。
[0135]
此外，作为图5的认证处理的流程图的s511～s514的处理的其他方法，在对照处理中对照的对象的登记数据有多个的情况下，依次对1件登记数据与认证数据进行对照而计算6个类似度，根据6维的得分与上述边界超平面(认证阈值)的关系来判定是否包含在本人区域中，如果包含在本人区域中，则输出以相应的登记数据认证成功(登记者id)，并结束处理。也可以是如下方法：如果没有包含在本人区域中，则选择下一个登记数据而反复进行对照处理，如果在全部的登记数据中认证没有成功，则输出认证失败通知。
[0136]
这里，说明包含在上述的图4及图5的处理流程中的分光处理的一实施例。图6是表示相机9的分光灵敏度特性和进行拍摄的光源的中心波长的示意图。曲线图的横轴是波长，纵轴是相机9所具备的蓝、绿、红各自的受光元件的分光灵敏度特性(121、122、123)的一例。此外，也一起表示了可视光源41及红外光源42的发光中心波长。
[0137]
透射带通滤波器44的光包含搭载于输入装置的红外光源及可视光源的两个波长、以及起因于周围环境的外界光的波长共计3个波长的成分。这些波长的光在混合的状态下被蓝、绿、红的受光元件同时检测。此时的蓝、绿、红的各受光元件接受的受光量是对上述3个波长的光强度乘以受光元件的受光灵敏度而得到的值的总和，所以各受光元件的受光量与各波长的光强度的关系可以通过以下所示的数式(1)记述。其中，设彩色相机的蓝、绿、红各传感器的受光量分别为pb、pg、pr，设各波长的光强度为i
850
、i
530
、i
470
，设接受了波长λ(其中，λ＝{470，530，850}[nm])的光时的受光元件e(其中，e＝{b，g，r})反应的灵敏度为we
λ
。
[0138]
[数式1]
[0139][0140]
这里，如果将数式(1)用向量表述，则如下。另外，t表示转置。
[0141]
[数式2]
[0142]
[p
b p
g pr]
t
＝w[i
470 i
530 i
8550
]
t
……
(2)
[0143]
[数式3]
[0144]
w＝[[wb
470 wg
470 wr
470
]
t
[wb
530 wg
530 wr
530
]
t
[wb
850 wg
850
wr
850
]
t
]
……
(3)
[0145]
分光处理是指将各波长的光强度i
λ
单独取出。即，只要根据该联立方程式分别求出i
470
、i
530
、i
850
即可。如果设w的逆矩阵为w-1
，则各波长的光强度如下。
[0146]
[数式4]
[0147]
[i
470 i
530 i
850
]
t
＝w-1
[p
b p
g pr]
t
……
(4)
[0148]
为了根据该数式(4)求出各波长的光强度i
λ
，从所拍摄的彩色图像的像素值中读取该式中包含的pb、pg、pr，并且从图6读取w的值，从而得到作为未知数的i
470
、i
530
、i
850
。
[0149]
通过该解析，除了起因于装置的红外光源的光强度i
850
及起因于装置的可视光源的光强度i
530
以外，还能够分别获得周围环境的光源发出的外界光的光强度i
470
。
[0150]
图7是在拍摄生物体时拍摄了不需要的外界光的情况下的背景去除的说明图。通常，直射日光或西照等的太阳光、荧光灯或白炽灯、led等的照明设备的光作为外界光而被拍摄的情况较多。太阳光的光谱的宽度较宽，整体上包含各种各样的波长，并且白炽灯也具有接近于太阳光的光谱特性。荧光灯及led的光谱根据设备而不同，但很多照明白色较多，并且白色led包含蓝色的光谱而发光。即，外界光大多具有宽度较宽的波段，所以多数情况下包含透射了上述外界光透射波段的波长即470nm附近的蓝色的成分。
[0151]
图7的(a)是在外界光142在顶棚141上反射的情况下被相机9拍摄的光的示意图。外界光例如太阳光在周围环境反射而被拍摄，这里设为外界光在顶棚反射。外界光142由顶棚141反射，经过手指1的间隙，透射装置顶面罩43，进而透射带通滤波器44而到达相机9。此时，外界光142根据带通滤波器44的特性，仅可视光透射波段、红外光透射波段及外界光透射波段的波长成分被相机9拍摄。此外，可视光源41及红外光源42被手指1反射，不到达顶棚141(由于距离较远，所以反射回来的量可以忽视)。此时，在由相机9拍摄的外界光环境时的手指图像143中，如图7的(b)所示，手指1的部分和顶棚141的部分都被明亮地观测到，成为手指的轮廓线和顶棚部分难以判别的状态。
[0152]
图7的(c)是具备不具有外界光透射波段的带通滤波器的情况下的可视光图像及红外图像的一例。在不具有外界光透射波段的情况下，只有可视光源及红外光源的波段被拍摄，所以如该图那样得到两个波长量的分光图像。由于如上述那样外界光具有宽度较宽的光谱，所以照到顶棚部分的光还具有可视光及红外的波段的光成分。因此，如果被照射外界光，则外界光以不能与可视光源及红外光源区分的形式被拍摄。因此，如果如上述那样进行分光处理而获得可视光图像144和红外光图像145，则哪个图像都与手的形状重叠地映入顶棚141的影像，不能区分手的影像与外界光的影像。
[0153]
另一方面，如图7的(d)所示，在具备本实施例中示出的具有外界光透射波段的带通滤波器的情况下，通过分光处理能够获得可视光图像144、红外光图像145及外界光图像146这3个波长的图像。此时，在可视光图像144及红外光图像145中，与在图7的(c)中示出的同样映入顶棚141，手的轮廓线模糊而难以观测到。但是，在用来检测外界光的波长的外界光图像146中仅映入了外界光的影像。因此，如果从可视光图像144、红外光图像145减去外界光图像146，则能够获得背景被去除后的可视光图像147、背景被去除后的红外图像148。这样，能够从可视光图像、红外图像正确地去除外界光成分，能够实现不受到周围的环境光的影响的认证处理。
[0154]
作为背景去除的具体的处理的实施例，也可以首先使预先决定了外界光图像的亮度值的值成常数倍，并从可视光图像和红外图像分别减去，从而消除外界光部分。此外，作为其他的实施例，首先将外界光图像用一定的阈值进行2值化处理，将具有值的像素定义为背景区域。接着，将映入在可视光图像、红外图像中的上述背景区域替换为黑像素。并且，也可以是将其余的明亮的区域通过规定的阈值或判别分析进行2值化处理，并将具有值的部
分决定为手指区域的方式。另外，在进行2值化处理的情况下，为了去除细小的噪声成分，也可以施以形态学运算。
[0155]
由此，即使在外界光环境下，也能够正确地观测所拍摄的生物体的姿势，能够实现对于照明环境的变动而言稳健的认证。
[0156]
另外，在本实施例中，将用来进行外界光检测的透射波段设定为470nm附近，与装置的可视光源的透射波段共通化而设为双带的带通滤波器结构，但只要包含为了生物体观测而具备的多个光源的波长和不包含这些波段的一部分的外界光拍摄用的波段即可，其波长的种类数可以任意地设定。因此，例如也可以如图8的(a)所示设为使外界光的通过波段63的部分独立地透射的3个带的带通滤波器。通过这样，可视光波长与外界光波长不易混合，所以能够期待分光图像的画质的提高。但是，通常因增加带通滤波器的透射带数而成本增加，所以通过如在图3中表示那样将带共通化，有能够低成本化的优点。
[0157]
此外，在本实施例中将外界光的透射波段设定为蓝色附近的470nm，但也可以设定为其他的波段。例如，也可以如图8的(b)所示，在从600nm到650nm的橙色至红色附近设定外界光的透射波段63，此外也可以设定多个外界光拍摄用波段。关于该波长设定，考虑用来拍摄生物体的光源的波长、相机的受光灵敏度特性、想要检测的外界光的波长等来决定。在本实施例中，基于通常的彩色相机中蓝、绿、红这3色的受光灵敏度被设定为较高，将绿及红外(红){在使用对红外光没有灵敏度的相机的情况下，代替红外而使用红}用于生物体的拍摄，将蓝用于外界光。作为其他的组合，例如当然可以将蓝及红外(红)用于生物体的拍摄，将绿用于外界光。此外，在不是利用rgb相机，而是利用独立地具有红外灵敏度的特制的元件的rgbir相机的情况下，例如可以将绿和红外用于生物体的拍摄，将蓝和红用于外界光，其组合也能够任意地设定。
[0158]
[实施例2]
[0159]
实施例2是涉及以下技术的实施例：使用在实施例1中示出的摄像装置和由多个波长构成的被摄体的影像，按每个像素推测相机与被摄体的距离，通过将距离用于生物体的变形修正、指引，将生物体认证高精度化。
[0160]
图9是使用可视图像及红外图像的被摄体的距离测量的原理图。在本发明中，通过不同波长的光源拍摄生物体，但通常相机透镜的折射率等的光学特性按每个波长而发生稍微的差异。因此，有按每个波长而成像的位置、焦点不同的情况。因此，如果按每个波长分开确认影像，则尽管在一方的波长的图像中是对焦的，但在另一方的波长的图像中焦点偏差而图像模糊，或虽然准确地进行了对焦但各个波长的图像上的位置稍微偏离等。将这样的焦点、成像位置的偏离称作色像差。图9的(a)及(b)是色像差中各个轴上色像差和倍率色像差的说明图。
[0161]
在轴上色像差中，例如虽然在绿光中是对焦的，但在红外光中模糊，或虽然在两个波长中都模糊但其模糊程度不同。并且，通常两个波长的影像的模糊程度根据相机与被摄体的距离而变化。此外，在倍率色像差中，在绿光和红外光中成像的位置不同，通常该偏差的程度根据相机与被摄体的距离而变化。即，通过测量由色像差带来的模糊或偏差的程度，能够推测被摄体的距离。此外，即使是相同波长的图像内，也存在根据其位置因焦点稍微偏离等而发生模糊或畸变的单色像差。将它们统称为透镜像差。
[0162]
对透镜像差而言，不仅根据被摄体与相机的距离而其程度变化，也根据所使用的
透镜的特性、在拍摄中使用的光源波长、图像上的坐标位置等而变化。因此，如果预先决定相机透镜，一边将光的波长、被摄体的距离逐一改变一边按图像上的每个坐标位置计测像差的程度并数据化，则可以将它们逆运算，只要一边改变波长一边按每个坐标位置计测像差的程度，就能够推测被摄体与相机的距离。
[0163]
作为计测按每个波长而不同的透镜像差的程度的差的方法，有如下方法：使用sift等的关键点特征量推测两个波长的分光图像的对应的点及其位置偏差量，并且推测对应的点之间的点扩散函数，根据该位置偏差和模糊的程度来推测距离。并且，如果调整被摄体的距离与位置偏差量、模糊量的相关关系，则能够根据位置偏差量、模糊量来推测被摄体的距离。但是，可以想到表示对应点的偏差量、像的模糊的点扩散函数根据所使用的光源波长、透镜特性、图像上的位置、被摄体的距离等而复杂地变化，导出其关联性并不容易。因此，通过这样的复杂的物理现象的解析进行的距离推测，可以通过利用以能够灵活地近似任意的函数的深层神经网络为代表的机器学习来高效率地实施。
[0164]
图10是在本实施例的装置结构中对被摄体的距离进行学习及推理的神经网络的结构图的一例。首先，作为输入图像而对于混合有各波长的光的原图像201，通过上述的分光图像处理，分别提取3个波长的图像(可视光图像144、红外光图像145、外界光图像146)。接着，如果输入到以这些图像为输入的深层神经网络202中，则提取出与图像的颜色、坐标相应的边缘的模糊程度、边缘的偏差量等特征，在最终层中按每个像素输出推测的被摄体的距离值。结果，获得推理出的距离图像203。这里使用的深层神经网络202例如可以使用深层卷积神经网络。
[0165]
此外，在神经网络的学习时，由于发生推理结果与正解的误差，所以为了使其误差变小而进行网络内的参数的更新。即，将推理结果与正解的误差定义为损失函数，使用误差逆传播法等进行参数更新以使其损失函数最小化。作为损失函数，例如有如下方法：准备通过使用红外线的距离传感器等其他方法计测了距离的正解的距离图像204，通过求出推理出的距离图像203与正解的距离图像204的每个像素的差分的平方和，推进神经网络内的参数的学习以使该平方和最小化。
[0166]
这样，通过大量地准备输入图像和正解图像并进行学习，最终仅通过给出输入图像就能够推理出正确的距离图像。特别是通过深层卷积神经网络，能够对图像的边缘的位置偏差、模糊程度、影像的畸变状况等通过物理模型难以定式化的现象有效地进行学习，即能够根据起因于透镜像差的各波长的图像内及图像间的差异及变化的特征，能够自动地获得被摄体的距离。
[0167]
另外，在神经网络的学习中，为了大量地取得输入图像和正解图像，通过在实施例1中示出的与输入装置接近地设置的上述距离传感器拍摄同一生物体。对于两者的相机的视野的偏差，能够预先进行校准处理，对于输入图像与正解图像的偏差量，能够加以修正。
[0168]
特别是，本方式由于限定于固定的3个波段而拍摄光，所以作为色像差的条件而能够预先固定的部分较多。因此，与在不具备带通滤波器的通常的系统中应用同样的技术的情况相比，有能够提高距离推测的精度的优点。
[0169]
作为使用这样获得的距离信息的生物体认证的登记及认证处理的一实施例，可以利用图4及图5所示的处理。具体而言，在背景去除处理(s405、s505)的前处理中实施上述的距离推测。并且，进行使用距离信息的背景去除处理。在本实施例中，背景去除部24具备上
述神经网络，构成包括距离信息的推测处理的新的背景去除处理。由此，例如与在实施例1中示出的背景去除相比，利用距离信息时能够更正确地从手或手指的图像中切除背景。此外，可以为了获得仅指尖过于接近相机等的三维空间上的姿势信息而利用。由此，能够更适当地引导使用者罩上的手指的姿势，或通过图像处理自动地进行几何学修正，结果，能够提高非接触认证中的便利性和认证精度。
[0170]
[实施例3]
[0171]
在实施例3中，对实现以在实施例1或实施例2中例示的技术为基础、在非接触的同时直观地引导生物体的出示位置、并且对于环境照明的变动而言稳健的认证装置的一实施例进行说明。
[0172]
图11的(a)、(b)是对指尖的位置进行引导而进行非接触认证的生物体认证装置的一实施例。在输入装置2的内部具备相机9，在其周围在圆周上配置有可视光源41及红外光源42。可视光源41及红外光源42能够对被罩在上方的手指1均匀地照射光，与在实施例1中示出的结构同样能够分别独立地控制各光源的强度。另外，在图11的(a)、(b)中仅表示1根手指，但也可以与上述的实施例1同样是多个手指，例如也可以仅为1根食指。
[0173]
此外，在可视光源41及红外光源42所排列的圆周上设置有2个指尖指引光源。指尖指引可视光源221及指尖指引红外光源222朝向输入装置2的上方分别能够以较高的指向性照射可视及红外的波长的光。指尖指引可视光源221的照射光例如是与上述的可视光源41相同的绿色的光，使用者能够辨识。此外，指尖指引红外光源222的照射光例如是与上述的红外光源42相同波长的光，使用者不能辨识。但是，也可以使用除了红外光以外还能够同时照射能够辨识的波长的光的光源，而使得能够辨识该照射光。
[0174]
此外，在相机9的上部具备装置顶面罩43，装置顶面罩43兼具备例如在图3中示出的双带通滤波器的特性，仅使可视光源、红外光源及外界光共计3个波长的光透射。上述指尖指引光的波长由于透射带通滤波器，所以能够由相机9拍摄。
[0175]
此外，相机9相对于输入装置2稍微倾斜而设置。在本实施例中，相机9向图面右侧倾斜，此时，设想手指1从图面右侧朝左罩上。通过该倾斜，即使在指尖被罩在装置的正上方的情况下，相机9也能够拍摄包括指尖及指根的手指整体，能够拍摄较多的生物体特征，所以能够提高认证精度。
[0176]
该装置的登记及认证的处理流程与分别在实施例1的图4及图5中示出的流程基本上相同。作为实施例3相对于实施例1的较大的差异，是在促使出示手指的指引的显示(s401)中使用指尖指引光源这一点。以下，对使用指尖指引光源的手指的指引的一实施例进行说明。
[0177]
首先，使用者将手指1的指尖部分罩在输入装置2的正上方。输入装置2是与标准的指尖相同程度的大小，并且是圆形状，由于使人想到用指尖按下的按钮，所以使用者的指尖自然被引导到输入装置2的上部。此时，从指尖指引光源221及222向输入装置2的正上方照射的光被照在指尖上。使用者根据该指引光中的能够辨识的绿光，对指尖的位置进行微调，以使指尖隐约变得明亮。通过确认像这样指尖被以绿色照射的状态，使用者即使在非接触地将手指罩上的情况下也能够辨识正确的位置。
[0178]
另外，在本实施例中设想了拍摄多个手指，例如食指、中指、无名指这3根，但由于指尖指引光朝向装置的正上方照射，所以如果操作为使该光照在中指上，则3根手指位于相
机的中央，所以拍摄上的状况良好。但是，通常将食指的指尖罩上的方式较为容易自然地操作的情况较多，所以被设计为，相机的像角利用稍微广角，以使得即使多个手指从中央偏离，手指也不会偏出而能够拍摄。
[0179]
图12是通过从指尖指引光源照射的光自动推测手指的位置和距离的一实施例的说明图。如果手指1相对于装置过近或反之过远，则有可能因相机的焦点不对在手指上、或由于过远而不能拍摄出充分的空间分辨率的影像等而发生画质的劣化。所以，认证系统需要自动检测这样的状态并对使用者进行引导以使手指处于适当的距离。如图12的(a)或(c)所示，从指尖指引光源221及222朝向指尖照射2个聚束光，在指尖上投影出2个亮点。此时，两个指引光源稍稍向输入装置2的中心方向倾斜而设置，两个光源的光不是平行光，而以相互交叉的方式照射。另外，两个指引光源的倾斜被调整为，以使其在相机的焦点对焦的适当的距离处交叉。
[0180]
图12的(a)表示手指以适当的距离罩在装置上的状态下的指尖指引光的亮点的状况。从指尖指引可视光源221照射的可视光被照射在手指1的指尖部分，产生指尖指引光的可视光亮点241。此外同样，从指尖指引红外光源222照射的光产生指尖指引光的红外光亮点242。此时，作为两个亮点的位置，可视光照射在图面的左方，红外光照射在右方。此时，如图12的(b)所示，由相机9拍摄的影像如上述那样通过分光处理被分为可视光和红外光，此时获得的可视光和红外光的分光图像243中分别映照出对应的波长的亮点。这里，假设指尖指引光的红外光亮点242映照在分光图像内的上侧，指尖指引光的可视光亮点241映照在下侧。由于可以通过分光处理来掌握这2个亮点是由哪个波长照射的，所以能够测定作为图像上的亮点的位置关系，哪个波长的亮点处于上方的信息、以及两个亮点的中心位置之间的距离。并且，基于这些信息，能够判定指尖是否存在于适当的距离。
[0181]
假如在与图12的(a)的例子相比手指1更靠近输入装置2的情况下，虽然图像上的两个亮点的位置关系不变，但亮点间的距离变远，所以在此情况下可以判断出手指过于接近。因此，在两个亮点的距离比一定距离远的情况下，可以发出“请将手指拿远”等的指引等，对使用者适当地进行引导。此外，在指尖上没有亮点的情况或仅有1个亮点的情况下，意味着指尖的位置偏离，所以例如通过进行“请将指尖罩在装置的正上方”等的向导，来对指尖的位置进行引导。
[0182]
此外，图12的(c)表示手指1从输入装置2过远的情况下的状况。在此情况下，与图12的(a)相反，指尖指引光的可视光亮点241位于指尖指引光的红外光亮点242的右侧。因此，图12的(d)所示的可视光与红外光的分光图像243的亮点的位置关系相比于图12的(b)上下倒转，指尖指引光的可视光亮点241位于上方。因此，在根据图像检测到这样的状态的情况下，可以出示“请稍稍靠近”的向导。
[0183]
一旦判定出手指1被出示到适当的距离，则将两方的指尖指引光源灭掉，并向手指1照射可视光源41及红外光源42而拍摄图像。并且，如在上述的实施例1中表示那样，获得手指的可视光图像、红外图像及外界光图像并进行认证。另外，也可以一边照射指尖指引光221及222一边照射可视光源41及红外光源42。指尖指引光是仅向指尖照射较强的聚束光，所以不能将光照在手指整体上。因此，能够在对指尖进行指引的过程中并行地将可视光源41及红外光源42调整为适当的光量，能够缩短拍摄时间。
[0184]
另外，指尖指引可视光源221的波长只要是在带通滤波器中能够通过的可视光波
长，则可以是任意的波长。例如，如果作为带通滤波器的特性而使用图3或图8的(a)的特性，则可以使用530nm或470nm，如果使用图8的(b)则也可以使用620nm等。只要是使用者能够辨识且能够由相机拍摄的光、进而通过分光处理能够获得其波长成分，则也可以使用任意的波长。
[0185]
另外，图11所示的装置结构依赖于相机9的倾斜的方向，指尖的朝向被固定为指向图面左方的方向。在此情况下，如果装置构造整体上是圆形，则有不能直观地理解将指尖罩上的朝向的情况。对此，也可以如图13的(a)所示，将装置整体的形状做成模仿指尖的形状的壳体。由此，容易直观地理解为，装置壳体的半圆的朝向是出示手指出示的朝向。
[0186]
此外同样，如果是也可以与装置接触的使用场景，则也可以如图13的(b)所示具备指尖的手指放置台261，在物理上固定手指。由此，容易知道将指尖罩上的朝向及位置，进而手指的位置稳定而姿势变动减小，认证精度提高。进而，对于难以进行将手指悬浮在空中而静止的操作的使用者而言，还有利于操作性的提高。
[0187]
或者，也可以是如下结构：如图13的(c)所示使相机9的轴不倾斜，代之而将相机替换为广角相机或全方位相机，从而在装置的外观保持圆形的状态下，不用使相机的轴倾斜就能够拍摄手指整体的影像。通过这样，手指1的朝向从哪一侧出示都可以，所以使用者的方便性大幅提高。另外，在此情况下，可视光源41及红外光源42使用指向性较宽的光源，以便能够较广地照射反射光。由此，在手指1从哪一侧罩上的情况下都能够适当地向手指照明两个波长的光源。
[0188]
此外，也可以如图14所示，将本实施例的输入装置2朝下设置而拍摄下方，使用者以手指1朝向顶棚的方式罩上。此时，使用者能够容易地目视手指1的指肚侧，特别是能够直接确认指尖指引光的可视光亮点241是否正确地照亮指尖，所以有能够容易地实施对位的优点。此时，指尖指引光的可视光亮点241也可以代替点状的聚束光，而例如是沿着手指的中心轴的细长的聚束光，在此情况下，关于将手指罩上的朝向也能够进行指引，所以能够更正确地对使用者进行引导。
[0189]
这样的小型且非接触、对于环境的变化的耐受性较强、高精度的认证装置，例如是个人住宅的门锁、或是汽车的无钥匙进入、或是店铺中的结算系统、或是办公室中的pc安全措施、或是大规模施设或大规模事件的大门管理系统等，能够应用于各种领域。
[0190]
另外，本发明并不限定于上述的实施例，包含各种变形例。例如，上述的实施例是为了本发明的更好的理解而详细说明的，并不限定于必定具备说明的全部结构。此外，可以将某个实施例的结构的一部分替换为其他实施例的结构，此外，能够对某个实施例的结构添加其他实施例的结构。此外，对于各实施例的结构的一部分，可以进行其他结构的追加、删除、替换。