图像处理设备和图像处理方法与流程

authentication system developed",august 3,2007,[online],matsushita electric industrial co.,ltd.,[retrieved february 20,2019],internet<url:https://news.panasonic.com/jp/press/data/jn070803
‑
1/jn070803
‑
1.html>)


技术实现要素：

[0019]
技术问题
[0020]
为了提供实用的生物特征认证设备，需要能够在短时间内获得聚焦图像。
[0021]
在认证目标不是静止而是移动的同时执行非接触式认证的走过式认证是已知的(例如，参考非专利文献1)。另外，专利文献4描述了一种对移动的人执行虹膜认证的设备。如专利文献4中所述，走过式认证需要更快地获取聚焦图像。
[0022]
例如，假设作为认证的目标的行人以1m/s的行走速度通过距离相机2m远的聚焦范围。在使用视野深度为10mm的透镜的成像环境中，必须以每秒至少100帧的帧速率获得图像，以便获得聚焦图像。因此，当进行聚焦评估和基于聚焦评估的聚焦改变处理以从每个帧中获得聚焦图像时，必须在每帧10ms内完成聚焦改变处理。
[0023]
另外，虹膜在视角内的位置因人而不同。因此，当目的是从远处对行人的虹膜进行认证时，在从虹膜以外的大面积图像中检测到虹膜区域之后计算聚焦度。换句话说，需要在10ms内完成的处理量甚至更大。
[0024]
在专利文献4中描述的发明中，使用图像细化处理以高速获得聚焦图像。具体地，在本发明中，在实现近似焦距之后，在使相机移动的同时顺序地获得图像，并且从多个获得的图像中选择用于认证处理的最佳聚焦图像。
[0025]
然而，为了获得用于认证处理的最佳聚焦图像，在已经实现近似聚焦之后会使相机物理地移动，这意味着获得最佳聚焦图像需要时间。
[0026]
本公开的目标是提供可以更快地执行生物特征认证处理并减少生物特征认证处理所需的时间的一种图像处理设备和一种图像处理方法。
[0027]
问题的解决方案
[0028]
根据本公开的图像处理设备包括：图像存储装置，其用于顺序地存储时间上连续捕获的多个图像；细化装置，其用于对时间上连续捕获的图像执行细化处理；第一图像评估装置，其用于在执行细化处理之后对图像执行第一聚焦评估；选择装置，其用于基于第一聚焦评估的评估结果来从时间上连续捕获的图像中选择多个聚焦帧候选；第二图像评估装置，其用于从图像存储装置中读取由选择装置选择的聚焦帧候选的图像并对读取的图像执行第二聚焦评估；以及匹配图像确定装置，其用于基于第二聚焦评估的评估结果来从聚焦帧候选的图像中选择用于认证处理的匹配图像。
[0029]
根据本公开的图像处理方法包括：顺序地将时间上连续捕获的多个图像存储在图像存储装置中；对时间上连续捕获的图像执行细化处理；在执行了细化处理之后对图像执行第一聚焦评估；基于第一聚焦评估的评估结果来从时间上连续捕获的图像中选择多个聚焦帧候选；读取从图像存储装置中选择的聚焦帧候选的图像并对读取的图像执行第二聚焦评估；以及基于第二聚焦评估的评估结果来从聚焦帧候选的图像中选择用于认证处理的匹配图像。
[0030]
根据本公开的图像处理程序使计算机执行：顺序地将时间上连续捕获的多个图像
存储在图像存储装置中的处理；对时间上连续捕获的图像执行细化处理的处理；对在执行细化处理之后的图像执行第一聚焦评估的处理；基于第一聚焦评估的评估结果来从时间上连续捕获的图像中选择多个聚焦帧候选的处理；读取从图像存储装置中选择的聚焦帧候选的图像并对读取的图像执行第二聚焦评估的处理；以及基于第二聚焦评估的评估结果来从聚焦帧候选的图像中选择用于认证处理的匹配图像的处理。
[0031]
本发明的有益效果
[0032]
根据本公开，生物特征认证处理所需的时间能够被减少。
附图说明
[0033]
[图1]其描绘了由图像处理设备执行的图像处理方法的处理流程。
[0034]
[图2]其描绘了示出图像处理设备的配置示例的框图。
[0035]
[图3]其描绘了示出第一示例实施例的图像处理设备的操作的流程图。
[0036]
[图4]其描绘了示出聚焦评估处理的评估结果的示例的解释性示意图图。
[0037]
[图5]其描绘了示出第一示例实施例中的粗略图像评估单元的评估结果的示例的解释性示意图。
[0038]
[图6]描绘了示出第二示例实施例的图像处理设备的操作的流程图。
[0039]
[图7]描绘了示出第二示例实施例中的粗略图像评估单元的评估结果的示例的解释性示意图。
[0040]
[图8]描绘了示出第三示例实施例的图像处理设备的操作的流程图。
[0041]
[图9]描绘了示出第三示例实施例中的粗略图像评估单元的评估结果的示例的解释性示意图。
[0042]
[图10]描绘了示出不使用样条近似生成的时间序列评估值的示例的解释性示意图。
[0043]
[图11]描绘了示出使用样条近似生成的时间序列评估值的示例的解释性示意图。
[0044]
[图12]描绘了示出走过式虹膜认证系统的结构和功能的解释性示意图。
[0045]
[图13]描绘了示出具有cpu的计算机的示例的框图。
[0046]
[图14]描绘了示出图像处理设备的概括的框图。
具体实施方式
[0047]
为了缩短生物特征认证处理所需的时间，有一种可能的方法，其使用固定聚焦透镜以高帧率捕获接近的对象的图像序列，而不聚焦在对象的移动和深度。换句话说，可设想通过定焦透镜以高速度捕获包括聚焦图像的图像组。该方法假设正在行走的对象始终通过包括透镜聚焦位置的聚焦范围。
[0048]
当使通过以上方法获得的所有图像都转换成特征，并且然后与存储在特征数据库中的特征进行匹配时，匹配处理花费大量的时间。存在匹配处理所需的时间与匹配准确度之间的权衡。匹配准确度取决于输入的图像的分辨率。图像的分辨率越高，数据量越大。如果校对准确度高，则处理时间会超过需要的时间(例如，10ms)。
[0049]
特别地，当必须在短时间段内处置大量的认证目标时，变得更加需要缩短从捕获单个认证目标的图像组到获得匹配处理的结果的时间。
[0050]
例如，当考虑移动的对象时，如上所述，期望的是当认证目标是行人时，对象以至少100帧/秒的高帧率被捕获。因此，该对象的捕获的图像数量非常大。由于当对所有捕获图像执行匹配处理时处理时间将较长，所以更好的是预先从图像组中选择要经受匹配处理的图像(例如，在执行对要经受匹配处理的图像的选择之前)。要被选择的图像是在聚焦范围内捕获的那些图像。从图像组中选择要经受匹配处理的图像的处理在下文中被称为图像评估处理。
[0051]
然而，由于期望使用具有大量像素的图像以便提高图像的分辨率，所以对图像组中的所有图像执行图像评估处理将增加图像评估处理的处理时间。
[0052]
因此，如下所述，示例实施例公开了一种能够减少图像评估处理所需的时间的图像处理设备和图像处理方法。
[0053]
图1图示了由示例实施例的图像处理设备执行的图像处理方法的处理流程。在图1中，箭头指示每个图像的处理时间。
[0054]
在图1中，(a)示出了图像捕获的处理时间(从成像装置(例如，相机)的图像捕获开始到图像在存储器中的记录)。(b)示出了粗略评估处理的处理时间。(c)示出了按时间序列次序对存储器中记录的图像进行图像评估的处理时间。(d)示出了用于计算被确定为聚焦的图像(确定为是最佳匹配的图像)的匹配结果的处理时间。
[0055]
一旦至少一个图像已经被写入存储器，粗略评估处理就会开始。粗略评估过程通过以下被执行：在空间上细化图像的像素或在时间上细化图像(即，细化图像本身，即，帧)，并且确定每个图像是否是在用于空间上或时间上细化的图像的聚焦范围内捕获的图像。换句话说，在粗略评估处理中，通过粗略评估关于聚焦的细化的时间序列数据来估计聚焦帧候选。聚焦帧候选是具有在聚焦范围内已经被捕获的高概率的图像。
[0056]
由于通过粗略评估处理获得的聚焦帧候选是从已经在空间或时间方向上被细化的图像组中选择的图像，所以它们可能不是最佳匹配图像。在图像评估处理中，通过对具有高评估值的图像前面和后面的多个未细化图像(聚焦帧候选的图像)执行聚焦评估，匹配图像能够通过更准确的评估而被提取。匹配图像是在认证处理中使用的图像。
[0057]
与对所有捕获的图像执行图像评估陈列(聚焦评估处理)的情况相比，图1中示出的处理减少了经受聚焦评估的图像的数量。因此，从图像捕获到能够开始匹配处理的处理时间序列被减少。
[0058]
图2是示出图像处理设备的配置示例的框图。
[0059]
图2中示出的图像处理设备包括图像获取单元101、图像记录单元102、粗略图像评估单元103、聚焦帧候选估计单元104、图像评估单元105、聚焦帧确定单元106以及特征提取和匹配单元107。
[0060]
图像获取单元101顺序地输入一个对象(例如，经认证的人)的已经由成像装置在时间上连续捕获的图像。图像记录单元102是存储图像的存储器。
[0061]
粗略图像评估单元103在上述粗略评估处理中执行粗略聚焦评估处理(参考图1的(b))。具体地，粗略图像评估单元103生成其中图像被时间上细化的图像组，并且执行确定所生成的图像组中的每个图像是在聚焦范围内捕获的图像的概率的处理。粗略图像评估单元103输出每个图像的评估值作为处理的结果。图像是在聚焦范围内被捕获的图像的概率越高(图像聚焦的概率)，评估值越大。
[0062]
另外，粗略图像评估单元103减少图像中的像素和帧的数量，使得粗略评估处理在与所有图像序列被写入图像记录单元102的大约同时被完成。
[0063]
聚焦帧候选估计单元104执行上述粗略评估处理中的估计聚焦帧候选的处理。如上所述，评估值是图像组中的图像的评估值，其中已经通过时间细化减少了图像的数量。因此，基于由粗略图像评估单元103输出的评估值，可能无法获得最佳聚焦帧。
[0064]
例如，聚焦帧候选估计单元104输出具有最高评估值的图像的前面和后面几个帧的图像(包括具有最高评估值的图像)作为聚焦帧候选。例如，聚焦帧候选估计单元104输出聚焦帧候选的帧数量。作为示例，捕获的图像的序列号被用作帧数量。图像数据与帧数量相关联地被存储在图像记录单元102中。
[0065]
图像评估单元105对作为目标的聚焦帧候选执行图像评估处理(参考图1的(c))，以评估候选帧是否真正聚焦。在图像评估处理中，图像评估单元105使用图像记录单元102中存储的图像。换句话说，图像评估单元105评估尚未经历细化处理的图像。例如，图像评估单元105输出每个聚焦帧候选的评估值。
[0066]
聚焦帧确定单元106将具有最高评估值的聚焦帧候选确定为聚焦帧。例如，聚焦帧确定单元106输出聚焦帧的帧数量。
[0067]
特征提取和匹配单元107对聚焦帧的图像(等价于匹配图像)执行特征提取，并且使用特征数据库等执行匹配。
[0068]
示例实施例1。
[0069]
参考图3中的流程图描述图像处理设备的第一示例实施例。在第一示例实施例中，图像处理设备在估计聚焦帧候选时执行捕获的图像的时间细化。
[0070]
在图3中图示的处理中，图像记录单元102中每次捕获到图像的m(m：二或更大的自然数)个帧，就从图像记录单元102中读取出图像的一个帧，并且对读取的图像执行聚焦评估。当图像的预定数量n(n：为二或更大的自然数)个帧已经被捕获时，处理移动到估计聚焦帧候选的处理。
[0071]
在图像处理设备中，图像获取单元101从图像捕获装置顺序地输入图像(步骤s101)。然后，图像获取单元101将输入的图像写入图像记录单元102(步骤s102)。
[0072]
在图像的一个帧已经被记录在图像记录单元102中之后，粗略图像评估单元103开始粗略图像处理。在粗略图像处理中，在从图像记录单元102中读取出图像的同时执行时间采样。在图3中示出的示例中，粗略图像评估单元103每m个帧执次聚焦评估处理(步骤s103、s105)。因此，当从图像记录单元102读取的图像是m的自然数倍数的图像时，粗略图像评估单元103对该图像执行聚焦评估处理。
[0073]
粗略图像评估单元103以已知方式执行聚焦评估处理以计算评估值。例如，粗略图像评估单元103使用高通滤波器来提取图像的高频分量。然后，粗略图像评估单元103使用通过高通滤波器之后像素的平均值作为评估值。粗略图像评估单元103与帧数量相关联地临时存储评估值(步骤s106)。
[0074]
步骤s101至s106的处理被重复，直到捕获的图像的数量达到n为止(步骤s107)，并且当处理的图像的数量达到n时，捕获被终止(步骤s108)。
[0075]
接下来，聚焦帧候选估计单元104估计聚焦帧候选(步骤s109)。要被估计的聚焦帧候选是，例如，具有最高评估值的图像以及其前面和后面几个帧的图像。聚焦帧候选估计单
元104向图像评估单元105输出这些图像的帧数量作为能够识别聚焦帧候选的数据。聚焦帧候选的数量被选择，以使得处理的序列所需的时间小于或等于可允许的时间(例如，10ms)。
[0076]
图像评估单元105从图像记录单元102中读取由帧数量识别的聚焦帧候选的图像，并且对读取的图像一次执行一个图像的聚焦评估处理以计算评估值(步骤s110)。由图像评估单元105执行的聚焦评估处理能够与由粗略图像评估单元103执行的聚焦评估处理相同。
[0077]
接下来，聚焦帧确定单元106基于由图像评估单元105计算的评估值来检查聚焦帧候选的图像是否是聚焦图像(步骤s111)。在步骤s111中，聚焦帧确定单元106确定，例如，评估值是否超过预定的阈值(能够无疑地确定图像是聚焦图像的阈值)。当聚焦帧候选的图像的评估值超过阈值时，聚焦帧确定单元106将聚焦帧候选的帧数量作为聚焦图像(等价于匹配图像)的帧数量输出到特征提取和匹配单元107。
[0078]
特征提取和匹配单元107对聚焦图像执行特征提取，并且使用特征数据库等执行匹配(步骤s112)。特征提取和匹配单元107还可以使用由来自聚焦帧确定单元106的帧数量识别的图像的前面和后面的几个图像执行特征提取和匹配处理。
[0079]
图4是示出聚焦评估处理的评估结果的示例的解释性示意图。在图4中示出的曲线图中，水平轴线指示帧数量，并且竖直轴线指示评估值。图4中示出的示例是使用定焦透镜连续拍摄移动的对象的情况，并且对获得的240个图像执行如上所述的聚焦评估处理。如图4中所示，在对象移动的同时某一位置处的评估值(聚焦评估值)中存在峰值，即帧数量转换。
[0080]
图5是示出本示例实施例中的粗略图像评估单元103的评估结果的示例的解释性示意图。图5中示出的示例是粗略图像评估单元103每10个帧执行聚焦评估处理的情况。如图5中所示，评估值的峰值(参考图4)没有被损害。因此，即使如本示例实施例中的图像在时间上被细化，聚焦帧确定单元106仍然能够获得聚焦图像。当粗略图像评估单元103每10个帧执行聚焦评估处理时，总体处理时间被减少到1/10。
[0081]
示例实施例2。
[0082]
参考图6中的流程图描述图像处理设备的第二示例实施例。在第二示例实施例中，图像处理设备在估计聚焦帧候选时执行空间上细化捕获的图像的处理。在空间上细化图像的处理是减少图像中的像素数量的处理，或者换句话说，降低分辨率的处理。
[0083]
第二示例实施例的图像处理设备的配置与图2中示出的配置相同。然而，在本示例实施例中，粗略图像评估单元103生成像素在空间上被细化的图像，并且执行确定生成的图像是在聚焦范围内被捕获的图像的概率的处理。
[0084]
图6中示出的处理与图3中示出的第一示例实施例的图像处理设备的处理几乎相同，但在本示例实施例中，图3中示出的步骤s103的处理不被执行，替代地，步骤s104的处理被执行。另外，粗略图像评估单元103执行粗略聚焦评估处理(步骤s105a)。粗略聚焦评估处理是指对像素被细化的图像的聚焦评估处理。其他处理与图3中示出的处理相同。
[0085]
图7是本示例实施例中粗略图像评估单元103的评估结果的示例的图示。图7中示出的示例是粗略图像评估单元103关于图像的高度和宽度每四个像素已经细化出三个像素的情况。因此，图像尺寸变为原始尺寸的1/4。粗略图像评估单元103对空间上细化的图像执行聚焦评估处理。当每四个像素细化出三个像素时，由于要被处理的像素数量减少到1/16，所以总体处理时间被减少到1/16。
[0086]
另外，如图7中所示，评估值的峰值(参考图4)没有被损害。因此，即使如本示例实施例中的图像时间上被细化出，聚焦帧确定单元106仍然能够获得聚焦图像。
[0087]
示例实施例3。
[0088]
参考图8中的流程图描述图像处理设备的第三示例实施例。在第三示例实施例中，图像处理设备在估计聚焦帧候选时执行对捕获的图像的时间细化以及像素的空间细化。
[0089]
第三示例实施例的图像处理设备的配置与图2中示出的配置相同。然而，在本示例实施例中，粗略图像评估单元103从包括捕获的图像组的时间序列图像中间歇地选择图像，与第一示例实施例的情况一样，并且通过对选择的图像执行像素细化来生成细化后的图像，与第二示例实施例的情况一样。然后，粗略图像评估单元103执行处理以确定生成的图像是在聚焦范围内捕获的图像的概率。
[0090]
换句话说，在图8中示出的处理中，图3中示出的步骤s103的处理和图6中示出的步骤s104的处理两者被执行。
[0091]
具体地，粗略图像评估单元103首先在粗略图像处理中执行时间取样。在图8中示出的示例中，粗略图像评估单元103从图像组每m个帧选择一个图像(步骤s103)。粗略图像评估单元103对选择的图像执行粗略聚焦评估处理(步骤s104、s105a)。
[0092]
其他处理与图3和图6中示出的处理相同。
[0093]
图9是示出本示例实施例中的粗略图像评估单元103的评估结果的示例的解释性示意图。图9中示出的示例是这种情况：粗略图像评估单元103每10个帧选择一个帧的图像，并且关于选择的图像的高度和宽度每四个像素细化出三个像素。因此，预期总体处理时间将被减少到(1/10)
×
(1/16)。
[0094]
另外，如图9中所示，评估值的峰值(参考图4)没有被损害。因此，即使如本示例实施例中的图像时间上被细化出，聚焦帧确定单元106仍然能够获得聚焦图像。
[0095]
当聚焦帧候选估计单元104输出具有最高评估值的图像的前面和后面几个帧的图像作为聚焦帧候选时，前面和后面的帧数量可以是细化间隔的两倍，例如，当执行时间细化时。具体地，如果要被捕获的图像数量为n＝240，并且粗略图像评估单元103每10个帧选择一个帧的图像，则前面和后面的帧数量应为20。在这种情况下，要经受粗略图像处理的图像的数量为n的1/12。
[0096]
当确定聚焦帧候选时，聚焦帧候选估计单元104可以通过使用样条近似或其他方法的插值从由粗略图像评估单元103计算的评估值序列中生成密集时间序列评估值。
[0097]
图10和图11是解释样条近似的效果的解释性示意图。图10是示出不使用样条近似生成的时间序列评估值的示例的解释性示意图。具体地，图10图示了粗略图像评估单元103每20个帧选择一个帧的图像并且关于选择的图像的高度和宽度位每四个像素细化出三个像素的情况的示例。
[0098]
图11是示出使用样条近似生成的时间序列评估值的示例的解释性示意图。图11还示出了粗略图像评估单元103每20个帧选择一个帧的图像并且关于选择的图像的高度和宽度每四个像素细化出三个像素的情况的示例，但是通过进一步样条近似，评估值的密集序列被生成。通过使用密集评估值来确定聚焦帧候选，聚焦帧候选估计单元104能够更准确地确定聚焦帧候选。
[0099]
将图10中示出的示例与图11中示出示例进行比较，应当理解，当样条近似没有被
使用时，即使评估值的峰值被损害(真实峰值不出现)，样条近似也能够被用于使评估值的峰值出现。
[0100]
另外，在以上示例实施例中，在步骤s109的处理中，当基于具有最高评估值的图像(假设为中央聚焦帧候选)而确定聚焦帧候选时((参考图3等)，聚焦帧候选估计单元104对由从粗略图像评估单元103输出的所有帧数量识别的图像顺序地执行聚焦评估处理。
[0101]
然而，阈值也可以预先被设置以确保聚焦图像被获得，并且当聚焦帧候选估计单元104检测到超过阈值的评估值时，聚焦帧候选估计单元104可以将由对应于评估值的帧数量识别的图像设置为中央聚焦帧候选。在这种情况下，处理移动到步骤s110而不执行评估值的剩余处理。
[0102]
如图4等中所图示，评估值的序列形成具有峰值的形状。利用这一点，当在步骤s109的处理中检测到超过阈值的评估值之后，检测到低于阈值的评估值时，处理可以移动到步骤s110而不执行评估值的剩余处理。在这种配置中，例如，存在于最先超过阈值的评估值与紧接在检测到小于或等于阈值的评估值之前的评估值之间的评估值被利用。因此，聚焦帧候选估计单元104将由对应于评估值的帧数量识别的图像设置为中央聚焦帧候选。
[0103]
如上面所解释的，以上示例实施例的每个中的图像处理设备在捕获开始的同时开始粗略评估处理(严格地说，在至少一个图像被写入图像记录单元102时开始)。然后，因为在图像处理设备中对图像组中的图像执行粗略聚焦评估处理，所以从开始捕获到计算匹配处理的结果的时间被缩短。因此，可能增加在预定时间内能够被认证的认证后的人的数量。
[0104]
为了能够进行更准确的认证处理，图像处理设备可以包括从图像中检测包括认证处理的目标的区域(例如，眼睛位置)的功能(缩小评估区域的功能)。然后，图像处理设备可以在缩小评估区域之后执行聚焦评估处理。
[0105]
示例1
[0106]
下文中，参考图12中的解释性示意图来解释图像处理设备的示例。本示例是将以上示例实施例的图像处理设备应用于走过式虹膜认证系统(下文中称为系统)的示例。这是将以上示例实施例的图像处理设备应用于走过式虹膜认证系统(下文中称为系统)的示例。走过式认证被用于诸如入口门处的进入/离开控制。在本示例中，假设如果注册人(例如，有资格通过入口门的人)能够被认证(核实)，则该注册人将通过门而不停下。
[0107]
如果认证后的人400被正确地匹配，则应当能够在行走的同时通过门而不停下。例如，对于在离门约2m的距离处捕获的虹膜图像，需要在认证后的人400从2m距离点通过0m点(进入门点)的时间段之间计算匹配结果。
[0108]
该系统包括整体监视相机300和虹膜成像相机200，其中多个红外灯和相机201、202、203垂直布置。整体监视相机300捕获包括认证后的人400的面部的区域(步骤s31)。然后，系统中的控制单元(未示出)执行认证后的人400的面部检测。控制单元还估计认证后的人400与虹膜成像相机200之间的距离(步骤s32)。此外，控制单元选择匹配认证后的人400的身高的相机。
[0109]
控制单元基于认证后的人400的面部大小或其他因素来估计身份验后证的人400的位置。然后，控制单元启动在认证后的人400接近聚焦位置的时刻选择的相机，其中认证后的人400的眼睛的位置作为roi(感兴趣区域)，即要被处理的区域。
[0110]
在步骤s33中，虹膜成像相机200在其被启动后的几秒钟内将捕获的图像401输出
到以上示例实施例的图像处理设备中的图像获取单元101(参考图2)。图像获取单元101将输入的图像顺序地存储在图像记录单元102中。
[0111]
紧接在将第一捕获的图像存储在图像记录单元102中之后，粗略图像评估单元103顺序地读取图像记录单元102中存储的图像并执行粗略评估处理(步骤s34)。在粗略评估处理中，如上所述，在时间方向上对图像进行细化或者降低图像的分辨率(空间细化)或两者的同时，执行图像的聚焦评估处理。
[0112]
然后，图像评估单元105对具有大评估值的图像的前面和后面的聚焦帧候选的多个图像执行聚焦评估(步骤s35)。然后，特征提取和匹配单元107提取获得的聚焦图像(匹配图像)的特征，并且使用数据库等执行匹配处理。
[0113]
虽然在本示例中，将走过式认证用作示例，但是以上示例实施例能够被应用于其他生物特征认证以及虹膜认证。特别地，它们适合于使用需要约每像素0.06mm的高分辨率的图像进行认证。
[0114]
示例2
[0115]
接下来，描述了除走过式认证之外的认证的示例。
[0116]
作为除走过式认证以外的认证的示例，将认证作为其中针对静止的对象改变聚焦位置并且输入聚焦图像组的示例。
[0117]
例如，考虑到匹配与相机的距离在一定程度上已知的静止对象的虹膜的情况。在这种情况下，透镜驱动范围是有限的。通过利用线圈电机驱动透镜或通过驱动液态透镜等，具有不断改变的聚焦位置的图像序列能够被获得。在本示例中，不需要诸如将感测结果反馈回到聚焦驱动机构的处理。因此，高速连续图像捕获变得是可能的。
[0118]
如在以上示例实施例中的每个中，紧接在将第一捕获的图像存储在图像记录单元102中之后，从图像记录单元102中顺序地读取图像。此后，图2中示出的粗略图像评估单元103、聚焦帧候选估计单元104、图像评估单元105、聚焦帧确定单元106以及特征提取和匹配单元107执行上述处理。
[0119]
因此，以上示例实施例的图像处理设备也能够对静止的匹配对象进行高速拍照，并且减少从拍摄的开始到匹配结果的输出的时间。
[0120]
图13是示出具有cpu(中央处理单元)的计算机的示例的框图。cpu 1000根据存储设备1001中存储的图像处理程序执行处理以实现以上示例实施例中的功能。
[0121]
换句话说，cpu 1000实现图2中示出的图像获取单元101、粗略图像评估单元103、聚焦帧候选估计单元104、图像评估单元105、聚焦帧确定单元106以及特征提取和匹配单元107的功能。
[0122]
存储设备1001是，例如，非暂时性计算机可读介质。非暂时性计算机可读介质包括各种类型的有形存储介质。非暂时性计算机可读介质的具体示例包括半导体存储器(例如，掩模rom、prom(可编程rom)、eprom(可擦除prom)、闪速rom)。
[0123]
存储器1002例如由ram(随机存取存储器)实现，并且是用于在cpu 1000执行处理时临时存储数据的存储装置。能够通过存储器1002来实现图2中示出的图像记录单元102。
[0124]
图14是示出图像处理设备的概括框图。图像处理装置10包括：图像存储装置11(在示例实施例中，由图像记录单元102实现)，其用于顺序地存储时间上连续捕获的多个图像；细化装置12(在示例实施例中，由粗略图像评估单元103实现)，其用于对时间上连续捕获的
图像执行细化处理；第一图像评估装置13(在示例实施例中，由粗略图像评估单元103实现)，其用于在执行细化处理之后对图像执行第一聚焦评估(例如，步骤s105、s105a的处理)；选择装置14(在示例实施例中，由聚焦帧候选估计单元104实现)，其用于从时间上连续捕获的图像中选择多个聚焦帧候选；第二图像评估装置15(在示例实施例中，由图像评估单元105实现)，其用于读取由选择装置14从图像存储装置11中选择的聚焦帧候选的图像并且对读取的图像执行第二聚焦评估(例如，步骤s110的处理)；以及匹配图像确定装置16(在示例实施例中，由聚焦帧确定单元106实现)，其用于基于第二聚焦评估的评估结果来从聚焦帧候选的图像中选择用于认证处理的匹配图像。
[0125]
以上示例实施例的一部分或全部还可以被描述为但不限于以下补充注释。
[0126]
(补充注释1)一种图像处理设备，包括：
[0127]
图像存储装置，其用于顺序地存储时间上连续捕获的多个图像，
[0128]
细化装置，其用于对时间上连续捕获的图像执行细化处理，
[0129]
第一图像评估装置，其用于在执行了细化处理之后对图像执行第一聚焦评估，
[0130]
选择装置，其用于基于第一聚焦评估的评估结果来从时间上连续捕获的图像中选择多个聚焦帧候选，
[0131]
第二图像评估装置，其用于从图像存储装置中读取由选择装置选择的聚焦帧候选的图像并对读取的图像执行第二聚焦评估，以及
[0132]
匹配图像确定装置，其用于基于第二聚焦评估的评估结果来从聚焦帧候选的图像中选择用于认证处理的匹配图像。
[0133]
(补充注释2)根据补充注释1的图像处理设备，其中
[0134]
第一图像评估装置输出评估值作为第一聚焦评估的评估结果，该评估值越高，图像是聚焦的概率越高，并且
[0135]
选择装置将具有最高评估值的图像以及在该图像的前面和后面捕获的图像设置为聚焦帧候选。
[0136]
(补充注释3)根据补充注释1或2的图像处理设备，其中
[0137]
细化装置执行从包括时间上连续捕获的图像的图像群组中间歇地选择图像的选择处理作为细化处理。
[0138]
(补充注释4)根据补充注释1至3中的任一项的图像处理设备，其中
[0139]
细化装置对时间上连续捕获的图像中的每一个执行细化像素的处理作为细化处理。
[0140]
(补充注释5)根据补充注释1至4中的任一项的图像处理设备，其中
[0141]
当第一图像被存储在图像存储装置中时，细化装置立即开始细化处理。
[0142]
(补充注释6)一种图像处理方法，包括：
[0143]
顺序地将时间上连续捕获的多个图像存储在图像存储装置中，
[0144]
对时间上连续捕获的图像执行细化处理，
[0145]
在执行了细化处理之后对图像执行第一聚焦评估，
[0146]
基于第一聚焦评估的评估结果来从时间上连续捕获的图像中选择多个聚焦帧候选，
[0147]
读取从图像存储装置中选择的聚焦帧候选的图像并对读取的图像执行第二聚焦
评估，以及
[0148]
基于第二聚焦评估的评估结果来从聚焦帧候选的图像中选择用于认证处理的匹配图像。
[0149]
(补充注释7)根据补充注释6的图像处理方法，其中
[0150]
输出评估值作为第一聚焦评估的评估结果，该评估值越高，图像是聚焦的概率越高，并且
[0151]
将具有最高评估值的图像和在该图像的前面和后面捕获的图像设置为聚焦帧候选。
[0152]
(补充注释8)根据补充注释6或7的图像处理方法，其中
[0153]
当执行细化处理时，执行从包括时间上连续捕获的图像的图像群组中间歇地选择图像。
[0154]
(补充注释9)根据补充注释6至8中的任一项的图像处理方法，其中
[0155]
当执行细化处理时，为时间上连续捕获的图像中的每一个执行细化像素。
[0156]
(补充注释10)根据补充注释6至9中的任一项的图像处理方法，进一步包括当第一图像被存储在图像存储装置中时，立即开始细化处理。
[0157]
(补充注释11)一种图像处理程序，其使计算机执行：
[0158]
顺序地将时间上连续捕获的多个图像存储在图像存储装置中的处理，
[0159]
对时间上连续捕获的图像执行细化处理的处理，
[0160]
在执行细化处理之后对图像执行第一聚焦评估的处理，
[0161]
基于第一聚焦评估的评估结果来从时间上连续捕获的图像中选择多个聚焦帧候选的处理，
[0162]
读取从图像存储装置中选择的聚焦帧候选的图像并对读取的图像执行第二聚焦评估的处理，以及
[0163]
基于第二聚焦评估的评估结果来从聚焦帧候选的图像中选择用于认证处理的匹配图像的处理。
[0164]
(补充注释12)根据补充注释11的图像处理程序，使计算机执行
[0165]
输出评估值作为第一聚焦评估的评估结果的处理，该评估值越高，图像是聚焦的概率越高，以及
[0166]
将具有最高评估值的图像和在该图像的前面和后面捕获的图像设置为聚焦帧候选的处理。
[0167]
(补充注释13)根据补充注释11或12所述的图像处理程序，使计算机执行从包括时间上连续捕获的图像的图像组中间歇地选择图像的选择处理作为细化处理。
[0168]
(补充注释14)根据补充注释11至13中的任一项的图像处理程序，使计算机对时间上连续捕获的图像中的每一个实行细化像素的处理作为细化处理。
[0169]
(补充注释15)根据补充注释11至14中的任一项的图像处理程序，当第一图像被存储在图像存储装置中时，使计算机立即开始细化处理。
[0170]
虽然已经参考示例实施例描述了本发明，但是本发明不限于前面提及的示例实施例。在本发明的范围内，能够对本发明的结构和细节做出本领域技术人员可理解的各种改变。
[0171]
本技术要求基于2019年3月25日提交的日本专利申请no.2019
‑
055809的优先权，该日本专利申请的公开内容以全文引用的方式并入本文中。
[0172]
附图标记列表
[0173]
10 图像处理设备
[0174]
11 图像存储装置
[0175]
12 细化装置
[0176]
13 第一图像评估装置
[0177]
14 选择装置
[0178]
15 第二图像评估装置
[0179]
16 匹配图像确定装置
[0180]
101 图像获取单元
[0181]
102 图像记录单元
[0182]
103 粗略图像评估单元
[0183]
104 聚焦帧候选估计单元
[0184]
105 图像评估单元
[0185]
106 聚焦帧确定单元
[0186]
107 特征提取和匹配单元
[0187]
200 虹膜成像相机
[0188]
201、202、203 相机
[0189]
300 整体监视相机
[0190]
400 认证后的人
[0191]
1000 cpu
[0192]
1001 存储设备
[0193]
1002 存储器