反欺骗系统的制作方法

发明领域本发明涉及被配置为检测欺骗(spoofing)企图的驾驶员监视系统dms。

背景技术：

0、发明背景

1、随着技术提高了基于各种生物特征(biometrics)准确确定身份的能力，生物特征作为认证因素变得越来越受欢迎。使用生物特征进行识别的准确性意味着它可以确保认证和不可否认性，而生物特征与人有着内在联系的事实确保了可用性，而没有强加的负担，例如记住密码或携带物理令牌(例如钥匙)。然而，随着新的认证因素而来的是新的潜在攻击媒介(attack vector)，需要考虑这些潜在攻击媒介以确保安全性。一种攻击媒介可能是欺骗，即呈现模仿被授权用户的生物特征数据的伪造生物特征数据。例如，如果视觉面部特征被用作认证因素，那么人们可以通过呈现被授权人的照片或者通过佩戴看起来像他们的面具来欺骗面部特征。因此，为了使生物特征认证因素安全，需要开发用于处理这些攻击的稳健方法。

2、先前已经提出了用于检测对生物特征认证系统(包括面部识别)的欺骗攻击的不同方法，其中一些方法基于根据nir光谱中的影像的欺骗检测。在2019年9月23日的电路、系统、通信和计算机国际会议上a.ghoneim s.mohamed和a.youssif的文章“visible/infrared face spoofing detection using texture descriptors”中，已经公开了使用nir影像和可见光影像进行反欺骗(anti-spoofing)的多光谱解决方案。此外，该文章公开了不同的方法，包括在视觉数据和nir数据上单独地或结合地利用卷积神经网络(cnn)。

技术实现思路

0、发明概述

1、然而，有必要的是，在日常情形中(例如在车辆内)，反欺骗系统是容易获得的，并且可以无缝运行，其中基于视觉的用户认证(例如面部识别)是完全有益的。此外，期望可以以最小的成本将这些反欺骗系统集成到已经存在的硬件中。

2、因此，本发明的一个目的是提供一种与车辆内已经存在的硬件兼容的可行的反欺骗系统，以实现更可靠的视觉识别。

3、根据本发明的第一方面，该目的和其他目的通过配置为检测欺骗企图的驾驶员监视系统dms来实现，该系统包括：图像传感器模块，其用于捕获目标的一部分的图像帧序列；光源，其可操作来发射ir脉冲，ir脉冲具有脉冲宽度，并且在时间上隔开间隔持续时间；控制器，其被配置为控制光源和图像传感器，以便在不同的光照条件下捕获序列中的每个连续图像，不同的光照条件对应于光源的ir脉冲；处理器，以及在该处理器中实现的处理器可操作软件。该软件包括：运动分析器，其可操作来分析所述图像序列中的运动，并输出基于运动的结果；第一神经网络，其被训练为从通过堆叠来自图像序列的至少两个连续图像的集合而创建的至少两个通道图像中提取至少一种类型的信息，并输出空间结果；融合程序，其可操作来合并基于运动的结果和空间结果，并输出最终结果，最终结果指示目标是有生命的(live)还是假的(fake)。

4、第一神经网络被训练来执行3d形状分析以提取至少一种类型的信息，使得所述空间结果区分2d形状和3d形状。换句话说，第一神经网络可以利用由至少两个连续图像的集合的不同光照条件提供的3d信息，并且可以提取纹理和形状信息的组合。

5、图像传感器模块和光源可以是dms系统的集成部件。可以从目标的至少一部分(比如说驾驶员的眼睛区域或驾驶员的整个面部)拍摄图像。

6、根据实施例，融合程序是分类器，该分类器根据基于运动的结果和/或空间结果输出最终结果。最终结果应该被理解为由dms获取的图像是与实际有生命的人相关(有生命的)还是不与实际有生命的人相关(假的)的指示。

7、融合程序可以是类型分类器，例如但不限于基于规则的分类器，或者可替代地是神经网络分类器，该神经网络分类器可以针对预先注册的数据进行训练。分类器可以基于运动分析器和第一神经网络中的任一者或两者的输出来确定结果。例如，基本的基于规则的分类器可以简单地转发基于运动的结果和空间结果中的两者或任一者作为最终结果。可替代地，如果基于运动的结果和空间结果都确定目标是“假的”，则融合程序可以输出“假的”的最终结果，否则，如果基于运动的结果和/或空间结果确定目标是有生命的，则融合程序可以输出“有生命的”的最终结果。

8、因此，融合程序确保了两种类型反欺骗系统的优势；即通过运动分析器和第一神经网络被汇集在一起并且在一个紧凑的、低成本的系统中加以利用。

9、运动分析器可以是跟踪器(例如眼睛跟踪器)，使得输出的基于运动的结果可以依赖于可能在序列的图像帧之前已经被分析的先前图像帧的结果。

10、在不同光照条件下获取图像序列背后的原因是，3d表面可以基于在不同光照条件下捕获的多个2d图像来至少部分地重建，这通常可以被称为光度立体法(photometricstereo)。这是由于从表面反射的光的量可以随着表面、光源和相机之间的角度关系而变化。

11、根据本发明的第二方面，一种使用驾驶员监视系统dms检测欺骗企图的方法，包括以下步骤：

12、a)发射ir脉冲，该脉冲具有脉冲宽度，并且在时间上隔开持续时间，

13、b)获取目标的至少一部分的图像帧序列，使得该序列的每个连续图像在不同的光照条件下被获取，不同的光照条件对应于ir脉冲；

14、c)分析图像帧序列中的运动，并输出基于运动的结果；以及

15、d)从图像帧序列中选择至少两个图像的至少一个集合，使得这两个图像是被连续拍摄的，

16、e)确定至少两个图像的集合中的感兴趣的区域，

17、f)通过(以深度(depth-wise)方式)附加(append)(或堆叠)所述至少两个图像来创建至少两通道图像，

18、g)将所述至少两通道图像馈送到第一神经网络，

19、h)提取至少一种类型的信息，

20、i)基于所提取的信息输出空间结果，

21、j)合并所述基于运动的结果和空间结果，以获得确定目标是有生命的还是假的的最终结果。

22、随着驾驶员监视系统(dms)正成为出于交通安全目的(通过例如眼睛跟踪)监视驾驶员警觉性的标准部件，它们提供了与诸如眼睛和嘴巴的面部特征的移动相关的大量信息。发明人已经意识到，通过使用车辆中的dms的现有硬件，人们可以将来自dms的已经提供的信息与用于处理欺骗欺诈的现有方法(例如使用神经网络)相结合，以在车辆中获得对错误率的影响低、集成成本低和执行速度高的反欺骗系统。

23、可以根据基于运动的结果执行步骤e，从基于运动的结果中可以提取特征位置(包括感兴趣的区域的位置)。步骤e可以被称为帧准备，其中连续的图像帧可以例如被裁剪、被旋转、被平移等，以包括预先确定的大小的感兴趣区域。

24、根据在步骤d中为该集合选择的多个图像，在步骤f中，每个附加的图像将添加额外的通道。

25、图像帧可以由nir图像传感器模块获取，而ir脉冲可以由至少一个光源发射。步骤c到k以及下面提到的可替代的和/或附加步骤都可以由包括处理器实现的软件的处理器来执行。

26、图像传感器模块可以被称为相机组件，或简称为相机。因此请注意，在本技术的上下文中，术语图像传感器模块和相机可互换使用，并且除非另有说明，否则术语图像传感器模块和相机意图指的是相同的部件。

27、在实施例中，光源被配置为连续发射ir光。换句话说，间隔持续时间被布置为零。根据该实施例，由于仅存在一个光照条件，所以第一神经网络可能仅具有提取纹理信息的可能性，而不具有提取3d信息的可能性。

28、可替代地，ir光源可以包括至少两个ir光源，该至少两个ir光源与相机隔开一定距离，该相机又位于距目标一定距离处。在实施例中，两个光源在空间上隔开第一距离，并且被布置为交替地发射ir光。可能的是，光源可以位于彼此相距最远的距离处，例如在相机的两侧。可替代地，一个光源可以位于相机的前面；更靠近目标，而另一个光源位于相机的一侧。空间间隔可以允许获得不同的光照条件，图像将在这些不同的光照条件中被获取。

29、在多于一个光源的情况下，可能的是，来自每个光源的ir脉冲的脉冲宽度相等。可替代地，可能的是，来自每个光源的ir脉冲的脉冲宽度不相等。

30、图像序列可以在专门对应于ir脉冲的脉冲宽度的不同光照条件下被拍摄。ir脉冲的脉冲宽度可以是最适合于具有多于一个光源的实施例的配置。附加地或可替代地，不同光照条件中的一个光照条件对应于ir脉冲之间的未照射条件。换句话说，一些图像可以在脉冲之间的时间间隔期间被获取，使得特定的光照条件是未受光源照射。在这种情况下，环境光照可以提供不同光照条件中的一个。

31、来自图像序列的连续图像优选地在它们之间具有短的时间距离，以便减少它们之间不想要的显著目标移动，使得网络可以专注于区分有生命的目标和假目标。话虽如此，但如果目标和/或相机和/或诸如眼睑的特征已经在连续帧之间移动，则网络可以被训练来(例如通过图像的几何对齐)处理帧之间的任何现有运动。

32、附加地或者可替代地，在实施例中，眼睛跟踪程序被配置为检测和比较所述图像序列中目标的视网膜的反射，并将结果馈送到融合程序。在该实施例中，可以创建和比较其中目标的瞳孔的外观可能有所不同的光照条件。当视网膜被来自近距离的光脉冲照射时，可能会发生可以被称为“红眼效应”的效应。在该实施例中，运动分析器可能不会必然地或明确地检测面部运动本身，但可以在不同光照条件下检测离开视网膜的反射的存在或不存在，例如，运动分析器可以检测瞳孔是暗的还是亮的。该实施例可能非常有益于以快速和有效的方式检测诸如目标的2d打印品或重复出现的视频循环的欺骗。附加地或可替代地，关于瞳孔是亮的还是暗的信息可以作为输入被馈送到第一神经网络。可以在文中进一步找到关于来自运动分析器的信息可以作为输入被馈送到第一神经网络的替代实施例的更多信息。

33、神经网络被成功地用于图像分析中的分类问题。在实施例中，第一神经网络被训练来执行纹理信息分析以提取至少一种类型的信息，使得空间结果是对目标是有生命的、或目标在纹理上是假的或目标是欺骗的分类，例如2d照片的一部分、假对象或重放的视频循环。假对象可以是面具、假人头(例如娃娃头)或人体模型。

34、为了提取和分析纹理信息，可以训练神经网络来识别纹理信息(例如颜色、线条、轮廓等)，并区分有生命的目标和假目标的纹理和/或形状。

35、第一神经网络可以被训练来在中等程度(intermediate level)上区分“有生命的”或“假的”。为此目的，至少两个连续图像的集合可以组合在一起并被馈送到第一神经网络。第一神经网络可以从馈送的堆叠的图像中提取纹理信息。

36、在实施例中，基于运动的结果和空间结果都作为直接输入被馈送到融合程序，以通过直接合并所述基于运动的结果和空间结果来输出最终结果。

37、可替代地，在实施例中，第一神经网络另外用作融合程序，使得所述空间结果是所述最终结果，和/或其中基于运动的结果(即来自运动分析器的所检测到和分析的运动信息)作为输入被馈送到第一神经网络。在该实施例中，第一神经网络另外被训练来对来自运动数据分析的信息进行操作，以提取关于目标是有生命的还是假的的信息。在该实施例中，空间结果和最终结果可以相同，并且与来自欺骗检测系统的最终输出的结果相同。在该实施例中，可能的是，至少基于运动的结果的子集被用于确定至少两个图像的集合中的感兴趣的区域，例如裁剪至少两个图像的集合的图像帧并提取目标的面部区域。

38、在又一可替代的实施例中，运动分析器另外用作融合程序，使得从第一神经网络输出的所述空间结果作为输入被馈送到运动分析器中。在该可替代的实施例中，运动分析器另外被训练来对来自第一神经网络的信息进行操作，以提取关于目标是有生命的还是假的的信息。在该实施例中，基于运动的结果和最终结果可以相同，并且与来自欺骗检测系统的最终输出的结果相同。

39、在dms系统中，当然可以由所述nir图像传感器模块连续地捕获目标的至少一部分的多于一个图像帧序列。这可以很好地符合dms系统的视频获取功能。在这种情况下，可能的是，运动分析器可操作来分析所述多个图像序列中的每个序列中的运动，并输出多于一个基于运动的结果，每个基于运动的结果对应于每个被分析的图像序列。附加地或可替代地，第一神经网络可以可操作来从来自所述多于一个图像序列中的每个序列的至少两个连续图像的集合中提取至少一种类型的信息，并输出多于一个空间结果，每个空间结果对应于每个图像序列。

40、借此，系统可以受益于由于更大量的欺骗分析而导致的更可靠的欺骗检测。可能的是，在整个使用(例如驾驶)期间以给定的频率执行所述更大量的欺骗分析。

41、附加地或者可替代地，在实施例中，处理器实现的软件还包括第二神经网络，该第二神经网络被训练来执行场景动态分析以从多个图像序列中提取第二种类型的信息，并输出迭代结果，该迭代结果是第二基于运动的结果，并且其中由第二神经网络输出的迭代结果被馈送到融合程序中。

42、在获取多个图像帧序列的情况下，可以通过在延长的时间段内分析目标来提取对欺骗检测有用的其他信息。为此，每个图像序列的图像帧可以被一起附加到一个堆叠中，使得多个堆叠中的每个堆叠对应于一个图像序列。这可以将又一层分析添加到欺骗检测中，其中可以检测不一致性或重复，以及输出迭代结果并馈送到融合程序。

43、这同样可以有利于检测欺骗企图，因为额外的欺骗检测层将降低计算的错误率，使欺骗检测更加可靠。

44、例如，递归神经网络架构(recurrent neural network，rnn)可以被用作第二神经网络，多个堆叠可以被馈送到该第二神经网络。在实施例中，第二神经网络被训练来分析场景动态以提取第二种类型的信息。场景动态可以例如指目标的周围环境，其继而可以指车辆的舱内环境和/或例如通过车窗可见的外部环境。这可能有利于检测其中场景从不改变的欺骗企图，例如呈现给相机的目标的2d打印品。附加地或者可替代地，并且更重要的是，它可能在检测重放的视频循环方面非常有用，在重放的视频循环中，场景变化在一段时间内反复出现，仅一个欺骗检测层(即运动分析)连同第一神经网络分析(基于运动的结果和空间结果)一起可能无法检测到它。

45、可能的是，第二神经网络可独立于运动分析器和/或第一神经网络而操作。

46、实施例包括计算所述基于运动的结果、所述空间结果、所述迭代结果和/或所述最终结果中的至少一个的置信水平的另外的步骤。这可能有利于考虑系统、测量结果和/或分析中的可能错误。