面部检测方法和设备与流程

面部检测方法和设备
1.本申请要求于2019年11月13日提交到美国专利商标局的第62/934,594号美国临时申请的权益，并且要求于2020年3月5日提交到韩国知识产权局的第10-2020-0027948号韩国专利申请的权益，所述全部申请的全部公开出于所有目的通过引用包含于此。
技术领域
2.以下描述涉及使用自适应阈值进行面部检测的方法和设备。


背景技术：

3.面部检测可使用各种技术来实现。例如，如果图像通过相机输入，则可对输入图像执行诸如调整尺寸的预处理，并且可将预处理后的输入图像输入到卷积神经网络(cnn)中。可基于cnn的输出特征图确定候选面部框以及各个候选面部框的置信度得分，并且将候选面部框中的具有超过阈值的置信度得分的候选面部框确定为面部框。面部检测可用于各种领域(诸如，相机控制和面部识别)中。


技术实现要素：

4.提供本发明内容以便以简化的形式介绍将在下面的具体实施方式中进一步描述的构思的选择。本发明内容不意图确定要求权利的主题的关键特征或必要特征，也不意图用于帮助确定要求权利的主题的范围。
5.在一个总体方面，提供一种面部检测方法，所述面部检测方法包括：确定输入图像中的检测框；计算指示检测框中的对象是否对应于面部的置信度得分；基于检测框的尺寸设置自适应阈值；以及基于将置信度得分与自适应阈值进行比较来确定检测框中的对象是否对应于面部。
6.设置的步骤可包括：基于将检测框的尺寸的值输入到阈值设置引擎中来设置自适应阈值。
7.可基于根据样本检测框的尺寸的分别指示样本置信度得分的样本值的分布来确定阈值设置引擎。
8.每个样本值可对应于真阳性样本或假阳性样本，并且阈值设置引擎可被配置为：使用用于区分所述分布中的真阳性样本和假阳性样本的函数来设置自适应阈值。
9.在检测框的尺寸范围内，自适应阈值可响应于检测框的尺寸减小而减小。
10.设置的步骤可包括：基于检测框的尺寸和输入图像的质量设置自适应阈值。
11.面部检测方法可包括计算输入图像的质量。
12.设置的步骤可包括：通过将检测框的尺寸的值和输入图像的质量的值输入到阈值设置引擎中来设置自适应阈值。
13.可将所述质量的值作为权重输入到阈值设置引擎中。
14.权重可被配置为：将低质量图像的自适应阈值设置为低于高质量图像的自适应阈值。
15.计算输入图像的质量的步骤可包括：生成输入图像的下采样图像；通过对下采样图像执行插值来生成与输入图像的尺寸对应的参考图像；以及基于输入图像与参考图像之间的差异来计算输入图像的质量。
16.可基于输入图像的分辨率、输入图像的模糊水平和输入图像的噪声水平中的任意一个或任意组合来确定输入图像的质量。
17.面部检测方法可包括：基于将置信度得分与最大阈值或最小阈值中的至少一个进行比较来确定检测框中的对象是否对应于面部。
18.面部检测方法可还包括：响应于确定输入图像中可能存在面部框，执行相机控制和面部识别中的任意一个或任意组合。
19.在另一总体方面，提供一种面部检测设备，所述面部检测设备包括：处理器，被配置为：确定输入图像中的检测框，计算指示检测框中的对象是否对应于面部的置信度得分，基于检测框的尺寸设置自适应阈值，以及基于将置信度得分与自适应阈值进行比较来确定检测框中的对象是否对应于面部。
20.处理器可被配置为：基于将检测框的尺寸的值输入到阈值设置引擎中来设置自适应阈值。
21.阈值设置引擎可基于根据样本检测框的尺寸的分别指示样本置信度得分的样本值的分布来确定。
22.在检测框的尺寸范围内，自适应阈值可响应于检测框的尺寸减小而减小。
23.处理器可被配置为：附加地基于输入图像的质量来设置自适应阈值。
24.处理器可被配置为：通过将检测框的尺寸的值和输入图像的质量的值输入到阈值设置引擎中来设置自适应阈值，并且所述质量的值可作为权重被输入到阈值设置引擎中。
25.处理器可被配置为：通过将置信度得分与最大阈值或最小阈值中的至少一个进行比较，生成指示检测框中的对象是否对应于面部的早期检测结果。
26.处理器可被配置为：响应于检测框的尺寸增大，使用补偿值来增大低质量图像的置信度得分或降低高质量图像的置信度得分。
27.处理器可被配置为：响应于检测框的尺寸增大，使用补偿值来增大低质量图像的置信度得分或降低高质量图像的置信度得分。
28.补偿值可基于检测框的尺寸和输入图像的质量中的任意一个或任意组合。
29.面部检测设备可包括：存储器，被配置为存储能够由处理器执行的指令。
30.在另一总体方面，提供一种面部检测设备，所述面部检测设备包括：传感器，被配置为接收图像；以及处理器，被配置为：确定图像中的检测框，计算指示检测框中的对象是否对应于面部的置信度得分，响应于置信度得分大于最大阈值，确定检测框中的对象对应于面部，基于检测框的尺寸设置自适应阈值，响应于置信度得分小于最大阈值，基于置信度得分与自适应阈值的比较来确定检测框中的对象是否对应于面部。
31.面部检测设备还可包括：响应于置信度得分小于最小阈值，丢弃检测框。
32.从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。
附图说明
33.图1示出面部检测设备的操作的示例。
34.图2示出根据固定阈值的错误检测的概率的示例。
35.图3按尺寸示出包括面部或非面部的检测框的示例。
36.图4示出在高质量输入图像和低质量输入图像中检测到的各种尺寸的检测框的示例。
37.图5示出面部检测方法的示例。
38.图6示出阈值设置引擎的操作的示例。
39.图7示出设计阈值设置引擎的处理的示例。
40.图8示出设计阈值设置引擎的处理的示例。
41.图9示出质量计算处理的示例。
42.图10示出面部检测方法的示例。
43.图11示出面部检测设备的示例。
44.图12示出电子装置的示例。
45.图13示出电子装置的示例。
46.贯穿附图和具体实施方式，除非另有描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对大小、比例和描绘可被夸大。
具体实施方式
47.提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解了本申请的公开之后，在此描述的方法、设备和/或系统的各种变化、修改和等同物将是清楚的。例如，在此描述的操作顺序仅仅是示例，并不限于在此阐述的操作顺序，而是除了必须以特定顺序发生的操作之外，操作顺序可如在理解本申请的公开之后清楚地那样改变。此外，为了更加清楚和简明，可省略本领域中已知的特征的描述。
48.在此描述的特征可以以不同的形式被实现，并且不应被解释为限于在此描述的示例。相反，已提供在此描述的示例仅示出实现在理解本申请的公开之后将是清楚的在此描述的方法、设备和/或系统的许多可能的方式中的一些方式。
49.尽管术语“第一”、“第二”、a、b、(a)、(b)等用于解释各种组件，但是组件不受到术语限制。这些术语应当仅用于将一个组件与另一个组件区分开。例如，在不脱离示例的教导的情况下，第一组件可被称为第二组件，并且类似地，第二组件也可被称为第一组件。
50.在整个说明书中，当组件被描述为“连接到”另一组件或“结合到”另一组件时，该组件可直接“连接到”另一组件或直接“结合到”另一组件，或者可存在介于两者之间的一个或更多个其他组件。相比之下，当元件被描述为“直接连接到”另一元件或“直接结合到”另一元件时，可能不存在介于两者之间的其他元件。同样地，相似的表达，例如，“在......之间”与“紧接在......之间”、“与......邻近”与“紧邻”也应以相同的方式解释。如在此使用的，术语“和/或”包括相关所列项中的任意一个和任意两个或更多个的任意组合。
51.如在此使用的，除非上下文另外清楚地指示，否则单数形式也意图包括复数形式。还将理解，术语“包含”和/或“包括”当在此被使用时，说明存在陈述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。
52.在下文中，将参照附图详细描述示例。在附图中相同的附图参考标号表示相同的元件。
53.图1示出面部检测设备的操作的示例。参照图1，面部检测设备100接收输入图像110。面部检测设备100可检测包括被估计为输入图像110中的面部的对象112的检测框111，并且确定检测框111中的对象112是否对应于面部。如果检测框111中的对象112对应于面部，则面部检测设备100可将检测框111确定为面部框。如果检测框111中的对象112不对应于面部，则可丢弃检测框111。
54.如果确定了面部框，则面部检测设备100输出与面部框对应的检测结果120。检测结果120可包括面部框信息，并且面部框可通过面部框信息在输入图像110中被指定。例如，面部框信息可包括面部框的参考坐标值(例如，面部框的一个顶点的坐标值)和面部框的尺寸值(例如，面部框的对角长度)。面部框信息不限于此，并且面部框可以以各种方式来指定。检测结果120可用于控制生成输入图像110的相机。例如，相机控制可包括被称为3a的自动对焦、自动曝光和自动白平衡。
55.面部检测设备100可通过将置信度得分113与自适应阈值(adaptive threshold)116进行比较来生成检测结果120。当使用固定阈值时，可能难以抑制错误检测，这将在下面进行描述。错误检测可包括将面部不正确地检测为非面部(在下文中，被称为假阴性)、以及将非面部不正确地检测为面部(在下文中，被称为假阳性)。可根据框尺寸和/或图像质量来调整自适应阈值116，并且可通过自适应阈值116极大地抑制错误检测。
56.在一个示例中，面部检测设备100可计算检测框111的置信度得分113，将置信度得分113与自适应阈值116进行比较，并且基于比较的结果生成检测结果120。置信度得分113可指示检测框111中的对象112是否对应于面部。例如，置信度得分113可指示对象112对应于面部的概率。基于神经网络的面部检测器可用于检测框111的检测和置信度得分113的计算。在一个示例中，可使用卷积神经网络(cnn)。
57.面部检测设备100可基于检测框111的尺寸114来设置自适应阈值116。置信度得分113可随着尺寸114减小而减小，这将在下面进行描述。基于这样的特性，面部检测设备100可设置适合于尺寸114的自适应阈值116。例如，当尺寸114在尺寸范围内小时，面部检测设备100可将自适应阈值116设置为小。例如，尺寸114在尺寸范围内越小，自适应阈值116越小。
58.在另一示例中，面部检测设备100可基于检测框111的尺寸114和质量115来设置自适应阈值116。例如，可基于分辨率、模糊水平和噪声水平中的任意一个或任意组合来确定质量115。质量115可与输入图像110相关联或与检测框111相关联。在下文中，质量115将被代表性地描述为与输入图像110相关联。此外，置信度得分113可随着质量115降低而降低，这将在下面进行描述。基于这样的特性，面部检测设备100可设置适合于质量115的自适应阈值116。
59.质量115可以以各种方式在自适应阈值116中被反映。在一个示例中，可通过预先设计的阈值设置引擎来设置自适应阈值116。可基于根据样本的框尺寸的样本得分的分布来设计阈值设置引擎。样本可包括面部样本和非面部样本。
60.例如，样本质量可在得分中被反映为补偿值，并且影响用于设计阈值设置引擎的根据框尺寸的得分的分布。在这个示例中，当使用预先设计的阈值设置引擎得出检测结果
120时，质量115不会被单独地输入到阈值设置引擎中。
61.在另一示例中，每个样本的样本质量可不反映在分布中，而与样本质量对应的权重可作为变量被应用于阈值设置引擎。在这个示例中，当使用预先设计的阈值设置引擎得出检测结果120时，质量115可作为权重被输入到阈值设置引擎中。例如，随着质量115降低，可将更大的权重应用于阈值设置引擎。
62.图2示出根据固定阈值的错误检测的概率的示例。参照图2，曲线图210示出非面部样本的置信度得分的分布，曲线图220示出面部样本的置信度得分的分布。在这个示例中，可基于通过曲线图210和曲线图220表示的置信度得分的分布来设置阈值231。阈值231可被设置为固定值。例如，阈值231可被设置为与曲线图210和曲线图220重叠处的置信度得分对应的固定值。在这个示例中，属于区域211的面部样本可具有低于阈值231的置信度得分，从而可被不正确地检测为非面部。属于区域221的非面部样本可具有高于阈值231的置信度得分，从而可被不正确地检测为面部。如果基于框尺寸或质量将阈值231特别地调整为适合于情况，则这样的错误检测的可能性可大大降低。
63.图3按尺寸示出包括面部或非面部的检测框的示例。参照图3，检测框311、312和313对应于面部，检测框321、322和323对应于非面部。例如，与特定框尺寸对应的置信度得分可被定义为尺寸-得分对，其可被表示为(框尺寸，置信度得分)。例如，通过实验，可得出检测框311、312和313的尺寸-得分对为(238，0.987)、(175，0.98)和(112，0.951)，并且可得出检测框321、322和323的尺寸-得分对为(250，0.772)、(205，0.743)和(167，0.669)。
64.在所有的与面部对应的检测框311、312和313以及与非面部对应的检测框321、322和323中，示出置信度得分随着框尺寸增大而增大。因此，通常，自适应阈值可被设置为随着框尺寸增大而增大。此外，在将尺寸相似的面部框和非面部框进行比较时，面部框比非面部框具有更大的置信度得分。例如，检测框311的置信度得分大于检测框321的置信度得分。从检测框312与检测框322之间的比较以及检测框313与检测框323之间的比较可得出类似的结果。因此，将自适应阈值设置为随着框尺寸增大而增大可有效地抑制错误检测。
65.图4示出在高质量输入图像和低质量输入图像中检测到的各种尺寸的检测框的示例。参照图4，在高质量输入图像410中检测到检测框411、412和413，在低质量输入图像420中检测到检测框421、422和423。可以以各种方式计算图像的质量，并且可将低分辨率图像、模糊的图像和有噪声的图像归类为低质量图像。例如，通过实验，可得出检测框411、412和413的置信度得分为0.897、0.871和0.835，并且可得出检测框421、422和423的置信度得分为0.764、0.827和0.799。
66.在按尺寸将对应于高质量图像的检测框411、412和413的置信度得分与对应于低质量图像的检测框421、422、423的置信度得分进行比较时，在尺寸相似的框之间，对应于高质量图像的框具有更大的置信度得分。因此，可提供适当的补偿以增大低质量图像的置信度得分或降低高质量图像的置信度得分。如果使用权重，则权重可被设计为使得低质量图像的自适应阈值可被设置为相对低，或者高质量图像的自适应阈值可被设置为相对高。
67.此外，随着框尺寸增大，高质量图像的置信度得分与低质量图像的置信度得分之间的差异可大大增加。因此，可使用随着框尺寸增大而进一步增大低质量图像的置信度得分或进一步降低高质量图像的置信度得分的补偿值。如果使用权重，则权重可被设计为使得低质量图像的自适应阈值可被进一步设置为更低，或者高质量图像的自适应阈值可被进
一步设置为更高。
68.图5示出面部检测方法的示例。图5中的操作可以以如所示出的顺序和方式来执行，尽管在不脱离描述的示例性示例的精神和范围的情况下，一些操作的顺序可被改变或者操作中的一些可被省略。图5中示出的操作中的许多操作可并行或同时执行。图5的一个或多个框以及这些框的组合可由执行特定功能的基于专用硬件的计算机(诸如，处理器)来实现，或者可以由专用硬件和计算机指令的组合来实现。除了以下图5的描述之外，图1至图4的描述也适用于图5，并且通过引用包含于此。因此，这里可不重复上面的描述。
69.参照图5，在操作510中，面部检测设备接收输入图像。例如，输入图像可包括多个帧，这里，输入图像的第一帧被接收。如下所述，在处理了第一帧之后，可顺序地处理第二帧和第三帧。
70.在操作520中，面部检测设备确定输入图像中的检测框。检测框可包括被估计为面部的对象。在操作530中，面部检测设备计算检测框的置信度得分。置信度得分可指示检测框中的对象是否对应于面部。例如，置信度得分可指示对象对应于面部的概率。
71.在一个示例中，面部检测设备可使用基于训练的神经网络的面部检测器来确定检测框并计算置信度得分。例如，面部检测器可包括cnn。面部检测设备可将预处理(诸如，调整尺寸)应用于输入图像，并且将预处理过的输入图像输入到面部检测器中。因此，面部检测器可输出检测框和检测框的置信度得分。
72.在操作540中，面部检测设备针对检测框设置自适应阈值。例如，在检测框的尺寸范围内，可将自适应阈值设置为随着检测框的尺寸减小而减小。尺寸范围可表示从对应于最小阈值的尺寸到对应于最大阈值的尺寸的范围。面部检测设备可基于检测框的尺寸设置自适应阈值，或者可基于检测框的尺寸和输入图像的质量设置自适应阈值。因此，可基于框尺寸和/或图像质量将不同的阈值应用于每个检测框。可同时执行操作530和操作540，或者可首先执行操作530和操作540中的一个。
73.面部检测设备可使用阈值设置引擎来设置自适应阈值。可基于根据检测框的尺寸的分别指示置信度得分的多个样本值的分布来确定阈值设置引擎。面部检测设备可将检测框的尺寸的值作为输入数据输入到阈值设置引擎中，和/或将输入图像的质量的值作为输入数据输入到阈值设置引擎中。
74.例如，输入图像的质量的值可用作用于设置阈值的一种权重。例如，权重可被设计为使得针对低质量图像的自适应阈值可被设置为相对低，或者针对高质量图像的自适应阈值可被设置为相对高。权重还可被设计为使得针对低质量图像的自适应阈值可被设置为相对低，并且针对高质量图像的自适应阈值可被设置为相对高。稍后将详细描述阈值设置引擎。
75.在操作550中，面部检测设备可将置信度得分与自适应阈值进行比较，以确定检测框中的对象是否对应于面部。如果置信度得分小于自适应阈值，则可执行操作560。在操作560中，面部检测设备可丢弃检测框。如果置信度得分大于自适应阈值，则可执行操作570。在操作570中，面部检测设备可将检测框确定为面部框。
76.响应于通过操作570确定在输入图像中存在面部框，可执行与面部框相关联的各种后处理。例如，后处理可包括相机控制和面部识别。例如，可基于面部框执行被称为3a的自动对焦、自动曝光和自动白平衡。在执行了操作560和570之后，可对后续帧(例如，第二
帧)执行操作510。
77.图6示出阈值设置引擎的操作的示例。阈值设置引擎610可被设计为设置适合于输入数据的自适应阈值613。输入数据可包括框的尺寸611、或者可包括框的尺寸611和图像的质量612。例如，阈值设置引擎610可响应于尺寸611被输入而确定适合于尺寸611的自适应阈值613。在另一示例中，阈值设置引擎610可响应于尺寸611和质量612被输入而确定适合于尺寸611和质量612的自适应阈值613。
78.可基于根据样本检测框的尺寸的分别指示样本置信度得分的多个样本值的分布来预先设计阈值设置引擎610。阈值设置引擎610可被设计为包括用于区分样本值的分布中的面部样本和非面部样本的函数(例如，线性函数或指数函数)。在另一示例中，可以以计算多个区间的阈值并且执行阈值之间的插值的方式来设计阈值设置引擎610。在下文中，将进一步详细描述设计阈值设置引擎610的处理。
79.图7示出设计阈值设置引擎的处理的示例。参照图7，示出与多个样本值对应的点。样本值可对应于真阳性样本或假阳性样本。如果包括面部的样本的检测框被确定为面部框，则该样本对应真阳性样本。当不包括面部(也就是说，包括非面部)的样本的检测框被确定为面部框时，该样本对应于假阳性样本。每个样本值可包括尺寸值和置信度得分。因此，图7中的点可指示根据样本检测框的尺寸的样本置信度得分的分布。
80.可定义用于区分该分布中的真阳性样本和假阳性样本的函数。例如，函数可包括一阶函数和指数函数。曲线图710和曲线图720分别区分给定区间ab中的真阳性样本和假阳性样本。曲线图710可对应于一阶函数，曲线图720可对应于指数函数。一阶函数可被定义为由等式1表示，指数函数可被定义为由等式2表示。
81.[等式1]
[0082]
y＝ax+b
[0083]
[等式2]
[0084][0085]
在等式1和等式2中，x表示尺寸，y表示置信度得分。可确定a的值和b的值，使得可根据给定的性能指数(例如，错误接受率(far))来区分真阳性样本和假阳性样本。由于真阳性样本具有曲线分布，所以如果需要高性能指数，则指数函数可能是有利的。
[0086]
可针对范围(例如，区间ab)来定义函数。例如，如果点a的坐标是(20，0.65)并且点b的坐标是(200，0.95)，则可针对20至200的尺寸范围来定义函数。尺寸范围可对应于0.65至0.95的置信度得分范围。在这个示例中，在其中定义函数的范围中的最小置信度得分和最大置信度得分可分别指示最大阈值和最小阈值。例如，在图7中，0.65可指示最小阈值，0.95可指示最大阈值。
[0087]
最大阈值和最小阈值可用于生成早期检测结果，稍后将描述这一点。具有小于最小阈值的置信度得分的检测框指示该检测框非常不可能对应于面部，因此可在不考虑自适应阈值的情况下被立即丢弃。此外，具有大于最大阈值的置信度得分的检测框指示检测框非常可能对应于面部，因此可在不考虑自适应阈值的情况下被立即确定为面部框。
[0088]
当设计阈值设置引擎时，可考虑样本的质量。例如，样本的质量可用于针对置信度
得分进行补偿。在这个示例中，可将根据质量的补偿值应用于每个样本的置信度得分。通过应用补偿值，可调整样本的分布。例如，图7示出补偿被反映之前的分布，并且如果补偿被反映，则可调整图7中的分布，使得在调整后的分布中可更清楚地区分真阳性样本和假阳性样本。也就是说，如果应用补偿值，则可更容易地区分真阳性样本和假阳性样本。
[0089]
当设置补偿值时，可考虑质量水平。例如，补偿值可被设置为增大低质量图像的置信度得分或降低高质量图像的置信度得分。由于低质量可导致低置信度得分，因此可通过经由补偿值调整置信度得分来缓解这样的结果。补偿值可被设置为增大低质量图像的置信度得分并且减小高质量图像的置信度得分。
[0090]
此外，当设置补偿值时，可附加地使用框尺寸。这是因为高质量图像的置信度得分与低质量图像的置信度得分之间的差异可随着框尺寸增大而大大地增大。例如，补偿值可被设置为随着框尺寸增大而进一步增大低质量图像的置信度得分或者进一步减小高质量图像的置信度得分。补偿值还可被设计为随着框尺寸的增大而进一步增大低质量图像的置信度得分并且进一步减小高质量图像的置信度得分。
[0091]
可定义补偿函数以设置补偿值。补偿函数可接收质量的值或者接收质量的值和框尺寸的值，并且输出补偿值。可考虑上述原理来设计补偿函数。
[0092]
在另一示例中，样本的质量可用作阈值设置引擎的权重。在这个示例中，等式1和2可被修改为等式3和4。
[0093]
[等式3]
[0094]
y＝w(ax+b)
[0095]
[等式4]
[0096][0097]
在等式3和等式4中，w表示权重。权重可被设置为使得低质量图像的自适应阈值可被设置为相对低，或者高质量图像的自适应阈值可被设置为相对高。由于低质量可导致低的置信度得分，因此可通过经由权重调整阈值来缓解这样的结果。权重还可被设置为使得低质量图像的自适应阈值可被设置为相对低，并且高质量图像的自适应阈值可被设置为相对高。
[0098]
权重可被设置为使得低质量图像的自适应阈值可被设置得更低，或者高质量图像的自适应阈值可被设置为更高。这是因为高质量图像的置信度得分与低质量图像的置信度得分之间的差异可随着框尺寸增大而增大。权重可被设置为使得低质量图像的自适应阈值可被设置为更低，并且高质量图像的自适应阈值可被设置为更高。
[0099]
可定义权重函数以设置权重。权重函数可接收质量的值或者接收质量的值和框尺寸的值，并且输出权重值。可考虑上述原理来设计权重函数。应该理解，本申请中定义的用于区分该分布中的真阳性样本和假阳性样本的函数不限于一阶函数和指数函数，其他的能够区分该分布中的真阳性样本和假阳性样本的函数也是可行的。
[0100]
图8示出设计阈值设置引擎的处理的示例。参照图8，可确定参考尺寸的参考阈值，并且可根据与参考阈值相关的插值来定义函数。曲线图800对应于通过该处理定义的函数。
[0101]
例如，针对参考尺寸10、20、
……
、10n，可根据参考尺寸确定第一阈值、第二阈
值、
……
、第n阈值。每个阈值可基于给定的性能指数(例如，far)来确定。例如，示出参考尺寸的曲线图810、820和830，并且可基于发生错误检测的区域的尺寸来确定相应的阈值。可基于阈值执行插值以定义与曲线图800对应的函数。对质量的以上描述也可应用于图8的示例。例如，可在预先将质量数据反映(例如，补偿)在置信度得分中以后定义函数，或者可在定义函数之后将质量数据作为权重应用于函数。
[0102]
图9示出质量计算处理的示例。参照图9，通过对输入图像910进行下采样来生成下采样图像920，并且通过对下采样图像920执行插值来生成参考图像930。在一个示例中，执行最近邻插值(nearest-neighbor interpolation)。参考图像930的尺寸可对应于输入图像910的尺寸。可基于输入图像910与参考图像930之间的差异来计算输入图像910的质量。例如，可通过l1范数(l1 norm)来计算差异。
[0103]
随着差异越大，输入图像910的质量可被确定为越高。例如，输入图像911可对应于高质量图像，输入图像912可对应于低质量图像。在这个示例中，输入图像911与参考图像931之间的差异可大于输入图像912与参考图像932之间的差异。这是因为发生了由下采样导致的更大的信息损失。因此，具有相对大的差异的输入图像911可被确定为相对高质量的图像，具有相对小的差异的输入图像912可被确定为相对低质量的图像。质量计算不一定限于以上示例，并且可以以各种其他方式来执行。
[0104]
图10示出面部检测方法的示例。图10中的操作可以以如所示出的顺序和方式来执行，尽管在不脱离描述的示例性示例的精神和范围的情况下，一些操作的顺序可被改变或者操作中的一些可被省略。图10中示出的操作中的许多操作可并行或同时执行。图10的一个或多个框以及这些框的组合可由执行特定功能的基于专用硬件的计算机(诸如，处理器)来实现，或者可以由专用硬件和计算机指令的组合来实现。除了以下图10的描述之外，图1至图9的描述也适用于图10，并且通过引用包含于此。因此，这里可不重复上面的描述。
[0105]
如上所述，可通过将置信度得分与预设的最大阈值和预设的最小阈值中的至少一个进行比较来生成早期检测结果。早期检测结果可与图1的检测结果120不同，并且可比检测结果120更早地生成。例如，具有小于最小阈值的置信度得分的检测框指示该检测框非常不可能对应于面部，因此可在不考虑自适应阈值的情况下被立即丢弃。此外，具有大于最大阈值的置信度得分的检测框指示该检测框非常可能对应于面部，因此可在不考虑自适应阈值的情况下被立即确定为面部框。详细地，可通过下面描述的操作来生成早期检测结果。
[0106]
参照图10，面部检测设备在操作1010中接收输入图像，并且在操作1020中确定输入图像中的检测框。在操作1030中，面部检测设备计算检测框的置信度得分。在操作1050和1060中，面部检测设备尝试生成早期检测结果。如果置信度得分小于最小阈值，则面部检测设备可在操作1080中丢弃检测框。如果置信度得分大于最大阈值，则面部检测设备可在操作1090中将检测框确定为面部框。
[0107]
面部检测设备在操作1040中针对检测框设置自适应阈值，并且在操作1070中通过将置信度得分与自适应阈值进行比较来确定包括在检测框中的对象是否对应于面部。如果置信度得分小于自适应阈值，则可执行操作1080。如果置信度得分大于自适应阈值，则可执行操作1090。如果操作1050和1060中的任意一个被确定为真，则可不执行操作1040和1070。如果通过操作1070生成检测结果，则检测结果可对应于图1的检测结果120。如果不通过操作1070生成检测结果，则检测结果可对应于早期检测结果。此外，参照图5提供的描述可适
用于图10的面部检测方法。
[0108]
图11示出面部检测设备的示例。参照图11，面部检测设备1100包括处理器1110和存储器1120。存储器1120连接到处理器1110，并且可存储可由处理器1110执行的指令、将由处理器1110计算的数据、或者由处理器1110处理的数据。存储器1120可包括非暂时性计算机可读介质(诸如，高速随机存取存储器)和/或非易失性计算机可读存储介质(例如，一个或多个盘存储装置、闪存装置或其他非易失性固态存储器装置)。
[0109]
处理器1110可执行用于执行参照图1至图10描述的一个或多个操作的指令。例如，处理器1110可确定输入图像中的检测框，计算指示检测框中的对象是否对应于面部的置信度得分，基于检测框的尺寸设置自适应阈值，并通过将置信度得分与自适应阈值进行比较来确定检测框中的对象是否对应于面部。
[0110]
图12示出电子装置的示例。参照图12，电子装置1200可包括处理器1210、存储器1220、相机1230、存储装置1250、输入装置1260、输出装置1270和网络接口1280。处理器1210、存储器1220、相机1230、存储装置1250、输入装置1260、输出装置1270和网络接口1280可通过通信总线1290彼此通信。
[0111]
例如，电子装置1200可被实现为移动装置(诸如，移动电话、智能电话、pda、上网本、平板计算机或膝上型计算机)、可穿戴装置(诸如，智能手表、智能手环或智能眼镜)、电子产品(诸如，机器人、数码相机、数码摄像机、便携式游戏机、mp3播放器、便携式/个人多媒体播放器(pmp)、手持电子书、全球定位系统(gps)导航、个人导航装置、便携式导航装置(pnd)、手持游戏机、电子书、各种物联网(iot)装置)、计算装置(诸如，台式机或服务器)、家用电器(诸如，电视、智能电视、冰箱、智能家庭装置)、安全装置(诸如，门锁)或车辆(诸如，智能车辆、自动或自主驾驶系统、高级驾驶员辅助系统(adas))中的至少一部分，或者被实现为与在此公开的内容一致的能够进行无线通信或网络通信的任何其他装置。
[0112]
电子装置1200可获取输入图像并从获取的输入图像检测面部框。此外，电子装置1200可执行与检测到的面部框相关联的操作。电子装置1200可在结构上和/或功能上包括图1的面部检测设备100。例如，电子装置1200可通过处理器1210和存储器1220在功能上包括图1的面部检测设备100，或者可在结构上包括与图1的面部检测设备100对应的面部检测设备1240。
[0113]
处理器1210执行将在电子装置1200中执行的指令或功能。例如，处理器1210可处理存储在存储器1220或存储装置1240中的指令。处理器1210可执行通过图1至图11描述的一个或多个操作。以下提供关于处理器1210的更多细节。
[0114]
存储器1220存储用于面部检测的数据。存储器1220可包括计算机可读存储介质或计算机可读存储装置。存储器1220可存储将由处理器1210执行的指令，并且可在软件和/或应用由电子装置1200执行时存储相关的信息。下面提供关于存储器1220的进一步的细节。
[0115]
相机1230可捕获照片和/或视频。例如，相机1230可捕获包括用户的面部的面部图像。相机1230可提供包括关于对象的深度信息的3d图像。
[0116]
存储装置1250包括计算机可读存储介质或计算机可读存储装置。存储装置1250可存储将在面部检测处理中使用的各种数据(诸如，面部检测器或阈值设置引擎)。与存储器1220相比，存储装置1250可长时间存储更多数量的信息。例如，存储装置1250可包括磁性硬盘、光盘、闪存、软盘或本领域已知的其他非易失性存储器。
[0117]
输入装置1260可通过键盘和鼠标以传统输入方式以及以新的输入方式(诸如，触摸输入、语音输入和图像输入)从用户接收输入。例如，输入装置1260可包括键盘、鼠标、触摸屏、麦克风或检测来自用户的输入并将检测到的输入传输到电子装置1200的任何其他装置。
[0118]
输出装置1270可通过视觉、听觉或触觉通道向用户提供电子装置1200的输出。输出装置1270可包括例如显示器、触摸屏、扬声器、振动发生器或向用户提供输出的任何其他装置。在一个示例中，输出装置1270是包括提供渲染用户界面、渲染显示和/或接收用户输入的能力的一个或多个硬件组件的物理结构。输出装置1270不限于以上描述的示例，并且在不脱离描述的示例性示例的精神和范围的情况下，可使用可操作地连接到电子装置1200的任何其他显示器(例如，计算机监视器和眼镜显示器(egd))。网络接口1280可通过有线或无线网络与外部装置通信。
[0119]
图13示出电子装置的示例。参照图13，电子装置1300可包括处理器1310、存储器1320、相机1330、存储装置1350、输入装置1360、输出装置1370和网络接口1380。处理器1310、存储器1320、相机1330、存储装置1350、输入装置1360、输出装置1370和网络接口1380可通过通信总线1390彼此通信。除了以下图13的描述之外，图11至图12的描述也适用于图13，并且通过引用包含于此。因此，这里可不重复以上描述。
[0120]
相机1330可包括面部检测设备1340。例如，相机1330可包括作为一个或多个模块的面部检测设备1340。面部检测设备1340的面部检测结果可用于控制相机1330。例如，相机1330的控制可包括被称为3a的自动对焦、自动曝光和自动白平衡。面部检测设备1340可包括例如处理器(例如，图11的处理器1110)，并且可使用处理器生成面部检测结果。此外，可基于如上所述生成的面部检测结果来控制相机1330。因此，面部检测和相机1330的控制可在没有来自处理器1310的干预或具有来自处理器1310的最小干预的情况下执行。
[0121]
面部检测设备100、面部检测设备1100、面部检测设备1240、面部检测设备1340、阈值设置引擎610以及在此描述的其他设备、单元、模块、装置和其他组件通过硬件组件实现。可用于执行在本申请中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行在本申请中描述的操作的硬件组件中的一个或多个硬件组件。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作系统(os)和在os上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明起见，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述，但是在其他的示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器、或者两个或更多个处理器、或者处理器和控制器来实
现。一个或多个硬件组件可通过一个或多个处理器、或者处理器和控制器来实现，一个或多个其他硬件组件可通过一个或多个其他处理器，或者另外的处理器和另外的控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(sisd)多处理、单指令多数据(simd)多处理、多指令单数据(misd)多处理、多指令多数据(mimd)多处理、控制器和算术逻辑单元(alu)、dsp、微型计算机、fpga、可编程逻辑单元(plu)、中央处理器(cpu)、图形处理器(gpu)、神经处理器(npu)或者能够以限定的方式响应并执行指令的任何其他装置。
[0122]
执行在本申请中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，计算硬件被如上所述实现为执行指令或软件，以执行在本申请中描述的通过该方法执行的操作。例如，单个操作或者两个或更多个操作可通过单个处理器或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可通过一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器、或者另外的处理器和另外的控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作或者两个或更多个操作。
[0123]
用于控制处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置处理器或者计算机作为机器或专用计算机进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括存储面部检测方法的小程序、动态链接库(dll)、中间件、固件、装置驱动器、应用程序中的至少一个。在另一个示例中，指令或软件包括由处理器或者计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一个示例中，指令或软件包括由处理器或者计算机使用解释器执行的高级代码。本领域的普通编程人员可基于附图中所示的框图和流程图以及说明书中的对应描述，容易地编写指令或软件，附图中所示的框图和流程图以及说明书中的对应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
[0124]
用于控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、闪存、卡式存储器(诸如多媒体微型卡或卡(例如，安全数字(sd)或极速数字(xd))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将所述指令或软件以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行指令的任何其他装置。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构通过一个或多个处理
器或计算机以分布的方式被存储和执行。
[0125]
虽然本公开包括特定的示例，但是在理解本申请的公开之后将清楚的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以在这些示例中进行形式和细节上的各种改变。在此描述的示例仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述将被认为可适用于其他示例中的类似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合，和/或由其他组件或它们的等同物替换或补充，则可实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，并且在权利要求及其等同物的范围内的所有变化应被解释为包括在本公开中。