传感器设备、电子设备以及执行物体检测的方法与流程

1.本公开涉及物体检测。具体地，示例涉及传感器设备、电子设备、用于通过传感器设备执行物体检测的方法以及用于通过电子设备执行物体检测的方法。


背景技术：

2.功耗是成像设备的一个重要特性。例如，对于具有面部解锁功能的手机来说，当用户面对手机时，手机立即解锁是非常重要的。然而，手机需要检测用户面对手机。使用常规的成像设备(例如，常规的飞行时间tof传感器)来确定用户是否面对手机需要大量的能量。
3.因此，可能需要改进的物体检测。


技术实现要素：

4.该要求可以通过所附权利要求的主题来满足。
5.一个示例涉及一种传感器设备。传感器设备包括图像传感器，该图像传感器包括被配置为测量从场景接收的光的多个光敏像素。图像传感器被配置为输出指示多个光敏像素的至少一部分的测量值的图像数据。此外，传感器设备包括被配置为基于图像数据确定直方图的处理电路装置。直方图表示测量值的分布。处理电路装置还被配置为基于直方图确定场景中是否存在物体。此外，传感器设备包括被配置为输出指示场景中是否存在物体的存在数据的接口电路装置。
6.另一示例涉及一种包括如本文所述的传感器设备和耦合到该传感器设备的应用处理器的电子设备。应用处理器被配置为接收存在数据并且基于存在数据执行动作。
7.另一示例涉及一种用于通过传感器设备执行物体检测的方法。该方法包括通过传感器设备的图像传感器的多个光敏像素测量从场景接收的光。此外，该方法包括通过传感器设备的处理电路装置基于由图像传感器输出的图像数据确定直方图。图像数据指示多个光敏像素的至少一部分的测量值。直方图表示由图像数据指示的测量值的分布。此外，该方法包括通过处理电路装置基于直方图确定场景中是否存在物体。该方法还包括通过传感器设备的接口电路装置输出指示场景中是否存在物体的存在数据。
附图说明
8.以下将仅以示例的方式并且参考附图来描述装置和/或方法的一些示例，在附图中：
9.图1示出了传感器设备的一个示例；
10.图2示出了第一多个直方图的示例性热图；
11.图3示出了第二多个直方图的示例性热图；
12.图4示出了两个直方图的示例性误差；
13.图5示出了电子设备的一个示例；
14.图6示出了用于由传感器设备执行物体检测的方法的一个示例的流程图；
15.图7示出了传感器设备的另一示例的图；以及
16.图8示出了用于由电子设备执行物体检测的方法的一个示例的流程图。
具体实施方式
17.现在参考附图更详细地描述一些示例。然而，其他可能的示例不限于详细描述的这些实施例的特征。其他示例可以包括特征的修改以及特征的等效物和替代物。此外，本文中用于描述某些示例的术语不应当限制其他可能的示例。
18.在整个附图的描述中，相同或相似的附图标记指代相同或相似的元素和/或特征，它们可以相同或以修改的形式实现，同时提供相同或相似的功能。为了清楚起见，图中的线、层和/或区域的厚度也可能被夸大。
19.当两个元素a和b使用“或”组合时，这应当理解为公开所有可能的组合，即，仅a、仅b以及a和b，除非在个别情况下另有明确定义。作为相同组合的替代措词，可以使用“a和b中的至少一个”或“a和/或b”。这等效地适用于两个以上元素的组合。
20.如果使用单数形式，诸如“一个(a)”、“一个(an)”和“该(the)”，并且没有明确或隐含地将仅使用单个元素定义为强制，则另外的示例也可以使用多个元素来实现相同功能。如果以下将功能描述为使用多个元素来实现，则另外的示例可以使用单个元素或单个处理实体来实现相同功能。还应当理解，术语“包括(include)”、“包括(including)”、“包括(comprise)”和/或“包括(comprising)”在使用时描述指定特征、整体、步骤、操作、过程、元素、组件和/或其组的存在，但不排除一个或多个其他特征、整体、步骤、操作、过程、元素、组件和/或其组的存在或添加。
21.图1示出了传感器设备100的示例。传感器设备100包括用于向场景发射(例如，调制)光102的照明元件(电路装置、设备)130和用于捕获从场景接收的光103的图像传感器110。
22.照明元件130生成(例如，调制)光102。照明元件130可以包括任何数目的光源。照明元件130可以例如包括基于照明信号被激发的一个或多个发光二极管(led)和/或一个或多个激光二极管(例如，一个或多个竖直腔面发射激光器vcsel)。
23.图像传感器可以是二维(2d)或三维(3d)图像传感器。图像传感器110包括被配置为测量从场景接收的光103的多个光敏像素(例如，包括光子混合器器件pmd或电荷耦合器件ccd)。图像传感器110可以包括各种附加组件，例如，光学器件(例如，一个或多个镜头)和电子电路装置。图像传感器110被配置为输出指示多个光敏像素的至少一部分的测量值的图像数据111。
24.由于各种原因，可能希望知道场景中是否存在预定物体101、预定物体类别或预定物体组(组合)。例如，物体101可以是人类的面部、预定房间、湿路、脏路、雨或雾。然而，本公开不限于此。通常，物体101可以是任何物理物体(即，可以被人类感官感知的任何材料)。在场景中存在物体101的情况下，物体101反射发射的光102并且因此生成从场景接收的光103的至少一部分。
25.为了能够检测物体101，传感器设备100包括耦合到图像传感器110的处理电路装置120。例如，处理电路装置120可以是单个专用处理器、单个共享处理器或多个个体处理器(其中一些或全部个体处理器可以共享)、神经形态处理器、数字信号处理器(dsp)硬件、专
用集成电路(asic)或现场可编程门阵列(fpga)。处理电路装置120可以可选地耦合到例如用于存储软件的只读存储器(rom)、随机存取存储器(ram)和/或非易失性存储器。处理电路装置120被配置为接收图像数据111并且基于图像数据111确定直方图。
26.直方图表示测量值的分布。对于直方图，可能的测量值的范围被划分为多个(系列)间隔，也称为“区间”，使得直方图指示有多少测量值落入每个间隔(区间)。换言之，在直方图的每个区间中统计输出相同测量值的光敏像素的数目。区间被指定为可能测量值范围的连续的非重叠的间隔。区间相邻并且大小相同。在备选示例中，区间可以具有不同的大小。区间的粒度可以根据需要来选择。例如，可以为可能测量值范围内的每个可能的测量值提供单独的区间。在其他示例中，可以为可能测量值范围内的两个或更多个连续的可能测量值提供相应单个区间。换言之，直方图的区间可以表示可能测量值范围内的单个可能测量值或可能测量值范围内的多个连续可能测量值。可以使用任何数目的区间(例如，40或64个区间)。
27.例如，直方图可以是具有多个向量元素(条目)的一维(1d)向量。每个向量元素(条目)表示一个区间，即，相应可能测量值或相应多个连续可能测量值。相应向量元素(条目)的值表示输出与由相应向量元素(条目)表示的或被包括在由相应向量元素(条目)表示的多个连续可能测量值中的可能测量值相同的测量值的光敏像素的数目。
28.处理电路装置120还被配置为基于直方图确定场景中是否存在诸如物体101等物体。特别地，处理电路装置120被配置为基于直方图确定场景中是否存在预定物体、预定物体类别或预定物体组(组合)。基于直方图的物体检测是可能的，因为直方图在场景中存在给定(预定)物体、给定(预定)物体类别或给定(预定)物体组(组合)的情况下表现出特定模式。这在图2和图3中示例性地示出。
29.图2示出了160个直方图的堆图(heap map)200。热图(heat map)200的每一行表示160个直方图中的一个。堆图200的横坐标表示相应直方图的40个区间。
30.在图2的示例中，通过传感器设备100在不同角度和不同距离下捕获人类的面部以生成相应图像数据。直方图由处理电路装置120根据图像数据生成。图2的示例表示当用户正在操作移动设备时由诸如手机等移动设备看到的环境。例如，图2的示例可以表示当用户希望对移动设备进行面部解锁时由移动设备看到的环境。
31.从图2可以看出，所有直方图都表现出相似的模式，即，由图像传感器110测量的测量值的相似分布。对于每个直方图，测量值的相应分布在区间15到25之间达到峰值。落入0到15和25到40的区间内的测量值的数目显著减少。
32.作为比较，图3示出了60个直方图的另一热图300。热图300的每一行表示60个直方图中的一个。堆图300的横坐标表示相应直方图的40个区间。
33.在图3的示例中，与图2的示例相反，场景中不存在面部。从图3可以看出，直方图不再表现出类似的模式。个体直方图在不同的区间范围内达到峰值。
34.根据本公开的直方图不包含关于图像传感器110的光敏像素的位置的任何信息，因此不包括图像数据111中包含的任何几何信息。然而，从图2和图3的示例中可以看出，直方图包含足够以检测(分类)诸如人类的面部等物体的信息。因此，处理电路装置120能够基于从图像传感器110的图像数据111生成的直方图来确定场景中是否存在诸如物体101等物体。
35.处理电路装置120输出指示场景中是否存在物体101的存在数据141。例如，存在数据141可以指示场景中是否存在预定物体或预定物体类别。
36.此外，传感器设备100包括被配置为输出存在数据141的接口电路装置140。存在数据141可以由外部电路装置150(诸如包括传感器设备100的电子设备的应用处理器)进一步处理。
37.处理电路装置120可以以各种方式确定场景中是否存在物体101。例如，处理电路装置120可以被配置为通过分类算法处理直方图以确定场景中是否存在物体101。下面将详细描述两个示例性分类算法。然而，应当注意，本公开不限于此，也可以使用任何其他合适的分类算法。
38.在第一示例性分类算法中，使用参考直方图。参考直方图是基于要检测其在场景中的存在的物体的一个或多个直方图而生成的。例如，物体可以被传感器设备100捕获一次或多次，使得图像传感器110生成参考图像数据。直方图由处理电路装置120基于由图像传感器110输出的参考图像数据生成。例如，参考直方图可以由基于参考图像数据而生成的直方图的每个区间的中值来形成。然而，应当注意，本公开不限于此，并且也可以使用基于参考图像数据生成的直方图的任何其他合适的组合(例如，个体区间的加权平均)。
39.第一示例性分类算法将从图像数据111生成的直方图的区间与参考直方图的区间之间的绝对差的总和确定为误差度量e：
40.e＝∑iabs(h
ref
(i)-h(i))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)，其中i表示从图像数据111生成的直方图和参考直方图中相应区间的数目，h
ref
(i)表示参考直方图中第i区间的值，h(i)表示从图像数据111生成的直方图中第i区间的值，abs()表示绝对值函数。
41.此外，如果误差度量e(即，绝对差的总和)低于阈值t，则第一示例性分类算法确定场景中存在物体。如果误差度量e(即，绝对差的总和)高于阈值t，则第一示例性分类算法确定场景中不存在物体。这可以表示为决策函数d：
[0042][0043]
其中1表示场景中存在物体，0表示场景中不存在物体。
[0044]
图4示出了示例性误差图。在图4的示例中，曲线410表示相应误差测量e，即，第一数据集的130个直方图的绝对差的总和。类似地，曲线420表示相应误差测量e，即，第二数据集的55个直方图的绝对差的总和。横坐标表示相应直方图的编号。纵坐标表示相应直方图的误差测量e。线430表示阈值t。
[0045]
对于第一数据集中的直方图，由传感器设备100在不同角度和不同距离下捕获人类的面部。对于第二数据中的直方图，场景中没有面部。
[0046]
从图4可以看出，对于第一数据集的所有直方图，相应误差测量e低于阈值t。因此，对于第一数据集的所有直方图，确定场景中存在面部。第一数据集的直方图都没有被错误分类。
[0047]
此外，第二数据集的几乎所有直方图都被正确分类。对于第二数据集的除四个直方图之外的所有直方图，相应误差测量e均高于阈值t。因此，对于第二数据集的除四个直方
图之外的所有直方图，确定场景中不存在面部。第二数据集只有四个直方图的错误分类是可以接受的。
[0048]
阈值t可以手动设置。替代地，阈值t可以根据由图像传感器110输出的参考图像数据来确定。例如，阈值t可以在生成参考直方图时学习。第一示例性分类算法的训练可以由处理电路装置120执行。换言之，处理电路装置120可以被配置为基于由图像传感器110输出的参考图像数据来训练分类算法。
[0049]
同样，在第二示例性分类算法中，使用参考直方图。可以如上所述生成参考直方图。第二示例性分类算法确定参考直方图和从图像数据111生成的直方图的交集s：
[0050]
s＝∑imin(h
ref
(i)，h(i))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)，
[0051]
min()表示返回最小参数(输入)的最小函数。
[0052]
参考直方图和从图像数据111生成的直方图越相似，交集s就越大。因此，类似于上面针对第一示例性分类算法所描述的，交集s可以与阈值进行比较以确定场景中是否存在物体。可选地，交集s可以归一化为0与1之间的值范围：
[0053][0054]snormal
表示归一化交集。归一化交集s
normal
可以再次与阈值进行比较。如果归一化交集s
normal
低于阈值，则第二示例性分类算法确定场景中不存在物体。如果归一化交集s
normal
高于阈值，则第二示例性分类算法确定场景中存在物体。
[0055]
两种示例性分类算法都基于从图像数据111生成的直方图与参考直方图的比较来确定场景中是否存在预定物体(诸如物体101)、预定物体类别或预定物体组(组合)。
[0056]
从图像数据111生成的直方图的分类只需要很少的计算能力，并且因此可以在芯片上完成。换言之，传感器设备100可以包括半导体管芯，该半导体管芯包括图像传感器110和处理电路装置120。
[0057]
如上所述，图像传感器110通常可以是任何种类的2d或3d图像传感器。图像传感器110的光敏像素的相应测量值指示由光敏像素接收的相应光量(例如，图像数据111可以表示场景的至少一部分的2d灰度图像)。如上所述，图像数据111指示图像传感器110的多个光敏像素的至少一部分的测量值。应当注意，图像数据指示多个光敏像素的至少一部分针对多个光敏像素的单次曝光的测量值。
[0058]
在一些示例中，图像传感器110的多个光敏像素中的至少一个光敏像素可以被配置为随时间选择性地将电荷载流子存储在多个光敏像素中的至少一个光敏像素的不同电荷存储装置或漏极节点中，电荷载流子由从场景接收的光在多个光敏像素中的至少一个光敏像素的半导体材料中生成。因此，多个光敏像素中的至少一个光敏像素的相应测量值基于存储在不同电荷存储装置或漏极节点中的至少一个中的电荷载流子。在其他示例中，图像传感器110的多个光敏像素中的至少一个光敏像素可以被配置为基于从场景接收的光103与用于驱动多个光敏像素中的至少一个的参考信号的相关性来生成其相应测量值。图像传感器例如可以是根据上述原理中的一个进行操作的tof传感器。
[0059]
在图像传感器110是tof传感器的情况下，多个光敏像素中的至少一个光敏像素可
以被配置为使用在tof传感器110的目标测量范围内随距离增加(例如，严格单调)的(与光强度无关的)相关函数来测量从场景接收的光103。换言之，可以调节多个光敏像素中的至少一个光敏像素的参数，使得(与光强度无关的)相关函数在tof传感器110的目标测量范围内随距离增加(例如，严格单调)。(与光强度无关的)相关函数给出了接收光103与参考信号之间的与光敏像素的距离相关的相关性，而不考虑(即，忽略，不考虑在内)接收光103的强度。如上所述，光敏像素是基于参考信号被驱动的。换言之，(与光强度无关的)相关函数仅描述了光敏像素的输出的距离依赖性(即，光敏像素的输出对tof传感器110与物体101之间的距离的依赖性)，但不是光敏像素的输出对接收光103的强度的依赖性。可以如上所述调节tof传感器110的其他光敏像素的相应(与光强度无关的)相关函数。
[0060]
从场景中的物体101接收的光103的强度(光强度)随着tof传感器110与物体101之间的距离而减小。例如，可以假定强度根据平方反比定律减小。也就是说，在tof传感器110处接收的光103的距离相关强度可以假定如下：
[0061][0062]
i表示在tof传感器110处接收的光103的强度，d表示tof传感器110与将发射光102反射回tof传感器110的物体101之间的距离。
[0063]
因此，(与光强度无关的)相关函数c(d)可以例如被调节为随着距离d的平方而增加：
[0064]
c(d)
∝
d2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0065]
在物体101表现得像点状光源的情况下，(与光强度无关的)相关函数的平方增加是一个很好的近似值。
[0066]
tof传感器110的多个光敏像素中的至少一个光敏像素的(实际)测量值与在光敏像素处接收的光103的强度(即，来自物体101的光103的光强度)成比例。例如，tof传感器110的多个光敏像素中的至少一个光敏像素的测量值可以由在光敏像素处接收的光103的强度与在将光103反射到光敏像素的物体101的距离处(与光强度无关的)相关函数的值的乘积来决定。
[0067]
随着(与光强度无关的)相关函数随距离增加(例如，严格单调)，光强度随距离的减小可以抵消。因此，图像数据111中物体的亮度不依赖于物体101与tof传感器110之间的距离。tof传感器110对光敏像素的测量值与物体101的反射率成比例，因为物体101的反射率决定有多少光到达tof传感器110。因此，tof传感器110对光敏像素的测量值随物体101的反射率而变化——与tof传感器110与tof传感器110之间的距离无关。因此，由图像数据110指示的测量值表示物体101的反射率。
[0068]
发射光102的很多不同调制模式以及用于驱动tof传感器110的参考信号可以用于获取(与光强度无关的)相关函数的上述形状。
[0069]
上述图像数据111可以是模拟或数字数据——与图像传感器110的具体实现无关。例如，图像传感器110的读出电路装置可以被配置为读出多个光敏像素的至少一部分以获取测量值。在一些示例中，多个光敏像素全部可以由读出电路装置读出。在其他示例中，多个光敏像素的仅部分(即，仅子集)可以由读出电路装置读出。例如，光敏像素可以由读出电
路装置根据一种或多种(例如，预定义)模式来读出。例如，像素读出可以根据模式被跳过。省略一些光敏像素的读出可以减少传感器设备100的能耗。读出的测量值可以是模拟值。
[0070]
模拟测量值可以通过图像传感器110的模数转换器(adc)被数字化。因此，处理电路装置120可以被配置为基于数字化测量值确定直方图。例如，处理电路装置可以将一组计数器用于直方图的区间，并且在每次对某个测量(像素)值进行数字化时递增相应计数器。与所描述的类似，如果数字化测量值在某个值范围内，则可以增加相应计数器。如上文针对直方图的区间所述，值范围可以均匀分布在测量值的数字化输出范围中，或者用个体范围进行优化。
[0071]
adc可以支持(提供)不同分辨率用于对模拟数据进行数字化。例如，adc可以至少支持第一分辨率和第二分辨率用于对模拟数据进行数字化。第一分辨率低于第二分辨率。adc可以被配置为使用第一分辨率对测量值进行数字化。例如，第一分辨率可以匹配直方图区间的数目(例如，对于26＝64个区间，第一分辨率可以是6位)。可以由adc使用第二分辨率对由图像传感器110获取的图像传感器110的另外的测量值进行数字化，以用于场景的一个或多个另外的测量(例如，tof深度/距离测量)。对于直方图，使用adc的较低分辨率可能就足够了。
[0072]
传感器设备100可以包括另外的硬件——常规的和/或定制的。传感器设备100的元件(全部)布置(封装)在传感器设备100的外壳内。
[0073]
传感器设备100可以例如用在电子设备中。包括如上所述的传感器设备510的示例性电子设备500(例如，手机、智能手机、平板电脑或膝上型电脑)在图5中示出。
[0074]
电子设备500还包括耦合到传感器设备510的接口电路装置的应用处理器520。应用处理器520被配置为接收传感器设备510输出的存在数据并且基于存在数据执行动作。例如，应用处理器520可以被配置为启动用于从睡眠模式和/或低功率模式唤醒的唤醒过程。替代地或另外地，应用处理器520可以启动应用或者打开/关闭电子设备500的显示器530。
[0075]
例如，如果传感器设备510的接口电路装置输出指示场景中存在人类的面部的存在数据141，则应用处理器可以唤醒并且启动面部解锁应用以解锁电子设备500。面部解锁应用可能需要场景中存在的物体的反射率数据(例如，灰度图像)来进行面部识别。因此，应用处理器520可以向传感器设备510的接口电路装置传输触发数据。
[0076]
响应于接收到触发数据，传感器设备510的图像传感器可以捕获场景以生成另外的图像数据。这在图1中进一步详细说明，其中触发数据151由接口电路装置140从诸如应用处理器520等外部电路装置150接收并且用于控制图像传感器110和照明元件130。由图像传感器110生成的另外的图像数据112由接口电路装置140输出。因此，诸如应用处理器520等外部电路装置150可以通过例如面部解锁应用来处理另外的图像数据。
[0077]
然而，应当注意，本公开不限于由应用处理器520执行的上述示例性动作。通常，应用处理器520可以基于由传感器设备510输出的存在数据来执行任何动作。例如，应用处理器520可以被配置为在由传感器设备510输出的存在数据指示场景中不存在人类面部的情况下关闭显示器530。
[0078]
根据本公开的传感器设备510是一种用于通过简单(例如，片上)处理来检测场景的图像中是否存在某种类型的物体(例如，人的面部)的节能解决方案。如上所述，可以由电子设备500(例如，智能手机)使用该信息来触发各种动作，诸如面部解锁过程，包括面部识
别(即，深度)测量。由于传感器设备510，应用处理器520不需要执行用于物体确定的任何动作。
[0079]
尽管图5中未示出，但电子设备500可以可选地包括另外的电路装置/元件，例如一个或多个麦克风、一个或多个扬声器、一个或多个天线、用于移动通信的一个或多个射频传输器和/或接收器、一个或多个数据存储装置、一个或多个电池等。
[0080]
图6中进一步示出了根据所提出的技术由传感器设备执行物体检测的方法600的示例的流程图。方法600包括通过传感器设备的图像传感器的多个光敏像素测量602从场景接收的光。此外，方法600包括通过传感器设备的处理电路装置基于由图像传感器输出的图像数据确定604直方图。图像数据指示多个光敏像素的至少一部分的测量值。直方图表示由图像数据指示的测量值的分布。此外，方法600包括通过处理电路装置基于直方图确定606场景中是否存在物体、预定物体类别或预定物体组(组合)。方法600还包括通过传感器设备的接口电路装置输出608指示场景中是否存在物体的存在数据。
[0081]
方法600可以允许以低功耗进行(例如，片上)物体检测。从图像传感器读数直接创建直方图可以显著减少图像数据并且实现快速简单的物体检测。
[0082]
方法600的更多细节和方面结合所提出的技术或上述一个或多个示例来解释。方法600可以包括与所提出技术的一个或多个方面或上述一个或多个示例相对应的一个或多个附加可选特征。
[0083]
在上述示例中，物体检测是在传感器设备内完成的。然而，本公开不限于此。在一些示例中，物体检测可以由外部电路装置执行。这在图7中示例性地示出。图7示出了另一传感器设备700。传感器设备700与上述传感器设备100的不同之处在于，处理电路装置720被配置为仅基于图像数据确定直方图。与传感器设备100的处理电路装置120相比，处理电路装置720不基于直方图确定场景中是否存在预定物体、预定物体类别或预定物体组(组合)。接口电路装置740因此被配置为输出指示直方图的直方图数据741。直方图数据741被输出到外部电路装置750，例如图5所示的电子设备500的应用处理器520。图像数据111未被输出到外部电路装置750。除此之外，传感器设备700与上述传感器设备100相同，并且因此可以展示出传感器设备100的一个或多个上述特征。
[0084]
在图7的示例中，基于直方图来确定场景中是否存在预定物体、预定物体类别或预定物体组(组合)是由外部电路装置750执行的，例如，图5所示的电子设备500的应用处理器520。因此，在一些示例中，图5所示的传感器设备510可以是传感器设备700。换言之，根据一些示例，图5所示的电子装置500的应用处理器520被配置为从传感器设备510接收直方图数据，并且基于直方图确定场景中是否存在预定物体、预定物体类别或预定物体组(组合)。确定场景中是否存在预定物体、预定物体类别或预定物体组(组合)可以根据上述原理来进行。除此之外，应用处理器520如上所述配置(例如，如果场景中存在物体，则向传感器设备510发送上述触发数据)。
[0085]
为了总结所提出的分布式物体检测，图8示出了用于由电子设备执行物体检测的方法800的示例的流程图。该电子设备包括传感器设备和应用处理器。方法800包括通过传感器设备的图像传感器的多个光敏像素测量802从场景接收的光。此外，方法800包括通过传感器设备的处理电路装置基于由图像传感器输出的图像数据确定804直方图。图像数据指示多个光敏像素的至少一部分的测量值。直方图表示由图像数据指示的测量值的分布。
此外，方法800包括通过传感器设备的接口电路装置输出806指示直方图的直方图数据。方法800还包括在应用处理器处接收808直方图数据并且通过应用处理器基于直方图确定810场景中是否存在预定物体、预定物体类别或预定物体组(组合)。
[0086]
方法800可以允许以低功耗进行分布式物体检测。从图像传感器读数直接创建直方图可以显著减少图像数据并且实现快速简单的物体检测。
[0087]
方法800的更多细节和方面结合所提出的技术或上述一个或多个示例来解释。方法800可以包括与所提出技术的一个或多个方面或上述一个或多个示例相对应的一个或多个附加可选特征。
[0088]
如本文所述的示例可以总结如下：
[0089]
一个示例涉及一种传感器设备。传感器设备包括图像传感器，该图像传感器包括被配置为测量从场景接收的光的多个光敏像素。图像传感器被配置为输出指示多个光敏像素的至少一部分的测量值的图像数据。此外，传感器设备包括被配置为基于图像数据确定直方图的处理电路装置。直方图表示测量值的分布。处理电路装置还被配置为基于直方图确定场景中是否存在物体。此外，传感器设备包括被配置为输出指示场景中是否存在物体的存在数据的接口电路装置。
[0090]
在一些示例中，传感器设备还包括半导体管芯，该半导体管芯包括图像传感器和处理电路装置。
[0091]
根据一些示例，图像传感器包括：被配置为读出多个光敏像素的至少一部分以获取测量值的读出电路装置；以及被配置为对测量值进行数字化的adc，其中处理电路装置被配置为基于数字化测量值确定直方图。
[0092]
在一些示例中，adc至少支持第一分辨率和第二分辨率用于对模拟数据进行数字化，第一分辨率低于第二分辨率，并且其中adc被配置为使用第一分辨率对测量值进行数字化。
[0093]
根据一些示例，多个光敏像素中的至少一个光敏像素被配置为随时间选择性地将电荷载流子存储在多个光敏像素中的至少一个光敏像素的不同电荷存储装置中，电荷载流子由从场景接收的光在多个光敏像素中的至少一个光敏像素的半导体材料中生成，并且其中多个光敏像素中的至少一个光敏像素的相应测量值取决于存储在不同电荷存储装置中的至少一个电荷存储装置中的电荷载流子。
[0094]
在一些示例中，图像传感器是tof传感器。
[0095]
根据一些示例，多个光敏像素中的至少一个光敏像素被配置为使用随距离增加的相关函数来测量从场景接收的光。
[0096]
在一些示例中，相关函数给出光与参考信号之间的与光敏像素的距离相关的相关性，而不考虑光的强度，光敏像素是基于参考信号被驱动的。
[0097]
根据一些示例，处理电路装置被配置为通过分类算法处理直方图以确定场景中是否存在物体。
[0098]
在一些示例中，处理电路装置还被配置为基于由图像传感器输出的参考图像数据来训练分类算法。
[0099]
根据一些示例，图像数据指示多个光敏像素的至少一部分针对多个光敏像素的单次曝光的测量值。
[0100]
在一些示例中，测量值指示由多个光敏像素的至少一部分接收的相应光量。
[0101]
根据一些示例，物体是人类的面部。
[0102]
在一些示例中，响应于输出指示场景中存在物体的存在数据，接口电路装置被配置为从外部电路装置接收触发数据，其中图像传感器被配置为响应于接收到触发数据而捕获场景以生成另外的图像数据，并且其中接口电路装置被配置为输出另外的图像数据。
[0103]
其他示例涉及一种包括如本文所述的传感器设备和耦合到该传感器设备的应用处理器的电子设备。应用处理器被配置为接收存在数据并且基于存在数据执行动作
[0104]
根据一些示例，电子设备是手机、平板电脑或膝上型电脑中的一种。
[0105]
其他示例涉及一种用于通过传感器设备执行物体检测的方法。该方法包括通过传感器设备的图像传感器的多个光敏像素测量从场景接收的光。此外，该方法包括通过传感器设备的处理电路装置基于由图像传感器输出的图像数据确定直方图。图像数据指示多个光敏像素的至少一部分的测量值。直方图表示由图像数据指示的测量值的分布。此外，该方法包括通过处理电路装置基于直方图确定场景中是否存在物体。该方法还包括通过传感器设备的接口电路装置输出指示场景中是否存在物体的存在数据。
[0106]
其他示例涉及另一传感器设备。该另一传感器设备包括图像传感器，该图像传感器包括被配置为测量从场景接收的光的多个光敏像素。图像传感器被配置为输出指示多个光敏像素的至少一部分的测量值的图像数据。此外，该另一传感器设备包括被配置为基于图像数据确定直方图的处理电路装置。直方图表示由图像数据指示的测量值的分布。此外，该另一传感器设备包括被配置为输出指示直方图的直方图数据的接口电路装置。
[0107]
在一些示例中，该另一传感器设备还包括半导体管芯，该半导体管芯包括图像传感器和处理电路装置。
[0108]
根据一些示例，图像传感器包括：被配置为读出多个光敏像素的至少一部分以获取测量值的读出电路装置；以及被配置为对测量值进行数字化的adc，其中处理电路装置被配置为基于数字化测量值确定直方图。
[0109]
在一些示例中，adc至少支持第一分辨率和第二分辨率用于对模拟数据进行数字化，第一分辨率低于第二分辨率，并且其中adc被配置为使用第一分辨率对测量值进行数字化。
[0110]
根据一些示例，多个光敏像素中的至少一个光敏像素被配置为随时间选择性地将电荷载流子存储在多个光敏像素中的至少一个光敏像素的不同电荷存储装置中，电荷载流子由从场景接收的光在多个光敏像素中的至少一个光敏像素的半导体材料中生成，并且其中多个光敏像素中的至少一个光敏像素的相应测量值取决于存储在不同电荷存储装置中的至少一个电荷存储装置中的电荷载流子。
[0111]
在一些示例中，图像传感器是tof传感器。
[0112]
根据一些示例，多个光敏像素中的至少一个光敏像素被配置为使用随距离增加的相关函数来测量从场景接收的光。
[0113]
在一些示例中，相关函数给出光与参考信号之间的与光敏像素的距离相关的相关性，而不考虑光的强度，光敏像素是基于参考信号被驱动的。
[0114]
根据一些示例，图像数据指示多个光敏像素的至少一部分针对多个光敏像素的单次曝光的测量值。
[0115]
在一些示例中，测量值指示由多个光敏像素的至少一部分接收的相应光量。
[0116]
根据一些示例，接口电路装置还被配置为从外部电路装置接收触发数据，其中图像传感器被配置为响应于接收到触发数据而捕获场景以生成另外的图像数据，并且其中接口电路装置被配置为输出另外的图像数据。
[0117]
另外的示例涉及包括如本文所述的另一传感器设备和耦合到该另一传感器设备的应用处理器的另一电子设备。应用处理器被配置为接收直方图数据并且基于直方图确定场景中是否存在物体。
[0118]
在一些示例中，应用处理器还被配置为基于场景中是否存在物体来执行动作。
[0119]
根据一些示例，应用处理器还被配置为在场景中存在物体的情况下向传感器设备发送触发数据，其中图像传感器被配置为响应于接收到触发数据而捕获场景以生成另外的图像数据，其中接口电路装置被配置为输出另外的图像数据，并且其中应用处理器被配置为基于另外的图像数据执行动作。
[0120]
在一些示例中，应用处理器被配置为通过分类算法处理直方图以确定场景中是否存在物体。
[0121]
根据一些示例，应用处理器还被配置为基于从传感器设备接收的参考图像数据来训练分类算法。
[0122]
在一些示例中，物体是人类的面部。
[0123]
根据一些示例，电子设备是手机、平板电脑或膝上型电脑中的一种。
[0124]
示例还涉及一种用于通过电子设备执行物体检测的另一种方法，其中电子设备包括传感器设备和应用处理器。该方法包括通过传感器设备的图像传感器的多个光敏像素测量从场景接收的光。此外，该方法包括通过传感器设备的处理电路装置基于由图像传感器输出的图像数据确定直方图。图像数据指示多个光敏像素的至少一部分的测量值。直方图表示由图像数据指示的测量值的分布。此外，该方法包括通过传感器设备的接口电路装置输出指示直方图的直方图数据。该方法还包括在应用处理器处接收直方图数据并且由应用处理器基于直方图确定场景中是否存在物体。
[0125]
本公开的示例可以提供用于图像传感器的基于直方图的物体检测模式。一些示例可以为手机tof传感器检测面部提供一种节能的片上方法。
[0126]
相对于先前示例中的特定示例而描述的方面和特征也可以与另外的示例中的一个或多个相结合，以替换该另外的示例的相同或相似特征或者将这些特征附加地引入到另外的示例中。
[0127]
还应当理解，在说明书或权利要求中公开的若干步骤、过程、操作或功能的公开不应当解释为暗示这些操作必须依赖于所描述的顺序，除非在个别情况下明确说明或出于技术原因而需要。因此，前面的描述并不将若干步骤或功能的执行限制为一定的顺序。此外，在另外的示例中，单个步骤、功能、过程或操作可以包括和/或被分解成若干子步骤、子功能、子过程或子操作。
[0128]
如果已经针对设备或系统描述了某些方面，则这些方面也应当理解为对相应方法的描述。例如，设备或系统的块、设备或功能方面可以对应于相应方法的特征，例如方法步骤。因此，关于方法而描述的方面也应当理解为对相应设备或相应系统的相应块、相应元件、属性或功能特征的描述。
[0129]
以下权利要求在此并入详细描述中，其中每个权利要求可以作为单独的示例独立存在。还应当注意，虽然在权利要求中，从属权利要求是指与一个或多个其他权利要求的特定组合，但其他示例还可以包括从属权利要求与任何其他从属或独立权利要求的主题的组合。这种组合在此明确提出，除非在个别情况下说明不打算进行特定组合。此外，任何其他独立权利要求也应当包括权利要求的特征，即使该权利要求未直接定义为依赖于该其他独立权利要求。