图像识别装置和图像识别方法与流程

1.本公开涉及一种图像识别装置和一种图像识别方法。


背景技术：

2.存在一种成像装置，该成像装置设置有通过在一个帧周期中成像和合成灵敏度不同的多个图像来生成hdr图像的高动态范围(hdr)成像模式，并且从hdr图像中识别被摄体(例如，参见专利文献1)。
3.此外，还有一种成像装置，该成像装置通过合成通过使用接收可见光的成像像素和接收红外光的成像像素成像的图像来生成hdr图像，并且从hdr图像识别被摄体。
4.现有技术文献
5.专利文献
6.专利文献1：jp 2014
‑
103643 a


技术实现要素：

7.本发明要解决的技术问题
8.然而，在上述传统技术中，被摄体的识别精度有时会降低。因此，本公开提出了一种能够提高被摄体的识别精度的图像识别装置和图像识别方法。
9.问题的解决方案
10.根据本公开的图像识别装置包括成像单元和识别单元。成像单元使用接收可见光的成像像素和接收红外光的成像像素，并且在一个帧周期中在相同的曝光定时对多个图像成像，以生成图像数据。识别单元从每条图像数据中识别被摄体。
附图说明
11.图1是示出根据本公开的像素阵列的说明图；
12.图2a是示出使用通用dnn的示例的说明图；
13.图2b是示出使用根据本公开的dnn的示例的说明图；
14.图3是示出根据本公开的图像识别系统的配置示例的示图；
15.图4是根据本公开的由信号处理单元执行的处理的说明图；
16.图5a是根据本公开的由识别单元执行的处理的说明图；
17.图5b是根据本公开的由识别单元执行的处理的说明图；
18.图6是示出根据本公开的由信号处理单元执行的处理的修改例的说明图；
19.图7是示出根据本公开的由识别单元使用的dnn的修改例的说明图；
20.图8是示出根据本公开的像素阵列的第一修改例的说明图；
21.图9是示出根据本公开的像素阵列的第二修改例的说明图；
22.图10是示出当采用根据本公开的像素阵列的第二修改例时使用dnn的示例的说明图；
23.图11是示出根据本公开的像素阵列的第三修改例的说明图；
24.图12是示出车辆控制系统的示意性配置的示例的框图；
25.图13是示出车外信息检测单元和成像单元的安装位置的示例的说明图。
具体实施方式
26.下面将参考附图给出本公开的实施例的详细描述。注意，在以下各个实施例中，给相同的部分提供相同的附图标记，并且将省略重复的描述。
27.[1.图像识别方法的概述]
[0028]
首先，将给出根据本公开的图像识别方法的概述的描述。在根据本公开的图像识别方法中，使用接收可见光的成像像素和接收红外光的成像像素，在一个帧周期中在相同的曝光定时对多个图像成像，以生成图像数据，并且从每条图像数据中识别被摄体。在此，这种在相同曝光定时的成像例如意味着通过在多个单独的定时开始多个像素的曝光并在相同的定时结束曝光来对图像成像。
[0029]
为了对多个图像成像，使用了用于对高动态范围(hdr)图像成像的像素阵列。图1是示出根据本公开的像素阵列的说明图。例如，如图1所示，在用于对hdr图像成像的像素阵列a1中，接收红光的成像像素r、接收绿光的成像像素gr和gb以及接收蓝光的成像像素b在拜耳阵列中排列。
[0030]
注意，成像像素gr是设置在成像像素r所在的行中的成像像素，并且接收绿光。成像像素gb是设置在成像像素b所在的行中的成像像素，并且接收绿光。
[0031]
成像像素r、gr、gb和b中的每一个包括三个成像元件，这三个成像元件设置成l形并且具有相同的光接收面积。成像元件l是曝光时间比成像元件m和s的曝光时间长的长时间曝光元件。成像元件s是曝光时间比成像元件l和m的曝光时间短的短时间曝光元件。
[0032]
成像元件m是曝光时间比成像元件s的曝光时间长并且比成像元件l的曝光时间短的中间时间曝光元件。此外，在三个侧面被接收相同颜色的光并且以l形状排列的成像元件l、m和s包围的每个位置处，像素阵列a1包括用作接收红外光的成像像素的成像元件ir。
[0033]
成像元件l具有长的曝光时间，因此，即使当其周边较暗时，也可以获得足够量的接收光。因此，即使被摄体是具有太低的亮度并且在通常的曝光时间内曝光不足的被摄体，成像元件l也可以对高灵敏度图像进行成像，在该高灵敏度图像上清晰地反射被摄体的图像(在下文中，高灵敏度图像在一些情况下也将被称为“长时间曝光图像”)。
[0034]
成像元件s具有短的曝光时间，因此，即使当其周边明亮时也不饱和。因此，即使被摄体是具有过高的亮度并且在通常的曝光时间内曝光过度的被摄体，成像元件s也可以对低灵敏度图像进行成像，在该低灵敏度图像上清晰地反射被摄体的图像(在下文中，低灵敏度图像在一些情况下也将被称为“短时间曝光图像”)。注意，成像元件m可以在类似于普通数码相机的曝光时间内对中灵敏度图像(在下文中，在一些情况被下称为“中间时间曝光图像”)进行成像。
[0035]
成像元件ir接收红外光，因此，可以对红外线(ir)图像进行成像，在该图像中，清晰地反射如下图像，例如，该图像包括：黑暗中的行人或车辆，这在肉眼中很难看到；由于车辆前灯或聚光灯而难以看见的行人；以及由于烟雾而难以看见的被摄体。此外，成像元件红外还可以感测被摄体的热信息。
[0036]
通过对如上所述的高灵敏度图像、中灵敏度图像、低灵敏度图像和红外图像彼此执行hdr合成来生成hdr图像。因此，hdr图像成为图像，其中，清晰地反映所有被摄体(例如，暗被摄体、亮被摄体和肉眼难以看到的被摄体)的图像。
[0037]
注意，在图1所示的像素阵列a1中，区分曝光时间，由此高灵敏度图像、中灵敏度图像或低灵敏度图像由具有相同光接收面积的成像元件l、m或s成像；然而，这是一个示例。例如，像素阵列a1区分要堆叠在每个成像像素上的滤色器的透光率，从而即使曝光时间设置相同，也可以对高灵敏度图像、中灵敏度图像或低灵敏度图像进行成像。
[0038]
在这种情况下，在像素阵列a1中，滤色器的透光率高于通常的成像像素变成高灵敏度成像像素，滤色器的透光率与通常的成像像素一样变成中灵敏度成像像素，滤色器的透光率低于通常的成像像素变成低灵敏度成像像素。
[0039]
注意，即使使用均衡曝光开始时间和区分曝光结束时间的方法、区分曝光开始时间和均衡曝光结束时间的方法、或者区分曝光开始时间和曝光结束时间的方法作为区分曝光开始时间的方法，也可以对高灵敏度图像、中灵敏度图像或低灵敏度图像进行成像。
[0040]
此外，通过这样的像素阵列a1，可以同时对高灵敏度图像和低灵敏度图像进行成像，因此，可以通过对两个图像执行hdr合成，来成像hdr图像。此外，区分成像像素的光接收区域，由此也可以使具有相同滤色器透光率和相同曝光时间的成像像素用作高灵敏度成像像素或低灵敏度成像像素。
[0041]
在本文中，作为用于从图像数据识别被摄体的方法的示例，存在使用深度神经网络(dnn)的图像识别方法。dnn是一种具有多层结构的算法，其采用通过机器学习设计的人脑神经回路(神经网络)作为模型，以便从图像数据中识别被摄体的特征(模式)。
[0042]
图2a是示出使用通用dnn的示例的说明图。例如，在从hdr图像识别被摄体的情况下，如图2a所示，当已经经过hdr合成的hdr图像中的红色r、绿色g和蓝色b的相应像素的信号r、g和b(hdr图像的图像数据)输入到dnn时，从dnn输出被摄体的识别结果。
[0043]
然而，由于hdr图像经过hdr合成，所以有时会在其中反射实际上不存在的伪影。因此，当hdr图像中各个像素的信号r、g和b输入到dnn时，dnn对被摄体的识别精度有时会由于伪影的有害影响而降低。
[0044]
因此，在本公开中，从还没有经过hdr合成的高灵敏度图像、中灵敏度图像、低灵敏度图像和红外图像中的每一个识别被摄体，由此消除了这种伪影的影响，并且提高了被摄体的识别精度。图2b是示出根据本公开的使用dnn的示例的说明图。
[0045]
如图2b所示，在本公开中，例如，要从成像元件l输出的长时间曝光信号r、gr、gb和b(高灵敏度图像的图像数据)以及要从成像元件m输出的中间时间曝光信号r、gr、gb和b(中灵敏度图像的图像数据)被输入到dnn。此外，在本公开中，要从成像元件s输出的短时间曝光信号r、gr、gb和b(低灵敏度图像的图像数据)以及要从成像元件ir输出的红外光信号irr、irgr、irgb和irb(红外图像的图像数据)输入到dnn。
[0046]
因此，dnn输出从高灵敏度图像、中灵敏度图像、低灵敏度图像和红外图像识别被摄体的识别结果。
[0047]
此时，dnn从不包括伪影的高灵敏度图像、中灵敏度图像、低灵敏度图像和红外图像中识别被摄体，因此，可以输出被摄体的高精度识别结果，而不受伪影的影响。
[0048]
如上所述，在根据本公开的图像识别方法中，使用接收可见光的成像像素和接收
红外光的成像像素，在一个帧周期中的多段曝光时间对被摄体成像，并且通过使用所有这些来识别被摄体，因此，可以提高被摄体的识别精度。
[0049]
[2.图像识别系统的配置]
[0050]
接下来，参考图3，将给出根据本公开的图像识别系统的配置的描述。图3是示出根据本公开的图像识别系统的配置示例的示图。如图3所示，根据本公开的图像识别系统100包括：图像传感器1，其是图像识别装置的示例；以及应用处理器(以下被称为ap 2)。
[0051]
图像传感器1包括成像单元10、信号处理单元13、识别单元14、数据发送确定单元15、选择器(以下被称为sel 16)和发送单元17。成像单元10包括像素阵列a1和模拟/数字(a/d)转换单元12。
[0052]
像素阵列a1通过成像元件l、m、s和ir对高灵敏度图像、中灵敏度图像、低灵敏度图像和红外图像进行成像。然后，像素阵列a1从成像元件l、m、s和ir向a/d转换单元12输出对应于接收光量的模拟像素信号。
[0053]
a/d转换单元12针对从像素阵列a1输入的模拟像素信号执行a/d以转换为数字像素信号，从而生成高灵敏度图像的图像数据、中灵敏度图像数据、低灵敏度图像的图像数据和红外光的图像数据，并将生成的图像数据输出到信号处理单元13。
[0054]
信号处理单元13包括：具有中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等的微型计算机；以及各种电路。
[0055]
信号处理单元13对从a/d转换单元12输入的高灵敏度图像的图像数据、中灵敏度图像数据、低灵敏度图像的图像数据和红外光的图像数据中的每一个执行预定的信号处理。然后，信号处理单元13将已经经过信号处理的高灵敏度图像的图像数据、中灵敏度图像数据、低灵敏度图像的图像数据和红外光的图像数据输出到识别单元14和sel 16。
[0056]
在本文中，参考图4，将给出由信号处理单元13执行的处理的流程的描述。图4是根据本公开的由信号处理单元执行的处理的说明图。如图4所示，对于要输入的图像数据，信号处理单元13首先执行阴影校正，并且随后执行混合颜色校正。
[0057]
此后，信号处理单元13对图像数据执行数字增益调节，并随后执行白平衡增益调节。此后，信号处理单元13对图像数据执行去马赛克，此后，最终对其执行伽马校正，并输出已经经过伽马校正的图像数据。
[0058]
注意，在去马赛克中，执行用于通过周围像素的颜色来补充高灵敏度图像、中灵敏度图像、低灵敏度图像和红外图像的各个像素的颜色的处理。因此，还没有经过去马赛克的高灵敏度图像、中灵敏度图像和低灵敏度图像的图像数据中的每一个都是四种类型的像素信号r、gr、gb和b；然而，已经经过去马赛克的每条图像数据变成三种类型的像素信号r、g和b。此外，还没有经过去马赛克的ir图像的图像数据是四种类型的像素信号irr、irgr、irgb和irb；然而，已经经过去马赛克的图像数据变成一种类型的图像信号ir。
[0059]
返回图3，识别单元14包括：具有cpu、rom、ram等的微型计算机；以及各种电路。识别单元14包括：对象识别单元31，其以这样的方式工作，即通过使用ram作为工作区域，cpu执行存储在rom中的对象识别程序；以及对象识别数据存储单元32，设置在ram或rom中。在对象识别数据存储单元32中，为用作识别目标的每种类型的对象存储dnn。
[0060]
对象识别单元31从对象识别数据存储单元32读取与要设置的识别目标的类型相对应的dnn，将通过将图像数据输入到dnn获得并从dnn输出的被摄体的识别结果输出到数
据发送确定单元15，并将识别结果的元数据输出到sel 16。
[0061]
在本文中，参考图5a和图5b，将给出由识别单元14执行的处理的流程的描述。图5a和图5b是根据本公开的由识别单元执行的处理的说明图。如图5a所示，根据dnn的大小和输入值，识别单元14首先归一化要输入的图像数据的大小和输入值，将已经归一化的图像数据输入到dnn，并执行对象识别。然后，识别单元14将从dnn输出的被摄体的识别结果输出到数据发送确定单元15，并将识别结果的元数据输出到sel16。
[0062]
此时，如图5b所示，识别单元14向dnn输入长时间曝光信号r、g和b、中间时间曝光信号r、g和b、短时间曝光信号r、g和b以及红外光信号ir。因此，识别单元14从没有伪影的高灵敏度图像、中灵敏度图像、低灵敏度图像和红外图像中的每一个识别被摄体，从而可以提高被摄体的识别精度。
[0063]
返回图3，根据从识别单元14输入的识别结果，数据发送确定单元15向sel 16输出用于切换数据的控制信号，使sel 16从其中输出数据。当识别单元14识别到被摄体时，数据发送确定单元15向sel 16输出控制信号，以用于使sel 16向发送单元17输出图像数据和指示识别结果的元数据。
[0064]
同时，当识别单元14未识别到被摄体时，数据发送确定单元15向sel 16输出控制信号，以用于使sel 16向发送单元17输出大意如此的信息(无数据)。根据从数据发送确定单元15输入的控制信号，sel 16向发送单元17输出一组图像数据和元数据或者无数据。
[0065]
发送单元17是执行与ap 2的数据通信的通信接口(i/f)，并且向ap2发送从sel 16输入的图像数据和元数据的集合或无数据。
[0066]
如上所述，图像传感器1仅在识别到被摄体的情况下向ap 2发送图像数据，当未识别到被摄体时不向ap 2发送图像数据，因此，可以减少发送图像数据所需的功耗。
[0067]
ap 2包括：具有cpu、rom、ram等的微型计算机，该微型计算机执行对应于图像识别系统100的使用的各种应用程序；以及各种电路。ap2包括接收单元21、认证单元22和认证数据存储单元23。
[0068]
在认证数据存储单元23中，存储有用于认证由图像传感器1识别的被摄体的认证程序、认证图像数据等。接收单元21是执行与图像传感器1的数据通信的通信i/f。接收单元21从图像传感器1接收图像数据和元数据的集合或者无数据，并且将接收到的一者输出到认证单元22。
[0069]
认证单元22在从接收单元21接收到无数据的情况下不激活，并且在接收到图像数据和元数据的集合的情况下被激活。一旦被激活，认证单元22从认证数据存储单元23读取认证程序并执行该程序，并且认证由图像传感器1识别的被摄体。
[0070]
例如，在接收指示被摄体是人的元数据和图像数据的集合的情况下，认证单元22将图像数据和人类认证图像数据彼此对照，并且执行用于识别谁是这样识别出的人的处理等。
[0071]
此时，认证单元22基于没有伪影的高灵敏度图像、中灵敏度图像、低灵敏度图像和红外图像的图像数据来识别人，并且其中，被摄体被图像传感器1高精度地识别为人。因此，认证单元22可以准确地识别被识别的人是谁。注意，上述实施例仅仅是示例，并且可以以各种方式修改。接下来，将描述根据本公开的实施例的修改例。
[0072]
[3.由信号处理单元执行的处理的修改例]
[0073]
图6是示出根据本公开的由信号处理单元执行的处理的修改例的说明图。图7是示出根据本公开的使用dnn的示例的修改例的说明图。
[0074]
如图6所示，对于输入图像数据，根据修改例的信号处理单元执行阴影校正、混合色校正、数字增益调节、白平衡增益调节和伽马校正，并将已经经过信号处理的图像数据输出到识别单元14和sel 16。
[0075]
如上所述，信号处理单元可以从图4所示的信号处理中省略去马赛克。在这种情况下，识别单元14从没有经过去马赛克的图像数据中识别被摄体。如上所述，未经过去马赛克的高灵敏度图像、中灵敏度图像和低灵敏度图像的图像数据中的每一个变成四种类型的像素信号r、gr、gb和b。此外，未经过去马赛克的红外图像的图像数据变成像素信号irr、irgr、irgb和irb。
[0076]
因此，识别单元14向dnn输入长时间曝光信号r、gr、gb和b、中间时间曝光信号r、gr、gb和b、短时间曝光信号r、gr、gb和b以及红外光信号irr、irgr、irgb和ir(见图2b)。在这种情况下，在识别单元14中，由于到dnn的输入通道的数量增加，其吞吐量增加。然而，高灵敏度图像、中灵敏度图像、低灵敏度图像和红外图像的图像数据单独输入到dnn，因此，识别单元14可以高精度地识别被摄体，而不受伪影的影响。
[0077]
注意，在其他修改例中，也可以省略信号处理单元本身。类似地，在这种情况下，识别单元14向dnn输入长时间曝光信号r、gr、gb和b、中间时间曝光信号r、gr、gb和b、短时间曝光信号r、gr、gb和b以及红外光信号irr、irgr、irgb和ir。因此，尽管识别单元14的吞吐量增加，但是整个图像传感器1的吞吐量大大降低了未执行的信号处理量。
[0078]
注意，在上述实施例中，在识别到被摄体的情况下，数据发送确定单元15使sel 16每次都输出识别结果的元数据和图像数据；然而，可以根据电池的剩余容量来选择使sel 16输出的数据。
[0079]
例如，当被摄体被识别单元14识别时，在电池的剩余容量等于或大于预定的剩余容量的正常模式下，数据发送确定单元15使sel 16输出元数据和图像数据。此外，在电池的剩余容量小于预定剩余容量的低功耗模式下，数据发送确定单元15使sel 16仅输出元数据。因此，当电池的剩余容量不足时，数据发送确定单元15可以将图像传感器1的功耗抑制到较低水平。
[0080]
[4.通过识别单元识别被摄体的修改例]
[0081]
图7是示出根据本公开的识别单元将使用的dnn的修改例的说明图。在图2b和图5b所示的示例中，识别单元14通过使用一个dnn来识别被摄体；然而，也可以使用两个dnn，如图7所示。
[0082]
具体地，长时间曝光图像、中间时间曝光图像和短时间曝光图像具有色调；然而，红外图像没有色调。因此，在长时间曝光图像、中间时间曝光图像和短时间曝光图像与红外图像之间，其中的被摄体的特征是不同的。
[0083]
因此，根据修改例的识别单元通过使用第一dnn和第二dnn来识别被摄体。第一dnn是通过专门从长时间曝光图像、中间时间曝光图像和短时间曝光图像中识别被摄体而经过机器学习的学习模型。第二dnn是通过专门从红外图像中识别被摄体来进行机器学习的学习模型。
[0084]
根据修改例的识别单元向第一dnn输入长时间曝光信号r、g和b、中间时间曝光信
号r、g和b以及短时间曝光信号r、g和b，并且从长时间曝光图像、中间时间曝光图像和短时间曝光图像识别被摄体。此外，识别单元将红外光信号输入到第二dnn，并从红外图像识别被摄体。因此，识别单元可以进一步提高被摄体的识别精度。
[0085]
[5.像素阵列的修改例]
[0086]
图8是示出根据本公开的像素阵列的第一修改例的说明图。图9是示出根据本公开的像素阵列的第二修改例的说明图。图10是示出当采用根据本公开的像素阵列的第二修改例时使用dnn的示例的说明图。图11是示出根据本公开的像素阵列的第三修改例的说明图。
[0087]
如图8所示，根据第一修改例的像素阵列a2包括飞行时间(tof)传感器，来代替图1所示的成像元件ir。在采用像素阵列a2的情况下，图像传感器1包括向被摄体施加红外光的发光单元。
[0088]
每个tof传感器是基于从施加红外光直到接收到被摄体上反射的红外光的时间来测量到被摄体的距离的传感器。通过采用这样的像素阵列a2，图像传感器1可以测量到被摄体的距离并且识别被摄体。
[0089]
此外，如图9所示，根据第二修改例的像素阵列a3包括：接收红光的成像像素r；接收绿光的成像像素g；接收蓝光的成像像素b；以及接收红外光的成像像素ir。
[0090]
成像像素r包括长时间曝光的成像元件rl和短时间曝光的成像元件rs。成像像素g包括长时间曝光的成像元件gl和短时间曝光的成像元件gs。成像像素b包括长时间曝光的成像元件bl和短时间曝光的成像元件bs。
[0091]
如上所述，在像素阵列a3中，成像像素r、g和b分别以一对二的关系包括成像元件rl和rs、gl和gs以及bl和bs。通常，这种像素阵列a3用于自动聚焦，其均衡设置在成像像素r、g和b中的所有成像元件rl和rs、gl和gs以及bl和bs的曝光时间，并且基于由右成像元件和左成像元件接收的每条光之间的相位差自动调节焦点。
[0092]
在本公开中，单独控制设置在这种像素阵列a3的成像像素r、g和b中的成像元件rl和rs、gl和gs以及bl和bs的曝光时间，由此使得成像元件rl、gl和bl用作长时间曝光像素，并且使得成像元件rs、gs和bs用作短时间曝光像素。
[0093]
因此，像素阵列a3可以对长时间曝光图像和短时间曝光图像进行成像。此外，像素阵列a3包括成像元件ir，因此，也可以与长时间曝光图像和短时间曝光图像同时对ir图像进行成像。
[0094]
当采用像素阵列a3时，如图10所示，识别单元14将从成像像素rl、gl和bl输出的长时间曝光信号、从成像像素rs、gs和bs输出的短时间曝光信号以及从成像元件ir输出的红外光信号输入到dnn。因此，识别单元14可以从长时间曝光图像、短时间曝光图像和红外图像中高精度地单独识别被摄体。
[0095]
此外，类似于图9所示的像素阵列a3，如图11所示，根据第四修改例的像素阵列a4包括接收红光的一对成像元件r和r、接收绿光的一对成像元件g和g以及接收蓝光的成像元件b和b。此外，像素阵列a4包括接收红外光的一对成像元件ir和ir。成像元件r、g、b和ir中的每一个都包括两个光电转换元件pd。
[0096]
在这样的像素阵列a4中，例如，在设置在成像元件对r和r中的四个光电转换元件pd中，一个被长时间曝光，两个被中间时间曝光，剩余的一个被短时间曝光。此外，在像素阵列a4中，在设置在一对成像元件g和g中的四个光电转换元件pd中，一个被长时间曝光，两个
被中间时间曝光，剩余的一个被短时间曝光。
[0097]
此外，在像素阵列a4中，例如，在设置在成像元件对b和b中的四个光电转换元件pd中，一个被长时间曝光，两个被中间时间曝光，剩余的一个被短时间曝光。因此，像素阵列a4可以对长时间曝光图像、中间时间曝光图像和短时间曝光图像进行成像。
[0098]
此外，像素阵列a4对成像元件ir和ir进行曝光，从而能够对ir图像进行成像。当采用这种像素阵列a4时，识别单元14将长时间曝光图像、中间时间曝光图像、短时间曝光图像和红外图像的图像数据输入到dnn，从而可以高精度地识别被摄体，而不受伪影的影响。
[0099]
[6.移动主体的应用示例]
[0100]
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以实现为安装在任何类型的移动主体上的装置，例如，汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、轮船和机器人。
[0101]
图12是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动主体控制系统的实例。
[0102]
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图12所示出的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(i/f)12053作为集成控制单元12050的功能配置而示出。
[0103]
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。
[0104]
车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动设备所发送的无线电波或者各种开关的信号作为输入。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
[0105]
车外信息检测单元12030检测配有车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。
[0106]
成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
[0107]
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍
摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。
[0108]
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(adas)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。
[0109]
此外，微型计算机12051，可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
[0110]
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051，可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。
[0111]
声音/图像输出部12052将声音和图像中的至少一者的输出信号发送至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图12的示例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062例如可包括车载显示器和平视显示器中的至少一个。
[0112]
图13是示出成像部12031的安装位置的实例的示图。
[0113]
在图13中，成像部12031包括成像部12101、12102、12103、12104和12105。
[0114]
成像部12101、12102、12103、12104和12105可以被设置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。设置在前鼻的成像部12101以及设置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。设置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。设置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。设置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
[0115]
顺便提及，图13示出成像部12101至12104的拍摄范围的实例。成像范围12111表示设置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示设置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101至12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。
[0116]
成像部12101至12104中的至少一个可具有获得距离信息的功能。例如，成像部12101至12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
[0117]
例如，微型计算机12051能够基于从成像部12101至12104获得的距离信息，确定到成像范围12111至12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在
于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
[0118]
例如，微型计算机12051能够基于从成像部12101至12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。
[0119]
成像部12101至12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像部12101至12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像部12101至12104的成像图像中的特性点的程序，以及通过在表示对象轮廓的一系列特性点上执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像部12101至12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，使其显示叠加在所识别的行人用于强调所识别的行人的方形轮廓线。声音/图像输出部12052还可控制显示部12062，使其在期望的位置处显示表示行人的图标等。
[0120]
上面已经描述了根据本公开的技术适用的车辆控制系统的示例。根据本公开的技术适用于例如上述组成部分中的车外信息检测单元12030、成像单元12031、车内信息检测单元12040、驾驶员状态检测单元12041等。例如，图1的图像识别装置1可以应用于车内信息检测单元12040和驾驶员状态检测单元12041。根据本公开的技术应用于车内信息检测单元12040和驾驶员状态检测单元12041，由此提高了作为被摄体的驾驶员的识别精度。因此，可以更精确地检测驾驶员的疲劳程度和集中程度、驾驶员是否在打瞌睡等。
[0121]
[7.效果]
[0122]
作为图像识别装置的示例的图像传感器1包括成像单元10和识别单元14。成像单元10使用接收可见光的成像像素r、gr、gb和b以及接收红外光的成像像素ir，并且在一个帧周期中在相同的曝光定时对多个图像进行成像，以生成图像数据。识别单元从每条图像数据中识别被摄体。因此，图像传感器1消除了伪影的影响，从而可以提高被摄体的识别精度。
[0123]
此外，成像单元10具有像素阵列a1，其中，具有相同光接收面积和不同曝光时间的多个成像像素r、gr、gb和b以及接收红外光的成像像素ir二维排列。因此，图像传感器1从具有不同曝光时间和红外图像的图像数据中的每一个识别被摄体，从而可以高精度地识别被摄体，而不受伪影的影响。
[0124]
此外，像素阵列a1包括：成像元件l，其是接收可见光的长时间曝光成像像素的示例；成像元件m，其是接收该成像元件的中间时间曝光成像像素的示例；以及成像元件s，其是接收短时间曝光成像像素的示例。因此，图像传感器1从长时间曝光图像、中间时间曝光
图像和短时间曝光图像中的每一个识别被摄体，并且由此可以高精度地识别被摄体，而不受伪影的影响。
[0125]
此外，在像素阵列a3中，每个像素由成像元件rl和rs、gl和gs或bl和bs组成，每对成像元件具有曝光时间不同的两个成像元件。因此，图像传感器1可以通过使用用于自动聚焦的相位差像素来对长时间曝光图像和短时间曝光图像进行成像。
[0126]
此外，在像素阵列a4中，每个像素由成像元件r和r、g和g或b和b组成，每对成像元件具有两个成像元件。成像元件r、g和b中的每一个包括曝光时间不同的两个光电转换元件pd。因此，图像传感器1控制每个光电转换元件pd的曝光时间，从而可以对长时间曝光图像、中间时间曝光图像和短时间曝光图像进行成像。
[0127]
此外，在识别到被摄体的情况下，识别单元14将被摄体的识别结果和图像数据输出到作为后续装置的示例的ap 2，并且在未识别到被摄体的情况下，将大意如此的信息输出到ap 2。因此，图像传感器1在未识别到被摄体的情况下不输出图像数据，因此，可以降低功耗。
[0128]
此外，当电池的剩余容量等于或大于预定剩余容量时，识别单元14将被摄体的识别结果和图像数据输出到ap 2，并且当电池的剩余容量小于预定剩余容量时，识别单元14将被摄体的识别结果输出到ap 2，而不将图像数据输出到ap 2。因此，当电池的剩余容量小于预定剩余容量时，即使在识别被摄体的情况下，图像传感器1也不输出图像数据，因此，可以降低功耗。
[0129]
此外，识别单元14从经过去马赛克处理的图像数据中识别被摄体。因此，在通过使用dnn识别到被摄体的情况下，图像传感器1减少了dnn的输入通道的数量，从而可以减少处理负荷。
[0130]
此外，识别单元14从没有经过去马赛克处理的图像数据中识别被摄体。因此，尽管在通过使用dnn识别到被摄体的情况下吞吐量增加，但是图像传感器1可以从高灵敏度图像、中灵敏度图像、低灵敏度图像和红外图像的图像数据中高精度地识别被摄体。
[0131]
此外，识别单元14从自成像单元10输入的图像数据中识别被摄体。因此，尽管在通过使用dnn识别被摄体的情况下吞吐量增加，但是图像传感器1可以将整个图像传感器1的吞吐量大大减少了未执行的信号处理的量。
[0132]
此外，接收红外光的成像像素是飞行时间(tof)传感器。因此，图像传感器1可以测量到被摄体的距离以及识别被摄体。
[0133]
此外，图像识别方法使用接收可见光的成像像素和接收红外光的成像像素，在一个帧周期中在相同的曝光定时对多个图像成像，以生成图像数据，并且从每条图像数据中识别被摄体。根据这种图像识别方法，消除了伪影的影响，由此可以提高被摄体的识别精度。
[0134]
注意，在本说明书中描述的效果仅仅是示例而非限制，并且可以存在其他效果。
[0135]
注意，本技术也可以采用如下配置。
[0136]
(1)一种图像识别装置，包括：
[0137]
成像单元，使用接收可见光的成像像素和接收红外光的成像像素，并且在一个帧周期中在相同的曝光定时对多个图像成像，以生成图像数据；以及
[0138]
识别单元，从每条图像数据中识别被摄体。
[0139]
(2)根据(1)的图像识别装置，其中，
[0140]
成像单元包括：
[0141]
像素阵列，在该像素阵列中，具有相同光接收面积和不同曝光时间的多个成像像素和接收红外光的成像像素二维地排列。
[0142]
(3)根据(2)的图像识别装置，其中，
[0143]
像素阵列包括：
[0144]
接收可见光的长时间曝光成像像素、接收可见光的中间时间曝光成像像素以及接收可见光的短时间曝光成像像素。
[0145]
(4)根据(2)的图像识别装置，其中，
[0146]
在像素阵列中，
[0147]
每个像素由曝光时间不同的两个成像元件组成。
[0148]
(5)根据(2)的图像识别装置，其中，
[0149]
在像素阵列中，
[0150]
每个像素由两个成像元件组成，并且
[0151]
每个成像元件包括
[0152]
曝光时间不同的两个光电转换元件。
[0153]
(6)根据(1)至(5)中任一项的图像识别装置，其中，
[0154]
在识别到被摄体的情况下，识别单元将被摄体的识别结果和图像数据输出到后续装置，并且在未识别到被摄体的情况下，将大意如此的信息输出到后续装置。
[0155]
(7)根据(6)的图像识别装置，其中，
[0156]
当电池的剩余容量等于或大于预定剩余容量时，识别单元将被摄体的识别结果和图像数据输出到后续装置，并且当电池的剩余容量小于预定剩余容量时，该识别单元将被摄体的识别结果输出到后续装置，而不将图像数据输出到后续装置。
[0157]
(8)根据(1)至(7)中任一项的图像识别装置，其中，
[0158]
识别单元：
[0159]
从经过去马赛克处理的图像数据中识别被摄体。
[0160]
(9)根据(1)至(8)中任一项的图像识别装置，其中，
[0161]
识别单元：
[0162]
从没有经过去马赛克处理的图像数据中识别被摄体。
[0163]
(10)根据(1)至(8)中任一项的图像识别装置，其中，
[0164]
识别单元：
[0165]
从要从成像单元输入的图像数据中识别被摄体。
[0166]
(11)根据(1)至(10)中任一项的图像识别装置，其中，
[0167]
接收红外光的成像像素是：
[0168]
飞行时间(tof)传感器。
[0169]
(12)一种图像识别方法，包括：
[0170]
使用接收可见光的成像像素和接收红外光的成像像素，并且在一个帧周期中在相同的曝光定时对多个图像成像，以生成图像数据；并且
[0171]
从每条图像数据中识别被摄体。
[0172]
附图标记列表
[0173]
100图像识别系统
[0174]
1图像传感器
[0175]
10成像单元
[0176]
a1、a2、a3、a4像素阵列
[0177]
12a/d转换单元
[0178]
13信号处理单元
[0179]
14识别单元
[0180]
15数据发送确定单元
[0181]
16sel
[0182]
17发送单元
[0183]
2ap
[0184]
21接收单元
[0185]
22认证单元
[0186]
23认证数据存储单元
[0187]
31对象识别单元
[0188]
32对象识别数据存储单元。