信息处理装置、信息处理系统、信息处理程序及信息处理方法与流程

1.本公开涉及信息处理装置、信息处理系统、信息处理程序和信息处理方法。


背景技术：

2.用于利用诸如图像传感器或毫米波雷达之类的传感器来检测物体的技术是已知的。作为用于检测物体的传感器，存在各种检测方法的传感器，并且在一些情况下传感器适合用于不同的情况。因此，已经提出了通过组合使用检测方法不同的传感器来检测物体的技术。
3.引文列表
4.专利文献
5.专利文献1：wo 17/057056 a


技术实现要素：

6.技术问题
7.在组合使用检测方法不同的多个传感器的情况下，当通过使用传感器的所有输出来执行检测处理时，检测处理负荷会增加。为了避免检测处理负荷的增加，有可能使用对传感器的输出设置检测窗口并且限制检测处理的范围的方法。但是，尚未定义用于设置检测窗口的方法。
8.本公开的目的是提供能够在使用多个不同传感器的情况下减少处理负荷的信息处理装置、信息处理系统、信息处理程序和信息处理方法。
9.问题的解决方案
10.为了解决上述问题，根据本公开的一个方面的信息处理装置具有识别处理单元，该识别处理单元被配置为通过将区域信息添加到第一传感器的输出来执行用于识别目标物体的识别处理，区域信息是基于与第一传感器不同的第二传感器的输出根据在物体识别处理的过程中检测到的物体似然度生成的。
附图说明
11.图1是图示车辆控制系统的示意性配置的示例的框图。
12.图2是用于解释车辆控制系统中的车外信息检测单元的功能的示例的功能框图。
13.图3是图示在识别处理单元中使用的物体识别模型的配置的示例的图。
14.图4是图示学习系统的配置的示例的框图。
15.图5是图示适用于每个实施例的车外信息检测单元的硬件构造的示例的框图。
16.图6是示意性地图示根据本公开实施例的物体识别模型的图。
17.图7是图示根据第一实施例的物体识别模型的示例的配置的图。
18.图8是图示根据第一实施例的组合单元的示例的配置的图。
19.图9是用于解释根据第一实施例的物体识别模型的关注图的第一示例的示意图。
20.图10是用于解释根据第一实施例的物体识别模型的关注图的第二示例的示意图。
21.图11是图示根据第二实施例的物体识别模型的示例的配置的图。
22.图12是图示根据第三实施例的物体识别模型的示例的配置的图。
23.图13是图示根据第三实施例的组合单元的示例的配置的图。
24.图14是图示根据第四实施例的物体识别模型的示例的配置的图。
25.图15是图示根据第五实施例的物体识别模型的示例的配置的图。
26.图16是图示根据第六实施例的车外信息检测单元和数据获取单元的第一示例的示例的框图。
27.图17是图示根据第六实施例的车外信息检测单元和数据获取单元的第二示例的示例的框图。
28.图18是图示根据第六实施例的车外信息检测单元和数据获取单元的第三示例的示例的框图。
29.图19是图示根据第六实施例的车外信息检测单元和数据获取单元的第四示例的示例的框图。
具体实施方式
30.在下文中，将参考附图详细描述本公开的实施例。在以下实施例中，相同的部分用相同的附图标记表示，并且省略了对这些部分的重复解释。
31.在下文中，按照以下次序描述本公开的实施例。
32.1.适用于每个实施例的技术
33.1-1.车载系统示例
34.1-2.功能的概要
35.1-3.硬件配置的示例
36.2.本公开的实施例的概要
37.3.第一实施例
38.3-1.具体示例
39.4.第二实施例
40.5.第三实施例
41.6.第四实施例
42.7.第五实施例
43.8.第六实施例
44.8-1.第一示例
45.8-2.第二示例
46.8-3.第三示例
47.8-4.第四示例
48.8-5.第五示例
49.8-6.第六示例
50.[1.适用于每个实施例的技术]
[0051]
在描述本公开的每个实施例之前，为了便于理解，描述可应用于本公开的每个实
施例的技术。
[0052]
(1-1.车载系统的示例)
[0053]
首先，示意性地描述可应用于本公开的每个实施例的车载系统。图1是图示作为可应用于根据本公开的每个实施例的车载系统的示例的车辆控制系统的示意性配置的示例的框图。
[0054]
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图1中所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元10、车辆内部信息检测单元12040和集成控制单元12050。另外，作为集成控制单元12050的功能配置，图示了微型计算机12051、声音/图像输出单元12052和车载网络接口(i/f)12053。
[0055]
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元12010用作用于生成车辆的驱动力的驱动力生成设备(诸如内燃机和驱动马达)、用于向车轮传输驱动力的驱动力传输机构、用于调整车辆的转向角的转向机构以及用于生成车辆的制动力的制动设备的控制设备。
[0056]
车身系统控制单元12020根据各种程序控制车身中配备的各种设备的动作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗设备或包括前照灯、尾灯、制动灯、转向灯和雾灯在内的各种灯的控制设备。在这种情况下，车身系统控制单元12020接收从用作键的移动设备发送的无线电波或开关的信号的输入。车身系统控制单元12020接收无线电波或信号的输入以控制车辆的门锁装置、电动车窗设备、灯等。
[0057]
车辆外部信息检测单元10检测关于其上安装有车辆控制系统12000的车辆外部的信息。例如，数据获取单元20连接到车辆外部信息检测单元10。在车辆外部信息检测单元10中，数据获取单元20包括用于监视车辆外部情况的各种传感器。例如，数据获取单元20可以包括接收可见光或非可见光(诸如红外线)并基于接收到的光量输出电信号的光学传感器，并且车辆外部信息检测单元10接收由光学传感器捕获的图像。另外，数据获取单元20还可以包括以诸如毫米波雷达、光检测和测距或激光成像检测和测距(lidar)之类的另一种方法监视外部情况的传感器，或超声传感器。
[0058]
数据获取单元20例如在车辆12100的前鼻部、其侧视镜、车辆内部的前玻璃的上部等中提供，车辆前方的区域被视为数据获取方向。车辆外部信息检测单元10可以基于从数据获取单元20接收到的传感器的输出来执行距离检测处理或物体(诸如路面上的人、车辆、障碍物、标志或字符)的检测处理。
[0059]
车辆内部信息检测单元12040检测关于车辆内部的信息。例如，用于检测驾驶员的状态的驾驶员状态检测单元12041连接到车辆内部信息检测单元12040。驾驶者状态检测单元12041例如包括用于捕获驾驶者的图像的相机，并且车辆内部信息检测单元12040可以计算出驾驶员的疲劳度或注意力集中度，或者，可替代地，可以基于从驾驶员状态检测单元12041输入的检测信息来判断驾驶员是否在打瞌睡。
[0060]
微型计算机12051可以基于由车辆外部信息检测单元10或车辆内部信息检测单元12040获取的车辆外部信息和车辆内部信息来计算驱动力生成设备、转向机构或制动设备的控制目标值，并向驱动系统控制单元12010输出控制指令。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(adas)的功能的协作控制，包括针对车辆的防撞或减震、
基于车辆之间的距离在领先车辆之后行驶、在维持车速的同时行驶、车辆碰撞的警告、车辆偏离车道的警告等。
[0061]
另外，通过基于由车辆外部信息检测单元10或车辆内部信息检测单元12040获取的关于车辆周围的信息来控制驱动力生成设备、转向机构或制动设备，微型计算机12051可以执行旨在实现自动驾驶的协作控制，该自动驾驶是无需驾驶员执行的操作的自主驾驶。
[0062]
微型计算机12051还可以基于由车辆外部信息检测单元10获取的车辆外部信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以执行旨在防止眩光的协作控制，诸如通过根据由车辆外部信息检测单元10检测到的领先车辆或迎面车辆的位置控制前照灯从远光切换到近光。
[0063]
对于车内的人或车外，声音/图像输出单元12052将声音和图像中的至少一个的输出信号发送到可以向其发送视觉或音频信息的输出设备。图1例示了音频扬声器12061、显示单元12062和仪表板12063作为输出设备。显示单元12062可以包括例如板载显示器和平视显示器中的至少一种。
[0064]
(1-2.功能的概要)
[0065]
接下来，示意性地描述可应用于本公开的每个实施例的车辆外部信息检测单元10的功能的示例。
[0066]
图2是用于解释图1的车辆控制系统12000中的车辆外部信息检测单元10的功能的示例的功能框图。在图2中，数据获取单元20包括相机21和毫米波雷达23。车辆外部信息检测单元10包括信息处理单元11。信息处理单元11包括图像处理单元12、信号处理单元13、几何变换单元14和识别处理单元15。
[0067]
相机21包括图像传感器22。图像传感器22可以是任何类型的图像传感器，诸如cmos图像传感器或ccd图像传感器。相机21(图像传感器22)捕获其上安装有车辆控制系统12000的车辆前方的区域的图像，并将获得的图像(下文中称为捕获的图像)供应给图像处理单元12。
[0068]
毫米波雷达23感测位于车辆前方的区域，并且感测到的范围和相机21的感测到的范围至少部分重叠。例如，毫米波雷达23向车辆的前方发送包括毫米波的传输信号，并使用接收天线接收作为从车辆前方存在的物体(反射器)反射的信号的接收信号。例如，多个接收天线在车辆的横向方向(宽度方向)上以预定间隔提供。另外，也可以在高度方向上提供多个接收天线。毫米波雷达23向信号处理单元13供应按时间顺序指示由每个接收天线接收到的接收信号的强度的数据(下文中称为毫米波数据)。
[0069]
注意的是，毫米波雷达23的传输信号在预定角度范围内被扫描，例如，在二维平面中以形成风扇形感测到的范围。在垂直方向上对其进行扫描以获得具有三维信息的鸟瞰视图。
[0070]
图像处理单元12对捕获的图像执行预定的图像处理。例如，图像处理单元12根据识别处理单元15可以处理的图像的尺寸对捕获的图像的像素执行稀疏化处理、滤波处理等，并减少捕获的图像的像素数(降低分辨率)。图像处理单元12将分辨率降低的捕获的图像(下文中称为低分辨率图像)供应给识别处理单元15。
[0071]
信号处理单元13对毫米波数据执行预定的信号处理以生成毫米波图像，该毫米波图像是指示由毫米波雷达23执行的感测的结果的图像。注意的是，信号处理单元13例如生
成包括信号强度图像和速度图像的多通道(ch)毫米波图像。信号强度图像是毫米波图像，其指示存在于车辆前方的每个物体的位置以及从每个物体反射的信号(接收信号)的强度。速度图像是毫米波图像，其指示存在于车辆前方的每个物体的位置以及每个物体与车辆的相对速度。
[0072]
几何变换单元14对毫米波图像执行几何变换以将毫米波图像变换为具有与捕获的图像的坐标系相同的坐标系的图像。换句话说，几何变换单元14将毫米波图像变换为从与捕获的图像相同的视点查看的图像(下文中，称为几何变换的毫米波图像)。更具体而言，几何变换单元14将信号强度图像和速度图像的坐标系从毫米波图像的坐标系变换到捕获的图像的坐标系。注意的是，将已经经过几何变换的信号强度图像和速度图像分别称为几何变换的信号强度图像和几何变换的速度图像。几何变换单元14将几何变换的信号强度图像和几何变换的速度图像供应给识别处理单元15。
[0073]
识别处理单元15使用通过机器学习预先获得的识别模型来执行基于低分辨率图像、几何变换的信号强度图像和几何变换的速度图像识别存在于车辆前方的目标物体的处理。识别处理单元15经由通信网络12001将指示目标物体的识别结果的数据供应给集成控制单元12050。
[0074]
注意的是，目标物体是要被识别处理单元15识别的物体，并且可以将任何物体设置为目标物体。但是，期望将包括毫米波雷达23的传输信号中具有高反射率的部分的物体设置为目标物体。在下文中，目标物体是车辆的情况被描述为适当的示例。
[0075]
图3图示了在识别处理单元15中使用的物体识别模型40的配置的示例。
[0076]
物体识别模型40是通过机器学习获得的模型。具体而言，物体识别模型40是通过深度学习获得的模型，深度学习是一种类型的使用深度神经网络的机器学习。更具体而言，物体识别模型40包括作为使用深度神经网络的物体识别模型之一的单次多盒检测器(ssd)。物体识别模型40包括特征量提取单元44和识别单元45。
[0077]
特征量提取单元44包括作为使用卷积神经网络的卷积层的特征提取层41a至特征提取层41c，以及加法单元42。特征提取层41a提取捕获的图像pa的特征量以生成二维地表示特征量的分布的特征图(下文中称为捕获的图像特征图)。特征提取层41a将捕获的图像特征图供应给加法单元42。
[0078]
特征提取层41b提取几何变换的信号强度图像pb的特征量以生成二维地表示特征量的分布的特征图(下文中称为信号强度图像特征图)。特征提取层41b将信号强度图像特征图供应给加法单元42。
[0079]
特征提取层41c提取几何变换的速度图像pc的特征量以生成二维地表示特征量的分布的特征图(下文中称为速度图像特征图)。特征提取层41c将速度图像特征图供应给加法单元42。
[0080]
加法单元42将捕获的图像特征图、信号强度图像特征图和速度图像特征图相加在一起以生成组合特征图。加法单元42将组合特征图供应给识别单元45。
[0081]
识别单元45包括卷积神经网络。具体而言，识别单元45包括卷积层43a至卷积层43c。
[0082]
卷积层43a对组合特征图执行卷积操作。卷积层43a基于已经对其执行了卷积运算的组合特征图来执行识别目标物体的处理。卷积层43a向卷积层43b供应已经对其执行卷积
运算的组合特征图。
[0083]
卷积层43b对由卷积层43a提供的组合特征图执行卷积运算。卷积层43b基于已经对其执行了卷积运算的组合特征图来执行识别目标物体的处理。卷积层43a向卷积层43c供应已经对其执行了卷积运算的组合特征图。
[0084]
卷积层43c对由卷积层43b提供的组合特征图执行卷积运算。卷积层43b基于已经对其执行了卷积运算的组合特征图来执行识别目标物体的处理。
[0085]
物体识别模型40将指示由卷积层43a执行的目标物体的识别的结果的数据输出到卷积层43c。
[0086]
注意的是，组合特征图的尺寸(像素数)从卷积层43a开始依次减小，并且在卷积层43c中最小。另外，随着组合特征图的尺寸增加，如从车辆(相机)查看的，具有小尺寸的目标物体的识别准确性增加，并且随着组合特征图的尺寸减小，如从车辆查看的，具有大尺寸的目标物体的识别准确性增加。因此，例如，在目标物体是车辆的情况下，在具有大尺寸的组合特征图中容易识别出位于远处的小型车辆，而在具有小尺寸的组合特征图中容易识别出附近的大型车辆。
[0087]
图4是图示学习系统30的配置的示例的框图。学习系统30对图3的物体识别模型40执行学习处理。学习系统30包括输入单元31、图像处理单元32、正确答案数据生成单元33、信号处理单元34、几何变换单元35、训练数据生成单元36和学习单元37。
[0088]
输入单元31包括各种输入设备，并且被用于输入生成训练数据所必需的数据、用户操作等。例如，在输入捕获的图像的情况下，输入单元31将捕获的图像供应给图像处理单元32。例如，在输入毫米波数据的情况下，输入单元31将毫米波数据供应给信号处理单元34。例如，输入单元31向正确答案数据生成单元33和训练数据生成单元36供应指示通过用户执行的操作输入的用户指令的数据。
[0089]
图像处理单元32执行与图2的图像处理单元12执行的处理相似的处理。具体而言，图像处理单元32对捕获的图像执行预定的图像处理，以生成低分辨率图像。图像处理单元32将低分辨率图像供应给正确答案数据生成单元33和训练数据生成单元36。
[0090]
正确答案数据生成单元33基于低分辨率图像生成正确答案数据。例如，用户通过输入单元31在低分辨率图像中指定车辆的位置。正确答案数据生成单元33基于用户指定的车辆的位置来生成指示低分辨率图像中车辆的位置的正确答案数据。正确答案数据生成单元33将正确答案数据供应给训练数据生成单元36。
[0091]
信号处理单元34执行与图2的信号处理单元13执行的处理相似的处理。具体而言，信号处理单元34对毫米波数据执行预定的信号处理以生成信号强度图像和速度图像。信号处理单元34将信号强度图像和速度图像供应给几何变换单元35。
[0092]
几何变换单元35执行与图2的几何变换单元14执行的处理相似的处理。具体而言，几何变换单元35对信号强度图像和速度图像执行几何变换。几何变换单元35将几何变换的信号强度图像和几何变换的速度图像供应给训练数据生成单元36。
[0093]
训练数据生成单元36生成包括低分辨率图像、几何变换的信号强度图像和几何变换的速度图像的输入数据，以及包括正确答案数据的训练数据。训练数据生成单元36将训练数据供应给学习单元37。
[0094]
学习单元37使用训练数据对物体识别模型40执行学习处理。学习单元37输出已经
学习到的物体识别模型40。
[0095]
在此，描述由学习系统30执行的关于物体识别模型的学习处理。
[0096]
注意的是，在处理开始之前，收集用于生成训练数据的数据。例如，在车辆实际行驶的状态下，在车辆中提供的相机21和毫米波雷达23对位于车辆前方的区域执行感测。具体而言，相机21捕获位于车辆前方的区域的图像，并将由此获得的捕获的图像存储到存储单元中。毫米波雷达23检测存在于车辆前方的物体，并将由此获得的毫米波数据存储在存储单元中。基于捕获的图像和存储单元中累积的毫米波数据生成训练数据。
[0097]
首先，学习系统30生成训练数据。例如，用户经由输入单元31向学习系统30输入基本上同时获取的捕获的图像和毫米波数据。换句话说，捕获的图像和通过在基本相同的时间点执行感测获得的毫米波数据被输入到学习系统30。捕获的图像被供应给图像处理单元32，并且毫米波数据被供应给信号处理单元34。
[0098]
图像处理单元32对捕获的图像执行诸如稀疏化处理之类的图像处理以生成低分辨率图像。图像处理单元32将低分辨率图像供应给正确答案数据生成单元33和训练数据生成单元36。
[0099]
信号处理单元34对毫米波数据执行预定的信号处理，以估计已经在车辆前方反射传输信号的物体的位置和速度。物体的位置由例如从车辆到物体的距离和物体相对于毫米波雷达23的光轴方向(车辆的行进方向)的方向(角度)表示。注意的是，毫米波雷达23的光轴方向等于在其中辐射传输信号的范围的中心方向，例如，在传输信号被径向传输的情况下，并且在传输信号被扫描的情况下，等于其中传输信号被扫描的范围的中心方向。物体的速度例如由物体与车辆的相对速度表示。
[0100]
信号处理单元34基于物体的位置和速度的估计的结果生成信号强度图像和速度图像。信号处理单元34将信号强度图像和速度图像供应给几何变换单元35。虽然未图示，但是与信号强度图像类似地，速度图像是示出存在于车辆前方的物体的位置和鸟瞰视图中每个物体的相对速度的分布的图像。
[0101]
几何变换单元35对信号强度图像和速度图像执行几何变换，并将信号强度图像和速度图像变换成与捕获的图像具有相同坐标系的图像，从而生成几何变换的信号强度图像和几何变换的速度图像。几何变换单元35将几何变换的信号强度图像和几何变换的速度图像供应给训练数据生成单元36。
[0102]
在几何变换的信号强度图像中，具有较高信号强度的部分较亮，而具有较低信号强度的部分较暗。在几何变换的速度图像中，具有较高相对速度的部分较亮，具有较低相对速度的部分较暗，并且检测不到相对速度(不存在物体)的部分用黑色填充。如上所述，毫米波图像(信号强度图像和速度图像)上的几何变换不仅表示物体在横向方向和深度方向上的位置，而且还表示物体在高度方向上的位置。
[0103]
但是，毫米波雷达23在高度方向上的分辨率随着距离的增加而降低。因此，有时检测到远处物体的高度大于实际高度。
[0104]
相反，在对毫米波图像进行几何变换的情况下，几何变换单元35限制存在于预定距离或更远处的物体的高度。具体而言，在对毫米波图像执行几何变换的情况下，在存在于预定距离或更远处的物体的高度超过预定上限值的情况下，几何变换单元35限制物体的高度，并执行几何变换。这防止例如在目标物体是车辆的情况下，由于检测到远处的车辆的高
度大于实际高度而发生错误识别。
[0105]
训练数据生成单元36生成包括捕获的图像、几何变换的信号强度图像和几何变换的速度图像的输入数据，以及包括正确答案数据的训练数据。训练数据生成单元36将如此生成的训练数据供应给学习单元37。
[0106]
接下来，学习单元37使物体识别模型40执行学习。具体而言，学习单元37将训练数据中包括的输入数据输入到物体识别模型40。物体识别模型40执行识别目标物体的处理以输出表示识别的结果的数据。学习单元37将物体识别模型40的识别的结果与正确答案数据进行比较，并调整物体识别模型40的参数等以减小误差。
[0107]
接下来，学习单元37确定是否要继续执行学习。例如，在物体识别模型40执行的学习没有结束的情况下，学习单元37确定要继续执行学习，并且处理返回到在开始时执行的学习数据生成处理。此后，重复执行上述每个处理，直到确定要终止学习。
[0108]
另一方面，作为学习单元37的确定的结果，例如，在物体识别模型40的学习已经结束的情况下，学习单元37确定学习将要结束，并且物体识别模型学习处理被终止。如上所述，生成已经执行了学习的物体识别模型40。
[0109]
(1-3.硬件配置的示例)
[0110]
继续描述可以对其应用于本公开的每个实施例的车辆外部信息检测单元10的硬件配置的示例。图5是图示适用于每个实施例的车辆外部信息检测单元10的硬件配置的示例的框图。在图5中，车辆外部信息检测单元10包括中央处理单元(cpu)400、只读存储器(rom)401、随机存取存储器(ram)402以及接口(i/f)403，404和405，它们经由总线410彼此连接以进行通信。注意的是，车辆外部信息检测单元10还可以包括诸如闪存之类的存储设备。
[0111]
cpu 400根据预先存储在rom 401中的程序或数据使用ram 402作为工作存储器来控制车辆外部信息检测单元10的整体操作。在此，rom 401或ram 402预先存储用于实现参考图2至4描述的物体识别模型40的程序和数据。程序由cpu 400执行，cpu 400在车辆外部信息检测单元10中构造物体识别模型40。
[0112]
接口403是用于连接相机21的接口。接口404是用于连接毫米波雷达23的接口。车辆外部信息检测单元10经由接口403和404控制相机21和毫米波雷达23，并获取由相机21捕获的捕获的图像数据(下文中称为图像数据)和由毫米波雷达23获取的毫米波数据。车辆外部信息检测单元10通过将图像数据和毫米波数据作为输入数据应用到物体识别模型40来执行识别物体的处理。
[0113]
在图5中，接口405是用于在车辆外部信息检测单元10和通信网络12001之间执行通信的接口。车辆外部信息检测单元10将指示由物体识别模型40从接口405输出的物体识别的结果的信息发送到通信网络12001。
[0114]
[2.本公开的实施例的概要]
[0115]
描述继续到本公开的实施例的概要。在本公开的每个实施例中，基于用于检测目标物体的第一传感器的输出来检测目标物体的检测窗口是以不同于第一传感器的方式基于用于检测目标物体的第二传感器的输出来设置的，并且识别目标物体的处理是基于第二传感器的输出中与检测窗口对应的区域的输出来执行的。
[0116]
图6是示意性地图示根据本公开的实施例的物体识别模型40的图。在物体识别模
型40a中，从相机21获取的图像数据100被输入到特征提取层110。另外，基于从毫米波雷达23获取的毫米波图像的毫米波图像数据200被输入到特征提取层210。
[0117]
例如，输入到物体识别模型40a的图像数据100在图像处理单元12中被整形为包括1个或多个通道的特征量的数据。图像数据100是由物体识别模型40a中的特征提取层110在其中提取特征、根据需要改变尺寸并添加特征量的通道的数据。特征提取层110提取了其特征的图像数据100在物体识别层120中进行卷积处理，并生成被顺序地卷积的物体识别层数据的多个集合。
[0118]
物体识别模型40a基于物体识别层数据的多个集合生成关注图130。关注图130例如包括指示用于相对于图像数据100中指示的范围限制用于物体识别的目标区域的检测窗口的信息。由此生成的关注图130被输入到乘法单元220。
[0119]
相反，例如，输入到物体识别模型40a的毫米波图像数据200被信号处理单元13和几何变换单元14整形为包括1个或多个通道的特征量的数据。毫米波图像数据200是由物体识别模型40a中的特征提取层210在其中提取特征、根据需要改变尺寸(例如，尺寸被设置为与图像数据100的尺寸相同)并添加特征量的通道的数据。由特征提取层提取其特征的每个通道的毫米波图像数据200被输入到乘法单元220，并对于每个像素与关注图130相乘。因此，执行物体识别的区域在毫米波图像数据200中受到限制。另外，乘法单元220的输出被输入到加法单元221，并且特征提取层210的输出被相加。加法单元221的输出被输入到物体识别层230并进行卷积处理。
[0120]
如上所述，对由关注图130限制的区域执行物体识别处理，从而导致物体识别处理的处理量的减少。
[0121]
注意的是，可以通过使用关于过去帧101的数据作为图像数据100来提高处理速度。
[0122]
[3.第一实施例]
[0123]
描述继续到本公开的第一实施例。图7是图示根据第一实施例的物体识别模型的示例的配置的图。参考图7，在物体识别模型40b中，图7左侧所示的特征提取层110和210以及物体识别层120和230中的处理等同于图6中的处理，因此对其的描述在本文中被省略。
[0124]
图7在其右侧示意性地图示了基于毫米波图像数据200的物体识别层230和基于图像数据100的物体识别层120。物体识别层230包括基于毫米波图像数据200顺序地被卷积的物体识别层数据的集合2300、2301、2302、2303、2304、2305和2306。另外，物体识别层120包括基于图像数据100顺序地被卷积的物体识别层数据的集合1200、1201、1202、1203、1204、1205和1206。
[0125]
注意的是，在以下描述中，在不必特别区分物体识别层数据的集合1200至1206的情况下，物体识别层数据120
x
被描述为代表。类似地，在不必特别区分物体识别层数据的集合2300至2306的情况下，物体识别层数据230
x
被描述为代表。
[0126]
在图7中，物体识别层数据1200至1207的具体示例被图示为与关注图对应的层(layer)图像#0、#1、#2、#3、#4、#5和#6。虽然在后面描述细节，但层图像中的层图像#1、#2的白色部分示出了检测窗口。
[0127]
即，物体识别层120基于层图像#0、#1、#2、#3、#4、#5和#6的特征获得物体似然度，并确定由此获得的具有高物体似然度的区域。物体识别层120例如针对层图像#1基于像素
信息获得物体似然度。然后，将获得的物体似然度与阈值进行比较，并且确定其中物体似然度高于阈值的区域。在图7的示例中，层图像#1中以白色示出的区域指示物体似然度高于阈值的区域。物体识别层120生成指示该区域的区域信息。区域信息包括指示层图像#1中的位置的信息和指示该位置处的物体似然度的值。物体识别层120基于区域信息中指示的区域来设置检测窗口并生成关注图。
[0128]
在此，物体识别层数据的集合1200至1206的尺寸通过卷积顺序减小。例如，在图7的示例中，层图像#0(物体识别层数据1200)的尺寸通过对一层的卷积设置为1/2。例如，假设层图像#0的尺寸为640像素
×
384像素，那么层图像#6的尺寸通过七层的卷积(和整形处理)是1像素
×
1像素。
[0129]
如上所述，具有少量卷积和大尺寸的层图像可以检测到较小(远)的目标物体，而具有大量卷积和小尺寸的层图像可以检测到较大(较近)的目标物体。这同样适用于基于毫米波数据的物体识别层数据的集合2300至2306。
[0130]
在一些情况下，具有大量卷积和少量像素的层图像或具有少量卷积的其中物体被识别为小物体的层图像不适合用于物体识别处理。因此，在图7的示例中，可以根据目的使用层图像的数量(例如，层图像#1到#3的三层)来生成关注图，而不是为所有七层生成关注图。
[0131]
物体识别层数据的集合1200至1207被输入到对应的组合单元300。另外，基于毫米波图像数据200的物体识别层数据的集合2300至2306被输入到对应的组合单元300。组合单元300组合由此输入的物体识别层数据的集合1200至1207和物体识别层数据的集合2300至2306，以生成组合的物体识别层数据3100至3106。
[0132]
图8是图示根据第一实施例的组合单元300的示例的配置的图。组合单元300包括乘法单元220和加法单元221。乘法单元220在一个输入端接收基于基于图像数据100的关注图的物体识别层数据120
x
。乘法单元220在另一个输入端接收基于毫米波图像数据200的物体识别层数据230
x
。乘法单元220针对每个像素计算输入到其一个输入端的物体识别层数据120
x
和输入到其另一个输入端的物体识别层数据230
x
的乘积。乘法单元220的计算强调与毫米波图像数据200(物体识别层数据230
x
)中的检测窗口对应的区域。
[0133]
本发明不限于此，并且物体识别模型40a可以减少毫米波图像数据200中检测窗口之外的区域。
[0134]
乘法单元220的乘法的结果被输入到加法单元221的一个输入端。加法单元221在另一个输入端接收基于毫米波图像数据200的物体识别层数据230
x
。加法单元221计算用于输入到一个输入端的乘法单元220的乘法结果与物体识别层数据230
x
的矩阵的和。
[0135]
如上所述，乘法单元220和加法单元221的处理将区域信息添加到作为第一传感器的毫米波雷达23的毫米波图像数据200，该区域信息是基于作为不同于第一传感器的第二传感器的相机21的图像数据100根据在物体识别处理的过程中检测到的物体似然性生成的。
[0136]
在此，加法单元221执行将原始图像与乘法单元220的乘法的结果相加的处理。例如，在关注图对于每个像素用0或1的值来表示的情况下，例如，在某个层图像中或者在层图像中0的区域中所有关注图都是0的情况下，信息丢失。因此，在后述的预测单元150的处理中，不能执行对区域的识别处理。鉴于上述，加法单元221基于毫米波图像数据200添加物体
识别层数据230
x
，以避免数据在该区域中丢失的情况。
[0137]
返回到图7，从组合单元300输出的组合的物体识别层数据3100至3106被输入到预测单元150。预测单元150基于由此输入的组合的物体识别层数据的集合3100至3106执行物体识别处理，并且预测识别出的物体的类等。预测单元150的预测的结果作为指示目标物体的识别结果的数据从车辆外部信息检测单元10输出，并且例如经由通信网络12001传送到集成控制单元12050。
[0138]
(3-1.具体示例)
[0139]
参考图9和10更具体地描述根据第一实施例的物体识别模型40a的关注图。
[0140]
图9是用于解释根据第一实施例的物体识别模型40a的关注图的第一示例的示意图。
[0141]
图9在左侧图示了原始图像数据100a的示例。图9在右侧从上到下图示了物体识别层数据230
x
、物体识别层数据230
x
和组合的物体识别层数据310
x
。另外，从左到右，物体识别层数据230
x
、物体识别层数据230
x
和组合的物体识别层数据310
x
被图示为与层图像#1(物体识别层数据1201)、层图像#2(物体识别层数据1202)和层图像#3(物体识别层数据1203)对应。
[0142]
换句话说，图9的右图在上部图示了指示毫米波图像数据200的特征的特征图，并且在中部图示了基于图像数据100的特征生成的关注图。此外，图9的右图的下部是由组合单元通过组合基于毫米波图像数据200的特征图和基于图像数据100的关注图而获得的组合的物体识别层数据300。
[0143]
在下文中，将与层图像#x对应的物体识别层数据230
x
称为层图像#x的物体识别层数据230
x
。将与层图像#x对应的组合的物体识别层数据310x称为层图像#x的组合的物体识别层数据310
x
。
[0144]
参考图9，在物体识别层数据230
x
的层图像#1的物体识别层数据2301中，在图中的区域231
10
所示的部分中看到类似物体的识别结果。另外，层图像#1示出了生成其中区域121
10
和121
11
的物体似然性等于或大于阈值并且区域121
10
和121
11
被设置为检测窗口的关注图的状态。另一方面，在层图像#1的组合的物体识别层数据3101中，在与区域231
10
对应的区域230
10
'以及分别与区域121
10
和121
11
对应的区域121
10
'和121
11
'中看到类似物体的识别结果。
[0145]
类似地，在层图像#2中，在层图像#2的物体识别层数据2302中，在区域231
11
中所示的部分中看到类似物体的识别结果，并且层图像#1示出生成其中区域121
13
的物体似然性等于或大于阈值并且区域121
13
被设置为检测窗口的关注图的状态。另一方面，在层图像#2的组合的物体识别层数据3102中，在与区域231
11
对应的区域230
11
'和与区域121
13
对应的区域121
13
'中看到类似物体的识别结果。
[0146]
对于层图像#3，在层图像#3的物体识别层数据2303中，在区域231
12
中所示的部分中看到类似物体的识别结果，并且在层图像#1中，不检测物体似然性等于或大于阈值的区域并且不生成检测窗口。在层图像#3的组合的物体识别层数据3103中，在与区域231
12
对应的区域230
12
'中看到类似物体的识别结果。
[0147]
另外，在区域121
10
和121
11
以及区域121
13
中，白色和灰色区域与检测窗口对应。在这种情况下，例如，具有较高白色程度的区域具有较高的物体似然性。作为示例，在区域
121
13
中，具有垂直矩形形状的浅灰色区域和具有水平矩形形状的深灰色区域相交的具有高白色程度的区域是在区域121
13
中具有最高物体似然性的区域。如上所述，例如，基于区域信息来设置检测窗口，区域信息包括指示层图像中的对应位置的信息和指示物体似然性的值。
[0148]
如上所述，在层图像#1和#2中，无需基于毫米波图像数据200计算物体识别层数据230
x
的物体似然性，就有可能生成组合的物体识别层数据310
x
，其包括基于图像数据100的检测窗口的区域，同时强调基于毫米波图像数据200看到类似物体的识别结果的区域。
[0149]
此外，由于加法单元221基于毫米波图像数据200添加物体识别层数据230
x
，因此即使在层图像#2中没有像层图像#3中那样设置检测窗口的情况下，也有可能基于毫米波图像数据200强调看到类似物体的识别结果的区域。
[0150]
图10是用于解释根据第一实施例的物体识别模型40a的关注图的第二示例的示意图。由于图10中每个单元的含义与上述图9中的含义相似，因此在本文省略其描述。图10在左侧图示了原始图像数据100b的示例。
[0151]
参考图10，在物体识别层数据230
x
的层图像#1的物体识别层数据2301中，在图中的区域231
20
中所示的部分中看到类似物体的识别结果。另外，层图像#1示出了生成其中区域121
20
和121
21
的物体似然性等于或大于阈值并且区域121
20
和121
21
被设置为检测窗口的关注图的状态。另一方面，在层图像#1的组合的物体识别层数据3101中，在与区域231
20
对应的区域230
20
'以及分别与区域121
20
和121
21
对应的121
20
'和121
21
'中看到类似物体的识别结果。
[0152]
类似地，在层图像#2中，在层图像#2的物体识别层数据2302中，在区域231
21
中所示的部分中看到类似物体的识别结果，并且层图像#2示出了生成其中区域121
22
的物体似然性等于或大于阈值并且区域121
22
被设置为检测窗口的关注图的状态。另一方面，在层图像#2的组合的物体识别层数据3102中，在与区域231
21
对应的区域230
21
'和与区域121
22
对应的121
22
'中看到类似物体的识别结果。
[0153]
在层图像#3中，在层图像#3的物体识别层数据2303中，在区域231
22
中所示的部分中看到类似物体的识别结果，并且层图像#1示出了生成其中区域121
23
的物体似然性等于或大于阈值并且区域121
23
被设置为检测窗口的关注图的状态。另一方面，在层图像#3的组合的物体识别层数据3103中，在与区域231
23
对应的区域230
21
'和与区域121
23
对应的区域121
23
'中看到类似物体的识别结果。
[0154]
与上述第一示例一样，在第二示例中，在层图像#1至#3中，无需计算基于毫米波图像数据200的物体识别层数据230x的物体似然性，就有可能生成包括基于图像数据100的检测窗口的区域的组合的物体识别层数据310
x
，同时强调基于毫米波图像数据200看到类似物体的识别结果的区域。
[0155]
如上所述，根据第一实施例，即使毫米波图像数据200单独是弱特征，也有可能通过使用基于由相机21捕获的图像数据100的关注图来提高物体识别的性能。此外，这使得在使用多个不同传感器的情况下有可能减少与识别处理相关的负荷。
[0156]
注意的是，在图7的示例中，通过由组合单元300组合具有彼此对应的卷积层的物体识别层数据120
x
和物体识别层数据230
x
获得的卷积层的组合的物体识别层数据的集合310
x
被输入到预测单元150；但是，这不限于这个示例。例如，通过由组合单元300组合具有不同卷积层的物体识别层数据120x和物体识别层数据230x(例如，物体识别层数据1201和
物体识别层数据2302)获得的组合的物体识别层数据310
x
可以被输入到预测单元150。在这种情况下，优选的是使要由组合单元300组合的物体识别层数据120
x
与物体识别层数据230
x
的尺寸相同。另外，组合单元300有可能组合物体识别层数据的集合120
x
和物体识别层数据的集合230
x
的一部分以生成组合的物体识别层数据310
x
。此时，有可能从物体识别层数据的集合120
x
和物体识别层数据的集合230
x
中选择其中卷积层彼此一一对应的数据，并在组合单元中组合所选择的数据300，或者，可替代地，有可能选择相应数据的多个集合并在组合单元300中组合所选择的数据。
[0157]
[4.第二实施例]
[0158]
描述继续到本公开的第二实施例。在第二实施例中，描述以与上述第一实施例不同的方法生成关注图的示例。图11是图示根据第二实施例的物体识别模型的示例的配置的图。
[0159]
在图11中，如上所述，在物体识别模型40c中，物体识别层120a基于图像数据100执行卷积处理以生成物体识别层数据的集合1200至1206(未示出)。在此，物体识别层120a例如将具有最深卷积层和最小尺寸的物体识别层数据1206的尺寸加倍以生成用于下一层的物体识别层数据1221。
[0160]
在这种情况下，由于新生成的物体识别层数据1221接管物体识别层1200至1206中具有最小尺寸的物体识别层数据1206的特征，因此物体识别层数据1221的特征弱。因此，物体识别层120a将物体识别层数据1205连接到物体识别层数据1206，该物体识别层数据1205在物体识别层数据1206之后具有第二最深的卷积层并且具有例如两倍于物体识别层数据1206的尺寸的尺寸，并生成新的物体识别层数据1221。
[0161]
接下来，类似地，物体识别层120a例如将生成的物体识别层数据1221的尺寸加倍，并将结果连接到对应的物体识别层数据1205以生成新的物体识别层数据1222。如上所述，根据第二实施例的物体识别层120a重复例如将生成的物体识别层数据122
x
的尺寸加倍并且将结果和对应的物体识别层数据120
x
组合以新生成物体识别层数据122
x+1
的处理。
[0162]
物体识别层120a基于通过如上所述顺序地加倍尺寸而生成的物体识别层数据1206、1221、1222、1223、1224、1225和1226来生成关注图。此时，将具有最大尺寸的物体识别层数据1226放入层图像#0中以生成用于层图像#0的关注图。将具有第二大尺寸的物体识别层数据1225放入层图像#1中以生成用于层图像#1的关注图。此后，将物体识别层数据的集合1224、1223、1222、1221和1206按照尺寸减小的次序放入层图像#2、#3、#4、#5和#6中以生成用于层图像#2至#6的关注图。
[0163]
如上所述，在第二实施例中，物体识别层120a通过经由机器学习创建和放置新的关注图来生成新的关注图。因此，有可能减少由识别目标以外的高反射物体(诸如护栏或路缘石)造成的假阳性(fp)，并提高仅由毫米波图像数据200进行的物体识别的性能。另一方面，在第二实施例中，由于通过将数据连接到物体识别层数据1206来生成关注图，该物体识别层数据1206已经关于图像数据100执行了卷积直到深度卷积层，因此其图像难以被相机21捕获的物体的特征被削弱。例如，难以识别被水滴、雾等隐藏的物体。鉴于上述，优选的是根据环境在根据第二实施例的用于生成关注图的方法与例如根据第一实施例的用于生成关注图的方法之间切换。
[0164]
[5.第三实施例]
[0165]
描述继续到本公开的第三实施例。在第三实施例中，描述其中基于毫米波图像数据200的物体识别层数据的集合2300至2306与基于图像数据100的关注图(物体识别层数据的集合1200至1206)相乘的示例。图12是图示根据第三实施例的物体识别模型的示例的配置的图。
[0166]
在图12中所示的物体识别模型40d中，物体识别层230基于毫米波图像数据200以与第一实施例相同的方式生成物体识别层数据的集合2300至2306。另一方面，物体识别层120b基于图像数据100生成物体识别层数据的集合1200至1206和物体识别层数据的集合1200'至1206'。
[0167]
在此，物体识别层数据的集合1200至1206是其中调整参数以使得仅通过图像数据100执行物体识别的数据。另一方面，物体识别层数据的集合1200'至1206'是其中调整参数以使得使用毫米波图像数据200和图像数据100两者执行物体识别的数据。例如，在参考图4描述的学习系统30中，对于完全相同的图像数据100，执行仅用图像数据100对物体识别的学习以及用图像数据100和毫米波图像数据200对物体识别的学习，并生成相应的参数。
[0168]
与第一实施例类似地，组合单元301组合在物体识别层120b中生成的物体识别层数据的集合1200至1206和物体识别层数据的集合1200'至1206'与在具有对应数据集的物体识别层230中生成的物体识别层数据的集合2300至2306。
[0169]
图13是图示根据第三实施例的组合单元301的示例的配置的图。如图13中所示，在组合单元301中，在图8中的组合单元300的乘法单元220和加法单元221的配置中添加级联单元222。
[0170]
在组合单元301中，乘法单元220在一个输入端接收物体识别层数据120
x
，其中参数已经被调整以便仅通过图像数据100执行物体识别，并且在另一个输入端接收物体识别层数据230
x
。乘法单元220针对每个像素计算输入到其一个输入端的物体识别层数据120
x
和输入到其另一个输入端的物体识别层数据230
x
的乘积。乘法单元220的相乘的结果被输入到加法单元221的一个输入端。加法单元221在另一个输入端接收物体识别层数据230
x
。加法单元221计算用于输入到一个输入端的乘法单元220的相乘的结果与物体识别层数据230x的矩阵的和。
[0171]
加法单元221的输出被输入到级联单元222的一个输入端。其中已经调整参数以使用图像数据100和毫米波图像数据200执行物体识别的物体识别层数据120
x
'被输入到级联单元222的另一个输入端。级联单元222级联加法单元221的输出和物体识别层数据120
x
'。
[0172]
在级联处理中，列出了加法单元221的输出的数据和物体识别层数据120
x
'，并且级联处理不影响加法单元221的输出和物体识别层数据120
x
中的每一个。因此，从级联单元222输出的数据是包括通过将加法单元221的输出的特征量和物体识别层数据120
x
的特征量相加而获得的特征量的数据。
[0173]
组合单元301执行组合处理，从而能够生成仅用图像数据100示出物体的存在或不存在的关注图，并且生成的关注图可以仅乘以基于毫米波图像数据200的特征量。因此，基于毫米波图像数据200的特征量受到限制，并且可以减少fp。
[0174]
因此，根据第三实施例的物体识别模型40d，有可能仅基于由相机21获取的图像数据100来生成关注图，并且基于通过组合相机21和毫米波雷达23而获得的输出来执行物体识别。
[0175]
[6.第四实施例]
[0176]
描述继续到本公开的第四实施例。在第四实施例中，描述其中生成基于图像数据100的物体识别层数据120
x
和基于毫米波图像数据200的物体识别层数据230
x
的级联的数据并使用级联的数据执行物体识别的示例。
[0177]
图14是图示根据第四实施例的物体识别模型的示例的配置的图。在根据第四实施例的物体识别模型40e中，用于执行物体识别处理的级联的数据的集合已经包括物体识别层数据120
x
和物体识别层数据230
x
。因此，不可能基于级联的数据的集合中的毫米波图像数据200来设置用于物体识别层数据230
x
的检测窗口。因此，在根据第四实施例的物体识别模型40e中，在级联物体识别层数据120
x
和物体识别层数据230
x
的级联单元222之前执行用于缩小毫米波图像数据200中的检测窗口之外的区域的处理。
[0178]
更具体地提供描述。在图14中所示的物体识别模型40e中，基于毫米波图像数据200在物体识别层230中生成的物体识别层数据的集合2300至2306(未示出)被输入到组合单元300。另一方面，物体识别层120c基于图像数据100生成物体识别层数据的集合1200至1206，并通过将由此生成的物体识别层数据1200至1206的数据的预定数量的集合叠加来生成关注图。关注图被输入到组合单元300。
[0179]
注意的是，在图14的示例中，物体识别层120c通过使用图像数据123来生成关注图，其中在物体识别层数据的集合1200至1206当中，其中卷积层顺序相邻的物体识别层数据的三个集合1200、1201和1202叠加。这并不限于该示例，并且例如，物体识别层120c可以通过使用其中叠加了物体识别层数据的所有集合1200至1206的图像数据123来生成关注图。本发明不限于此，并且物体识别层120c可以通过使用其中叠加了相邻物体识别层数据的两个或四个或更多个集合120
x
的图像数据来生成关注图。可替代地，代替具有相邻卷积层的物体识别层数据的多个集合120
x
，也可以通过使用其中叠加了具有间歇选择的卷积层的物体识别层数据的多个集合120
x
的图像数据123来生成关注图。
[0180]
与使用图8的描述类似地，组合单元300用乘法单元220获得图像数据123和物体识别层数据的集合2300至2306的乘积，并且加法单元221将物体识别层数据的集合2300至2306加到获得的乘积。通过由组合单元300组合图像数据123和物体识别层数据的集合2300至2306获得的组合的数据的相应集合被输入到级联单元222的一个输入端。
[0181]
由物体识别层120c基于图像数据100生成的物体识别层数据的集合1200至1206被输入到连接单元222的另一个输入端。级联单元222级联输入到一个输入端的组合的数据的相应集合和输入到另一个输入端的物体识别层数据的集合1200至1206，并生成与物体识别层数据的集合1200至12062对应d级联的数据2420、2421、2422、2423、2424、2425和2426。
[0182]
从级联单元222输出的级联的数据2420到2426被输入到预测单元150。
[0183]
通过这种配置，有可能防止检测窗口外的毫米波图像数据200对用于预测单元150执行物体识别的级联的数据的集合2420至2426的影响。因此，根据第四实施例的物体识别模型40e，有可能仅基于由相机21获取的图像数据100来生成关注图，并且基于通过组合相机21和毫米波雷达23而获得的输出来执行物体识别。
[0184]
[7.第五实施例]
[0185]
描述继续到本公开的第五实施例。根据第五实施例的物体识别模型是其中前一帧的图像数据100被用作用于生成关注图的图像数据100的示例。
[0186]
图15是图示根据第五实施例的物体识别模型的示例的配置的图。注意的是，图15中所示的物体识别模型40f是将第五实施例的配置应用于根据第三实施例的物体识别模型40d(参见图12)的示例。
[0187]
在图15中所示的物体识别模型40f中，物体识别层120d以与上述图12中相同的方式基于由物体识别层120中的相机21作为某一帧(称为当前帧)的帧图像数据获取的图像数据100(称为当前帧的图像数据100)生成物体识别层数据的集合1200至1206。另外，物体识别层230基于由毫米波雷达23获取的与当前帧对应的毫米波图像数据200(称为当前帧的毫米波图像数据200)生成物体识别层数据的集合2300至2306。
[0188]
此时，基于当前帧的图像数据100生成的物体识别层数据的集合1200至1206被存储在存储器420中。例如，存储器420可以是图5中所示的ram 402。在此，已经描述了物体识别层数据的所有集合1200至1206都存储在存储器420中；但是，这不限于该示例。例如，可以仅将具有最浅卷积层的物体识别层数据1200存储在存储器420中。
[0189]
另一方面，物体识别层120d基于基于图像数据100(称为过去帧101的图像数据100)生成并存储在存储器420中的物体识别层数据的集合1200至1206来生成关注图，图像数据100是由相机21针对当前帧在过去(例如，紧接着的前一帧)获取的。在此，仅具有最浅卷积层的物体识别层数据1200存储在存储器420中的情况下，可以对物体识别层数据1200顺序地执行卷积处理，以生成物体识别层数据的集合1201至1206。
[0190]
与当前帧对应的物体识别层数据的集合1200至1206和物体识别层数据的集合2300至2306被输入到对应的组合单元301。另外，基于过去帧101的图像数据100生成的物体识别层数据的集合1200至1206作为关注图被输入到组合单元301。
[0191]
如关于图13所述，组合单元301用乘法单元220获得物体识别层数据的集合1200至1206与物体识别层数据的集合2300至2306的乘积，并且加法单元221将物体识别层数据的集合2300至2306加到获得的结果。级联单元222将基于过去帧101的图像数据100生成的物体识别层数据的集合1200至1206级联到加法单元221的每个相加结果。
[0192]
以这种方式，使用过去帧101的数据作为图像数据100来生成关注图，从而可以省略物体识别层120c中的一个或多个卷积处理，这提高了处理速度。
[0193]
[8.第六实施例]
[0194]
描述继续到本公开的第六实施例。在上述第一至第五实施例中，数据获取单元20包括相机21和毫米波雷达23作为传感器；但是，数据获取单元20中包括的传感器的组合不限于这个示例。在第六实施例中，描述包括在数据获取单元20中的传感器的另一个组合的示例。
[0195]
(8-1.第一示例)
[0196]
图16是图示根据第六实施例的车辆外部信息检测单元和数据获取单元的第一示例的示例的框图。如图16中所示，第一示例是其中数据获取单元20a包括相机21和lidar 24作为传感器的示例。lidar 24是用于以lidar方法测量距离的光反射距离测量传感器，该方法在目标物体中反射从光源发射的光并测量距离，并且lidar 24包括光源和光接收单元。
[0197]
信号处理单元13a基于从lidar 24输出的raw数据生成例如三维点组信息。几何变换单元14a将由信号处理单元13a生成的三维点组信息变换成从与相机21的捕获的图像相同的视点查看的图像。更具体而言，几何变换单元14a将基于从lidar 24输出的raw数据的
三维点组信息的坐标系变换成捕获的图像的坐标系。其中坐标系已经由几何变换单元14a变换成捕获的图像的坐标系的lidar 24的输出数据被供应给识别处理单元15a。识别处理单元15a使用lidar 24的输出数据来执行物体识别处理，其中坐标系已经被变换成捕获的图像的坐标系，而不是如上所述在识别处理单元15中使用毫米波图像数据200。
[0198]
(8-2.第二示例)
[0199]
图17是图示根据第六实施例的车辆外部信息检测单元和数据获取单元的第二示例的示例的框图。如图17中所示，第二示例是其中数据获取单元20b包括相机21和超声传感器25作为传感器的示例。超声传感器25发送比可听频带高的频带的声波(超声波)并且接收超声波的反射波以测量距离，并且超声传感器25包括例如用于发送超声波的传输元件和用于接收超声波的接收元件。超声波的传输和接收可以由一个元件执行。例如，超声传感器25可以通过在扫描超声波的传输方向的同时以预定的周期重复地传输和接收超声波来获得三维点组信息。
[0200]
信号处理单元13b基于从超声传感器25输出的数据生成例如三维点组信息。几何变换单元14b将由信号处理单元13b生成的三维点组信息变换成从与相机21的捕获的图像相同的视点查看的图像。更具体而言，几何变换单元14b将基于从超声传感器25输出的数据的三维点组信息的坐标系变换成捕获的图像的坐标系。其中通过几何变换单元14b将坐标系变换成捕获的图像的坐标系的超声传感器25的输出数据被供应给识别处理单元15b。识别处理单元15b使用超声传感器25的输出数据来执行物体识别处理，其中坐标系已经被变换成捕获的图像的坐标系，代替如上所述在识别处理单元15中使用毫米波图像数据200。
[0201]
(8-3.第三示例)
[0202]
图18是图示根据第六实施例的车辆外部信息检测单元和数据获取单元的第三示例的示例的框图。如图18中所示，第三示例是其中数据获取单元20c包括相机21、毫米波雷达23和lidar 24作为传感器的示例。
[0203]
在图18中所示的车辆外部信息检测单元10中，从毫米波雷达23输出的毫米波数据被输入到信号处理单元13。信号处理单元13对输入的毫米波数据执行与参考图2描述的处理相似的处理以生成毫米波图像。几何变换单元14对由信号处理单元13生成的毫米波图像执行几何变换，以将毫米波图像变换成与捕获的图像具有相同坐标系的图像。通过由几何变换单元14变换毫米波图像而获得的图像(称为变换的毫米波图像)被供应给识别处理单元15c。
[0204]
另外，在车辆外部信息检测单元10中，从lidar 24的输出端输出的raw数据被输入到信号处理单元13c。信号处理单元13c基于从lidar 24输入的raw数据生成例如三维点组信息。几何变换单元14c将由信号处理单元13c生成的三维点组信息变换成从与相机21的捕获的图像相同的视点查看的图像。通过由几何变换单元14变换三维点组信息而获得的图像(称为变换的lidar图像)被供应给识别处理单元15c。
[0205]
识别处理单元15c组合从几何变换单元14和14c中的每一个输入的变换的毫米波图像和变换的lidar图像，并且在识别处理单元15中使用组合的图像而不是使用毫米波图像数据200来执行物体识别处理。在此，识别处理单元15c可以级联变换的毫米波图像和变换的lidar，以集成变换的毫米波图像和变换的lidar。
[0206]
(8-4.第四示例)
[0207]
图19是图示根据第六实施例的车辆外部信息检测单元和数据获取单元的第四示例的示例的框图。如图19中所示，在第四示例中，应用包括参考图16描述的相机21和毫米波雷达23的数据获取单元20a。另一方面，在车辆外部信息检测单元10中，图像处理单元12和几何变换单元14d连接到相机21的输出端，并且只有信号处理单元13连接到毫米波雷达23。
[0208]
在车辆外部信息检测单元10中，图像处理单元12对从相机21输出的捕获的图像执行预定的图像处理。已经经受图像处理单元12的图像处理的捕获的图像被供应给几何变换单元14d。几何变换单元14d将捕获的图像的坐标系变换成从毫米波雷达23输出的毫米波数据的坐标系。通过由几何变换单元14d变换成毫米波数据的坐标系而获得的捕获的图像(称为变换的捕获的图像)被供应给识别处理单元15d。
[0209]
另一方面，在车辆外部信息检测单元10中，从毫米波雷达23输出的毫米波数据被输入到信号处理单元13。信号处理单元13对输入的毫米波数据执行预定的信号处理，以基于毫米波数据生成毫米波图像。由信号处理单元13生成的毫米波图像被供应给识别处理单元15d。
[0210]
识别处理单元15d例如可以使用基于由信号处理单元13供应的毫米波图像的毫米波图像数据，代替在识别处理单元15中使用图像数据100，并且可以使用由几何变换单元14d供应的变换的捕获的图像，代替使用毫米波图像数据200。例如，在毫米波雷达23的性能高而相机21的性能低的情况下，可以采用根据第四示例的配置。
[0211]
(8-5.第五示例)
[0212]
在上述第六实施例的第一至第四示例中，组合相机21和与相机21不同类型的传感器；但是，这不限于该示例。例如，作为第六实施例的第五示例，可以应用具有不同特点的相机21的组合。作为示例，有可能应用使用具有窄视角并且能够远距离成像的远摄镜头的第一相机21和使用具有宽视角并且能够成像宽范围的广角镜头的第二相机21的组合。
[0213]
(8-6.第六示例)
[0214]
描述继续到第六实施例的第五示例。第五示例是根据条件切换识别处理单元15的配置的示例。注意的是，为了解释，下面将根据第一实施例的识别处理单元15(物体识别模型40a)作为示例进行描述。
[0215]
作为示例，可以根据天气或场景来切换关注图的使用/不使用。例如，在夜间和下雨条件下，可能难以识别由相机21捕获的图像中的物体。在这种情况下，仅使用毫米波雷达23的输出来执行物体识别。另外，作为另一个示例，有可能在数据获取单元20中包括的多个传感器之一未正常操作的情况下改变如何使用关注图。例如，在由于相机21的误动等而未输出正常图像数据100的情况下，以与不使用关注图的情况相似的识别水平来执行物体识别。作为又一个示例，在数据获取单元20包括三个或更多个传感器的情况下，基于多个传感器的输出生成多个关注图是可能的。在这种情况下，可以组合基于传感器的输出生成的多个关注图。
[0216]
本说明书中描述的效果仅仅是示例并且不受限制，并且可以提供其它效果。
[0217]
此外，本技术还可以被配置如下。
[0218]
(1)一种信息处理装置，包括：
[0219]
识别处理单元，被配置为通过将区域信息添加到第一传感器的输出来执行用于识别目标物体的识别处理，区域信息是基于与第一传感器不同的第二传感器的输出根据在物
体识别处理的过程中检测到的物体似然度生成的。
[0220]
(2)根据上述(1)所述的信息处理装置，其中
[0221]
识别处理单元
[0222]
使用通过机器学习获得的物体识别模型来执行识别处理，以及
[0223]
物体识别模型在基于第二传感器的输出生成的第一卷积层的一层中生成区域信息，并将生成的区域信息添加到与基于第一传感器的输出生成的第二卷积层中其中已经生成区域信息的层对应的层。
[0224]
(3)根据上述(1)所述的信息处理装置，其中
[0225]
识别处理单元
[0226]
使用通过机器学习获得的物体识别模型来执行识别处理，以及
[0227]
物体识别模型在基于第二传感器的输出生成的第一卷积层中包括的多个层中生成区域信息，并将生成的区域信息添加到基于第一传感器的输出生成的第二卷积层的多个层的每一层，与其中已经生成区域信息的多个层中的每一层一一对应。
[0228]
(4)根据上述(3)所述的信息处理装置，其中
[0229]
识别处理单元
[0230]
在第一卷积层的预定数量的第一卷积层中的每个第一卷积层中生成区域信息。
[0231]
(5)根据上述(1)至(4)中的任一项所述的信息处理装置，其中
[0232]
第二传感器是图像传感器。
[0233]
(6)根据上述(5)所述的信息处理装置，其中
[0234]
第一传感器是毫米波雷达、光反射距离测量传感器、超声传感器中的任何一种。
[0235]
(7)根据上述(5)所述的信息处理装置，其中
[0236]
第一传感器
[0237]
包括图像传感器、毫米波雷达、光反射距离测量传感器和超声传感器中的两个或更多个传感器，并且通过将两个或更多个传感器的输出组合而获得的输出被用作第一传感器的输出。
[0238]
(8)根据上述(1)至(4)中的任一项所述的信息处理装置，其中
[0239]
第一传感器是图像传感器，以及
[0240]
第二传感器为毫米波雷达、光反射距离测量传感器、超声传感器中的任何一种。
[0241]
(9)根据上述(1)至(8)中的任一项所述的信息处理装置，其中
[0242]
识别处理单元
[0243]
强调第一传感器的输出中与第二传感器的输出中的物体似然性等于或大于第一阈值的区域对应的区域。
[0244]
(10)根据上述(1)至(9)中的任一项所述的信息处理装置，其中
[0245]
识别处理单元
[0246]
减小第一传感器的输出中与第二传感器的输出中的物体似然性小于第二阈值的区域对应的区域。
[0247]
(11)根据上述(1)至(10)中的任一项所述的信息处理装置，其中
[0248]
识别处理单元
[0249]
使用第二传感器之前一帧的输出来生成区域信息。
[0250]
(12)根据上述(1)至(11)中的任一项所述的信息处理装置，其中
[0251]
识别处理单元
[0252]
将第二传感器的输出级联到区域信息。
[0253]
(13)一种信息处理系统，包括：
[0254]
第一传感器；
[0255]
不同于第一传感器的第二传感器；以及
[0256]
信息处理装置，包括识别处理单元，该识别处理单元被配置为通过将区域信息添加到第一传感器的输出来执行用于识别目标物体的识别处理，区域信息是基于与第一传感器不同的第二传感器的输出根据在物体识别处理的过程中检测到的物体似然度生成的。
[0257]
(14)一种信息处理程序，用于使计算机执行处理，包括：
[0258]
识别处理步骤，用于执行识别处理，用于通过将区域信息添加到第一传感器的输出来执行用于识别目标物体的识别处理，区域信息是基于与第一传感器不同的第二传感器的输出根据在物体识别处理的过程中检测到的物体似然度生成的。
[0259]
(15)一种信息处理方法，包括：
[0260]
由处理器执行
[0261]
识别处理步骤，用于执行识别处理，用于通过将区域信息添加到第一传感器的输出来执行用于识别目标物体的识别处理，区域信息是基于与第一传感器不同的第二传感器的输出根据在物体识别处理的过程中检测到的物体似然度生成的。
[0262]
附图标记列表
[0263]
10 车辆外部信息检测单元
[0264]
11 信息处理单元
[0265]
12 图像处理单元
[0266]
13、13a、13b、13c 信号处理单元
[0267]
14，14a，14b，14c，14d 几何变换单元
[0268]
15a、15b、15c、15d 识别处理单元
[0269]
20、20a、20b、20c 数据获取单元
[0270]
21 相机
[0271]
22 图像传感器
[0272]
23 毫米波雷达
[0273]
24 lidar
[0274]
25 超声传感器
[0275]
30 学习系统
[0276]
40、40a、40b、40c、40d、40e、40f 物体识别模型
[0277]
41a、41b、41c、110、210 特征提取层
[0278]
100、100a、100b 图像数据
[0279]
120、120a、120b、120c 物体识别层
[0280]
1200，1201，1202，1203，1204，1205，1206，120
x
，1200'，1201'，1202'，1203'，1204'，1205'，1206'，1221，1222，1223，1224，1225，1226，2300，2301，2302，2303，2304，2305，2306，230
x
物体识别层数据
[0281]
150 预测单元
[0282]
200 毫米波图像数据
[0283]
220 乘法单元
[0284]
221 加法单元
[0285]
222 级联单元
[0286]
230 物体识别层
[0287]
2420、2421、2422、2423、2424、2425、242
6 级联的数据
[0288]
300、301 组合单元
[0289]
3100、3101、3102、3103、3104、3105、310
6 组合的物体识别层数据