车辆用控制装置的制作方法

此处所公开的技术涉及一种车辆用控制装置，该车辆用控制装置例如用于汽车的自动运行中。

背景技术：

在专利文献1中公开了以下技术：将根据自动运行控制信息生成的第一控制信号和根据本车与周边物体的相对信息生成的第二控制信号中的任意一者输出给驱动装置，在检测出自动运行控制信息异常的情况下，将第二控制信号输出给所述驱动装置来代替将第一控制信号输出给所述驱动装置。

在专利文献2中公开了以下技术：在检测出周边环境取得装置、识别判断ecu、整合控制ecu中的任一者异常的情况下，伴随着从检测出该异常起时间的经过，依次切换并执行规定多个周边环境取得装置、一个识别判断ecu以及一个整合控制ecu各自应该执行的工作的特定控制。

在专利文献3中公开了一种半导体装置，该半导体装置包括：识别部，其识别存在于车辆周边的物体；路径计算部，其根据已识别出的物体计算车辆在自动控制模式下的行驶路径；以及模式控制部，其在无法计算避开已识别出的物体的行驶路径的情况下，将控制模式切换到手动控制模式。

专利文献1：日本公开专利公报特开2017－47694号公报

专利文献2：国际公开第2018/225225号

专利文献3：日本专利第6289284号公报

技术实现要素：

－发明要解决的技术问题－

目前，国家正在推进自动运行系统的开发。在自动运行系统中，一般利用摄像头等取得车外环境信息，并根据所取得的车外环境信息计算汽车应该行驶的路径。在该路径计算中，车外环境的认定是很重要的，已经开始研究如何利用深层学习进行该车外环境的认定了。利用深层学习进行车外环境的认定以及路径的计算还处于发展中状态。作为车辆控制装置，需要在保证车辆的安全性的同时，还能够适应技术的进步、变化。希望车辆控制装置易于应用到功能、等级彼此不同的车型中。

上述专利文献1～3涉及自动运行的技术，但从保证车辆安全性的同时，还能够适应技术的变化、汽车产品阵容的观点来看，自动运行的技术尚有改善的余地。

此处所公开的技术正是为解决上述技术问题而完成的，其目的在于：提供一种车辆用控制装置，该车辆用控制装置在保证车辆安全性的同时，还能够适应技术的变化(将来的产品阵容)和/或汽车产品阵容(功能、等级、目的地不同的汽车产品阵容)。

－用于解决技术问题的技术方案－

为了解决上述技术问题，此处所公开的技术以一种车辆用控制装置为对象，该车辆用控制装置包括信号处理ic单元、识别处理ic单元以及判断处理ic单元。所述信号处理ic单元接收设置在车辆上的摄像头的输出，对该摄像头的输出进行图像处理并输出通过该图像处理获得的图像数据；所述识别处理ic单元构成为与所述信号处理ic单元不同的单元，所述识别处理ic单元接收所述图像数据，根据该图像数据进行识别车辆外部环境的识别处理并输出通过该识别处理获得的外部环境数据；所述判断处理ic单元构成为与所述信号处理ic单元和所述识别处理ic单元都不同的单元，所述判断处理ic单元接收所述外部环境数据，根据该外部环境数据进行用于控制车辆行驶的判断处理并输出基于该判断处理结果的行驶控制信号。

这里，在功能、等级、目的地彼此不同的汽车产品阵容(以下简称为汽车产品阵容)中，设置在车辆上的摄像头的台数和设置场所、摄像头的分辨率有时互不相同。从摄像头输出的图像处理的算法、图像的处理能力有时也会随着汽车产品阵容而改变。在本方面发明中，将用于对摄像头的输出进行图像处理的信号处理ic单元设为独立于其他构成的构成。这样一来，即使在汽车产品阵容中，也能够通过更换信号处理ic单元来应对。因此，在汽车产品阵容中，例如作为后段的识别处理ic单元、判断处理ic单元30能够使用相同的ic单元。

如上所述，“识别车辆外部环境的识别处理”正处于技术进化的过程中，预测今后技术变化也大。因此，将用于进行识别处理的识别处理ic单元设为独立于其他构成的构成。这样一来，在车辆款式更新中，就能够适当地将识别处理ic单元更换为最新的识别处理ic单元。

在识别处理ic单元的后段设置有进行用于最终控制车辆行驶的判断处理的判断处理ic单元。通过这样的构成方式，例如能够采用成熟工艺制成判断处理ic单元，因此能够提高用于控制车辆行驶的判断处理的可靠性。

也可以是这样的，在上述方面发明的车辆控制装置中，所述识别处理ic单元构成为：利用深层学习进行识别车辆外部环境的识别处理。

根据该构成方式，识别处理ic单元利用深层学习，因此能够提高对车辆外部环境的识别精度。

也可以是这样的，在上述方面发明的车辆控制装置中，该车辆用控制装置还包括备用安全ic单元，该备用安全ic单元接收从所述信号处理ic单元输出的图像数据，不利用深层学习进行识别车辆外部环境的识别处理，而基于规定的规则且利用所述图像数据进行识别车辆外部环境的识别处理，并根据通过该识别处理获得的外部环境数据进行用于控制车辆行驶的判断处理；所述判断处理ic单元接收所述备用安全ic单元的判断处理的结果，在检测出车辆或乘车人员中的至少一者异常的情况下，所述判断处理ic单元输出基于所述备用安全ic单元的判断处理结果的备用行驶控制信号来代替输出所述行驶控制信号。

根据该构成方式，在检测出车辆或乘车人员中的至少一者异常的情况下，使用安全备用ic单元的基于规则的判断处理的结果，因此能够提高功能安全等级。

附图说明

图1是示出第一实施方式所涉及的车辆用控制装置的构成的方框图；

图2a是示出车辆用控制装置的功能性构成之一例的方框图；

图2b是示出车辆用控制装置的功能性构成之一例的方框图；

图3是示出各ic单元的构成例的方框图；

图4是示出信号处理ic单元进行图像处理而获得的图像数据之一例的图；

图5是示出识别处理ic单元进行识别处理而生成的分割图像之一例的图；

图6是示出判断处理ic单元进行外部环境推测而获得的整合数据之一例的图；

图7是示出第二实施方式所涉及的车辆用控制装置的构成的方框图。

－符号说明－

cu－车辆用控制装置；10－信号处理ic单元；20－识别处理ic单元；30－判断处理ic单元；60－备用安全ic单元。

具体实施方式

下面，参照附图对示例性实施方式进行详细的说明。

(第一实施方式)

图1是示出本实施方式所涉及的车辆用控制装置的构成的方框图。

如图1所示，本实施方式的车辆用控制装置cu为信号处理ic(integratedcircuit)单元10、识别处理ic单元20以及判断处理ic单元30这样的三芯片构成。信号处理ic单元10、识别处理ic单元20以及判断处理ic单元30收纳在设置于车辆内的特定位置的单一壳体内，例如，乘车人员的座位下部或后备箱(trunkroom)等，省略具体图示。信号处理ic单元10、识别处理ic单元20以及判断处理ic单元30既可以分别由单一的ic(integratedcircuit)芯片构成，也可以分别由多个ic芯片构成。在各ic芯片内，既可以收纳单一的内核或芯片，也可以收纳彼此联合起来工作的多个内核或芯片且多个内核或芯片相互连接在一起。内核或芯片中，例如安装有cpu、和暂时存储诸如使cpu运行的程序或cpu处理结果等的存储器。

信号处理ic单元10对从拍摄车外环境的摄像头71接收到的拍摄信号进行图像处理，并将通过该图像处理获得的数据作为图像数据输出。摄像头71的数量没有特别限定，例如，摄像头71分别设置成能够在水平方向上360°地拍摄汽车周围环境。各摄像头71的拍摄数据汇集在信号处理ic单元10中。在信号处理ic单元10中对汇集起来的拍摄数据进行图像处理，并将通过图像处理获得的数据作为图像数据输出给识别处理ic单元20。摄像头71是拍摄车外环境的拍摄装置之一例。图3示出信号处理ic单元10的具体的块构成例。将在后面对图3进行说明。

识别处理ic单元20接收从信号处理ic单元10输出的图像数据，根据该图像数据进行识别车辆外部环境的识别处理，并输出通过该识别处理获得的外部环境数据。例如，识别处理ic单元20利用深层学习，根据上述图像数据识别包括道路和障碍物的外部环境。在深层学习中，例如使用多层神经网络(dnn：deepneuralnetwork：深度神经网络)。作为多层神经网络例如有cnn(convolutionalneuralnetwork：卷积神经网络)。识别处理ic单元20还根据已推测出的车外环境生成避开道路中的障碍物的至少一条候补路径，并将其作为候补路径数据输出。图3示出识别处理ic单元20的具体的块构成例。将在后面对图3进行说明。

判断处理ic单元30接收从识别处理ic单元20输出的外部环境数据，根据该外部环境数据进行用于控制车辆行驶的判断处理，并输出基于该判断处理结果的行驶控制信号。具体而言，判断处理ic单元30根据上述外部环境数据决定汽车的行驶路径，并决定汽车沿着已决定好的行驶路径行驶时的目标运动。判断处理ic单元30计算用于实现已决定好的目标运动的驱动力、制动力以及转向角，并输出基于该计算结果的行驶控制信号。图3示出判断处理ic单元30的具体的块构成例。将在后面对图3进行说明。

－1.功能性构成－

图2a、图2b是示出车辆用控制装置cu的功能性构成例的方框图。需要说明的是，在以下说明中，将图2a和图2b统称为图2。

首先，本公开所涉及的汽车用控制装置cu(以下简称为控制装置cu)按功能分为识别系统块b1、判断系统块b2以及操作系统块b3。识别系统块b1为用于识别车外环境、车内环境(包括驾驶员的状态)的构成；判断系统块b2为根据识别系统块b1的识别结果判断各种状态、状况等并决定汽车的工作状况的构成；操作系统块b3为根据判断系统块b2的决定具体地生成传递给致动装置类的信号、数据等的构成。

控制装置cu包括：(1)主运算部40，其由用于实现正常运行时的自动运行的识别系统块b1、判断系统块b2以及操作系统块b3构成；(2)安全功能部50，其具有主要对主运算部40的识别系统块b1和判断系统块b2进行补充的功能；以及(3)备用安全ic单元60，其在主运算部40或安全功能部50的功能失效等异常情况发生时，将汽车移动到安全位置。

在本控制装置cu中，主运算部40的识别系统块b1和判断系统块b2利用各种模型执行处理，该各种模型是通过利用神经网络进行的深层学习构建成的模型。通过进行采用上述模型的处理能够进行基于车辆状态、车外环境、驾驶员的状态等综合判断的运行控制，即能够实时地协调并控制大量的输入信息。另一方面，如上所述，利用深层学习进行的车外环境的认定以及路径的计算还处于发展中状态，仍停留在asil－b这一等级上。

因此，在控制装置cu中，假设通过由主运算部40执行的深层学习推导出脱离某特定允许范围的判断或处理(以下简称为脱离处理)的可能性，并监视这样的脱离处理。在检测出脱离处理的情况下，控制装置cu会将判断或处理置换为由实现相当于asil－d的功能安全等级的安全功能部50进行的判断或处理，或者让主运算部40重新进行处理。

具体而言，例如，安全功能部50构成为：(1)根据现有技术中在汽车等中采用的特定物体等的认定方法识别位于车外的物体(以下，有时称为对象物)，(2)通过现有技术中在汽车等中采用的方法设定车辆能够安全通过的安全区域，并将通过该安全区域的路径设定为汽车应该通过的行驶路径。通过进行这样的所谓的基于规则的判断或处理，会实现相当于asil－d的功能安全等级。

本控制装置cu让主运算部40和安全功能部50根据同一输入信息(包括由后述的信息取得单元70取得的信息)并列地进行同一目的的处理(例如路径生成)。这样一来，能够对由主运算部40推导出脱离处理的情况进行监视，并且能够根据需要采用由安全功能部50进行的判断或处理，或者让主运算部40重新进行运算。

在本控制装置cu中设置有备用安全ic单元60，以便能够应对主运算单元40和安全功能部50两者都出现了故障的情况。备用安全ic单元60为下述功能与主运算部40和安全功能部50都不同的其他构成，该功能为根据车外信息且基于规则生成路径，并执行直至车辆停在安全位置为止的车辆控制。

将由取得汽车的车内外环境信息的信息取得单元70取得的数据作为输入信号赋予给控制装置cu。作为输入控制装置cu的输入信号，也可以像云计算那样输入来自与车外网络(例如因特网等)相连的系统或服务器的信息(在图2中记载为“externalinput：外部输入”)。

能够示例出的作为信息取得单元70的例子例如有：(1)多个摄像头71、(2)多个雷达72、(3)包括gps等定位系统的位置传感器73、(4)来自上述车外的网络等的外部输入74、(5)车速传感器等机械传感器75、(6)驾驶员输入部76等。驾驶员输入部76例如是油门开度传感器、转向角传感器、制动器传感器等。驾驶员输入部76中例如包括检测驾驶员对加速踏板、制动踏板、方向盘、各种开关等各种操作对象物进行的操作的传感器。各雷达72布置在本车辆的车身上，以便能够绕本车辆周围360°地检测本车辆的外部环境。雷达72例如由发送毫米波(探测波的一例)的毫米波雷达构成。需要说明的是，雷达72既可以是发射激光(探测波的一例)的激光雷达(lightdetectionandranging)，又可以是发射红外线(探测波的一例)的红外线雷达，还可以是发射超声波(探测波的一例)的超声波传感器。

－1－1.主运算部(1)－

这里，结合主运算部40利用深层学习生成路径之例对主运算部40的构成进行说明。

如图2所示，主运算部40包括识别车外物体的物体识别部241、地图生成部243、外部环境推测部244、外部环境模型245、路径搜索部246、路径生成部247以及车辆状态检测部346。

物体识别部241接收由摄像头71拍摄到的车外图像(包括影像)，并根据接收到的图像识别车外物体。物体识别部241包括：接收由摄像头71拍摄到的图像并进行图像处理的图像处理部241a(参照图3)、和根据经图像处理部241a处理后的图像识别车外的识别部241b(参照图3)。物体识别部241能够采用现有技术中公知的利用图像或电波进行的物体识别技术。

由物体识别部241识别出的结果发送给地图生成部243。在地图生成部243中进行处理，将本车辆的周围划分为多个区域(例如前方、左右方向、后方)并制作每个区域的地图。具体而言，在地图生成部243中，针对各个区域对由摄像头71识别出的物体信息和由雷达72识别出的物体信息进行整合，并反映在地图上。

车辆状态检测部346生成本车辆的运动信息。具体而言，车辆状态检测部346根据从各种机械传感器75输入的信息检测本车辆当前的运动状态。机械传感器75例如是车速传感器或横摆角速度传感器等。

在地图生成部243中生成的地图以及车辆状态检测部346的检测结果，用于在外部环境推测部244中通过利用深层学习进行图像识别处理来推测车外环境上。具体而言，在外部环境推测部244中，通过基于利用深层学习构建出的环境模型245进行的图像识别处理制作表示车外环境的3d地图。在深层学习中，使用多层神经网络(dnn：deepneuralnetwork：深度神经网络)。作为多层神经网络例如有cnn(convolutionalneuralnetwork：卷积神经网络)。

更具体而言，在外部环境推测部244中，(1)将每个区域的地图结合在一起而生成表示本车辆的周围的整合地图，(2)针对该整合地图中的运动物体，预测该运动物体与本车辆之间的距离、该运动物体相对于本车辆的方向、该运动物体相对于本车辆的相对速度的变化量，(3)将其结果编入外部环境模型245中。在外部环境推测部244中，(4)还将从车内或车外得到的高精度地图信息、由gps等取得的位置信息、车速信息、六轴信息结合起来以推测本车辆在整合地图上的位置，(5)并进行上述路径代价的计算，(6)将这些结果与由各种传感器取得的本车辆的运动信息一起编入外部环境模型245中。在外部环境推测部244中，外部环境模型245通过这些处理而随时被更新，并用于后述的由路径生成部247进行的路径生成上。

gps等定位系统的信号、从车外网络发送来的例如汽车导航用数据发送给路径搜索部246。路径搜索部246使用gps等定位系统的信号、从车外网络发送来的例如导航用数据搜索车辆的广域路径。

在路径生成部247中，根据上述外部环境模型245和路径搜索部246的输出生成车辆的行驶路径。作为行驶路径，例如将安全性、燃料消耗量等数值化，生成至少一条经该数值化得分较少的行驶路径。路径生成部247例如也可以构成为：生成上述行驶路径和根据驾驶员的操作量调整后的行驶路径那样的基于多个观点的行驶路径。与由该路径生成部247生成的行驶路径相关的信息包含在外部环境数据中。

－1－2.安全功能部－

这里，结合安全功能部50基于规则生成路径之例对安全功能部50的构成进行说明。

如图2所示，安全功能部50包括：对车外的物体进行模式识别的物体识别部251和物体识别部252、分类部351、前处理部352、自由空间搜索部353以及路径生成部354。

物体识别部251接收由摄像头71拍摄到的车外的图像(包括影像)，并根据接收到的图像识别车外物体。物体识别部251包括：接收由摄像头71拍摄到的图像并进行图像处理的图像处理部251a(参照图3)、和根据由图像处理部251a处理后的图像识别车外物体的物体识别部251b(参照图3)。物体识别部252根据由雷达72检测出的反射波的峰值一览表识别车外物体。

在分类部351、前处理部352中，不利用深层学习等推测外部环境，而根据由识别部251b识别出的图像数据和来自雷达72的信息利用基于规定规则的基于规则的方法推测外部环境。基于规则的外部环境推测方法能够采用现有技术中公知的方法。现有技术中公知的基于规则的外部环境推测方法的功能安全等级相当于asil－d这一功能安全等级。

具体而言，分类部351接收由物体识别部252识别出的物体识别结果，并将识别出的物体分为运动物体和静止物体。具体而言，在分类部351中，(1)将本车辆的周围划分为多个区域(例如，前方、左右方向、后方)，(2)在各区域中，将由摄像头71识别出的物体信息和由雷达72识别出的物体信息进行整合，(3)生成针对各区域的运动物体和静止物体的分类信息。

在前处理部352中，对在分类部351中生成的每个区域的分类结果进行整合。在前处理部352中，整合后的信息例如被作为本车辆周围的运动物体和静止物体的分类信息在栅格地图(省略图示)上加以管理。预测运动物体与本车辆之间的距离、运动物体相对于本车辆的方向、运动物体相对于本车辆的相对速度，并将预测结果作为运动物体的附属信息编入。在前处理部352中，还将从车内外取得的高精度地图信息、位置信息、车速信息、六轴信息等结合起来以推测本车辆相对于运动物体、静止物体的位置。

图6示出通过前处理部352的处理获得的整合数据d3。不识别该整合数据d3中物体的种类等，而是将该整合数据d3中本车辆周围的物体一律识别为特定物体85(严格而言，区分为运动物体和静止物体)。不识别各特定物体的具体形状，而识别各特定物体大致大小和相对位置等，如图6所示。

自由空间搜索部353搜索能够避开与位置已由前处理部352推测出的运动物体、静止物体(以下也称为对象物)发生碰撞的自由空间。例如，自由空间搜索部353根据将对象物周围几米内的范围视为不可避开范围等规定的规则设定自由空间。在对象物为运动物体的情况下，自由空间搜索部353考虑着移动速度设定自由空间。自由空间是指例如道路中不存在其他车辆或行人等动态障碍物、以及中间分隔带或道路中央的柱子等静态障碍物的区域。自由空间还可以包括能够紧急停车的路边空间。

路径生成部354对通过已由自由空间搜索部353搜索到的自由空间的路径进行计算。路径生成部354对路径的计算方法没有特别限定，例如生成通过自由空间的多条路径，从该多条路径中选择路径代价最小的路径。由路径生成部354计算出的路径输出给后述的路径决定部342。

需要说明的是，上述说明的安全功能部50的功能是将现有技术中在汽车等中采用的特定物体等的认定方法及其回避方法编入规则基准中的功能，例如功能安全等级相当于asil－d。

－1－3.主运算部(2)－

主运算部40除了包括在“1－1.主运算部(1)”中说明的块之外，还包括危险状态判断部341、第一车辆模型248、第二车辆模型249、路径决定部342、目标运动决定部343、车辆动能设定部344、能量管理部345、驾驶员操作识别部347以及选择器410、420。

在危险状态判断部341中，在根据前处理部352的输出判断出有可能与对象物发生碰撞或脱离车道的情况下，设定用于避开该情况的行驶路径(例如目标位置和车速)。

驾驶员操作识别部347识别驾驶员的操作量和操作方向，将驾驶员的操作量和操作方向作为用于决定行驶路径的信息。具体而言，驾驶员操作识别部347取得反映驾驶员的操作的传感器信息，将与驾驶员的操作量和操作方向相关的信息输入路径决定部342。反映驾驶员的操作的传感器包括检测驾驶员对加速踏板、制动踏板、方向盘、各种开关等各种操作对象物的操作的传感器。

在路径决定部342中，根据已由路径生成部247生成的行驶路径、已由安全功能部50的路径生成部354生成的行驶路径以及驾驶员操作识别部347的识别结果决定车辆的行驶路径。该行驶路径的决定方法没有特别限定。例如，在正常行驶时，也可以使由路径生成部247生成的行驶路径为最优先的行驶路径。在由路径生成部247设定的行驶路径不通过已由自由空间搜索部353搜索到的自由空间的情况下，也可以选择由安全功能部50的路径生成部354生成的行驶路径。还可以根据驾驶员的操作量和操作方向对已选择出的行驶路径进行调整，或者使驾驶员的操作优先。

在目标运动决定部343中，例如，针对由路径决定部342决定的行驶路径决定六轴的目标运动(例如，加速度、角速度等)。目标运动决定部343在决定六轴的目标运动时也可以使用规定的第一车辆模型248。车辆六轴模型是将行驶中车辆的“前后”、“左右”、“上下”三轴方向的加速度和“纵倾”、“侧倾”、“横摆”三轴方向的角速度模型化后得到的模型。也就是说，并不是只在经典的车辆运动工程学平面上(车辆的前后左右(x－y移动)和横摆运动(z轴))捕捉车辆的运动，而是还利用通过悬架设置在四个车轮上的车身的纵倾(y轴)运动、侧倾(x轴)运动以及z轴移动(车体的上下移动)捕捉车辆的运动，即为一共利用六轴来再现车辆的行驶轨迹的数值模型。第一车辆模型248例如基于事先设定好的车辆的基本运动功能、车内外的环境信息等生成并适当地进行更新。

在车辆动能设定部344中，针对由目标运动决定部343决定的六轴的目标运动，计算要求驱动系统产生的扭矩、要求转向系统产生的扭矩以及要求制动系统产生的扭矩。驱动系统指例如发动机系统、马达、变速器。转向系统指例如方向盘。制动系统指例如制动器。

为了在实现了由目标运动决定部343决定的目标运动的基础上能量效率达到最佳，能量管理部345计算对致动装置类ac的控制量。具体示例的话，能量管理部345计算在实现了由目标运动决定部343决定的发动机扭矩的基础上燃料消耗量最少时的进排气门(省略图示)的开关时刻、喷射器(省略图示)的燃料喷射时刻等。致动装置类ac包括例如发动机系统、制动器、方向盘以及变速器。能量管理部345在进行能量管理时可以使用规定的第二车辆模型249。第二车辆模型249是表示车辆的能量消耗的模型。具体而言，是表示让致动装置类ac工作时车辆的燃料消耗量和功耗的模型。更详细而言，第二车辆模型249是将在输出规定量的发动机扭矩的基础上燃料消耗量最少时的进排气门(省略图示)的开关时刻、喷射器(省略图示)的燃料喷射时刻、排气再循环系统的阀开关时刻等模型化后得到的模型。第二车辆模型249例如在车辆的行驶中生成并适当地进行更新。

选择器410接收从主运算部40输出的控制信号和从备用安全ic单元60输出的备用控制信号。在正常运行时，选择器410选择并输出从主运算部40输出的控制信号。另一方面，在检测出主运算部40的故障时，选择器410选择并输出从备用安全ic单元60输出的备用控制信号。需要说明的是，在第二实施方式中对备用安全ic单元60进行说明。

－2.各ic单元的构成例－

图3是示出车辆用控制装置cu中的各ic单元的构成例的方框图。在图3中，对与图2相对应的块赋予同一符号。

－2－1.信号处理ic单元－

如上所述，信号处理ic单元10对从拍摄车外环境的摄像头71接收到的拍摄信号进行图像处理，并将通过图像处理得到的数据作为图像数据输出。如图3所示，信号处理ic单元10具有物体识别部241的图像处理部241a和物体识别部251的图像处理部251a。

图像处理部241a、251a对由摄像头71拍摄到的图像进行修正图像失真(在该例中为由摄像头71的广角化引起的失真)的失真修正处理、调整图像白平衡的白平衡调整处理等。图像处理部241a、251a删除构成图像的元素中不需要在识别处理ic单元20中进行处理(物体的认定等)的像素，或者剔除与色彩相关的数据(用相同的颜色表示全部车辆等)，并生成图像数据d1。在该图像数据d1阶段，不进行识别拍摄在图像中的物体等外部环境的识别处理。

由图像处理部241a制作出的图像数据d1输入设置在识别处理ic单元20中的物体识别部241的识别部241b。由图像处理部251a制作出的图像数据d1输入设置在识别处理ic单元20中的识别部251b。

如上所述，在本公开的技术中，就物体识别部241、251的功能而言，进行图像处理的图像处理部241a、251a设置在信号处理ic单元10中，另一方面，进行用于识别物体等车辆外部环境的识别处理的识别部241b、251b设置在识别处理ic单元20中。

图4示出图像数据d1之一例。该图像数据d1所示的本车辆外部环境中包括车道90、人行道92以及空地93。车道90是本车辆能够移动的可移动区域。车道90包括中央线91。该图像数据d1所示的本车辆外部环境中包括其他车辆81、标志牌82、行道树83以及建筑物80。其他车辆81(自动四轮车)是随着时间的经过而发生位移的运动物体之一例。能够例举出的作为运动物体的其他例子有：自动二轮车、自行车、行人等。标志牌82和行道树83是随着时间的经过却不发生位移的静止物体之一例。能够列举出的作为静止物体的其他例子有：中间分隔带、道路中央的柱子、建筑物等。运动物体和静止物体是特定物体之例。

在图4所示的例子中，在车道90的外侧设有人行道92，在人行道92的外侧(远离车道90的一侧)设有空地93。在图4所示的例子中，一辆其他车辆81在车道90中由中央线91划分出的两条车道中的本车辆行驶的车道上行驶，两辆其他车辆81在两条车道中的对向车道上行驶。标志牌82和行道树83沿着人行道92的外侧排列。在本车辆的前方较远的位置处设有建筑物80。

－2－2.识别处理ic单元－

如上所述，识别处理ic单元20接收从信号处理ic单元10输出的图像数据，并利用深层学习根据图像数据推测包括道路和障碍物的车外环境。如图3所示，识别处理ic单元20包括：识别部241b、251b、地图生成部243、外部环境推测部244、外部环境模型245、路径搜索部246、路径生成部247、第一车辆模型248以及第二车辆模型249。

识别部241b接收从信号处理ic单元10输出的图像数据d1(包括影像数据)和由雷达72检测出的反射波的峰值一览表。识别部241b根据接收到的图像数据d1和上述峰值一览表识别车外的物体。车外的物体识别能够采用现有技术中公知的利用图像或电波进行的物体识别技术。由识别部241b进行识别处理得到的结果发送给地图生成部243。

需要说明的是，由于已经对地图生成部243、外部环境推测部244、外部环境模型245、路径搜索部246以及路径生成部247的功能和操作进行了说明，因此这里省略其详细说明。由于已经对第一车辆模型248和第二车辆模型249进行了说明，因此这里也省略其详细说明。

图5示出通过外部环境推测部244的识别处理获得的分割图像d2之一例。以像素为单位将该分割图像d2分为：车道90、中央线91、其他车辆81、标志牌82、行道树83、人行道92、空地93以及建筑物80中的任一种。在分割图像d2中，针对各特定物体识别出与形状相关的信息。

与识别部241b相同，识别部251b接收从信号处理ic单元10输出的图像数据d1(包括影像数据)和由雷达72检测出的反射波的峰值一览表。识别部251b根据接收到的图像数据d1和峰值一览表识别车外的物体。需要说明的是，识别部251b在进行模式识别这一点上与识别部241b不同。识别部251b进行的模式识别能够采用现有技术中公知的利用图像或电波进行的物体识别技术。

－2－3.判断处理ic单元－

如上所述，判断处理ic单元30接收从识别处理ic单元20输出的外部环境数据，根据该外部环境数据进行用于控制车辆行驶的判断处理，并输出基于该判断处理结果的行驶控制信号。判断处理ic单元30具有与识别处理ic单元20不同的计算车辆的行驶路径的功能。判断处理ic单元30的路径生成是利用现有技术中在汽车等中采用的方法设定车辆能够安全通过的安全区域，并将通过该安全区域的路径设定为汽车应该通过的行驶路径。具体而言，判断处理ic单元30包括分类部351、前处理部352、自由空间搜索部353以及路径生成部354。判断处理ic单元30为了决定车辆应该行驶的行驶路径，并计算车辆的用于追随该行驶路径的目标运动，而包括危险状态判断部341、路径决定部342、目标运动决定部343、车辆动能设定部344以及能量管理部345。

需要说明的是，已经对分类部351、前处理部352、自由空间搜索部353、路径生成部354、危险状态判断部341、路径决定部342、目标运动决定部343、车辆动能设定部344以及能量管理部345的功能、工作情况进行了说明，因此这里省略其详细说明。

如上所述，根据本实施方式，将用于对摄像头的输出进行图像处理的信号处理ic单元10设为独立于其他构成的构成。如上所述，在汽车产品阵容中，存在设置在车辆上的摄像头的台数和设置场所、摄像头的分辨率互不相同的情况。还存在从摄像头输出的图像处理的算法、图像的处理能力随着汽车产品阵容而改变的情况。通过采用本实施方式这样的构成，即使在汽车产品阵容较大的情况下，也能够通过更换信号处理ic单元10来应对。这样一来，汽车产品阵容中，例如不同的车型却能够使用相同的ic单元作为后段的识别处理ic单元20和/或判断处理ic单元30。

如上所述，“识别车辆外部环境的识别处理”正处于技术进化的过程中，预测今后技术变化也大。于是，将用于进行识别处理的识别处理ic单元20设为独立于其他构成的构成。这样一来，在车辆款式更新中，就能够适当地将识别处理ic单元20置换为最新的识别处理ic单元。

在识别处理ic单元20的后段设置有判断处理ic单元30，该判断处理ic单元30具有以下功能：不利用深层学习等推测外部环境，而根据由识别部251b识别出的图像数据和来自雷达72的信息且采用基于规定规则的基于规则的方法推测外部环境。在判断处理ic单元30中，可以根据基于上述规则的外部环境识别结果和在识别处理ic单元20中的识别结果进行用于控制车辆行驶的判断处理，输出基于该判断处理结果的行驶控制信号。通过这样的构成，例如能够采用成熟工艺制成判断处理ic单元30，因此能够提高用于控制车辆行驶的判断处理的可靠性。

(第二实施方式)

图7是示出本实施方式所涉及的车辆用控制装置cu的构成的方框图。在图7的车辆用控制装置cu中，信号处理ic单元10和识别处理ic单元20分别并列设置有两个，这一点与图1的构成不同。在本实施方式中，车辆用控制装置cu包括备用安全ic单元60，这一点与图1中的构成不同。在以下说明中，以与图1的不同点为中心进行说明，有时省略对同一构成的说明。

在本实施方式中，为了便于说明，对并列设置的信号处理ic单元10附加了符号10a、10b。同样，对并列设置的识别处理ic单元20附加了符号20a、20b。信号处理ic单元10a、10b既可以彼此相同，也可以一部分功能或构成彼此不同。识别处理ic单元20a、20b既可以彼此相同，也可以一部分功能或构成彼此不同。

如图7所示，信号处理ic单元10a对从多个摄像头71的一部分即摄像头71a接收到的拍摄信号进行图像处理，并将通过图像处理得到的数据作为图像数据输出。信号处理ic单元10b对从多个摄像头71的剩余部分即摄像头71b接收到的拍摄信号进行图像处理，并将通过图像处理得到的数据作为图像数据输出。信号处理ic单元10a、10b的构成和工作情况可以与在第一实施方式中说明的信号处理ic单元10相同，因此这里省略其详细说明。

识别处理ic单元20a接收从信号处理ic单元10a输出的图像数据，根据该图像数据进行识别车辆外部环境的识别处理，并输出通过该识别处理获得的外部环境数据。这里，就识别处理ic单元20a而言，在地图生成部243中，将由摄像头71a识别出的物体信息和由多个雷达72的一部分即雷达72a识别出的物体信息进行整合，并反映在地图中。除此以外的构成与在第一实施方式中说明的识别处理ic单元20相同，因此这里省略其详细说明。

识别处理ic单元20b接收从信号处理ic单元10b输出的图像数据，根据该图像数据进行识别车辆外部环境的识别处理，并输出通过该识别处理获得的外部环境数据。这里，就识别处理ic单元20b而言，在地图生成部243中，将由摄像头71b识别出的物体信息和由多个雷达72的一部分即雷达72b识别出的物体信息进行整合，并反映在地图中。

这里，例如，摄像头71a和雷达72a被布置为：当两者的检测范围重叠时，摄像头71a和雷达72a都能够绕本车辆周围360°地识别本车辆外部环境。同样，摄像头71b和雷达72b被布置为：当两者的检测范围重叠时，摄像头71a和雷达72a都能够绕本车辆周围360°地识别本车辆外部环境。经识别处理ic单元20b处理而得到的外部环境数据例如输出给识别处理ic单元20a。在识别处理ic单元20a中，将经本单元处理而得到的外部环境数据和经识别处理ic单元20b处理而得到的外部环境数据进行整合，并输出给判断处理ic单元30。判断处理ic单元30的构成和工作情况可以与第一实施方式相同，因此这里省略其详细说明。

需要说明的是，识别处理ic单元20a、20b也可以分别将经它们处理而得到的外部环境数据输出给判断处理ic单元30。在该情况下，在判断处理ic单元30中，使用来自两个识别处理ic单元20a、20b的外部环境数据进行用于控制车辆行驶的判断处理，输出基于该判断处理结果的行驶控制信号即可。

－备用安全功能部－

这里，对备用安全ic单元60的构成进行说明，还说明备用安全ic单元60是怎样基于规则生成路径的。备用安全ic单元60包括能够基于规则最起码进行朝着安全停车位置移动的移动工作、停车工作时所需要的构成。更具体而言，备用安全ic单元60构成为：生成直到行驶中的车辆在满足事先设定好的基准的停车位置停下来的安全行驶路径，并决定用于使车辆沿着该安全行驶路径行驶的备用目标运动，将用于实现该备用目标运动的备用控制信号输出给各致动装置。需要说明的是，关于具体的块的构成及其功能，能够利用与安全功能部50相同的构成实现。

下面，对备用安全ic单元60的具体构成和工作情况进行说明。

如图2所示，在备用安全ic单元60中，根据由物体识别部251(识别部251b)识别出的结果将物体分为运动物体和静止物体。在图2中，由附加符号603且记载为“运动物体、静止物体分类”的电路块进行分类。需要说明的是，如图2所示，既可以用与安全功能部50一样的物体识别部(物体识别部251)作为备用安全ic单元60中的物体识别部，也可以在备用安全ic单元60中另外单独设置一个物体识别部作为物体识别部。

备用安全ic单元60包括检测车辆状态的车辆状态检测部601、和掌握驾驶员的操作状态的驾驶员操作识别部602。车辆状态检测部601根据车速信息、六轴信息取得车辆状况，以便将其作为本车辆的附加信息用于生成路径。驾驶员操作识别部602的功能相当于驾驶员操作识别部347的功能。驾驶员操作识别部602的上述功能以外的功能独立于主运算部40和安全功能部50，但实质功能与在此之前说明的构成相同，这里省略详细说明上述功能以外的功能。具体而言，前处理部604相当于前处理部352，自由空间搜索部605相当于自由空间搜索部353，路径生成部606相当于路径生成部354，危险状态判断部607相当于危险状态判断部341，目标运动决定部608相当于目标运动决定部343，路径决定部609相当于路径决定部342，车辆动能设定部610相当于车辆动能设定部344，能量管理部611相当于能量管理部345。

选择器410接收从主运算部40输出的控制信号和从备用安全ic单元60输出的备用控制信号。选择器410在正常运行时选择并输出从主运算部40输出的控制信号。另一方面，在像检测出主运算部40出现故障那样检测出车辆异常的情况下，或者，在像检测出如驾驶员生病那样检测出驾驶员异常的情况下，选择器410选择并输出从备用安全ic单元60输出的备用控制信号。

如上所述，根据本实施方式，能够收到与第一实施方式相同的作用与效果。在本实施方式中，信号处理ic单元10a、10b和识别处理ic单元20a、20b是双重处理系统，因此能够确保冗余性。具体而言，即使一个处理系统失效，也能够在另一个处理系统中进行备用处理。由于能够用另一个处理系统的处理结果验证一个处理系统的处理结果，因此能够提高功能安全等级。

在本实施方式中，设置了备用安全ic单元60，因此在检测出车辆或乘车人员的至少一者异常的情况下，能够使用基于规则的安全备用ic单元的判断处理结果。这样一来，能够提高功能安全等级。

－产业实用性－

此处所公开的技术，作为安装在汽车上的车辆用控制装置是有用的。