距离推定装置、距离推定方法和保存有距离推定用计算机程序的非瞬时性的计算机可读介质与流程

1.本公开涉及对到对象物为止的距离进行推定的距离推定装置、距离推定方法以及距离推定用计算机程序。


背景技术：

2.基于多视点立体视觉的距离推定装置通过使用图像集来重构对象物的三维构造，能够推定到对象物为止的距离，该图像集是通过多个摄像头从不同的视点拍摄对象物来生成的。
3.专利文献1记载了使用设定在三维空间中的预定尺寸的体素来表示对象物的形状的三维形状数据的生成装置。
4.现有技术文献
5.专利文献1；日本特开2020－004219号公报


技术实现要素：

6.发明要解决的技术问题
7.通过计算机对使用体素来表示的三维形状进行处理的情况下的存储器使用量会以分辨率的三次方进行增加。因此，难以提高使用体素表示的对象物的三维构造的分辨率。因此，适当地推定到具有复杂形状的对象物为止的距离并不容易。
8.本公开的目的在于即使是比较少的存储器容量也能够适当地推定到具有复杂形状的对象物为止的距离的距离推定装置。
9.用于解决问题的技术方案
10.本公开涉及的距离推定装置距离推定装置具备：提取部，其从通过参考拍摄部生成的参考图像提取参考特征图，并且，从分别通过一个以上的源拍摄部生成的源图像分别提取源特征图，该参考拍摄部从预定的参考位置拍摄对象物，该参考特征图表示与参考图像所包含的各像素对应的特征量，该一个以上的源拍摄部从与参考位置不同的位置拍摄对象物，该源特征图表示该源图像所包含的各像素的特征量；生成部，通过在多个假想平面上进行源特征图的射影，生成对多个假想平面上的坐标关联了特征量而得到的代价容量，所述多个假想平面是通过对在参考特征图中与参考图像所包含的各像素对应的特征量进行变换以使其与使参考拍摄部的像面沿着参考拍摄部的光轴方向进行了移动时的该像面所对应的图像的各像素对应而假想地配置的多个假想平面；设定部，其在代价容量中，在从参考位置朝向与参考图像所包含的多个像素中的任一个对象像素相当的方向的直线上设定多个采样点；插值部，其对于分别与多个采样点对应的特征量，在代价容量中使用与多个假想平面中的配置在该采样点的附近的假想平面上的、该采样点的附近的坐标相关联了的特征量来进行插值；算出部，其通过将与被进行了插值的多个采样点对应的各特征量输入到识别器来算出与该采样点对应的占有概率，识别器被进行了学习，以使得根据与多个假想
平面中的任一个假想平面上的任一个坐标对应的特征量来输出占有概率，该占有概率表示该坐标成为对象物的内部的概率；以及推定部，其通过对分别与多个采样点对应的占有概率和该采样点距参考位置的距离之积进行加法运算，从而推定从参考位置到对象物的表面为止的距离。
11.在本公开涉及的距离推定装置中，优选算出部将分别与多个采样点对应的占有概率以与该采样点相邻的一对采样点的间隔越大则权重越大的方式进行加权。
12.在本公开涉及的距离推定装置中，优选识别器在使用包括表示了教师对象物的教师参考图像和表示了教师对象物并具有与教师参考图像的视点不同的视点的教师源图像的教师数据而生成的教师代价容量中被进行学习，以使得关于在从教师参考图像的视点朝向与教师参考图像所包含的多个像素中的关联了所表示的教师对象物的深度的教师像素相当的方向的教师采样直线上所设定的多个教师采样点推定的占有概率和根据与教师像素相关联了的深度算出的占有状态之差变小。
13.在本公开涉及的距离推定装置中，优选多个教师采样点被设定为越接近与教师像素相关联了的深度则间隔越密。
14.在本公开涉及的距离推定装置中，优选识别器被进行学习以使得关于多个教师采样点推定的占有概率和教师像素的占有状态之差变小，并且，被进行学习以使得根据关于多个教师采样点推定的占有概率算出的教师对象物的深度和与该教师像素相关联了的深度之差变小。
15.在本公开涉及的距离推定装置中，优选识别器使用关于如下所述的多个教师采样点推定的占有概率来进行学习，该多个教师采样点是坐标值被使用按各教师像素设定的值进行了变更的多个教师采样点。
16.本公开涉及的距离推定方法包括：从通过参考拍摄部生成的参考图像提取参考特征图，并且，从分别通过一个以上的源拍摄部生成的源图像分别提取源特征图，该参考拍摄部从预定的参考位置拍摄对象物，该参考特征图表示与参考图像所包含的各像素对应的特征量，该一个以上的源拍摄部从与参考位置不同的位置拍摄对象物，该源特征图表示该源图像所包含的各像素的特征量；通过在多个假想平面上进行源特征图的射影，生成对多个假想平面上的坐标关联了特征量而得到的代价容量，所述多个假想平面是通过对在参考特征图中与参考图像所包含的各像素对应的特征量进行变换以使其与使参考拍摄部的像面沿着参考拍摄部的光轴方向进行了移动时的该像面所对应的图像的各像素对应而假想地配置的多个假想平面；在代价容量中，在从参考位置朝向与参考图像所包含的多个像素中的任一个对象像素相当的方向的直线上设定多个采样点；对于分别与多个采样点对应的特征量，在代价容量中使用与多个假想平面中的配置在该采样点的附近的假想平面上的、该采样点的附近的坐标相关联了的特征量来进行插值；通过将与被进行了插值的多个采样点对应的各特征量输入到识别器来算出与该采样点对应的占有概率，该识别器被进行了学习，以使得根据与多个假想平面中的任一个假想平面上的任一个坐标对应的特征量来输出占有概率，该占有概率表示该坐标成为对象物的内部的概率；以及通过对分别与多个采样点对应的占有概率和该采样点距参考位置的距离之积进行加法运算，从而推定从参考位置到对象物的表面为止的距离。
17.本公开涉及的非瞬时性的计算机可读介质中所保存的距离推定用计算机程序使
计算机执行：从通过参考拍摄部生成的参考图像提取参考特征图，并且，从分别通过一个以上的源拍摄部生成的源图像分别提取源特征图，该参考拍摄部从预定的参考位置拍摄对象物，该参考特征图表示与参考图像所包含的各像素对应的特征量，该一个以上的源拍摄部从与参考位置不同的位置拍摄对象物，该源特征图表示该源图像所包含的各像素的特征量；通过在多个假想平面上进行源特征图的射影，生成对多个假想平面上的坐标关联了特征量而得到的代价容量，所述多个假想平面是通过对在参考特征图中与参考图像所包含的各像素对应的特征量进行变换以使其与使参考拍摄部的像面沿着参考拍摄部的光轴方向进行了移动时的该像面所对应的图像的各像素对应而假想地配置的多个假想平面；在代价容量中，在从参考位置朝向与参考图像所包含的多个像素中的任一个对象像素相当的方向的直线上设定多个采样点；对于分别与多个采样点对应的特征量，在代价容量中使用与多个假想平面中的配置在该采样点的附近的假想平面上的、该采样点的附近的坐标相关联了的特征量来进行插值；通过将与被进行了插值的多个采样点对应的各特征量输入到识别器来算出与该采样点对应的占有概率，该识别器被进行了学习，以使得根据与多个假想平面中的任一个假想平面上的任一个坐标对应的特征量来输出占有概率，该占有概率表示该坐标成为对象物的内部的概率；以及通过对分别与多个采样点对应的占有概率和该采样点距参考位置的距离之积进行加法运算，从而推定从参考位置到对象物的表面为止的距离。
18.根据本公开涉及的距离推定装置，即使是比较少的存储器容量，也能够适当地推定到具有复杂形状的对象物为止的距离。
附图说明
19.图1是安装有距离推定装置的车辆的概略构成图。
20.图2是ecu的硬件示意图。
21.图3是ecu具有的处理器的功能框图。
22.图4是对特征图的提取进行说明的图。
23.图5是对使用了特征图的距离推定进行说明的图。
24.图6是距离推定处理的流程图。
25.标号说明
26.1 车辆
27.3 ecu
28.331 提取部
29.332 生成部
30.333 设定部
31.334 插值部
32.335 算出部
33.336 推定部
具体实施方式
34.以下，参照附图对即使是比较少的存储器容量也能够适当地推定到具有复杂形状的对象物为止的距离的距离推定装置进行详细的说明。距离推定装置首先从通过参考拍摄
部生成的参考图像提取参考特征图，该参考拍摄部从预定的参考位置拍摄对象物，该参考图像表示与参考图像所包含的各像素对应的特征量。另外，距离推定装置从通过一个以上的源拍摄部分别生成的源图像分别提取源特征图，该一个以上的源拍摄部从与参考位置不同的位置拍摄对象物，该源特征图表示该源图像所包含的各像素的特征量。接着，距离推定装置通过在以如下方式假想地配置的多个假想平面上进行源特征图的射影，生成对多个假想平面上的坐标关联了特征量而得到的代价容量，所述多个假想平面是通过对在参考特征图中与参考图像所包含的各像素对应的特征量进行变换以使其与使参考拍摄部的像面沿着参考拍摄部的光轴方向进行了移动时的该像面所对应的图像的各像素对应而假想地配置的多个假想平面。接着，距离推定装置在代价容量中，在从参考位置朝向与参考图像所包含的多个像素中的任一对象像素相当的方向的直线上设定多个采样点。接着，距离推定装置对于分别与多个采样点对应的特征量，在代价容量中使用与多个假想平面中的配置在该采样点的附近的假想平面上的、该采样点的附近的坐标相关联了的特征量来进行插值。接着，距离推定装置通过将与被进行了插值的多个采样点对应的各特征量输入到识别器来算出与该采样点对应的占有概率，该识别器被进行了学习，以使得根据与多个假想平面中的任一个假想平面上的任一个坐标对应的特征量来输出占有概率，该占有概率表示该坐标成为所述对象物的内部的概率。并且，距离推定装置通过对分别与多个采样点对应的占有概率和该采样点距参考位置的距离之积进行加法运算，从而推定从参考位置到对象物的表面为止的距离。
35.图1是安装有距离推定装置的车辆的概略构成图。
36.车辆1具有周边摄像头2和ecu3(electronic control unit，电子控制单元)。ecu3为距离推定装置的一个例子。周边摄像头2和ecu3经由遵循了控制器局域网络这样的标准的车内网络以能够通信的方式相连接。
37.周边摄像头2为用于生成表示车辆1的周边状况的图像的拍摄部的一个例子。周边摄像头2具有：二维检测器，其由ccd或者c－mos等的对可见光具有灵敏度的光电变换元件的阵列构成；和成像光学系，其进行该二维检测器上的成为拍摄对象的区域的像的成像。周边摄像头2具有左方周边摄像头2－1和右方周边摄像头2－2。左方周边摄像头2－1例如以朝向前方的方式配置在车室内的前方左侧上部，右方周边摄像头2－2例如以朝向前方的方式配置在车室内的前方右侧上部。左方周边摄像头2－1和右方周边摄像头2－2在车辆1中配置在不同的位置，因此，能够从不同的视点拍摄相同的对象物。本实施方式的周边摄像头2具有左方周边摄像头2－1和右方周边摄像头2－2这两个摄像头，但周边摄像头2也可以具有分别配置在不同的位置的3个以上的摄像头。周边摄像头2按预定的拍摄周期(例如1/30秒～1/10秒)而经由前玻璃来拍摄车辆1周边的状况，输出表示了周边的状况的图像。
38.ecu3推定从参考位置到周边摄像头2生成的图像中所表示了的对象物为止的距离。另外，ecu3基于所推定的从参考位置到对象物为止的距离，预测将来的该对象物的位置，对车辆1的行驶机构(未图示)进行控制，以使得将来的车辆1与该对象物的距离不低于预定的距离阈值。
39.图2是ecu3的硬件示意图。ecu3具备通信接口31、存储器32以及处理器33。
40.通信接口31为通信部的一个例子，具有用于向车内网络连接ecu3的通信接口电路。通信接口31将所接收到的数据提供至处理器33。另外，通信接口31向外部输出从处理器
33提供了的数据。
41.存储器32为存储部的一个例子，具有易失性的半导体存储器和非易失性的半导体存储器。存储器32保存在由处理器33进行的处理中所使用的各种数据、例如配置周边摄像头2的位置、成像光学系的光轴方向以及焦点距离。另外，存储器32保存用于对作为从图像提取特征图的识别器进行动作的神经网络进行规定的参数组(层数、层结构、内核(kernel)、权重系数等)。另外，存储器32保存使用特征图生成了的代价容量(cost volume)。另外，存储器32保存用于对作为识别器进行动作的神经网络进行规定的参数组，该识别器基于与代价容量所包含的坐标对应的特征量来输出与该坐标对应的占有概率。另外，存储器32保存执行各种应用程序、例如距离推定处理的距离推定用程序等。
42.处理器33为控制部的一个例子，具有一个以上的处理器及其外围电路。处理器33也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其他运算电路。
43.图3为ecu3具有的处理器33的功能框图。
44.ecu3的处理器33作为功能块而具有提取部331、生成部332、设定部333、插值部334、算出部335以及推定部336。处理器33具有的这些各部是通过存储于存储器32、并在处理器33上进行执行的计算机程序安装的功能模块。实现处理器33的各部的功能的计算机程序也可以用记录于半导体存储器、磁记录介质或者光记录介质这样的计算机能够读取的可移动性的记录介质的方式来进行提供。或者，处理器33具有的这些各部也可以是独立的集成电路、微处理器或者作为固件来安装于ecu3。
45.提取部331从通过参考拍摄部生成的参考图像提取参考特征图，该参考特征图表示与参考图像所包含的各像素对应的特征量。另外，提取部331从通过一个以上的源拍摄部分别生成的源图像分别提取对该源图像所包含的各像素的特征量进行表示的多个源特征图。
46.图4是对特征图的提取进行说明的图。
47.搭载于车辆1的左方周边摄像头2－1和右方周边摄像头2－2拍摄对象物obj，输出表示了对象物obj的参考图像pr和源图像ps。在本实施方式中，左方周边摄像头2－1作为生成参考图像pr的参考拍摄部、右方周边摄像头2－2作为生成源图像ps的源拍摄部来进行说明，但也可以与之相反。另外，在周边摄像头2具有3个以上的摄像头的情况下，将其中的一个摄像头作为参考拍摄部，将其他摄像头作为第1、第2、
……
的源拍摄部即可。配置左方周边摄像头2－1的位置相当于参考位置，右方周边摄像头2－2配置于与参考位置不同的位置。
48.提取部331通过将参考图像pr和源图像ps分别输入到识别器c1，从而提取参考特征图fmr和源特征图fms，参考特征图fmr表示与参考图像pr所包含的各像素对应的特征量，源特征图fms表示与源图像ps所包含的各像素对应的特征量。参考特征图fmr和源特征图fms是在纵向和横向上具有与参考图像pr和源图像ps相同的尺寸、按各像素来表示到由参考图像pr和源图像ps的各个像素表示了的物体为止的推定距离的深度图。识别器c1例如可以设为多尺度深度网络(multi－scale deep network)这样的具有从输入侧朝向输出侧串联地连接了的多个卷积层的卷积神经网络(cnn)。通过使用按各像素而关联了深度的图像来作为教师数据，按照误差反向传播法这样的预定的学习方法来预先进行cnn的学习，由此cnn作为从图像提取各像素的特征量的识别器c1来进行动作。
49.参考特征图fmr和源特征图fms也可以是将参考图像pr和源图像ps的各个像素分类为“道路”、“人”、“车辆”这样的类别的分割图(segmentation map)。为了输出这样的特征图，识别器c1例如可以设为使用segnet这样的cnn。
50.图5是对使用了特征图的距离推定进行说明的图。
51.生成部332通过对在参考特征图fmr中与参考图像pr所包含的各像素对应的特征量进行变换，以使得与使左方周边摄像头2－1的像面沿着左方周边摄像头2－1的光轴方向进行了移动时的该像面所对应的图像的各像素对应，从而在成为参考图像pr的视点的配置左方周边摄像头2－1的位置与对象物obj之间假想地配置多个假想平面hp1－hp4。多个假想平面hp1－hp4是与左方周边摄像头2－1的光轴正交、且距配置左方周边摄像头2－1的位置的距离分别不同的平面。在多个假想平面hp1－hp4中，参考特征图fmr所包含的与参考图像pr所包含的各像素对应的特征量被配置在根据距配置左方周边摄像头2－1的位置的距离而缩小或者放大了的范围。
52.生成部332通过对多个假想平面分别进行源特征图fms的射影来生成代价容量。代价容量包括多个假想平面上的坐标，对各个坐标关联有与参考特征图fmr中的特征量和源特征图fms中的特征量的差异相应的特征量。此外，本实施方式示出了配置有4个假想平面的例子，但假想平面的数量不限于此。
53.生成部332通过针对假想平面hp1－hp4各自的位置来对源特征图fms进行单应性(homography)变换，从而将源特征图fms射影到假想平面hp1－hp4上。生成部332生成具有与被分别射影到了假想平面hp1－hp4的源特征图fms的特征量相应的特征量的代价容量cv。此外，在具有多个源图像和所对应的源特征图的情况下，对代价容量cv所包含的各坐标关联有与各个源特征图相应的特征量。
54.设定部333在代价容量cv中，在从配置左方周边摄像头2－1的位置朝向与参考图像pr所包含的多个像素中的任一个对象像素t相当的方向的直线(采样直线sr)上设定多个采样点p1、p2、p3。
55.设定部333设定多个采样点，以使得在靠近多个假想平面中的如下假想平面的采样点中到相邻的采样点为止的间隔变密，所述假想平面是配置有该假想平面的深度与由在该假想平面中与采样直线sr附近的坐标相关联的特征量表示的深度最接近的假想平面。
56.设定部333也可以在采样直线sr上以等间隔来设定多个采样点。另外，设定部333也可以在采样直线sr上以随机的间隔来设定多个采样点。
57.插值部334使用与配置于代价容量cv的多个假想平面中的配置在了该采样点的附近的假想平面上的、该采样点的附近的坐标相关联了的特征量，对分别与多个采样点p1、p2、p3对应的特征量进行插值。
58.在此，作为一个例子，对与采样点p1对应的特征量的插值进行说明，但关于其他采样点也能够同样地进行插值。插值部334首先确定接近采样点p1的假想平面。采样点p1被设定在与位于深度k1的参考特征图fmr平行的平面上的、左右方向为i1、上下方向为j1的位置，将采样点p1记载为采样点p1(i1、j1、k1)。插值部334确定深度为k1以下且最大的假想平面和深度为k1以上且最小的假想平面。
59.插值部334在所确定的假想平面中确定接近采样点p1(i1、j1、k1)的坐标。所确定的坐标是左右方向为i1以下且最大、并且上下方向为j1以下且最大的坐标、左右方向为i1以下
且最大、并且上下方向为j1以上且最小的坐标等。
60.插值部334例如通过三轴线性插值(trilinear interpolation)，使用在假想平面中与接近采样点p1(i1、j1、k1)的坐标相关联了的特征量，对与采样点p1(i1、j1、k1)对应的特征量进行插值。
61.算出部335通过将与被进行了插值的多个采样点对应的各特征量输入到识别器c2，从而算出与该采样点对应的占有概率。占有概率是代价容量cv的范围所包含的坐标成为对象物obj的内部的概率。识别器c2被进行学习，以使得根据与配置于代价容量cv的多个假想平面中的任一假想平面上的任一坐标对应的特征量来输出占有概率。关于识别器c2的学习，将在后面进行描述。
62.识别器c2例如可以由多层感知机(perceptron)那样的、具有全部的输入值连接于全部的输出值的全连接层的全连接型神经网络构成。
63.算出部335也可以将分别与多个采样点对应的占有概率以与该采样点相邻的一对采样点的间隔(箱元大小)越大则权重越大的方式进行加权。通过这样进行加权，ecu3能够适当地对与未以等间隔来设定的采样点对应的占有概率进行处理。
64.算出部335对于与被设定为了距左方周边摄像头2－1的位置的距离成为升序的多个采样点中的采样点pi对应的占有概率，使用通过以下的式(1)求出的箱元大小bi，通过以下的式(2)进行加权。
[0065][0066][0067]
在式(1)中，di表示从配置左方周边摄像头2－1的位置到采样点pi为止的距离。在式(2)中，f(pi)表示与采样点pi对应地由识别器c2输出的占有概率。
[0068]
在多个采样点被设定为等间隔的情况下，也可以对通过识别器c2输出的占有概率应用softmax函数，从而进行调整以使得采样点的占有概率的合计成为1。
[0069]
推定部336输出对分别与多个采样点对应的占有概率和该采样点的距配置左方周边摄像头2－1的位置的距离之积进行加法运算而得到的值，来作为从配置左方周边摄像头2－1的位置到由对象像素t表示了的对象物obj的表面为止的推定距离。
[0070]
对于识别器c2的学习，使用教师参考图像和教师源图像来作为教师数据，按照误差反向传播法这样的预定方法来进行，该教师参考图像具有关联了所表示的对象物的深度的真值的教师像素，该教师源图像是通过从与教师参考图像不同的视点拍摄该对象物来生成的。
[0071]
通过将从教师源图像提取到的教师源特征图射影到与教师参考图像平行地配置的假想平面，从而生成教师代价容量。
[0072]
在通过教师参考图像的视点和教师参考图像所包含的教师像素的教师采样直线上设定有多个教师采样点。此外，在本说明书中，“教师采样点”、“教师采样直线”以及“教师
像素”分别表示在识别器c2的学习中所使用的采样点、采样直线以及对象像素。
[0073]
多个教师采样点优选被设定为在教师采样直线上与教师像素相关联了的深度越近、则间隔越密。例如，首先在与教师像素相关联了的深度所对应的点和预先确定的最附近面以及最远程面之间均匀地设定有预定数量的初始教师采样点来作为教师采样点。并且，对于由相邻的初始教师采样点进行了区划的箱元分别设定有对预定的阶层教师采样点数乘以该箱元包含对象物的表面的可能性而得到的数量的阶层教师采样点来作为教师采样点。
[0074]
在学习阶段中，识别器c2求出关于设置在了教师采样直线上的各教师采样点的占有概率。另外，在学习阶段中，识别器c2通过将从教师参考图像的视点到各教师采样点为止的各个距离乘以与该教师采样点对应的占有概率并分别进行加法运算，从而推定从教师参考图像的视点到教师像素为止的距离(深度)。
[0075]
识别器c2被进行学习，以使得与教师采样点的特征量的输入相应的占有概率(0～1)和与教师像素相关联了的深度(真值)与根据教师采样点的坐标算出的占有状态之差变小。占有状态在为0的情况下表示教师采样点比由深度表示的对象物的表面更靠近视点(即处于对象物的外侧)，在为1的情况下表示教师采样点比对象物的表面更远离视点(即处于对象物的外侧)。对于识别器c2的学习，优选使用以下的式(3)所示的误差函数。
[0076][0077]
在式(3)中，l
depth
表示所推定的深度和与教师像素相关联了的深度(真值)的误差。另外，在式(3)中，l
occ
表示如以下的式(4)所示那样推定的占有概率和教师采样点的占有概率(真值)的误差。根据式(3)，识别器被进行学习，以使得所推定的深度和与教师像素相关联了的深度(真值)之差变小、且所推定的占有概率和教师采样点的占有状态(真值)之差变小。λ
depth
和λ
occ
为用于适当地对学习效果进行控制的超参数，例如能够通过在将(λ
depth
、λ
occ
)设定为了(1e
－3
、1)之后，对l乘以1e5，从而获得数的稳定性。
[0078][0079]
在式(4)中，ns为教师采样点的数量，ce为交叉熵函数。s(pi)表示教师采样点pi处的占有状态，是从1减去如下值而得到的值(最小值为0)，该值为将各个教师采样点的深度和与教师像素相关联了的深度(真值)之差的绝对值除以用于对占有状态的范围进行控制的超参数而得到的值。s(pi)在教师采样点pi的深度接近真值的深度时接近1，在教师采样点pi的深度远离真值的深度时接近0。
[0080]
在式(4)中，f(pi)表示识别器c2关于教师采样点pi输出的占有概率。另外，在式(4)中，σ()为sigmoid函数，γ为用于对l
occ
(占有损失)与l
depth
(深度损失)之间的尺度差异进行调整的能够学习的尺度标量值。
[0081]
在识别器c2的学习中，也可以在推定教师像素处的教师对象物的深度时，使用按各教师像素而设定的值，对多个教师采样点的坐标值进行变更。例如，在推断教师像素(x、y、z)的深度时，在通过该教师像素的教师采样直线上所设定的教师采样点的坐标(xi、yi、
zi)被使用关于教师像素(x、y、z)所设定的值(xa、ya、za)来变更为(xi+xa、yi+ya、zi+za)。通过对被输入到识别器c2的教师采样点的坐标值进行变更，能够防止识别器c2中的过度学习。
[0082]
图6为距离推定处理的流程图。ecu3根据参考图像pr和源图像ps的输入来执行距离推定处理。
[0083]
ecu3的提取部331从参考图像pr提取参考特征图fmr，并且，从一个以上的源图像ps分别提取源特征图fms(步骤s1)。
[0084]
接着，ecu3的生成部332通过将源特征图fms射影到假想地配置的多个假想平面上，从而生成代价容量cv(步骤s2)。
[0085]
接着，ecu3的设定部333在从配置左方周边摄像头2－1的位置朝向与参考图像pr所包含的多个像素中的任一对象像素相当的方向的直线上设定多个采样点(步骤s3)。
[0086]
接着，ecu3的插值部334对于分别与多个采样点对应的特征量，在代价容量cv中使用与多个假想平面中的配置在了该采样点的附近的假想平面上的、该采样点附近的坐标相关联了的特征量来进行插值(步骤s4)
[0087]
接着，ecu3的算出部335通过将与被进行了插值的多个采样点对应的各特征量输入到识别器c2，从而算出与该采样点对应的占有概率(步骤s5)。
[0088]
并且，ecu3的推定部336通过对分别与多个采样点对应的占有概率和该采样点距配置左方周边摄像头2－1的位置的距离之积进行加法运算，从而推定从配置左方周边摄像头2－1的位置到对象物的表面为止的距离(步骤s6)，结束距离推定处理。
[0089]
通过这样执行距离推定处理，ecu3与对象物所对应的体素无关地，将包含对象物的空间作为神经网络来进行处理。因此，ecu3即使是比较少的存储器容量，也能够适当地推定到具有复杂的形状的对象物为止的距离。
[0090]
ecu3在不同的时刻执行距离推定处理，推定各个时刻的到对象物的表面为止的距离。ecu3基于通过搭载于车辆1的gnss(global navigation satellite system，全球导航卫星系统)接收机(未图示)在多个时刻接收到的测位信号，确定各个时刻的车辆1的位置。ecu3基于所确定的车辆1的位置、到所推定的对象物的表面为止的距离、设置周边摄像头2的位置、周边摄像头2的成像光学系的方向以及焦点距离，推定各个时刻的对象物的位置。ecu3根据多个时刻的对象物的位置，算出该多个时刻的间隔中的对象物的移动速度，预测多个时刻中之后的时刻的将来的对象物的位置。ecu3制作车辆1的行驶路径以使得将来的车辆1与对象物的距离不低于预定的距离阈值，并向车辆1的行驶机构(未图示)输出控制信号。行驶机构例如包括使车辆1加速的发动机或者马达、使车辆1减速的制动器以及对车辆1进行转向的转向机构。
[0091]
上述的车辆1的行驶控制为通过本公开的距离推定处理推定的到对象物为止的距离的利用的一个例子，所推定的距离也可以利用于其他处理。另外，距离推定装置也可以不搭载于车辆，也可以被使用于推定到存在于车辆周边的物体以外的对象物为止的距离。
[0092]
应当理解，本领域技术人员能够不脱离本公开的精神以及范围地对其加以各种变更、置换以及修正。