信息处理装置、信息处理方法以及程序与流程

文档序号:19816459发布日期:2020-01-31 19:18阅读:163来源:国知局
信息处理装置、信息处理方法以及程序与流程

本发明涉及信息处理装置、信息处理方法以及程序。

本申请基于2017年6月16日在日本申请特愿2017-118694号来主张优先权,将其内容引用于此。



背景技术:

在对乘客提供与车辆的路径相关的信息的导航装置中,有不仅提供与到目的地为止的路径相关的信息还提供车辆正行驶的地点的周边的店铺信息、观光信息的导航装置(例如专利文献1)。

现有技术文献

专利文献

专利文献1:jp特开2007-285870号公报



技术实现要素:

发明要解决的课题

但现有的技术并不是从实际行驶的车辆取得对乘客提供的与景观相关的信息,并非评价实际车辆正行驶的周围的景观的美景度。

本发明考虑这样的事情而提出,目的之一在于,提供能基于从行驶中的车辆取得的信息将景观的美景度自动指标化的信息处理装置、信息处理方法以及程序。

用于解决课题的手段

本发明所涉及的信息处理装置采用以下的结构。

(1):本发明的一个方案所涉及的信息处理装置具备:从搭载于车辆的传感器取得表示检测结果的传感器检测信息的取得部(例如实施方式的信息取得部210);基于由所述取得部取得的传感器检测信息来导出针对周边环境的多个指标的导出部(例如实施方式的指标导出部220);和基于由所述导出部导出的多个指标来评价取得所述传感器检测信息的地点的属性信息的评价部(例如实施方式的景观评价部230)。

(2):在上述(1)的方案基础上,所述评价部基于所述多个指标以及包含位置信息的车辆信息,来与取得所述传感器检测信息的位置建立对应地导出所述地点上的感性指标的评价值。

(3):在上述(2)的方案基础上,所述评价部与给定的时间长度的单位中所含的时刻建立对应地导出所述感性指标的评价值。

(4):在上述(2)或(3)的方案基础上,还具备:基于所述评价值来将与景观相关的信息提供到所述车辆的信息提供部。

(5):在上述(4)的方案基础上,所述信息提供部对应于所述车辆的乘客选择的美景度的门类与所述属性信息的关联来将与所述景观相关的信息提供到所述车辆。

(6):在上述(1)到(5)当中任意1个方案基础上,所述车辆是自动驾驶车辆,所述车辆进行车道变更或与其他车辆的距离关系的变更的至少一方,使得提高所述评价部的美景度的评价。

(7):本发明的个方案所涉及的信息处理方法由计算机执行:从搭载于车辆的传感器取得表示检测结果的传感器检测信息,基于取得的传感器检测信息来导出针对周边环境的多个指标,基于导出的多个指标来评价取得所述传感器检测信息的地点的属性信息。

(8):本发明的一个方案所涉及的程序使计算机执行:从搭载于车辆的传感器取得表示检测结果的传感器检测信息,基于取得的传感器检测信息来导出针对周边环境的多个指标,基于导出的多个指标来评价取得所述传感器检测信息的地点的属性信息。

(9):在上述(1)的方案基础上,所述导出部通过将由所述取得部取得的传感器检测信息输入到对应于控制中所用的目的而事前定义的多个所述评价部,从而在所述车辆上导出表示周边环境的属性的多个指标,多个所述评价部具备:使用所述传感器检测信息来决定反映在所述车辆的控制内容中的控制属性的第1评价部;和使用所述传感器检测信息来决定表示针对所述地点的环境的属性的环境属性的第2评价部。

(10):在上述(9)的方案基础上,所述第1评价部以比所述第2评价部高的频度决定所述控制属性。

(11):在上述(9)的方案基础上,所述信息处理装置具备:更新所述评价部的定义的更新部,所述信息处理装置能追加从所述评价部输出的所述属性信息。

(12):在上述(4)的方案基础上,具备:将所述传感器检测信息以及所述多个指标与所述位置信息建立对应并对应于所述多个指标的内容选择性地生成向外部发送的发送数据的数据生成部。

(13):在上述(12)的方案基础上,具备:接收针对向外部发送的所述发送数据而回送的响应信号的通信部,所述信息提供部基于所述车辆判定过的所述属性信息和所述响应信号中所含的更新过的属性信息的任一者来提供表示与所述车辆的周围的景观相关的信息的景观信息。

(14):本发明的一个方案所涉及的信息处理装置具备:经由通信从搭载于车辆的传感器取得表示检测结果的传感器检测信息的取得部;基于由所述取得部取得的传感器检测信息来导出所述车辆的针对周边环境的多个指标的导出部;基于由所述导出部导出的多个指标以及从所述车辆取得的属性信息来评价取得所述传感器检测信息的地点的属性信息的评价部;和将由所述评价部评价过的所述评价的结果发送到车辆的信息提供部。

发明的效果

根据(1)、(7)、(8)、(14),能基于车辆检测到的车辆的周围的景观的信息来评价车辆的周边环境的属性信息。

根据(2),能评价车辆实际行驶的地点上的车辆看到的感性指标。

根据(3),通过从车辆实际行驶的时刻的车辆评价感性指标,能在时间带、季节评价变化的感性指标。

根据(4),通过将评价的感性指标的信息提供到车辆,乘客能选择与感性指标相应的路径来驾驶。

根据(5),乘客选择美景度高的景观的门类,能选择与门类对应的美景度高的路径来驾驶。

根据(6),自动驾驶车辆能通过变更自车辆的车道、与其他车辆的位置来进行美景度提高的行驶。

根据(9),车辆能将导出的多个指标用在车辆的行驶控制、路径的信息提供中。

根据(10),车辆通过对与行驶控制关联的属性以高的频度进行决定,能进行车辆的行驶支援的控制。

根据(11),设定用户希望调查的属性,能得到评价结果。

根据(12),在没有算出的属性值的情况下、不满足条件的情况下,不生成发送数据,能提升通信效率。

根据(13),除了能使用在车辆判定的属性信息以外,还能使用在外部服务器更新过的属性信息,能使车辆的行驶控制的支援更准确。

附图说明

图1是表示实施方式的信息处理系统1的结构的一例的图。

图2是表示实施方式的外部感测部110的结构的一例的图。

图3是表示由实施方式的各传感器检测的车辆100的周围的区域的图。

图4是表示实施方式的物体认识装置114生成的检测数据115的内容的一例的图。

图5是表示实施方式的导航装置120的结构的一例的图。

图6是表示实施方式的距离的分布的直方图。

图7是表示实施方式的彩度的分布的直方图。

图8是表示实施方式的连续摄像的图像的被摄体的活动的图。

图9是表示实施方式的导出的指标值数据222的内容的一例的图。

图10是表示实施方式的美景度高的场所的poi数据的内容的一例的图。

图11是表示实施方式的车辆100的行驶数据与最终评价值的关系的一例的图表。

图12是表示实施方式的信息处理系统1中执行的处理的流程的一例的流程图。

图13是表示将实施方式的自动驾驶车辆300运用在信息处理系统2的情况下的结构图。

图14是表示变形例所涉及的自动驾驶车辆300的结构的一例的图。

图15是表示控制属性中所含的数据的内容的一例的图。

图16是表示环境属性中所含的数据的内容的一例的图。

图17是表示外部服务器400的结构的一例的图。

具体实施方式

以下参考附图来说明本发明的信息处理装置、信息处理方法以及程序的实施方式。

图1是表示实施方式的信息处理系统1的结构的一例的图。信息处理系统1例如具备车辆100和信息处理装置200。车辆100进行无线通信,经由网络nw与信息处理装置200进行通信。信息处理装置200取得搭载于车辆100的传感器的检测结果,评价车辆100行驶过的地点的美景度。

[车辆]

车辆100例如具备外部感测部110、导航装置120、通信装置130和控制部140。外部感测部110通过搭载于车辆100的感测外部的传感器来取得外部的信息。

图2是表示外部感测部110的结构的一例的图。外部感测部110作为传感器而具备摄像机111、雷达装置112、探测器113和物体认识装置114。这些传感器例如用作用于自动驾驶的外界监视传感器。

摄像机111例如是利用了ccd(chargecoupleddevice,电荷耦合器件)、cmos(complementarymetaloxidesemiconductor,互补金属氧化物半导体)等固体摄像元件的数字摄像机。摄像机111对车辆100的周围进行摄像。摄像机111在车辆100的任意的部位安装一个或多个,对车辆100的周围进行摄像。摄像机111在对前方进行摄像的情况下安装在前挡风玻璃上部、室内镜背面等。

另外,摄像机111在对后方进行摄像的情况下例如安装在后保险杠附近。摄像机111在对左右方向进行摄像的情况下例如安装在左右的侧后视镜。摄像机111例如可以是安装在车辆100的顶部的对360°的周围的景观进行摄像的立体摄像机。摄像机111例如对车辆100的周围周期性重复进行摄像。

雷达装置112对车辆100的周边辐射毫米波等电波,并检测由于物体而反射的电波(反射波)来至少检测物体的位置(距离以及方位)。雷达装置112在车辆100的任意的部位安装一个或多个。雷达装置112可以通过fmcw(frequencymodulatedcontinuouswave,调频连续波)方式来检测物体的位置以及速度。另外,在距离的测定中,可以使用测定距离的距离摄像机。

探测器113是测定对于照射光的散射光来检测到对象的距离的lidar(lightdetectionandranging(激光探测以及测距)或laserimagingdetectionandranging(激光成像探测以及测距))。探测器113在车辆100的任意的部位安装一个或多个。

图3是表示由各传感器检测的车辆100的周围的区域的图。(a)是检测前方的传感器的检测区域,(b)是检测右方的传感器的检测区域,(c)是检测后方的传感器的检测区域,(d)是检测左方的传感器的检测区域。能由搭载于上述的车辆100的摄像机111、雷达装置112、探测器113的各传感器感测车辆100的前后左右方向。

物体认识装置114对摄像机111、雷达装置112以及探测器113当中一部分或全部的检测结果进行传感器融合处理来认识车辆100的外部的物体的位置、种类、速度等。物体认识装置114认识周边的物体、结构物等的位置以及速度、加速度等状态,对认识出的车辆100的周围的物体等进行认识。周边的物体的位置可以用该物体的重心、边角等代表点表示,也可以用以物体的轮廓表现的区域表示。由物体认识装置114认识出的物体例如除了有周边车辆以外,还有结构物、建筑物、树木、护栏、电线杆、停车车辆、步行者、其他物体等。这样的功能在自动驾驶中认识车辆100的周边物体时使用。

物体认识装置114在给定的定时将各传感器检测到的数据汇总,来生成为检测数据115。物体认识装置114生成以给定的采样间隔采样的检测数据115。图4是表示物体认识装置114生成的检测数据115的内容的一例的图。检测数据115例如包含车辆位置、行进方向、各传感器的检测结果、日期时间等。检测数据115是表示外部感测部110的检测结果的传感器检测信息的一例。

车辆位置是表示取得图像等的位置的数据。物体认识装置114从导航装置120在每个采样周期取得位置数据,设为车辆位置。行进方向数据是记录了车辆100的行进方向的数据。物体认识装置114从位置数据的变化等取得行进方向数据。

摄像机1、摄像机2、…包含对车辆100的周围的多个方向摄像的图像数据。雷达1、…包含对车辆100的周围的多个方向由雷达装置112检测物体的结果的数据。探测器1、…包含对车辆100的周围的多个方向由探测器113探测到物体的数据。日期时间数据是取得图像、检测结果等的日期时间的信息。

图5是表示导航装置120的结构的一例的图。导航装置120按照车辆100行驶到目的地的路径来进行路径引导。导航装置120例如具备gnss(globalnavigationsatellitesystem,全球导航卫星系统)接收机121、导航hmil22和路径决定部123,在hdd(harddiskdrive,硬盘驱动器)、闪速存储器等存储部125中保持地图信息126。

gnss接收机121基于从gnss卫星接收到的信号来确定车辆100的位置(纬度、经度、高度)。车辆100的位置可以通过利用了车辆传感器60的输出的ins(inertialnavigationsystem,惯性导航系统)来确定或补足。导航装置120基于gnss接收机121的接收数据,来生成车辆100的位置数据、行进方向数据。

导航hmi122包含显示装置、扬声器、触控面板、按键等。导航hmi122可以与前述的hmi110一部分或全部共通化。路径决定部123参考地图信息126来决定:例如从由gnss接收机121确定的车辆100的位置(或输入的任意的位置)到使用导航hmi122由乘客输入的到目的地为止的路径(例如包含与行驶到目的地时的经由地相关的信息)。

地图信息126例如是通过表示道路的连线和由连线连接的节点来表现道路形状的信息。地图信息126可以包含道路的曲率、poi(pointofinterest,兴趣点)信息等。在poi中,如后述那样包含从信息处理装置200取得的美景度高的场所的信息。

地图信息126可以经由通信装置130和网络nw访问信息处理装置200来随时升级。地图信息126可以进一步附加经由网络nw取得的与网络用户的poi相关的信息。可以在导航hmi122中显示行驶中的路径中的poi。

导航装置120基于由路径决定部123决定的路径,来进行利用导航hmi122的路径引导。另外,导航装置120例如可以由用户保有的智能手机、平板终端等终端装置的功能实现。另外,导航装置120也可以经由通信装置130对信息处理装置200、其他导航服务器(未图示)发送当前位置和目的地,并取得从它们回送的路径。

通信装置130例如利用蜂窝网、wi-fi网、bluetooth(注册商标)、dsrc(dedicatedshortrangecommunication,专用短程通信)等来进行无线通信,经由网络nw与信息处理装置200进行通信。

控制部140将表示由外部感测部110检测到的检测结果的检测数据115,经由通信装置130以及网络nw发送到信息处理装置200。另外,控制部140使由信息处理装置200发送的信息经由通信装置130显示在导航hmi122。

控制部140通过cpu(centralprocessingunit,中央处理器)等处理器执行程序(软件)而实现。另外,控制部140、外部感测部110、导航装置120的一部分或全部可以通过lsi(largescaleintegration,大规模集成电路)、asic(applicationspecificintegratedcircuit,特定用途集成电路)、fpga(field-programmablegatearray,现场可编程门阵列)等硬件实现,也可以通过软件与硬件的协作而实现。

[信息处理装置]

如图1所示那样,信息处理装置200例如具备信息取得部210、指标导出部220、景观评价部230、信息提供部240和存储部260。

指标导出部220、景观评价部230以及信息提供部240通过cpu(centralprocessingunit,中央处理器)等处理器执行程序(软件)而实现。另外,这些功能部当中一部分或全部可以通过lsi(largescaleintegration,大规模集成电路)、asic(applicationspecificintegratedcircuit,特定用途集成电路)、fpga(field-programmablegatearray,现场可编程门阵列)等硬件而实现,也可以通过软件与硬件的协作而实现。程序可以预先存放于hdd(harddiskdrive,硬盘驱动器)、闪速存储器等存储装置中,也可以存放于dvd、cd-rom等能拆装的存储介质中,还可以通过将存储介质装备于驱动装置(未图示)来安装在存储装置。

信息取得部210例如包含用于连接到网络nw的nic(networkinterfacecard,网络接口卡)。信息取得部210从搭载于车辆的外部感测部110经由网络nw取得检测数据115。

指标导出部220基于由信息取得部210取得的检测数据115来导出表示车辆100的周边的景观的美景度的多个指标。指标导出部220基于检测数据115进行图像解析、运算等,导出多个指标。关于多个指标的导出手法之后详述。

景观评价部230基于由指标导出部220导出的多个指标来评价取得检测数据115的地点的美景度。关于美景度的评价手法之后详述。

信息提供部240,另外,将由景观评价部230评价的美景度的信息经由网络nw发送到车辆100。在信息处理装置200是导航服务器的情况下,可以将反映由景观评价部230评价的美景度的信息反映在在路径检索结果中。

存储部260例如通过ram(randomaccessmemory,随机存取存储器)、rom(readonlymemory,只读存储器)、hdd(harddiskdrive,硬盘驱动器)、闪速存储器或将它们当中多者组合而得到的混合型存储装置等实现。另外,存储部260的一部分或全部可以是nas(networkattachedstorage,网络附属存储)、外部的存储服务器等信息处理装置200能访问的外部装置。在存储部260中例如存储地图信息261和景观信息262。

地图信息261例如是通过表示道路的连线和由连线连接的节点来表现道路形状的信息。地图信息261包含道路的曲率、poi信息等。

景观信息262存储由景观评价部230评价的与美景度相关的信息。与美景度相关的信息例如与存储于地图信息261的节点或连线所存在的多个坐标(位置)建立对应而存储。作为该坐标,还存在将poi建立对应的情况。

[信息生成手法]

接下来说明信息处理装置200的生成与美景度相关的信息的方法。指标导出部220参考信息取得部210取得的检测数据115,与位置建立对应地导出与美景度相关的多个种类的指标值x1~xn(n是任意的自然数)。

指标导出部220将基于多个各传感器的数据对车辆100的周围的前后左右的方向求得的按方位区分指标的平均、最大值等统计值作为指标值xn来导出。指标导出部220可以按方位区分来导出指标值xn。所谓按方位区分地导出指标值xn,是指按从驾驶席以及副驾驶席朝向前方向、从侧窗朝向外方的方向、从后部窗朝向后方向等方向的每一者来导出指标值xn。

指标导出部220导出例如与距离、透过率、颜色、对比度、运动物体、高度等相关的指标值,作为表示美景度的指标。

关于距离,指标导出部220使用记录于检测数据115的雷达装置112的距离数据来导出指标。指标导出部220可以在距离的算出中使用由外部感测部110得到的距离数据,也根据基于多个图像数据的图像数据的变化的差分、焦距来算出与像素对应的距离。

在导出距离的指标的情况下,指标导出部220基于距离数据来算出在车辆100的前后左右方向上检测到的距离的分布。例如在远眺车辆周边的360度时,以水平角一度刻度求取距离,算出距离的分布。该分布以直方图的形式表示。图6是表示距离的分布的直方图。然后指标导出部220例如将距离的分布的方差值作为参数来导出表示距离的分布的扩展的指标值。

在导出透过率的指标的情况下,指标导出部220算出图像中给定距离以上远方的像素的对比度指标(频率分量)。给定以上远方的像素例如使用立体摄像机在图像(可以不是立体图像)中提取摄像给定距离以上的部分。指标导出部220对提取的部分的图像进行与水平方向垂直方向的二维的fft处理,算出空间频谱。指标导出部220将算出的空间频谱用作透过率的对比度指标。给定以上的风景的部分的频率分量高表示透过率高。

在导出对比度指标的情况下,指标导出部220对图像与上述同样地进行二维的fft处理,算出空间频谱,将空间频谱用作图像中的纹理的对比度指标。在图像中的纹理的对比度指标高的情况下,对图像进行摄像的场所是森林、岩石表面等纹理所占的比例高的景观的可能性高。

在导出色相以及彩度的颜色指标的情况下,指标导出部220在图像中算出各像素的色相以及彩度。指标导出部220例如将图像分割成多个区域,对每个区域算出色相以及彩度的分布。该分布以直方图的形式表示。图7是表示彩度的分布的直方图。指标导出部220将色相以及彩度的分布用作图像中的颜色指标。

指标导出部220将各个区域的色相以及彩度的分布进行比较,在能得到相对于周围的区域明显不同的特征性的分布的情况下,将对图像摄像的场所提取为在色彩上有特征的景点。颜色的指标值的高低成为颜色的分布相对于周边而有特征的指标。图像中相对于周围的区域而特征性的分布的区域例如是花、海等在色彩上有特征的景观的可能性高。

在导出与运动物体相关的指标的情况下,指标导出部220使用多个位置数据、多个图像数据来导出指标。在被摄体正在活动的情况下,基于被摄体的图像中的移动量来导出与运动物体相关的指标。

指标导出部220基于多个图像以及车辆100的移动数据,从图像数据的变化的差分算出被摄体的活动(运动物体)。

图8是表示连续摄像的图像的被摄体的活动的图。例如,在(a)中摄像的图像的给定时间后在(b)对图像进行摄像的情况下,在(b)中,远方的大的被摄体p的移动距离l1比近距离的被摄体q的移动距离l2小。指标导出部220可以在被摄体的区域大且检测到相对于车辆100的移动距离l小的活动的情况下,将其作为运动物体的指标来导出指标值。

指标导出部220例如基于连续摄像的图像来提取给定以上的大小的被摄体。指标导出部220例如基于(a)的图像和(b)的图像来提取被摄体p。指标导出部220例如在被摄体p的图像中的面积s1与图像的面积s之比:s1/s超过给定的阈值的情况下,认识为被摄体p是大的被摄体。

指标导出部220基于(a)的图像和(b)的图像来算出被摄体p的活动的指标。被摄体p的活动的指标例如基于(a)的图像和(b)的图像中的被摄体p的移动距离l1与(a)的图像和(b)的图像被摄像期间的车辆的移动距离l的相关关系来算出。在活动的指标值中,被摄体区域大且相对于车辆100的移动距离l被摄体的移动距离l1小,成为正对远方的景观摄像的指标。运动物体的指标值成为山、树、楼宇等大的被摄体进入视野的景色的指标。

在导出与高度相关的指标的情况下,指标导出部220使用记录于检测数据115的导航装置120的三维位置数据。指标导出部220提取给定的阈值以上的高度的场所。高度的指标值成为能俯瞰的视野正在扩展的景色的指标。

图9是表示导出的指标值数据222的内容的一例的图。景观评价部230基于由指标导出部220导出的多个指标值x1~xn来评价取得检测数据115的地点的美景度。

景观评价部230基于距离的指标值来提取给定值以上的距离。距离的指标值为给定值以上的场所表示空间正在扩展,估计为与美景的关联性变高。景观评价部230在提取的场所对导出的多个指标值x1~xn组合有关联性的指标值xn来进行分组化。分组例如根据「山」、「海岸」等每个景观的门类来决定。

景观评价部230对分组化的指标值xn各自乘上加权的系数αn。景观评价部230对应于分组的协同作用来提高分组内的指标值xn各自的系数αn并将分组的指标值xn相加,如式(1)所示那样对每个分组算出评分(评价值)。

分组评价值(1)=(α1·x1+α2·x2+α3·x3)

分组评价值(2)=(α4·x4+α5·x5)

(1)

所谓分组的协同作用,是对与美景度高的场所有关联性的指标值xn的系数αn赋予权重。例如在景观是「海」的情况下,例如对颜色、透过率等指标值的系数αn赋予权重,在景观是「山」的情况下,例如对距离、颜色、运动物体、高度等指标值的系数赋予权重。景观评价部230比较每个分组的评分,进行顺位排序,选择基于式(2)而评分最高的分组作为最终评价值。评分最高的分组表示取得检测数据115的地点的代表性的景观。

最终评价值=max{(α1·x1+α2·x2+α3·x3),(α4·x4+α5·x5),…}(2)

景观评价部230也可以基于给定期间之间取得的检测数据115来与取得检测数据115的季节建立对应地对系数αn赋予权重,并选择时期上有特征的景色。例如景观评价部230能在春、秋的季节增加距离、透过率、颜色、对比度的系数的权重,选择红叶、樱花等景观的色彩有特征的美景度高的场所。

景观评价部230也可以与取得检测数据115的位置以及时刻建立对应地对系数αn赋予权重来评价美景度。例如,即使是相同场所,也有根据日出、日落等时间带而景观发生改变的情况。日出、日落等时间带呈现图像中的色度的红色的色调增加的特征性的景观。景观评价部230例如可以与时刻建立对应地对颜色的指标值xn的系数αn赋予权重。由此,景观评价部230例如能选择湖畔或海岸的日落、日出的时刻等色彩上有特征的时刻的美景度高的场所。

在指标导出部220对各传感器的每个检测方向导出指标值xn的情况下,景观评价部230可以与取得检测数据115的位置、移动方向建立对应地对系数αn赋予权重,来评价美景度。景观评价部230例如可以在对车辆100正在移动的方向评价美景度高的景色正在扩展的情况下,对行进方向的指标值xn的系数αn赋予比其他方向大的权重。

景观评价部230可以基于分组的评分来将美景度顺位排序,在存储部260按每个门类存储与美景度相关的信息,作为景观信息262。门类例如分类成「美景排位从高到低顺序」、「多彩的景点」、「地标参观学习景点」、「山」、「海」、「夜景」等门类。

景观评价部230也可以对提取的美景度高的场所参考地图信息261来赋予景点名。景观评价部230也可以基于经由网络nw检索到的信息来对美景度高的场所赋予景点名。景观评价部230生成与美景度相关的信息,作为poi数据,追加到地图信息261。网络nw例如包含wan(wideareanetwork,广域网)、lan(localareanetwork,局域网)、因特网、专用线路、无线基地局、运营商等当中一部分或全部。

图10是表示美景度高的场所的poi数据231的内容的一例的图。

此外,景观评价部230也可以将车辆100的行驶数据和最终评价值建立对应来生成数据。图11是表示车辆100的行驶数据与最终评价值的关系的一例的图表。景观评价部230将行驶数据和最终评价值建立对应,将最终评价值超过给定的阈值的地点作为美景度高的场所而提取。景观评价部230可以将提取的行驶路径上的美景度高的场所的数据追加到地图信息261。

在信息处理系统1中,美景度的评价可以基于多个车辆100感测到的信息来进行。在该情况下,存储于存储部260的景观信息262以及地图信息261的poi可以通过对多个车辆100感测到的信息进行统计处理来实时更新。

信息提供部240将存储于地图信息261的美景度的poi的信息提供到车辆100。例如,通过信息提供部240对车辆100进行信息提供,在乘客在导航装置120进行了到目的地为止的路线设定的操作的情况下,对应于到目的地为止的路线来提供美景度高的场所的信息。由此在导航hmi122中,在到目的地为止的路径上显示美景度高的景点。

信息提供部240也可以对应于车辆100的乘客选择的美景度的门类选择美景度高的场所,来提供给车辆100。另外,导航装置120也可以对应于乘客选择的美景度的门类来进行路线设定。乘客例如在进行导航hmi122上的操作时选择「美景排位从高到低顺序」、「多彩的景点」、「地标参观学习景点」等那样的门类。若乘客选择例如「美景排位从高到低顺序」的门类,导航装置120就对应于「美景排位从高到低顺序」来进行路线设定,乘客能在美景度高的路线进行驾驶。

接下来说明信息处理系统1中执行的处理。图12是表示信息处理系统1中执行的处理的流程的一例的流程图。首先,信息取得部210经由网络nw从车辆100取得检测数据115(步骤s100)。指标导出部220基于检测数据115来导出表示美景度的多个指标值xn(步骤s110)。

景观评价部230基于多个指标值xn来评价取得传感器检测信息的地点的美景度(步骤s120)。信息提供部将与美景度相关的信息提供到车辆100(步骤s130)。

如上述那样,根据信息处理系统1,能基于车辆100检测到的车辆100的周围的检测数据115来将美景度自动指标化。

由此,根据信息处理系统1,能对应于取得检测数据115的位置、时刻来评价取得检测数据115的地点上的美景度。

另外,根据信息处理系统1,乘客能对应于美景度的门类在导航装置120进行路线设定,乘客能在美景度高的路线进行驾驶。

上述的信息处理系统1也可以运用在自动驾驶车辆300中。图13是将自动驾驶车辆300运用在信息处理系统2中的情况的结构图。导航装置320将到目的地的路径输出到推荐车道决定装置360。推荐车道决定装置360参考比导航装置320所具备的地图数据更加详细的地图,来决定车辆行驶的推荐车道,并将其输出到自动驾驶控制装置350。

自动驾驶控制装置350基于从外部感测部310输入的信息来控制包含引擎、电动机的驱动力输出装置370、制动装置380、转向装置390当中一部分或全部,以使得沿着从推荐车道决定装置360输入的推荐车道行驶。

在此,自动驾驶车辆300也可以基于景观评价部230的评价来变更推荐车道。自动驾驶车辆300可以进行车道变更或与其他车辆的距离关系的变更的至少一方,使得提高景观评价部230的美景度的评价。例如,推荐车道决定装置360可以决定推荐车道,进行换道或在换道后回到原来的车道,以使景观评价部230的美景度的指标变高。另外,推荐车道决定装置360可以在存在并行车、接近车辆的情况下,可以决定推荐车道,拉开车间距离、进行换道、进行超车等的路径变更,以使得景观评价部230的美景度的指标变高。

在这样的自动驾驶车辆300中,设想为与手动驾驶车辆相比,乘客眺望景观的机会更多。因此,通过利用实施方式的信息处理系统2,乘客能在自动驾驶中的路径选择到目的地为止景致不错的路线。

[变形例]

在上述实施方式中例示了自动驾驶车辆300与信息处理装置200通信来导出沿着车辆的行驶路径的美景度这样的指标值的情况。针对自动驾驶车辆300的周边环境的指标值也可以不是在设于自动驾驶车辆300的外部的信息处理装置200导出,而是在自动驾驶车辆300侧导出。并且,针对自动驾驶车辆300的周边环境的指标值也可以对应于车辆的位置而导出。在以下的说明中,对与上述实施方式相同结构(装置的配置、数量可以不同)使用相同名称以及附图标记,适宜省略重复的说明。

图14是表示变形例所涉及的自动驾驶车辆300的结构的一例的图。在变形例中,信息处理装置200搭载于自动驾驶车辆300。信息处理装置200例如内置于导航装置320或与其外部连接。所谓外部连接,是指通过有线或无线与导航装置320连接的信息处理装置200作为导航装置320的功能的一部分动作。另外,自动驾驶车辆300(以下也称作自车辆)的自动驾驶控制装置350是第1评价部的一例,信息处理装置200是第2评价部的一例。

自动驾驶控制装置350例如基于由外部感测部310检测到的检测数据315来评价车辆的周围的环境的属性,基于评价结果来进行基于自动驾驶的回避控制的行驶支援、基于adas(advanceddriver-assistancesystems,高级驾驶辅助系统)的碰撞、事故的回避等车辆的行驶支援。检测数据315包含检测数据115的内容的至少一部分或全部(参考图4)。

信息处理装置200具备信息取得部210、景观评价部230、信息提供部240和通信部250。与用于车辆的行驶的行驶支援的属性的评价不同,信息处理装置200例如基于由外部感测部310检测到的检测数据315来评价车辆的周围的环境的属性,基于评价结果来对导航装置320的车辆的路径的决定进行支援。另外,在变形例中,自动驾驶控制装置350以及信息处理装置200是多个评价部的一例。自动驾驶控制装置350是第1评价部的一例,信息处理装置200是第2评价部的一例。

首先说明自动驾驶控制装置350的属性的评价。自动驾驶控制装置350从外部感测部310取得检测数据315(传感器检测信息)。检测数据315例如除了从外部感测部310取得的数据以外,还包含从gnss取得的位置数据、从其他车辆传感器取得的数据。

自动驾驶控制装置350将检测数据315当中基于车辆位置、移动速度、姿态状态量等传感器值的数据存储到车辆传感器数据保持部351,将基于检测数据315算出的摄像的图像数据的像素信息、多个检测数据的差分的信息即差分信息、属性信息的导出所需的基本指标值等数据存储到临时存储器352。所谓基本指标值,是在图像处理中数理地确定的参数。

该情况下的基本指标值并不如上述实施方式那样限于「美景」那样的值,只要是图像处理中数理地确定的参数即可。自动驾驶控制装置350使用检测数据315来决定控制属性。所谓控制属性,是包含表示是否符合各个被类型化的车辆的环境的属性值与表示符合的情况下的其程度的属性指标的组合的数据。

图15是表示控制属性355中所含的数据的内容的一例的图。控制属性355例如是针对将「碰撞、拥堵、弯道、物体、」等车辆的周围的环境类型化的「属性」来将属性值、属性指标建立对应而成。

属性指标例如是在基于检测数据315得到的多个参数中与属性关联的参数的集合。例如针对「弯道」这样的属性,从通过检测数据315得到的「位置、车速、加速度、偏航率、转向角度、其他车辆、人、物体、相对距离、相对速度、相对角度、车道、车道曲率」等数据中提取「车道、车道曲率、转向角度、加速度」等与弯道关联的参数,来作为弯道的属性指标建立对应。

多个参数例如基于检测数据315取得。所谓检测数据,包含在车辆的周围的给定距离内认识到的数据以及车辆中检测到的数据等。

属性指标表示属性的程度,例如是基于与属性关联而提取的多个参数所构成的矢量的大小而算出的属性指标值的大小。

属性值例如是决定是否符合属性的评价值。属性值例如基于属性指标值与阈值的比较结果以0或1的2值来表示。属性值例如在符合属性的情况下与1建立对应,在不符合属性的情况下与0建立对应。

自动驾驶控制装置350例如将存储于车辆传感器数据保持部351的数据以及存储于临时存储器352的数据输入到评价函数354,基于计算结果来决定是否符合属性。评价函数354例如由具有中间层的多层神经网络构成。

多层神经网络是深度学习(deeplearning)中所用的被多层化的神经网络。评价函数354例如通过实施利用了学习数据的深度学习来设定。评价函数354通过预先实施的学习来设定。

自动驾驶控制装置350例如在车辆的周边的控制属性的导出中,将存储于临时存储器352的数据中所含的多个图像输入到评价函数354,通过多层神经网络运算与将图像的各像素作为输入矢量时的特征量的比较结果。

这时,评价函数354构成为:预先将大量的输入矢量和当时的正解属性作为教师数据学习的结果,各层的权重被最佳化从而保持与正解属性对应的特征量,由此对于新的输入矢量输出与各属性的关联性。例如,评价函数354构成为:在属性中包含图像中所含的形状的边界、物体的属性、行驶环境的属性信息,在输入时间序列的多个图像时,还包含前次起的推移、接下来发生的状态。自动驾驶控制装置350使用该评价函数354来连续取得针对输入图像的车辆、道路、步行者、物体以及场景属性的评价值,认识外界状态。

自动驾驶控制装置350,将存储于车辆传感器数据保持部351的与车辆相关的数据输入到评价函数354,算出包含认识出的对象物的多个参数,按每个属性提取多个参数。自动驾驶控制装置350使用评价函数354来对每个分组算出评分(属性指标值)。

自动驾驶控制装置350将算出的属性指标值和基准进行比较。自动驾驶控制装置350通过属性指标值是阈值以上、不足阈值、是给定的范围内等的比较处理来决定属性指标值的基准适应性。自动驾驶控制装置350在属性指标值满足基准的情况下,决定为符合属性,对属性值分配1。自动驾驶控制装置350在属性指标值不满足基准的情况下,决定为不符合属性,对属性值分配0。

自动驾驶控制装置350,基于决定的属性值的内容来生成控制属性(参考图15)。自动驾驶控制装置350例如在属性值为1而符合属性的情况下,对该属性计算附加信息。关于附加信息后述。

自动驾驶控制装置350对属性值为1的属性在属性指标值追加附加信息,来生成控制属性值356。控制属性值356如后述那样用在自车辆的行驶支援的控制中。

以下说明具体的属性的算出方法。自动驾驶控制装置350例如在评价「碰撞」这样的属性的情况下,作为属性指标而算出碰撞概率,基于算出的碰撞概率的大小来决定属性值,判定是否符合碰撞这样的属性。

自动驾驶控制装置350例如在碰撞概率的算出中将多个图像数据输入到评价函数354来认识自车辆的周围的移动的物体,计算物体和自车辆的当前位置。自动驾驶控制装置350在认识出多个物体的情况下,确定各物体的种类,并对各物体赋予id,算出各物体与自车辆的碰撞概率。

自动驾驶控制装置350将「车速、加速度、偏航率、位置」等的检测以及认识出的数据输入到评价函数354,进行超前了预先定义的给定时间的时刻中的移动的物体与自车辆的位置关系的将来预测。

自动驾驶控制装置350通过评价函数354来进行基于多层神经网络的深度学习,对应于所设定的预测时间来执行移动的物体与自车辆的位置关系的将来预测,基于预测的自车辆可能会位于的区域即位置分布与周边的物体可能会位于的区域即位置分布重叠的比例,来算出自车辆与周边的物体的碰撞概率。

这时,自动驾驶控制装置350对评价函数354的多层神经网络的各耦合乘以预先存储于存储部的权重系数,来算出自车辆与周边的物体的碰撞概率。

自动驾驶控制装置350将算出的碰撞概率和阈值进行比较,在碰撞概率不满足基准的情况下,对属性值分配0,判定为不会碰撞。自动驾驶控制装置350在碰撞概率满足基准的情况下,对属性值分配1,判定为有碰撞的可能性。

自动驾驶控制装置350例如在判定为有碰撞的可能性的情况下,生成包含「属性:碰撞、碰撞可能性:有、对象物:其他车辆(id=*)、位置:(x1、y1)」等附加信息的控制属性值356。自动驾驶控制装置350将控制属性值356输出到驱动力输出装置370、制动装置380、转向装置390等的控制部,进行从对象物回避等驾驶支援的控制。

上述的自动驾驶控制装置同样也能构成为对「前方行驶车辆前进方向变更」、「步行者横穿」、「信号状态变化」这样的多个属性估计属性判定以及附加信息。例如上述的自动驾驶控制装置350以比后述的信息处理装置200高的频度决定控制属性。这是因为,为了自动驾驶控制装置350自动驾驶的控制的支援而需要频繁进行自动驾驶车辆300的周边环境的感测。

接下来说明信息处理装置200的属性的评价。在此,上述实施方式的指标导出部220的处理也可以被看作景观评价部230所进行的处理。信息处理装置200例如在自车辆的行驶中评价自车辆的周围的环境的属性。在信息处理装置200中,信息取得部210还具备信息选择部211。

信息选择部211例如具备高速输入输出数据的高速侧总线即高速部212和在随时读取中利用的低速侧总线即低速部213这2条信息路径。

高速部212例如用在自动驾驶控制装置350与景观评价部230之间的数据容量大的通信中。高速部212例如通信由自动驾驶车辆300的外部感测部310、gnss、车辆传感器60等取得的数据。

例如在由外部感测部310在给定的时间单位(at)之间拍摄60张图像的情况下,将减少到10张程度的数据经由高速部212发送到景观评价部230。所谓给定的时间单位,如后述那样,是在生成数据集时设定的给定的时间长度。

数据集也可以不是以给定的时间单位生成,而是将图像的数据以给定的图像的区划进行划分而生成。以图像的区划划分的数据例如可以使用在卷积神经网络的计算中。

低速部213例如是景观评价部230随时读出由自动驾驶控制装置350生成的属性值时的信息路径。在低速部213收发的信息量比在高速部212收发的信息量少。

低速部213还利用在自动驾驶车辆300与设于外部的其他装置的通信中。自动驾驶控制装置350例如将在给定的定时生成的控制属性值356经由低速部213作为发送数据而输出到通信数据生成/存储部233(数据生成部)。通信数据生成/存储部233例如将生成的发送数据经由与低速部213连接的通信部250发送到外部服务器400。

景观评价部230例如具备定义更新部232和通信数据生成/存储部233。景观评价部230使用检测数据315来决定表示针对评价对象的地点的环境的属性的环境属性。所谓环境属性,是包含符合各个被类型化的车辆的周围的环境的属性和表示属性的程度的属性指标的数据。

图16是表示环境属性255中所含的数据的内容的一例的图。在此,环境属性255主要作为与乘客的感性关联的感性指标而生成。所谓感性指标,是「美景」那样表示对于评价对象的地点的环境的乘客的感性的数理地确定的参数。感性指标针对美景、乘坐体验、拥挤状况等属性算出。

景观评价部230例如经由信息取得部210的高速部212取得存储于临时存储器352的信息和存储于车辆传感器数据保持部351的信息,将取得的信息输入到评价函数234,一边进行行驶一边决定针对自动驾驶车辆300正行驶的位置中的周边环境的多个环境属性。评价函数234例如由具有中间层的多层神经网络构成。景观评价部230使用评价函数234来算出针对属性的属性指标。景观评价部230基于算出的属性指标来决定属性值。景观评价部230基于决定的属性值和属性指标的大小来评价周边环境的景观。

景观评价部230例如在评价「道路的舒适度」的情况下,将检测数据315当中加速度、振动、声音、拥挤、停止次数等与道路的舒适度关联的多个参数的数据输入到评价函数234。景观评价部230例如基于评价函数234中学习的「道路的舒适度」的特征性的参数的变化型式来算出舒适度的属性指标。景观评价部230基于属性指标的计算结果来决定评价对象的地点是否符合「道路的舒适度」的属性。

景观评价部230判定基于属性指标的大小算出的属性指标值是否满足基准,决定「道路的舒适度」的属性值。景观评价部230通过属性指标值是阈值以上、不足阈值、是给定的范围内等的比较处理来决定属性指标值的基准适应性。

具体地,景观评价部230将导出的多个属性指标值的矢量的大小和运用在各个属性中的阈值进行比较,算出属性值,算出评价对象的地点符合给定的属性的程度。属性值可以用表示是否符合属性的0或1的2值表示,也可以用2值以上的阶段性的数值表示。

景观评价部230对应于属性值的程度来生成评价对象的地点的环境属性255(参考图16)。景观评价部230例如在属性值满足基准、符合属性的情况下,对该属性在属性指标值中追加附加信息,来生成环境属性值236。景观评价部230生成包含「属性:道路的舒适度、舒适度:比较舒适、位置:(x1、y1)」等附加信息的环境属性值236。景观评价部230基于多个指标以及包含位置信息的车辆信息,来将评价对象的地点中的感性指标的评价值与取得检测数据315的位置建立对应地导出。景观评价部230将生成的环境属性值236输出到通信数据生成/存储部233。

定义更新部232适宜追加或变更定义属性的属性信息。定义更新部232例如基于通过用户的输入操作而接受到的输入信息来追加或变更属性信息。用户例如输入自己希望对车辆的周围的环境调查的任意的属性的门类。定义更新部232更新评价函数234中所用的属性的定义。

景观评价部230例如可以基于由用户输入到定义更新部232的信息来设定用户希望调查的属性,导出评价结果。

通信数据生成/存储部233选择性地生成向外部的发送数据。发送数据例如发送到后述的外部服务器400。通信数据生成/存储部233在给定的时间单位(at)中生成一个通信数据集(发送数据)。

通信数据生成/存储部233例如将给定的时间单位中的环境属性值236、位置信息、时刻信息、代表性的检测数据315的值和包含时刻的代表性的信息的时间戳建立对应,作为发送数据的数据集而生成,存储到存储部。这时,位置信息可以是用地图信息中的节点和连线确定的道路的区间的信息。

通信数据生成/存储部233以数据集为单位将发送数据发送到自动驾驶控制装置350、设于外部的后述的外部服务器400等。但通信数据生成/存储部233例如在没有属性值的情况下、属性值不足阈值的情况下,不生成发送数据。通信数据生成/存储部233基于算出的属性值的内容来选择性地生成向外部发送的发送数据。

通信数据生成/存储部233例如每隔给定的时间单位依次将与自动驾驶车辆300的周围的环境的属性相关的数据经由低速部213发送到自动驾驶控制装置350侧。根据上述的结构,自动驾驶车辆300能一边移动一边评价针对车辆的坐标(位置)上的周边环境的多个指标。

在搭载上述的信息处理装置200的自动驾驶车辆300,可以进一步经由网络nw连接具备信息处理装置200的功的外部服务器400。通信数据生成/存储部233经由与低速部213连接的能与外部通信的通信部250对外部服务器400发送发送数据。通过这样的处理,自动驾驶车辆300即使在通信条件差的地域也能评价环境属性。

图17是表示外部服务器400的结构的一例的图。外部服务器400从自动驾驶车辆300取得与环境属性值相关的信息,加进变动的信息来再评价环境属性,将评价结果提供到自动驾驶车辆300。

例如「美景」等环境属性值根据建筑物的建设、天气、气温等、车辆的形状而变动,外部服务器400从实际正在当地行驶的车辆取得与环境相关的信息,并加进天气、气温等信息来再评价环境属性,对自动驾驶车辆300、其他车辆也提供信息。

外部服务器400具备信息取得部410、环境评价部420和信息提供部430。环境评价部420具备评价函数422、环境信息保持部423和追加导出的属性信息的更新部424。

环境信息保持部423存储评价对象的区域的三维地形信息、天气、气温信息、包含多个车辆的尺寸等信息的车辆几何信息。这些信息是能随时间变更的经时信息,环境评价部420在给定的定时从网络nw取得经时信息,在有变更的情况下变更经时信息。

环境评价部420经由信息取得部410取得由通信数据生成/存储部233发送的发送数据,作为接收数据421。环境评价部420除了接收数据421以外,还将存储于环境信息保持部423的经时信息输入到评价函数422,导出车辆的周围的环境的环境属性值。

在评价函数422例如使用多层神经网络。环境评价部420例如对应于地形、天气/气温、车辆的尺寸等的差异来算出环境属性。

环境评价部420例如在「美景」的属性的评价中,由于美景度高的地点的天气是雨或阴,或者由于车辆的就坐位置而美景变差而从自动驾驶车辆300取得的环境属性值表示「美景差」,在这样的情况下,使用评价函数422来变更当前的评价对象的地点的「美景」的环境属性值。评价函数422对应于天气的变化、车辆的就坐位置的变化等环境或视点位置等的环境变化来加大针对多层神经网络的运算中的参数的权重系数。

更新部424在导出的评价对象的地点的环境属性值与接收数据的环境属性值较大不同的情况下,更新评价函数422的定义,并追加导出的环境属性值作为新的环境属性值。更新部424生成包含更新的环境属性值的更新信息405。更新部424将更新信息405发送到自动驾驶车辆300。

更新部424对其他自动驾驶车辆进行信息提供。更新部424经由信息提供部430来发送响应信号406。所谓响应信号406,例如是包含基于发送数据在外部服务器400导出的更新信息405的信息。

如此地,自动驾驶车辆300能经由信息取得部210接收由于经由通信部250发送发送数据而从外部服务器400针对发送数据回送的响应信号406。

在自动驾驶车辆300中,在接收到响应信号406的情况下,信息提供部240基于在自动驾驶车辆300侧判定的属性信息和从外部服务器取得的响应信号406中所含的追加的属性信息的任一者,来将表示与自动驾驶车辆300的周围的景观相关的信息的景观信息提供到自动驾驶车辆300。

由此,自动驾驶车辆300除了能使用自动驾驶车辆300中判定的属性信息以外,还能使用在外部服务器400更新的属性信息。并且,外部服务器400能提供与车辆的形状、将来的天气的变化等随时间的环境的变化相应的环境属性。根据信息处理装置200,能使自动驾驶车辆300的自动驾驶的行驶控制的支援更准确。

以上对用于实施本发明的形态使用实施方式进行了说明,但本发明并不受这样的实施方式的任何限定,能在不脱离本发明的要旨的范围内加进种种变形以及置换。例如信息处理装置200的指标导出部220、景观评价部230也可以设于车辆100侧。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1