道路异常检测设备、道路异常检测方法和计算机可读介质与流程

本发明涉及道路异常检测设备、道路异常检测方法以及计算机可读介质。

背景技术：

日本专利申请公开号2017-20303公开了一种方法，该方法从上方倾斜地拍摄施加到路面上的道路指示的图像，通过单应变换将拍摄的图像修正为俯视图，并从修正后的图像判定道路指示的劣化状态。

技术实现要素：

例如，在期间需要检测白线等的自动驾驶或行驶中(例如，单车道行驶)，当一些白线模糊或褪色时，行驶的精度降低。因此，当在诸如白线的道路设施中存在异常时，需要早期发现异常以修复道路设施。使用jp2017-020303a中公开的技术很难在道路设施中早期检测异常。

鉴于上述情况而设计了本发明，并且本发明的目的是提供一种能够早期检测道路设施中的异常的道路异常检测设备、道路异常检测方法和存储能够早期检测道路设施中的异常的指令的计算机可读介质。

为了解决上述问题并达到所述目的，提供了一种根据本发明的道路异常检测设备，其包括：存储器；以及具有硬件的处理器，其中所述处理器被配置为：从行驶中的车辆，接收指示道路的表面或所述道路的周边的图像的道路图像和指示拍摄所述道路图像的位置的图像拍摄位置信息；基于所述道路图像和所述图像拍摄位置信息，识别包括在所述道路图像中的道路设施和所述道路设施的位置；通过将包括在所述道路图像中的所述道路设施和预先准备的正确性信息彼此进行比较，来判定所述道路设施中是否存在异常；以及当判定所述道路设施中存在所述异常时，将指示存在所述异常的所述道路设施的所述位置的设施位置信息累积在所述存储器中。

从而，所述道路异常检测设备通过对从行驶中的车辆接收到的道路图像执行图像识别处理，能够早期检测出道路设施中是否存在异常。

此外，对于根据本发明的道路异常检测设备，在以上发明中，所述处理器可以通过将所述道路图像中的相邻像素的像素值彼此进行比较来识别包括在所述道路图像中的所述道路设施。

从而，道路异常检测设备当对道路图像进行图像处理时，可以通过将相邻像素的像素值例如诸如像素的亮度值彼此进行比较，来识别包括在道路图像中的道路设施。

此外，对于根据本发明的道路异常检测设备，在以上发明中，当判定所述道路设施中存在所述异常时，除了存在所述异常的所述道路设施的所述设施位置信息以外，所述处理器可以将包括存在所述异常的所述道路设施的所述道路图像累积在所述存储器中。

从而，除了道路设施的位置之外，道路异常检测设备可以通过收集存在异常的道路设施的图像，来检查在道路设施中产生的异常的细节。

此外，对于根据本发明的道路异常检测设备，在以上发明中，当在所述存储器中累积了至少预定量的关于相同道路设施的所述设施位置信息时，所述处理器可以将所述设施位置信息发送到道路管理者管理的服务器。

从而，道路异常检测设备可以将存在异常的道路设施的位置通知给道路管理者侧，从而可以对道路设施进行早期修理。

此外，对于根据本发明的道路异常检测设备，在以上发明中，所述道路设施可以包括呈现在所述道路上的道路指示和设置在所述道路上或所述道路周围的结构。

从而，道路异常检测设备可以早期检测出在道路上呈现的道路指示以及在道路上或道路周围设置的结构中出现的异常。

为了解决上述问题并达到目的，提供了一种根据本发明的道路异常检测方法，其为一种由包括处理器的道路异常检测设备执行的道路异常检测方法，所述道路异常检测方法包括：通过所述处理器，从行驶中的车辆接收指示道路表面或所述道路周边的图像的道路图像和指示拍摄所述道路图像的位置的图像拍摄位置信息；通过所述处理器，基于所述道路图像和所述图像拍摄位置信息，识别包括在所述道路图像中的道路设施和所述道路设施的位置；通过所述处理器，通过将包括在所述道路图像中的所述道路设施和预先准备的正确性信息彼此进行比较，来判定所述道路设施中是否存在异常；以及，通过所述处理器，当判定所述道路设施中存在所述异常时，将指示存在所述异常的所述道路设施的所述位置的设施位置信息累积在所述道路异常检测设备的存储器中。

从而，所述道路异常检测方法可以通过对从行驶中的车辆接收到的道路图像执行图像识别处理，来早期检测出道路设施中是否存在异常。

为了解决上述问题并达到目的，提供了一种根据本发明的计算机可读介质，其上存储有指令，其中，所述指令由道路异常检测设备执行时实现道路异常检测方法，包括：从行驶中的车辆，接收指示道路表面或所述道路周边的图像的道路图像和指示拍摄所述道路图像的位置的图像拍摄位置信息；基于所述道路图像和所述图像拍摄位置信息，识别包括在所述道路图像中的道路设施和所述道路设施的位置；通过将包括在所述道路图像中的所述道路设施和预先准备的正确性信息彼此进行比较，来判定所述道路设施中是否存在异常；以及当判定所述道路设施中存在所述异常时，将指示存在所述异常的所述道路设施的所述位置的设施位置信息累积在所述道路异常检测设备的存储器中。

从而，所述指令由道路异常检测设备执行时，可以通过对从行驶中的车辆接收到的道路图像执行图像识别处理，来早期检测出道路设施中是否存在异常。

根据本发明，可以基于从行驶中的车辆收集的道路图像来早期检测道路设施中的异常。

附图说明

以下将参考所附附图来描述本发明的示例性实施例的特征、优点、以及技术和工业意义，其中相同的附图标记指代相同的元件，并且其中：

图1为示意性地示出可应用根据本发明的实施例的道路异常检测设备的道路异常检测系统的框图；

图2为示例性地示出作为根据本发明的实施例的道路异常检测设备的对象的道路设施的示意图；

图3为示出根据本发明的实施例的道路异常检测方法的处理过程的流程图；以及

图4为示出根据本发明的实施例的道路异常检测方法的处理过程的变型例的流程图。

具体实施方式

参照附图描述根据实施例的道路异常检测设备、道路异常检测方法和计算机可读介质。值得注意的是，以下实施例中的组成可以包括本领域技术人员可以容易地替换的内容，或者与之实质上相同的内容。

道路异常检测系统

首先，参照图1描述可以应用根据实施例的道路异常检测设备的道路异常检测系统。该道路异常检测系统具有处理服务器1、至少一辆车辆2和道路管理者服务器3。具体而言，根据本实施例的道路异常检测设备由处理服务器1构成。此外，至少一辆车辆2可以是在道路上行驶的一辆车辆2或多辆车辆2。

处理服务器1、车辆2和道路管理者服务器3可以通过网络nw相互通信。网络nw例如由因特网网络、移动电话网络等中的任何一种构成。

处理服务器

接下来，参考图1和图2描述处理服务器1的配置。处理服务器1处理从车辆2接收到的图像(道路图像)，并且包括控制单元11、通信单元12和存储单元13。

具体地，控制单元11包括由中央处理单元(cpu)、数字信号处理器(dsp)、现场可编程门阵列(fpga)等组成的处理器，以及由随机存取存储器(ram)、只读存储器(rom)等(主存储单元)组成的存储器，这些在图中省略。

控制单元11将存储在存储单元13中的程序加载到主存储单元的工作区域中以执行该程序，并通过执行该程序来控制组件等，从而实现满足预定目的的功能。通过执行程序，控制单元11用作图像识别单元111。值得注意的是，稍后将提及图像识别单元111的细节。

通信单元12例如由局域网(lan)接口板、用于无线通信的无线通信电路等构成。通信单元12连接到诸如作为公共通信网络的因特网之类的网络nw。通信单元12通过到网络nw的连接与处理服务器1和道路管理者服务器3进行通信。

存储单元13由可擦除可编程rom(eprom)、硬盘驱动器(hdd)和诸如可移动介质的记录介质构成。可移动介质的示例包括通用串行总线(usb)存储器，以及诸如光盘(cd)、数字通用光盘(dvd)和蓝光光盘(bd)之类的盘记录介质。此外，存储单元13可以存储操作系统(os)、各种程序、各种表、各种数据库等。

存储单元13包括正确性信息db131和异常信息db132。这些数据库(db)由用于数据库管理系统(dbms)的程序构建，该程序由上述处理器执行并管理存储在存储单元13中的数据。

正确性信息数据库131例如由关系数据库构成，在该关系数据库中可检索地存储多条正确性信息。正确性信息是作为用于判定包含在从车辆2发送来的道路图像中的道路设施中是否存在异常的标准的信息。

在此，术语“道路图像”指的是通过对道路的表面或道路的周边进行成像而获得的图像。此外，“道路设施”包括在道路上呈现的道路指示以及在道路上和道路周围设置的结构。

上述“道路指示”的示例包括如图2中所示的由实线组成的中心线rs1、由虚线组成的中心线rs2、外部线rs3、停车线rs4、人行横道rs5、人行横道预告标示rs6、限速指示rs7、右转箭头rs8等，以及在国外的道路上设置的诸如博斯点(botts'dots)的道路分割线等。

上述“结构”的示例包括设置在道路周围的护栏rs9，以及诸如信息标志、警告标志、管制标志和方向标志的道路标志。值得注意的是，不限于图中所示，这些道路指示和结构包括符合交通法规等的安装在道路上或道路周围的所有物体。

存储在正确性信息db131中的正确性信息是包括将要在车辆现场的道路设施的类型、以及道路设施的形状等的示例性的信息，并且作为地图信息和诸如图像数据的各种信息被存储在其中。通过控制单元11经由网络nw从外部收集那些正确性信息和/或由操作员手动输入那些正确性信息，将这些正确性信息构建为正确性信息db131。值得注意的是，如何收集正确性信息不限于这些收集正确性信息的方法中的任何一种。

异常信息db132例如由关系数据库构成，在该关系数据库中可检索地存储多条异常信息。异常信息是关于存在异常的道路设施的信息，以及如稍后提及的，例如包括指示存在异常的道路设施的位置的设施位置信息，包括该道路设施的道路图像，以及道路设施的异常的原因。

车辆

接下来，参考图1描述车辆2的配置。车辆2是在外部可通信的可移动体，并且包括控制单元21、通信单元22、存储单元23、定位单元24和图像拍摄单元25。控制单元21和存储单元23物理上分别类似于上述控制单元11和存储单元13。

控制单元21整体地控制安装在车辆2上的各种部件的操作。此外，控制单元21将从定位单元24输入的车辆2的位置信息与从图像拍摄单元25输入的道路图像相关联地存储在存储单元23中。也就是说，控制单元21将指示由图像拍摄单元25拍摄道路图像的位置的图像拍摄位置信息与如此拍摄的道路图像相关联地存储在存储单元23中。

通信单元22例如由数据通信模块(dcm)等构成，并且通过经由网络nw的无线通信与处理服务器1通信。存储单元23包括道路图像db231。道路图像db231示例性地是关系数据库(rdb)，在该关系数据库中可检索地存储由图像拍摄单元25拍摄的道路图像。值得注意的是，这些道路图像与图像拍摄位置信息相关联。

定位单元24从全球定位系统(gps)卫星(未示出)接收电波以检测车辆2的当前位置。然后，定位单元24将关于检测到的车辆2的当前位置的信息(以下称为“车辆位置信息”)输出到控制单元21。值得注意的是，还可以将，例如将光检测和测距(lidar，激光成像检测和测距)和三维数字地图相结合的方法用作检测车辆2的当前位置的方法。

图像拍摄单元25是，例如附接到车辆2的车身的前部的图像拍摄相机等，在车辆2行驶的同时拍摄车辆2前方的道路图像，并将拍摄的道路图像输出到控制单元21。值得注意的是，“道路图像”可以是静止图像数据和运动图像数据中的任何一种，或者可以是使用多个按时间顺序连续的静止图像数据生成的运动图像数据。

道路管理者服务器

接下来，参考图1描述道路管理者服务器3的配置。道路管理者服务器3是由道路管理者管理的服务器。道路管理者是负责维修道路设施的实体，其示例包括诸如东京的二十三个区、县、市、镇和村的本地公共实体、公共安全委员会等。

道路异常检测方法

接下来，参照图3描述由道路异常检测设备执行的道路异常检测方法。

首先，车辆2利用图像拍摄单元25拍摄其行驶中的道路的图像(步骤s1)。随后，车辆2以预定的定时将拍摄的道路图像和道路图像的图像拍摄位置信息周期性地发送到处理服务器1(步骤s2)。值得注意的是，可以设置这样的预定定时，例如，诸如以预定时间间隔的周期性定时、以及车辆2经过预定位置的定时的各种定时。

随后，在从车辆2接收到道路图像和图像拍摄位置信息之后，处理服务器1利用图像识别单元111对道路图像执行图像识别处理(步骤s3)。图像识别单元111使用已知的图像识别处理技术基于道路图像和图像拍摄位置信息来识别包括在道路图像中的道路设施和道路设施的位置。值得注意的是，术语“道路设施的位置”指的是安装道路设施的坐标(经度；纬度)。

具体地，图像识别单元111将道路图像中的相邻像素的像素值，例如诸如像素的亮度值，彼此进行比较，从而识别包括在道路图像中的道路设施的类型。此外，图像识别单元111例如通过估计到该道路设施的深度距离的方法或类似方法，来识别包括在道路图像中的道路设施的位置。

随后，图像识别单元111判定道路设施中是否存在异常(步骤s4)。具体地，图像识别单元111通过将道路设施与预先准备并存储在正确性信息db131中的正确性信息彼此进行比较，来判定包括在道路图像中的道路设施中是否存在异常。

当在步骤s4中判定道路设施中不存在异常时(步骤s4中为否)，图像识别单元111使处理返回至步骤s3。另一方面，当在步骤s4中判定道路设施中存在异常时(步骤s4中为是)，图像识别单元111识别出异常的原因(步骤s5)。

在这里破损、磨损、由于灰尘引起的斑点、枯叶、垃圾或类似物的沉积等可以认为是道路设施的异常。例如，在此假设道路设施是在道路的中央绘制的中心线rs1(见图2)。在这种情况下，当中心线rs1损坏并且在步骤s4中判定“异常存在”时，图像识别单元111使用已知的图像识别处理技术将异常的原因识别为，例如破损、磨损、由于灰尘引起的斑点、以及枯叶、垃圾或类似物中的任何一种。

随后，处理服务器1的控制单元11累积图像识别处理结果的数据(步骤s6)。在该步骤中，控制单元11在存储单元13的异常信息db132中，存储至少指示存在异常的道路设施的位置的设施位置信息作为异常信息。此外，在该步骤中，除了存在异常的道路设施的设施位置信息之外，控制单元11可以在异常信息db132中，存储包括存在异常的道路设施的道路图像和道路设施的异常的原因作为异常信息。如上所述，除了收集道路设施的位置之外，通过收集存在异常的道路设施的图像和异常的原因，可以检查在道路设施中产生的异常的细节。

随后，控制单元11通知道路管理者在道路设施中出现异常(步骤s7)。具体地，控制单元11通过将累积在异常信息db132中的异常信息发送到道路管理者服务器3，来通知道路管理者该道路设施中出现了异常。值得注意的是，发送给道路管理者服务器3的异常信息至少包括存在异常的道路设施的设施位置信息，并且可以包括包含存在异常的道路设施的道路图像和道路设施异常的原因。通过如上所述向道路管理者侧通知存在异常的道路设施的位置，可以对道路设施进行早期维修。

值得注意的是，当在异常信息db132中已经累积了预定量的关于相同道路设施的异常信息时，控制单元11可以将该异常信息发送到道路管理者服务器3。也就是说，可以仅当对例如由多辆车辆2拍摄且包括相同道路设施的道路图像执行图像识别处理(参见步骤s4)并且对所有那些图像都判定“异常存在”时，控制单元11才通知道路管理者该道路设施中出现异常。从而，仅在道路设施中出现异常的可能性高的情况下，才可以通知道路管理者该道路设施中出现异常。

根据如上所述的根据实施例的道路异常检测设备、道路异常检测方法和道路异常检测程序，通过对从行驶的车辆2接收到的道路图像执行图像识别处理，可以早期检测道路设施中是否存在异常。另外，依据根据实施例的道路异常检测设备、道路异常检测方法以及道路异常检测程序，由于能够从多辆车辆2收集道路图像并且可以判定包括在道路图像中的道路设施中是否存在异常，因此可以早期检测在广泛安装的道路设施中是否存在异常。另外，依据根据实施例的道路异常检测设备、道路异常检测方法以及道路异常检测程序，例如，可以将道路设施的异常信息出售给负责道路维修的道路管理者(地方公共实体、公共安全委员会等中的任何一个)。

变型例

在利用图3所描述的道路异常检测方法中，车辆2侧仅拍摄道路图像而处理服务器1侧对其执行图像识别处理，车辆2侧也可以执行图像识别处理。以下，参照图4对根据实施例的道路异常检测方法的变型例进行描述。值得注意的是，图中步骤s1、s6和s7中的内容与利用图3描述的道路异常检测方法的步骤s1、s6和s7中的内容相似并省略对其的说明。

在步骤s1之后，车辆2的控制单元21对道路图像执行图像识别处理(步骤s13)。控制单元21使用已知的图像识别处理技术基于道路图像和图像拍摄位置信息来识别包括在道路图像中的道路设施和道路设施的位置。

具体地，控制单元21将道路图像中的相邻像素的像素值例如诸如像素的亮度值彼此进行比较，从而识别包括在道路图像中的道路设施的类型。此外，控制单元21，例如通过估计到该道路设施的深度距离的方法或类似方法来识别包括在道路图像中的道路设施的位置。

随后，控制单元21判定道路设施中是否存在异常(步骤s14)。具体地，控制单元21基于道路设施和预先准备的正确性信息来判定包括在道路图像中的道路设施中是否存在异常。值得注意的是，以上的正确性信息可以预先存储在车辆2的存储单元23中，或者可以每次从处理服务器1的正确性信息db131中获取。

当在步骤s14中判定道路设施中不存在异常时(步骤s14中为否)，控制单元21使处理返回至步骤s13。另一方面，当在步骤s14中判定道路设施中存在异常时(步骤s14中为是)，控制单元21识别出异常的原因(步骤s15)。

随后，控制单元21将图像识别处理结果的数据发送到处理服务器1(步骤s16)。在该步骤中，控制单元21将至少指示存在异常的道路设施的位置的设施位置信息作为异常信息发送到处理服务器1。此外，在该步骤中，除了存在异常的道路设施的设施位置信息之外，控制单元21还可以将包括存在异常的道路设施的道路图像和道路设施的异常的原因作为异常信息发送到处理服务器1。

根据如上所述的根据实施例的道路异常检测设备、道路异常检测方法以及道路异常检测程序的变型例，能够通过由车辆2侧执行图像识别处理来减轻处理服务器1侧的负荷。

如上所述，已经利用用于实施本发明的方式具体描述了根据本发明的道路异常检测设备、道路异常检测方法和道路异常检测程序。本发明的范围不受这样的描述限制，而是应该基于所附权利要求书中的公开内容来广义地解释。不用说，本发明的范围包括基于这样的描述的各种改变、修改等。

本领域技术人员可以容易地得出进一步的效果和修改。因此，本发明的更广泛的方案不限于以上示出和描述的具体细节和代表性实施例。因此，在不脱离由所附权利要求及其等同内容所限定的总体发明构思的精神或范围的情况下，可以进行各种修改。