物体识别装置、物体识别方法以及物体识别程序与流程

本发明涉及物体识别装置、物体识别方法以及物体识别程序。

背景技术：

基于搭载于车辆的相机的图像来识别车辆周边的情况、并向驾驶员通知警告的安全辅助装置被普及。这样的安全辅助装置对相机拍摄到的图像使用多个识别词典来识别自身车辆周边的车辆或行人等。

例如，在专利文献1中记载了以下内容：在图像识别装置中，根据从多个图像中求出的对象物的移动速度来设定识别词典，识别自行车、二轮车及其乘员、行人。

另外，在专利文献2中记载了以下内容：在图像识别装置中，存储多个将与路面的接地部分排除的候选物体的图案，提取与图像内的候选物体得到预定的相关关系的图案，估计候选物体的接地位置，计算与实际的候选物体的距离。

在先技术文献

专利文献

专利文献1：日本专利文献特开2007-249841号公报；

专利文献2：日本专利文献特开2007-188417号公报。

技术实现要素：

发明所要解决的问题

但是，一般来说，行人和自行车等以相同的速度移动的情况也很多，在专利文献1涉及的图像识别装置中，在这样的情况下难以设定正确的识别词典来识别对象物。另外，当从自行车等的斜前方或斜后方拍摄该自行车等时，有时不能识别为自行车或者错误识别为人。

另外，在专利文献2中记载了候选物体为行人的情况下的实施例，但是该发明能够考虑候选物体可以是车辆等。

但是，实际上，如果想要使用词典来识别图像内的车辆，则有时其检测位置会偏离实际的车辆图像，所述词典是对将与路面的接地部分排除的车辆的图案、或者包含与路面的接地部分的车辆整体的图案进行机器学习而成。并且，如果基于偏离的检测位置、即偏离的接地位置来计算与该车辆的距离，则不能在适当的时刻向驾驶员通知警告。

本发明是为了解决上述的问题而完成的，其目的在于提供能够从图像中更准确地检测出对象物的物体识别装置、物体识别方法以及物体识别程序。

因此，本实施方式提供一种物体识别装置，包括：图像获取部，获取对被拍摄体拍摄而得的图像；以及识别处理部，针对获取的图像使用识别词典来识别被拍摄体，其中，识别处理部针对获取的图像使用对象物识别词典来检测对象物，针对检测的对象物的下部使用车轮识别词典来检测车轮，并将车轮的检测结果反映到对象物的检测结果中。

另外，本实施方式提供一种物体识别方法，具有以下步骤：图像获取步骤，获取对被拍摄体拍摄而得的图像；以及识别处理步骤，针对获取的图像使用识别词典来识别被拍摄体，在识别处理步骤中，针对获取的图像使用对象物识别词典来检测对象物，针对检测的对象物的下部使用车轮识别词典来检测车轮，将车轮的检测结果反映到所述对象物的检测结果中。

根据本实施方式，能够提供从图像中更准确地检测出对象物的物体识别装置、物体识别方法以及物体识别程序。

附图说明

图1是示出实施方式1涉及的物体识别系统1的简要构成的框图。

图2是示出实施方式1涉及的物体识别方法的处理顺序的流程图。

图3是示出实施方式1涉及的识别对象图像的例子的图。

图4是示出实施方式1涉及的人物的检测结果的图。

图5是示出实施方式1涉及的车轮的识别范围的图。

图6是示出实施方式1涉及的车轮的检测结果的图。

图7是示出实施方式1涉及的自行车的检测结果的图。

图8是示出实施方式2涉及的物体识别方法的处理顺序的流程图。

图9是示出实施方式2涉及的识别对象图像和车辆识别结果的图。

图10是示出实施方式2涉及的车轮的识别范围的图。

图11是示出实施方式2涉及的车轮识别结果的图。

图12是示出实施方式2涉及的检测矩形和距离的显示例的图。

图13是示出实施方式3涉及的物体识别方法的处理顺序的流程图。

图14是示出实施方式4涉及的物体识别方法的处理顺序的流程图。

具体实施方式

以下，参照附图来说明各实施方式涉及的物体识别系统和物体识别方法。

另外，在本说明书的“图像”中包含静止图像和运动图像。

另外，本说明书的“车辆”包含汽车(包含摩托车)、带原动机的自行车、轻型车辆(包含自行车)、轮椅、个人移动设备等。

另外，在本说明书的“乘员”中包含乘坐在车辆等而驾驶的人(驾驶员)、乘坐在车辆等的人(驾驶员以外的人)等。

(实施方式1)

本实施方式1涉及的物体识别系统和物体识别方法为：针对拍摄了人物的图像使用人物识别词典来检测人物，针对检测出的人物使用车轮识别词典来检测车轮，判断检测出的人物是车辆的乘员还是行人。

首先，说明本实施方式1涉及的物体识别系统的构成。

图1是示出本实施方式1涉及的物体识别系统1的简要构成的框图。

物体识别系统1是主要在车辆中使用的系统，包括前方相机10、物体识别装置20、词典数据存储装置30、显示装置40等。

前方相机10拍摄自身车辆的行进方向的图像，并将该图像输入到物体识别装置20。前方相机10是拍摄可见光的图像的相机，但是可以是也能检测红外光的相机，还可以是将拍摄可见光的图像的相机和检测红外光的相机组合而成的相机。

物体识别装置20使用前方相机10拍摄到的图像来识别行人、自行车等，并根据需要将警告信号输出至显示装置40等。物体识别装置20例如按照前方相机10拍摄的影像的每帧或每几帧来识别行人、自行车等。另外，物体识别装置20在图像中确定识别到的行人、自行车等的接地位置，并计算自身车辆与行人、自行车等之间的距离。因此，物体识别装置20具有图像获取部21、识别处理部22、显示控制部23等。

图像获取部21输入前方相机10拍摄到的图像，并输出至识别处理部22。

识别处理部22针对图像使用词典数据存储装置30存储的人物识别词典、自行车识别词典、车轮识别词典等识别行人、自行车、车轮(轮胎)等，并根据需要向显示控制部23输出信号，以警告驾驶员。

显示控制部23进行用于在显示装置40显示警告图像或者输出警告声音的控制。另外，显示控制部23也进行使距离信息显示在显示装置40的控制，所述距离信息根据识别到的行人、自行车等的接地位置在图像中的位置而计算出。

词典数据存储装置30存储人物识别词典、自行车识别词典、车轮识别词典等。另外，人物识别词典、自行车识别词典、车轮识别词典是对从各种角度拍摄人物、自行车、车轮的图像或者这些图像的裁剪图像进行机器学习而创建的词典。

另外，物体识别系统1也可以不包括词典数据存储装置30。此时，词典数据存储装置30只要是使用物体识别系统1能够利用的通信接口连接的外部服务器即可。另外，也可以将词典数据存储装置30构成为词典数据参照装置。

显示装置40向驾驶员等自身车辆的乘员通过图像或声音通知意为在自身车辆的行进方向上存在行人、自行车等的警告。另外，显示装置40向自身车辆的乘员通知至识别出的行人、自行车的距离。

另外，物体识别装置20实现的各构成要素例如通过作为计算机的物体识别装置20包括的运算装置(未图示)的控制执行程序而实现。更具体地说，物体识别装置20将保存于存储部(未图示)的程序加载到主存储装置(未图示)中，通过运算装置的控制执行程序来实现。

另外，各构成要素不限于由基于程序的软件实现，也可以通过硬件、固件以及软件中的任一组合等实现。

上述的程序使用各种类型的非临时性的计算机可读介质(non-transitorycomputerreadablemedium)保存，并能够提供给物体识别装置20。非临时性的计算机可读介质包括各种类型的存在实体的记录介质(tangiblestoragemedium)。

非临时性的计算机可读介质的例子包括磁记录介质(例如软盘、磁带、硬盘驱动器)、光磁记录介质(例如光磁盘)、cd-rom(readonlymemory只读存储器)、cd-r、cd-r/w、半导体存储器(例如掩模rom、prom(programmablerom，可编程只读存储器)、eprom(erasableprom，可擦写可编程只读存储器)、闪存rom、ram(randomaccessmemory，随机存取存储器))。

另外，程序可以通过各种类型的临时性的计算机可读介质(transitorycomputerreadablemedium)提供给物体识别装置20。临时性的计算机可读介质的例子包括电信号、光信号以及电磁波。临时性的计算机可读介质能够经由电线和光纤等有线通信路或无线通信路将程序提供给物体识别装置20。

接着，说明本实施方式1涉及的物体识别系统1的动作、即物体识别方法。

图2是示出本实施方式1涉及的物体识别方法的处理顺序的流程图。

当物体识别系统1开始动作时，前方相机10拍摄自身车辆的行进方向的图像，图像获取部21获取该图像作为识别对象图像(步骤s10)。

图3是示出本实施方式1涉及的识别对象图像的例子的图。

在图像中拍摄出了开始在自身车辆前方的人行横道上行走横穿的人物a、骑着自行车正在横穿人行横道的人物b、在比人行横道更靠前方的位置骑着自行车斜向横穿道路的人物c。

接着，识别处理部22针对识别对象图像使用存储于词典数据存储装置30的人物识别词典进行人物的识别(步骤s20)。此时，识别处理部22可以在识别对象图像的整个区域识别人物，也可以仅在识别对象图像的去除上下区域的中央区域识别人物。由此，识别处理部22在图3所示的图像中识别人物a～c而进行检测。

图4是示出本实施方式1涉及的人物的检测结果的图。

示出识别处理部22检测人物的结果的检测矩形a～c分别适当地包围人物a～c，示出了识别处理部22能够适当地检测人物的情况。

但是，检测出的人物a是行走的状态，人物b、c是骑着自行车的状态，如果基于识别处理部22检测出的人物的形状等直接计算自身车辆(或者前方相机10)与人物a～c之间的距离，则有可能弄错与人物b、c的距离。该错误尤其在基于图像中的人物的下端位置(接地位置)计算与人物之间的距离的情况下更为显著。另外，由于行人和自行车的移动速度不同，因此需要准确识别行人和自行车等，向驾驶员在适当的时机进行防止碰撞等的警告。

因此，识别处理部22接着判断在步骤s20中是否检测出人物(步骤s30)。

当检测出人物时(步骤s30的是)，识别处理部22对在步骤s20中检测出的人物的检测范围的下部设定识别车轮时的识别范围(步骤s40)。这里，所谓设定识别范围的、人物的检测范围的下部是指用于识别该人物骑在自行车等上时该自行车等的车轮的必要的足够的范围。

例如，对于图4所示的检测出人物的检测范围(检测矩形)，将相对于检测范围的纵向靠下侧50％的范围设定为识别车轮的识别范围。另外，在根据检测出的人物的形状识别为符合下半身的情况下，将包含下半身的范围设定为识别车轮的识别范围。识别车轮的识别范围可以包含检测出人物的范围的下侧，也可以包含比检测出人物的范围的下端更靠下方的范围。例如，当将检测出人物的范围的纵向的长度设为100％时，识别车轮的识别范围可以包含比检测出人物的范围的下端靠下方20％至30％的范围。

另外，识别车轮的识别范围可以设定比检测出人物的范围的宽度更大的宽度。例如，当将检测出人物的范围的横向的宽度设为100％时，可以设为以检测出人物的范围为中心200～300％的范围。

图5是示出本实施方式1涉及的车轮的识别范围的图。

识别处理部22针对检测出的人物a～c以其下侧为中心分别设定识别范围a～c。识别车轮的范围包含检测出人物的范围的下侧、比检测出人物的范围的下端还靠下方的范围，也包含比检测出人物的范围的左右端靠横向的范围是合适的。

接着，识别处理部22使用存储于词典数据存储装置30的车轮识别词典针对识别范围a～c识别自行车的车轮(步骤s50)。

图6是示出本实施方式1涉及的车轮的检测结果的图。

示出识别处理部22检测出车轮的结果的检测矩形b、c适当包围自行车b的两个车轮和自行车c的一个车轮，示出识别处理部22能够适当地检测出车轮的情况。一般来说，自行车的车轮进入乘员(人物b、c)的死角的情况少，识别处理部22能够在很多的情况下检测出车轮。

另一方面，识别处理部22与步骤s20～s50的处理并行地使用存储于词典数据存储装置30的自行车识别词典识别自行车(步骤s60)。

图7是示出本实施方式1涉及的自行车的检测结果的图。

自行车b被从横向拍摄，作为自行车的形状是清楚的，识别处理部22能够准确检测出自行车b。另一方面，自行车c被从斜前方向拍摄，乘员(人物c)和自行车的特征相似，或者自行车c的框架部分进入安装于车把的车筐或乘员的死角等，识别处理部22无法准确地检测出自行车c。

接着，识别处理部22判断在步骤s50中是否检测出车轮(步骤s70)。并且，识别处理部22在步骤s60中判断是否检测出自行车(步骤s80)。

当在步骤s50中检测出车轮时(步骤s70的是)、或者当在步骤s60中检测出自行车时(步骤s80的是)，识别处理部22最终决定检测出自行车(及其乘员)(步骤s90)。

由此，识别处理部22即使是例如如图7所示的自行车c那样在自行车识别词典中无法检测出该自行车的情况(图像)下，也能够如图6所示的自行车c的车轮那样通过车轮识别词典检测该自行车。

另外，识别处理部22可以当在步骤s50中检测出车轮时(步骤s70的是)，将在步骤s20中检测出的人物决定为自行车的乘员。

并且，识别处理部22将检测出的车轮的下端或者检测出的自行车的车轮的下端作为自行车的接地位置，并计算自身车辆(或者前方相机10)与该自行车(及其乘员)之间的距离(步骤s100)。

这里，简单说明距离的计算方法。

识别处理部22事先保持有距离表，该距离表将从图像下端到图像中的关注像素的像素数与从自身车辆到关注像素中的被拍摄体的实际距离对应起来。该距离表例如能够根据相机的安装位置或角度等进行校准而准备。

然后，识别处理部22根据车轮的下端(接地位置)的图像上的位置以及距离表计算从该图像拍摄时的自身车辆到该自行车的距离。

并且，当在步骤s50中未检测出车轮时(步骤s70的否)，识别处理部22将在步骤s20中检测出的人物决定为行人(步骤s110)。

然后，识别处理部22将检测出的人物的下端、例如鞋底或鞋后跟的部分作为行人的接地位置，并计算自身车辆(或者前方相机10)与行人之间的距离(步骤s120)。

接着，识别处理部22当自身车辆与自行车或行人之间的距离小于预定值、自身车辆与自行车等有可能发生碰撞时，显示控制部23经由显示装置40向驾驶员警告正在接近自行车或行人(步骤s130)。

然后，物体识别装置20判断是否结束物体识别方法(步骤s140)，当判断为结束时(步骤s140的是)，结束处理。

另外，当识别处理部22未检测出人物时(步骤s30的否)、未检测出自行车时(步骤s80的否)、或者物体识别装置20判断为未结束物体识别方法时(步骤s140的否)，返回到步骤s10(或者步骤s20、s60等)。

另外，关于本实施方式1涉及的物体识别系统1或物体识别方法能够进行各种修正或变更。

例如，识别处理部22设为当在步骤s60中检测出自行车时(步骤s80的是)最终决定为检测出自行车(步骤s90)，但是也可以针对检测出的自行车重新使用车轮识别词典识别车轮。即，也可以当步骤s80为“是”时，不进行步骤s90的处理而进行步骤s50的处理。

此时，如果还基于在步骤s50中检测出的车轮修正在步骤s60中检测出的自行车的检测矩形的位置，则能够提高自身车辆与自行车之间的距离的测定精度。另外，如此，还可以在检测出自行车之后基于自身车辆的速度等决定是否进一步检测车轮。

另外，当基于在步骤s50中检测出的车轮修正在步骤s60中检测出的自行车的检测矩形的位置时，使用检测出的车轮的下端(接地位置)计算与自行车之间的距离，取而代之，也可以基于修正后的自行车的检测矩形的大小即基于检测出的车轮的下端(接地位置)来计算与该自行车之间的距离。通过检测车轮，能够比以往更准确地设定自行车的检测矩形，并能够使用该检测矩形也比以往更准确计算与其他车辆之间的距离。

另外，在本实施方式1涉及的物体识别系统1或物体识别方法中，使用人物识别词典、车轮识别词典、自行车识别词典这三个词典来识别行人和自行车，但是也可以使用人物识别词典、车轮识别词典这两个词典来识别行人和自行车。即，也可以在图2所示的处理顺序的流程图中省略步骤s60和步骤s80涉及的处理。

另外，在本实施方式1涉及的物体识别系统1或物体识别方法中设为识别行人和自行车，但是也可以设为识别行人、摩托车、个人移动设备、轮椅等。

另外，在本实施方式1中，以前方相机10是可见光相机、图像获取部21获取可见光图像作为识别对象图像为前提进行了说明，但是前方相机10也可以是除了可见光以外还能拍摄红外光的相机。在此情况下，图像获取部21对获取的图像进行基于运算的滤波，并提取可见光图像和红外图像。

识别处理部22针对提取出的红外图像使用红外图像用的人物识别词典识别人物，当检测出人物时，针对从同一图像提取出的可见光图像使用可见光图像用的车轮识别词典识别车轮。

另外，也可以由可见光相机和红外相机构成前方相机10。在此情况下，图像获取部21获取可见光图像和红外图像。

识别处理部22针对红外图像使用红外图像用的人物识别词典识别人物，当检测出人物时，针对可见光图像使用可见光图像用的车轮识别词典识别车轮。

一般来说，由于从行人有散热，因此能够通过使用红外影像更适当地识别行人。例如，即使是在图像中有类似人物或模仿人物的其他物体的情况下，也能够区分该其他物体和行人。

如以上说明的那样，本实施方式1涉及的物体识别装置20包括：图像获取部21，获取对被拍摄体拍摄而得的图像；以及识别处理部22，针对所获取的图像使用识别词典识别被拍摄体，识别处理部22针对所获取的图像使用对象物识别词典检测对象物，针对所检测出的对象物的下部使用车轮识别词典检测车轮，并将车轮的检测结果反映到对象物的检测结果中。

通过这样的构成，能够从图像中更准确地检测对象物。

另外，在本实施方式1涉及的物体识别装置20中也能够为：识别处理部22使用作为对象物识别词典的人物识别词典检测人物，针对检测出的人物的下部使用车轮识别词典检测车轮，当检测出车轮时，判断为检测出的人物是车辆的乘员，当未检测出车轮时，判断为检测的人物是行人。

通过这样的构成，能够从图像中准确识别行人和自行车(或其乘员)等。

另外，本实施方式1涉及的物体识别装置20也能够计算识别处理部22检测出的车轮的下端或判断为行人的人物的下端与拍摄图像的拍摄部之间的距离。

通过这样的构成，能够准确计算检测出的行人、自行车等与自身装置等之间的距离。

另外，在本实施方式1涉及的物体识别装置20中也能够为：图像获取部21获取红外光图像和可见光图像作为图像，识别处理部22使用作为对象物识别词典的人物识别词典从红外光图像中检测人物，针对检测出的人物的下部使用车轮识别词典从可见光图像中检测车轮。

通过这样的构成，能够从图像中更准确地识别行人和自行车(或者其乘员)等。

另外，本实施方式1涉及的物体识别方法具有：图像获取步骤s10，获取对被拍摄体拍摄而得的图像；识别处理步骤s20～s90、s110，针对所获取的图像使用识别词典识别被拍摄体，识别处理步骤针对所获取的图像使用对象物识别词典检测对象物，针对检测出的对象物的下部使用车轮识别词典检测车轮，并将车轮的检测结果反映到对象物的检测结果中。

另外，本实施方式1涉及的物体识别程序是使计算机执行以下步骤的程序：图像获取步骤(步骤s10)，获取对被拍摄体拍摄而得的图像；识别处理步骤(步骤s20～s90、s110)，针对所获取的图像使用识别词典识别被拍摄体，在识别处理步骤(步骤s20～s90、s110)中，针对所获取的图像使用对象物识别词典检测对象物，针对检测出的对象物的下部使用车轮识别词典检测车轮，并将车轮的检测结果反映到对象物的检测结果中。

(实施方式2)

实施方式1涉及的物体识别系统1和物体识别方法针对拍摄人物而得的图像使用人物识别词典检测人物，针对检测出的人物使用车轮识别词典检测车轮，并判断检测出的人物是车辆的乘员还是行人，但是本实施方式2涉及的物体识别系统和物体识别方法针对拍摄其他车辆而得的图像使用车辆识别词典检测其他车辆，针对检测出的其他车辆使用车轮识别词典检测其车轮，从而快且准确地计算与该其他车辆之间的距离。

另外，本实施方式2涉及的物体识别系统的构成的一部分可以与实施方式1涉及的构成相同，这里对物体识别系统的图示及相同的构成省略说明。

物体识别装置20使用前方相机10拍摄到的图像识别其他车辆及其车轮，并根据需要将警告信号输出至显示装置40等。另外，物体识别装置20在图像中确定识别到的其他车辆的接地位置，并计算自身车辆与其他车辆之间的距离。物体识别装置20例如针对前方相机10拍摄到的影像的每帧或每几帧识别其他车辆及其车轮。

识别处理部22针对图像使用存储于词典数据存储装置30的车辆识别词典、车轮识别词典识别其他车辆、车轮(轮胎)，并根据需要向显示控制部23输出信号，以警告驾驶员。

显示控制部23进行用于在显示装置40显示警告图像或者输出警告声音的控制。另外，显示控制部23也进行将距离信息显示在显示装置40的控制，所述距离信息根据识别出的其他车辆的接地位置在图像上的位置而计算出。

词典数据存储装置30存储车辆识别词典、车轮识别词典等。另外，车辆识别词典、车轮识别词典是对从各种角度拍摄车辆、车轮而得的图像或这些图像的裁剪图像进行机器学习而创建的词典。

显示装置40向驾驶员等自身车辆的乘员通过图像或声音通知意为在自身车辆的行进方向上存在车辆的警告。另外，显示装置40向自身车辆的乘员通知至识别出的其他车辆的距离。

接着，说明本实施方式2涉及的物体识别系统1的动作、即物体识别方法。

图8是示出本实施方式2涉及的识别方法的处理顺序的流程图。

当物体识别系统1开始动作时，前方相机10拍摄自身车辆的行进方向的图像，图像获取部21获取该图像作为识别对象图像(步骤s210)。

接着，识别处理部22针对识别对象图像使用存储于词典数据存储装置30的车辆识别词典进行其他车辆的识别(步骤s220)。此时，识别处理部22可以在识别对象图像的整个区域中识别其他车辆，也可以仅在识别对象图像的去除上下区域的中央区域中识别其他车辆。

图9是示出本实施方式2涉及的识别对象图像及车辆识别结果的例子的图。

在识别对象图像中拍摄有想要从左侧的道路右转进入交叉点的其他车辆。并且，示出识别处理部22检测出该其他车辆的结果的检测矩形除去车轮的一部分而包围该其他车辆。

这是因为，通过边缘的检测或词典的参照等识别其他车辆的识别处理部22能够容易地检测出边缘清楚的车身(车体)部分作为车辆，但是难以检测出根据光的照射方向成为阴面而边缘不清楚、并且与路面之间的边界也不清楚的车轮部分作为车辆。由于这样的漏检而产生的检测矩形的偏差尤其容易在隧道中或夜间拍摄到的图像中产生。

并且，识别处理部22如果计算基于图9所示的错位的检测矩形检测出的其他车辆的接地位置，则会导致计算出比实际远地存在该其他车辆。

因此，识别处理部22接着在步骤s220中判断是否检测出其他车辆(步骤s230)。

识别处理部22当检测出其他车辆时(步骤s230的是)，在步骤s220中检测出的其他车辆的检测范围的下部设定识别车轮时的识别范围(步骤s240)。这里，设定识别范围的、车辆的检测范围的下部是指用于识别该车辆的车轮的必要足够大小的范围。

例如，对于图9所示的检测出其他车辆的检测范围(检测矩形)，将包含检测范围的下侧50％、包含检测范围的下端的更下方的范围设为识别车轮的识别范围。通过这样设定识别范围，无论是在检测出其他车辆的检测范围包含有车轮的情况，还是不包含车轮的一部分或全部的情况，均能够适当地进行车轮的识别。

图10是示出本实施方式2涉及的车轮的识别范围的图。在检测出的其他车辆的下部附近设定识别范围。

接着，识别处理部22针对所设定的识别范围使用存储于词典数据存储装置30的车轮识别词典来识别其他车辆的车轮(步骤s250)。由此，与针对整个图像识别出车轮时相比，识别处理部22能够快且准确地检测车轮。

图11是示出本实施方式2涉及的车轮识别结果的图。

示出识别处理部22检测出车轮的结果的检测矩形适当地包围两个车轮。

接着，识别处理部22判断在步骤s250中是否检测出车轮(步骤s260)。

识别处理部22当在步骤s250中检测出车轮时(步骤s260的是)，将检测出的车轮的下端作为其他车辆的接地位置，计算出自身车辆(或前方相机10)与该其他车辆之间的距离(步骤s270)。

此时，识别处理部22根据识别对象图像中的检测出的车轮的下端的位置(接地位置)和上述的距离表来计算拍摄识别对象图像时的自身车辆与该其他车辆的距离。

另外，当在步骤s250中检测出车轮时，该检测矩形最大的车轮是最接近自身车辆的车轮的可能性大。因此，识别处理部22也可以基于检测矩形最大的车轮的接地位置来计算与其他车辆的距离。

接着，显示控制部23使显示装置40显示在步骤s210中获取的识别对象图像，并且针对检测出的其他车辆显示也包围检测出的车轮的检测矩形，并且显示自身车辆与该其他车辆之间的距离(步骤s280)。当与其他车辆之间的距离小于预定值、有可能与该其他车辆碰撞时，显示控制部23也可以通过显示装置40向驾驶员通知其他车辆已经接近的情况。也可以当使显示装置40显示警告时同时发出声音。

图12是示出本实施方式2涉及的检测矩形及距离的显示例的图。在该例子中，也显示检测出的车轮的接地位置(两处)。

另一方面，当识别处理部22在步骤s250中未检测出车轮时(步骤s260的否)，显示控制部23使显示装置40显示在步骤s220中检测出的车辆及其检测矩形(步骤s290)。例如显示图9所示的图像即可。当然，也可以计算与识别处理部22检测出的车辆之间的距离，显示控制部23使显示装置40显示该距离或者进行警告显示。

然后，物体识别装置20判断是否结束物体识别方法(步骤s300)，当判断为结束时(步骤s300的是)，结束处理。

另外，当识别处理部22未检测出车辆时(步骤s230的否)，或者当物体识别装置20判断为未结束物体识别方法时(步骤s300的否)，返回到步骤s210(或者步骤s220)。

如以上说明的那样，在本实施方式2涉及的物体识别装置20中，识别处理部22使用作为对象物识别词典的车辆识别词典检测车辆，针对检测出的车辆的下部使用车轮识别词典检测车轮，并基于检测出的车轮的下端位置来计算至检测出的车辆的距离。

通过这样的构成，能够从图像中快且准确计算出与其他车辆的距离。

另外，本实施方式2涉及的物体识别装置20还包括显示控制部23，该显示控制部23使所获取的图像显示在显示装置40，显示控制部23也可以使显示装置40将包围检测出的车辆的检测矩形显示为也包含检测出的车轮。

通过这样的构成，能够将检测出的车辆的位置准确地提示给驾驶员等。

另外，在本实施方式2涉及的物体识别装置20中，显示控制部23也可使显示装置40显示计算的距离。

通过这样的构成，能够将至检测出的车辆的距离提示给驾驶员等。

(实施方式3)

在实施方式2涉及的物体识别系统或物体识别方法中，当检测出其他车辆的车轮时，向驾驶员通过显示或声音进行了警告，但是由于最好更快地向驾驶员进行警告，因此在本实施方式3涉及的物体识别系统或物体识别方法中，当检测出其他车辆时进行警告。

另外，本实施方式3涉及的物体识别系统可以与实施方式2涉及的构成相同，这里省略其图示及说明。

对本实施方式3涉及的物体识别系统1的动作、即物体识别方法进行说明。

图13是示出本实施方式3涉及的物体识别方法的处理顺序的流程图。

步骤s310～s330涉及的处理可以与实施方式2的步骤s210～s230涉及的处理相同，这里省略其说明。

识别处理部22当在步骤s320中检测出其他车辆时(步骤s330的是)，显示控制部23使显示装置40显示在步骤s310中所获取的识别对象图像，并且显示包围在步骤s320中检测出的其他车辆的检测矩形(步骤s340)。这里，例如显示图9所示的图像。当然，也可以输出声音。由此，能够立即向驾驶员传达其他车辆信息。

接着，识别处理部22在检测出其他车辆的下部附近设定识别车轮的识别范围(步骤s350)，并识别车轮(步骤s360)。

接着，识别处理部22判断在步骤s360中是否检测出车轮(步骤s370)。

识别处理部22当在步骤s360中检测出车轮时(步骤s370的是)，将检测出的车轮的下端作为检测出的其他车辆的接地位置，并计算自身车辆(或前方相机10)与该其他车辆之间的距离(步骤s380)。

另外，上述的步骤s350、s360、s380涉及的处理也可与实施方式2的步骤s240、s250、s270涉及的处理相同。

接着，关于显示控制部23使显示装置40在步骤s340中显示的图像，修正为检测矩形也包围在步骤s360中检测出的车轮。另外，也显示距离信息(步骤s390)。由此，即使稍微需要时间，也能够计算准确的距离。

然后，物体识别装置20判断是否结束物体识别方法(步骤s400)，当判断为结束时(步骤s400的是)，结束处理。

另外，识别处理部22当在步骤s360中未检测出车轮时(步骤s370的否)，前进到步骤s400。

另外，当在步骤s320中未检测出车辆时(步骤s330的否)、或者当物体识别装置20判断为未结束物体识别方法时(步骤s400的否)，返回到步骤s310(或步骤s320)。

另外，在实施方式2、3涉及的物体识别系统1或物体识别方法中，使用检测出的车轮的下端(接地位置)计算与其他车辆之间的距离，但是距离的计算方法不限于此，例如也可以基于检测矩形的大小来计算距离。在实施方式2、3涉及的物体识别系统1或物体识别方法中，通过检测车轮，能够基于车轮的下端位置比以往更准确地设定其他车辆的检测矩形，能够使用该检测矩形的大小比以往更准确计算与其他车辆之间的距离。

另外，在实施方式2、3涉及的物体识别系统1等中，以前方相机10为可见光相机、图像获取部21获取可见光图像作为识别对象图像为前提进行了说明，但是前方相机10也可以是除了可见光以外也能拍摄红外光的相机。在此情况下，作为车辆识别词典及车轮识别词典，可以使用红外图像用的识别词典、或者将可见光用的识别词典和红外图像用的识别词典并用。

识别处理部22针对红外图像使用红外图像用的车辆识别词典检测其他车辆，当检测出其他车辆时，使用红外图像用的车轮识别词典识别车轮。

由此，在夜间等可见光的光量少的情况下，也能够应用实施方式2、3涉及的物体识别系统1等得到与可见光的光量多的情况同样的效果。另外，通过使用红外图像能够主要检测行驶中的其他车辆，例如，也能够准确计算从各种方向进入交叉点的其他车辆的距离。

如以上说明的那样，在本实施方式3涉及的物体识别装置20中，当显示控制部23使检测矩形显示时，在识别处理部22检测出车辆时使包围车辆的检测矩形显示，在识别处理部22检测出车轮时修正检测矩形为也包含车轮并使其显示。

通过这样的构成，能够将检测出的车辆的位置更快地提示给驾驶员等，并且能够准确地计算检测出的车辆的位置。

(实施方式4)

实施方式1～3涉及的物体识别系统及物体识别方法针对拍摄人物、其他车辆等的对象物而得的图像使用人物识别词典、车辆识别词典等对象物识别词典检测对象物，针对检测出的对象物的下部使用车轮识别词典检测车轮，但是本实施方式4涉及的物体识别系统及物体识别方法确定检测出的对象物的朝向，选择与确定的对象物的朝向对应的车轮识别词典，减轻识别处理的负荷，并且更高精度地检测车轮。

对象物的朝向确定例如使用检测出对象物的多个图像对所检测出的对象物进行追踪(tracking)，由此估计对象物的行进方向，并根据估计出的行进方向确定对象物的朝向。

另外，本实施方式4涉及的物体识别系统的构成的一部分可以与实施方式1～3涉及的构成相同，这里关于物体识别系统的图示及同样的构成省略说明。

识别处理部22针对前方相机10拍摄到的图像使用存储于词典数据存储装置30的人物识别词典、车辆识别词典等对象物识别词典识别人物、其他车辆等对象物。识别处理部22如果能够根据识别到的对象物的形状等确定其朝向，则确定该对象物的朝向。另外，作为确定对象物的朝向的其他方法，识别处理部22也可以使用多个图像对所检测出的对象物进行追踪，并估计该对象物的行进方向，基于估计出的行进方向确定对象物的朝向。

并且，识别处理部22选择与确定的朝向对应的车轮识别词典，识别对象物的下部的车轮，并根据需要向显示控制部23输出信号，以向驾驶员进行警告。

词典数据存储装置30存储对象物识别词典、车轮识别词典等。对象物识别词典、车轮识别词典是对从各种角度拍摄对象物、车轮的图像或者这些图像的裁剪图像进行机器学习而创建的词典。

尤其是，本实施方式4涉及的词典数据存储装置30按照每个车轮的朝向存储车轮识别词典。词典数据存储装置30也可以按照与对象物的行进方向对应的每个车轮的朝向存储车轮识别词典。即，本实施方式4涉及的车轮识别词典是针对当对象物为各种朝向时拍摄到的车轮的图像或这些图像的裁剪图像按照其每个朝向进行机器学习而创建的词典。

更具体地说，对象物相对于前方相机10朝前或朝后、或者朝正面或朝背面的车轮的图像成为纵向长的矩形形状或纵向细长的椭圆形状，对象物相对于前方相机10朝向横向即朝左、朝右的车轮的图像为近似圆形形状，通过对这些图像进行机器学习来创建车轮识别词典。

接着，对本实施方式4涉及的物体识别系统1的动作、即物体识别方法进行说明。

图14是示出本实施方式4涉及的物体识别方法的处理顺序的流程图。

当物体识别系统1开始动作时，前方相机10拍摄自身车辆的行进方向的图像，图像获取部21获取该图像作为识别对象图像(步骤s410)。

接着，识别处理部22针对识别对象图像使用存储于词典数据存储装置30的对象物识别词典来进行对象物的识别(步骤s420)。

然后，识别处理部22判断在步骤s420中是否检测出对象物(步骤s430)。

识别处理部22当检测出对象物时(步骤s430的是)，使用多个图像对在步骤s420中检测出的对象物进行追踪(tracking)(步骤s440)。对象物的追踪能够使用现有技术。

另外，识别处理部22当未检测出对象物时(步骤s430的否)，例如返回到步骤s410。

接着，识别处理部22使用步骤s440的追踪结果估计对象物的行进方向，并确定对象物的朝向(步骤s450)。对象物的行进方向估计以及基于行进方向的朝向确定也能够使用现有技术。对于对象物的行进方向，根据多个图像中的对象物的移动历史和自身车辆的行进方向及行驶速度来估计对象物相对于自身车辆的相对的行进方向。由于估计出的对象物的行进方向是以自身车辆为基准的行进方向，因此能够确定从自身车辆观察的对象物的朝向。

并且，识别处理部22从词典数据存储装置30选择与在步骤s450中确定的对象物的朝向对应的车轮识别词典(步骤s460)，并识别对象物的车轮(步骤s470)。

然后，识别处理部22判断在步骤s470中是否检测出车轮(步骤s480)，当检测出车轮时(步骤s480的是)，例如决定检测出自行车、计算距离等(步骤s490)。另外，识别处理部22当未检测出车轮时(步骤s480的否)，例如决定检测出行人等(步骤s500)。在步骤s490、s500中进行的处理的内容能够根据检测的对象物预先确定。

然后，物体识别装置20判断是否结束物体识别方法(步骤s510)，当判断为结束时(步骤s510的是)，结束处理，当判断为未结束时(步骤s510的否)，例如返回到步骤s410。

如以上说明的那样，本实施方式4涉及的物体识别装置20也能够为以下这样：当针对识别处理部22检测出的对象物的下部使用车轮识别词典检测车轮时，使用获取的图像检测对象物的朝向，并选择与检测出的朝向对应的车轮识别词典，使用选择出的车轮识别词典来检测车轮。

通过这样的构成，能够减轻识别处理的负荷，并且能够更高精度地检测车轮。

另外，在本实施方式4涉及的物体识别装置20中也能够为以下这样：当识别处理部22使用获取的图像检测对象物的朝向时，使用多个获取的图像追踪对象物，并估计对象物的行进方向，根据估计到的行进方向检测对象物的朝向。

另外，在实施方式1～4涉及的物体识别系统1或物体识别方法中，使用对人物、自行车、车辆、车轮等的图像进行机器学习而创建的词典进行了图像识别，但是例如也可以使用人物、自行车、车辆、轮式车等的模板进行图案匹配等图像识别。

另外，实施方式1～4涉及的物体识别系统1的构成不限于上述，也可以将多个装置、例如物体识别装置20以及词典数据存储装置30一体化而设为包括词典数据存储部的物体识别装置。另外，也可以将物体识别系统1的全部的构成一体化而设为包括前方相机、词典数据存储部、显示部的物体识别装置。当然，也可以将物体识别系统1构成为人物识别装置、车辆识别装置、车轮识别装置、距离计算装置等。

另外，实施方式1～4涉及的物体识别系统1作为在车辆中使用的部件进行了说明，但是在车辆中的使用也可以使在车辆上搭载有系统的一部分或全部的方式、以可移动或可改装的方式搭载于车辆的方式。另外，也可以有如头戴式显示器(hmd、headmounteddisplay)等那样由人物穿戴的方式。

该申请主张以2016年3月18日提出的日本专利申请2016-054691和日本专利申请2016-054692为基础的优先权，这里引用其公开的全部内容。

产业上的可用性

实施方式1～4涉及的物体识别系统1或物体识别方法是例如搭载在车辆上从所拍摄的图像中更准确地检测人物、其他车辆等对象物的，具有产业上的可用性。

符号说明

1物体识别系统

10前方相机

20物体识别装置

21图像获取部

22识别处理部

23显示控制部

30词典数据存储装置

40显示装置。