目标识别控制装置以及目标识别方法与流程

1.本公开涉及目标识别控制装置以及目标识别方法。


背景技术：

2.在拍摄图像中的人体识别中，根据使用了人体识别处理的识别处理结果，在表示人体相似度的分数为规定阈值以上的情况下，判定为是人体。
3.例如，在专利文献1中公开了如下技术：针对拍摄图像，使用识别辞典，通过表示行人相似度的分数较高来判断对象物是行人。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2016-15029号公报。


技术实现要素：

7.若车辆的行驶速度变快，则有时拍摄图像中每1帧的人体等的边缘变得不清晰，识别率降低，有可能无法识别人体等的存在。另外，由于行驶速度快，因此在无法识别人体等特定目标时也有可能产生危险。进而，车辆的驾驶员对人体等的注意也有可能变得松懈。
8.本公开的目的在于，提供一种能够确切地识别特定目标的目标识别控制装置以及目标识别方法。
9.解决技术问题的技术手段
10.本发明的一个方式所述的目标识别控制装置具备：影像数据获取部，获取对车辆周边进行拍摄的相机所拍摄到的影像数据；行驶速度信息获取部，获取与所述车辆的行驶速度相关的信息；识别处理部，针对所述影像数据获取部所获取的影像数据，在表示特定目标相似度的分数为规定阈值以上的情况下，识别为所述特定目标；以及提示处理部，将所述识别处理部所识别出的所述特定目标的信息提示给所述车辆的驾驶员，所述识别处理部根据所述行驶速度信息获取部所获取的与行驶速度相关的信息，使所述规定阈值变化。
11.本公开的一个方式所述的目标识别控制装置所执行的目标识别方法包括：影像数据获取步骤，获取对车辆周边进行拍摄的相机所拍摄到的影像数据；行驶速度信息获取步骤，获取与所述车辆的行驶速度相关的信息；识别处理步骤，针对所述影像数据获取步骤中获取的影像数据，在表示特定目标相似度的分数为规定阈值以上的情况下，识别为所述特定目标；以及，提示处理步骤，将在所述识别处理步骤中识别出的所述特定目标的信息提示给所述车辆的驾驶员，在所述识别处理步骤中，根据在所述行驶速度信息获取步骤中获取的与行驶速度相关的信息，使所述规定阈值变化。
12.根据本公开能够确切地识别特定目标。
附图说明
13.图1是示出第一实施方式所涉及的目标识别装置的构成示例的框图。
14.图2是示出第一实施方式所涉及的目标识别处理流程的一个示例的流程图。
15.图3是示出第二实施方式所涉及的目标识别装置的构成示例的框图。
16.图4是示出第二实施方式所涉及的目标识别处理流程的一个示例的流程图。
17.图5是示出第二实施方式的变形例所涉及的目标识别处理流程的一个示例的流程图。
18.图6是示出第三实施方式所涉及的目标识别处理流程的一个示例的流程图。
具体实施方式
19.以下，参照附图，对本发明所述的实施方式进行详细说明。此外，本发明并不限于本实施方式，另外，在存在多个实施方式的情况下，也包括将各实施方式组合而成的方式。另外，在以下的实施方式中，对相同的部位标注相同的附图标记，从而省略重复的说明。
20.[第一实施方式]
[0021]
使用图1，对第一实施方式所涉及的目标识别装置进行说明。图1是示出第一实施方式所涉及的目标识别装置的构成示例的框图。
[0022]
如图1所示，目标识别装置1具备拍摄部11、辞典数据存储部12、显示部13、can(controller area network，控制器局域网)接口部14以及控制部(目标识别控制装置)20。目标识别装置1除了是载置于车辆的装置以外，也可以是可移动型且能够在车辆中利用的装置。另外，目标识别装置1也可以作为预先设置于车辆的具有安全驾驶辅助功能的装置、导航装置、行车记录仪等的功能来安装。
[0023]
拍摄部11搭载于车辆，以拍摄车辆前方的方式配置。拍摄部11例如由可见光相机或远红外线相机构成。拍摄部11例如也可以由可见光相机和远红外线相机的组合构成。拍摄部11将拍摄到的影像数据输出至影像数据获取部21。
[0024]
辞典数据存储部12存储有用于从影像数据中识别各种目标的辞典数据。辞典数据存储部12例如存储有如下识别辞典数据：对拍摄到人体的各种影像进行机器学习、能够核实影像数据中包含的目标是人体。辞典数据存储部12例如存储有如下识别辞典数据：对拍摄到人骑着的自行车的各种影像进行机器学习、能够核实影像数据中包含的目标是人骑着的自行车。辞典数据存储部12例如也可以存储如下识别辞典数据：对拍摄到汽车和两轮机动车等的各种影像进行机器学习、能够核实影像数据中包含的目标是汽车和两轮机动车等。辞典数据存储部12例如通过ram(random access memory，随机存取存储器)、闪存(flash memory，闪存)等半导体存储元件等存储装置来实现。
[0025]
显示部13显示各种信息。显示部13在识别出特定目标的情况下，通过显示特定目标的信息来通知车辆的驾驶员等。显示部13例如是包括液晶显示器(lcd：liquid crystal display)或有机el(electro-luminescence)显示器等的显示器。
[0026]
can接口部14是经由can获取各种车辆信息的接口。车辆信息包括与车辆状态相关的状态信息。状态信息例如包括与车辆的行驶速度以及车辆的加速度相关的信息等。车辆信息也可以包括与车辆的驾驶操作相关的驾驶操作信息。驾驶操作信息例如包括转向操作、制动器操作和加速器操作等操作信息。
[0027]
控制部20控制目标识别装置1各部的动作。控制部20例如通过由cpu(central processing unit，中央处理单元)、mpu(micro processing unit，微处理单元)等将ram等
作为作业区域来执行存储于未图示的存储部的程序来实现。因此，控制部20使目标识别装置1执行目标识别方法。另外，控制部20是使本公开所述的程序运行的计算机。控制部20例如也可以通过asic(application specific integrated circuit，专用集成电路)、fpga(field programmable gate array，现场可编程门阵列)等集成电路来实现。控制部20也可以通过硬件和软件的组合来实现。
[0028]
控制部20具备影像数据获取部21、识别处理部22、提示处理部23以及行驶速度信息获取部24。在图1中，示出了影像数据获取部21、识别处理部22、提示处理部23以及行驶速度信息获取部24经由总线bs连接。
[0029]
影像数据获取部21获取拍摄部11所拍摄的影像数据。影像数据获取部21例如获取拍摄部11输出的、拍摄车辆的前方而得到的影像数据。
[0030]
识别处理部22对影像数据获取部21获取的影像数据进行物体识别处理。例如，识别处理部22使用辞典数据存储部12中存储的辞典数据进行各种物体识别处理，识别包含在影像数据中的目标。
[0031]
识别处理部22使用用于检测人体的辞典数据对影像数据进行人体识别处理，识别影像数据中包含的人体。识别处理部22使用用于检测人骑着的自行车的辞典数据，识别影像数据中包含的人骑着的自行车。本实施方式中，识别处理部22将影像数据中包含的人体和人骑着的自行车识别为特定目标。
[0032]
例如，在对影像数据获取部21获取的影像数据进行了物体识别处理的结果是表示特定目标相似度的分数为规定阈值以上的情况下，识别处理部22将影像数据中包含的目标识别为特定目标。
[0033]
识别处理部22通过人体识别处理来计算表示人体相似度的分数，根据计算出的分数值来识别人体。表示人体相似度的分数的最大值例如为1.0。例如，识别处理部22通常在分数为0.9以上的情况下，将识别出的目标判断为作为特定目标的人体。
[0034]
识别处理部22根据车辆的行驶速度，使将识别出的目标判定为是人体的分数的阈值变化。例如，识别处理部22在车辆的行驶速度为规定速度以上的情况下，降低判定为是人体的分数的阈值。例如，识别处理部22在车辆的行驶速度为60km/h以上时，分数为0.7以上的情况下，将识别出的目标判断为人体。
[0035]
识别处理部22也可以根据车辆的行驶速度，阶段性地变更将识别出的目标判定为是人体的分数的阈值。例如，识别处理部22也可以在车辆的行驶速度为60km/h以上且小于70km/h时，在分数为0.7以上的情况下，将识别出的目标判断为人体。例如，识别处理部22也可以在车辆的行驶速度为70km/h以上且小于80km/h时，在分数为0.6以上的情况下，将识别出的目标判断为人体。例如，识别处理部22也可以在车辆的行驶速度为80km/h以上且小于90km/h时，在分数为0.5以上的情况下，将识别出的目标判断为人体。
[0036]
识别处理部22也可以根据车辆的行驶速度，线性地变更将识别出的目标判定为是人体的分数的阈值。例如，识别处理部22在车辆的行驶速度变为60km/h、分数变更为0.7之后，随着车辆的行驶速度上升而线性地降低分数。
[0037]
在本实施方式中，识别处理部22判断为是特定目标的分数的值为示例，并不限定于此。识别处理部22判断为是特定目标的分数的值能够根据设计任意地变更。
[0038]
在本实施方式中，识别处理部22识别人体和人骑着的自行车作为特定目标，但识
别处理部22识别的特定目标并不限于此。例如，识别处理部22可以检测影像数据中包含的汽车、两轮机动车等作为特定目标。
[0039]
提示处理部23将由识别处理部22确定的特定目标的信息提示给驾驶员等。提示处理部23使用显示部13的显示或者从未图示的声音输出部输出的声音，向驾驶员提示特定目标的信息。因此，提示处理部23在通过显示部13的显示向驾驶员提示特定目标的信息的情况下，作为显示控制部发挥功能。提示处理部23在使显示部13显示特定目标的信息的情况下使显示部13显示影像数据获取部21所获取的影像数据，在识别出特定目标的情况下，显示包围识别出的特定目标的框线，由此使驾驶员识别特定目标。
[0040]
行驶速度信息获取部24获取与车辆的行驶速度相关的信息。行驶速度信息获取部24例如经由can接口部14从can获取与车辆的行驶速度相关的信息。
[0041]
[特定目标识别处理]
[0042]
使用图2，对第一实施方式所涉及的特定目标识别处理进行说明。图2是示出第一实施例所述的特定目标识别处理流程一个示例的流程图。
[0043]
随着图2的处理的开始，控制部20开始拍摄和人体处理识别(步骤s11)。具体而言，控制部20使拍摄部11开始拍摄，识别处理部22对影像数据获取部21获取的影像数据开始识别处理。然后，进入步骤s12。图2的处理的开始在任意的条件下开始。例如，在搭载有目标识别装置1的车辆的发动机启动等车辆变得可用的情况下、通过用户的操作开始了目标识别装置1的工作时等。另外，步骤s11的处理也可以以车辆正在行驶为条件来执行。
[0044]
在开始步骤s11处理的同时，控制部20判定车辆的行驶速度是否为规定速度以上(步骤s12)。具体而言，识别处理部22根据行驶速度信息获取部24所获取的与车辆的行驶速度相关的信息，来判定车辆的行驶速度是否为规定速度以上。在判定为行驶速度不是规定速度以上的情况下(步骤s12：否)，进入步骤s13。在判定为行驶速度为规定速度以上的情况下(步骤s12：是)，进入步骤s14。
[0045]
在步骤s12中判定为“否”的情况下，控制部20将第一阈值作为判断为是人体的分数的阈值来判断人体(步骤s13)。作为具体示例，识别处理部22在表示人体相似度的分数为0.9以上的情况下，判断为物体是人体。然后，进入步骤s15。
[0046]
在步骤s12中判定为“是”的情况下，控制部20将第二阈值作为判断为是人体的分数的阈值来判断人体(步骤s14)，第二阈值小于第一阈值。作为具体示例，识别处理部22在表示人体相似度的分数为0.7以上的情况下，判断为物体是人体。然后，进入步骤s15。
[0047]
控制部20判定是否检测到人体(步骤s15)。具体而言，识别处理部22判定是否用步骤s13或步骤s14的分数识别出了人体。在判定为检测到了人体的情况下(步骤s15：是)，进入步骤s16。在判定为未检测到人体的情况下(步骤s15：否)，进入步骤s17。
[0048]
在步骤s15中判定为“是”的情况下，控制部20在检测出的人体周围显示框线(步骤s16)。具体而言，提示处理部23在检测出的人体的周围显示框线，以便驾驶员等能够掌握检测出的人体。然后，进入步骤s17。
[0049]
控制部20判定是否结束特定目标识别处理(步骤s17)。例如，在接收了结束特定目标识别处理的操作、或接收了断开目标识别装置1电源的操作的情况下，控制部20判定为结束特定目标识别处理。在判定为结束特定目标识别处理的情况下(步骤s17：是)，结束图2的处理。在判定为不结束特定目标识别处理的情况下(步骤s17：否)，进入步骤s11。
[0050]
在第一实施方式中，根据车辆的行驶速度，变更表示人体或人骑着的自行车的相似度的分数的阈值，由此检测影像数据中包含的人体或人骑着的自行车。由此，第一实施方式中，即使在车辆的行驶速度比规定速度快的情况下，也能够确切地检测影像数据中包含的人体或人骑着的自行车。
[0051]
另外，在第一实施方式中，在车辆的行驶速度为快的速度的情况下，降低表示特定目标相似度的分数来进行识别处理，因此即使在如一部分隐藏于物体阴影的特定目标那样以通常分数不会被识别为特定目标的情况下，也识别为特定目标。因此，车辆的驾驶员能够更确切地获知特定目标的存在。
[0052]
在行驶速度为比规定速度快的速度的情况下，存在车辆驾驶员的下方变窄的倾向。第一实施方式在车辆的行驶速度为快的速度的情况下，降低表示特定目标相似度的分数来进行识别处理。因此，包含在通常分数下不被识别为特定目标的物体在内作为识别结果进行提示，能够使车辆的驾驶员进行更注重安全性的驾驶。
[0053]
[第一实施方式的变形例]
[0054]
接着，对第一实施方式的变形例进行说明。在第一实施方式中，在图2的步骤s12中，控制部20确定车辆的行驶速度是否为规定速度以上，但是本公开不限于此。例如，在步骤s12中，控制部20也可以判定车辆行驶速度为规定速度以上的时间是否持续了规定时间以上。规定时间例如是60秒，但不限于此。
[0055]
因此，识别处理部22在行驶速度信息获取部24获取的行驶速度为比规定速度快的速度的状态持续了规定时间以上的情况下，将第二阈值作为判断为人体的分数的阈值来判断人体，该第二阈值小于第一阈值。行驶速度为比规定速度快的速度的状态持续了规定时间以上的情况是指，以比规定速度快的速度持续行驶的情况，而不是行驶速度暂时成为比规定速度快的速度的情况。在这样的状态下，由于存在车辆驾驶员视野变窄的倾向，也包含在通常分数下不被识别为特定对象的物体在内作为识别结果进行提示，能够使车辆的驾驶员进行更注重安全性的驾驶。
[0056]
[第二实施方式]
[0057]
使用图3，对第二实施方式所涉及的目标识别装置进行说明。图3是示出第二实施方式所涉及的目标识别装置的构成示例的框图。
[0058]
如图3所示，目标识别装置1a与图1所示的目标识别装置1的不同点在于，不具备can接口部14，而具备gnss(global navigation satellite system，全球导航卫星系统)接收部15和地图信息存储部16。另外，目标识别装置1a与图1所示的目标识别装置1的不同点在于，控制部20a具备位置信息获取部25和地图信息获取部26。
[0059]
gnss接收部15从未图示的gnss卫星接收gnss信号。gnss接收部15由gnss接收电路和gnss接收装置等实现。gnss接收部15将接收到的gnss信号输出至位置信息获取部25。
[0060]
地图信息存储部16存储有各种地图信息。地图信息存储部16例如通过ram、闪存等半导体存储元件或硬盘等存储装置以及基于未图示的通信功能连接的外部服务器来实现。
[0061]
位置信息获取部25从gnss接收部15获取gnss信号。例如，位置信息获取部25根据从gnss接收部15获取的gnss信号，通过公知的方法来计算车辆的当前位置信息。
[0062]
地图信息获取部26从地图信息存储部16获取地图信息。例如，地图信息获取部26从地图信息存储部16获取与由位置信息获取部25计算出的当前位置信息相对应的地图信
息。
[0063]
识别处理部22a根据车辆正在行驶的道路的可行驶速度，变更将识别出的目标判定为是人体的分数的阈值。例如，在可行驶速度为规定速度以上的情况下，识别处理部22a降低判定为是人体的分数的阈值。例如，识别处理部22a在可行驶速度为60km/h以上时，分数为0.7以上的情况下，将识别出的目标判断为人体。
[0064]
行驶速度信息获取部24a根据位置信息获取部25计算出的当前位置信息和地图信息获取部26获取的地图信息，判定车辆正在行驶的道路的可行驶速度。例如，行驶速度信息获取部24a判定车辆正在行驶的道路是否是汽车专用道路以及高速道路等能够以60km/h以上行驶的道路。
[0065]
行驶速度信息获取部24a也可以根据识别处理部22a从影像数据获取部21所获取的影像数据中识别出的道路标识，判断车辆正在行驶的道路的可行驶速度。判断对象的道路标识还包括用于根据天气等来限制可行驶速度的标识。另外，行驶速度信息获取部24a也可以使用未图示的通信功能从外部服务器等获取车辆正在行驶的道路的可行驶速度的信息。
[0066]
[特定目标识别处理]
[0067]
使用图4，对第二实施方式所涉及的特定目标识别处理进行说明。图4是示出第二实施例所涉及的识别特定目标处理流程的一个示例的流程图。
[0068]
图4所示的步骤s21以及步骤s23至步骤s27的处理分别与图2所示的步骤s11以及步骤s13至步骤s17的处理相同，因此省略说明。
[0069]
控制部20a判定车辆是否正在能够以规定速度以上行驶的道路上行驶(步骤s22)。具体而言，行驶速度信息获取部24根据当前位置信息和地图信息，判定当前行驶的道路是否是能够以规定速度以上行驶的道路。在判定为不是能够以规定速度以上行驶的道路的情况下(步骤s22：否)，进入步骤s23。在判定为是能够以规定速度以上行驶的道路的情况下(步骤s22：是)，进入步骤s24。
[0070]
在第二实施方式中，根据车辆正在行驶的道路的可行驶速度来变更表示人体相似度的分数的阈值，由此检测影像数据中包含的人体或人骑着的自行车。由此，第二实施方式中，即使在车辆正在行驶的道路的可行驶速度比规定速度快的情况下，也能够确切地检测影像数据中包含的人体或人骑着的自行车。
[0071]
另外，在第二实施方式中，在车辆正在行驶的道路的可行驶速度为规定速度以上的情况下，降低表示特定目标相似度的分数来进行识别处理，因此即使在如一部分隐藏于物体阴影的特定目标那样以通常分数不会被识别为特定目标的情况下，也识别为特定目标。因此，车辆的驾驶员能够更适当地获知特定目标的存在。
[0072]
并且，在第二实施方式中，在车辆正在行驶的道路的可行驶速度为规定速度以上的情况下，降低表示特定目标相似度的分数来进行识别处理，因此将不是特定目标的目标判断为特定目标的误识别会增加。然而，即使是误识别，也被提示为存在特定目标，因此能够使车辆的驾驶员进行更注重安全性的驾驶。
[0073]
[第二实施方式的变形例]
[0074]
接着，使用图5，对第二实施方式的变形例进行说明。图5是表示第二实施方式的变形例所涉及的目标识别处理流程的一个示例的流程图。第二实施方式的变形例所涉及的目
标识别装置的构成与图3所示的目标识别装置1a相同，因此省略说明。
[0075]
步骤s31的处理与图4所示的步骤s21的处理相同，因此省略说明。
[0076]
在步骤s31之后，控制部20a判定车辆是否在能够以规定速度以上行驶的道路上开始行驶(步骤s32)。具体而言，行驶速度信息获取部24根据当前位置信息和地图信息，判定是否在能够以规定速度以上行驶的道路上开始行驶。在未判定为在能够以规定速度以上行驶的道路上开始行驶的情况下(步骤s32：否)，进入步骤s34。在判定为在能够以规定速度以上行驶的道路上开始行驶的情况下(步骤s32：是)，进入步骤s33。
[0077]
在步骤s32中判定为“是”的情况下，控制部20a判定是否在能够以规定速度以上行驶的道路上计划行驶规定时间以上(步骤s33)。例如，当开始在国道、高速公路上行驶时，到目的地的路线是被设定的，控制部20a在该道路的行驶计划为规定距离以上的情况下，判定为在能够以规定速度以上行驶的道路上计划行驶规定时间以上。除了该道路的行驶计划为处理距离以上的情况以外，控制部20a还可以将计划行驶的道路上未拥堵的情况添加到判定条件。在未判定为在能够以规定距离以上行驶的道路上计划行驶规定时间以上的情况下(步骤s33：否)，进入步骤s34。在能够以规定距离以上行驶的道路上计划行驶规定时间以上的情况下(步骤s33：是)，进入步骤s35。
[0078]
步骤s34至步骤s38的处理分别与步骤s23至步骤s27的处理相同，因此省略说明。
[0079]
第二实施方式的变形例中，降低表示在能够以规定速度以上行驶的道路上计划行驶规定时间以上的、人体相似度的分数的阈值，从而检测出影像数据所包含的人体或人骑着的自行车等特定目标。在这样的状态下，由于设想了在开始行驶的道路中车辆驾驶员的视野因规定速度以上的行驶而变窄，因此将在通常分数下不被识别为特定目标的物体也包含在内作为识别结果来提示，能够使车辆的驾驶员进行更加重视安全性的驾驶。
[0080]
[第三实施方式接着，使用图6，对第三实施方式进行说明。图6是表示第三实施方式所涉及的目标识别处理流程的一个示例的流程图。第三实施方式所涉及的目标识别装置的构成与图1所示的目标识别装置1相同，因此省略说明。
[0081]
步骤s41的处理与图2所示的步骤s11的处理相同，因此省略说明。
[0082]
在步骤s41之后，控制部20判定车辆是否处于加速状态(步骤s42)。具体而言，行驶速度信息获取部24根据速度信息的时间变化或者来自未图示的加速度传感器的向行进方向的加速度检测结果，判定车辆是否处于加速状态。例如，行驶速度信息获取部24在从开始加速起持续了例如5秒以上的加速状态的情况下，判定为处于加速状态。另外，行驶速度信息获取部24在从以规定速度以上(例如，60km/h以上)行驶的状态开始持续了例如5秒以上的加速状态的情况下，判定为处于加速状态。在未判定为车辆处于加速状态的情况下(步骤s42：否)，进入步骤s43。在判定为车辆处于加速状态的情况下(步骤s42：是)，进入步骤s44。
[0083]
步骤s43至步骤s44的处理与图2所示的步骤s13至步骤s17的处理相同，因此省略说明。
[0084]
在第三实施方式中，在车辆为加速度状态的情况下，降低表示人体或人骑着的自行车等特定目标相似度的分数的阈值来检测影像数据中包含的人体或人骑着的自行车。由此，在第三实施方式中，由于在车辆处于加速状态的情况下存在车辆驾驶员的视野变窄的倾向，因此将在通常分数下不被识别为特定目标的物体也包含在内作为识别结果进行提示，能够使车辆的驾驶员进行更加重视安全性的驾驶。
[0085]
以上，对本公开的实施方式进行了说明，但本发明并不限于这些实施方式的内容。在实施方式中，虽然作为识别人体或人骑着的自行车的例子进行了说明，但识别的对象并不限于实施方式的内容，能够应用于各种对象物的识别。另外，在上述构成要素中，包含本领域技术人员能够容易想到的要素、实质上相同的要素、所谓等同范围的要素。而且，上述构成要素能够适当组合。而且，能够在不脱离上述实施方式主旨的范围内进行构成要素的各种省略、置换或者变更。
[0086]
工业上的可利用性
[0087]
本实施方式的目标识别控制装置以及目标识别方法例如能够利用于行车记录仪等。
[0088]
符号说明
[0089]
1、1a 目标识别装置
[0090]
11 拍摄部
[0091]
12 辞典数据存储部
[0092]
13 显示部
[0093]
14 can 接口部
[0094]
15 gnss 接收部
[0095]
16 地图信息存储部
[0096]
20、20a 控制部
[0097]
21 影像数据获取部
[0098]
22、22a 识别处理部
[0099]
23 提示处理部
[0100]
24、24a 行驶速度信息获取部
[0101]
25 位置信息获取部
[0102]
26 地图信息获取部