信息处理方法及信息处理系统与流程

本公开涉及选择设为学习用数据的图像的信息处理方法及信息处理系统。

背景技术：

在专利文献1中，公开了以下数据库构筑系统：自动地收集用于将多个种类的传感器之中某传感器的检测结果作为教师数据并根据别的传感器的输出而执行物体的识别的机器学习的有教师学习数据。

现有技术文献

专利文献

专利文献1：(日本)特开2017-102838号公报

技术实现要素：

但是，在专利文献1的技术中，在成为教师数据的传感器的检测结果的精度或准确性(以下也简称为精度)低的情况下该传感器的检测结果不被采用作为学习用数据，所以是否得到学习用数据依赖于传感器的精度的高低。因此，在专利文献1的技术中，难以稳定地得到学习用数据。

因此在本公开中，目的在于，提供难以对使用了传感器的物体检测处理的精度产生影响，能够稳定地得到成为学习用数据的摄影图像的信息处理方法及信息处理系统。

本公开所涉及的信息处理方法使用计算机，取得通过被视为相同的时间的摄像而生成的多个图像、以及生成了所述多个图像的各个图像的多个摄像装置的位置及摄像方向，取得通过使用所述多个图像分别执行的多个物体检测处理而分别得到的多个物体检测结果，使用所取得的所述多个图像、所述位置及所述摄像方向和所述多个物体检测结果来执行学习用数据选择处理，所述学习用数据选择处理包含：根据所述多个摄像装置的所述位置及所述摄像方向而算出共通地映现在所述多个图像的各个图像中的共通区域，判定所述共通区域中的所述多个物体检测结果之间的一致度，根据所述一致度而从所述多个图像之中选择成为学习用数据的图像。

另外，这些整体或具体的方式也可以通过系统、方法、集成电路、计算机程序或计算机可读取的cd-rom等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

本公开所涉及的信息处理方法及信息处理系统难以对使用了传感器的物体检测处理的精度产生影响，能够稳定地得到成为学习用数据的摄影图像。

附图说明

图1是表示实施方式一所涉及的信息处理系统的外观图的图。

图2是表示实施方式所涉及的信息处理装置的硬件结构的一例的框图。

图3是表示实施方式一所涉及的车辆的硬件结构的一例的框图。

图4是表示实施方式一所涉及的信息处理系统的功能结构的一例的框图。

图5是表示第一数据的结构的一例的图。

图6是从上方观看的图，是特定的摄像装置和摄像范围重复的其他摄像装置的关系的一例的图。

图7a表示在多个摄像装置中在同一定时分别摄像的多个图像。

图7b是表示使用多个图像、和在同一定时中的多个摄像装置的位置及摄像方向得到的物体位置模型的一例的图。

图7c表示将所算出的共通区域投影到多个图像的各个图像的多个投影图像。

图8a是用于说明成为学习用数据的图像的选择方法的第一例的图。

图8b是用于说明成为学习用数据的图像的选择方法的第二例的图。

图9是表示实施方式所涉及的信息处理系统中的动作的一例的时序图。

图10是表示实施方式所涉及的信息处理装置中的学习用数据选择处理的细节的一例的流程图。

图11是表示变形例1所涉及的信息处理系统的功能结构的一例的框图。

图12是表示变形例1所涉及的信息处理系统中的动作的一例的时序图。

标号说明：

1、1a信息处理系统

100、100a信息处理装置

101、201处理器

102、202主存储器(mainmemory)

103、203储存器(storage)

104、204通信接口

110、110a取得部

120执行判定部

130执行部

131算出部

132一致度判定部

133选择部

200a、200b、200c、201a、201b、201c摄像装置

205相机

206imu

207gnss

210检测部

220存储部

230物体检测部

240发送部

300通信网络

310基站

400物体

401共通区域

410、420、430摄像范围

411、421、431物体范围。

具体实施方式

(成为本发明的基础的知识和见识)

近年，在自动驾驶、监视相机、机器人等领域中，对于由相机摄像的图像使用深度学习等机器学习的物体检测得到利用。在这样的物体检测中，需要大量用于机器学习的教师数据。因此，由各种各样的相机摄像的大量的图像被收集，人对所收集的图像赋予正解，从而生成教师数据。

但是，人对图像赋予正解花费成本，所以不优选单纯地根据所得到的全部大量的图像而生成教师数据。此外，即使不考虑成本而得到了对大量的图像的全部赋予了正解的教师数据，由于需要关于所得到的大量的教师数据执行机器学习，机器学习所花费的处理负荷变大，此外，处理时间也变长。因此，为了高效地进行机器学习，需要从大量的图像之中选择对机器学习有效的图像。

在此，在机器学习中利用的大量的图像需要由在相互不同的各种各样的状况下摄像的多个图像构成，也就是说，由有多样性的多个图像构成。换言之，与使用在相互近似的状况下摄像的多个图像相比，使用在相互不同的状况下摄像的多个图像对实现高效的机器学习是有效的。

如上述那样，在专利文献1的数据库构筑系统中，将基于第一传感器的输出数据的可靠度高的物体的识别数据与教师数据和由第二传感器得到的输出数据即输入数据建立对应，从而收集有教师学习数据。

但是，在基于第一传感器的输出数据的物体的识别数据的可靠度不高的情况下，有生成错误的教师数据的顾虑。例如，物体的识别数据的可靠度依赖于第一传感器的质量，所以对第一传感器要求一定以上的质量。也就是说，在现有技术中，需要精度高的传感器的检测结果，成本花费更多。此外，在专利文献1中，在第一传感器的检测结果的质量低的情况下第一传感器的检测结果不被采用作为学习用数据，所以是否得到学习用数据依赖于第一传感器的质量。因此，难以稳定地得到学习用数据。

为了解决这样的问题，本公开的一方式所涉及的信息处理方法使用计算机，取得通过被视为相同的时间的摄像而生成的多个图像、和生成了所述多个图像的各个图像的多个摄像装置的位置及摄像方向，取得通过使用所述多个图像分别执行的多个物体检测处理而分别得到的多个物体检测结果，使用所取得的所述多个图像、所述位置及所述摄像方向和所述多个物体检测结果来执行学习用数据选择处理，所述学习用数据选择处理包含：根据所述多个摄像装置的所述位置及所述摄像方向而算出共通地映现在所述多个图像的各个图像中的共通区域，判定所述共通区域中的所述多个物体检测结果之间的一致度，根据所述一致度而从所述多个图像之中选择成为学习用数据的图像。

因此，在多个摄像装置对相互共通的物体进行摄像的情况下，能够得到针对该共通的物体的多个物体检测处理的多个物体检测结果。由此，根据关于共通的物体的多个物体检测结果之间的一致度，例如，能够将成为不一致的物体检测结果的物体检测处理的对象的图像选择为成为学习用数据的图像。因此，在信息处理方法中，难以对使用了传感器的物体检测处理的精度产生影响，能够稳定地得到成为学习用数据的摄影图像。

此外，进而，也可以根据使用通过所述多个摄像装置之中的特定的摄像装置的摄像而生成的图像执行的特定的物体检测结果，判定是否执行所述学习用数据选择处理，在判定为执行所述学习用数据选择处理的情况下，执行所述学习用数据选择处理。

因此，在物体检测结果的精度低的情况下等想要使其学习的状况中能够执行学习用数据选择处理，能够更可靠地得到期望的学习用数据。此外，通过在不是想要使其学习的状况的情况下不执行学习用数据选择处理，能够减少执行不需要的处理。

此外，所述多个摄像装置之中的所述特定的摄像装置以外的其他摄像装置也可以是能够对与所述特定的摄像装置的摄像范围重复的范围进行摄像的摄像装置。

因此，能够以特定的摄像装置为基准，选择其他摄像装置。从而，能够得到对一致度的判定有效的物体检测结果。

此外，所述其他摄像装置也可以是离基于所述特定的摄像装置的位置的基准地点位于规定的范围的摄像装置。

因此，能够选择对与特定的摄像装置所拍摄的物体相同的物体进行拍摄的可能性高的其他摄像装置。

此外，进而，也可以使所述多个摄像装置之中的所述特定的摄像装置以外的其他摄像装置执行摄像。

因此，能够在特定的摄像装置和其他摄像装置中使摄像条件一致。例如，能够将摄像时间统一为被视为相同的时间。

此外，也可以是所述特定的物体检测结果包含关于物体检测结果的似然度，在是否执行所述学习用数据选择处理的判定中，在所述似然度满足规定的条件的情况下，判定为执行所述学习用数据选择处理。

因此，在似然度低的情况下等想要使其学习的状况中能够执行学习用数据选择处理，能够更可靠地得到期望的学习用数据。此外，通过在不是想要使其学习的状况的情况下不执行学习用数据选择处理，能够减少执行不需要的处理。

此外，在是否执行所述学习用数据选择处理的判定中，也可以取得所述多个图像的摄像时间、通过所述摄像而生成了图像的摄像装置的位置、及在所述多个物体检测处理中检测到的物体的属性或形态中的至少一个信息的统计信息，使用所取得的所述统计信息，判定是否执行所述学习用数据选择处理。

因此，在摄像条件或摄像内容在统计上适于学习的情况下等想要使其学习的状况中能够执行学习用数据选择处理，能够更可靠地得到期望的学习用数据。此外，通过在不是想要使其学习的状况的情况下不执行学习用数据选择处理，能够减少执行不需要的处理。

此外，也可以是所述统计信息包含表示所述至少一个信息的稀少性的稀少性信息，在是否执行所述学习用数据选择处理的判定中，在所述稀少性信息所示的所述稀少性满足规定的条件的情况下，判定为执行所述学习用数据选择处理。

因此，在稀少性满足规定的条件的情况下能够执行学习用数据选择处理，能够更可靠地得到期望的学习用数据。此外，通过在稀少性不满足规定的条件的情况下不执行学习用数据选择处理，能够减少执行不需要的处理。

此外，在所述学习用数据选择处理中，也可以在所述多个物体检测结果之间有不一致的物体检测结果的情况下，从所述多个图像之中选择成为学习用数据的图像。

因此，能够将包含成为有误检测或漏检测的可能性的物体检测结果的物体检测处理的对象的图像在内的图像选择为学习用数据。由此，能够将在与已经被选择为学习用数据的图像不同的状况下摄像的图像选择为学习用数据。

此外，在所述多个摄像装置间的性能相互相同，且所述多个物体检测处理间的性能相互相同的情况下，也可以根据所述多个物体检测结果之中一致的数量或比例，从所述多个图像之中选择成为学习用数据的图像。

因此，例如，能够将物体检测结果一致的数量比规定数少、或物体检测结果一致的比例比规定的比例低的图像选择为学习用数据。

此外，在所述多个摄像装置间的性能相互不同、或所述多个物体检测处理间的性能相互不同的情况下，也可以根据所述多个摄像装置的性能的高低、或所述多个物体检测处理的性能的高低，决定所述学习用数据选择处理的参数，执行使用了所决定的所述参数的所述学习用数据选择处理。

因此，即使在多个摄像装置间的性能、或多个物体检测处理间的性能相互不同的情况下，由于考虑各性能，能够将包含成为有误检测或漏检测的可能性的物体检测结果的物体检测处理的对象的图像在内的图像选择为学习用数据。由此，能够将在与已经被选择为学习用数据的图像不同的状况下摄像的图像选择为学习用数据。

另外，这些整体或具体的方式也可以通过系统、装置、集成电路、计算机程序或计算机可读取的cd-rom等记录介质来实现，也可以通过系统、装置、集成电路、计算机程序或记录介质的任意的组合来实现。

以下，关于本发明的一方式所涉及的信息处理方法及信息处理系统，参照附图具体地进行说明。

另外，在以下说明的实施方式都表示本发明的一具体例。以下的实施方式所示的数值、形状、材料、结构要素、结构要素的配置位置及连接方式、步骤、步骤的顺序等是一例，并非意在限定本发明。此外，关于以下的实施方式中的结构要素之中在表示最上位概念的独立权利要求中没有记载的结构要素，作为任意的结构要素来说明。

(实施方式)

以下，使用图1～图10，说明实施方式一。

[1-1.结构]

图1是表示实施方式一所涉及的信息处理系统的外观图的图。

具体而言，在图1中，示出了信息处理装置100、摄像装置200a、200b、通信网络300及移动通信系统的基站310。例如，信息处理系统1具备这些结构要素之中的信息处理装置100及摄像装置200a、200b。另外，在图1中，摄像装置200a、200b被示出了具备相机205的车辆，但不限于车辆，也可以是监视相机等其他摄像装置。此外，摄像装置200a、200b被示出了2台，但也可以是3台以上。

信息处理装置100是取得由摄像装置200a、200b摄像的多个图像，从所取得的多个图像之中选择用于机器学习的学习用数据的装置。信息处理装置100例如是服务器。

摄像装置200a、200b的各个摄像装置是车辆，具备相机205，且例如利用使用由相机205得到的图像数据而得到的物体检测或物体识别的结果，进行自动驾驶或驾驶辅助。另外，摄像装置200a、200b的各个摄像装置具备相机205即可，也可以不必须具有进行自动驾驶或驾驶辅助的功能。

通信网络300既可以是互联网等通用的网络，也可以是专用的网络。基站310例如是在第三代移动通信系统(3g)、第四代移动通信系统(4g)、或lte(注册商标)等那样的移动通信系统中利用的基站。

接着，关于信息处理装置100的硬件结构的具体例，使用图2进行说明。

图2是表示实施方式所涉及的信息处理装置的硬件结构的一例的框图。

如图2所示，信息处理装置100作为硬件结构而具备处理器101、主存储器102、储存器103、通信接口(if、interface)104。

处理器101是执行在储存器103等中存储的控制程序的处理器。

主存储器102是被用作在处理器101执行控制程序时使用的工作区域的易失性的存储区域。

储存器103是保持控制程序、或图像数据、点群数据等各种数据的非易失性的存储区域。

通信接口104是经由通信网络与摄像装置200a、200b等进行通信的通信接口。通信接口104例如是有线lan接口。另外，通信接口104也可以是无线lan接口。此外，通信接口104不限于lan接口，只要是能够建立与通信网络的通信连接的通信接口，也可以是任意的通信接口。

接着，关于摄像装置200a、200b等的硬件结构的具体例，使用图3进行说明。

图3是表示实施方式一所涉及的车辆的硬件结构的一例的框图。

如图3所示，摄像装置200a、200b、200c等的各个摄像装置作为硬件结构而具备处理器201、主存储器202、储存器203、通信接口(if、interface)204、相机205、imu(惯性测量单元：inertialmeasurementunit)206和gnss(全球导航卫星系统：globalnavigationsatellitesystem)207。摄像装置200a、200b等的各个摄像装置具备相互同样的结构，所以在以下，关于摄像装置200a进行说明，省略其他摄像装置200b、200c等的结构的说明。

处理器201是执行在储存器203等中存储的控制程序的处理器。处理器201也可以包含用于进行摄像装置200a的自动驾驶或驾驶辅助的ecu中使用的处理器。

主存储器202是被用作在处理器201执行控制程序时使用的工作区域的易失性的存储区域。

储存器203是保持控制程序、或图像数据、点群数据等各种数据的非易失性的存储区域。

通信接口204是经由通信网络300与信息处理装置100进行通信的通信接口。也就是说，通信接口204是能够与通信网络300进行通信连接的通信接口即可。具体而言，通信接口204是通过与移动通信系统的基站310的通信连接，与通信网络300进行通信连接的通信接口。通信接口204例如是适合于在第三代移动通信系统(3g)、第四代移动通信系统(4g)、或lte(注册商标)等那样的移动通信系统中利用的通信标准的无线通信接口。此外，通信接口204例如也可以是适合于ieee802.11a、b、g、n、ac标准的无线lan(局域网：localareanetwork)接口，也可以是通过与未图示的路由器(例如，移动无线lan路由器)的通信连接，与通信网络300进行通信连接的通信接口。

相机205是被保持于摄像装置200a，具有透镜等光学系统及图像传感器的光学传感器，是第一传感器的一例。

imu206是包含加速度传感器及陀螺传感器的传感器设备。加速度传感器是检测摄像装置200a的不同的3方向的各个方向所涉及的加速度的传感器。陀螺传感器是检测绕以摄像装置200a的不同的3方向为轴的3轴各自的旋转中的角速度的传感器。

gnss207从包含gps(全球定位系统：globalpositioningsystem)卫星的人造卫星接收表示该gnss207的位置的信息。也就是说，gnss207检测摄像装置200a的当前位置。

接着，关于信息处理系统1的功能结构，使用图4进行说明。

图4是表示实施方式所涉及的信息处理系统的功能结构的一例的框图。另外，在图4中，省略了图1中的通信网络300及基站310。

首先，关于摄像装置200a的功能结构进行说明。

摄像装置200a作为功能结构而具备检测部210、存储部220、物体检测部230和发送部240。其他摄像装置200b、200c等也具备与摄像装置200a同样的功能结构。

检测部210检测由摄像装置200a的相机205摄像的图像。此外，检测部210检测通过相机205的摄像而生成了图像时的摄像装置200a的位置及摄像方向。对于通过摄像而生成了图像时的摄像装置200a的位置及摄像方向，既可以采用在与图像被摄像的定时最接近的定时检测到的位置及摄像方向，也可以采用在图像被摄像的定时中检测的多个位置及多个摄像方向之中最新的位置及最新的摄像方向。例如，摄像装置200a的位置由gnss207检测。例如，摄像装置200a的摄像方向既可以使用imu206的检测值来检测，也可以使用gnss207的检测值来检测，也可以使用imu206及gnss207的检测值的组合来检测。此外，在摄像装置200a具有地磁传感器的情况下，摄像方向也可以使用地磁传感器的检测值来检测。

摄像方向是相机205的摄像方向，是在摄像装置200a中预先决定的方向。在相机205在作为摄像装置200a的车辆中以摄像方向被固定的状态被配置的情况下，相机205朝向的相对于车辆的方向是摄像方向。例如，在相机205对车辆的前方进行摄像的情况下，车辆的前方的方向成为摄像方向。

检测部210以将构成多个图像的多个帧或多个静止图像的各个静止图像，与摄像到该帧或该静止图像的时刻即摄像定时建立对应的方式，将多个图像存储至存储部220。此外，检测部210将多个位置的各个位置与检测到该位置的时刻即检测定时建立对应地存储至存储部220。同样，检测部210将多个摄像方向的各个摄像方向与检测到该摄像方向的时刻即检测定时建立对应地存储至存储部220。在与检测定时相应地将多个图像与多个位置及多个摄像方向建立对应时，既可以将在与得到图像的定时最接近的定时得到的位置及摄像方向建立对应，也可以将在规定的时间间隔内检测到的多个图像与多个位置及多个摄像方向建立对应。

检测部210例如通过相机205、imu206、gnss207等的组合来实现。

存储部220将由检测部210检测到的多个图像与多个图像的各自的摄像定时一起存储。此外，存储部220将由检测部210检测到的多个位置及多个摄像方向与多个位置及多个摄像方向的各自的检测定时一起存储。此外，存储部220将通过由物体检测部230对于图像进行的物体检测处理而检测到的物体检测结果，与该图像建立对应地存储。存储部220例如由储存器203实现。

物体检测部230关于由检测部210检测到的多个图像的各个，执行使用了规定的物体检测模型的物体检测处理从而检测该图像中包含的物体。物体检测部230例如也可以关于在存储部220中存储的多个图像而执行物体检测处理，也可以关于在检测部210中检测到的多个图像而执行物体检测处理。物体检测部230例如对图像执行物体检测处理，从而对图像中包含的物体的属性或形态进行识别。物体的属性例如是人、车辆等，进而，也可以是人的性别、年龄等、车辆的车体的类别等。物体的形态在物体是人的情况下，示出站立、坐下、睡觉、走路、跑步等，在物体是车辆的情况下，示出行驶、缓行、停止等。物体检测部230在对物体的属性进行识别的情况下，例如，关于多个种类的物体的属性的各个，评价所检测到的物体属于该属性的似然度，基于评价出的似然度而对所检测到的物体的属性进行识别。物体检测部230例如也可以将评价出的似然度为最大，且似然度与其他似然度相比大规定的差值以上的属性识别为物体的属性。似然度是物体检测的准确性、可靠性、得分等，示出值越高则物体检测结果的评价越高的情况。这样，在物体检测结果中，也可以包含似然度。

物体检测部230将通过对图像执行物体检测处理而得到的物体检测结果与该图像建立对应地存储至存储部220。物体检测结果与图像建立对应既可以通过对物体检测结果赋予用于识别该图像的识别符来进行，也可以通过对物体检测结果赋予与该图像共通的识别符来进行。

物体检测部230例如通过处理器201、主存储器202及储存器203的组合来实现。

发送部240将如图5所示的包含存储部220中存储的多个图像、多个位置、多个摄像方向及多个物体检测结果的第一数据发送至信息处理装置100。发送部240例如也可以如每1天、每1周等那样，定期地将由检测部210检测从而得到的第一数据发送至信息处理装置100。此外，发送部240例如也可以在作为摄像装置200a的车辆在司机自家等该车辆的保管地点中停车时将通过停车之前的期间的车辆的行驶而得到的第一数据，经由例如在自家中具备的无线lan路由器而发送至信息处理装置100。此外，发送部240也可以是，此时若有以前被检测出但尚未发送至信息处理装置100的第一数据，则将该第一数据发送至信息处理装置100。另外，图5是表示第一数据的结构的一例的图。

发送部240例如由处理器201、主存储器202、储存器203、通信接口204等实现。

接着，关于信息处理装置100的功能结构进行说明。

信息处理装置100作为功能结构而具备取得部110、执行判定部120和执行部130。

取得部110从多个摄像装置200a、200b、200c等的各个摄像装置取得第一数据。由此，取得部110取得通过摄像而生成的多个图像、通过该摄像而生成了多个图像的各个图像的多个摄像装置200a、200b、200c等的位置及摄像方向、以及通过多个摄像装置200a、200b、200c等中的多个物体检测处理而分别得到的多个物体检测结果。

执行判定部120根据使用通过多个摄像装置200a、200b、200c等之中的特定的摄像装置的摄像而生成的图像来执行的特定的物体检测结果，判定是否执行由执行部130进行的学习用数据选择处理。执行判定部120例如也可以在特定的摄像装置的物体检测结果中包含的似然度满足规定的条件的情况下，判定为执行学习用数据选择处理。也就是说，特定的摄像装置是输出了在多个物体检测结果之中满足规定的条件的物体检测结果的摄像装置。

满足规定的条件的物体检测结果例如是，具有关于评价出的多个属性的各个属性的似然度之中与最大的似然度的差值小于规定的差值的似然度。也就是说，是物体检测结果为难以将物体的属性或形态决定为多个属性或多个形态之中的一个属性或一个形态的结果的情况，并且是对检测结果的精度没有自信的情况。具体而言，是在第一属性的似然度和第二属性的似然度中基本没有差异，不能决定将作为物体检测结果的物体的属性设为第一属性还是设为第二属性的情况。另外，关于物体的形态也是同样。

此外，满足规定的条件的物体检测结果例如是，具有最大的似然度与其他似然度相比为规定的差值以上的似然度、或具有超过规定的似然度的似然度。也就是说，是物体检测结果为易于将物体的属性或形态决定为多个属性或多个形态之中的一个属性或一个形态的结果的情况，并且是对检测结果的精度有自信的情况。

此外，执行判定部120也可以取得表示多个图像的摄像时间、通过摄像而生成了图像的摄像装置的位置、和在多个摄像装置200a、200b、200c等中的多个物体检测处理中检测到的物体的属性或形态中的至少一个图像属性的图像属性信息的统计信息，使用所取得的统计信息，判定是否执行学习用数据选择处理。另外，统计信息也可以包含表示图像属性信息的稀少性的稀少性信息。执行判定部120也可以在稀少性信息所示的稀少性满足规定的条件的情况下，判定为执行学习用数据选择处理。稀少性信息所示的稀少性满足规定的条件是，在第一数据中包含具有稀少性的图像属性。在此，图像属性具有稀少性是，在摄像时间、摄像装置的位置、物体的属性或形态的其中一个或其2个以上的组合中，对象图像的图像属性相对于已经选择为学习用数据的多个图像的多个图像属性的脱离度(或，偏离值)比规定的阈值大。

执行部130使用在取得部110中取得的多个第一数据，执行学习用数据选择处理。执行部130也可以在执行判定部120中判定为执行学习用数据选择处理的情况下，执行学习用数据选择处理。

执行部130具体而言，具有算出部131、一致度判定部132和选择部133。

算出部131在学习用数据选择处理中，根据多个第一数据之中规定的定时中的多个摄像装置200a、200b、200c等各自的位置及摄像方向，算出共通地映现在该多个图像的各个图像中的共通区域。算出部131例如根据由取得部110取得的多个第一数据，提取包含在规定的定时中摄像的多个图像的多个第一数据。规定的定时是被视为相同的时间。也就是说，规定的定时也可以不必须是同一时间，也可以包含以某1定时为基准的规定的时间宽度中包含的全部定时。规定的时间宽度例如也可以是基于多个摄像装置200a、200b、200c等的各个摄像装置中的对图像进行摄像的摄像间隔的时间，例如是摄像间隔的1～10倍的时间。

此外，在本实施方式中，多个摄像装置200a、200b、200c等是车辆，所以移动。因此，由多个摄像装置200a、200b、200c等摄像的多个图像不具有共通区域的情况较多。因此，算出部131若对由取得部110取得的多个第一数据的全部执行算出共通区域的处理则效率差，所以也可以在算出共通区域的处理之前，执行提取包含相互具有共通区域的多个图像的多个第一数据的处理。

算出部131例如对多个第一数据的摄像装置的位置及摄像方向进行分析，从而提取由能够对相互重复的范围进行摄像的多个摄像装置200a、200b、200c等摄像的多个第一数据，将所提取的多个第一数据相互建立对应从而生成第二数据。因此，算出部131提取由如下摄像装置得到的第一数据，该摄像装置是对成为在执行判定部120中的判定中执行学习用数据选择处理的对象的图像进行摄像的特定的摄像装置以外的其他摄像装置，并且是能够对与特定的摄像装置的摄像范围重复的范围进行摄像的摄像装置。因此，即使在取得部110从摄像范围不重复的多个摄像装置也取得第一数据的情况下，算出部131也能够容易地进行共通区域的算出。

另外，算出部131在对多个第一数据的摄像装置的位置及摄像方向进行分析从而选择摄像范围重复的多个摄像装置的情况下，选择离基于特定的摄像装置的位置的基准地点位于规定的范围的摄像装置。算出部131例如图6所示，将离在特定的摄像装置200a的前方相离距离d1的基准地点b1位于半径r1的范围的摄像装置200b、200c，选择为与特定的摄像装置200a摄像范围重复的其他摄像装置200b、200c。另外，图6是从上方观看的图，是表示特定的摄像装置和摄像范围重复的其他摄像装置的关系的一例的图。

在此，关于共通区域的算出方法的具体例，使用图7a～图7c进行说明。

图7a～图7c是用于说明共通区域的算出方法的具体例的图。

图7a表示在摄像装置200a、200b、200c中在同一定时分别摄像的多个图像p10、p20、p30。多个图像p10、p20、p30例如是包含相互共通的物体400的图像。

图7b是表示使用多个图像p10、p20、p30、和上述的同一定时中的摄像装置200a、200b、200c的位置及摄像方向而得到的物体位置模型的一例的图。图7b示出了从上方观看的物体位置模型。

算出部131具体而言，使用图像p10及摄像装置200a的位置及摄像方向，算出摄像范围410及物体范围411。具体而言，摄像范围410表示根据对图像p10进行摄像的摄像装置200a的位置及摄像方向而估计的摄像范围。此外，物体范围411表示根据图像p10内的物体400的区域、和摄像范围410而得到的物体400存在的范围。

同样，算出部131根据图像p20及摄像装置200b的位置及摄像方向，算出摄像范围420及物体范围421。摄像范围420表示根据对图像p20进行摄像的摄像装置200b的位置及摄像方向而估计的摄像范围。此外，物体范围421表示根据图像p20内的物体400的区域、和摄像范围420而得到的物体400存在的范围。

同样，算出部131根据图像p30及摄像装置200c的位置及摄像方向，算出摄像范围430及物体范围431。摄像范围430表示根据对图像p30进行摄像的摄像装置200c的位置及摄像方向而估计的摄像范围。此外，物体范围431表示根据图像p30内的物体400的区域、和摄像范围430而得到的物体400存在的范围。

另外，算出部131判断物体400是在多个图像p10、p20、p30中共通摄像的物体，从而算出物体范围411、421、431。算出部131也可以不算出物体范围411、421、431。

接着，算出部131使用所算出的摄像范围410、420、430，算出它们的共通区域401。并且，算出部131如图7c所示，生成将所算出的共通区域401投影到图像p10、p20、p30的各个图像的投影图像p11、p21、p31。

一致度判定部132对共通区域中的多个物体检测结果之间的一致度进行判定。一致度判定部132例如也可以将多个物体检测结果相互比较从而判定多个物体检测结果之间的一致度。另外，共通区域中的物体检测结果例如是，在与共通区域重叠的图像上的区域中检测到的物体。

选择部133根据由一致度判定部132判定的一致度从多个图像之中选择成为学习用数据的图像。选择部133在第二数据中包含的多个物体检测结果之间有不一致的物的情况下，从该第二数据中包含的多个图像之中选择成为学习用数据的图像。

例如，选择部133在多个摄像装置200a、200b、200c等的相机205间的摄像性能相互相同，且多个摄像装置200a、200b、200c等的物体检测处理间的处理性能相互相同的情况下，根据第二数据中包含的多个物体检测结果之中一致的数量或比例，从多个图像之中选择成为学习用数据的图像。

使用图8a及图8b，关于选择成为学习用数据的图像的例进行说明。

图8a及图8b是用于说明成为学习用数据的图像的选择方法的例的图。

一致度判定部132如图8a的第一例所示，在投影图像p11的共通区域401中的物体检测结果为车辆，而投影图像p21、p31的共通区域401中的物体检测结果为没有的情况下，也可以通过多数决定，判定为共通区域401中的物体检测结果为没有是正解，判定为投影图像p11中的物体检测结果中包含误检测的可能性高。此外，一致度判定部132如图8b的第二例所示，在投影图像p11、p31的共通区域401中的物体检测结果为车辆，而投影图像p21的共通区域401中的物体检测结果为没有的情况下，也可以通过通过多数决定，判定为共通区域401中的物体检测结果为车辆是正解，判定为投影图像p21中的物体检测结果中包含误检测的可能性高。并且，选择部133根据一致度判定部132中的判定结果，将判定为物体检测结果中包含误检测的可能性高的图像选择为成为学习用数据的图像。另外，选择部133在共通区域401中的多个物体检测结果之间包含不同的结果的情况下，也可以将成为检测出该多个物体检测结果的对象的全部多个图像选择为成为学习用数据的图像。

此外，例如，选择部133在多个摄像装置200a、200b、200c等的相机205间的摄像性能相互不同、或多个摄像装置200a、200b、200c等的物体检测处理间的处理性能相互不同的情况下，根据多个摄像装置200a、200b、200c等的摄像性能的高低、或多个摄像装置200a、200b、200c等的物体检测处理的处理性能的高低，决定从多个图像之中选择成为学习用数据的图像的选择处理的参数，执行所决定的参数下的选择处理。选择部133例如也可以根据多个摄像装置200a、200b、200c等的摄像性能的高低、或物体检测处理的处理性能的高低，越是各性能越高则进行越大的加权的物体检测结果，越认为精度好的物体检测结果，将对应于与精度好的物体检测结果不同的物体检测结果的图像选择为设为学习用数据的图像。也就是说，选择部133将对应于与下述物体检测结果不同的物体检测结果的图像选择为设为学习用数据的图像，上述物体检测结果是各性能越高则将越大的系数乘以物体检测结果从而得到的评价值为规定的阈值以上的物体检测结果。

[1-2.动作]

接着，关于实施方式所涉及的信息处理系统1的动作进行说明。

图9是表示实施方式所涉及的信息处理系统中的动作的一例的时序图。

首先，在摄像装置200a、200b、200c等的各个摄像装置中，检测部210检测图像、和在对该图像进行摄像的定时中的摄像装置的位置及摄像方向(s11)，使所摄像的定时、所检测到的图像和摄像装置的位置及摄像方向存储至存储部220。

接着，摄像装置的物体检测部230通过对在检测部210中检测到的图像执行物体检测处理从而检测物体，得到物体检测结果(s12)。所得到的物体检测结果以与成为物体检测处理的对象的图像相对应的状态被存储至存储部220。由此，在摄像装置中，生成所摄像的定时、所检测到的图像、摄像装置的位置及摄像方向和物体检测结果被建立对应而得到的第一数据。

并且，摄像装置的发送部240将所生成的第一数据发送至信息处理装置100(s13)。

在信息处理装置100中，取得部110取得从摄像装置200a、200b、200c等的各个摄像装置发送的第一数据(s21)。

接着，信息处理装置100的执行判定部120根据使用通过多个摄像装置200a、200b、200c等之中的特定的摄像装置的摄像而生成的图像执行的特定的物体检测结果，判定是否执行由执行部130进行的学习用数据选择处理(s22)。

并且，在执行判定部120中判定为执行学习用数据选择处理的情况下(s22中是)，信息处理装置100的执行部130执行学习用数据选择处理(s23)。学习用数据选择处理的细节在后面叙述。

另一方面，在执行判定部120中判定为不执行学习用数据选择处理的情况下(s22中否)，信息处理装置100的执行部130不执行学习用数据选择处理。

另外，在学习用数据选择处理被执行的情况和没有被执行的情况下，在信息处理系统1中，都反复执行步骤s11～s13的摄像装置200a、200b、200c等的处理、和步骤s21～s23的信息处理装置100的处理。

另外，由步骤s11～s13、s21～s23的各处理部进行的处理的细节在使用了图4～图8b的摄像装置200a、200b、200c等的功能结构及信息处理装置100的功能结构的说明中进行了说明，所以省略。

图10是表示实施方式所涉及的信息处理装置中的学习用数据选择处理的细节的一例的流程图。

若开始步骤s23的学习用数据选择处理，则执行部130的算出部131从被取得部110取得的多个第一数据之中，提取与通过特定的摄像装置的摄像而生成的图像以同一时间建立对应并且摄像范围共通的多个第一数据。由此，算出部131提取所摄像的多个图像(s31)。

接着，算出部131使用所提取的多个第一数据，根据多个摄像装置200a、200b、200c等各自的位置及摄像方向，算出共通地映现在该多个图像的各个图像中的共通区域(s32)。

并且，一致度判定部132判定共通区域中的多个物体检测结果之间的一致度(s33)。

其后，选择部133根据由一致度判定部132判定的一致度而从多个图像之中选择成为学习用数据的图像(s34)，结束学习用数据选择处理。

另外，由步骤s31～s34的各处理部进行的处理的细节在使用了图4～图8b的摄像装置200a、200b、200c等的功能结构及信息处理装置100的功能结构的说明中进行了说明，所以省略。

[1-3.效果等]

根据本实施方式所涉及的信息处理方法，在学习用数据选择处理中，根据多个摄像装置的位置及摄像方向，算出共通地映现在多个图像的各个图像中的共通区域，判定共通区域中的多个物体检测结果之间的一致度，根据判定出的一致度而从多个图像之中选择成为学习用数据的图像。

因此，在多个摄像装置对相互共通的物体进行摄像的情况下，能够得到基于针对该共通的物体的多个物体检测处理的多个物体检测结果。由此，根据关于共通的物体的多个物体检测结果之间的一致度，例如，能够将成为不一致的物体检测结果的物体检测处理的对象的图像选择为成为学习用数据的图像。因此，在信息处理方法中，难以对使用了传感器的物体检测处理的精度产生影响，能够稳定地得到成为学习用数据的摄影图像。

此外，根据本实施方式所涉及的信息处理方法，根据使用通过多个摄像装置之中的特定的摄像装置的摄像而生成的图像执行的特定的物体检测结果，判定是否执行学习用数据选择处理，在判定为执行学习用数据选择处理的情况下，执行学习用数据选择处理。因此，在物体检测结果的精度低的情况下等想要使其学习的状况中能够执行学习用数据选择处理，能够更可靠地得到期望的学习用数据。此外，通过在不是想要使其学习的状况的情况下不执行学习用数据选择处理，能够减少执行不需要的处理。

此外，根据本实施方式所涉及的信息处理方法，多个摄像装置之中的特定的摄像装置以外的其他摄像装置是能够对与特定的摄像装置的摄像范围重复的范围进行摄像的摄像装置。因此，能够以特定的摄像装置为基准，选择其他摄像装置。从而，能够得到对一致度的判定有效的物体检测结果。

此外，根据本实施方式所涉及的信息处理方法，其他摄像装置是离基于特定的摄像装置的位置的基准地点位于规定的范围的摄像装置。因此，能够选择对与特定的摄像装置所拍摄的物体相同的物体进行拍摄的可能性高的其他摄像装置。

此外，根据本实施方式所涉及的信息处理方法，特定的物体检测结果包含关于物体检测结果的似然度，在是否执行学习用数据选择处理的判定中，在似然度满足规定的条件的情况下，判定为执行学习用数据选择处理。因此，在似然度低的情况下等想要使其学习的状况中能够执行学习用数据选择处理，能够更可靠地得到期望的学习用数据。此外，通过在不是想要使其学习的状况的情况下不执行学习用数据选择处理，能够减少执行不需要的处理。

此外，根据本实施方式所涉及的信息处理方法，在是否执行学习用数据选择处理的判定中，取得多个图像的摄像时间、通过摄像而生成了图像的摄像装置的位置、及在多个物体检测处理中检测到的物体的属性或形态中的至少一个信息的统计信息，使用所取得的统计信息，判定是否执行学习用数据选择处理。因此，在摄像条件或摄像内容在统计上适于学习的情况下等想要使其学习的状况中能够执行学习用数据选择处理，能够更可靠地得到期望的学习用数据。此外，通过在不是想要使其学习的状况的情况下不执行学习用数据选择处理，能够减少执行不需要的处理。

此外，根据本实施方式所涉及的信息处理方法，统计信息包含表示至少一个信息的稀少性的稀少性信息，在是否执行学习用数据选择处理的判定中，在稀少性信息所示的稀少性满足规定的条件的情况下，判定为执行学习用数据选择处理。因此，在稀少性满足规定的条件的情况下能够执行学习用数据选择处理，能够减少执行不需要的处理。

此外，根据本实施方式所涉及的信息处理方法，在成为学习用数据的图像的选择中，在多个物体检测结果之间有不一致的物体检测结果的情况下，从多个图像之中选择成为学习用数据的图像。因此，能够将包含成为有误检测或漏检测的可能性的物体检测结果的物体检测处理的对象的图像在内的图像选择为学习用数据。由此，能够将在与已经被选择为学习用数据的图像不同的状况下摄像的图像选择为学习用数据。

此外，根据本实施方式所涉及的信息处理方法，在多个摄像装置间的性能相互相同，且多个物体检测处理间的性能相互相同的情况下，根据多个物体检测结果之中一致的数量或比例，从多个图像之中选择成为学习用数据的图像。因此，例如，能够将物体检测结果一致的数量比规定数少、或物体检测结果一致的比例比规定的比例低的图像选择为学习用数据。

此外，根据本实施方式所涉及的信息处理方法，在多个摄像装置间的性能相互不同、或多个物体检测处理间的性能相互不同的情况下，根据多个摄像装置的性能的高低、或多个物体检测处理的性能的高低，决定选择来自多个图像之中的成为学习用数据的图像的选择处理的参数，执行所决定的参数下的选择处理。因此，即使在多个摄像装置间的性能、或多个物体检测处理间的性能相互不同的情况下，由于考虑各性能，所以能够将包含成为有误检测或漏检测的可能性的物体检测结果的物体检测处理的对象的图像在内的图像选择为学习用数据。由此，能够将在与已经被选择为学习用数据的图像不同的状况下摄像的图像选择为学习用数据。

[1-4.变形例]

[1-4-1.变形例1]

在上述实施方式所涉及的信息处理系统1中，设为摄像装置200a、200b、200c等的各个摄像装置具有对由检测部210检测到的图像执行物体检测处理的物体检测部230的结构，但不限于此，例如，也可以如图11所示，采用没有物体检测部230的结构的摄像装置201a、201b、201c等。在该情况下的信息处理系统1a中，信息处理装置100a的取得部110a对所取得的多个第一数据的各个第一数据中包含的图像执行物体检测处理。图11是表示变形例1所涉及的信息处理系统的功能结构的一例的框图。

图12是表示变形例1所涉及的信息处理系统中的动作的一例的时序图。

首先，在摄像装置201a、201b、201c等的各个摄像装置中，检测部210检测图像、和对该图像进行摄像的定时中的摄像装置的位置及摄像方向(s11)，使所摄像的定时、所检测到的图像、和摄像装置的位置及摄像方向存储至存储部220。

接着，摄像装置200a的发送部240将包含所摄像的定时、所检测到的图像、和摄像装置的位置及摄像方向的第一数据发送至信息处理装置100a(s13a)。

在信息处理装置100a中，取得部110取得从摄像装置201a、201b、201c等的各个摄像装置发送的第一数据(s21a)。

接着，信息处理装置100a的取得部110a通过对所取得的多个第一数据的各个第一数据中包含的图像执行物体检测处理从而检测物体，得到物体检测结果(s21b)。

以后的步骤s22、s23的处理与实施方式中的各处理同样，因此省略说明。

[1-4-2.变形例2]

在上述实施方式所涉及的信息处理系统1中，在多个摄像装置200a、200b、200c等中，作为多个摄像装置200a、200b、200c等的车辆为动作中(例如，引擎正在驱动，处于电源接通的状态)的情况下，设为始终由相机205以规定的周期进行摄像，但不限于此。例如，也可以在特定的摄像装置中，执行与执行判定部120同样的判定，从而在取得应执行学习用数据选择处理的图像的定时，将摄像请求发送至位于特定的摄像装置的周边的其他摄像装置，从而使该其他摄像装置执行摄像。来自特定的摄像装置的摄像请求既可以经由信息处理装置100被发送至其他摄像装置，也可以直接地被发送至其他摄像装置。

由此，其他摄像装置在接收到摄像请求时摄像即可，因此能够减少摄像处理的频度。

[1-4-3.变形例3]

在上述实施方式所涉及的信息处理系统1中，设为在多个摄像装置200a、200b、200c等中得到的全部第一数据被发送至信息处理装置100，但不限于此。例如，在特定的摄像装置中，执行与执行判定部120同样的判定，从而在取得了应执行学习用数据选择处理的图像的定时，将摄像请求发送至位于特定的摄像装置的周边的其他摄像装置，从而其他摄像装置能够仅将该定时中的第一数据发送至信息处理装置100。由此，能够减少从摄像装置向信息处理装置100的通信负荷，信息处理装置100能够抑制预先存储第一数据的储存器的存储容量吃紧。

另外，上述各实施方式中，各结构要素既可以由专用的硬件构成，也可以通过执行适于各结构要素的软件程序来实现。各结构要素也可以通过cpu或处理器等程序执行部读出并执行在硬盘或半导体存储器等记录介质中记录的软件程序来实现。在此，实现上述各实施方式的信息处理方法及信息处理装置等的软件是如下的程序。

即，该程序使计算机执行以下信息处理方法，其包含：取得通过被视为相同的时间的摄像而生成的多个图像、和生成所述多个图像的各个图像的多个摄像装置的位置及摄像方向，取得通过使用所述多个图像分别执行的多个物体检测处理而分别得到的多个物体检测结果，使用所取得的所述多个图像、所述位置及所述摄像方向、以及所述多个物体检测结果来执行学习用数据选择处理，所述学习用数据选择处理根据所述多个摄像装置的所述位置及所述摄像方向，算出共通地映现在所述多个图像的各个图像中的共通区域，判定所述共通区域中的所述多个物体检测结果之间的一致度，根据所述一致度而从所述多个图像之中选择成为学习用数据的图像。

以上，关于本发明的一个或多个方式所涉及的信息处理方法及信息处理系统，基于实施方式进行了说明，但本发明并非限定于此本实施方式。只要不脱离本发明的宗旨，将本领域技术人员想到的各种变形施加于本实施方式而得到的实施方式、将不同的实施方式中的结构要素组合而构筑的方式也可以被包含于本发明的一个或多个方式的范围内。

此外，在上述实施方式中，说明了摄影图像为学习用数据的例，但学习用数据不限于此。例如，学习用数据也可以是从lidar等与图像传感器不同的光学传感器得到的点群数据等数据。

另外，在执行判定部120、一致度判定部132中进行的处理也可以使用机器学习。在机器学习中，例如，可列举使用对输入信息赋予了标识(输出信息)的教师数据对输入和输出的关系进行学习的有教师学习、仅根据没有标识的输入而构筑数据的构造的无教师学习、有标识和无标识的任一个都能处理的半有教师学习、通过得到对于根据状态的观测结果而选择的行动的反馈(报酬)来学习能够得到最多的报酬的连续的行动的强化学习等。此外，作为机器学习的具体方法，存在神经网络(包含使用了多层的神经网络的深度学习)、遗传的编程、决定树、贝叶斯网络、支持向量机设备(svm)等。在本公开中，使用以上列举的具体例的任一个皆可。

工业实用性

本公开作为从所得到的大量的图像之中，难以对使用了传感器的物体检测处理的精度产生影响，能够稳定地得到成为学习用数据的摄影图像的信息处理方法及信息处理系统等是有用的。