信息处理设备和方法及程序的制作方法
【专利摘要】本技术涉及一种能够高精度地使用由多个照相机捕获的图像来搜索和跟踪要搜索和跟踪的人物的信息处理设备和方法及程序。根据通过在表示搜索和跟踪结果的图像(P211)上例如用手(H1)指示由用于捕获成像区域(CamA)的监视照相机捕获的移动体图像(PA)的方式输入用于确认用户是正在搜索的人物的确认信息而进行的图A和图E的检测结果之间的时空比较，尽管从图A到图E的行进时间为5秒(1:00:00到1:00:05)，给定图E的位置位于以人物平均行进时间在约5秒内不可能覆盖到的距离处，从搜索和跟踪结果删除图E，所以使得能够提高搜索和跟踪结果的精度。本技术可以用在安全系统和营销研究系统中。
【专利说明】信息处理设备和方法及程序
【技术领域】
[0001]本技术涉及一种信息处理设备、信息处理设备方法和程序，具体地涉及一种被配置为从由多个照相机捕获的图像高精度地搜索并跟踪想要搜索并跟踪的人物的信息处理设备、信息处理方法和程序。
【背景技术】
[0002]过去，出于预防犯罪、营销等的目的，在未指定的人物来来往往的地方(例如，宾馆、建筑物、便利店和市区)安装了视频监视系统。在这种监视系统中，在整个这些地方进行确认嫌疑人如何移动和客户在百货商店中如何移动的操作。
[0003]但是，为了确认每个人物在监视区域内如何移动，需要执行如下工作:查看从多个照相机获取的视频，追踪人物在照相机视频内的移动，并且与人物在照相机之间移动相对应地执行接下来的工作。因此,花费相当长的时间，由此对工作人员施加了大的负担。
[0004]因此，提出了跟踪多个照相机视频内的移动对象的系统或者搜索移动对象的系统。例如，提出了执行跟踪单个照相机视频内的人物并在多个照相机之间连接该人物的方案的系统(参见专利文献I)。此外，还提出了这样一种系统，该系统使用类似的图像搜索来执行人物跟踪，并且将捕获的图像中的前景区域分割成块状态，以块为单位执行类似的图像搜索，并基于匹配结果来确定该人物是否为同一人(参见非专利文献I)。
[0005]引用列表
[0006]非专利文献
[0007]专利文献1:日本未审专利申请公开第2006-245795号
[0008]非专利文献 1:Human Tracking Using Similar Image Search in SparselyDistributed Camera Environment in Technical Report, vol.110, n0.330, PRMU2010-130, pp.25to30, 2010 年 12 月
【发明内容】
[0009]技术问题
[0010]但是，在专利文献I中公开的技术中，实践中难以使用单个照相机来连续地跟踪人物。此外，由于人物相互交叠并且人物被遮挡在柱子等后面，所以停止跟踪，因此跟踪精度总体上会劣化。
[0011]在非专利文献I的情况中，随着拍摄时间越来越多地增加以确定在块状态中分割的所有前景区域是否都相似，处理时间进一步增加。因此，存在对精度进一步劣化的担心。
[0012]鉴于上述情况而发明了本技术，并且本技术被配置为通过下面的操作来提高人物搜索和跟踪处理的精度:删除由多个照相机捕获的图像当中的不适合于搜索的图像，并且基于由用户进行的搜索处理的结果将适合于搜索目标图像的图像指定为决定信息，随后重复修改搜索处理的处理。
[0013]问题的解决方案[0014]根据本技术的第一方面，提供一种信息处理设备，该信息处理设备包括:多个成像单元，每个成像单元捕获图像，检测移动对象，提取由检测到的移动对象的图像构成的移动对象图像，基于移动对象图像来检测移动对象的空间位置坐标，并且输出移动对象图像、和包括移动对象的空间位置坐标和捕获该图像的成像时间的移动对象信息；移动对象图像似然度计算单元，计算移动对象图像似然度，该移动对象图像似然度是除了搜索目标移动对象信息以外的移动对象信息中包括的移动对象图像相对于搜索对照移动对象信息的移动对象图像的似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息；移动对象图像阈值确定单元，确定由移动对象图像似然度计算单元计算出的每个移动对象图像似然度是否大于预定的阈值，并且搜索移动对象图像似然度大于预定的阈值的移动对象信息作为搜索结果移动对象信息，该搜索结果移动对象信息是包括与搜索目标移动对象信息的移动对象图像的移动对象相同的移动对象的移动对象图像的移动对象信息；搜索结果移动对象信息存储单元，存储由移动对象图像阈值确定单元搜索的作为搜索结果移动对象信息的移动对象信息；操作输入单元，接收决定信息的输入，该决定信息由用户用来基于移动对象图像决定作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的搜索目标移动对象信息；时空似然度计算单元，计算作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的移动对象信息的决定移动对象信息以外的移动对象信息相对于被输入了决定信息的决定移动对象信息的似然度；以及时空似然度阈值确定单元，确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果移动对象信息存储单元擦除时空似然度小于预定的阈值的移动对象信息。
[0015]在时空似然度阈值确定单元确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值之后，操作输入单元可接收决定信息的输入，该决定信息由用户用来基于移动对象图像重新决定作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的搜索目标移动对象信息。时空似然度计算单元可重新计算作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了决定移动对象信息以外的移动对象信息相对于被重新输入了决定信息的决定移动对象信息的似然度。时空似然度阈值确定单元可确定由时空似然度计算单元重新计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果移动对象信息存储单元擦除时空似然度小于预定的阈值的移动对象信息。每当由操作输入单元重新输入决定信息时，操作输入单元、时空似然度计算单元和时空似然度阈值确定单元可重复相同的处理。
[0016]移动对象信息还可包括识别捕获包括的移动对象图像的多个成像单元之一的ID。信息处理设备还可包括:亮度传递函数BTF计算单元，基于搜索目标移动对象信息和决定移动对象信息中的具有不同的ID的两个移动对象图像来计算校正成像单元之间的颜色的变化的BTF，所述不同的ID识别各自捕获移动对象图像的多个成像单元，所述搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息，针对所述决定移动对象信息接收到用来决定搜索目标移动对象信息的决定信息的输入；BTF处理单元，对作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的除了决定移动对象信息以外的移动对象信息当中的、包括由具有获得BTF的ID的成像单元捕获的移动对象图像的移动对象信息的移动对象图像执行BTF ；BTF移动对象图像似然度计算单元，计算BTF移动对象图像似然度，该BTF移动对象图像似然度由基于移动对象图像的似然度构成，并且是包括由BTF处理单元使用BTF处理过的移动对象图像的移动对象信息相对于决定移动对象信息的移动对象图像的似然度；以及BTF移动对象图像阈值确定单元，确定由BTF移动对象图像似然度计算单元计算出的每个BTF移动对象图像似然度是否小于预定的阈值。时空似然度阈值确定单元确定由时空似然度计算单元重新计算出的时空似然度是否小于预定的阈值。BTF移动对象图像阈值确定单元可在重新计算出的时空似然度不小于预定的阈值时，确定由BTF移动对象图像似然度计算单元计算出的每个BTF移动对象图像似然度是否小于预定的阈值，并且在BTF移动对象图像似然度小于预定的阈值时，从搜索结果移动对象信息存储单元擦除包括BTF移动对象图像似然度小于预定的阈值的移动对象图像的移动对象信息。
[0017]移动对象图像似然度计算单元可基于搜索目标移动对象信息的移动对象图像和包括在除了搜索对照移动对象信息以外的移动对象信息中的移动对象图像中的每个中包括的移动对象图像，计算指示每个移动对象的相似性的程度的相似度作为移动对象图像似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象息。
[0018]时空似然度计算单元可根据成像时间之间的时间与以平均人物移动速度行进在除了决定移动对象信息以外的移动对象信息和被输入了决定信息的决定移动对象信息的空间位置坐标之间的距离所花费的必要时间之间的关系，计算时空似然度。
[0019]根据本技术的第一方面，提供一种信息处理设备的信息处理方法，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测移动对象，提取由检测到的移动对象的图像构成的移动对象图像，基于移动对象图像来检测移动对象的空间位置坐标，并且输出移动对象图像和包括移动对象的空间位置坐标和捕获该图像的成像时间的移动对象信息。所述信息处理方法包括:移动对象图像似然度计算处理，计算移动对象图像似然度，该移动对象图像似然度是除了搜索目标移动对象信息以外的移动对象信息中包括的移动对象图像相对于搜索对照移动对象信息的移动对象图像的似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息；移动对象图像阈值确定处理，确定由移动对象图像似然度计算处理计算出的每个移动对象图像似然度是否大于预定的阈值，并且搜索移动对象图像似然度大于预定的阈值的移动对象信息作为搜索结果移动对象信息，该搜索结果移动对象信息是包括与搜索目标移动对象信息的移动对象图像的移动对象相同的移动对象的移动对象图像的移动对象信息；搜索结果移动对象信息存储处理，存储由移动对象图像阈值确定处理搜索的作为搜索结果移动对象信息的移动对象信息；操作输入处理，接收决定信息的输入，该决定信息由用户用来基于移动对象图像决定在结果移动对象信息存储处理中作为搜索结果移动对象信息存储的移动对象信息当中的搜索目标移动对象信息；时空似然度计算处理，计算在结果移动对象信息存储处理中作为搜索结果移动对象信息存储的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的移动对象信息的决定移动对象信息以外的移动对象信息相对于被输入了决定信息的决定移动对象信息的似然度；以及时空似然度阈值确定处理，确定由时空似然度计算处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果移动对象信息存储处理中存储的移动对象信息擦除时空似然度小于预定的阈值的移动对象信息。
[0020]根据本技术的第一方面，提供一种控制信息处理设备的计算机程序，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测移动对象，提取由检测到的移动对象的图像构成的移动对象图像，基于移动对象图像来检测移动对象的空间位置坐标，并且输出移动对象图像和包括移动对象的空间位置坐标和捕获该图像的成像时间的移动对象信息。所述程序使得计算机执行:移动对象图像似然度计算步骤，计算移动对象图像似然度，该移动对象图像似然度是除了搜索目标移动对象信息以外的移动对象信息中包括的移动对象图像相对于搜索对照移动对象信息的移动对象图像的似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息；移动对象图像阈值确定步骤，确定由移动对象图像似然度计算步骤的处理计算出的每个移动对象图像似然度是否大于预定的阈值，并且搜索移动对象图像似然度大于预定的阈值的移动对象信息作为搜索结果移动对象信息，该搜索结果移动对象信息是包括与搜索目标移动对象信息的移动对象图像的移动对象相同的移动对象的移动对象图像的移动对象信息；搜索结果移动对象信息存储步骤，存储由移动对象图像阈值确定步骤的处理搜索的作为搜索结果移动对象信息的移动对象信息；操作输入步骤，接收决定信息的输入，该决定信息由用户用来基于移动对象图像决定在结果移动对象信息存储步骤的处理中作为搜索结果移动对象信息存储的移动对象信息当中的搜索目标移动对象信息；时空似然度计算步骤，计算在结果移动对象信息存储步骤的处理中作为搜索结果移动对象信息存储的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的移动对象信息的决定移动对象信息以外的移动对象信息相对于被输入了决定信息的决定移动对象信息的似然度；以及时空似然度阈值确定步骤，确定由时空似然度计算步骤的处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果移动对象信息存储步骤的处理中存储的移动对象信息擦除时空似然度小于预定的阈值的移动对象信肩、O
[0021]根据本技术的第二方面，提供一种信息处理设备，该信息处理设备包括:多个成像单元，每个成像单元捕获图像，检测人物，提取由检测到的人物的图像构成的人物图像，基于人物图像来检测该人物的空间位置坐标，并且输出人物图像和包括该人物的空间位置坐标和捕获该图像的成像时间的人物信息；人物图像似然度计算单元，计算人物图像似然度，该人物图像似然度是除了搜索目标人物信息以外的人物信息中包括的人物图像相对于搜索对照人物信息的人物图像的似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息；人物图像阈值确定单元，确定由人物图像似然度计算单元计算出的每个人物图像似然度是否大于预定的阈值，并且搜索人物图像似然度大于预定的阈值的人物信息作为搜索结果人物信息，该搜索结果人物信息是包括与搜索目标人物信息的人物图像的人物相同的人物的人物图像的人物信息；搜索结果人物信息存储单元，存储由人物图像阈值确定单元搜索的作为搜索结果人物信息的人物信息；操作输入单元，接收决定信息的输入，该决定信息由用户用来基于人物图像决定作为搜索结果人物信息在结果人物信息存储单元中存储的人物信息当中的搜索目标人物信息；时空似然度计算单元，计算作为搜索结果人物信息在结果人物信息存储单元中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的人物信息的决定人物信息以外的人物信息相对于被输入了决定信息的决定人物信息的似然度；以及时空似然度阈值确定单元，确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除时空似然度小于预定的阈值的人物信息。
[0022]在时空似然度阈值确定单元确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值之后，操作输入单元可接收决定信息的输入，该决定信息由用户用来基于人物图像重新决定作为搜索结果人物信息存储在结果人物信息存储单元中的人物信息当中的搜索目标人物信息。时空似然度计算单元可重新计算作为搜索结果人物信息在结果人物信息存储单元中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了决定人物信息以外的人物信息相对于被重新输入了决定信息的决定人物信息的似然度。时空似然度阈值确定单元可确定由时空似然度计算单元重新计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除时空似然度小于预定的阈值的人物信息。每当由操作输入单元重新输入决定信息时，操作输入单元、时空似然度计算单元和时空似然度阈值确定单元可重复相同的处理。
[0023]人物信息还可包括识别捕获包括的人物图像的多个成像单元之一的ID。信息处理设备还可包括:亮度传递函数BTF计算单元，基于搜索目标人物信息和决定人物信息中的具有不同的ID的两个人物图像来计算校正成像单元之间的颜色的变化的BTF，所述不同的ID识别各自捕获人物图像的多个成像单元，所述搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息，针对所述决定人物信息接收到用来决定搜索目标人物信息的决定信息的输入；BTF处理单元，对作为搜索结果人物信息存储在结果人物信息存储单元中的人物信息当中的除了决定人物信息以外的人物信息当中的、包括由具有获得BTF的ID的成像单元捕获的人物图像的人物信息的人物图像执行BTF ；BTF人物图像似然度计算单元，计算BTF人物图像似然度，该BTF人物图像似然度由基于人物图像的似然度构成，并且是包括由BTF处理单元使用BTF处理过的人物图像的人物信息相对于决定人物信息的人物图像的似然度；以及BTF人物图像阈值确定单元，确定由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度是否小于预定的阈值。时空似然度阈值确定单元可确定由时空似然度计算单元重新计算出的时空似然度是否小于预定的阈值。BTF人物图像阈值确定单元可在重新计算出的时空似然度不小于预定的阈值时，确定由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度是否小于预定的阈值，并且在BTF人物图像似然度小于预定的阈值时，从搜索结果人物信息存储单元擦除包括BTF人物图像似然度小于预定的阈值的人物图像的人物信息。
[0024]该信息处理设备还可以包括:同一人物信息保持单元，保持搜索目标人物信息和决定人物信息作为与搜索目标人物相同的人物的人物信息，其中，搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息，针对该决定人物信息接收到用来决定搜索目标人物信息的决定信息的输入；其他人物信息保持单元，保持包括由时空似然度计算单元重新计算出的每个时空似然度小于预定的阈值或者由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度小于预定的阈值的人物图像的人物信息作为其他人物信息，该其他人物信息是除了搜索目标人物以外的人物的人物信息；独有特征搜索单元，通过基于在同一人物信息保持单元中保持的人物信息的人物图像和在其他人物信息保持单元中保持的人物信息的人物图像进行学习，选择用来搜索搜索目标人物的独有特征；独有特征似然度计算单元，计算独有特征似然度，该独有特征似然度是基于包括在除了搜索对照人物信息的人物信息中的人物图像相对于搜索目标人物信息的人物图像的独有特征的似然度；以及独有特征似然度阈值确定单元，确定由独有特征似然度计算单元计算出的每个独有特征似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除小于预定的阈值的独有特征似然度的人物信息。时空似然度阈值确定单元可确定由时空似然度计算单元重新计算出的每个时空似然度是否小于预定的阈值。在重新计算出的时空似然度不小于预定的阈值时，BTF人物图像阈值确定单元可确定由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度是否小于预定的阈值。在BTF人物图像似然度不小于预定的阈值时，独有特征似然度阈值确定单元可确定由独有特征似然度计算单元计算出的每个独有特征似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除小于预定的阈值的独有特征似然度的人物信息。
[0025]在独有特征似然度阈值确定单元从搜索结果人物信息存储单元擦除独有特征似然度小于预定的阈值的人物信息时，其他人物信息保持单元可保持独有特征似然度小于预定的阈值的人物信息作为其他人物信息，该其他人物信息是其他人物的人物信息。
[0026]独有特征搜索单元可通过基于在同一人物信息保持单元中保持的人物信息的人物图像和在其他人物信息保持单元中保持的人物信息的人物图像进行学习，选择在同一人物信息保持单元中保持的人物信息的人物图像和搜索目标人物的人物图像之间的似然度增加并且在其他人物信息保持单元中保持的人物信息的人物图像和搜索目标人物的人物图像之间的似然度减少的特征量作为独有特征。
[0027]独有特征似然度计算单元可基于包括在搜索目标人物信息中的人物图像和包括在除了搜索对照人物信息以外的人物信息中的人物图像中的每个人物图像的独有特征，计算指示每个人物的相似性的程度的相似度作为独有特征似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息。
[0028]人物图像似然度计算单元可基于包括在搜索目标人物信息中的人物图像和包括在除了搜索对照人物信息以外的人物信息中的人物图像中的每个人物图像，计算指示每个人物的相似性的程度的相似度作为人物图像似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息。
[0029]时空似然度计算单元可根据成像时间之间的时间与以平均人物移动速度行进在除了决定人物信息以外的人物信息和被输入了决定信息的决定人物信息的空间位置坐标之间的距离所花费的必要时间之间的关系计算时空似然度。
[0030]根据本技术的第二方面，提供一种信息处理设备的信息处理方法，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测人物，提取由检测到的人物的图像构成的人物图像，基于人物图像来检测人物的空间位置坐标，并且输出人物图像和包括人物的空间位置坐标和捕获该图像的成像时间的个人物信息。所述信息处理方法包括:人物图像似然度计算处理，计算人物图像似然度，该人物图像似然度是除了搜索目标人物信息以外的人物信息中包括的人物图像相对于搜索对照人物信息的人物图像的似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息；人物图像阈值确定处理，确定由人物图像似然度计算处理计算出的每个人物图像似然度是否大于预定的阈值，并且搜索人物图像似然度大于预定的阈值的人物信息作为搜索结果人物信息，该搜索结果人物信息是包括与搜索目标人物信息的人物图像的人物相同的人物的人物图像的人物信息；搜索结果人物信息存储处理，存储由人物图像阈值确定处理搜索的作为搜索结果人物信息的人物信息；操作输入处理，接收决定信息的输入，该决定信息由用户用来基于人物图像决定作为搜索结果人物信息在结果人物信息存储处理中存储的人物信息当中的搜索目标人物信息；时空似然度计算处理，计算作为搜索结果人物信息在结果人物信息存储处理中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的人物信息的决定人物信息以外的人物信息相对于被输入了决定信息的决定人物信息的似然度；以及时空似然度阈值确定处理，确定由时空似然度计算处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果人物信息存储处理中存储的人物信息擦除时空似然度小于预定的阈值的人物信息。
[0031]根据本技术的第二方面，提供一种控制信息处理设备的计算机程序，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测人物，提取由检测到的人物的图像构成的人物图像，基于人物图像来检测人物的空间位置坐标，并且输出人物图像和包括人物的空间位置坐标和捕获该图像的成像时间的个人物信息。所述程序使得计算机执行:人物图像似然度计算步骤，计算人物图像似然度，该人物图像似然度是除了搜索目标人物信息以外的人物信息中包括的人物图像相对于搜索对照人物信息的人物图像的似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息；人物图像阈值确定步骤，确定由人物图像似然度计算步骤的处理计算出的每个人物图像似然度是否大于预定的阈值，并且搜索人物图像似然度大于预定的阈值的人物信息作为搜索结果人物信息，该搜索结果人物信息是包括与搜索目标人物信息的人物图像的人物相同的人物的人物图像的人物信息；搜索结果人物信息存储步骤，存储由人物图像阈值确定步骤的处理搜索的作为搜索结果人物信息的人物信息；操作输入步骤，接收决定信息的输入，该决定信息由用户用来基于人物图像决定作为搜索结果人物信息在结果人物信息存储步骤的处理中存储的人物信息当中的搜索目标人物信息；时空似然度计算步骤，计算作为搜索结果人物信息在结果人物信息存储步骤的处理中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的人物信息的决定人物信息以外的人物信息相对于被输入了决定信息的决定人物信息的似然度；以及时空似然度阈值确定步骤，确定由时空似然度计算步骤的处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果人物信息存储单元擦除时空似然度小于预定的阈值的人物信息。
[0032]根据本技术的第一方面，捕获图像，检测移动对象，提取由检测到的移动对象的图像构成的移动对象图像，基于移动对象图像来检测移动对象的空间位置坐标，并且输出移动图像图像和包括移动图像的空间位置坐标和捕获该图像的成像时间的移动对象信息；计算移动对象图像似然度，该移动对象图像似然度是除了搜索目标移动对象信息以外的移动对象信息中包括的移动对象图像相对于搜索对照移动对象信息的移动对象图像的似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息；确定计算出的每个移动对象图像似然度是否大于预定的阈值，并且搜索移动对象图像似然度大于预定的阈值的移动对象信息作为搜索结果移动对象信息，该搜索结果移动对象信息是包括与搜索目标移动对象信息的移动对象图像的移动对象相同的移动对象的移动对象图像的移动对象信息；存储搜索的作为搜索结果移动对象信息的移动对象信息；接收决定信息的输入，该决定信息由用户用来基于移动对象图像决定作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的搜索目标移动对象信息；计算时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的移动对象信息的决定移动对象信息以外的移动对象信息相对于被输入了决定信息的决定移动对象信息的似然度；以及确定计算出的每个时空似然度是否小于预定的阈值，并且从存储为搜索结果移动对象信息的移动对象信息中擦除时空似然度小于预定的阈值的移动对象信息。
[0033]根据本技术的第二方面，捕获图像，检测人物，提取由检测到的人物的图像构成的人物图像，基于人物图像来检测该人物的空间位置坐标，并且输出人物图像和包括该人物的空间位置坐标和捕获该图像的成像时间的人物信息；计算人物图像似然度，该人物图像似然度是除了搜索目标人物信息以外的人物信息中包括的人物图像相对于搜索对照人物信息的人物图像的似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息；确定计算出的每个人物图像似然度是否大于预定的阈值，并且搜索人物图像似然度大于预定的阈值的人物信息作为搜索结果人物信息，该搜索结果人物信息是包括与搜索目标人物信息的人物图像的人物相同的人物的人物图像的人物信息；存储搜索的作为搜索结果人物信息的人物信息；接收决定信息的输入，该决定信息由用户用来基于人物图像决定作为搜索结果人物信息存储的人物信息当中的搜索目标人物信息；计算时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的人物信息的决定人物信息以外的人物信息相对于被输入了决定信息的决定人物信息的似然度；以及确定计算出的每个时空似然度是否小于预定的阈值，并且擦除时空似然度小于预定的阈值的人物信息。
[0034]本技术的信息处理设备可以是独立的设备，或者是执行信息处理的模块。
[0035]本发明的有益效果
[0036]根据本技术的各方面，可以从由多个照相机捕获的图像高精度地搜索并跟踪想要搜索并跟踪的人物。
【专利附图】
【附图说明】
[0037]图1是示出应用本技术的实施例的监视系统的配置的示例的图。
[0038]图2是示出监视照相机的第一配置示例的框图。
[0039]图3是示出人物搜索和跟踪服务器的第一配置示例的框图。
[0040]图4是示出由图2中的监视照相机进行的成像处理的流程图。
[0041]图5是示出移动对象信息滤波处理的流程图。
[0042]图6是示出在前景区域中存在偏置的移动对象图像和前景图像的图。
[0043]图7是示出前景区域与背景区域之间的相关度高的移动对象图像和前景图像的图。[0044]图8是示出前景区域未被正确地获得的移动对象图像、前景图像和边缘图像的图。
[0045]图9是示出单个人物和多个人物被成像的移动对象图像和前景图像的图。
[0046]图10是示出由移动对象信息滤波处理滤波的移动对象图像的示例的图。
[0047]图11是示出移动对象信息匹配处理的流程图。
[0048]图12是示出显示画面的示例的图，该显示画面示出由移动对象信息匹配处理显示的人物搜索和跟踪结果。
[0049]图13是示出图11的匹配修改处理的流程图。
[0050]图14是示出图11的匹配修改处理的图。
[0051]图15是示出图11的匹配修改处理的图。
[0052]图16是示出监视照相机的第二配置示例的框图。
[0053]图17是示出人物搜索和跟踪服务器的第二配置示例的框图。
[0054]图18是示出由图16中的监视照相机进行的成像处理的流程图。
[0055]图19是示出人物检测的图。
[0056]图20是示出人物信息滤波处理的流程图。
[0057]图21是示出人物信息匹配处理的流程图。
[0058]图22是示出图21的匹配修改处理的流程图。
[0059]图23是示出图21的匹配修改处理的流程图。
[0060]图24是示出图21的匹配修改处理的图。
[0061]图25是示出图21的匹配修改处理的图。
[0062]图26是示出通过独有特征的学习进行的选择的图。
[0063]图27是示出图21的匹配修改处理的图。
[0064]图28是示出通用个人计算机的配置的示例的图。
【具体实施方式】
[0065]在下文中将描述用于实现本发明的方式(在下文中被称为实施例)。将按照以下顺序进行描述。
[0066]1.第一实施例(使用移动对象的检测的示例)
[0067]2.第二实施例(使用人物的检测的示例)
[0068]〈1.第一实施例>
[0069][监视系统的配置的示例]
[0070]图1是示出应用本技术的实施例的监视系统的配置的示例的图。图1中的监视系统I对需要人物搜索或跟踪的监视区域内的多个区域进行成像，并且基于捕获的图像执行对监视区域内的人物的搜索并且执行对该人物的移动路径的跟踪。监视系统I被配置为包括监视照相机11-1至ll-η、人物搜索和跟踪服务器12以及网络13。
[0071]监视照相机11-1至I l-η被分别安装在由监视系统I覆盖的监视区域中的η个地方，捕获各个监视区域的图像，检测捕获到的图像内的移动对象，并且提取检测到的移动对象的图像。然后，监视照相机11-1至ll-η通过由因特网、公用线路、专用线路等构成的网络13，将包括提取出的移动对象的移动对象图像的移动对象信息供应到人物搜索和跟踪服务器12。移动对象信息是除了移动对象图像以外还包括成像时间、移动对象图像的前景图像、从移动对象图像获得的移动对象的全球坐标、和识别监视照相机11的ID的信息。这里，全球坐标指的是指定移动对象在空间内的位置的坐标信息，并且例如是包括作为指定移动对象在地球上的位置的坐标信息的纬度和经度的坐标信息。在下文中，在不需要具体地将监视照相机11-1至I l-η相互区分开时，监视照相机11-1至I l-η被简称为监视照相机11，并且在其他配置中被称为相同的术语。
[0072]人物搜索和跟踪服务器12获取从监视照相机11供应的移动对象信息，基于包括在移动对象信息中的移动对象图像和该移动对象图像的前景图像来过滤掉并且去除不适合于搜索的图像，并且保持包括适合于搜索的移动对象图像的移动对象信息。人物搜索和跟踪服务器12基于保持的移动对象信息中的关于由用户指定的人物的信息来执行移动对象信息匹配处理，以提取关于指定的人物的移动对象信息。此外，人物搜索和跟踪服务器12基于通过移动对象信息匹配处理提取的移动对象信息来产生并显示由指定的人物的移动路径构成的搜索和跟踪结果的显示图像。此外，人物搜索和跟踪服务器12接收决定信息的输入，该决定信息指示用户针对作为搜索和跟踪结果的移动对象信息的一部分决定所指定的人物，并且人物搜索和跟踪服务器12使用针对其接收了决定信息的移动对象信息来执行匹配修改处理，以修改并更新搜索和跟踪结果。人物搜索和跟踪服务器12显示通过移动对象信息匹配处理或匹配修改处理获得的搜索和跟踪结果，然后，通过接收用户的决定信息的输入并且重复匹配修改处理来提高搜索和跟踪结果的精度。
[0073][监视照相机的第一配置示例]
[0074]接下来，将参照图2的框图来描述监视照相机11的第一配置示例。
[0075]监视照相机11被设置在监视区域的多个位置处，并且被设置为使得通过组合由监视照相机11-1至ll-η捕获的图像来整体上覆盖监视区域中的所有区域。每个监视照相机11包括成像单元31、移动对象检测单元32、前景图像提取单元33、照相机ID存储单元34、成像位置坐标计算单元35、成像时间检测单元36和移动对象信息输出单元37。
[0076]成像单元31被配置为包括CXD (电荷耦合器件)、CM0S (互补金属氧化物半导体)等，并且连续地捕获在可以从监视照相机11所安装的位置成像的范围内的图像。成像单元31捕获运动图像，该运动图像被配置为包括被视为时间上连续的静止图像的图像。因此，由成像单元31捕获的图像可以被处理为以帧为单位或以场为单位的一个图像，并且也可以通过连续地再现图像而被处理为运动图像。下面将在假设连续地捕获被配置为静止图像的图像的情况下进行描述。因此，下面假设图像指示静止图像。
[0077]移动对象检测单元32根据关于由成像单元31捕获的每个图像的时间上的前一图像和后一图像之间的关系来检测在该图像内捕获到移动对象的区域，并且提取包括移动对象所在的区域的矩形图像作为移动对象图像。
[0078]前景图像提取单元33从由移动对象检测单元32提取出的移动对象图像中提取前景图像，该前景图像被配置为包括前景区域和其它区域的二进制值像素。例如，前景图像是前景区域被显示为白色且其它区域被显示为黑色的图像。二进制值可以是表达其它颜色的值，并且图像可以是白色和黑色之间的关系反转的图像。一般地，由于在很多情况下移动对象被成像的区域被配置为移动对象图像中的前景区域，所以前景图像被提取为其中像素值被划分成移动对象图像中的显示移动对象的区域和其它区域的图像。[0079]照相机ID存储单元34存储用来识别监视照相机11-1至ll_n的照相机ID。因此，在产生移动对象信息时，在移动对象信息输出单元37中读取移动对象信息。
[0080]成像位置坐标计算单元35基于关于由成像单元31捕获的图像的信息来计算被检测为移动对象的对象的全球坐标。也就是说，例如，在监视照相机的安装位置被GPS (全球定位系统)(未示出)等识别时，成像位置坐标计算单元35识别成像方向相对于地磁的倾斜角度，基于移动对象在图像内的大小、位置等来获得离被检测为移动对象的对象的距离，并且基于这种信息来计算全球坐标。
[0081]成像时间检测单元36具有产生诸如实时时钟(未示出)的时间信息的功能，并且检测在捕获由成像单元31捕获的每个图像的定时的时间作为成像时间。
[0082]移动对象信息输出单元37针对从由成像单元31捕获的图像提取的每个移动对象图像，基于关于对应的前景图像、照相机ID、移动对象的全球坐标和成像时间的信息来产生包括对应的前景图像、照相机ID、移动对象的全球坐标和成像时间的移动对象信息，然后通过网络13将移动对象信息输出到人物搜索和跟踪服务器12。
[0083][人物搜索和跟踪服务器的第一配置示例]
[0084]接下来，将参照图3的框图来描述人物搜索和跟踪服务器12的第一配置示例。
[0085]人物搜索和跟踪服务器12被配置为包括移动对象信息获取单元51、移动对象信息滤波处理单元52、移动对象信息保持单元53、移动对象信息似然度计算处理单元54、移动对象信息似然度阈值确定单元55、结果存储单元56、显示图像产生单元57、显示单元58、匹配修改处理单元59和操作输入单元60。
[0086]移动对象信息获取单元51获取通过网络13从监视照相机11供应的移动对象信息,临时地存储移动对象信息，并且将移动对象信息供应到移动对象信息滤波处理单元52。
[0087]移动对象信息滤波处理单元52在预定的条件下对从移动对象信息获取单元51供应的移动对象信息进行滤波，只提取适合于人物搜索的移动对象信息，将提取的移动对象信息保持在移动对象信息保持单元53中，并且破坏不适合的移动对象信息。
[0088]更具体地，移动对象信息滤波处理单元52包括检测帧大小确定单元71、前景偏置确定单元72、前景和背景相关度确定单元73、边缘长度确定单元74和多个人数确定单元75。
[0089]检测帧大小确定单元71根据移动对象图像的帧大小是否大于预定的大小来确定移动对象信息是否为适合于人物搜索的移动对象信息。当确定移动对象信息不是适合于人物搜索的移动对象信息时，破坏该移动对象信息。可以凭经验将预定的大小设置为人物搜索所需的最小大小。检测帧大小确定单元71可以基于移动对象图像的帧大小估计被检测为移动对象的人物的身高，并且确定帧大小是否为用于搜索具有估计的身高的人物的最佳的帧大小。也就是说，由于具有小的帧大小的移动对象图像具有低分辨率，所以高的人物被认为不适合人物搜索。另一方面，当人物矮时，移动对象图像的帧大小为小，并且分辨率与高的人物相比没有降低。因此，在这种情况下，矮的人物被认为适合于人物搜索。
[0090]前景偏置确定单元72计算前景图像的前景区域占据移动对象图像的比值。在该比值大于预定的阈值时，包括移动对象图像的移动对象信息被认为不是适合于人物搜索的移动对象信息，因此被破坏。也就是说，由于只捕获前景区域的图像的移动对象图像不适合于人物搜索，所以包括这种移动对象图像的移动对象信息不适合于人物搜索，因此被破坏。[0091]前景和背景相关度确定单元73基于移动对象图像和前景图像获得移动对象图像的前景区域和背景区域之间的相关度。当相关度高时，即，当其中初始搜索的人物要被成像的前景区域是几乎与背景区域相同的图像时，移动对象信息被破坏。也就是说，在这种情况下，由于移动对象(即，人物)在被视为前景区域的区域中不被成像的似然度高，所以移动对象图像被认为不适合于人物搜索，并且前景和背景相关度确定单元73破坏了包括这种移动对象图像的移动对象信息。
[0092]边缘长度确定单元74基于前景图像产生作为前景图像和背景图像之间的边界的边缘图像。在边缘的长度比预定的长度更长时，包括移动对象图像的移动对象信息被认为不适合于人物搜索，因此被破坏。也就是说，在作为移动对象的人物是被正确地提取为前景的前景图像时，其中人物被明确地成像的区域被认为要在移动对象图像中被提取。但是，在从移动对象图像没有正确地提取人物时，在很多情况下以点状形式提取前景区域，而不管人物的形状如何。因此，由于作为前景区域和背景区域之间的边界的边缘的长度变长，所以边缘长度确定单元74认为包括这种移动对象图像的移动对象信息不适合于人物搜索，因此破坏该移动对象信息。
[0093]多个人数确定单元75产生其中水平方向上的前景图像的像素位置被设置为水平轴并且布置在垂直方向上的像素值的积分值被设置为垂直轴的波形，根据在该波形的外形中是否存在多个局部最大值来确定移动对象信息是否适合于人物搜索，然后，破坏不适合于人物搜索的移动对象信息。也就是说，当只有一个人物在移动对象图像中被成像时，通过使得水平方向上的前景图像的像素位置被设置为水平轴并且布置在垂直方向上的像素值的积分值被设置为垂直轴而获得的波形被理解为具有I个凸形和I个局部最大值的波形。但是，当多个人物被成像时，在波形中，局部最大值的数量取决于人物的数量。因此，在这种情况下，移动对象信息被认为不适合于人物搜索。
[0094]移动对象信息保持单元53保持由移动对象信息滤波处理单元52认为适合于人物搜索的移动对象信息，然后，在必要的时候将移动对象信息供应到移动对象信息似然度计算处理单元54和显示图像产生单元57。
[0095]移动对象信息似然度计算处理单元54针对每条移动对象信息计算保持在移动对象信息保持单元53中的移动对象信息中包括的移动对象图像当中的除了标准移动对象信息以外的移动对象信息的移动对象图像相对于标准移动对象信息的移动对象图像似然度，然后，将移动对象图像似然度供应到移动对象信息似然度阈值确定单元55，其中，该标准移动对象信息是包括被指定为搜索目标的移动对象信息的移动对象图像的搜索目标。
[0096]移动对象信息似然度阈值确定单元55确定基于由移动对象信息似然度计算处理单元54获得的移动对象图像而获得的移动对象图像似然度是否高于阈值，然后，将包括具有较高的移动对象图像似然度的移动对象图像的移动对象信息存储在结果存储单元56中。也就是说，移动对象信息似然度阈值确定单元55基于除了作为搜索目标的标准移动对象信息以外的移动对象信息相对于标准移动对象信息的移动对象图像似然度来执行移动对象图像匹配处理，并且提取包括具有较高的移动对象图像似然度的移动对象图像的移动对象信息作为基于移动对象图像而匹配的信息。然后，移动对象信息似然度阈值确定单元55将提取的移动对象信息作为与作为搜索目标的标准移动对象信息匹配的结果存储在结果存储单元56中。[0097]基于作为与指定搜索目标人物的标准移动对象信息匹配的信息存储在结果存储单元56中的移动对象信息，显示图像产生单元57产生显示图像，以显示搜索目标人物的搜索和跟踪结果。然后，显示图像产生单元57在被配置为包括LCD(液晶显示器)或有机EL(电致发光)的显示单元58上显示产生的显示图像。显示单元58显示该显示图像并接收使用操作输入单元60执行的显示图像的操作输入。操作输入单元60根据在充当触摸面板或指点器的显示图像上的操作内容来产生操作信号，并且将操作信号供应到移动对象信息似然度计算处理单元54和匹配修改处理单元59。
[0098]在用户基于在显示单元58上显示的搜索和跟踪结果中显示的移动对象图像来决定搜索目标人物的移动对象图像时，匹配修改处理单元59基于通过操作输入单元60的操作而输入的决定信息来执行匹配修改处理。每当输入决定信息时，匹配修改处理单元59甚至在执行匹配修改处理之后在再次输入决定信息时再次执行匹配修改处理，以重复匹配修改处理。
[0099]更具体地，匹配修改处理单元59包括操作输入识别单元91、BTF计算单元92、时空似然度计算单元93、时空似然度阈值确定单元94、BTF图像处理单元95、BTF图像似然度计算单元96和BTF图像似然度阈值确定单元97。
[0100]操作输入识别单元91基于操作输入单元60的操作信号来识别针对显示在显示单元58上的搜索和跟踪结果中的选择的移动对象信息而输入决定信息。
[0101]BTF计算单元92将被指定为搜索目标的移动对象图像的照相机ID和通过移动对象图像匹配处理或匹配修改处理而搜索的移动对象图像进行比较。在照相机ID彼此不一致时，基于被输入了决定信息的移动对象图像之间或者在被指定为搜索目标的移动对象图像和被输入了决定信息的移动对象图像之间的像素信号，BTF计算单元92计算用来校正由于监视照相机11之间的个体差异、环境差异等引起的图像的颜色的变化的BTF(亮度传递函数)。也就是说，由不同的监视照相机11捕获的图像的颜色即使在实际颜色相同时也由于个体差异、环境差异等而变得不同。但是，当用户确认了被指定为搜索目标的移动对象图像与实际搜索的移动对象图像匹配并且输入了决定信息时，决定在移动对象图像二者中形成相同部分的区域具有相同的颜色。因此，BTF计算单元92通过根据这种关系将标准移动对象图像设置为标准来计算用来校正被确认为匹配的移动对象图像的颜色的BTF。
[0102]时空似然度计算单元93根据包括在被输入了决定信息的移动对象信息中的全球坐标和包括在结果存储单元56中存储的另一条移动对象信息中的全球坐标之间的差来获得移动距离，然后根据以平均人物移动速度行驶该移动距离所花费的平均必要时间和在移动对象信息的成像时间之间的时间来计算移动对象信息的时空似然度。
[0103]也就是说，当时空似然度对应于成像时间之间的时间与在各条移动对象信息之间花费的平均必要时间的比值时，时空似然度被认为随着该比值越接近I而越高，并且时空似然度被认为随着该比值越远离I而越低。此外，在这种情况下，时空似然度随着该比值越接近O而变得相当小，并且时空似然度随着该比值超过I且变得更大而逐渐地变得更小。也就是说，在成像时间之间的时间接近O时，随着空间距离变得更大，移动可能不是实际上可能的，因此时空似然度此时变得相当小。另一方面，当成像时间之间的时间长时，存在以比平均移动速度更慢的速度移动空间距离的似然度。此时的时空似然度低于当比值为I时的时空似然度，但是可以实现移动。因此，该时空似然度高于当成像时间之间的时间为O时的时空似然度。
[0104]时空似然度阈值确定单元94确定被输入了决定信息的移动对象信息与存储在结果存储单元56中的其它移动对象信息的时空似然度是否低于预定的阈值。当时空似然度低于预定的阈值时，从结果存储单元56删除移动对象信息。
[0105]在时空似然度不低于预定的阈值、并且获得了在没有输入决定信息且存储在结果存储单元56中的各条移动对象信息当中的被输入了决定信息的移动对象信息的移动对象图像之间的BTF时，BTF图像处理单元95对包括在移动对象信息中的移动对象图像执BTF颜色转换处理。
[0106]BTF图像似然度计算单元96计算BTF图像似然度，该BTF图像似然度是使用作为被输入了决定信息的移动对象信息的移动对象图像的各个像素信号的移动对象图像与没有输入决定信息且经过BTF颜色转换处理的移动对象图像之间的似然度。
[0107]BTF图像似然度阈值确定单元97将由BTF图像似然度计算单元96计算出的BTF图像似然度与预定的阈值进行比较，并且从结果存储单元56删除包括BTF图像似然度低于预定的阈值的移动对象图像的移动对象信息。
[0108][由图2中的监视照相机进行的成像处理]
[0109]接下来，将参照图4的流程图来描述由图2中的监视照相机11进行的成像处理。
[0110]在步骤SI中，监视照相机11的成像单元31连续地捕获由可以在安装位置处被监视的监视区域的静止图像或运动图像构成的图像。
[0111]在步骤S2中，移动对象检测单元32通过针对由成像单元31捕获的每个图像比较前一图像和后一图像来检测移动对象，并且产生包括存在检测到的移动对象的区域的矩形移动对象图像。例如，当由成像单元31捕获的图像是以固定的方式捕获的图像时，在静止的前景区域中没有变化。另一方面，由于在存在图像内的移动对象的区域中的任何移动而导致在图像上发生变化。因此，移动对象检测单元32检测发生变化的区域作为存在移动对象的区域，并且通过修剪包括存在移动对象的检测区域的矩形图像来产生移动对象图像。
[0112]在步骤S3中，前景图像提取单元33从由移动对象检测单元32产生的移动对象图像提取前景图像，例如产生前景区域被设置为白色且其它区域被设置为黑色并且由二进制值表达的前景图像。
[0113]在步骤S4中，成像位置坐标计算单元35基于移动对象图像中存在的移动对象的位置或大小来计算成像方向、角度和距离，并且基于监视照相机被安装的全球坐标来计算作为被摄体的移动对象的全球坐标。也就是说，例如，基于移动对象图像，成像位置坐标计算单元35计算由移动对象在地球上的纬度和经度等表达的坐标位置作为全球坐标。
[0114]在步骤S5中，成像时间检测单元36基于由实时时钟(未示出)产生的时间信息来检测在捕获图像的定时的时间信息作为成像时间。
[0115]在步骤S6中，移动对象信息输出单元37从照相机ID存储单元34读取照相机ID，并且产生被统称为移动对象信息的移动对象图像、前景图像、全球坐标和成像时间。
[0116]在步骤S7中，移动对象信息输出单元37通过诸如因特网的网络13将产生的移动对象信息输出到人物搜索和跟踪服务器12。
[0117]通过前景处理，由每个监视照相机11针对每个监视区域捕获图像，从捕获的图像检测移动对象，并且提取移动对象图像。然后，被配置为包括移动对象图像以及关于移动对象图像的前景图像、移动对象图像中的移动对象的全球坐标和捕获图像的成像时间的信息的移动对象信息被产生并供应到人物搜索和跟踪服务器12。
[0118][移动对象信息滤波处理]
[0119]接下来，将参照图5的流程图描述由人物搜索和跟踪服务器12执行的移动对象信息滤波处理。
[0120]在步骤S21中，移动对象信息获取单元51获取并存储通过网络13从监视服务器11顺次地供应的移动对象信息。
[0121]在步骤S22中，移动对象信息滤波处理单元52将存储在移动对象信息获取单元51中的移动对象信息当中的一条未处理的移动对象信息设置为作为处理目标的关注的移动对象信息。
[0122]在步骤S23中，检测帧大小确定单元71提取包括在关注的移动对象信息中的移动对象图像。
[0123]在步骤S24中，检测帧大小确定单元71确定关注的移动对象信息的移动对象图像的帧大小是否在预定的范围内。也就是说，例如，在移动对象图像的帧大小为小时，难以提取用于人物搜索的特征量，因此检测帧大小确定单元71确定帧大小是否是在可以充分地提取人物搜索所需的特征量等并且适合于人物搜索的预定范围内的帧大小。
[0124]当检测帧大小确定单元71在步骤S24中确定关注的移动对象信息的移动对象图像的帧大小在预定范围内并且认为移动对象图像不是不适合于人物搜索的移动对象图像时，本处理前进到步骤S25。相反，当在步骤S24中确定关注的移动对象信息的移动对象图像的帧大小不在预定的确定大小内时，移动对象信息滤波处理单元52在步骤S34中破坏关注的移动对象信息。
[0125]在步骤S25中，前景偏置确定单元72从关注的移动对象信息提取前景图像。
[0126]在步骤S26中，前景偏置确定单元72计算前景区域的分布占据整个移动对象图像中的提取的前景图像的区域的比值，并且确定该比值是否大于预定的阈值以及在移动对象图像内的前景区域中是否存在偏置。也就是说，例如，在由图6的图像Pl指示的移动对象图像的情况下，示出了人物的头后部、肩部等。在这种情况下，前景图像是由图6的图像P2指示的图像。在图像P2的情况下，因为由直线矩形包围的范围具有前景区域的大的比值，所以该图像可以说不适合于人物搜索。因此，在这种情况下，由于前景区域的分布占据的比值大于预定的阈值，并且在前景区域的比值中存在偏置，所以前景偏置确定单元72认为该图像不适合于人物搜索，并且在步骤S34中破坏关注的移动对象信息。
[0127]相反地，当在步骤S26中基于关于前景图像的信息确定前景区域与移动对象图像的比值小于预定的阈值并且在前景区域的比值中没有偏置时，本处理前进到步骤S27。
[0128]在步骤S27中，基于移动对象图像和前景图像，前景和背景相关度确定单元73计算构成前景区域的白色区域和其它区域(即，移动对象图像中的背景区域)之间的相关度。例如，前景和背景相关度确定单元73产生前景区域和背景区域中的每个的每一种颜色的直方图，并且获得颜色之间的最大差的倒数作为相关度。在这种情况下，相关度值越大，相关度就越闻。相反，相关度值越小，相关度就越低。
[0129]在步骤S28中，前景和背景相关度确定单元73确定获得的相关度是否大于预定的阈值，即，在前景图像中是否没有发生变化并且背景图像和前景是否被认为不是移动对象。例如，在步骤S28中，当移动对象图像是图像Pll并且前景图像是图像P12时，如图7所示，白色区域和黑色区域之间的相关度被认为高，并且认为不存在移动对象，如图像P12所示。因此，前景和背景相关度确定单元73认为相关度值大于预定的阈值，因此在步骤S34中破坏关注的移动对象信息。
[0130]例如，当在成像范围内的同一位置处长时间存在作为人物的移动对象，并且该人物被成像的区域由此被认为是背景图像的区域、然后该人物移动到成像范围之外时，出现图7中示出的移动对象图像Pll和前景图像P12，并且直到此时该人物所在的区域被检测为移动对象。也就是说，由于该人物在前景图像P12中由白色指示的区域中长时间存在，所以该区域被认为是包括该人物所在的区域的背景图像。此后，当该人物移动到成像范围之外时，直到此时该人物所在的前景图像的白色区域被认为是移动对象所在的区域。因此，不管原本应该是移动对象的人物不存在的事实，移动对象图像Pll成为通过检测移动对象而因此获得的图像。
[0131]相反地，当在步骤S28中相关度值小于预定的阈值，移动对象存在于前景区域中并且其它区域因此被认为是背景区域时，本处理前进到步骤S29。
[0132]在步骤S29中，边缘长度确定单元74基于前景图像获得由前景图像和背景图像之间的边界形成的边缘图像，并且获得边缘长度，该边缘长度是包括在获得的边缘图像中的边缘的长度。
[0133]在步骤S30中，边缘长度确定单元74确定获得的边缘长度是否短于预定的阈值。当边缘长度不短于预定的阈值时，本处理前进到步骤S34，并且破坏关注的移动对象信息。也就是说，例如，如图8的图像P21所示，当图像是人物的背面图像时，该人物的服装的颜色类似于背景的颜色，由此前景区域没有被正确地提取，并且前景图像可能成为如图像P22一样的图像。如图像P22所示，当以点状形式提取前景区域时，前景区域变成不适合于人物搜索。在这种情况下，当基于作为前景图像的图像P22提取边缘图像时，示出如图像P23 —样的图像。在这种情况下，由于以点状形式获得前景区域，所以边缘长度变得更长。因此，当基于边缘图像获得边缘长度并且该边缘长度比预定的阈值更长时，认为没有获得正确的前景区域，因此破坏关注的移动对象信息。
[0134]相反地，当在步骤S30中边缘长度被认为短于预定的长度时，本处理前进到步骤S31。
[0135]在步骤S31中，多个人数确定单元75提取前景图像并产生向量，在该向量中，针对水平方向上的每个坐标位置存在于垂直方向上的像素值之和被设置为分量。也就是说，当与图9的图像P31中示出的移动对象图像相对应的前景图像是图像P32时，获得如下波形，在该波形中，前景图像在水平方向上的坐标位置被设置为水平轴，并且针对水平方向上的每个坐标位置的垂直方向上的像素值之和被设置为垂直轴，如上面图像P32所示。因此，多个人数确定单元75计算与该波形相对应的向量V。例如，当前景图像的坐标被表达为(X，y)(其中，X = xl, x2, χ3,..., χη,并且y = yl, y2, y3,..., ym)并且前景图像的像素值被表达为P(x，y)时，获得的向量V被表达为如下。
[0136]V = (P (xl, yl) +P (xl, y2) +...+P (xl, ym), P (x2, yl) +P (x2, y2) +...+P (x2, ym), P (x3, yl) +P (x3, y2) +...+P (x3, ym) +.., P (xn, yl) +P (xn, y2) +...P (xn, ym))
[0137]在步骤S32中，多个人数确定单元75计算当单个人物在移动对象图像内被成像时的向量V和向量Vl之间的相关度，并且确定计算出的相关度是否大于预定的阈值。也就是说，如图9的图像P31所示，当单个人物被成像为移动对象图像时，其中水平方向上的前景图像P32的坐标位置被设置为水平轴、并且针对水平方向上的每个坐标位置的垂直方向上的像素值之和被设置为垂直轴的波形具有一个局部最大值，并且还具有带一个凸波形形状的外形。另一方面，例如，如图像P41所示，当4个人物被成像时，获得图像P42作为前景图像。因此，如上面图像P42所示，具有针对水平方向上的每个坐标位置的垂直方向上的像素值之和的波形具有与人数对应的4个局部最大值，并且还具有带4个凸波形形状的外形。
[0138]由于上述向量V对应于具有波形的外形的波形，所以在单个人物的成像时的向量Vl对应于具有一个局部最大值并且还具有凸波形的波形，如上面图像P32所示，因此相关度变高。另一方面，在多个人物被成像的前景图像的情况下，多个局部最大值被包括在内，并且形成具有多个凸波形形状的外形，如上面图像P42所示。因此，向量V和向量Vl之间的相关度变低。
[0139]因此，当在步骤S32中计算出的相关度不高于预定的阈值时，多个人数确定单元75认为多个人物被包括在移动对象图像内，因此本处理前进到步骤S34，并且破坏关注的移动对象信息。
[0140]相反地，当在步骤S32中计算出的相关度高于预定的阈值时，认为只有单个人物包括在移动对象图像内，并且本处理前进到步骤S33。
[0141 ] 在步骤S33中，移动对象信息滤波处理单元52认为关注的移动对象信息是适合于人物搜索的移动对象信息，并且在移动对象信息保持单元53中保持关注的移动对象信息。
[0142]在步骤S35中，移动对象信息滤波处理单元52确定在移动对象信息获取单元51中是否存在未处理的移动对象信息。当存在未处理的移动对象信息时，本处理返回到步骤S22。也就是说，重复步骤S22至S35的处理，直到没有未处理的移动对象信息为止。另外，当在步骤S35中确定没有未处理的移动对象信息时，本处理结束。
[0143]也就是说，通过对从监视照相机11顺次地供应的移动对象信息的前述处理，只有帧大小在预定的范围内、在前景图像中没有偏置、前景图像和背景图像之间的相关度小于预定的阈值、前景图像的边缘图像的边缘长度短于预定的长度并且只考虑单个人物被成像的移动对象图像被认为是适合于人物搜索的移动对象图像，并且只有包括这种移动对象图像的移动对象信息通过移动对象信息滤波处理作为适合于人物搜索的移动对象信息被保持在移动对象信息保持单元53中。
[0144]例如，如图10中示出的状态LI所示，当从监视照相机11供应的移动对象信息中包括的移动对象图像是移动对象图像PlOl至P118时，如下通过移动对象信息滤波处理来对移动对象信息进行滤波。
[0145]如状态L2所示，通过步骤S23和S24的处理，破坏包括其中帧大小不在预定的范围内且帧大小为小并且在图中由对角线绘制的移动对象图像P106、P107和P112的移动对象信息，由此保持包括状态L3中示出的移动对象图像的移动对象信息。
[0146]接下来，如状态L3所示，通过步骤S25和S26的处理，破坏包括其中在前景图像中存在偏置且前景区域的比值高的移动对象图像P104、P105、P110和P115的移动对象信息，由此保持包括状态L4中示出的移动对象图像的移动对象信息。
[0147]此外，如状态L4所示，通过步骤S27和S28的处理，破坏包括其中前景图像和背景图像之间的相关度高且很少包括作为移动对象的人物的移动对象图像P101、P117和P118的移动对象信息，由此保持包括状态L5中所示的移动对象图像的移动对象信息。移动对象图像P118是对应于图7的图像Pll的图像，并且前景图像是P12。
[0148]如状态L5所示，通过步骤S29和S30的处理，破坏包括其中前景图像的前景区域没有被正确地提取的移动对象图像P108的移动对象信息，由此保持包括状态L6中所示的移动对象图像的移动对象信息。移动对象图像P108是对应于图8的图像P21的图像。
[0149]此外，如状态L6所示，通过步骤S31和S32的处理，破坏包括其中多个人物被成像的移动对象图像P103、Plll和P116的移动对象信息，由此保持包括状态L7中所示的移动对象图像的移动对象信息。
[0150]以此方式，从监视照相机11供应的移动对象图像PlOl至P118中的仅仅包括对于人物搜索来说最优的移动对象图像P102、P109、P113和P114的移动对象信息被保持在移动对象信息保持单元53中。
[0151]结果，由于有可能只有包括适合于人物搜索的移动对象图像的移动对象信息通过移动对象信息滤波处理被滤波且被保持在移动对象信息保持单元53中，所以可以提高人物搜索的精度。通过破坏不适合于人物搜索的移动对象信息，可以快速地执行人物搜索所需的并且下面将参照图11描述的移动对象信息匹配处理。
[0152][移动对象信息匹配处理]
[0153]接下来，将参照图11的流程图描述由人物搜索和跟踪服务器12执行的移动对象信息匹配处理。
[0154]在步骤S51中，显示图像产生单元57在显示单元58上显示保持在移动对象信息保持单元53中的移动对象信息中的移动对象图像的列表，并且显示该显示图像以提示选择指示搜索目标人物的移动对象图像。
[0155]在步骤S52中，移动对象信息似然度计算处理单元54确定操作输入单元60是否被操作，并且选择指定搜索目标人物的移动对象图像。在没有选择指定搜索目标人物的移动对象图像时，本处理返回到步骤S51。也就是说，重复步骤S51和S52的处理，直到指定搜索目标人物的移动对象图像被指定。然后，当在步骤S52中用于指定搜索目标人物的移动对象图像被指定时，本处理前进到步骤S53。
[0156]在步骤S53中，移动对象信息似然度计算处理单元54将保持在移动对象信息保持单元53中的移动对象信息中的对应于被指定为搜索目标的移动对象图像的移动对象信息设置为标准移动对象信息，并且将其他移动对象信息设置为未处理的移动对象信息。
[0157]在步骤S54中，移动对象信息似然度计算处理单元54读取保持在移动对象信息保持单元53中的一条未处理的移动对象信息，并且将读取的移动对象信息设置为关注的移动对象信息。
[0158]在步骤S55中，移动对象信息似然度计算处理单元54计算作为包括在标准移动对象信息中的移动对象图像和包括在关注的移动对象信息中的移动对象图像之间的似然度的移动对象图像似然度，并且将计算出的移动对象图像似然度与关注的移动对象信息一起供应到移动对象图像似然度阈值确定单元55。也就是说，例如，当标准移动对象信息和关注的移动对象信息中成像的人物彼此更加相似时，移动对象信息似然度计算处理单元54基于更高的相似性来计算移动对象图像似然度。[0159]在步骤S56中，移动对象图像似然度阈值确定单元55确定供应的移动对象图像似然度是否高于预定的阈值。也就是说，移动对象图像似然度阈值确定单元55基于移动对象图像似然度是否高于预定的阈值来确定标准移动对象信息和关注的移动对象信息的移动对象图像的人物是否相互一致。当在步骤S56中认为移动对象图像似然度高于预定的阈值，并且标准移动对象信息和关注的移动对象信息的移动对象图像的人物相互匹配(相互一致)时，本处理前进到步骤S57。
[0160]在步骤S57中，移动对象图像似然度阈值确定单元55在结果存储单元56中存储关注的移动对象信息。此时，移动对象信息似然度计算处理单元54将保持在移动对象信息保持单元53中的关注的移动对象信息设置为处理后的移动对象信息。
[0161]相反地，当在步骤S56中认为移动对象图像似然度不高于预定的阈值，并且标准移动对象信息和关注的移动对象信息的移动对象图像的人物相互不匹配(相互不一致)时，本处理前进到步骤S59。
[0162]在步骤S59中，移动对象图像似然度阈值确定单元55破坏关注的移动对象信息。然后，移动对象信息似然度计算处理单元54将保持在移动对象信息保持单元53中的关注的移动对象信息设置为处理后的移动对象信息。
[0163]在步骤S58中，移动对象信息似然度计算处理单元54确定在移动对象信息保持单元53中是否保持有未处理的移动对象信息。例如，当保持有未处理的移动对象信息时，本处理前进到步骤S54。也就是说，重复步骤S54至S59的处理，直到在移动对象信息保持单元53中没有未处理的移动对象信息为止，从而对所有的移动对象信息和标准移动对象信息的移动对象图像重复匹配处理。
[0164]当在步骤S58中认为未处理的移动对象信息被认为没有保持在移动对象信息保持单元53中时，本处理前进到步骤S60。
[0165]在步骤S60中，显示图像产生单元57基于存储在结果存储单元56中的移动对象信息来产生指示搜索和跟踪结果的显示图像。
[0166]在步骤S61中，显示图像产生单元57在显示单元58上显示指示搜索和跟踪结果的显示图像。例如，指示搜索和跟踪结果的显示图像是如图12所示的图像P201。
[0167]在图12所示的图像P201中，基于存储在结果存储单元56中的移动对象信息，将指示与搜索目标人物相同的人物的移动对象图像被捕获的位置的图A至E显示在与监视区域Z中的全球坐标相对应的位置处。区域Zl和Z2指示监视区域内的对象。将包括在每条移动对象信息中的移动对象图像被捕获的成像时间显示在指示检测到被认为是搜索目标的人物的位置的图A至E中的每个之上。在本情况下，图A至E的成像时间被示出为1:00:00、1:00:05、1:00:09、1:00:18和1:00:20。此外，在这些位置处捕获的移动对象图像通过铅线被附加到图A至E，因此移动对象图像PA至PE分别被附加到图A至E。
[0168]当指示搜索和跟踪结果的图像P201被显示时，用户可以识别出被指定为搜索目标的人物从由图A指示的位置何时依次地经过由图B、C、D和E指示的位置。
[0169]当用户在视觉上确认移动对象图像PA至PE在显示图像P201中以从图A至E通过铅线连接的状态显示，并且确认该人物是搜索目标时，用户可以用操作输入单元60通过选择来输入决定信息。当输入决定信息时，可以执行下面参照图13的流程图描述的匹配修改处理，并且可以修改搜索和跟踪结果，以使得可以以更高的精度获得搜索和跟踪结果。[0170]这里，将返回参照图11的流程图来进行描述。
[0171]在步骤S62中，匹配修改处理单元59基于关于从显示图像产生单元57供应的显示图像P201的信息和从操作输入单元60供应的操作信号来确定是否选择在显示图像P201中示出的移动对象图像PA至PE中的一个，输入决定信息，并且指示匹配修改处理。
[0172]当在步骤S62中选择在显示图像P201中示出的移动对象图像PA至PE中的一个并输入决定信息时，认为要指示匹配修改处理，并且本处理前进到步骤S63。
[0173]在步骤S63中，匹配修改处理单元59执行匹配修改处理，并且显示经过修改处理的人物搜索和跟踪结果。下面将参照图13详细地描述该匹配修改处理。
[0174]在步骤S64中，匹配修改处理单元59确定是否指示结束。当未指示结束时，本处理返回到步骤S61。也就是说，指示人物搜索和跟踪结果的显示画面P201被连续地显示在显示单元58上。相反地，当在步骤S64中指示结束时,本处理结束。
[0175]通过经由前述的移动对象信息匹配处理仅仅指定搜索目标人物的移动对象图像，可以基于移动对象图像来搜索与搜索目标人物一致的移动对象信息，并且可以根据作为搜索结果的移动对象信息来显示指示搜索目标人物的移动路径的搜索和跟踪结果。上面已经描述了这样的示例，其中，当指定搜索目标人物时，从保持在移动对象信息保持单元53中的移动对象信息的移动对象图像中指定人物。但是，可以通过使得能够分开地输入除了由监视照相机11捕获的图像以外的图像并且以与移动对象图像相同的方式处理该图像来指定搜索目标人物。
[0176][图11的匹配修改处理]
[0177]接下来，将参照图13的流程图描述由人物搜索和跟踪服务器12执行的图11的匹配修改处理。
[0178]在步骤S81中，匹配修改处理单元59将指示包括由操作输入单元60输入了决定信息的移动对象图像的信息与移动对象信息相关联地存储。由于决定了被输入了决定信息的移动对象信息是通过移动对象图像匹配处理适当地提取的移动对象信息，所以在后续的处理中从搜索目标中排除移动对象信息并将该移动对象信息连续地存储在结果存储单元53中。
[0179]在步骤S82中，匹配修改处理单元59将存储在结果存储单元56中的移动对象信息当中的没有输入决定信息的所有的移动对象信息设置为未处理的移动对象信息。
[0180]在步骤S83中，匹配修改处理单元59将存储在结果存储单元56中的移动对象信息当中的最近被输入了决定信息的移动对象信息设置为标准移动对象信息。
[0181]在步骤S84中，BTF计算单元92确定是否可以计算BTF。在步骤S84中，第一 BTF可计算条件是存在包括具有与包括在标准移动对象信息中的照相机ID不同的照相机ID的另一个移动对象图像且被输入了决定信息的移动对象信息的情况。第二 BTF可计算条件是存在被输入了决定信息的两个或更多个移动对象图像并且这些移动对象图像由具有不同的照相机ID的不同的监视照相机11捕获的情况。因此，基于在结果存储单元56中是否存在满足前述两个条件中的一个的移动对象信息，BTF计算单元92确定是否可以计算BTF。当在步骤S84中可以计算BTF时，在步骤S85中，尽管在标准移动对象信息中包括移动对象图像或者不同的照相机ID，BTF计算单元92通过使用关于被输入了决定信息的移动对象图像之间的像素值的信息执行BTF计算处理来计算BTF。BTF是指示包括由两个不同的照相机ID指定的监视照相机11成像的同一被摄体的移动对象图像的颜色之间的相互对应关系的函数。因此，当计算BTF时，不管是否存在决定信息，可以通过使用BTF对由具有不同的照相机ID的两个监视照相机11捕获的移动对象图像中的一个执行颜色转换来执行颜色校正。通过颜色校正处理，可以校正由于不同的监视照相机11之间的监视区域的成像环境光的差异或者成像单元31的图像传感器的个体差异等引起的颜色的变化。结果，由两个不同的监视照相机11捕获的移动对象图像经过颜色校正，就好像移动对象图像是由同一监视照相机11捕获的一样。因此，可以更加准确地计算移动对象图像之间的移动对象图像似然度。
[0182]BTF 计算处理的细节可以参考"Appearance modeling for tracking in multiplenon-overlapping cameras〃by 0.JavedjK.Shafique and M.Shah, In IEEE Int.Conf.0nComputer Vis1n and Pattern Recognit1n pp.26to33，2005。
[0183]另一方面，当在步骤S84中由一种监视照相机11捕获了被输入了决定信息的移动对象图像时，BTF被认为不是可计算的，并且跳过步骤S85的处理。
[0184]在步骤S86中，时空似然度计算单元93将存储在结果存储单元56中并且是排除了标准移动对象信息的移动对象信息的移动对象信息当中的一条未处理的移动对象信息设置为关注的移动对象信息。
[0185]在步骤S87中，时空似然度计算单元93基于关于包括在标准移动对象信息和关注的移动对象信息中的全球坐标和成像时间的信息来计算时空似然度。更具体地，例如，时空似然度计算单元93根据包括在标准移动对象信息中的全球坐标和包括在关注的移动对象信息中的全球坐标之间的差来获得移动距离，并且基于移动对象信息的成像时间之间的时间与以平均人物移动速度行进该移动距离所花费的平均必要时间的比值来计算移动对象信息的时空似然度。
[0186]在步骤S88中，时空似然度阈值确定单元94确定计算出的时空似然度是否高于预定的阈值。例如，当指示人物搜索和跟踪结果的显示图像是如手Hl所示的在图14的上部中示出的显示图像、由操作输入单元60选择对应于图A的移动对象图像PA、并且输入决定信息时，对应于图A的移动对象信息成为标准移动对象信息。在图14的显示图像的情况下，在对应于图A至E的移动对象信息中成像时间分别是1:00:00、1:00:05、1:00:10、1:00:15和1:00:05。图A和B是与由同一监视照相机11捕获的移动对象图像PA和PB相对应的移动对象信息，该监视照相机11对由相同的虚线形成的三角形指示的成像区域CamA进行成像。同样地，图C和D是与由同一监视照相机11捕获的移动对象图像PC和H)相对应的移动对象信息，该监视照相机11对由虚线形成的三角形指示的成像区域CamB进行成像。此夕卜，图E是与由监视照相机11捕获的移动对象图像PE相对应的移动对象信息，该监视照相机11对由虚线形成的三角形指示的成像区域CamC进行成像。
[0187]在这种情况下，当对应于图B的移动对象信息是关注的移动对象信息并且假设图A和B之间的距离为距离AB时，移动对象信息的成像时间之间的时间与以平均人物移动速度行进移动距离所花费的平均必要时间的比值是5/(AB/w)。这里，w指示平均人物移动速度。例如，当距离AB是5m并且平均人物移动速度是lm/s时，该比值是1，并且时空似然度是最高值。同样地，当对应于图C和D的移动对象信息是关注的移动对象信息并且假设图A和C之间的距离以及图A和D之间的距离为距离AC和距离AD时，移动对象信息的成像时间之间的时间与以平均人物移动速度行进这些移动距离所花费的平均必要时间的比值分别是10/ (AC/w)和15/ (AD/w)。例如，当距离AC和AD分别是1m和15m并且平均人物移动速度是lm/s时，比值都是1，并且时空似然度是最高值。
[0188]因此，当在步骤S88中时空似然度是最高值时，时空似然度阈值确定单元94认为时空似然度高于预定的阈值，并且本处理前进到步骤S89。
[0189]另一方面，当对应于图E的移动对象信息是关注的移动对象信息并且假设图A和E之间的距离为距离AE时，移动对象信息的成像时间之间的时间与以平均人物移动速度行进该移动距离所花费的平均必要时间的比值是5/(AE/w)。也就是说，例如，当距离AE是25m并且平均人物移动速度是lm/s时，行进25m花费了约5秒。因此，比值是0.2，并且时空似然度是低值。当在步骤S88中时空似然度低时，时空似然度阈值确定单元94认为时空似然度低于预定的阈值，并且本处理前进到步骤S96。
[0190]在步骤S96中，匹配修改处理单元59从结果存储单元56擦除关注的移动对象信息。也就是说，当指示在图14的图像P211中示出的搜索和跟踪结果的图像被显示、并且在对应于图A的移动对象图像PA中输入了决定信息时，基于时空信息擦除可能不存在同一人物的图E的移动对象信息，如下面在图14的显示图像中示出的表中所示。由于仅使用移动对象图像在移动对象信息匹配处理中错误地检测到的搜索和跟踪结果可以通过这些处理被排除，所以可以以更高的精度来实现搜索目标人物的人物搜索和跟踪。
[0191]在步骤S89中，BTF图像处理单元95确定是否获得了 BTF。例如，当没有获得BTF时，本处理前进到步骤S93。
[0192]在步骤S93中，匹配修改处理单元59将存储在结果存储单元56中的移动对象信息当中的作为关注的移动对象信息的移动对象信息设置为处理完成。
[0193]在步骤S94中，显示图像产生单元57反映结果存储单元56的更新结果，更新并产生指示搜索和跟踪结果的图像，并且在显示单元58上显示图像。也就是说，例如，如图15的上部中的显示画面所示，擦除并显示对应于图E的显示。在图15中，为了指示擦除显示，十字标记的符号被表示。但是，在实践中，显示自身被擦除。
[0194]在步骤S95中，时空似然度计算单元93确定在存储在结果存储单元56中并且作为除了标准移动对象信息以外的移动对象信息的移动对象信息当中是否存在未处理的移动对象信息。当存在未处理的移动对象信息时，本处理返回到步骤S86。也就是说，只要存在未处理的移动对象信息，就重复步骤S86至S96的处理。然后，当在步骤S95中认为不存在未处理的移动对象信息时，本处理前进到步骤S97。
[0195]在步骤S97中，当操作输入单元60被操作、选择对应于一条移动对象信息的移动对象图像、并输入决定信息时，操作输入识别单元91确定是否另外指示匹配修改处理。例如，如图15的手H2所示，当在步骤S97中操作输入单元60被操作、选择对应于图C的移动对象图像PC、并输入决定信息时，本处理返回到步骤S81，并且另外执行匹配修改处理。
[0196]此时，在步骤S84中，由于被输入了决定信息的移动对象图像是两个移动对象图像PA和PC，并且识别捕获移动对象图像的监视照相机11的照相机ID相互不同，所以BTF可被认为是可计算的。
[0197]因此，在这种情况下，在步骤S85中，BTF计算单元92使用对应于图C的移动对象信息的移动对象图像PC和对应于图A的移动对象信息的移动对象图像PA来计算BTF。在这种情况下，由于标准移动对象信息是对应于图C的移动对象图像PC的移动对象信息，所以获得的BTF被假设是用来使用由对成像区域CamB进行成像的监视照相机11捕获的移动对象图像PC的颜色作为标准来校正由对成像区域CamA进行成像的监视照相机11捕获的移动对象图像PA的颜色的变化的函数。
[0198]结果，当关注的移动对象信息是与在成像区域CamA中捕获的移动对象图像PB相对应的移动对象信息时，BTF被认为是在步骤S89中获得的，因此本处理前进到步骤S90。
[0199]在步骤S90中，BTF图像处理单元95通过使用计算出的BTF转换关注的移动对象信息的移动对象图像的颜色来执行颜色校正。也就是说，在本情况下，BTF图像处理单元95通过对图15中的移动对象图像PB应用BTF来执行颜色校正，以对应于由对成像区域CamB进行成像的监视照相机11捕获的标准移动对象信息的移动对象图像PC的颜色。
[0200]在步骤S91中，BTF图像似然度计算单元96计算BTF图像似然度，该BTF图像似然度是标准移动对象信息的移动对象图像与作为关注的移动对象信息的移动对象图像并且经过了 BTF的颜色转换的移动对象图像之间的似然度。BTF图像似然度基本上与移动对象信息似然度计算处理单元54中的似然度相同。
[0201]在步骤S92中，BTF图像似然度阈值确定单元97基于计算出的BTF图像似然度是否高于预定的阈值，确定标准移动对象信息的移动对象图像是否与经过了 BTF的颜色转换的关注的移动对象信息的移动对象信息匹配。当在步骤S92中BTF图像似然度高于预定的阈值时，本处理前进到步骤S93。也就是说，在这种情况下，关注的移动对象信息的移动对象?目息保持在结果存储单兀56中。
[0202]相反地，当在 步骤S92中BTF图像似然度低于预定的阈值时，本处理前进到步骤S96。也就是说，在这种情况下，通过步骤S96的处理，从结果存储单元56擦除关注的移动对象信息的移动对象信息。
[0203]也就是说，如图15的下部中的表所示，当决定信息被输入到对应于图A的移动对象图像PA、并且决定信息随后被输入到对应于图C的移动对象图像PC时，获得用来使用由对成像区域CamB进行成像的监视照相机11捕获的图像的颜色作为标准来校正由对成像区域CamA进行成像的监视照相机11捕获的图像的颜色的BTF。然后，对应于图B并且包括时空似然度高于预定的阈值且BTF图像似然度高于预定的阈值的移动对象图像的移动对象信息保持在结果存储单元56中。另一方面，从结果存储单元56擦除对应于图D并且包括时空似然度高于预定的阈值且BTF图像似然度低于预定的阈值的移动对象图像的移动对象信息。在图15的下部的表中对于图A绘制对角线的原因是，移动对象信息是已经被输入了决定信息的移动对象信息，因此不是处理目标。
[0204]也就是说，当在前述匹配修改处理中用户输入了决定信息时，基于决定信息再次重复地执行匹配校正处理。因此，当输入了决定信息时，可以提高搜索和跟踪结果的精度。当对于由不同的监视照相机11捕获的移动对象图像输入了决定信息时，可以获得BTF。因此，由于在考虑时空似然度之后基于与监视照相机11之间的颜色的变化相对应的BTF图像似然度来执行匹配修改处理，所以可以以更高的精度执行人物搜索和跟踪。
[0205]由于可以仅仅计算标准移动对象信息的移动对象图像与关注的移动对象信息的移动对象图像的BTF、和与仅仅两个监视照相机11相对应的BTF，所以减少了 BTF的计算的处理负荷，从而提高了与BTF的计算有关的处理速度。[0206]上面描述了通过如下步骤来重复匹配修改处理的示例:指定搜索目标人物，搜索关于搜索目标人物的移动对象信息，根据搜索结果来显示指示人物搜索和跟踪结果的显示图像，随后输入决定信息。但是，通过以各种方式改变搜索目标人物，本技术可以应用于各种使用。
[0207]例如，通过将陌生人或嫌疑人设置为搜索目标人物，可以根据人物搜索和跟踪结果来确认陌生人或嫌疑人的移动历史，并且可以在实践中确认是否存在疑点。更具体地，例如，当在公司内部发现不是公司成员的嫌疑人时，可以通过将外部嫌疑人设置为搜索目标人物来确认外部嫌疑人的移动历史。因此，例如，当外部嫌疑人入侵到在不携带员工身份证的情况下禁止进入的地方时，可以确认外部嫌疑人入侵到该地方。因此，本技术可以用在所谓的安全系统中。
[0208]例如，通过将作为商店的各楼层上的搜索目标人物的多个用户设置为搜索目标人物，可以根据人物搜索和跟踪结果来确认在每个楼层上移动的用户在每个楼层上行走的移动路径。因此，该信息可应用于商店。更具体地，例如，由于可以确认用户在客户的楼层内的移动历史，并且可以基于移动历史最佳地改变产品的布局，所以本技术可以用在所谓的营销研究系统中。
[0209]<2.第二实施例>
[0210]上面描述了使用通过移动对象检测而检测到的移动对象信息来获得人物的移动历史的示例。但是，通过使用经由人物检测而不是移动对象检测而检测到的人物信息，可以以更高的精度获得移动历史。在下文中，将在第二实施例中描述具有人物检测的示例。图1中示出的监视系统的配置是相同的，由此将省略其描述。在下面的描述中，对于具有与参照图1至15描述的组成部件相同的功能的组成部件给予相同的名称和相同的附图标记，并且将适当地省略其描述。
[0211 ][监视照相机的第二配置示例]
[0212]接下来，将参照图16的框图来描述监视照相机11的第二配置示例。
[0213]图16中的监视照相机11的基本配置与图2中的监视照相机11相同，但是不同之处在于，提供人物检测单元121和人物信息输出单元122替代移动对象检测单元32和移动对象信息输出单元37。
[0214]人物检测单元121从由成像单元31捕获的每个图像中提取特征量，基于提取的特征量来检测人物被成像的区域，并且提取指示人物成像区域的图像信息作为人物图像，在该人物成像区域中，例如，人物被成像的检测区域被设置为1，而其它区域被设置为O。更具体地，当将HOG(方向梯度的直方图)用作图像特征量时，人物检测单元121对捕获的图像执行边缘提取处理，以从捕获的图像中提取用于识别被摄体的剪影的边缘图像。然后，人物检测单元121将边缘提取的图像分割成每个局部区域的梯度方向上的各分区，取得直方图，并且将该直方图设置为特征量。基于以这样的方式提取的特征量，人物检测单元121确定该剪影是否为人物。当确定该剪影为人物时，人物检测单元121产生其中被认为是人物的区域被设置为I且其它区域被设置为O的图像，并且检测该图像作为人物图像。
[0215]人物信息输出单元122针对从由成像单元131捕获的图像中提取的每个人物图像，基于关于捕获的图像、捕获该图像的成像单元131的照相机ID、人物的全球坐标和成像时间的信息，产生包括捕获的图像、捕获该图像的成像单元131的照相机ID、人物的全球坐标和成像时间的人物信息，然后通过网络13将人物信息输出到人物搜索和跟踪服务器12。
[0216][人物搜索和跟踪服务器的第二配置示例]
[0217]接下来，将参照图17的框图来描述人物搜索和跟踪服务器12的第二配置示例。
[0218]人物搜索和跟踪服务器12被配置为包括人物信息获取单元151、人物信息滤波处理单元152、人物信息保持单元153、人物信息似然度计算处理单元154、人物信息似然度阈值确定单元155、结果存储单元156、显示图像产生单元157、显示单元158、匹配修改处理单元159和操作输入单元160。由于显示图像产生单元157、显示单元158和操作输入单元160具有与显示图像产生单元57、显示单元58和操作输入单元60相同的配置，所以将省略其描述。
[0219]人物信息获取单元151获取通过网络13从监视照相机11供应的人物信息，临时地存储人物信息，并且将人物信息供应到人物信息滤波处理单元152。
[0220]人物信息滤波处理单元152在预定的条件下对从人物信息获取单元151供应的人物信息进行滤波，只提取适合于人物搜索的人物信息，将提取的人物信息保持在人物信息保持单元153中，并且破坏不适合的人物信息。更具体地，人物信息滤波处理单元152根据包括在人物信息中的人物图像是否为该人物的全身被捕获的图像来对人物信息进行滤波，只将该人物的全身被捕获的图像保持在人物信息保持单元153中，并且破坏不适合的且该人物的全身没有被捕获的人物信息。
[0221]人物信息保持单元153只保持包括适合于由人物信息滤波处理单元152进行的人物搜索且人物的全身被捕获的人物图像的人物信息，然后在必要的时候将该人物信息供应到人物信息似然度计算处理单元154和显示图像产生单元157。
[0222]人物信息似然度计算处理单元154针对每个人物信息计算保持在人物信息保持单元153中的人物信息中所包括的人物图像当中的除了标准人物信息以外的人物信息的人物图像相对于标准人物信息的人物图像似然度，然后将人物图像似然度供应到人物信息似然度阈值确定单元155，其中，该标准人物信息是包括被指定为搜索目标的人物信息的人物图像的搜索目标。
[0223]人物信息似然度阈值确定单元155确定基于由人物信息似然度计算处理单元154计算出的人物图像而获得的人物图像似然度是否高于阈值，然后将包括具有更高的人物图像似然度的人物图像的人物信息存储在结果存储单元156中。也就是说，人物信息似然度阈值确定单元155基于除了作为搜索目标的标准人物信息以外的人物信息相对于标准人物信息的人物图像似然度来执行人物图像匹配处理，并且将包括具有更高的人物图像似然度的人物图像的人物信息提取为基于人物图像而匹配的信息。然后，人物信息似然度阈值确定单元155将提取的人物信息作为与作为搜索目标的标准人物信息匹配的结果存储在结果存储单元156中。
[0224]当用户基于在显示单元158上显示的搜索和跟踪结果中显示的人物图像来决定搜索目标的人物图像时，匹配修改处理单元159基于通过操作输入单元160的操作而输入的决定信息来执行匹配修改处理。当输入了决定信息时，匹配修改处理单元159甚至在执行匹配修改处理之后在再次输入决定信息时再次执行匹配修改处理，以重复匹配修改处理。
[0225]更具体地，匹配修改处理单元159包括操作输入识别单元181、其他人物信息保持单元182、同一人物信息保持单元183、独有特征选择单元184、独有特征似然度计算单元185、独有特征似然度阈值确定单元186和BTF时空处理单元187。
[0226]操作输入识别单元181基于操作输入单元160的操作信号来识别针对在显示单元158上显示的搜索和跟踪结果中选择的人物信息来输入决定信息。
[0227]其他人物信息保持单元182将没有输入决定信息且作为被确定为不是由BTF时空处理单元187指定为搜索目标的人物图像由此被破坏的人物信息的人物图像的人物图像保持为与被假设为搜索目标的人物不同的另一个人物的人物图像。
[0228]同一人物信息保持单元183将包括被输入了决定信息的人物图像的人物信息和包括被指定为搜索目标的人物的人物图像的人物信息保持为与搜索目标人物相同的人物的人物信息。
[0229]独有特征选择单元184基于关于不是在其他人物信息保持单元182中登记的搜索目标人物的人物图像(即，被认为是另一个人物的人物图像的人物图像)的人物图像的信息来执行学习，并且提取不是搜索目标人物的人物的人物图像的特征量作为学习结果。独有特征选择单元184基于关于被认为是与登记在同一人物信息保持单元183中的搜索目标人物相同的人物的人物图像的人物图像的信息来执行学习，并且提取搜索目标人物的人物图像的特征量作为学习结果。独有特征选择单元184提取如下特征量作为独有特征并且将独有特征供应到独有特征似然度计算单元185，其中，另一个人物的人物图像具有该特征量的概率低，并且通过学习被认为是同一人物的人物图像具有该特征量的概率高。
[0230]独有特征似然度计算单元185针对每个人物信息，基于提取的独有特征来计算保持在人物信息保持单元153中的人物信息中所包括的人物图像当中的除了标准人物信息以外的人物信息的人物图像相对于标准人物信息的独有特征似然度，并且将独有特征似然度供应到独有特征似然度阈值确定单元186，该标准人物信息包括被指定为搜索目标的人物信息的人物图像并且是搜索目标。
[0231]独有特征似然度阈值确定单元186确定基于由独有特征似然度计算单元185计算出的人物图像而获得的独有特征似然度是否高于阈值，并且将包括具有高的独有特征似然度的人物图像的人物信息存储在结果存储单元156中。也就是说，独有特征似然度阈值确定单元186基于除了作为搜索目标的标准人物信息以外的人物信息相对于标准人物信息的独有特征似然度来执行人物图像匹配处理，并且将包括具有高的独有特征似然度的人物图像的人物信息提取为基于人物图像而匹配的信息。独有特征似然度阈值确定单元186将提取的人物信息作为与作为搜索目标的标准人物信息匹配的结果存储在结果存储单元156中。
[0232]如在第一实施例中描述的处理一样，BTF时空处理单元187使用时空和BTF图像来执行确定处理。更具体地，BTF时空处理单元187包括BTF计算单元191、时空似然度计算单元192、时空似然度阈值确定单元193、BTF图像处理单元194、BTF图像似然度计算单元195和BTF图像似然度阈值确定单元196。由于BTF计算单元191、时空似然度计算单元192、时空似然度阈值确定单元193、BTF图像处理单元194、BTF图像似然度计算单元195和BTF图像似然度阈值确定单元196与BTF计算单元92、时空似然度计算单元93、时空似然度阈值确定单元94、BTF图像处理单元95、BTF图像似然度计算单元96和BTF图像似然度阈值确定单元97相同，所以将省略其描述。[0233][由图16中的监视照相机进行的成像处理]
[0234]接下来，将参照图4的流程图来描述由图16中的监视照相机11进行的成像处理。
[0235]在步骤SlOl中，监视照相机11的成像单元31连续地捕获由可以在安装位置处被监视的监视区域的静止图像或运动图像构成的图像。
[0236]在步骤S102中，人物检测单元121从由成像单元31捕获的每个图像提取为确定是否对人物进行成像所需的特征量，并且基于提取的特征量来检测对人物进行成像的区域。例如，人物检测单元121提取指示对检测到的人物进行成像的区域被设置为I且其它区域被设置为O的人物成像区域的图像信息作为人物图像。
[0237]更具体地，当将HOG(方向梯度的直方图)用作图像特征量时，人物检测单元121对捕获的图像执行边缘提取处理，以从捕获的图像提取用于识别被摄体的剪影的边缘图像。然后，人物检测单元121将边缘提取的图像分割成每个局部区域的梯度方向上的各分区，取得直方图，并且将该直方图设置为特征量。基于以这样的方式提取的特征量，人物检测单元121确定该剪影是否为人物。当确定剪影是人物时，人物检测单元121产生其中被认为是人物的区域被设置I且其它区域被设置为O的人物图像，并且输出人物图像作为检测结果。
[0238]也就是说，当捕获如图19中的图像Plll所示的图像时，人物检测单元121保持由实线指示的线段形成的并且用来检测在图像PlOl中示出的人物的剪影的特征量，并且在对人物进行成像的图像Plll上叠加这些线段。此时，提取如下直方图作为特征量，在该直方图中，在如由图像P121的虚线指示的线段所示的每个局部区域的梯度方向上分割各分区。然后，基于提取的特征量，人物检测单元121确定该区域是否为人物。当确定该区域是人物时，人物检测单元121提取由人物区域和其它区域形成的图像作为人物图像。在图19的情况下，由于由虚线指示的特征量与预先存储的特征量一致，所以看见其中存在人物的图像Plll。也对捕获的图像Pl 12至Pl 14执行相同的处理，因此提取如下直方图作为特征量，在该直方图中，在由图像P122至P124中示出的线段形成的每个局部区域的梯度方向上分割各分区。
[0239]关于HOG(方向梯度的直方图)，例如，可以参考Histograms of OrientedGradients for Human Detect1n by N.Dalai, B.Trigg:Computer Vis1n and PatternRecognit1n, San Diego, CA，2005年6月20日至25日。作为用来检测人物的特征量提取方法，可以使用除了 HOG以外的方法。例如，可以多次使用通过类哈尔特征或HOG提取的特征量。这里，关于类哈尔特征，可以参考An Extended Set of Haar-1ikeFeatures for Rapid Object Detect1n by Rainer Lienhart and Jochen Maydt:1EEEICIP2002, Vol.1, pp.900to903, 2002年9月。关于多次使用通过HOG提取的特征量的方法，可以参考日本未审专利申请公开第2009-301104号。
[0240]在步骤S103中，成像位置坐标计算单元35基于人物图像中存在的人物的位置或大小来计算成像方向、角度和距离，并且基于监视照相机被安装的全球坐标来计算作为被摄体的人物的全球坐标。也就是说，例如，基于人物图像，成像位置坐标计算单元35计算由人物在地球上的纬度和经度等表达的坐标位置作为全球坐标。
[0241]在步骤S104中，成像时间检测单元36基于由实时时钟(未示出)产生的时间信息来检测在图像被捕获的定时的时间信息作为成像时间。[0242]在步骤S105中，人物信息输出单元122从照相机ID存储单元34读取照相机ID，并且产生被统称为人物信息的人物图像、全球坐标和成像时间。
[0243]在步骤S106中，人物信息输出单元122通过诸如因特网的网络13将产生的人物信息输出到人物搜索和跟踪服务器12。
[0244]通过前述处理，由每个监视照相机11针对每个监视区域捕获图像，从捕获的图像检测人物，并且提取人物图像。然后，产生由人物图像和关于人物图像中的人物的全球坐标和图像被捕获的成像时间的信息构成的人物信息，并且将该人物信息供应到人物搜索和跟踪服务器12。
[0245][人物信息滤波处理]
[0246]接下来，将参照图20的流程图描述由人物搜索和跟踪服务器12执行的人物信息滤波处理。
[0247]在步骤S121中，人物信息获取单元151获取并存储通过网络13从监视服务器11顺次地供应的人物信息。
[0248]在步骤S122中，人物信息滤波处理单元152将存储在人物信息获取单元151中的人物信息当中的一条未处理的人物信息设置为作为处理目标的关注的人物信息。
[0249]在步骤S123中，人物信息滤波处理单元152根据包括在关注的人物信息中的人物图像的剪影来确定该人物图像是否为单个人物的全身图像。
[0250]当在步骤S123中根据包括在关注的人物信息中的人物图像的剪影确定该人物图像是单个人物的全身图像时，本处理前进到步骤Sm。
[0251]在步骤S124中，人物信息滤波处理单元152认为关注的人物信息是适合于人物搜索的人物信息，并且将关注的人物信息保持在人物信息保持单元153中。
[0252]相反地，当在步骤S123中根据包括在关注的人物信息中的人物图像的剪影确定该人物图像不是单个人物的全身图像时，本处理前进到步骤S125。
[0253]在步骤S125中，人物信息滤波处理单元152认为关注的人物信息不是适合于人物搜索的人物信息，并且破坏被设置为获取的关注的人物信息的人物信息。
[0254]在步骤S126中，人物信息滤波处理单元152确定在人物信息获取单元151中是否存在未处理的人物信息。当存在未处理的人物信息时，本处理返回到步骤S122。也就是说，重复步骤S122至S126的处理，直到没有未处理的人物信息为止。相反地，当在步骤S126中确定没有未处理的人物信息时，本处理结束。
[0255]也就是说，通过前述处理，只有捕获单个人物的全身图像的人物信息被认为是从监视照相机11顺次地供应的人物信息当中的适合于人物搜索的人物图像，并且只有包括这种人物信息的人物信息通过人物信息滤波处理被保持在人物信息保持单元153中。
[0256]结果，由于只有包括适合于人物搜索的人物图像的人物信息通过人物信息滤波处理被滤波并且被保持在人物信息保持单元153中，所以可以提高人物搜索的精度。通过破坏不适合于人物搜索的人物信息，可以快速地执行为人物搜索所需的并且下面将参照图21描述的人物信息匹配处理。
[0257][人物信息匹配处理]
[0258]接下来，将参照图21的流程图描述由人物搜索和跟踪服务器12执行的人物信息匹配处理。人物信息匹配处理的流程类似于参照图11的流程图描述的移动对象信息匹配处理的流程。
[0259]在步骤S151中，显示图像产生单元157在显示单元158上显示保持在人物信息保持单元153中的人物信息中的人物图像的列表，并且对显示图像进行显示以提示对指示搜索目标人物的人物图像的选择。
[0260]在步骤S152中，人物信息似然度计算处理单元154确定操作输入单元160是否被操作，并且选择指定搜索目标人物的人物图像。在指定搜索目标人物的人物图像未被选择时，本处理返回到步骤S151。也就是说，重复步骤S151和S152的处理，直到指定搜索目标人物的人物图像被指定。然后，当在步骤S152中指定搜索目标人物的人物图像被指定时，本处理前进到步骤S153。
[0261]在步骤S153中，人物信息似然度计算处理单元154将保持在人物信息保持单元153中的人物信息中的与被指定为搜索目标的人物图像相对应的人物信息设置为标准人物信息，并且将其它人物信息设置为未处理的人物信息。此时，操作输入识别单元181基于操作输入单元160的操作信号将与被指定为搜索目标的人物图像相对应的人物信息保持在同一人物信息保持单元183中。
[0262]在步骤S154中，人物信息似然度计算处理单元154读取保持在人物信息保持单元153中的一条未处理的人物信息，并且将读取的人物信息设置为关注的人物信息。
[0263]在步骤S155中，人物信息似然度计算处理单元154计算作为包括在标准人物信息中的人物图像和包括在关注的人物信息中的人物图像之间的似然度的人物图像似然度，并且将计算出的人物图像似然度与关注的人物信息一起供应到人物信息似然度阈值确定单元155。也就是说，例如，当标准人物信息和关注的人物信息的人物图像中捕获的人物彼此更加相似时，人物信息似然度计算处理单元154基于更高的相似度来计算人物图像似然度。
[0264]在步骤S156中，人物信息似然度阈值确定单元155确定供应的人物图像似然度是否高于预定的阈值。也就是说，人物信息似然度阈值确定单元155基于人物图像似然度是否高于预定的阈值来确定标准人物信息和关注的人物信息的人物图像的人物是否相互一致。当在步骤S156中认为人物图像似然度高于预定的阈值，并且标准人物信息和关注的人物信息的人物图像的人物相互匹配(相互一致)时，本处理前进到步骤S157。
[0265]在步骤S157中，人物信息似然度阈值确定单元155在结果存储单元156中存储关注的人物信息。此时，人物信息似然度计算处理单元154将保持在人物信息保持单元153中的关注的人物信息设置为已处理的人物信息。
[0266]相反地，当在步骤S156中认为人物图像似然度不高于预定的阈值，并且标准人物信息和关注的人物信息的人物图像的人物相互不匹配(相互不一致)时，本处理前进到步骤 S159。
[0267]在步骤S159中，人物信息似然度阈值确定单元155破坏关注的人物信息。然后，人物信息似然度计算处理单元154将保持在人物信息保持单元153中的关注的人物信息设置为已处理的人物信息。
[0268]在步骤S158中，人物信息似然度计算处理单元154确定在人物信息保持单元153中是否保持有未处理的人物信息。例如，当保持有未处理的人物信息时，本处理返回到步骤S154。也就是说，重复步骤S154和S159的处理，直到在人物信息保持单元153中没有未处理的人物信息为止，从而对所有的人物信息和标准人物信息的人物图像重复匹配处理。
[0269]当在步骤S158中认为未处理的人物信息被认为没有保持在人物信息保持单元153中时，本处理前进到步骤S160。
[0270]在步骤S160中，显示图像产生单元157基于存储在结果存储单元156中的人物信息来产生指示搜索和跟踪结果的显示图像。
[0271]在步骤S161中，显示图像产生单元157在显示单元158上显示指示搜索和跟踪结果的显示图像。
[0272]在步骤S162中，匹配修改处理单元159基于关于从显示图像产生单元157供应的显示图像的信息和从操作输入单元160供应的操作信号来确定是否选择在显示图像中示出的人物图像中的一个，输入决定信息，并且指示匹配修改处理。
[0273]当在步骤S162中选择在显示图像中示出的人物图像中的一个并输入了决定信息时，认为要指示匹配修改处理，并且本处理前进到步骤S163。
[0274]在步骤S163中，匹配修改处理单元159执行匹配修改处理，并且显示经过修改处理的人物搜索和跟踪结果。下面将参照图22和图23详细地描述该匹配修改处理。
[0275]在步骤S164中，匹配修改处理单元159确定是否指示结束。当未指示结束时，本处理返回到步骤S161。也就是说，指示人物搜索和跟踪结果的显示画面被连续地显示在显示单元158上。相反地，当在步骤S164中指示结束时，本处理结束。
[0276]通过经由前述人物信息匹配处理仅仅指定搜索目标人物的人物图像，可以基于人物图像来搜索与搜索目标人物一致的人物信息并且根据作为搜索结果的人物信息来显示指示搜索目标人物的移动路径的搜索和跟踪结果。上面已经描述了这样的示例，其中，当指定搜索目标人物时，从保持在人物信息保持单元153中的人物信息的人物图像中指定人物。然而，可以通过分开地输入除了由监视照相机11捕获的图像以外的图像并且以与人物图像相同的方式处理该图像来指定搜索目标人物。
[0277][图21的匹配修改处理]
[0278]接下来，将参照图22和图23的流程图描述由人物搜索和跟踪服务器12执行的图21的匹配修改处理。
[0279]在步骤S181中，匹配修改处理单元159将指示包括由操作输入单元160输入了决定信息的人物图像的信息与人物信息相关联地存储。由于决定了被输入了决定信息的人物信息是通过人物图像匹配处理适当地提取的人物信息，所以在后续的处理中从搜索目标中排除人物信息并且将人物信息连续地存储在结果存储单元153中。同时，操作输入识别单元183将被输入了决定信息的人物信息保持在同一人物信息保持单元183中。
[0280]在步骤S182中，匹配修改处理单元159将存储在结果存储单元156中的人物信息当中的没有输入决定信息的所有的人物信息设置为未处理的人物信息。
[0281]在步骤S183中，匹配修改处理单元159将存储在结果存储单元156中的人物信息当中的最近被输入了决定信息的人物信息设置为标准人物信息。
[0282]在步骤S184中，BTF时空处理单元187的BTF计算单元191确定是否可以计算BTF0在步骤S184中，第一 BTF可计算条件是存在包括具有与包括在标准人物信息中的照相机ID不同的照相机ID的另一个人物图像并且被输入了决定信息的人物信息的情况。第二 BTF可计算条件是存在被输入了决定信息的两个或更多个人物图像并且这些人物图像由具有不同的照相机ID的不同的监视照相机11捕获的情况。因此，基于在结果存储单元156中是否存在满足前述两个条件中的一个的人物信息，BTF计算单元92确定是否可以计算BTF。当在步骤S184中可以计算BTF时，在步骤S185中，尽管在标准人物信息中包括人物图像或者不同的照相机ID，BTF计算单元191通过使用关于被输入了决定信息的人物图像之间的像素值的信息执行BTF计算处理来计算BTF。BTF是指示包括由两个不同的照相机ID指定的监视照相机11成像的同一被摄体的人物图像的颜色之间的相互对应关系的函数。因此，当计算BTF时，不管是否存在决定信息，可以通过使用BTF对由具有不同的照相机ID的两个监视照相机11捕获的人物图像中的一个执行颜色转换来执行颜色校正。通过颜色校正处理，可以校正由于不同的监视照相机11之间的监视区域的成像环境光的差异或者成像单元31的图像传感器的个体差异等引起的颜色的变化。结果，由两个不同的监视照相机11捕获的人物图像经过颜色校正，就好像人物图像是由同一监视照相机11捕获的一样。因此，可以更加准确地计算人物图像之间的人物图像似然度。
[0283]另一方面，例如，当在步骤S184中由一种监视照相机11捕获被输入了决定信息的人物图像时，BTF被认为不是可计算的，并且跳过步骤S185的处理。
[0284]在步骤S186中，时空似然度计算单元192将存储在结果存储单元156中并且作为排除了标准人物信息的人物信息的人物信息当中的一条未处理的人物信息设置为关注的人物信息。
[0285]在步骤S187中，时空似然度计算单元192基于关于包括在标准人物信息和关注的人物信息中的全球坐标和成像时间的信息来计算时空似然度。更具体地，例如，时空似然度计算单元192根据包括在标准人物信息中的全球坐标和包括在关注的人物信息中的全球坐标之间的差获得移动距离，并且基于人物信息的成像时间之间的时间与以平均人物移动速度行进该移动距离所花费的平均必要时间的比值来计算人物信息的时空似然度。
[0286]在步骤S188(图23)中，时空似然度阈值确定单元94确定计算出的时空似然度是否高于预定的阈值。例如，当指示人物搜索和跟踪结果的显示图像是在图24的上部中示出的如手Hl所示的显示图像时，由操作输入单元160选择对应于图A的人物图像PA。当输入了决定信息时，对应于图A的人物信息成为标准人物信息。在图25的显示图像的情况下，在对应于图A至G的人物信息中成像时间分别是1:00:00、1:00:05、1:00:10、1:00:15、1:00:13、1:00:14和1:00:05。图A和B是与由同一监视照相机11捕获的人物图像PA和PB相对应的人物信息，该监视器11对由相同的虚线形成的三角形指示的成像区域CamA进行成像。同样地，图C至F是与由同一监视照相机11捕获的人物图像PC至PF相对应的人物信息，该监视器11对由虚线形成的三角形指示的成像区域CamB进行成像。此外，图G是与由监视照相机11捕获的人物图像PG相对应的人物信息，该监视器11对由虚线形成的三角形指示的成像区域CamC进行成像。
[0287]在这种情况下，当对应于图B的人物信息是关注的人物信息，并且假设图A和B之间的距离为距离AB时，人物信息的成像时间之间的时间与以平均人物移动速度行进移动距离所花费的平均必要时间的比值是5/(AB/w)。这里，w指示平均人物移动速度。例如，当距离AB是5m并且平均人物移动速度是lm/s时，该比值是I，并且时空似然度是最高值。同样地，当对应于图C和D的人物信息是关注的人物信息并且假设图A和C之间、图A和D之间、图A和E之间以及图A和F之间的距离为距离AC、距离AD、距离AE和距离AF时，人物信息的成像时间之间的时间与以平均人物移动速度行进这些移动距离所花费的平均必要时间的比值分别是 10/ (AC/w)、15/ (AD/w)、14/ (AE/w)和 13/ (AF/w)。例如，当距离 AC、AD、AE和AF分别是10m、15m、14m和13m并且平均人物移动速度是lm/s时，比值都是1，并且时
空似然度是最高值。
[0288]因此，当在步骤S188中时空似然度是最高值时，时空似然度阈值确定单元193认为时空似然度高于预定的阈值，并且本处理前进到步骤S189。
[0289]另一方面，当对应于图G的人物信息是关注的人物信息并且假设图A和G之间的距离为距离AG时，人物信息的成像时间之间的时间与以平均人物移动速度行进该移动距离所花费的平均必要时间的比值是5/(AE/w)。也就是说，例如，当距离AG是25m并且平均人物移动速度是lm/s时，行进25m花费约5秒。因此，比值是0.2，并且时空似然度是低值。当在步骤S188中时空似然度低时，时空似然度阈值确定单元193认为时空似然度低于预定的阈值，并且本处理前进到步骤S198。
[0290]在步骤S198中，匹配修改处理单元159从结果存储单元156擦除关注的人物信息，并且在其他人物信息保持单元182中保持关注的人物信息。也就是说，当指示在图24的上部中示出的搜索和跟踪结果的图像被显示、并且在对应于图A的人物图像PA中输入了决定信息时，基于时空信息擦除其中可能不存在同一人物的图G的人物信息，如下面在图24的显示图像中示出的表中所示。由于只使用人物图像在人物信息匹配处理中错误地检测到的搜索和跟踪结果可以通过这些处理被排除，所以可以以更高的精度实现搜索目标人物的人物搜索和跟踪。
[0291]在步骤S189中，BTF图像处理单元194确定是否获得了 BTF。例如，当没有获得BTF时，本处理前进到步骤S197。
[0292]在步骤S197中，匹配修改处理单元159将存储在结果存储单元156中的人物信息当中的作为关注人物信息的人物信息设置为处理完成。
[0293]在步骤S199中，显示图像产生单元157反映结果存储单元156的更新结果，更新并产生指示搜索和跟踪结果的图像，并且在显示单元158上显示图像。也就是说，例如，如图25的上部中的显示画面所示，擦除并显示对应于图G的显示。在图25中，为了指示显示被擦除，十字标记的符号被表示。但是，在实践中，显示自身被擦除。
[0294]在步骤S200中，时空似然度计算单元192确定存储在结果存储单元156中并且作为除了标准人物信息以外的人物信息的人物信息当中是否存在未处理的人物信息。当存在未处理的人物信息时，本处理返回到步骤S186(图22)。也就是说，只要存在未处理的人物信息就重复步骤S186至S200的处理。然后，当在步骤S200中认为不存在未处理的人物信息时，本处理前进到步骤S201。
[0295]在步骤S201中，在操作输入单元160被操作、选择对应于一条人物信息的人物图像并输入了决定信息时，操作输入识别单元181确定是否另外指示匹配修改处理。例如，如图25的手H2所示，当在步骤S201中操作输入单元160被操作、选择对应于图C的人物图像PC并输入了决定信息时，本处理返回到步骤S181(图22)，并且另外执行匹配修改处理。
[0296]此时，在步骤S184中，由于被输入了决定信息的人物图像是两个人物图像PA和PC，并且识别捕获人物图像的监视照相机11的照相机ID相互不同，所以BTF可以被认为是可计算的。[0297]因此，在这种情况下，在步骤S185中，BTF计算单元191使用对应于图C的人物信息的人物图像PC和对应于图A的人物信息的人物图像PA来计算BTF。在这种情况下，由于标准人物信息是对应于图C的人物图像PC的人物信息，所以获得的BTF被假设是用来使用由对成像区域CamB进行成像的监视照相机11捕获的人物图像PC的颜色作为标准来校正由对成像区域CamA进行成像的监视照相机11捕获的人物图像PA的颜色的变化的函数。
[0298]结果，当关注的人物信息是与在成像区域CamA中捕获的人物图像PB相对应的人物信息时，BTF被认为是在步骤S189中获得的，因此本处理前进到步骤S190。
[0299]在步骤S190中，BTF图像处理单元194通过使用计算出的BTF转换关注的人物信息的人物图像的颜色来执行颜色校正。也就是说，在本情况下，BTF图像处理单元194通过对图25中的人物图像PB应用BTF来执行颜色校正，以对应于由对成像区域CamB进行成像的监视照相机11捕获的标准人物信息的人物图像PC的颜色。
[0300]在步骤S191中，BTF图像似然度计算单元196计算BTF图像似然度，该BTF图像似然度是标准人物信息的人物图像与作为关注的人物信息的人物图像且经过BTF的颜色转换的人物图像之间的似然度。BTF图像似然度基本上与人物信息似然度计算处理单元154中的似然度相同。
[0301]在步骤S192中，BTF图像似然度阈值确定单元97基于计算出的BTF图像似然度是否高于预定的阈值来确定标准人物信息的人物图像是否与经过BTF的颜色转换的关注的人物信息的人物信息匹配。当在步骤S192中BTF图像似然度高于预定的阈值时，本处理前进到步骤S193。
[0302]相反地，当在步骤S192中BTF图像似然度低于预定的阈值时，本处理前进到步骤S198。也就是说，在这种情况下，通过步骤S198的处理，关注的人物信息的人物信息从结果存储单元156被擦除,并且被保持在其他人物信息保持单元182中。
[0303]也就是说，如图25的下部中的表所示，当决定信息被输入到对应于图A的人物图像PA、并且决定信息随后被输入到对应于图C的人物图像PC时，获得用来使用由对成像区域CamB进行成像的监视照相机11捕获的图像的颜色作为标准来校正由对成像区域CamA进行成像的监视照相机11捕获的图像的颜色的BTF。然后，对应于图B并包括时空似然度高于预定的阈值且BTF图像似然度高于预定的阈值的人物图像的人物信息保持在结果存储单元156中。另一方面，对应于图D并包括时空似然度高于预定的阈值且BTF图像似然度低于预定的阈值的人物图像的人物信息从结果存储单元156被擦除并被保持在其他人物信息保持单元182中。在图25的下部的表中对于图A绘制对角线的原因是，人物信息是已经被输入了决定信息的人物信息，因此不是处理目标。
[0304]在步骤S193中，独有特征选择单元184通过基于存储在其他人物信息存储单元182中的人物信息和存储在同一人物信息存储单元183中的人物信息进行学习来选择独有特征。
[0305]也就是说，当在图18的步骤S102的处理中由人物检测单元121检测到人物时，使用采用HOG的特征量来检测人物图像，并且当由在图26的图像P201中示出的各种线段形成的特征量用于检测人物图像时，图26中的图像P211至P214中的任何一个中的特征量与线段之一的特征量一致，如图像P221至P224所示，因此检测到存在人物。
[0306]这里，独有特征选择单元184通过学习来分析关于由线段示出的特征量的信息，选择如下特征量作为独有特征并且将选择结果供应到独有特征计算单元185，在该特征量中，适合作为同一人物的人物的概率高并且适合作为另一个人物的人物的概率低。
[0307]也就是说，关于作为图26中的图像P211和P212的同一人物的被输入了决定信息的人物信息中所包括的人物图像，由图像P221和P222的虚线指示的线段所示的特征量通过学习被指定为适合作为同一人物的人物的概率高的特征量。关于被认为是图像P213和P214的其他人物信息的人物信息中所包括的人物图像，由图像P223和P224中的实线指示的线段包围的特征量通过学习被指定为适合于除了同一人物以外的其他人物的人物的概率低的特征量。因此，在图26中，由单点划线椭圆包围且由图像P251中的线段形成的特征量通过学习被选择为满足任何条件的有用的独有特征。
[0308]当新的人物信息被登记在同一人物信息保持单元183和其他人物信息保持单元182中时，重复进行学习。因此，由于具有更高精度的独有特征被选择为独有特征，所以每当重复进行学习时，逐渐地提高人物跟踪精度。
[0309]关于学习，例如，可以使用〃A decis1n-theoretic generalizat1n of on-linelearning and an applicat1n to boosting,Unpublished manuscript availableelectronically by Yoav Freund and Robert E.Schapir〃 和"Additive logisticregress1n by:J.Friedman, T.Hastiej and R.Tibshiran in a statistical view ofboosting, Annals of statistics, 38:337to374，2000"。
[0310]在步骤S194中，独有特征似然度计算单元185从标准人物信息的人物图像和关注的人物信息的人物图像提取被选择为独有特征的特征量。
[0311]在步骤S195中，独有特征似然度计算单元185使用从标准人物信息的人物图像和关注的人物信息的人物图像中提取作为独有特征的特征量来计算独有特征似然度，并且将计算结果供应到独有特征似然度阈值确定单元186。也就是说，例如，独有特征似然度计算单元185基于来自标准人物信息的人物图像和关注的人物信息的人物图像的特征量来计算相互的相似度等作为独有特征似然度。
[0312]在步骤S196中，独有特征似然度阈值确定单元186确定计算出的独有特征似然度是否高于预定的阈值且彼此是否相互类似。当在步骤S196中确定独有特征似然度不高于预定的阈值且彼此不相似时，本处理前进到步骤S198。
[0313]也就是说，在这种情况下，通过步骤S198的处理，关注的人物信息的人物信息从结果存储单兀156被擦除，并且被保持在其他人物彳目息保持单兀182中。
[0314]相反地，当在步骤S196中确定独有特征似然度高于预定的阈值时，本处理前进到步骤S197。
[0315]也就是说，在这种情况下，关注的人物信息的人物信息保持在结果存储单元156中。
[0316]也就是说，如图27的下部中的表所示，当决定信息被输入到对应于图A的人物图像PA、并且决定信息随后被输入到对应于图C的人物图像PC时，获得用来使用由对成像区域CamB进行成像的监视照相机11捕获的图像的颜色作为标准来校正由对成像区域CamA进行成像的监视照相机11捕获的图像的颜色的BTF。然后，对应于图B、D和E并包括时空似然度高于预定的阈值且BTF图像似然度高于预定的阈值的人物图像的人物信息保持在结果存储单元156中。另一方面，对应于图D并包括时空似然度高于预定的阈值且BTF图像似然度低于预定的阈值的人物图像的人物信息从结果存储单元156被擦除并被保持在其他人物信息保持单元182中。此外，当使用人物信息获得独有特征似然度时，独有特征似然度等于或小于阈值的图D被擦除，并且图B和F最终保持在结果存储单元156中。
[0317]也就是说，当在前述匹配修改处理中用户输入了决定信息时，基于决定信息再次重复地执行匹配校正处理。因此，当输入了决定信息时，可以提高搜索和跟踪结果的精度。当对于由不同的监视照相机11捕获的人物图像输入了决定信息时，可以获得BTF。因此，由于在考虑时空似然度之后基于与监视照相机11之间的颜色的变化相对应的BTF图像似然度来执行匹配修改处理，所以可以以更高的精度执行人物搜索和跟踪。
[0318]由于可以计算标准人物信息的人物图像和关注的人物信息的人物图像的BTF和仅仅与两个监视照相机11相对应的BTF，所以减少了对于BTF的计算的处理负荷，从而提高了与BTF的计算有关的处理速度。
[0319]除了使用BTF的处理以外，还用通过学习获得的特征量基于独有特征似然度来重复匹配修改处理，由此提高独有特征的精度。结果，可以以更高的精度实现人物搜索和跟
足示O
[0320]上面描述了通过如下步骤来重复匹配修改处理的示例:指定搜索目标人物，搜索关于搜索目标人物的人物信息，根据搜索结果显示指示人物搜索和跟踪结果的显示图像，随后输入决定信息。然而，通过以各种方式改变搜索目标人物，本技术可以应用于各种使用。
[0321]例如，通过将陌生人或嫌疑人设置为搜索目标人物，可以根据人物搜索和跟踪结果确认陌生人或嫌疑人的移动历史，并且在实践中可以确认是否存在疑点。更具体地，例如，当在公司内部发现不是公司成员的嫌疑人时，可以通过将外部嫌疑人设置为搜索目标人物来确认外部嫌疑人的移动历史。因此，例如，当外部嫌疑人入侵到在不携带员工身份证的情况下禁止进入的地方时，可以确认外部嫌疑人入侵到该地方。从而，本技术可以用在所谓的安全系统中。
[0322]例如，通过将作为商店的各楼层上的搜索目标人物的多个用户设置为搜索目标人物，可以根据人物搜索和跟踪结果确认在每个楼层上移动的用户在每个楼层上行走的移动路径。因此，该信息可应用于商店。更具体地，例如，由于可以确认用户在客户的楼层内的移动历史，并且可以基于移动历史最佳地改变产品的布局，所以本技术可以用在所谓的营销研究系统中。
[0323]通过前述处理，可以以更高的精度通过多个监视照相机在监视区域中实现人物搜索和跟踪。
[0324]上述的系列处理可以由硬件执行，也可以由软件执行。当系列处理由软件执行时，将软件的程序从记录介质安装到例如嵌入在专用硬件中的计算机或者能够通过安装各种程序来执行各种功能的通用个人计算机。
[0325]图16示出通用个人计算机的配置的示例。个人计算机包括CPU(中央处理单元)1001。输入/输出接口 1005通过总线1004与CPU1001连接。ROM(只读存储器)1002和RAM(随机存取存储器)1003与总线1004连接。
[0326]由用户用来输入操作命令的诸如键盘或鼠标的输入装置构成的输入单元1006、将处理操作画面或处理结果的图像输出到显示装置的输出单元1007、由存储程序或各种数据的硬盘驱动器等构成的存储单元1008、以及由LAN(局域网)适配器等构成且通过诸如因特网的网络执行通信处理的通信单元1009与输入/输出接口 1005连接。还连接驱动器1010，该驱动器1010从可移动介质1011读取数据和在可移动介质1011上写入数据，所述可移动介质1011例如是磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘-只读存储器))、DVD (数字多功能盘)、磁光盘(包括MD (迷你盘))或半导体存储器。
[0327]CPU1001根据存储在R0M1002中的程序和从安装在存储单元1008中的诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质1011读取且从存储单元1008加载到RAM1003的程序来执行各种处理。RAM1003适当地存储CPU1001用来执行各种处理所需的数据等。
[0328]在具有上述配置的计算机中，例如，CPU1001通过经由输入/输出接口 1005和总线1004将存储在存储单元1008中的程序加载到RAM1003上并执行该程序来执行上述系列处理。
[0329]由计算机(CPU1001)执行的程序可以被记录在例如作为要提供的封装介质的可移动介质1001上。也可以通过有线或无线传输媒介(例如，局域网、因特网或数字卫星广播)提供程序。
[0330]在计算机中，通过将可移动介质1001安装在驱动器1010上，可以经由输入/输出接口 1005将程序安装到存储单元1008中。程序可以通过有线或无线传输媒介由通信单元1009接收，并且被安装到存储单元1008中。此外，程序可以被预先安装到R0M1002或存储单元1008。
[0331 ] 由计算机执行的程序可以是在时间上按照在本说明书中描述的顺序执行处理的程序，或者可以是并行地或在诸如调用时的必要定时执行处理的程序。
[0332]在本说明书中，系统是指多个组成部件(装置，模块(组件)等)的集合，并且所有的组成部件可以存在于同一壳体中，或者可以不存在于同一壳体中。因此，收纳在不同的壳体中且通过网络相互连接的多个设备和在一个壳体中收纳多个模块的一个设备都是系统。
[0333]本技术的实施例并不限于上述的实施例，并且可以在不脱离本技术的主旨的情况下在本技术的范围内以各种方式来修改本技术。
[0334]例如，本技术可以被实现为云计算的配置，在云计算中，一种功能被分配给多个设备，并且通过网络以协同的方式来处理。
[0335]在上述的流程图中描述的步骤可以由一个设备执行，并且也可以在多个设备中分配并执行。
[0336]当在一个步骤中包括多个处理时，包括在一个步骤中的多个处理可以由一个设备执行，并且也可以在多个设备中分配并执行。
[0337]本技术也可以被实现为如下:
[0338](I) 一种信息处理设备，包括:多个成像单元，每个成像单元捕获图像，检测移动对象，提取由检测到的移动对象的图像构成的移动对象图像，基于移动对象图像来检测移动对象的空间位置坐标，并且输出移动对象图像、和包括移动对象的空间位置坐标和捕获该图像的成像时间的移动对象信息；移动对象图像似然度计算单元，计算移动对象图像似然度，该移动对象图像似然度是除了搜索目标移动对象信息以外的移动对象信息中包括的移动对象图像相对于搜索对照移动对象信息的移动对象图像的似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息；移动对象图像阈值确定单元，确定由移动对象图像似然度计算单元计算出的每个移动对象图像似然度是否大于预定的阈值，并且搜索移动对象图像似然度大于预定的阈值的移动对象信息作为搜索结果移动对象信息，该搜索结果移动对象信息是包括与搜索目标移动对象信息的移动对象图像的移动对象相同的移动对象的移动对象图像的移动对象信息；搜索结果移动对象信息存储单元，存储由移动对象图像阈值确定单元搜索的作为搜索结果移动对象信息的移动对象信息；操作输入单元，接收决定信息的输入，该决定信息由用户用来基于移动对象图像决定作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的搜索目标移动对象信息；时空似然度计算单元，计算作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的移动对象信息的决定移动对象信息以外的移动对象信息相对于被输入了决定信息的决定移动对象信息的似然度；以及时空似然度阈值确定单元，确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果移动对象信息存储单元擦除时空似然度小于预定的阈值的移动对象信息。
[0339](2)如⑴中描述的信息处理设备，在时空似然度阈值确定单元确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值之后，操作输入单元接收决定信息的输入，该决定信息由用户用来基于移动对象图像重新决定作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的搜索目标移动对象信息。时空似然度计算单元可重新计算作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了决定移动对象信息以外的移动对象信息相对于被重新输入了决定信息的决定移动对象信息的似然度。时空似然度阈值确定单元可确定由时空似然度计算单元重新计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果移动对象信息存储单元擦除时空似然度小于预定的阈值的移动对象信息。每当由操作输入单元重新输入决定信息时，操作输入单元、时空似然度计算单元和时空似然度阈值确定单元可重复相同的处理。
[0340](3)如(2)中描述的信息处理设备，移动对象信息还可包括识别捕获包括的移动对象图像的多个成像单元之一的ID。信息处理设备还可包括:亮度传递函数BTF计算单元，基于搜索目标移动对象信息和决定移动对象信息中的具有不同的ID的两个移动对象图像来计算校正成像单元之间的颜色的变化的BTF，所述不同的ID识别各自捕获移动对象图像的多个成像单元，所述搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息，针对所述决定移动对象信息接收到用来决定搜索目标移动对象信息的决定信息的输入；BTF处理单元，对作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的除了决定移动对象信息以外的移动对象信息当中的、包括由具有获得BTF的ID的成像单元捕获的移动对象图像的移动对象信息的移动对象图像执行BTF ；BTF移动对象图像似然度计算单元，计算BTF移动对象图像似然度，该BTF移动对象图像似然度由基于移动对象图像的似然度构成，并且是包括由BTF处理单元使用BTF处理过的移动对象图像的移动对象信息相对于决定移动对象信息的移动对象图像的似然度；以及BTF移动对象图像阈值确定单元，确定由BTF移动对象图像似然度计算单元计算出的每个BTF移动对象图像似然度是否小于预定的阈值。时空似然度阈值确定单元可确定由时空似然度计算单元重新计算出的时空似然度是否小于预定的阈值，以及BTF移动对象图像阈值确定单元在重新计算出的时空似然度不小于预定的阈值时，确定由BTF移动对象图像似然度计算单元计算出的每个BTF移动对象图像似然度是否小于预定的阈值，并且在BTF移动对象图像似然度小于预定的阈值时，从搜索结果移动对象信息存储单元擦除包括BTF移动对象图像似然度小于预定的阈值的移动对象图像的移动对象信息。
[0341](4)如(I)或(2)中描述的信息处理设备，移动对象图像似然度计算单元可基于搜索目标移动对象信息的移动对象图像和包括在除了搜索对照移动对象信息以外的移动对象信息中的移动对象图像中的每个中包括的移动对象图像，计算指示每个移动对象的相似性的程度的相似度作为移动对象图像似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息。
[0342](5)如(I)、⑵和(4)中的任意一项中描述的信息处理设备，时空似然度计算单元可根据成像时间之间的时间与以平均人物移动速度行进在除了决定移动对象信息以外的移动对象信息和被输入了决定信息的决定移动对象信息的空间位置坐标之间的距离所花费的必要时间之间的关系，计算时空似然度。
[0343](6)提供一种信息处理设备的信息处理方法，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测移动对象，提取由检测到的移动对象的图像构成的移动对象图像，基于移动对象图像来检测移动对象的空间位置坐标，并且输出移动对象图像和包括移动对象的空间位置坐标和捕获该图像的成像时间的移动对象信息。所述信息处理方法包括:移动对象图像似然度计算处理，计算移动对象图像似然度，该移动对象图像似然度是除了搜索目标移动对象信息以外的移动对象信息中包括的移动对象图像相对于搜索对照移动对象信息的移动对象图像的似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息；移动对象图像阈值确定处理，确定由移动对象图像似然度计算处理计算出的每个移动对象图像似然度是否大于预定的阈值，并且搜索移动对象图像似然度大于预定的阈值的移动对象信息作为搜索结果移动对象信息，该搜索结果移动对象信息是包括与搜索目标移动对象信息的移动对象图像的移动对象相同的移动对象的移动对象图像的移动对象信息；搜索结果移动对象信息存储处理，存储由移动对象图像阈值确定处理搜索的作为搜索结果移动对象信息的移动对象信息；操作输入处理，接收决定信息的输入，该决定信息由用户用来基于移动对象图像决定在结果移动对象信息存储处理中作为搜索结果移动对象信息存储的移动对象信息当中的搜索目标移动对象信息；时空似然度计算处理，计算在结果移动对象信息存储处理中作为搜索结果移动对象信息存储的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的移动对象信息的决定移动对象信息以外的移动对象信息相对于被输入了决定信息的决定移动对象信息的似然度；以及时空似然度阈值确定处理，确定由时空似然度计算处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果移动对象信息存储处理中存储的移动对象信息擦除时空似然度小于预定的阈值的移动对象信息。
[0344](7)提供一种控制信息处理设备的计算机的程序，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测移动对象，提取由检测到的移动对象的图像构成的移动对象图像，基于移动对象图像来检测移动对象的空间位置坐标，并且输出移动对象图像和包括移动对象的空间位置坐标和捕获该图像的成像时间的移动对象信息。所述程序使得计算机执行:移动对象图像似然度计算步骤，计算移动对象图像似然度，该移动对象图像似然度是除了搜索目标移动对象信息以外的移动对象信息中包括的移动对象图像相对于搜索对照移动对象信息的移动对象图像的似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息；移动对象图像阈值确定步骤，确定由移动对象图像似然度计算步骤的处理计算出的每个移动对象图像似然度是否大于预定的阈值，并且搜索移动对象图像似然度大于预定的阈值的移动对象信息作为搜索结果移动对象信息，该搜索结果移动对象信息是包括与搜索目标移动对象信息的移动对象图像的移动对象相同的移动对象的移动对象图像的移动对象信息；搜索结果移动对象信息存储步骤，存储由移动对象图像阈值确定步骤的处理搜索的作为搜索结果移动对象信息的移动对象信息；操作输入步骤，接收决定信息的输入，该决定信息由用户用来基于移动对象图像决定在结果移动对象信息存储步骤的处理中作为搜索结果移动对象信息存储的移动对象信息当中的搜索目标移动对象信息；时空似然度计算步骤，计算在结果移动对象信息存储步骤的处理中作为搜索结果移动对象信息存储的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的移动对象信息的决定移动对象信息以外的移动对象信息相对于被输入了决定信息的决定移动对象信息的似然度；以及时空似然度阈值确定步骤，确定由时空似然度计算步骤的处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果移动对象信息存储步骤的处理中存储的移动对象信息擦除时空似然度小于预定的阈值的移动对象信息。
[0345](8) 一种信息处理设备，包括:多个成像单元，每个成像单元捕获图像，检测人物，提取由检测到的人物的图像构成的人物图像，基于人物图像来检测该人物的空间位置坐标，并且输出人物图像和包括该人物的空间位置坐标和捕获该图像的成像时间的人物信息；人物图像似然度计算单元，计算人物图像似然度，该人物图像似然度是除了搜索目标人物信息以外的人物信息中包括的人物图像相对于搜索对照人物信息的人物图像的似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息；人物图像阈值确定单元，确定由人物图像似然度计算单元计算出的每个人物图像似然度是否大于预定的阈值，并且搜索人物图像似然度大于预定的阈值的人物信息作为搜索结果人物信息，该搜索结果人物信息是包括与搜索目标人物信息的人物图像的人物相同的人物的人物图像的人物信息；搜索结果人物信息存储单元，存储由人物图像阈值确定单元搜索的作为搜索结果人物信息的人物信息；操作输入单元，接收决定信息的输入，该决定信息由用户用来基于人物图像决定作为搜索结果人物信息在结果人物信息存储单元中存储的人物信息当中的搜索目标人物信息；时空似然度计算单元，计算作为搜索结果人物信息在结果人物信息存储单元中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的人物信息的决定人物信息以外的人物信息相对于被输入了决定信息的决定人物信息的似然度；以及时空似然度阈值确定单元，确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除时空似然度小于预定的阈值的人物信息。
[0346](9)如⑶中描述的信息处理设备，在时空似然度阈值确定单元确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值之后，操作输入单元可接收决定信息的输入，该决定信息由用户用来基于人物图像重新决定作为搜索结果人物信息存储在结果人物信息存储单元中的人物信息当中的搜索目标人物信息。时空似然度计算单元可重新计算作为搜索结果人物信息在结果人物信息存储单元中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了决定人物信息以外的人物信息相对于被重新输入了决定信息的决定人物信息的似然度。时空似然度阈值确定单元可确定由时空似然度计算单元重新计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除时空似然度小于预定的阈值的人物信息。每当由操作输入单元重新输入决定信息时，操作输入单元、时空似然度计算单元和时空似然度阈值确定单元可重复相同的处理。
[0347](10)如(9)中描述的信息处理设备，人物信息还可包括识别捕获包括的人物图像的多个成像单元之一的ID。信息处理设备还可包括:亮度传递函数BTF计算单元，基于搜索目标人物信息和决定人物信息中的具有不同的ID的两个人物图像来计算校正成像单元之间的颜色的变化的BTF，所述不同的ID识别各自捕获人物图像的多个成像单元，所述搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息，针对所述决定人物信息接收到用来决定搜索目标人物信息的决定信息的输入；BTF处理单元，对作为搜索结果人物信息存储在结果人物信息存储单元中的人物信息当中的除了决定人物信息以外的人物信息当中的、包括由具有获得BTF的ID的成像单元捕获的人物图像的人物信息的人物图像执行BTF ；BTF人物图像似然度计算单元，计算BTF人物图像似然度，该BTF人物图像似然度由基于人物图像的似然度构成，并且是包括由BTF处理单元使用BTF处理过的人物图像的人物信息相对于决定人物信息的人物图像的似然度；以及BTF人物图像阈值确定单元，确定由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度是否小于预定的阈值。时空似然度阈值确定单元可确定由时空似然度计算单元重新计算出的时空似然度是否小于预定的阈值，以及BTF人物图像阈值确定单元可在重新计算出的时空似然度不小于预定的阈值时，确定由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度是否小于预定的阈值，并且在BTF人物图像似然度小于预定的阈值时，从搜索结果人物信息存储单元擦除包括BTF人物图像似然度小于预定的阈值的人物图像的人物信息。
[0348](11)如(10)中描述的信息处理设备，还可以包括:同一人物信息保持单元，保持搜索目标人物信息和决定人物信息作为与搜索目标人物相同的人物的人物信息，其中，搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息，针对该决定人物信息接收到用来决定搜索目标人物信息的决定信息的输入；其他人物信息保持单元，保持包括由时空似然度计算单元重新计算出的每个时空似然度小于预定的阈值或者由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度小于预定的阈值的人物图像的人物信息作为其他人物信息，该其他人物信息是除了搜索目标人物以外的人物的人物信息；独有特征搜索单元，通过基于在同一人物信息保持单元中保持的人物信息的人物图像和在其他人物信息保持单元中保持的人物信息的人物图像进行学习，选择用来搜索搜索目标人物的独有特征；独有特征似然度计算单元，计算独有特征似然度，该独有特征似然度是基于包括在除了搜索对照人物信息的人物信息中的人物图像相对于搜索目标人物信息的人物图像的独有特征的似然度；以及独有特征似然度阈值确定单元，确定由独有特征似然度计算单元计算出的每个独有特征似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除小于预定的阈值的独有特征似然度的人物信息。时空似然度阈值确定单元可确定由时空似然度计算单元重新计算出的每个时空似然度是否小于预定的阈值。在重新计算出的时空似然度不小于预定的阈值时，BTF人物图像阈值确定单元可确定由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度是否小于预定的阈值。在BTF人物图像似然度不小于预定的阈值时，独有特征似然度阈值确定单元可确定由独有特征似然度计算单元计算出的每个独有特征似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除小于预定的阈值的独有特征似然度的人物信息。
[0349](12)如(11)中描述的信息处理设备，在独有特征似然度阈值确定单元从搜索结果人物信息存储单元擦除独有特征似然度小于预定的阈值的人物信息时，其他人物信息保持单元可保持独有特征似然度小于预定的阈值的人物信息作为其他人物信息，该其他人物信息是其他人物的人物信息。
[0350](13)如(8)中描述的信息处理设备，独有特征搜索单元可通过基于在同一人物信息保持单元中保持的人物信息的人物图像和在其他人物信息保持单元中保持的人物信息的人物图像进行学习，选择在同一人物信息保持单元中保持的人物信息的人物图像和搜索目标人物的人物图像之间的似然度增加并且在其他人物信息保持单元中保持的人物信息的人物图像和搜索目标人物的人物图像之间的似然度减少的特征量作为独有特征。
[0351](14)如(8)中描述的信息处理设备，独有特征似然度计算单元可基于包括在搜索目标人物信息中的人物图像和包括在除了搜索对照人物信息以外的人物信息中的人物图像中的每个人物图像的独有特征，计算指示每个人物的相似性的程度的相似度作为独有特征似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息。
[0352](15)如⑶中描述的信息处理设备，人物图像似然度计算单元可基于包括在搜索目标人物信息中的人物图像和包括在除了搜索对照人物信息以外的人物信息中的人物图像中的每个人物图像，计算指示每个人物的相似性的程度的相似度作为人物图像似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息。
[0353](16)如⑶中描述的信息处理设备，时空似然度计算单元可根据成像时间之间的时间与以平均人物移动速度行进在除了决定人物信息以外的人物信息和被输入了决定信息的决定人物信息的空间位置坐标之间的距离所花费的必要时间之间的关系计算时空似然度。
[0354](17)提供一种信息处理设备的信息处理方法，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测人物，提取由检测到的人物的图像构成的人物图像，基于人物图像来检测人物的空间位置坐标，并且输出人物图像和包括人物的空间位置坐标和捕获该图像的成像时间的个人物信息。所述信息处理方法包括:人物图像似然度计算处理，计算人物图像似然度，该人物图像似然度是除了搜索目标人物信息以外的人物信息中包括的人物图像相对于搜索对照人物信息的人物图像的似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息；人物图像阈值确定处理，确定由人物图像似然度计算处理计算出的每个人物图像似然度是否大于预定的阈值，并且搜索人物图像似然度大于预定的阈值的人物信息作为搜索结果人物信息，该搜索结果人物信息是包括与搜索目标人物信息的人物图像的人物相同的人物的人物图像的人物信息；搜索结果人物信息存储处理，存储由人物图像阈值确定处理搜索的作为搜索结果人物信息的人物信息；操作输入处理，接收决定信息的输入，该决定信息由用户用来基于人物图像决定作为搜索结果人物信息在结果人物信息存储处理中存储的人物信息当中的搜索目标人物信息；时空似然度计算处理，计算作为搜索结果人物信息在结果人物信息存储处理中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的人物信息的决定人物信息以外的人物信息相对于被输入了决定信息的决定人物信息的似然度；以及时空似然度阈值确定处理，确定由时空似然度计算处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果人物信息存储处理中存储的人物信息擦除时空似然度小于预定的阈值的人物信息。
[0355](18)提供一种控制信息处理设备的计算机的程序，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测人物，提取由检测到的人物的图像构成的人物图像，基于人物图像来检测人物的空间位置坐标，并且输出人物图像和包括人物的空间位置坐标和捕获该图像的成像时间的个人物信息。所述程序使得计算机执行:人物图像似然度计算步骤，计算人物图像似然度，该人物图像似然度是除了搜索目标人物信息以外的人物信息中包括的人物图像相对于搜索对照人物信息的人物图像的似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息；人物图像阈值确定步骤，确定由人物图像似然度计算步骤的处理计算出的每个人物图像似然度是否大于预定的阈值，并且搜索人物图像似然度大于预定的阈值的人物信息作为搜索结果人物信息，该搜索结果人物信息是包括与搜索目标人物信息的人物图像的人物相同的人物的人物图像的人物信息；搜索结果人物信息存储步骤，存储由人物图像阈值确定步骤的处理搜索的作为搜索结果人物信息的人物信息；操作输入步骤，接收决定信息的输入，该决定信息由用户用来基于人物图像决定作为搜索结果人物信息在结果人物信息存储步骤的处理中存储的人物信息当中的搜索目标人物信息；时空似然度计算步骤，计算作为搜索结果人物信息在结果人物信息存储步骤的处理中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的人物信息的决定人物信息以外的人物信息相对于被输入了决定信息的决定人物信息的似然度；以及时空似然度阈值确定步骤，确定由时空似然度计算步骤的处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果人物信息存储单元擦除时空似然度小于预定的阈值的人物信息。
[0356]附图标记列表
[0357]I监视系统，11，11-1至ll-η监视照相机，12人物搜索和跟踪服务器，13网络，31成像单元，32移动对象检测单元，33前景图像提取单元34照相机ID，35成像位置坐标计算单元，36成像时间检测单元，37移动对象信息输出单元，51移动对象信息获取单元，52移动对象信息滤波处理单元，53移动对象信息保持单元，54移动对象信息似然度计算处理单元，55移动对象信息似然度阈值确定单元，56结果存储单元，57显示图像产生单元，58显示单元，59匹配修改处理单元，60操作输入单元，71检测帧大小确定单元，72前景偏置确定单元，73前景和背景相关度确定单元，74边缘长度确定单元，75多个人数确定单元，91操作输入识别单元，92 BTF计算单元，93时空似然度计算单元，94时空似然度阈值确定单元，95 BTF图像处理单元，96 BTF图像似然度计算单元，97 BTF图像似然度阈值确定单元
【权利要求】
1.一种信息处理设备,包括: 多个成像单元，每个成像单元捕获图像，检测移动对象，提取由检测到的移动对象的图像构成的移动对象图像，基于移动对象图像来检测移动对象的空间位置坐标，并且输出移动对象图像、和包括移动对象的空间位置坐标和捕获该图像的成像时间的移动对象信息；移动对象图像似然度计算单元，计算移动对象图像似然度，该移动对象图像似然度是除了搜索目标移动对象信息以外的移动对象信息中包括的移动对象图像相对于搜索对照移动对象信息的移动对象图像的似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息； 移动对象图像阈值确定单元，确定由移动对象图像似然度计算单元计算出的每个移动对象图像似然度是否大于预定的阈值，并且搜索移动对象图像似然度大于预定的阈值的移动对象信息作为搜索结果移动对象信息，该搜索结果移动对象信息是包括与搜索目标移动对象信息的移动对象图像的移动对象相同的移动对象的移动对象图像的移动对象信息；搜索结果移动对象信息存储单元，存储由移动对象图像阈值确定单元搜索的作为搜索结果移动对象信息的移动对象信息； 操作输入单元，接收决定信息的输入，该决定信息由用户用来基于移动对象图像决定作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的搜索目标移动对象信息； 时空似然度计 算单元，计算作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的移动对象信息的决定移动对象信息以外的移动对象信息相对于被输入了决定信息的决定移动对象信息的似然度；以及 时空似然度阈值确定单元，确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果移动对象信息存储单元擦除时空似然度小于预定的阈值的移动对象信息。
2.根据权利要求1所述的信息处理设备， 其中，在时空似然度阈值确定单元确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值之后，操作输入单元接收决定信息的输入，该决定信息由用户用来基于移动对象图像重新决定作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的搜索目标移动对象信息， 其中，时空似然度计算单元重新计算作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了决定移动对象信息以外的移动对象信息相对于被重新输入了决定信息的决定移动对象信息的似然度， 其中，时空似然度阈值确定单元确定由时空似然度计算单元重新计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果移动对象信息存储单元擦除时空似然度小于预定的阈值的移动对象信息，以及 其中，每当由操作输入单元重新输入决定信息时，操作输入单元、时空似然度计算单元和时空似然度阈值确定单元重复相同的处理。
3.根据权利要求2所述的信息处理设备，其中，移动对象信息还包括识别捕获包括的移动对象图像的多个成像单元之一的ID， 其中，信息处理设备还包括: 亮度传递函数BTF计算单元，基于搜索目标移动对象信息和决定移动对象信息中的具有不同的ID的两个移动对象图像来计算校正成像单元之间的颜色的变化的BTF，所述不同的ID识别各自捕获移动对象图像的多个成像单元，所述搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息，针对所述决定移动对象信息接收到用来决定搜索目标移动对象信息的决定信息的输入； BTF处理单元，对作为搜索结果移动对象信息存储在结果移动对象信息存储单元中的移动对象信息当中的除了决定移动对象信息以外的移动对象信息当中的、包括由具有获得BTF的ID的成像单元捕获的移动对象图像的移动对象信息的移动对象图像执行BTF ； BTF移动对象图像似然度计算单元，计算BTF移动对象图像似然度，该BTF移动对象图像似然度由基于移动对象图像的似然度构成，并且是包括由BTF处理单元使用BTF处理过的移动对象图像的移动对象信息相对于决定移动对象信息的移动对象图像的似然度；以及BTF移动对象图像阈值确定单元，确定由BTF移动对象图像似然度计算单元计算出的每个BTF移动对象图像似然度是否小于预定的阈值， 其中，时空似然度阈值确定单元确定由时空似然度计算单元重新计算出的时空似然度是否小于预定的阈值，以及 其中，BTF移动对象图像阈值确定单元在重新计算出的时空似然度不小于预定的阈值时，确定由BTF移动对象图像似然度计算单元计算出的每个BTF移动对象图像似然度是否小于预定的阈值，并且在BTF移动对象图像似然度小于预定的阈值时，从搜索结果移动对象信息存储单元擦除包括BTF移动对象图像似然度小于预定的阈值的移动对象图像的移动对象信息。
4.根据权利要求1所述的信息处理设备，其中，移动对象图像似然度计算单元基于搜索目标移动对象信息的移动对象图像和包括在除了搜索对照移动对象信息以外的移动对象信息中的移动对象图像中的每个中包括的移动对象图像，计算指示每个移动对象的相似性的程度的相似度作为移动对象图像似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息。
5.根据权利要求1所述的信息处理设备，其中，时空似然度计算单元根据成像时间之间的时间与以平均人物移动速度行进在除了决定移动对象信息以外的移动对象信息和被输入了决定信息的决定移动对象信息的空间位置坐标之间的距离所花费的必要时间之间的关系，计算时空似然度。
6.一种信息处理设备的信息处理方法，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测移动对象，提取由检测到的移动对象的图像构成的移动对象图像，基于移动对象图像来检测移动对象的空间位置坐标，并且输出移动对象图像和包括移动对象的空间位置坐标和捕获该图像的成像时间的移动对象信息，所述信息处理方法包括: 移动对象图像似然度计算处理，计算移动对象图像似然度，该移动对象图像似然度是除了搜索目标移动对象信息以外的移动对象信息中包括的移动对象图像相对于搜索对照移动对象信息的移动对象图像的似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息；移动对象图像阈值确定处理，确定由移动对象图像似然度计算处理计算出的每个移动对象图像似然度是否大于预定的阈值，并且搜索移动对象图像似然度大于预定的阈值的移动对象信息作为搜索结果移动对象信息，该搜索结果移动对象信息是包括与搜索目标移动对象信息的移动对象图像的移动对象相同的移动对象的移动对象图像的移动对象信息；搜索结果移动对象信息存储处理，存储由移动对象图像阈值确定处理搜索的作为搜索结果移动对象信息的移动对象信息； 操作输入处理，接收决定信息的输入，该决定信息由用户用来基于移动对象图像决定在结果移动对象信息存储处理中作为搜索结果移动对象信息存储的移动对象信息当中的搜索目标移动对象信息； 时空似然度计算处理，计算在结果移动对象信息存储处理中作为搜索结果移动对象信息存储的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的移动对象信息的决定移动对象信息以外的移动对象信息相对于被输入了决定信息的决定移动对象信息的似然度；以及 时空似然度阈值确定处理，确定由时空似然度计算处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果移动对象信息存储处理中存储的移动对象信息擦除时空似然度小于预定的阈值的移动对象信息。
7.—种控制信息处理设备的计算机程序，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测移动对象，提取由检测到的移动对象的图像构成的移动对象图像，基于移动对象图像来检测移动对象的空间位置坐标，并且输出移动对象图像和包括移动对象的空间位置坐标和捕获该图像的成像时间的移动对象信息，所述程序使得计算机执行: 移动对象图像似然度 计算步骤，计算移动对象图像似然度，该移动对象图像似然度是除了搜索目标移动对象信息以外的移动对象信息中包括的移动对象图像相对于搜索对照移动对象信息的移动对象图像的似然度，该搜索目标移动对象信息是包括作为搜索目标的移动对象的移动对象图像的移动对象信息； 移动对象图像阈值确定步骤，确定由移动对象图像似然度计算步骤的处理计算出的每个移动对象图像似然度是否大于预定的阈值，并且搜索移动对象图像似然度大于预定的阈值的移动对象信息作为搜索结果移动对象信息，该搜索结果移动对象信息是包括与搜索目标移动对象信息的移动对象图像的移动对象相同的移动对象的移动对象图像的移动对象信息； 搜索结果移动对象信息存储步骤，存储由移动对象图像阈值确定步骤的处理搜索的作为搜索结果移动对象信息的移动对象信息； 操作输入步骤，接收决定信息的输入，该决定信息由用户用来基于移动对象图像决定在结果移动对象信息存储步骤的处理中作为搜索结果移动对象信息存储的移动对象信息当中的搜索目标移动对象信息；时空似然度计算步骤，计算在结果移动对象信息存储步骤的处理中作为搜索结果移动对象信息存储的移动对象信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的移动对象信息的决定移动对象信息以外的移动对象信息相对于被输入了决定信息的决定移动对象信息的似然度；以及时空似然度阈值确定步骤，确定由时空似然度计算步骤的处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果移动对象信息存储步骤的处理中存储的移动对象信息擦除时空似然度小于预定的阈值的移动对象信息。
8.—种信息处理设备,包括: 多个成像单元，每个成像单元捕获图像，检测人物，提取由检测到的人物的图像构成的人物图像，基于人物图像来检测该人物的空间位置坐标，并且输出人物图像和包括该人物的空间位置坐标和捕获该图像的成像时间的人物信息； 人物图像似然度计算单元，计算人物图像似然度，该人物图像似然度是除了搜索目标人物信息以外的人物信息中包括的人物图像相对于搜索对照人物信息的人物图像的似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息； 人物图像阈值确定单元，确定由人物图像似然度计算单元计算出的每个人物图像似然度是否大于预定的阈值，并且搜索人物图像似然度大于预定的阈值的人物信息作为搜索结果人物信息，该搜索结果人物信息是包括与搜索目标人物信息的人物图像的人物相同的人物的人物图像的人物信息； 搜索结果人物信息存储单元，存储由人物图像阈值确定单元搜索的作为搜索结果人物信息的人物信息； 操作输入单元，接收 决定信息的输入，该决定信息由用户用来基于人物图像决定作为搜索结果人物信息在结果人物信息存储单元中存储的人物信息当中的搜索目标人物信息； 时空似然度计算单元，计算作为搜索结果人物信息在结果人物信息存储单元中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的人物信息的决定人物信息以外的人物信息相对于被输入了决定信息的决定人物信息的似然度；以及 时空似然度阈值确定单元，确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除时空似然度小于预定的阈值的人物信息。
9.根据权利要求8所述的信息处理设备， 其中，在时空似然度阈值确定单元确定由时空似然度计算单元计算出的每个时空似然度是否小于预定的阈值之后，操作输入单元接收决定信息的输入，该决定信息由用户用来基于人物图像重新决定作为搜索结果人物信息存储在结果人物信息存储单元中的人物信息当中的搜索目标人物信息， 其中，时空似然度计算单元重新计算作为搜索结果人物信息在结果人物信息存储单元中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了决定人物信息以外的人物信息相对于被重新输入了决定信息的决定人物信息的似然度， 其中，时空似然度阈值确定单元确定由时空似然度计算单元重新计算出的每个时空似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除时空似然度小于预定的阈值的人物信息，以及 其中，每当由操作输入单元重新输入决定信息时，操作输入单元、时空似然度计算单元和时空似然度阈值确定单元重复相同的处理。
10.根据权利要求9所述的信息处理设备， 其中，人物信息还包括识别捕获包括的人物图像的多个成像单元之一的ID， 其中，信息处理设备还包括: 亮度传递函数BTF计算单元，基于搜索目标人物信息和决定人物信息中的具有不同的ID的两个人物图像来计算校正成像单元之间的颜色的变化的BTF，所述不同的ID识别各自捕获人物图像的多个成像单元，所述搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息，针对所述决定人物信息接收到用来决定搜索目标人物信息的决定信息的输入； BTF处理单元，对作为搜索结果人物信息存储在结果人物信息存储单元中的人物信息当中的除了决定人物信息以外的人物信息当中的、包括由具有获得BTF的ID的成像单元捕获的人物图像的人物信息的人物图像执行BTF ； BTF人物图像似然度计算单元，计算BTF人物图像似然度，该BTF人物图像似然度由基于人物图像的似然度构成，并且是包括由BTF处理单元使用BTF处理过的人物图像的人物信息相对于决定人物信息的人物图像的似然度；以及 BTF人物图像阈值确定单元，确定由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度是否小于预定的阈值， 其中，时空似然度阈值确定单元确定由时空似然度计算单元重新计算出的时空似然度是否小于预定的阈值，以及 其中，BTF人物图像阈值确定单元在重新计算出的时空似然度不小于预定的阈值时，确定由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度是否小于预定的阈值，并且在BTF人物图像似然度小于预定的阈值时，从搜索结果人物信息存储单元擦除包括BTF人物图像似然度小于预定的阈值的人物图像的人物信息。
11.根据权利要求10所述的信息处理设备，还包括: 同一人物信息保持单元，保持搜索目标人物信息和决定人物信息作为与搜索目标人物相同的人物的人物信息，其中，搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息，针对该决定人物信息接收到用来决定搜索目标人物信息的决定信息的输入；其他人物信息保持单元，保持包括由时空似然度计算单元重新计算出的每个时空似然度小于预定的阈值或者由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度小于预定的阈值的人物图像的人物信息作为其他人物信息，该其他人物信息是除了搜索目标人物以外的人物的人物信息； 独有特征搜索单元，通过基于在同一人物信息保持单元中保持的人物信息的人物图像和在其他人物信息保持单元中保持的人物信息的人物图像进行学习，选择用来搜索搜索目标人物的独有特征； 独有特征似然度计算单元，计算独有特征似然度，该独有特征似然度是基于包括在除了搜索对照人物信息的人物信息中的人物图像相对于搜索目标人物信息的人物图像的独有特征的似然度；以及 独有特征似然度阈值确定单元，确定由独有特征似然度计算单元计算出的每个独有特征似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除小于预定的阈值的独有特征似然度的人物信息，其中，时空似然度阈值确定单元确定由时空似然度计算单元重新计算出的每个时空似然度是否小于预定的阈值， 其中，在重新计算出的时空似然度不小于预定的阈值时，BTF人物图像阈值确定单元确定由BTF人物图像似然度计算单元计算出的每个BTF人物图像似然度是否小于预定的阈值，以及 其中，在BTF人物图像似然度不小于预定的阈值时，独有特征似然度阈值确定单元确定由独有特征似然度计算单元计算出的每个独有特征似然度是否小于预定的阈值，并且从搜索结果人物信息存储单元擦除小于预定的阈值的独有特征似然度的人物信息。
12.根据权利要求11所述的信息处理设备，其中，在独有特征似然度阈值确定单元从搜索结果人物信息存储单元擦除独有特征似然度小于预定的阈值的人物信息时，其他人物信息保持单元保持独有特征似然度小于预定的阈值的人物信息作为其他人物信息，该其他人物信息是其他人物的人物信息。
13.根据权利要求8所述的信息处理设备，其中，独有特征搜索单元通过基于在同一人物信息保持单元中保持的人物信息的人物图像和在其他人物信息保持单元中保持的人物信息的人物图像进行学习，选择在同一人物信息保持单元中保持的人物信息的人物图像和搜索目标人物的人物图像之间的似然度增加并且在其他人物信息保持单元中保持的人物信息的人物图像和搜索目标人物的人物图像之间的似然度减少的特征量作为独有特征。
14.根据权利要求8所述的信息处理设备，其中，独有特征似然度计算单元基于包括在搜索目标人物信息中的人物图像和包括在除了搜索对照人物信息以外的人物信息中的人物图像中的每个人物图像的独有特征，计算指示每个人物的相似性的程度的相似度作为独有特征似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息。
15.根据权利要求8所述的信息处理设备，其中，人物图像似然度计算单元基于包括在搜索目标人物信息中的人物图像和包括在除了搜索对照人物信息以外的人物信息中的人物图像中的每个人物图像，计算指示每个人物的相似性的程度的相似度作为人物图像似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息。
16.根据权利要求8所述的信息处理设备，其中，时空似然度计算单元根据成像时间之间的时间与以平均人物移动速度行进在除了决定人物信息以外的人物信息和被输入了决定信息的决定人物信息的空间位置坐标之间的距离所花费的必要时间之间的关系计算时空似然度。
17.一种信息处理设备的信息处理方法，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测人物，提取由检测到的人物的图像构成的人物图像，基于人物图像来检测人物的空间位置坐标，并且输出人物图像和包括人物的空间位置坐标和捕获该图像的成像时间的个人物信息，所述信息处理方法包括: 人物图像似然度计算处理，计算人物图像似然度，该人物图像似然度是除了搜索目标人物信息以外的人物信息中包括的人物图像相对于搜索对照人物信息的人物图像的似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息； 人物图像阈值确定处理，确定由人物图像似然度计算处理计算出的每个人物图像似然度是否大于预定的阈值，并且搜索人物图像似然度大于预定的阈值的人物信息作为搜索结果人物信息，该搜索结果人物信息是包括与搜索目标人物信息的人物图像的人物相同的人物的人物图像的人物信息； 搜索结果人物信息存储处理，存储由人物图像阈值确定处理搜索的作为搜索结果人物信息的人物信息； 操作输入处理，接收决定信息的输入，该决定信息由用户用来基于人物图像决定作为搜索结果人物信息在结果人物信息存储处理中存储的人物信息当中的搜索目标人物信息； 时空似然度计算处理，计算作为搜索结果人物信息在结果人物信息存储处理中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的人物信息的决定人物信息以外的人物信息相对于被输入了决定信息的决定人物信息的似然度；以及 时空似然度阈值确定处理，确定由时空似然度计算处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果人物信息存储处理中存储的人物信息擦除时空似然度小于预定的阈值的人物信息。
18.—种控制信息处理设备的计算机程序，该信息处理设备包括多个成像单元，每个成像单元捕获图像，检测人物，提取由检测到的人物的图像构成的人物图像，基于人物图像来检测人物的空间位置坐标，并且输出人物图像和包括人物的空间位置坐标和捕获该图像的成像时间的个人物信息，所述程序使得计算机执行: 人物图像似然度计算步骤，计算人物图像似然度，该人物图像似然度是除了搜索目标人物信息以外的人物信 息中包括的人物图像相对于搜索对照人物信息的人物图像的似然度，该搜索目标人物信息是包括作为搜索目标的人物的人物图像的人物信息； 人物图像阈值确定步骤，确定由人物图像似然度计算步骤的处理计算出的每个人物图像似然度是否大于预定的阈值，并且搜索人物图像似然度大于预定的阈值的人物信息作为搜索结果人物信息，该搜索结果人物信息是包括与搜索目标人物信息的人物图像的人物相同的人物的人物图像的人物信息； 搜索结果人物信息存储步骤，存储由人物图像阈值确定步骤的处理搜索的作为搜索结果人物信息的人物信息； 操作输入步骤，接收决定信息的输入，该决定信息由用户用来基于人物图像决定作为搜索结果人物信息在结果人物信息存储步骤的处理中存储的人物信息当中的搜索目标人物信息； 时空似然度计算步骤，计算作为搜索结果人物信息在结果人物信息存储步骤的处理中存储的人物信息当中的时空似然度，该时空似然度由基于空间位置坐标和成像时间的似然度构成，并且是除了作为被输入了决定信息的人物信息的决定人物信息以外的人物信息相对于被输入了决定信息的决定人物信息的似然度；以及 时空似然度阈值确定步骤，确定由时空似然度计算步骤的处理计算出的每个时空似然度是否小于预定的阈值，并且从在搜索结果人物信息存储单元擦除时空似然度小于预定的阈值的人物信息。
【文档编号】G06T7/20GK104041017SQ201380005113
【公开日】2014年9月10日 申请日期:2013年1月9日 优先权日:2012年1月17日
【发明者】小野优嗣, 竹内英人 申请人:索尼公司