图像分析方法
【技术领域】
[0001]本发明涉及一种分析图像并且确定是否输出与图像的区域相关联的图像数据方法。这样的图像数据可以用于目标检测算法的进一步训练。
【背景技术】
[0002]目标检测算法可用于检测并且跟踪图像中的目标，诸如静止视频或者直播视频，例如由数字摄像机中的图像传感器获取的。
[0003]检测和跟踪目标可以基于通过离线训练得出的分类器模型。在一个这样的方法中，建立肯定数据集和否定数据集，数据集由分别存在或不存在感兴趣的目标的大量实例组成。
[0004]感兴趣的目标的大的样本集是允许足够的性能所需要的。另外，实际获取环境的条件的改变会降低精确度。例如，在面部检测的情况下，所共用的是基于视平线处观察的人类面部的实例训练分类器。然而，在一些应用程序中，希望将摄像机放置在升高的角度，这样就降低了面部检测的精确度，导致相对于放置在视平线处的摄像机误报和漏报(falsepositives and negatives)的增加。
[0005]克服这些问题的一个方法是手动生成许多训练数据集并且为每个集合训练分类器，产生均对于给定环境最优化的许多模型。然而，这需要生成额外的大的样本数据集，进而包括在选择和注释数据集元素中的显著的人工干预。另外，在升高的摄像机位置的情况下，由于例如根据仰角的面部比例的变化，人类难以手动选择合适的肯定训练集和否定训练集。现有的数据集的改善同样地包括大量人为努力。
【发明内容】
[0006]根据本发明的第一方面，提供一种方法，该方法包括使用目标检测算法检测至少一个图像中目标的存在，该目标检测算法使用训练图像数据来训练检测算法至少部分地基于图像的第一区域中的图像数据与至少部分地从训练图像数据得出的数据的外观相似性来检测目标，该方法包括:
[0007]a.提供指示图像的第一区域的至少部分与至少部分地从训练图像数据得出的数据的相对高的外观相似性的第一输出，第一输出指示第一检测置信度足够高以指示有可能已经在图像的第一区域中检测到第一目标；
[0008]b.确定能够检测到目标的图像的第二区域的特征，该特征从与第一区域有关的数据中得到并且能够指示第二目标存在于第二区域中的可能性；以及
[0009]c.基于所确定的特征，以及第二区域的至少部分与至少部分地从训练图像数据得出的数据的外观相似性，提供指示第二检测置信度足够高以指示第二目标有可能存在于第二区域中的第二输出。
[0010]第一目标和第二目标可以是相同的目标或者不同的目标。
[0011]优选地，特征至少部分地基于第二区域与图像内的第二目标的估计位置的接近度。
[0012]优选地，方法包括基于在图像的序列内对目标的运动的跟踪来估计位置。
[0013]优选地，位置包括轨迹，或者图像的区域。
[0014]在某些方面，特征至少部分地基于待检测的目标的尺寸，至少部分地基于待检测的目标的形状，至少部分地基于第一区域与第二区域的接近度，至少部分地基于第一区域与第二区域的相对位置，和/或至少部分地基于与第一目标相关联的颜色信息。
[0015]第一区域和第二区域可以在相同的图像或者不同的图像中。
[0016]优选地，方法包括输出与图像的第二区域相关联的图像数据。
[0017]图像数据可以包括不包含第二目标的图像的区域。图像数据可以至少包括来自第二区域的图像数据。
[0018]图像数据可以包括来自从图像裁剪的区域的图像数据，该区域包含第二区域。
[0019]图像数据可以被输出以便在目标检测算法的进一步训练中使用。
[0020]方法可以包括将输出的图像数据加入至数据集，该数据集用于训练目标检测算法，从而生成修正数据集。另外，方法可以包括利用修正数据数据集训练目标检测算法，从而生成修正训练目标检测算法。
[0021 ]目标检测算法的性能可以相对修正训练目标检测算法的性能来测试。
[0022]在另一方面中，该方法包括:
[0023]尝试使用目标检测算法检测目标存在于图像中；并且
[0024]响应于检测算法弱检测到而不是强检测到的目标，基于与弱检测到的目标相关联的至少一个特征确定是否输出与弱检测到的目标相关联的图像数据以便在目标检测算法的进一步训练中使用。
[0025]优选地，该方法包括输出图像数据以便在进一步训练中使用。
[0026]在一个方面，该方法包括基于输出的图像数据重新训练由检测算法使用的模型。
[0027]在一个方面，该方法包括重复重新训练直至使模型最优化。当进一步重复没有提高检测的精确度时模型被最优化。
[0028]在另一方面，提供一种改善使用数据集训练的目标检测算法的性能的方法，包括:
[0029]将与由通过目标检测算法在图像中弱检测到而不是强检测到的目标有关的图像数据加入至数据集，从而生成修正数据集；
[0030]利用修正数据集训练目标检测算法，从而生成修正训练目标检测数据库。
[0031 ] 优选地，方法包括测试修正训练目标检测数据库的性能相对于目标检测数据库的性能是否改善。测试可以基于确定目标的强检测的数量和弱检测的数量的改变。几个其他方面在下文中的详细说明和权利要求中描述。
【附图说明】
[0032]通过参照附图进行的、仅以示例的方式给出的本发明的优选实施方式的以下描述，本发明的另外的特征和优点将变得显而易见。
[0033]图1示出尝试检测目标存在的方法。
[0034]图2示出指示强弱检测阈值的尺度。
[0035]图3示出在视频流的一系列图像内示出检测的目标运动的重叠延时图像。
[0036]图4示出具有显示边界框的检测目标的图像。
[0037]图5继目标检测算法的重新训练之后显示图3的检测目标的运动的重叠延时图像。
[0038]图6示出训练目标检测算法的方法。
[0039]图7示出已被检测的两个相关联目标的图像。
[0040]图8示出将图像数据经由网络输出至计算机的摄像机。
【具体实施方式】
[0041]图像分析技术可以应用于存储在存储器中的例如由摄像机的镜头预记录的静止图像或视频，以及实时图像或视频。图像或视频可以是在摄像机模块内的图像处理的结果或者可以例如由CMOS或CCD传感器输出的原始数据流组成。图像或视频流可以被分析以产生与图像或视频的内容有关的数据，诸如元数据。例如，目标检测算法可以应用于识别或检测存在于图像或视频流之中的目标。多个目标可以在图像或视频流中被检测和/或识别。
[0042]可以由目标检测算法生成的信息的实例包括每个目标的标识符，图像或视频帧内的每个目标的位置和大小，目标类型(例如“人”或“狗”)，对象的部分(例如“头部”、“上身”)以及他们的方位的角度，描述检测的精确度的检测得分，以及每个目标的最可能的方位角的指示(例如，将向着摄像机定向的人类面部与向侧面定向的人类面部区分开)。
[0043]如上所述，检测算法可以输出几种类型的有关其检测的目标的信息。这些条信息中的一个或多个可以指示已经多么强地在图像内检测到目标。在优选实施方式中，目标检测算法输出描述每个潜在目标的检测的精确度的检测得分。通常，将这个检测得分与检测阈值相比较以确定目标是否由目标检测算法认为已经正式“检测到”。检测阈值通常是根据经验的得出的值，该值基于用于训练目标检测算法的特定数据集(或者数据集集合)来优化目标检测。
[0044]目标检测算法可以经由离线训练产生一个或多个分类器模型向量。训练基于感兴趣的目标的实例的大的数据集，连同不包含目标的实例的集合而执行。数据集通常利用至少一些人工干预生成。