图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种图像处理设备和图像处理方法。更具体地，本发明涉及一种用于 通过使用图像来追踪物体的方法。
背景技术：
用于追踪任意物体的传统方法使用如下的模式匹配法(pattern matching method)，其中该模式匹配法搜索与先前存储的模板图像的匹配度高的区域。另外，传统的 物体追踪方法使用相对差分法，其中在该相对差分法中，顺次更新模板图像，并基于当前帧 和前一帧之间的差分来识别物体的位置。此外，传统的物体追踪方法使用直方图匹配法，其 中在该直方图匹配法中，基于对与物体的颜色或亮度直方图的匹配度高的区域的搜索结果 来识别物体的位置。如果使用上述模式匹配法，则能够以高精度搜索静止物体。然而，使用模式匹配法 时追踪运动物体的性能不佳。更具体地，如果物体和追踪设备之间的距离改变，如果物体旋 转，或者如果追踪设备自身的姿势改变，则模式匹配法不能以高精度追踪物体。如果使用上述相对差分法，如果其它物体在追踪对象物体前方移动，或者如果追 踪对象物体已经离开摄像范围，则不能适当地追踪该追踪对象物体。如果使用直方图匹配法，则可以追踪运动的追踪对象物体，但如果仅基于颜色或 亮度直方图执行识别，则识别追踪对象物体的性能低。此外，如果具有大致相同亮度水平的 类似颜色或区域大量分布在物体的背景中，则直方图匹配法的追踪性能不是很好。为了提高使用各种追踪方法时的追踪性能，日本特开2004-348273号公报讨论 了如下的直方图匹配法，其中该直方图匹配法生成参考区域的直方图和与该参考区域分 开设置的扩展参考区域的直方图，并基于这些直方图来执行追踪。更具体地，日本特开 2004-348273号公报所讨论的方法生成诸如人物的面部附近的区域等的参考区域的直方图 以及诸如人物的颈部附近的区域等的扩展参考区域的其它直方图。然而，如果使用日本特开2004-348273号公报所讨论的方法，则需要设置参考区 域和扩展参考区域这两个相互独立的区域作为要生成直方图的区域。因此，如果物体隐藏 在扩展参考区域中的某物后方，则追踪性能可能下降。

发明内容
根据本发明的一方面，提供一种图像处理设备，包括存储单元，用于存储存在于 设置在图像上的追踪对象区域内部的每一个像素的属性以及与该像素邻接的像素的属性； 分配单元，用于根据要评价的像素的属性和存在于所述追踪对象区域内部的像素的属性之 间的比较结果、以及与所述要评价的像素邻接的像素的属性和与存在于所述追踪对象区域 内部的像素邻接的像素的属性之间的比较结果，对所述要评价的像素分配评价值；以及改 变单元，用于基于所分配的评价值，改变所述追踪对象区域。根据本发明的另一方面，提供一种图像处理方法，包括以下步骤存储存在于设置在图像上的追踪对象区域内部的每一个像素的属性以及与该像素邻接的像素的属性；根据 要评价的像素的属性和存在于所述追踪对象区域内部的像素的属性之间的比较结果、以及 与所述要评价的像素邻接的像素的属性和与存在于所述追踪对象区域内部的像素邻接的 像素的属性之间的比较结果，对所述要评价的像素分配评价值；以及基于所分配的评价值， 改变所述追踪对象区域。根据以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。


包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和 方面，并与说明书一起用来解释本发明的原理。图1示出根据本发明第一实施例的摄像设备的基本结构的示例。图2A示出将图像大致位于摄像范围的中央的动物设置为追踪对象物体的状态。 图2B示出被设置为追踪对象物体的动物已经移动的状态。图3是示出由摄像设备所执行的用于对追踪对象物体进行追踪的处理的示例的 流程图。图4是示出用于识别追踪对象物体的处理的示例的流程图。图5示出图像和该图像的追踪对象区域中所包括的像素的示例。图6A示出色相(hue)直方图的示例。图6B示出平均色相直方图的示例。图7A示出亮度直方图的示例。图7B示出平均亮度直方图的示例。图8A示出与2个粉色(pink)像素邻接的像素的示例。图8B示出与3个黄色 (yellow)像素邻接的像素的示例。图8C示出与2个绿色(green)像素邻接的像素的示例。 图8D示出与1个蓝色2(blue2)像素邻接的像素的示例。图9A示出与1个黑色O(blackO)像素邻接的像素的示例。图9B示出与12个黑 色l(blackl)像素邻接的像素的示例。图9C示出与2个灰色2 (gray2)像素邻接的像素的 示例。图9D示出与3个白色(white)像素邻接的像素的示例。图10示出与主直方图的色相直方图相对应的邻接直方图的示例。图11示出与主直方图的亮度直方图相对应的邻接直方图的示例。图12A和12B是示出图3所示的流程图中的步骤S103中的可追踪性判断处理的 示例的流程图。图13是示出图3所示的流程图中的步骤S105中的继续追踪可行性判断处理的示 例的流程图。图14是示出图3所示的流程图中的步骤S107中的追踪对象物体检测处理的示例 的流程图。图15示意性示出用于对追踪对象区域进行追踪的方法的示例。图16A示出要处理的像素与主直方图的彩色相匹配的状态的示例。图16B示出要 处理的像素与主直方图的非彩色相匹配的状态的示例。图16C示出要处理的像素的邻接像 素与邻接直方图中所包括的彩色或非彩色相匹配的状态的示例，其中该要处理的像素与主 直方图的彩色相匹配。图16D示出要处理的像素的邻接像素与邻接直方图中所包括的彩色或非彩色相匹配的状态的示例，其中该要处理的像素与主直方图的非彩色相匹配。图17示出评价值的计算结果的示例。图18是示出由摄像设备所执行的用于对追踪对象物体进行追踪的处理的示例的 流程图。
具体实施例方式以下将参考附图详细说明本发明的各种典型实施例、特征和方面。图1示出根据本发明第一实施例的摄像设备100的基本结构的示例。摄像设备100 能够拍摄静止图像和运动图像这两者。参考图1，从被摄体反射的光通过包括调焦透镜、变 倍透镜和固定透镜的摄像光学系统101。由图像传感器102形成来自被摄体的反射光的图像。图像传感器102是光电转换元件，用于将基于形成在光接收面上的图像的光信号 按存在于相应位置的各光检测像素转换成电信号。由图像传感器102将已在图像传感器 102上形成其图像的光转换成电信号。将该电信号输入至模拟-数字(A/D)转换器103。A/ D转换器103将所输入的电信号转换成数字信号。然后，将该数字信号输入至图像处理电路 104。图像处理电路104对所输入的数字信号(图像数据)执行图像处理。显示装置105是设置在摄像设备100的背面上的显示单元。显示装置105用作电 子取景器。另外，显示装置105显示与摄像设备100的设置状况有关的信息。此外，显示装 置105显示由摄像设备100所生成的缩略像。摄像光学系统控制电路106生成镜头信息。该镜头信息包括被摄体距离、基于与 变倍透镜组的位置有关的信息所获取的焦距、以及基于光圈的开口直径所获取的F数。系统控制器107包括微计算机。系统控制器107通过执行控制程序来控制整个摄 像设备100的操作。图像记录介质108记录图像数据。在本实施例中，将详细说明在具有 上述结构的摄像设备100上执行的用于追踪任意物体的图像的方法的示例。图2A和2B示出包括传统物体追踪方法不能适当地进行追踪的图像的场景的示 例。参考图2A，将存在于画面200的中央附近的动物设置为追踪对象物体。对于用于 指定追踪对象物体的方法，如果自动识别出满足预定颜色条件或亮度条件的区域，并将该 区域设置为追踪对象物体，也是有用的。另外，如果用户在显示装置105中所包括的触摸面 板上的任意位置处触摸显示装置105，并将与用户所触摸的位置相对应的图像设置为追踪 对象物体，也是有用的。在图2A和2B各自所示的示例中，假定将作为与动物腹部附近相对应的区域的区 域202设置为追踪对象区域，之后该动物已经移动至其它位置，由此该动物的方位已经改变。如果追踪对象物体进行了上述改变，则将图2A所示的追踪对象区域202中所包括 的图像与动物已经移动至不同位置之后对应于该动物的腹部区域的区域210中所包括的 图像彼此进行比较的模式匹配法不能追踪该动物。如图2A和2B所示，由于追踪对象区域202的直方图220与动物已经移动至不同 位置之后对应于该动物的腹部区域的区域210的图像的另一直方图222相互不匹配，因此将这两个直方图进行比较的直方图匹配法不能适当地追踪该动物。现在，将参考下面的流程图来详细说明根据本实施例的用于追踪任意物体的方法 的示例。在本实施例中，系统控制器107执行与下面的流程图相对应的处理。然而，如果由 除系统控制器107以外的组件(例如，图像处理电路104)来执行该处理的一部分或全部， 也是有用的。图3是示出由摄像设备100执行的用于对追踪对象物体进行追踪的处理的示例的 主流程图。参考图3，在步骤SlOl中，系统控制器107确定追踪对象物体的位置和大小。如上所述，可以自动识别追踪对象物体。可选地，用户可以通过经由电子取景器观 看来指定任意区域，以确定追踪对象物体。在已经确定了追踪对象物体的位置和大小之后， 处理进入步骤S102。在步骤S102中，系统控制器107执行用于基于与追踪对象区域有关的 颜色信息和亮度信息来识别追踪对象物体的处理。图4是示出图3所示的步骤S102中的用于识别追踪对象物体的处理的示例的流 程图。参考图4，在步骤S201中，系统控制器107生成追踪对象区域的直方图(主直方图)。图5示出图像和该图像的追踪对象区域中所包括的像素的示例。参考图5，图像 300包括由照相机拍摄的企鹅的场景。用户可以通过触摸追踪对象区域302上的触摸面板 指定图像300的一部分，以确定追踪对象区域。追踪对象区域302对应于图5在其右部所示的由粗线矩形所包围的区域304。系 统控制器107生成区域304内部和外部的像素的直方图。这些直方图包括色相直方图和亮度直方图。根据各像素是彩色像素还是非彩色像 素，对于色相直方图和亮度直方图各自取得分布。基于各像素的饱和度与其阈值的比较结 果来执行关于各像素是彩色像素还是非彩色像素的判断。在本实施例中，系统控制器107 生成追踪对象区域302中所包括的各区域以及存在于该追踪对象区域302外部的各区域的 直方图。图6A示出色相直方图(即，彩色像素的直方图)的示例。图6B示出平均色相直 方图的示例。平均色相直方图表示利用色相直方图所分类的像素的平均亮度、平均饱和度 和平均色相。图7A示出亮度直方图(S卩，非彩色像素的直方图)的示例。图7B示出平均 亮度直方图的示例。平均亮度直方图表示利用亮度直方图所分类的像素的平均亮度。在色 相直方图400中分类(登记)彩色像素。系统控制器107针对存在于追踪对象区域302内部的各色相(图6A中的“色相”)， 计数存在于该追踪对象区域内部(图6A中的“内部”)的像素数和存在于该追踪对象区域 外部(图6A中的“外部”)的像素数。在图6A和6B所示的示例中，系统控制器107以每40°角的分割单位(分类单位) 生成色相直方图400。然而，如果分割单位根据期望的追踪精度而改变，也是有用的。在亮 度直方图440中分类(登记)非彩色像素。系统控制器107针对存在于追踪对象区域302内部的各亮度Y，计数存在于该追 踪对象区域内部(“内部”)的像素数和存在于该追踪对象区域外部(“外部”)的像素数。 在图7A和7B所示的示例中，系统控制器107以40LSB为分割单位生成亮度直方图440。然 而，分割单位可以根据期望的追踪精度而改变。
7
在生成色相直方图400和亮度直方图440之后，系统控制器107计算追踪对象区 域内部和外部的各色相的存在比率。可以通过以下表达式来计算追踪对象区域内部和外部 的各色相的存在比率追踪对象区域内部和外部的各色相的存在比率]=存在于追踪对象区域内部 的像素数/存在于追踪对象区域外部的像素数。例如，在图6A所示的示例中，存在15个具有粉色色相的像素，即追踪对象区域302 内部的2个具有粉色色相的像素和追踪对象区域302外部的13个具有粉色色相的像素。因 此，其存在比率为15% ( = (2/13) X 100)。然而，如果追踪对象区域内存在一个或多个像素并且如果存在于追踪对象区域外 部的像素数为0，则存在比率为100%。以上述方式计算存在比率。然而，本发明不局限于 此。更具体地，如果通过以下表达式计算存在比率，也是有用的存在比率]=[存在于追踪对象区域内部的像素数/(存在于追踪对象区域内 部的像素数+存在于追踪对象区域外部的像素数)]X 100。除了计算色相的分布以外，系统控制器107还按存在于追踪对象区域302内部的 像素的直方图的分割单位，计算以该分割单位所分类的像素的平均亮度AveY、平均饱和度 AveChroma 和平均色相 AveHue。更具体地，在图6A所示的色相直方图400中，追踪对象区域302内部存在3个具 有黄色色相的像素。因此，在图6B所示的平均色相直方图420中，这3个像素的平均亮度 AveY为153LSB，平均饱和度AveChroma为55LSB，并且平均色相AveHue为113°。类似地，在图7A所示的直方图440中，追踪对象区域302内部存在3个具有非彩 色色相(白色色相)的像素。因此，在图7B所示的平均亮度直方图480中，这3个像素的 平均亮度为210LSB。如上所述，作为与存在于追踪对象区域302内部的彩色像素有关的信息，获取色 相直方图400以及按色相直方图400所分类的平均亮度AveY、平均饱和度AveChroma和平 均色相AveHue (平均色相直方图420)。另外，作为与存在于追踪对象区域302内部的非彩色 像素有关的信息，获取亮度直方图440以及按亮度直方图440所分类的平均亮度AveY(平 均亮度直方图480)。在以下说明中，如果需要，则将色相直方图400、平均色相直方图420、 亮度直方图440和平均亮度直方图480统称为“主直方图”。返回图4，在步骤S202中，系统控制器107生成与按主直方图的色相直方图400和 亮度直方图440各自的分割单位所分类的各像素邻接的像素集合的直方图500和520。在 以下说明中，如果需要，则将直方图500和520统称为“邻接直方图”。图8A 8D和图9A 9D示意性示出要生成邻接直方图的像素的第一示例和第二 示例。如图6A和6B以及图7A和7B所示，假定已经获取到8个分布，其中这8个分布包括 粉色、黄色、绿色和蓝色2这4个分布，即与追踪对象区域302内部的彩色像素有关的信息； 以及黑色0、黑色1、灰色2和白色这4个分布，即与追踪对象区域302内部的非彩色像素有 关的信息。图8A 8D以及图9A 9D示出具有这8个分布的各像素的邻接像素的示例。参考图8A，由围绕2个粉色像素550和552的圆来表示与这2个粉色像素邻接的 像素。在粉色像素550周围分布有包括1个蓝色2像素、1个灰色2像素、1个黑色1像素、 2个粉色像素、1个白色像素和2个绿色像素总共8个像素。另外，在粉色像素552周围分
8布有包括1个灰色2像素、3个黑色1像素、1个黑色0像素、1个白色像素、1个绿色像素和 1个粉色像素总共8个像素。系统控制器107基于围绕粉色像素550和552的16个像素来生成直方图，其中这 16个像素构成与粉色像素550和552邻接的像素集合。类似地，在图8B所示的示例中，总共存在24个像素与3个黄色像素554、556和 558邻接。在图8C所示的示例中，总共存在16个像素与2个绿色像素560和562邻接。在 图8D所示的示例中，总共存在8个像素与1个蓝色2像素564邻接。图9A 9D示出与非彩色像素邻接的像素的示例。更具体地，在图9A 9D中示 出黑色0像素、黑色1像素、灰色2像素和白色像素的邻接像素。在本实施例中，对于图5所示的追踪对象区域304用的主直方图，系统控制器107 生成存在于追踪对象区域304内部的像素的直方图。另一方面，对于邻接像素，系统控制器 107执行存在于比追踪对象区域304宽的区域中的邻接像素的识别。利用上述结构，根据本实施例的系统控制器107可以获取与邻接像素有关的信 息，其中，该信息包括与追踪对象物体和其背景之间的关系有关的信息。因此，本实施例能 够获取适当的追踪结果。然而，如果对于两者参考相同的区域，也是有用的。系统控制器107将包括图8A 8D和图9A 9D所示的与按主直方图的各分割单 位所分类的各像素相邻接的像素的像素集合的直方图(邻接直方图)与主直方图相关联。 此外，系统控制器107按图10和11所示的格式存储邻接直方图和主直方图。图10示出与主直方图的色相直方图相对应的邻接直方图的示例。图11示出与主 直方图的亮度直方图相对应的邻接直方图的示例。在邻接直方图中，作为与邻接像素的分布有关的信息，系统控制器107可以从 彩色("Color")像素提取亮度(“Y”)、饱和度(saturation)( “色度(Chroma)")和 色相(“Hue”)，并且可以获取它们各自的分布。此外，系统控制器107可以基于非彩色 ("Colorless")像素获取亮度Y的分布。在本实施例中，通过执行步骤S201和S202中的处理，实现了存储单元。更具体地， 通过执行步骤S201中的处理实现了主直方图存储单元的示例，而通过执行步骤S202中的 处理实现了邻接直方图存储单元的示例。在本实施例中，如果要评价的像素是彩色像素，则该像素的第一属性是色相 (“Hue”)。另一方面，如果要评价的像素是非彩色像素，则该像素的第一属性是亮度(“Y”)。在本实施例中，如果要评价的像素的邻接像素是彩色像素，则该邻接像素的第二 属性包括色相(“Hue”)、饱和度(“色度”)和亮度(“Y”)。另一方面，如果要评价的像素 的邻接像素是非彩色像素，则该邻接像素的第二属性是亮度(“Y”)。在图4的流程图所示的包括获取主直方图和邻接直方图的追踪对象物体识别处 理结束之后，在步骤S103 (图3)，系统控制器107执行用于判断是否可以对追踪对象物体进 行追踪的处理。图12A和12B是示出图3所示的流程图中的步骤S103中的可追踪性判断处理的 示例的流程图。参考图12A和12B，在步骤S301和S302中，系统控制器107按以上参考图4、图6A 和6B以及图7A和7B所述的方式，针对存在于追踪对象区域内部或外部的像素生成包括色相直方图和亮度直方图的主直方图。在图12A和12B所示的流程图中，“aHistColorTarget[m]”表示图6A所示的色相 直方图400中的各色相(“Hue”)的存在于追踪对象区域内部(“内部”)的像素数。另 外，“aHistYTargetfc]”表示图7A所示的亮度直方图440中的各亮度Y的存在于追踪对 象区域内部(“内部”)的像素数。此外，“aHistColorOtherDn]”表示图6A所示的色相直 方图400中的各色相(“Hue”)的存在于追踪对象区域外部(“外部”)的像素数。此外， "aHistYOther [η] ”表示图7Α所示的亮度直方图440中的各亮度Y的存在于追踪对象区域 外部(“外部”)的像素数。另外，系统控制器107基于上述值，生成图6Β所示的平均色相 直方图和图7Β所示的平均亮度直方图。在步骤S303中，系统控制器107判断按色相直方图中所包括的分割单位像素是否 分布在追踪对象区域内部。在本实施例中，步骤S303中使用的“aHistColorTargetti] ”表 示与色相直方图400中的特定色相(“Hue”)(i)相对应的存在于追踪对象区域内部(“内 部”)的像素数的值。更具体地，在步骤S303中，系统控制器107判断aHistColorTargetti] 是否大于0。如果在追踪对象区域内部存在具有色相(i)的一个或多个像素(步骤S303中为 “是”)，则处理进入步骤S304。在步骤S304中，系统控制器107针对色相(“Hue，，) (i)计 算追踪对象区域内部或外部的存在比率。如以上参考图6A和7A所述，计算追踪对象区域内部或外部的色相的存在比率。 更具体地，系统控制器107通过将针对色相(“Hue”)(i)的存在于追踪对象区域内部 (“内部”)的像素数(aHistColorTarget[i])除以存在于追踪对象区域外部(“外部”) 的像素数(aHistColorOtherti])获得的结果乘以100，来计算该存在比率。然而，如果 aHistColorTarget[i]彡 1 并且如果 aHistColorOther [i] = 0，则存在比率为 100%。在步骤S305中，系统控制器107判断存在比率是否高于作为预定色相采用条件的 比率。如果判断为存在比率不高于作为预定色相采用条件的比率(步骤S305中为“否”)， 则判断为与追踪对象物体的颜色相同的颜色大量存在于背景中，并且如果执行使用该颜色 的追踪，则追踪的精度可能较低。因此，在步骤S306中，为了实现高追踪精度，系统控制器 107判断为不采用要处理的色相Hue (i)。另一方面，如果判断为存在比率高于作为预定色相采用条件的比率，则处理进入 步骤S307。在步骤S307中，系统控制器107判断为将采用要处理的色相Hue(i)。在步骤S308中，系统控制器107存储处理对象色相Hue (i)的“ SumOKTarget ”和 “ SumOKOther ”。在本实施例中，“ SumOKTarget ”表示存在于追踪对象区域内部的像素数 (“aHistColorTarget[i]”)的总数。此外，在本实施例中，“SumOKOther”表示存在于追踪 对象区域外部的像素数("aHistColorOther [i]")的总数。在步骤S309中，系统控制器 107针对所有的色相Hue(i)重复步骤S303 S308中的处理。如上所述，在本实施例中，系统控制器107判断是否采用色相直方图的所有分割 单位的色相Hue(i)。另外，系统控制器107存储所采用的像素数的总和。此外，系统控制器107针对亮度直方图判断追踪对象区域内部和外部的像素的存 在比率是否高于作为预定亮度采用条件的比率。在步骤S310 S316中，系统控制器107 判断是否采用亮度直方图的分割单位的亮度Y(i)。
10
表示存在于追踪对象区域内部的像素的总数的“SumOKTarget”以及表示存在于追 踪对象区域外部的像素的总数的“SumOKOther”分别是将具有所采用的亮度Y(i)的像素数 和具有所采用的色相Hue(i)的像素数的总和相加所计算出的值。因此，由此产生的表示存在于追踪对象区域内部的像素的总数的“SumOKTarget” 是具有所采用的色相Hue (i)的像素数的总和。此外，由此产生的表示存在于追踪对象区域 外部的像素的总数的“SumOKOther”是具有所采用的亮度Y(i)的像素数的总和。在本实施例中，可以彼此独立地设置“色相采用条件”和“亮度采用条件”。特别地， 与彩色相比，不太容易使用非彩色作为追踪对象物体的特性。因此，对于非彩色，针对亮度 采用条件可以设置比色相采用条件更严格的采用条件。另外，尽管图中未示出，然而代替设置彩色或非彩色的采用条件，如果仅针对特定 颜色或亮度改变采用条件，也是有用的。另外，如果不执行步骤S303 S309中的处理或步 骤S310 S316中的处理，也是有用的。在按色相直方图和亮度直方图(主直方图)中的分割单位执行上述采用判断处理 之后，处理进入步骤S317。在步骤S317中，系统控制器107确定所采用的存在于追踪对象 区域内部的彩色像素或非彩色像素的比率。更具体地，系统控制器107通过将作为所采用的存在于追踪对象区域内部的像素 的总数的“SumOKTarget”除以存在于框内的像素数所计算出的值乘以100，来计算该比率。在步骤S318中，系统控制器107判断该比率是否高于预定的框内条件。如果判断 为该比率不高于预定的框内条件(步骤S318中为“否”)，则处理进入步骤S319。在步骤 S319中，系统控制器107判断为尚未获取到追踪对象物体的适当特性，并且不能追踪该追 踪对象物体。另一方面，如果判断为该比率高于框内条件(步骤S318中为“是”)，则系统控制器 107判断为已经获取到追踪对象物体的适当特性。然后，处理进入步骤S320。在步骤S320 中，系统控制器107计算所采用的彩色像素或非彩色像素在画面内的存在比率。更具体地，系统控制器107按以下方式计算该比率。首先，系统控制器107将作为 存在于追踪对象区域内部的像素的总数的SumOKTarget与作为存在于追踪对象区域外部 的像素的总数的SumOKOther相加。然后，系统控制器107将相加结果除以存在于画面内的 像素数。然后，系统控制器107将相除结果乘以100。在步骤S321中，系统控制器107判断按上述方式计算出的比率是否低于预定的整 个画面条件B。如果判断为该比率不低于预定的整个画面条件B (步骤S321中为“否”)，则 处理进入步骤S319。在步骤S319中，系统控制器107判断为由于因大量要追踪的彩色像 素或非彩色像素存在于位于追踪对象区域外部的背景区域中而可能导致追踪性能下降，因 此不能追踪该追踪对象物体。另一方面，如果判断为该比率低于预定的整个画面条件B(步骤S321中为“是”)， 则处理进入步骤S322。在步骤S322中，系统控制器107判断为可以追踪该追踪对象物体。如上所述，系统控制器107在包括与各颜色和亮度有关的单个属性评价处理、针 对存在于追踪对象区域内部的像素的评价处理以及针对整个画面中所包括的像素的评价 处理的多个阶段中，判断是否能够追踪该追踪对象物体。因此，根据本实施例的系统控制器 107能够可靠且适当地判断是否能够对追踪对象物体进行追踪。然而，不总是需要执行步骤
11S320和S321中的整个画面评价。返回图3，在步骤S104中，系统控制器107基于以上所述的可追踪性判断处理的结 果判断是否能够对追踪对象区域进行追踪。如果判断为不能对追踪对象区域进行追踪(步 骤S104中为“否”)，则根据图3的流程图的处理结束。另一方面，如果判断为能够对追踪 对象区域进行追踪(步骤S104中为“是”)，则开始追踪循环处理。在该追踪循环处理中，在步骤S105中，系统控制器107判断是否可以进行继续追 踪。图13是示出图3所示的流程图中的步骤S105中的继续追踪可行性判断处理的示例的 流程图。参考图13，在步骤S401中，系统控制器107计算存在于画面内的图6A和7A所示 的直方图所采用的彩色像素和非彩色像素的比率。更具体地，系统控制器107通过将作为 图6A和7A所示的直方图中采用的彩色像素和非彩色像素的总数的“SumOKALL”除以整个 画面中所包括的像素数所计算出的值乘以100，来计算该比率。在本实施例中，像素的总数 “SumOKALL”是通过将作为存在于追踪对象区域内部的像素的总数的“SumOKTarget”与作为 存在于追踪对象区域外部的像素的总数的“SumOKOther”相加所计算出的值。在步骤S402中，系统控制器107判断该比率是否低于预定的整个画面条件C。如果 判断为该比率不低于预定的整个画面条件C(步骤S402中为“否”)，则处理进入步骤S403。 在步骤S403中，系统控制器107判断为由于因大量要追踪的彩色像素或非彩色像素存在 于位于追踪对象区域外部的背景区域中而可能导致追踪性能下降，因此不能对追踪对象物 体进行追踪。另一方面，如果判断为该比率低于预定的整个画面条件C(步骤S402中为“是”)， 则处理进入步骤S404。在步骤S404中，系统控制器107判断为能够对追踪对象物体进行追 踪。在本实施例中，可以将“整个画面条件C”设置为与“整个画面条件B”不同的条件，其 中该整个画面条件B是作为以上参考图12B所述的步骤S321中的处理的用于判断是否能 够对追踪对象物体进行追踪的最终判断条件。通过使用比整个画面条件B更严格的整个画面条件C，根据本实施例的系统控制 器107能够在追踪开始之后背景的状况发生改变，由此具有与追踪对象物体的色相或亮度 相同的色相或亮度的像素数增加时，判断是否立即暂停追踪。在图13所示的示例中，将条件固定为整个画面条件C。然而，如果条件根据追踪开 始之后所经过的时间而逐渐改变(变严)，也是有用的。另外，如果针对仅基于色相追踪物体、仅基于亮度追踪物体以及基于色相和亮度 这两者追踪物体的各种情况，使步骤S318中使用的“框内条件”(图12B)、步骤S321中使 用的“整个画面条件B” (图12B)和步骤S402中使用的“整个画面条件C” (图13)变严， 也是有用的。另外，如果进一步改变仅针对特定颜色的条件和仅针对特定亮度的条件，也是 有用的。返回图3，在步骤S106中，系统控制器107基于继续追踪可行性判断处理的结果， 判断是否能够继续对追踪对象区域进行追踪。如果判断为不能继续对追踪对象区域进行追 踪(步骤S106中为“否”)，则图3的流程图所示的处理结束。另一方面，如果判断为能够继 续对追踪对象区域进行追踪(步骤S106中为“是”)，则处理进入步骤S107。在步骤S107 中，系统控制器107执行追踪对象物体检测处理。
图14是示出图3所示的流程图中的步骤S107中的追踪对象物体检测处理的示例 的流程图。可以在整个画面上或仅在该画面内的任意区域上执行追踪对象物体检测处理。 然而，在本实施例中，假定在整个画面上执行追踪对象物体检测处理。图15示意性示出用于通过执行追踪对象物体检测处理来对追踪对象区域进行追 踪的方法的示例。在画面内对追踪对象物体进行追踪时可以设置各种起点、方向或顺序。然 而，在本实施例中，假定如图15所示，从画面的左上部分开始水平地执行追踪对象物体的 追踪。然后，对下面的行顺次执行追踪。参考图14，在步骤S501中，系统控制器107判断要处理的像素(要评价的像素) 与分布在直方图中的像素是否匹配。更具体地，在步骤S501中，系统控制器107判断要处 理的像素是否是作为存在于追踪对象区域内部的像素的、图6A和7A所示的主直方图中所 存储的彩色像素或非彩色像素。另外，在步骤S501中，系统控制器107判断要处理的像素 是否具有已存储在图6B和7B所示的平均直方图中的、落入该平均直方图的预定范围内的 平均亮度、平均饱和度或平均色相。如果判断为要处理的像素与分布在主直方图中的像素不匹配(步骤S501中为 “否”)，则处理进入步骤S506。另一方面，如果判断为要处理的像素与分布在主直方图中的 像素匹配(步骤S501中为“是”)，则处理进入步骤S502。在步骤S502中，系统控制器107 对该像素的位置分配额定点数(rating point)。图16A 16D示意性示出用于对要搜索的像素分配额定点数以检测追踪对象物体 的方法的示例。参考图16A，如果要处理的像素(处理对象像素)650与主直方图中的彩色 匹配，则系统控制器107对处理对象像素650分配1个额定点数。另一方面，如图16B所示，如果处理对象像素660与主直方图中的非彩色匹配，则 系统控制器107对处理对象像素660分配0个点数(不对处理对象像素660分配额定点 数)。可选地，采用以下结构也是有用的。更具体地，在这种情况下，如果处理对象像素 650与主直方图中的彩色匹配，则系统控制器107对处理对象像素650分配2个额定点数。 另一方面，在这种情况下，如果处理对象像素650与主直方图中的非彩色匹配，则系统控制 器107分配1个点数，该点数是比在彩色的情况下分配的额定点数小的额定点数。在步骤S503中，系统控制器107判断处理对象像素的邻接像素与分布在邻接直方 图中的像素是否匹配。更具体地，对于与主直方图匹配的像素，系统控制器107判断存在于 处理对象像素610周围的8个像素与图10和11所示的邻接直方图是否匹配。如果判断为处理对象像素的邻接像素与分布在邻接直方图中的像素不匹配(步 骤S503中为“否”)，则处理进入步骤S505。另一方面，如果判断为处理对象像素的邻接像 素与分布在邻接直方图中的像素匹配(步骤S503中为“是”)，则处理进入步骤S504。在步 骤S504中，系统控制器107对该像素的位置分配额定点数。更具体地，如图16C所示，如果分布在邻接直方图中且具有与同主直方图中的彩 色相匹配的彩色像素的色相不同的色相的彩色像素652与该同主直方图中的彩色相匹配 的彩色像素相邻接，则系统控制器107分配5个点数。另一方面，如图16C所示，如果分布在邻接直方图中且具有与同主直方图中的彩 色相匹配的彩色像素的色相相同的色相的彩色像素654与该同主直方图中的彩色相匹配的彩色像素相邻接，则系统控制器107分配4个点数。此外，如图16C所示，如果分布在邻接直方图中的非彩色像素656与同主直方图中 的彩色相匹配的彩色像素相邻接，则系统控制器107分配3个点数。另一方面，如图16D所示，如果分布在邻接直方图中的彩色像素662与同主直方图 中的非彩色相匹配的非彩色像素相邻接，则系统控制器107分配3个点数。此外，如图16D所示，如果具有与同主直方图中的非彩色相匹配的非彩色像素的 亮度不同的亮度的非彩色像素664与该同主直方图中的非彩色相匹配的非彩色像素相邻 接，则系统控制器107分配2个点数。另一方面，如图16D所示，如果具有与同主直方图中 的非彩色相匹配的非彩色像素的亮度相同的亮度的非彩色像素666与该同主直方图中的 非彩色相匹配的非彩色像素相邻接，则系统控制器107分配2个点数。在判断处理对象像素的邻接像素是否与分布在图10和11所示的邻接直方图中的 任一像素相匹配时，如果该邻接像素是彩色像素，则如果仅基于色相来执行判断，也是有用 的。可选地，在这种情况下，如果基于所有的色相、饱和度(“色度”)和亮度Y来执行判断， 也是有用的。在图16A 16D所示的例子中，要分配的额定点数根据处理对象像素和与该处理 对象像素邻接的像素的组合而改变。然而，如果在上述所有情况下分配相同的额定点数，也 是有用的。此外，如果分配与上述额定点数不同的额定点数，也是有用的。在追踪对象物体检测处理中，系统控制器107判断处理对象像素是否与分布在主 直方图中的任一像素相匹配、以及与处理对象像素邻接的像素是否与分布在邻接直方图中 的任一像素相匹配。在上述判断中，系统控制器107不使用与主直方图和邻接直方图中所包括的像素 数有关的信息。因此，可以从主直方图和邻接直方图中删除与像素数有关的信息。更具体 地，在追踪对象物体检测处理中，需要如下信息与追踪对象区域中所包括的各像素具有的 属性有关的信息以及与追踪对象区域中所包括的各像素的各邻接像素具有的属性有关的信息。换句话说，在追踪对象物体检测处理中，需要如下信息与追踪对象区域中所包括 的像素具有的属性有关的信息以及与追踪对象区域中所包括的各像素的邻接像素具有的 属性有关的信息。如果追踪对象物体检测处理中所使用的分类数据可以包括上述信息，则该分类数 据不局限于图6A和6B以及图7A和7B所示的主直方图。另外，如果使用具有与以上所述 的格式不同的格式的主分类数据，也是有用的。另外，邻接分类数据不局限于图10和11所示的邻接直方图。更具体地，如果使用 具有与以上所述的格式不同的格式的邻接分类数据，也是有用的。更具体地，代替生成并使 用图6A和6B以及图7A和7B所示的主直方图，如果生成并使用仅表示存在于追踪对象区 域内部的像素所具有的色相的类型的主分类数据，也是有用的。此外，代替生成并使用图10或11所示的邻接直方图，如果系统控制器107生成并 使用仅表示存在于追踪对象区域内部的像素所具有的色相的类型以及邻接于该像素的所 有像素各自所具有的色相的类型的邻接分类数据，也是有用的。如以上参考图15以及图16A 16D所述，在本实施例中，系统控制器107评价存在于画面内的要处理的像素和与该像素邻接的像素之间的关系。另外，系统控制器107判 断处理对象像素和主直方图之间的匹配状况以及邻接像素和邻接直方图之间的匹配状况。 如果判断为它们彼此相匹配，则系统控制器107对所评价的像素的位置分配额定点数。在 步骤S505中，系统控制器107判断是否已对所有的邻接像素完全执行了上述处理。如果判断为已对所有的邻接像素完全执行了上述处理(步骤S505中为“是”)，则 处理进入步骤S506。在步骤S506中，系统控制器107通过使用所分配的额定点数以及主直 方图的各分割单位的平均亮度、平均饱和度和平均色相，对所评价的像素的各位置计算评 价值，其中已按以上参考图6B和7B所述的方式存储了平均亮度、平均饱和度和平均色相。更具体地，如果所评价的像素为彩色像素，则系统控制器107使用以下表达式(1) 来计算评价值，而如果所评价的像素是非彩色像素，则系统控制器107使用以下表达式(2) 来计算评价值
E , = y_PointxJKO]_va 0 0Γ " λ Δ Hue (χ, y) χ [K1 ]+Δ Chroma (χ, y) x [Κ2] + ADi stance (χ, y) x [Κ3](”
c ν νPointx [Κ0]
EvaY = ΣL ΔΥ(χ, y) X [Κ4]+ADiStanceCx1 y) χ [Κ3]
(2)其中，“ Δ Hue”表示所评价的像素的色相与已存储在图6B和7B所示的平均直方 图中的平均色相之间的差，“ AChroma”表示所评价的像素的饱和度与先前存储在图6B和 7B所示的平均直方图中的平均饱和度之间的差，“ Δ Y”表示所评价的像素的亮度与先前存 储在图6Β和7Β所示的平均直方图中的平均亮度之间的差，并且“ ADistance”表示如下框 的位置与所评价的像素的位置之间的距离，其中该框表示由显示装置105所显示的追踪对 象物体的位置。如果检测追踪对象物体的精度极高，则距离“ ADistance”是不必要的，或 者“ADistance”可以非常小。然而，如果所评价的像素周围存在大量具有类似色相或亮度的像素，则可以通过 将特定距离系数添加至表达式⑴和⑵的项来抑制由于检测追踪对象物体的低精度而可 能发生的框的显示的猎振(hunting)现象。在表达式⑴和⑵中，将不同的单位系的项彼此相加。因此，为了保持它们之间 的平衡，使用系数“K0” “K4”。可选地，为了简化处理，如果使用常数作为表达式(1)和 (2)各自的分母，也是有用的。这是因为如果步骤S501中的判断的标准被设置得严格，则 表达式(1)和⑵各自的分母中的“AHue”和“AChroma”的值的变化范围变小。在步骤S507中，系统控制器107判断是否已经完成对存在于画面内的所有像素的 评价值的计算。如果判断为尚未完成对存在于画面内的所有像素的评价值的计算(步骤 S507中为“否”)，则处理返回至步骤S501。另一方面，如果判断为已经完成对存在于画面 内的所有像素的评价值的计算(步骤S507中为“是”)，则处理进入步骤S508。在步骤S508中，系统控制器107使用计算出的评价值来识别追踪对象物体的位 置。更具体地，如果系统控制器107搜索计算出的评价值达到其以像素为单位的峰值的位 置，并将该位置设置为追踪对象物体的位置，也是有用的。另外，如果系统控制器107搜索 具有比预定值高的评价值的像素的集合的位置，并将这些像素的集合的位置设置为追踪对 象物体的位置，也是有用的。
15
然而，如果不能确定出该评价值达到特定值的位置，S卩如果通过使用计算出的评 价值不能识别出追踪对象物体的位置，则系统控制器107不识别追踪对象物体的位置。如果已经识别出追踪对象物体的位置，则系统控制器107根据识别出的追踪对象 物体的位置来确定用于显示框的位置。如果尚未识别出追踪对象物体的位置，则系统控制 器107不确定用于显示框的位置。在本实施例中，通过执行以上所述的步骤S502、S504和S506中的处理，实现了分 配单元的示例。另外，在本实施例中，通过执行步骤S508和S509中的处理，实现了改变单 元的示例。图17示出评价值的计算结果的示例。在图17所示的示例中，示出了在图像已从 图2A所示的图像变为图2B所示的图像的情况下图2B所示的图像的评价值。在图17所示的示例中，纵轴和横轴分别表示图2B所示的图像在垂直方向上的坐 标和该图像在水平方向上的坐标。垂直于与这两轴平行的平面的另一轴表示各坐标处的评 价值。在图2A所示的例子中，示出了确定追踪对象物体时的图像。系统控制器107将区 域202内的部分识别为追踪对象区域。另外，系统控制器107生成该追踪对象区域的主直 方图和邻接直方图。在图2B所示的示例中，示出了追踪对象区域已经移动之后的图像。在该状态下计 算出的评价值具有图17所示的分布。结果，系统控制器107可以在具有高评价值612的区 域中显示表示追踪对象区域的框。在本实施例中，在图17所示的示例中，存在具有不同于评价值612的高评价值 620,622和624的多个区域。假定表示当前所显示的追踪对象区域的框存在于具有评价值620的位置处。评价 值620低于评价值612。此外，具有评价值620的像素的位置离具有评价值612的像素较 近。因此，可能已将框显示在该追踪对象物体上。因此，在这种情况下，如果系统控制器107不改变显示该框的位置，也是有用的。 更具体地，代替将位置改变为评价值612的位置，如果将该框显示在评价值620的位置处， 也是有用的。返回图3，在步骤S108中，系统控制器107判断作为图14所示的步骤S508的处理 结果，是否已经检测到追踪对象区域。如果判断为已经检测到追踪对象区域(步骤S108中 为“是”)，则处理进入步骤S109。在步骤S109中，系统控制器107在图14中的步骤S509 中确定的框显示位置处显示框。然后，处理返回至步骤S105。另一方面，如果没有检测到追踪对象区域(步骤S108中为“否”)，则处理进入步 骤S110。在步骤SllO中，系统控制器107判断是否已发生超时(即，自判断为没有检测到 追踪对象区域的时刻起是否已经过预定时间)。如果判断为已发生超时(步骤SllO中为“是”)，则结束图3的流程图所示的处理。 另一方面，如果判断为没有发生超时(步骤SllO中为“否”)，则处理返回至步骤S105。如上所述，在本实施例中，系统控制器107生成作为对存在于追踪对象区域内部 或外部的像素分类得到的主分类数据的直方图(主直方图)。更具体地，对于彩色，系统控 制器107生成色相直方图400。对于非彩色，系统控制器107生成亮度直方图440。另外，
16对于存在于追踪对象区域内部的各像素，系统控制器107生成作为对与该像素邻接的像素 分类得到的邻接分类数据的直方图500和520 (邻接直方图)。在检测追踪对象物体时，如果主直方图中存在具有与处理对象像素的属性相对应 的属性的像素，则系统控制器107增大该处理对象像素的评价值。另一方面，如果邻接直方 图中存在具有与处理对象像素的邻接像素的属性相对应的属性的像素，则系统控制器107 增大该处理对象像素的评价值。对于邻接直方图，本实施例仅判断处理对象像素的邻接像素的属性，而没有判断 邻接像素相对于处理对象像素的方位。因此，如果追踪对象物体的方位因转动而变化，或者 如果追踪设备(摄像设备)自身在垂直方向或水平方向上的姿势已改变，则可能不容易影 响评价值。通过使用邻接直方图，本实施例判断与各处理对象像素邻接的像素的属性。因此， 即使追踪对象物体自身的形状已经变形，本实施例仍能够提高追踪性能。更具体地，如果已经将直视前方的人物的面部设置为追踪对象物体，并且如果该 追踪对象物体(人物的面部)倾斜朝向侧方，则该人物的面部的图像的宽度减小。因此，在 这种情况下，人物的面部的图像的形状可能不同于该人物的面部被设置为追踪对象物体时 的形状。另外，如果已经将直视前方的人物的面部设置为追踪对象物体，并且如果该人物 靠近追踪设备，则人物的面部的图像的大小可能不同于该人物的面部被设置为追踪对象物 体时的大小。例如，关注与人物的眼角相对应的像素、与眼睛的虹膜的外缘相对应的像素以及 与唇角相对应的像素这三个像素。在该示例中，如果人物的面部的方位改变，或者如果人物 的面部靠近追踪设备，则这三个像素之间的方向关系以及它们之间的相对距离发生改变。 然而，在这种情况下，容易理解，各像素的属性以及与该像素邻接的像素的属性的变化量较 小。在本实施例中，系统控制器107对画面中所包括的所有像素执行上述评价值计 算。此外，系统控制器107将包括具有高评价值的像素的区域设置为追踪对象区域。利用上述结构，在传统的追踪方法不能执行适当的追踪操作的状态下，本实施例 能够提高追踪性能。另外，具有上述结构的本实施例无需存储追踪用的模板图像。因此，能够节省存储 容量。此外，在图像分辨率低的情况下，本实施例能够提高追踪性能。因此，本实施例不需 要高的图像处理性能。下面，将详细说明本发明第二实施例。在本实施例中，如果可以利用帧间差分法， 则通过帧间差分法来对追踪对象物体进行追踪。另一方面，在本实施例中，如果不能利用帧 间差分法进行追踪，则按与以上在第一实施例中所述的方式类似的方式来对追踪对象物体 进行追踪。换句话说，本实施例与上述第一实施例的不同点在于本实施例使用帧间差分法。 利用与以上参考图1 17所述的第一实施例的附图标记或符号相同的附图标记或符号来 设置与第一实施例的组件相同的本实施例的组件。因此，这里将不重复对这些组件的说明。图18是示出由根据本实施例的摄像设备所执行的用于对追踪对象物体进行追踪
17的处理的示例的主流程图。参考图18，在步骤S1001中，系统控制器107确定追踪对象物体的位置和大小。在 步骤S1002中，系统控制器107执行追踪对象物体识别处理。在步骤S1003中，系统控制器 107执行可追踪性判断处理。在步骤S1001 S1003中，系统控制器107执行与图3的流程 图所示的步骤SlOl S103中的处理相同的处理。在步骤S1004中，系统控制器107通过使用帧间相对差分法对追踪对象区域进行 追踪。在帧间相对差分法期间，系统控制器107使用存在于所指定的追踪位置处的图像数 据作为模板图像，并从随后的图像帧中搜索要进行模式匹配的区域。另外，系统控制器107将存在于被检测为要进行模式匹配的区域的位置处的图像 数据更新为模板图像。此外，系统控制器107继续从随后的帧图像中搜索要进行模式匹配 的区域。如上所述，在本实施例中，系统控制器107在顺次更新模板图像的同时，继续从随 后的帧图像对追踪对象物体进行追踪。当使用帧间相对差分法时，不能执行模式匹配，并且 在一些情况下判断为不能对追踪对象物体进行追踪。因此，在步骤S1005中，系统控制器107判断是否能够利用帧间相对差分法进行追 踪。更具体地，如果追踪对象物体的方位由于其转动已突然改变，或者如果追踪设备自身在 垂直方向或水平方向上的姿势已改变，并且如果由于这些原因而导致不能执行模式匹配， 则不能利用帧间相对差分法进行追踪。如果判断为能够利用帧间相对差分法进行追踪(步骤S1005中为“是”)，则处理返 回至步骤S1004，并且系统控制器107继续通过帧间相对差分法对追踪对象物体进行追踪。 另一方面，如果判断为不能利用帧间相对差分法进行追踪(步骤S1005中为“否”)，则处理 进入步骤S1006。在这种情况下，在步骤S1006中，系统控制器107执行继续追踪可行性判断处理。 在步骤S1007中，系统控制器107判断是否能够继续对追踪对象物体进行追踪。在步骤 S1008中，系统控制器107执行追踪对象物体检测处理。更具体地，在步骤S1009中，系统控 制器107判断是否已经检测到追踪对象物体。如果判断为已经检测到追踪对象物体(步骤S1009中为“是”)，则处理进入步骤 SlOlO0在步骤S1010中，系统控制器107将框显示在框显示位置处。然后，处理返回至步 骤 S1004。在步骤S1004中，系统控制器107从在步骤S1008中检测到的追踪对象区域起，重 新开始通过帧间相对差分法对追踪对象物体进行追踪。另一方面，如果尚未检测到追踪对 象区域，则处理进入步骤S1011。在步骤SlOll中，系统控制器107判断是否已发生超时。 如果判断为已发生超时(步骤SlOll中为“是”)，则结束根据图18的流程图的处理。另一 方面，如果判断为尚未发生超时(步骤SlOll中为“否”)，则处理返回至步骤S1006。步骤S1006 SlOll中的处理与图3的流程图所示的步骤S105 SllO中的处理 相同。如上所述，在根据图18所示的流程图的处理中，没有同时执行利用帧间相对差分 法的追踪和以上在第一实施例中所述的追踪。然而，本发明不局限于此。更具体地，如果将 这两个处理彼此并行地同时执行，也是有用的。在这种情况下，系统控制器107判断哪个处理的精度高，并且使用精度较高的处理的结果来执行对追踪对象物体的追踪。另外，代替帧 间相对差分法，如果使用诸如以上在背景技术中所述的方法等的任意其它追踪方法，也是 有用的。此外，还可以通过向系统或装置提供存储有用于实现各实施例的功能的软件的程 序代码的存储介质(或记录介质)并通过利用该系统或装置的计算机(CPU或MPU)读取并 执行该存储介质中所存储的程序代码，来实现本发明。在这种情况下，从存储介质读取的程 序代码自身实现了上述各实施例的功能。另外，可以将实现本发明实施例的程序存储在计 算机可读存储介质上。尽管已经参考各实施例说明了本发明，但是应该理解，本发明不限于所公开的实 施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
1.一种图像处理设备，包括存储单元，用于存储存在于设置在图像上的追踪对象区域内部的每一个像素的属性以 及与该像素邻接的像素的属性；分配单元，用于根据要评价的像素的属性和存在于所述追踪对象区域内部的像素的属 性之间的比较结果、以及与所述要评价的像素邻接的像素的属性和与存在于所述追踪对象 区域内部的像素邻接的像素的属性之间的比较结果，对所述要评价的像素分配评价值；以 及改变单元，用于基于所分配的评价值，改变所述追踪对象区域。
2.根据权利要求1所述的图像处理设备，其特征在于，所述存储单元包括主分类单元，用于生成主分类数据，并将所述主分类数据存储在存储介质上，其中所述 主分类数据是作为存在于所述追踪对象区域内部的各像素的分类数据的、根据第一属性的 预定分类单位分类得到的数据；以及邻接分类单元，用于生成邻接分类数据，并将所述邻接分类数据存储在存储介质上，其 中所述邻接分类数据是作为与存在于所述追踪对象区域内部的各像素邻接的像素的分类 数据的、根据所述第一属性的预定分类单位和第二属性的预定分类单位分类得到的数据，其中，如果与所述第一属性的至少一个相对应的像素登记在所述主分类数据中，并且 如果与所述第一属性的至少一个和所述第二属性的至少一个相对应的像素登记在所述邻 接分类数据中，则所述分配单元对所述要评价的像素分配评价值。
3.根据权利要求2所述的图像处理设备，其特征在于，如果与所述第一属性的至少一 个和所述第二属性的至少一个相对应的像素登记在所述邻接分类数据中，则所述分配单元 根据所述要评价的像素的属性和与所述要评价的像素邻接的像素的属性的组合来改变要 分配至所述要评价的像素的评价值。
4.根据权利要求3所述的图像处理设备，其特征在于，如果与所述第一属性的至少一 个和所述第二属性的至少一个相对应的像素登记在所述邻接分类数据中，并且所述要评价 的像素是彩色像素，则所述分配单元对于与所述要评价的像素邻接的像素是与所述要评价 的像素不同的彩色像素的情况、与所述要评价的像素邻接的像素是与所述要评价的像素相 同的彩色像素的情况、以及与所述要评价的像素邻接的像素是非彩色像素的情况，按降序 对所述要评价的像素分配高评价值。
5.根据权利要求3所述的图像处理设备，其特征在于，如果与所述第一属性的至少一 个和所述第二属性的至少一个相对应的像素登记在所述邻接分类数据中，并且所述要评价 的像素是非彩色像素，则所述分配单元对于与所述要评价的像素邻接的像素是彩色像素的 情况、与所述要评价的像素邻接的像素是具有与所述要评价的像素的亮度不同的亮度的非 彩色像素的情况、以及与所述要评价的像素邻接的像素是具有与所述要评价的像素相同的 亮度水平的非彩色像素的情况，按降序对所述要评价的像素分配高评价值。
6.根据权利要求2所述的图像处理设备，其特征在于，如果所述要评价的像素是彩色 像素，则所述第一属性是色相，如果所述要评价的像素是非彩色像素，则所述第一属性是亮 度。
7.根据权利要求2所述的图像处理设备，其特征在于，如果与所述要评价的像素邻接 的像素是彩色像素，则所述第二属性是色相、饱和度和亮度，如果与所述要评价的像素邻接的像素是非彩色像素，则所述第二属性是亮度。
8.根据权利要求2所述的图像处理设备，其特征在于，所述主分类数据是根据所述第 一属性的预定分类单位分类得到的直方图，并且所述邻接分类数据是根据所述第一属性的 预定分类单位和所述第二属性的预定分类单位分类得到的直方图。
9.一种图像处理方法，包括存储存在于设置在图像上的追踪对象区域内部的每一个像素的属性以及与该像素邻 接的像素的属性；根据要评价的像素的属性和存在于所述追踪对象区域内部的像素的属性之间的比较 结果、以及与所述要评价的像素邻接的像素的属性和与存在于所述追踪对象区域内部的像 素邻接的像素的属性之间的比较结果，对所述要评价的像素分配评价值；以及基于所分配的评价值，改变所述追踪对象区域。
10.根据权利要求9所述的图像处理方法，其特征在于，还包括生成主分类数据，并将所述主分类数据存储在存储介质上，其中所述主分类数据是作 为存在于所述追踪对象区域内部的各像素的分类数据的、根据第一属性的预定分类单位分 类得到的数据；以及生成邻接分类数据，并将所述邻接分类数据存储在存储介质上，其中所述邻接分类数 据是作为与存在于所述追踪对象区域内部的各像素邻接的像素的分类数据的、根据所述第 一属性的预定分类单位和第二属性的预定分类单位分类得到的数据；如果与所述第一属性的至少一个相对应的像素登记在所述主分类数据中，并且如果与 所述第一属性的至少一个和所述第二属性的至少一个相对应的像素登记在所述邻接分类 数据中，则对所述要评价的像素分配评价值。
11.根据权利要求10所述的图像处理方法，其特征在于，还包括如果与所述第一属性的至少一个和所述第二属性的至少一个相对应的像素登记在所 述邻接分类数据中，则根据所述要评价的像素的属性和与所述要评价的像素邻接的像素的 属性的组合来改变要分配至所述要评价的像素的评价值。
12.根据权利要求10所述的图像处理方法，其特征在于，如果所述要评价的像素是彩 色像素，则所述第一属性是色相，如果所述要评价的像素是非彩色像素，则所述第一属性是 亮度。
13.根据权利要求10所述的图像处理方法，其特征在于，如果与所述要评价的像素邻 接的像素是彩色像素，则所述第二属性是色相、饱和度和亮度，如果与所述要评价的像素邻 接的像素是非彩色像素，则所述第二属性是亮度。
14.根据权利要求10所述的图像处理方法，其特征在于，所述主分类数据是根据所述 第一属性的预定分类单位分类得到的直方图，并且所述邻接分类数据是根据所述第一属性 的预定分类单位和所述第二属性的预定分类单位分类得到的直方图。
全文摘要
本发明涉及一种图像处理设备和图像处理方法。所述图像处理设备包括存储单元，用于存储存在于设置在图像上的追踪对象区域内部的每一个像素的属性以及与该像素邻接的像素的属性；分配单元，用于根据要评价的像素的属性和存在于所述追踪对象区域内部的像素的属性之间的比较结果、以及与所述要评价的像素邻接的像素的属性和与存在于所述追踪对象区域内部的像素邻接的像素的属性之间的比较结果，对所述要评价的像素分配评价值；以及改变单元，用于基于所分配的评价值，改变所述追踪对象区域。
文档编号G06T7/00GK101996408SQ20101025026
公开日2011年3月30日 申请日期2010年8月6日 优先权日2009年8月6日
发明者窪田聪 申请人:佳能株式会社