电子照相机、图像处理装置及图像处理方法

专利名称：电子照相机、图像处理装置及图像处理方法
技术领域：
本发明涉及电子照相机、图像处理装置等，尤其涉及对输入图像中作为跟踪的对 象的对象物的像进行跟踪的电子照相机、图像处理装置等。
背景技术：
近年来，电子照相机具有物体跟踪功能，来作为AF (自动聚焦Aut0-F0Cus)、 AE(自动曝光Automatic Exposure)或逆光校正功能的对位手段。另外，所谓电子照相机 (camera)，是指拍摄静止图像的照相机(camera)或拍摄活动图像的摄像机(camera)。例如，电子照相机将被指定的对象物的像的颜色信息作为初始特征量登录。然后， 电子照相机在对象物的像被指定之后拍摄的图像中，搜索与初始特征量类似的区域，由此 进行对象物的像的跟踪。具体而言，电子照相机通过执行利用颜色信息的模板匹配、或计算 色相的统计图的重复的比例，由此搜索包含对象物的像的对象区域。另外，用于监视的固定照相机所拍摄的场所几乎是固定的，能够容易地获得日照 条件及时间变化的信息等。因此，用于监视的固定照相机利用日照条件及时间变化的信息 等，推测周围的环境。然后，用于监视的固定照相机能够按照推测的环境，例如改变模板匹 配中的模板的颜色。但是，数字视频摄像机等民用设备由于在各种环境下拍摄各种对象，因此难以推 测当前的环境。也就是说，电子照相机在拍摄作为跟踪的对象的对象物时的周围的环境 (以下称为“拍摄环境”)发生了变化的情况下，电子照相机无法追随环境的变化，因此发生 持续跟踪错误的物体、或跟踪中断等问题。例如，在电子照相机从较暗的场所向明亮的场所 进行了移动的情况下，作为跟踪的对象的对象物的像的明亮部分的灰度(階調)丢失(过 亮)，所以发生无法进行模板匹配的问题。因此，现有的照相机在拍摄环境发生了变化的情况下，在拍摄的图像中，按照已变 化的环境来校正曝光或色温等(例如，参照专利文献1)。在专利文献1记载的方法中，利 用在画面内一边改变位置一边设定的检测区域内外的亮度成分的差，判断画面内的亮度模 式。然后，利用在适应于判断的亮度模式的位置上设定的测光区域，进行曝光控制。另外，提出了以下方法，即不利用色相信息，而是利用预测系数来追踪目标，由 此即使在颜色因为照明发生了变化的情况下，也可靠地追踪目标，上述预测系数是利用 RGB (红绿蓝)各颜色和亮度Y计算的(例如，参照专利文献2)。专利文献1 日本特许第2568161号公报专利文献2 日本特开平7-095598号公报但是，在专利文献1所示的现有的方法中，以在时间上连续的图像中对明亮度或 颜色等进行变换的变换参数不急剧变化的方式，逐渐向与环境适应的值变化。这是因为，例 如在明亮度或色温等发生了变化的情况下，如果对图像的明亮度或色温进行变换的变换参 数按照环境而变化很大，则会给用户带来不协调感或不舒服感。像这样，由于变换参数逐渐 变化，因此尤其在利用作为稳健(robust)的特征量的颜色来作为特征量的情况下，电子照相机无法进行对象物的跟踪。另外，在专利文献2所示的现有的方法中，由于利用预测系数来跟踪对象物，因此 在预测错误的情况下无法正确地跟踪。

发明内容
因此，本发明鉴于上述现有的问题而做成。本发明的目的在于，提供一种电子照相 机、图像处理装置等，即使在由于拍摄环境变化而表示对象物的像的特征量变化的情况下， 也能够稳定地追踪对象物的像。为了达到上述目的，本发明涉及的电子照相机在连续拍摄的图像中跟踪作为跟踪 的对象的对象物的像，利用跟踪结果，执行自动聚焦处理、自动曝光处理、以及基于照相机 控制的取景处理及自动拍摄处理中的至少一个，该电子照相机具备存储部，存储与初始区 域有关的信息、以及第一变换参数，该初始区域是在第一图像中包括上述对象物的像的区 域，该第一变换参数是与拍摄上述第一图像时的拍摄环境对应的参数，而且是用于将上述 第一图像变换为具有规定的画质的图像的参数；变换参数计算部，按照拍摄第二图像时的 拍摄环境，计算第二变换参数，该第二图像是在上述第一图像之后拍摄的图像，该第二变换 参数用于将上述第二图像变换为具有上述规定的画质的图像；第一图像变换部，利用上述 存储部中存储的第一变换参数和由上述变换参数计算部计算的第二变换参数，对上述第一 图像及第二图像中的至少一方进行变换；跟踪处理部，利用由上述第一图像变换部变换后 的图像，在上述第二图像中搜索具有与定量地表示上述初始区域的特征的特征量类似的特 征量的区域，由此跟踪上述对象物的像；第二图像变换部，利用第三变换参数，对上述第二 图像进行变换，该第三变换参数与上述第二变换参数相比，被抑制了连续拍摄的图像间的 变化量；以及输出部，输出由上述第二图像变换部变换后的图像、以及表示由上述跟踪处理 部搜索的区域的信息。由此，即使在由于拍摄环境变化而表示对象物的像的特征量发生了变动的情况 下，通过利用与拍摄环境对应的变换参数进行了变换的图像来跟踪对象物的像，从而能够 稳定地跟踪对象物的像。进而，通过输出利用逐渐对应于拍摄环境的变化的变换参数进行 了变换的图像，还能够减少用户在观察图像时的不协调感或不舒服感。另外，上述第一、第二及第三变换参数也可以是按照从拍摄的图像中检测出的色 温、曝光及亮度值中的至少一个，来对构成上述图像的多个像素所具有的像素值进行变换 的参数。由此，即使在色温、曝光及亮度值发生了变化的情况下，也能够稳定地跟踪对象物 的像。另外，上述第一图像变换部也可以利用上述第一变换参数与第二变换参数之比， 来对上述第一图像及上述第二图像中的一方进行变换。由此，对第一及第二图像中的一方进行变换即可，因此能够减轻变换图像的处理 的负荷。另外，上述第一图像变换部在对上述第一图像进行变换的情况下，也可以仅变换 上述第一图像之中上述初始区域所包括的图像。由此，对第一图像的一部分区域中包含的图像进行变换即可，因此能够进一步减轻变换图像的处理的负担。另外，也可以上述特征量是表示构成图像的像素所具有的颜色的频度分布的颜色 统计图，上述跟踪处理部在上述第二图像中，搜索具有与上述初始区域的颜色统计图重合 的部分的比例最大的颜色统计图的区域。由此，能够利用稳健性高的颜色统计图来跟踪对象物的像，因此能够更加稳定地 跟踪对象物的像。另外，本发明涉及的图像处理装置在连续拍摄的图像中跟踪作为跟踪的对象的对 象物的像，该图像处理装置具备存储部，存储与初始区域有关的信息、以及第一变换参数， 该初始区域是在第一图像中包括上述对象物的像的区域，该第一变换参数是与拍摄上述第 一图像时的拍摄环境对应的参数，而且是用于将上述第一图像变换为具有规定的画质的图 像的参数；变换参数计算部，按照拍摄第二图像时的拍摄环境，计算第二变换参数，该第二 图像是在上述第一图像之后拍摄的图像，该第二变换参数用于将上述第二图像变换为具有 上述规定的画质的图像；第一图像变换部，利用上述存储部中存储的第一变换参数和由上 述变换参数计算部计算的第二变换参数，对上述第一图像及第二图像中的至少一方进行变 换；跟踪处理部，利用由上述第一图像变换部变换后的图像，在上述第二图像中搜索具有 与定量地表示上述初始区域的特征的特征量类似的特征量的区域，由此跟踪上述对象物的 像；第二图像变换部，利用第三变换参数，对上述第二图像进行变换，该第三变换参数与上 述第二变换参数相比，被抑制了连续拍摄的图像间的变化量；以及输出部，输出由上述第二 图像变换部变换后的图像、以及表示由上述跟踪处理部搜索的区域的信息。另外，本发明涉及的集成电路在连续拍摄的图像中跟踪作为跟踪的对象的对象物 的像，是图像处理装置具备的集成电路，上述图像处理装置具备存储部，该存储部存储与 初始区域有关的信息、以及第一变换参数，该初始区域是在第一图像中包括上述对象物的 像的区域，该第一变换参数是与拍摄上述第一图像时的拍摄环境对应的参数，而且是用于 将上述第一图像变换为具有规定的画质的图像的参数；上述集成电路具备变换参数计算 部，按照拍摄第二图像时的拍摄环境，计算第二变换参数，该第二图像是在上述第一图像之 后拍摄的图像，该第二变换参数用于将上述第二图像变换为具有上述规定的画质的图像； 第一图像变换部，利用上述存储部中存储的第一变换参数和由上述变换参数计算部计算的 第二变换参数，对上述第一图像及第二图像中的至少一方进行变换；跟踪处理部，利用由上 述第一图像变换部变换后的图像，在上述第二图像中搜索具有与定量地表示上述初始区域 的特征的特征量类似的特征量的区域，由此跟踪上述对象物的像；第二图像变换部，利用第 三变换参数，对上述第二图像进行变换，该第三变换参数与上述第二变换参数相比，被抑制 了连续拍摄的图像间的变化量；以及输出部，输出由上述第二图像变换部变换后的图像、以 及表示由上述跟踪处理部搜索的区域的信息。另外，本发明不仅可以作为这样的图像处理装置来实现，也可以作为以这样的图 像处理装置所具备的特征性结构部的动作为步骤的图像处理方法来实现。另外，本发明还 可以作为使计算机执行这样的图像处理方法中包括的步骤的程序来实现。而且，这样的程 序也可以通过⑶-ROM等记录介质或互联网等传输媒体来分发。发明效果根据以上说明可知，本发明涉及的电子照相机、图像处理装置等，即使在拍摄作为跟踪的对象的对象物的环境发生了变化的情况下，通过利用与环境变化对应的变换参数对 图像进行变换，也能够稳定地跟踪对象物的像。进而，本发明涉及的电子照相机、图像处理 装置等，通过输出利用逐渐对应于拍摄环境的变化的变换参数进行了变换的图像，还能够 减少用户在观察图像时的不协调感或不舒服感。


图1是表示本发明的实施方式涉及的图像处理装置的功能结构的模块图。图2是表示作为本发明的实施方式涉及的图像处理装置的具体例的电子照相机 的结构的模块图。图3是表示本发明的实施方式涉及的图像处理装置的动作的流程图。图4是用于说明本发明的实施方式涉及的图像处理装置的动作的具体例的图。图5是用于说明本发明的实施方式涉及的图像处理装置的有关搜索的动作的具 体例的图。
具体实施例方式以下，参照

本发明的实施方式。图1是表示本发明的实施方式涉及的图像处理装置的功能结构的模块图。如图1 所示，图像处理装置10具备初始区域获得部11、变换参数计算部12、第一图像变换部13、第 二图像变换部14、跟踪处理部15、输出部16和存储部17。初始区域获得部11获得与第一图像中包括对象物的像在内的区域即初始区域有 关的信息。然后，初始区域获得部11将获得的与初始区域有关的信息登录到存储部17中。 具体而言，初始区域获得部11例如获得表示初始区域的位置及大小的信息。另外，例如在电子照相机具备触摸面板来作为对正拍摄的图像或要拍摄的图像进 行显示的部件的情况下，初始区域获得部11获得通过用户触摸触摸面板来接受的初始区 域的位置的信息。再者，例如在对准电子照相机的方向以使想要跟踪的物体显示在显示画 面的中央等预先确定的区域中之后，用户按下跟踪按键的情况下，初始区域获得部11也可 以获得该区域来作为初始区域。另外，初始区域获得部11获得第一变换参数，该第一变换参数是用于按照拍摄第 一图像时的拍摄环境来对图像进行变换的参数，而且是将第一图像变换为具有规定的画质 (以下简称为“目的画质”。)的图像(以下简称为“目的画质图像”。)的参数。然后，初始 区域获得部11将获得的第一变换参数登录到存储部17中。在此，所谓目的画质，是指图像具有满足规定的条件的颜色或亮度。例如，所谓目 的画质，是指图像成为预先确定的规定的颜色分布或亮度分布。具体而言，例如，所谓目的 画质，是指在拍摄了白色的被摄体的图像中，无论光源的色温如何，该被摄体的像的颜色成 为白色。另外，所谓目的画质，例如指明亮的被摄体的像不丢失灰度(不过亮)。变换参数计算部12按照拍摄作为比第一图像后拍摄的图像的第二图像时的拍摄 环境，计算第二变换参数，该第二变换参数用于将第二图像变换为目的画质图像。在此，规 定的画质与上述第一变换参数中的规定的画质相同。另外，变换参数计算部12计算第三变换参数，该第三变换参数与第二变换参数相比，被抑制了连续拍摄的图像间的变化量。也就是说，变换参数计算部12计算用于将拍摄 的图像变换为逐渐追随拍摄环境的变化的图像的第三变换参数。具体而言，变换参数计算部12计算第三变换参数，以使在时间上比第二图像早一 个的图像中的第三变换参数(以下简称为“旧第三变换参数”)与第二图像中的第三变换参 数之间的差分值成为旧第三变化参数与第二图像中的第二变换参数之间的差分值以下。第一图像变换部13利用存储部17中存储的第一变换参数和由变换参数计算部12 计算出的第二变换参数，对第一及第二图像中的至少一方进行变换。也就是说，第一图像变 换部13对第一及第二图像中的至少一方进行变换，以使变换后的图像具有同等的画质。具 体而言，例如，第一图像变换部13利用第一变换参数与第二变换参数之比来对第一图像进 行变换。第二图像变换部14利用第三变换参数对第二图像进行变换。跟踪处理部15利用由第一图像变换部13变换后的图像，在第二图像中搜索具有 与定量地表示初始区域的特征的特征量最类似的特征量的区域，由此跟踪对象物的像。具 体而言，例如，跟踪处理部15提取一边改变第二图像内的位置及大小一边选择的区域的特 征量。然后，跟踪处理部15将具有计算出的特征量之中与初始区域的特征量之间差分最小 的特征量的区域确定为对象区域。另外，所谓对象区域，是包含对象物的像的区域。在此，所谓特征量，例如是表示区域内的像素的颜色的频度分布的颜色统计图。另 外，所谓特征量，例如也可以是在区域内检测出的边缘。另外，所谓特征量，例如也可以是构 成区域的像素所具有的亮度值。输出部16输出由第二图像变换部14变换后的图像、以及表示由跟踪处理部15搜 索的区域的信息。具体而言，输出部16例如为了使电子照相机等所具有的显示部进行显 示，将包含由第二图像变换部14变换后的图像和表示对象区域的框等的图像登录到存储 部17中。存储部17存储与初始区域相关的信息和第一变换参数。另外，在上述内容中，第一、第二及第三变换参数是用于按照从拍摄的图像中检测 出的色温、曝光以及亮度值中的至少一个来对构成图像的多个像素所具有的像素值进行变 换的参数。具体而言，第一、第二及第三变换参数例如是对各像素的RGB各自的亮度值进行 变换的变换系数。图2是表示作为本发明的实施方式涉及的图像处理装置的具体例的电子照相机 的结构的模块图。如图2所示，电子照相机100具备摄影镜头101、快门102、摄像元件 103、AD转换器104、定时产生电路105、图像处理电路106、存储器控制电路107、图像显示 存储器108、DA转换器109、图像显示部110、存储器111、调整大小电路112、系统控制电路 113、曝光控制部114、测距控制部115、变焦控制部116、保护盖(barrier)控制部117、闪光 灯118、保护部119、存储部120、显示部121、非易失性存储器122、模式调节开关123、快门 开关124、电源控制部125、连接器126及127、电源128、接口 129及130、连接器131及132、 记录介质133、光学取景器134、通信部135、天线136、初始区域获得电路137、变换参数计算 电路138、第一图像变换电路139、第二图像变换电路140、跟踪处理电路141、跟踪结果描绘 电路142和照相机控制电路143。另外，电源1 及记录介质133也可以是可拆卸的。摄影镜头101是具有变焦及聚焦功能的镜头，使入射的光在摄像元件103上成像。
快门102具备光圈功能，对入射到摄像元件103的光的量进行调节。摄像元件103将入射的光成像所得到的光学像转换为电信号(图像数据)。AD转换器104将从摄像元件103输出的模拟信号转换为数字信号。AD转换器104 通过存储器控制电路107，将已转换为数字信号的图像数据写入图像显示存储器108或存 储器111。或者，AD转换器104将已转换为数字信号的图像数据输出到图像处理电路106。定时产生电路105向摄像元件103、AD转换器104及DA转换器109提供时钟信号 或控制信号。定时产生电路105被存储器控制电路107及系统控制电路113控制。图像处理电路106对从AD转换器104输出的图像数据或从存储器控制电路107 输出的图像数据进行规定的图像内插处理或颜色变换处理等。另外，图像处理电路106利 用被输入的图像数据进行规定的运算处理，系统控制电路113根据得到的运算结果对曝光 控制部114及测距控制部115进行控制。存储器控制电路107控制AD转换器104、定时产生电路105、图像处理电路106、图 像显示存储器108、DA转换器109、存储器111及调整大小电路112。图像显示存储器108存储用于显示的图像数据。DA转换器109通过存储器控制电路107，从图像显示存储器108获得用于显示的 图像数据，并从数字信号转换为模拟信号。图像显示部110显示由DA转换器109转换为模拟信号的用于显示的图像数据。 另外，图像显示部110也可以从用户接收用于确定正显示作为跟踪的对象的对象物的区 域(初始区域)的信息。图像显示部110例如是TFTLCD (Thin Film Transistor Liquid Crystal Display 薄膜晶体管液晶显示器)、触摸面板等显示器。存储器111存储从AD转换器104得到的图像数据、以及由图像处理电路106进行 了处理的图像数据。进而，存储器111存储由初始区域获得电路137获得的与初始区域有 关的信息等、跟踪处理所需的信息。另外，存储器111相当于图1的存储部17。调整大小电路112根据拍摄得到的图像，生成低解析度的图像。另外，调整大小电 路112能够按照用途来选择规定的多个解析度。调整大小电路112读入被保存在存储器111 中的图像数据，对读入的图像数据进行调整大小处理，将处理完的数据写入存储器111。另外，调整大小电路112用于希望以与摄像元件103的像素数不同的像素数(大 小)在记录介质133等中记录图像数据的情况等。另外，图像显示部110可显示的像素数 比摄像元件103的像素数小很多。因此，调整大小电路112也用于生成将拍摄的图像数据 显示于图像显示部110时的显示用图像的情况。系统控制电路113通过控制电子照相机100整体的各处理部及各处理电路，由此 进行摄影处理。摄影处理包括曝光处理、显影处理及记录处理等。所谓曝光处理，是指将从 摄像元件103读出的图像数据通过AD转换器104及存储器控制电路107写入存储器111 的处理。所谓显影处理，是指图像处理电路106及存储器控制电路107中的运算处理。所 谓记录处理，是指从存储器111读出图像数据、并将图像数据写入记录介质133的处理。曝光控制部114对具备光圈功能的快门102进行控制。另外，曝光控制部114通 过与闪光灯118联动，还具有闪光灯调光功能。测距控制部115控制摄影镜头101的聚焦。变焦控制部116控制摄影镜头101的 变焦。保护盖控制部117控制保护部119的动作。
闪光灯118对被摄体照射闪光。闪光灯118还具有AF辅助光的投射功能及闪光 灯调光功能。保护部119是通过对电子照相机100的包括摄影镜头101、快门102及摄像元件 103等的摄像部进行覆盖来防止摄像部的污染或破损的保护盖(barrier)。存储器120记录系统控制电路113的动作用的定量、变量及程序等。显示部121是按照系统控制电路113中的程序的执行并利用文字、图像或声音 等来显示动作状态或消息等的液晶显示装置或扬声器等。显示部121设置在电子照相机 100的操作部附近的容易视觉辨认的一个或多个位置。显示部121例如由IXD、LED (Light Emitting Diode 发光二极管)、或者发音元件等的组合构成。非易失性存储器122是能够以电气进行证明、记录的存储器，存储电子照 相机100的动作设定数据或使用者固有的信息等。非易失性存储器122例如是 EEPROM (ElectricalIy Erasable and Programmable Read Only Memory :电可擦写可编禾呈 只读存储器)等。模式调节开关123能够切换、设定自动摄影模式、摄影模式、全景摄影模式及RAW 模式等各功能模式。快门开关IM在快门按键(未图示)的操作过程中打开(ON)，指示AF处理、AE处 理及AWB(Aut0 White Balance 自动白平衡)处理等的动作开始。另外，快门开关1 指 示曝光处理、显影处理及记录处理这一系列处理的动作的开始。电源控制部125由电池检测电路、DC-DC转换器、以及对通电的模块进行切换的开 关电路等构成。电源控制部125对有没有安装电池、电池的种类以及电池剩余电量进行检 测。进而，电源控制部125还根据检测结果以及系统控制电路113的指示对DC-DC转换器 进行控制，反馈所需的电压，通过连接器1 及127向包括记录介质133的各处理部提供电压。连接器126及127是进行电源控制部125与电源128的连接的连接器。电源128是碱电池或锂电池等一次电池，NiCd电池、NiMH电池或Li电池等二次电 池，或者AC适配器等。接口 1 及130是用于在记录介质133与存储器111等之间进行图像数据等的收 发的接口。连接器131及132是通过接口 1 及接口 130进行与记录介质133的连接的连接
器ο记录介质133是记录图像数据的存储卡或硬盘等记录介质。光学取景器134是用于拍摄者确认被摄体的取景器。拍摄者可以不使用图像显示 部110的电子取景器功能，而仅利用光学取景器134来进行摄影。通信部1；35具有RS232C、USB、IEEE1394、调制解调器、LAN、或者无线通信等各种通 信功能。天线136是通过通信部135将电子照相机100与其他设备连接的连接器、或者是 无线通信的情况下的天线。初始区域获得电路137获得与初始区域有关的信息，并将获得的信息写入存储器 111，该初始区域通过触摸面板从用户接受的位置、或者用户按下快门开关IM从而设定的AF区域等来确定。另外，初始区域获得电路137相当于图1的初始区域获得部11。变换参数计算电路138计算变换参数，该变换参数用于将输入图像变换为具有与 用户通过视觉识别的颜色或明亮度相同的颜色或明亮度的图像。具体而言，变换参数计算 电路138例如检测照射对象物的光的色温，计算按照检测出的色温来对输入图像的颜色进 行变换的变换参数。另外，变换参数计算电路138相当于图1的变换参数计算部12。第一图像变换电路139从存储器111读入初始区域中包含的图像。进而，第一图 像变换电路139利用由变换参数计算电路138计算出的变换参数，对读入的图像进行变换。 另外，第一图像变换电路139相当于图1的第一图像变换部13。第二图像变换电路140从存储器111读入输入图像。进而，第二图像变换电路140 利用由变换参数计算电路138计算出的变换参数，对读入的图像进行变换。另外，第二图像 变换电路140相当于图1的第二图像变换部14。跟踪处理电路141从存储器111读入由第一图像变换电路139进行了变换的图 像，并计算所读出的图像的特征量。然后，跟踪处理电路141通过在输入图像中搜索具有与 计算出的特征量最类似的特征量的区域，由此进行对象物的像的跟踪处理。进而，跟踪处理 电路141将跟踪结果(坐标数据、评价值等)写入存储器111。另外，跟踪处理电路141相 当于图1的跟踪处理部15。跟踪结果描绘电路142为了使显示部121显示被写入存储器111的跟踪结果，加 工被写入图像显示存储器108中的显示用的图像数据。具体而言，跟踪结果描绘电路142 对于图像数据，例如进行跟踪框、马赛克化、文字、显示颜色的变更、模糊等加工。另外，跟踪 结果描绘电路142相当于图1的输出部16。照相机控制电路143根据被写入存储器111中的跟踪结果(对象区域)的位置和 大小，控制AF处理，以使焦点对准对象区域中显示的对象物。具体而言，照相机控制电路 143例如利用对象区域中显示的对象物的对比度，控制摄影镜头101以使对比度变高。另外，照相机控制电路143也可以控制AE处理或逆光校正处理，以使对象区域中 显示的对象物的曝光合适。具体而言，照相机控制电路143也可以例如根据快门速度优先、 或者光圈值优先等模式，通过曝光控制部114，对具备光圈功能的快门102的快门速度或者 光圈值进行控制。进而，照相机控制电路143也可以控制电子照相机100，以使对象物位于图像内的 一定的位置或成为一定的大小(例如，使作为对象物的面部显示在图像的中央，或者显示 作为对象物的人物的全身)。另外，在电子照相机100不具备初始区域获得电路137、变换参数计算电路138、第 一图像变换电路139、第二图像变换电路140、跟踪处理电路141、跟踪结果描绘电路142、以 及照相机控制电路143中的某个电路的情况下，系统控制电路113也可以通过软件处理来 进行跟踪处理等。接下来，说明如上构成的图像处理装置的各种动作。图3是表示本发明的实施方式涉及的图像处理装置的动作的流程图。首先，初始区域获得部11获得与初始区域有关的信息和第一变换参数(步骤 Sioi)。具体而言，初始区域获得部Ii例如获得表示初始区域的位置的坐标和表示初始区 域的大小的值，来作为与初始区域有关的信息。另外，初始区域获得部U例如获得用于将第一图像变换为无论光源的色温如何都正确表示对象物的颜色的图像的色温参数，来作为 第一变换参数。接下来，初始区域获得部11将获得的与初始区域有关的信息和第一变换参 数登录到存储部17中(步骤S102)。其后，图像处理装置10在比第一图像靠后拍摄的图像中，反复进行确定对象区域 的处理。确定对象区域的处理如下。首先，变换参数计算部12计算用于将作为处理对象的图像(以下称为“第二图 像”)变换为目的画质图像的第二变换参数(步骤S103)。具体而言，变换参数计算部12例 如计算用于将第二图像变换为无论光源的色温如何都正确地表示对象物的颜色的图像的 色温参数，来作为第二变换参数。接下来，第一图像变换部13利用存储部17中存储的第一变换参数和由变换参数 计算部12计算出的第二变换参数，对第一图像进行变换(步骤S104)。具体而言，第一图像 变换部13例如从存储部17读出第一图像和第一变换参数。然后，第一图像变换部13例如 在构成所读出的第一图像的各像素的像素值上，乘以用第一变换参数除以由变换参数计算 部12计算出的第二变换参数所得到的值。接下来，跟踪处理部15从在步骤S104中进行了变换的图像中，提取初始区域的特 征量(步骤S105)。具体而言，跟踪处理部15例如读出存储部17中存储的表示初始区域的 位置的坐标以及表示大小的值。然后，跟踪处理部15例如利用所读出的坐标以及表示大小 的值，来确定构成初始区域的多个像素。然后，跟踪处理部15提取出表示所确定的各像素 所具有的颜色的频度分布的颜色统计图，来作为特征量。接下来，跟踪处理部15通过在第二图像中搜索具有与提取出的特征量最类似的 特征量的区域，从而确定作为包含对象物的像的区域的对象区域(步骤S106)。S卩，跟踪处 理部15通过确定对象区域，从而进行对象物的跟踪。具体而言，跟踪处理部15例如在第二 图像中一边改变位置及大小一边选择区域，并将选择的区域的特征量与初始区域的特征量 进行比较。然后，跟踪处理部15根据比较的结果，将选择的区域之中特征量的差异最小的 区域确定为对象区域。另外，变换参数计算部12计算第三变换参数，该第三变换参数与第二变换参数相 比，被抑制了连续拍摄的图像间的变化量(步骤S107)。具体而言，变换参数计算部12计算 第三变换参数，以使旧第三变换参数与第三变换参数之间的差分值成为旧第三变换参数与 第二变换参数之间的差分值以下。 接下来，第二图像变换部14利用由变换参数计算部12计算出的第三变换参数，对 第二图像进行变换(步骤S108)。另外，步骤S107及步骤S108所示的处理也可以比步骤 S104 步骤S106所示的处理先执行。另外，步骤S107及步骤S108所示的处理也可以与步 骤S104 步骤S106所示的处理并行执行。最后，输出部16将表示步骤S106中搜索的对象区域的信息、以及步骤S108中变 换后的图像输出(步骤S109)。具体而言，输出部16例如将在步骤S108中变换后的图像上 附加了表示对象区域的位置的框的图像登录到存储部17中。通过对连续拍摄的每个图像反复进行以上步骤S103 S109的处理，图像处理装 置10能够跟踪对象物的像。接下来，说明将用于对各像素所具有的颜色进行变换的RGB各自的变换系数用作变换参数的情况下的、图像处理装置10的各种动作的具体例。图4是用于说明本发明的实施方式涉及的图像处理装置的动作的具体例的图。具 体而言，图4是用于说明作为被摄体的狗从室外移动到室内、从而照射狗的光从太阳光变 化为荧光灯的光的情况下的处理的图。在图4中，在第一行，表示从摄像元件等得到的图像即原图像。另外，在第二行，表 示将原图像变换为具有目的画质的图像的情况下的目的画质图像。另外，目的画质图像不 是实际需要生成的图像，但为了说明变换参数而示出。另外，在第三行，表示为了在搜索对 象区域时使用而对原图像400进行变换所得到的图像即搜索用图像。另外，在第四行，表示 为了在显示部进行显示而对原图像进行变换所得到的图像即输出用图像。原图像400是相当于第一图像的图像，是在拍摄开始时拍摄的图像。另外，原图像 400是拍摄被阳光照射的狗而得到的图像。在原图像400中，由用户指定初始区域403，来 作为包括成为跟踪对象的对象物的像在内的区域。该初始区域403例如通过在显示了图像 的触摸面板上由用户触摸对象物的像来指定。目的画质图像401是利用第一变换参数Pl对第一图像进行变换的情况下的图像。 为了方便说明，在图4中，目的画质图像401与原图像400是相同的图像。在此，第一变换参数Pl是由变换参数计算部12计算的变换参数，而且是为了无论 光源的色温如何都正确地呈现出被摄体的颜色的RGB各自的变换系数。具体而言，变换参 数计算部12例如利用与已知的色域之间的相关，根据原图像400计算色温参数(例如参 照非专利文献1《力 > 寸相关法(二 J石〉一>照明O色温度推定(基于传感器相关法的场 景照明的色温推测)(电子情报通信学会论文志D-II、富永6 (电子信息通信学会论文集 D-II,富永等))》)。另外，构成目的像素图像401的各像素的像素值V2利用构成原图像 400的各像素的像素值Vl和第一变换参数P1，表示为(式1)。[数学式1]V2 (R, G, B) = Pl (R, G, B) (R, G, B)· · ·(式 1)输出用图像402是由第二图像变换部14对原图像400进行变换而得到的图像，而 且是用于在显示部上显示的图像。另外，由于原图像400是拍摄开始时的图像，因此第三变 换参数与第一变换参数相同。因此，第二图像变换部14利用第一变换参数Pl将原图像400 变换为输出用图像402。原图像410是相当于第二图像的图像，是在接着原图像400拍摄的图像。另外，原 图像410是在与原图像400相同的背景中拍摄了与原图像400相同的狗而得到的图像。但 是，原图像410的光源与原图像400的光源不同，是荧光灯。也就是说，原图像410是在与 原图像400不同的拍摄环境中拍摄的图像。因此，原图像410是画质与原图像400不同的 图像，即使是与原图像400相同的被摄体像也具有不同的颜色。目的画质图像411是利用第二变换参数P2对第一图像进行变换的情况下的图像。 在此，第二变换参数Pl与第一变换参数Pl相同，是由变换参数计算部12计算的变换参数， 而且是用于无论光源的色温如何都正确地呈现出被摄体的颜色的RGB各自的变换系数。搜索用图像412是利用第一变换参数Pl与第二变换参数P2之比由第一图像变换 部13对原图像400进行变换而得到的图像。也就是说，搜索用图像412是将原图像400变 换为具有与原图像410相同的画质的图像而得到的图像。具体而言，第一图像变换部13按照(式2)，将具有像素值Vl作为RGB各自的各像素的像素值的原图像400，变换为具有像 素值V3作为RGB各自的各像素的像素值的搜索用图像412。[数学式2]
权利要求
1.一种电子照相机，在连续拍摄的图像中跟踪作为跟踪的对象的对象物的像，并利用 跟踪结果，执行自动聚焦处理、自动曝光处理、以及基于照相机控制的取景处理及自动拍摄 处理中的至少一个，该电子照相机具备存储部，存储与初始区域有关的信息、以及第一变换参数，该初始区域是在第一图像中 包含上述对象物的像的区域，该第一变换参数是与拍摄上述第一图像时的拍摄环境对应的 参数，而且是用于将上述第一图像变换为具有规定的画质的图像的参数；变换参数计算部，按照拍摄第二图像时的拍摄环境，计算第二变换参数，该第二图像是 在上述第一图像之后拍摄的图像，该第二变换参数用于将上述第二图像变换为具有上述规 定的画质的图像；第一图像变换部，利用上述存储部中存储的第一变换参数和由上述变换参数计算部计 算出的第二变换参数，对上述第一图像及第二图像中的至少一方进行变换；跟踪处理部，利用由上述第一图像变换部变换后的图像，在上述第二图像中搜索具有 与定量地表示上述初始区域的特征的特征量类似的特征量的区域，从而跟踪上述对象物的 像；第二图像变换部，利用与上述第二变换参数相比被抑制了连续拍摄的图像间的变化量 的第三变换参数，对上述第二图像进行变换；以及输出部，输出由上述第二图像变换部变换后的图像、以及表示由上述跟踪处理部搜索 的区域的信息。
2.如权利要求1记载的电子照相机，其中，上述第一变换参数、第二变换参数及第三变换参数，是用于按照从拍摄的图像中检测 出的色温、曝光及亮度值中的至少一个来对构成上述图像的多个像素所具有的像素值进行 变换的参数。
3.如权利要求1记载的电子照相机，其中，上述第一图像变换部利用上述第一变换参数与第二变换参数之比，来对上述第一图像 及第二图像中的一方进行变换。
4.如权利要求1记载的电子照相机，其中，上述第一图像变换部在对上述第一图像进行变换的情况下，仅变换上述第一图像之中 上述初始区域所包含的图像。
5.如权利要求1记载的电子照相机，其中，上述特征量是表示构成图像的像素所具有的颜色的频度分布的颜色统计图；上述跟踪处理部在上述第二图像中，搜索具有与上述初始区域的颜色统计图重合的部 分的比例最大的颜色统计图的区域。
6.一种图像处理装置，在连续拍摄的图像中跟踪作为跟踪的对象的对象物的像，该图 像处理装置具备存储部，存储与初始区域有关的信息、以及第一变换参数，该初始区域是在第一图像中 包含上述对象物的像的区域，该第一变换参数是与拍摄上述第一图像时的拍摄环境对应的 参数，而且是用于将上述第一图像变换为具有规定的画质的图像的参数；变换参数计算部，按照拍摄第二图像时的拍摄环境，计算第二变换参数，该第二图像是 在上述第一图像之后拍摄的图像，该第二变换参数用于将上述第二图像变换为具有上述规定的画质的图像；第一图像变换部，利用上述存储部中存储的第一变换参数和由上述变换参数计算部计 算出的第二变换参数，对上述第一图像及第二图像中的至少一方进行变换；跟踪处理部，利用由上述第一图像变换部变换后的图像，在上述第二图像中搜索具有 与定量地表示上述初始区域的特征的特征量类似的特征量的区域，从而跟踪上述对象物的 像；第二图像变换部，利用与上述第二变换参数相比被抑制了连续拍摄的图像间的变化量 的第三变换参数，对上述第二图像进行变换；以及输出部，输出由上述第二图像变换部变换后的图像、以及表示由上述跟踪处理部搜索 的区域的信息。
7.一种图像处理方法，在连续拍摄的图像中跟踪作为跟踪的对象的对象物的像，用于 图像处理装置，上述图像处理装置具备存储部，该存储部存储与初始区域有关的信息、以及第一变换参数，该初始区域是在第一图像 中包含上述对象物的像的区域，该第一变换参数是与拍摄上述第一图像时的拍摄环境对应 的参数，而且是用于将上述第一图像变换为具有规定的画质的图像的参数； 上述图像处理方法包括变换参数计算步骤，按照拍摄第二图像时的拍摄环境，计算第二变换参数，该第二图像 是在上述第一图像之后拍摄的图像，该第二变换参数用于将上述第二图像变换为具有上述 规定的画质的图像；第一图像变换步骤，利用上述存储部中存储的第一变换参数和上述变换参数计算步骤 中计算出的第二变换参数，对上述第一图像及第二图像中的至少一方进行变换；跟踪处理步骤，利用上述第一图像变换步骤中变换后的图像，搜索具有与定量地表示 初始区域的特征的特征量类似的特征量的区域，从而跟踪上述对象物的像；第二图像变换步骤，利用与上述第二变换参数相比被抑制了连续拍摄的图像间的变化 量的第三变换参数，对上述第二图像进行变换；以及输出步骤，输出上述第二图像变换步骤中变换后的图像、以及表示上述跟踪处理步骤 中搜索的区域的信息。
8.一种集成电路，在连续拍摄的图像中跟踪作为跟踪的对象的对象物的像，是图像处 理装置具备的集成电路，上述图像处理装置具备存储部，该存储部存储与初始区域有关的信息、以及第一变换参数，该初始区域是在第一图像 中包含上述对象物的像的区域，该第一变换参数是与拍摄上述第一图像时的拍摄环境对应 的参数，而且是用于将上述第一图像变换为具有规定的画质的图像的参数； 上述集成电路具备变换参数计算部，按照拍摄第二图像时的拍摄环境，计算第二变换参数，该第二图像是 在上述第一图像之后拍摄的图像，该第二变换参数用于将上述第二图像变换为具有上述规 定的画质的图像；第一图像变换部，利用上述存储部中存储的第一变换参数和由上述变换参数计算部计算出的第二变换参数，对上述第一图像及第二图像中的至少一方进行变换；跟踪处理部，利用由上述第一图像变换部变换后的图像，在上述第二图像中搜索具有 与定量地表示上述初始区域的特征的特征量类似的特征量的区域，从而跟踪上述对象物的 像；第二图像变换部，利用与上述第二变换参数相比被抑制了连续拍摄的图像间的变化量 的第三变换参数，对上述第二图像进行变换；以及输出部，输出由上述第二图像变换部变换后的图像、以及表示由上述跟踪处理部搜索 的区域的信息。
9. 一种计算机可执行的程序，在连续拍摄的图像中跟踪作为跟踪的对象的对象物的像，上述计算机具备存储部，该存储部存储与初始区域有关的信息、以及第一变换参数，该初始区域是在第一图像 中包含上述对象物的像的区域，该第一变换参数是与拍摄上述第一图像时的拍摄环境对应 的参数，而且是用于将上述第一图像变换为具有规定的画质的图像的参数； 上述程序使计算机执行以下步骤变换参数计算步骤，按照拍摄第二图像时的拍摄环境，计算第二变换参数，该第二图像 是在上述第一图像之后拍摄的图像，该第二变换参数用于将上述第二图像变换为具有上述 规定的画质的图像；第一图像变换步骤，利用上述存储部中存储的第一变换参数和上述变换参数计算步骤 中计算出的第二变换参数，对上述第一图像及第二图像中的至少一方进行变换；跟踪处理步骤，利用上述第一图像变换步骤中变换后的图像，搜索具有与定量地表示 初始区域的特征的特征量类似的特征量的区域，从而跟踪上述对象物的像；第二图像变换步骤，利用与上述第二变换参数相比被抑制了连续拍摄的图像间的变化 量的第三变换参数，对上述第二图像进行变换；以及输出步骤，输出上述第二图像变换步骤中变换后的图像、以及表示上述跟踪处理步骤 中搜索的区域的信息。
全文摘要
在拍摄环境变化的情况下也稳定地跟踪对象物的像。图像处理装置(10)具备存储部(17)，存储与初始区域有关的信息、以及与第一图像的拍摄环境对应的第一变换参数；变换参数计算部(12)，按照第二图像的拍摄环境，计算第二变换参数；第一图像变换部(13)，利用第一变换参数和第二变换参数，对第一及第二图像中的至少一方进行变换；跟踪处理部(15)，利用由第一图像变换部(13)变换后的图像，搜索具有与初始区域的特征量类似的特征量的区域，由此跟踪对象物的像；第二图像变换部(14)，利用与第二变换参数相比被抑制了连续拍摄的图像间的变化量的第三变换参数，对第二图像进行变换；以及输出部(16)，输出由第二图像变换部(14)变换后的图像、以及搜索结果。
文档编号G03B7/28GK102084642SQ201080002005
公开日2011年6月1日 申请日期2010年4月14日 优先权日2009年5月11日
发明者小仓康伸, 物部祐亮, 石井育规 申请人:松下电器产业株式会社