专利名称：用于图像处理的设备和方法以及程序的制作方法
技术领域：
本发明涉及用于图l象处理的设备和方法及其程序，尤其涉及能够进行
更详细的场景确定的图〗象处理诏:备和方法及其程序。
背景技术：
一直在使用 一种对成像设备(诸如数字照相机)所拍摄的图像数据进
行分析以基于分析结果确定拍摄场面(shot)(拍摄的场景)的技术。
然而，当只基于图^Jt据中包括的频率信息(亮度信号)来确定拍摄 的场景时，没有确定所述图像数据中的颜色。
例如，日本未审查专利申请2008-154261号^^D开了一种确定特征 色相以确定拍摄的场景的技术，其中所述特征色相是表征图像数据的色 相。
发明内容
然而，假设拍摄的场景为风景，表征该风景的色相的数目不限于l。 特别地，如果在不同的季节拍摄同样的风景，那么，^iE各个拍摄的图像 的色相包括各种颜色。根据上述日本未审查专利申请2008-154261号公报 中所公开的技术，或许#^进行更详细的场景确定。
考虑上述情形后进行了本发明。期望能够进行更详细的场景确定。
根据本发明实施例， 一种图像处理设备，包括频率信息提取装置， 用于提,入图像的频率信息；颜色信息提取装置，用于提取输入图像的 颜色信息；特征量计算装置，用于基于由频率信息提取装置提取的频率信 息和由颜色信息提取装置提取的颜色信息来计算输入图像的特征量；以及 场景确定装置，用于基于由特征量计算装置计算出的特征量来确定输入图 寸象的场景。
所述图像处理设备还可以包括:分割装置，用于将输入图4象分割成块。频率信息提取装置可以从每个块中提取输入图像的频率信息项。颜色信息 提取装置可以从每个块中提取输入图像的颜色信息项。
所述图像处理设备还可以包括:加权装置，用于对这样的块进行加权 由频率信息提取装置从所述块中提取的频率信息项的积分值等于或大于 预定阈值。特征量计算装置可以基于由加权装置进行了加权的各块的颜色 信息项和频率信息项来计算输入图像的特征量。
所述图像处理设备还可以包括边缘区域检测装置，用于从输入图4象 的每个块中检测边缘区域。加权装置可以对这样的块进行加权从排除了 边缘区域的所述块中提取的频率信息项的积分值等于或大于预定阈值。
所述图像处理设备还可以包括饱和度计算装置，用于计算输入图像 的每个像素的饱和度；以#权装置，用于对这样的块进行加权由饱和 度计算装置从所述块中提取的饱和度的积分值等于或大于预定阈值。特征 量计算装置基于由加权装置进行了加权的各块的颜色信息项和频率信息 项来计算输入图像的特征量。
所述图像处理设备还可以包括最高频率颜色设置装置，用于基于输 入图像的颜色信息项设置指示每个块中出现频率最高的颜色的最高频率 颜色信息项。特征量计算装置可以基于频率信息项和由最高频率颜色设置 装置为各块设置的最高频率颜色信息项来计算输入图像的特征量。
根据本发明另一个实施例，提供一种用于图《象处理的方法，该方法包 括步骤提取输入图像的频率信息；提取输入图像的颜色信息；基于所提 取的频率信息和所提取的颜色信息来计算输入图像的特征量；以及基于所 计算的特征量来确定输入图像的场景。
根据本发明另一个实施例，提供一种程序，该程序允许计算机4^行包 含这样步骤的过程:提,入图像的频率信息;提M入图像的颜色信息； 基于所提取的频率信息和所提取的颜色信息来计算输入图像的特征量；以 及基于所计算的特征量来确定输入图像的场景。
根据本发明的上述实施例的任一个，从输入图像中提取频率信息；从 所述输入图像中提取颜色信息；基于所提取的频率信息和颜色信息来计算 所述输入图像的特征量；以及基于计算出的特征量来确定所述输入图像的 场景。
根据本发明的任一个实施例，能够实现更详细的场景确定。
图1是示出根据本发明实施例的图像处理i殳备的示例性功能结构的
图2是说明由图1中的图像处理设备进行的场景确定过程的流程图。
图3另j兌明输入图l象的分割的图4是说明频率信息的提取的图5是说明颜色信息重要性水平设置过程的流程图6是说明颜色信息重要性水平的设置的图7是示出进行场景确定的图像的图8是示出另一个进行了场景确定的图像的图9是示出根据本发明另一个实施例的图像处理设备的示例性结构 的框图10是说明由图9中的图像处理设备进行的场景确定过程的流程图11是说明颜色信息重要性7jC平设置过程的流程图12是说明颜色信息重要性水平的设置的图13示出进行了场景确定的图像；
图14示出进行了场景确定的另一个图像；
图15是示出根据本发明另一个实施例的图像处理设备的示例性结构 的框图16是说明由图15中的图〗象处理设备进行的场景确定过程的流一呈
图17是说明最高频率颜色设置过程的流程图； 图18示出进行了场景确定的图像；以及 图19是示出计算机的示例性硬件结构的框图。
具体实施例方式
下面将参考附图以下列顺序来描述本发明的示例性实施例 1.第一实施例；2. 第二实施例；以及
3. 第三实施例。
1.第一实施例
图l象处理i殳备的结构
图1示出根据本发明第一实施例的图像处理设备的示例性功能^J。
参考图1，图像处理设备(11所指示的)计算从成像设备(诸如数字 照相机)提供的输入图像的特征的量(下文中称作"特征量")，基于特征 量确定输入图像的场景，并将指示确定结果的数据输出到另 一个图像处理 设备。所述另一个图卩象处理设^^基于确定结果自动对多个图像进行分类， 或基于确定结果自动对图4象质量进行调节。
图像处理设备ll包括分割单元31、频率信息提取单元32、边缘区域 检测单元33、颜色信息提取单元34、重要性7JC平设置单元35、特征量计 算单元36以及场景确定单元37。
分割单元31将输入图像分割成具有预定大小的块，并将这些块提供 给频率信息提取单元32、边缘区域检测单元33和颜色信息提取单元34 的每一个。
频率信息提取单元32使用预定的滤波器从分割单元31所提供的每个 块中提取指示空间频率的频率分量的频率信息，并将所提取的频率信息提 供给重要性7jC平设置单元35和特征量计算单元36的每一个。
边缘区域检测单元33使用预定的滤波器检测从分割单元31提供的每 个块中的边缘区域，并将指示所述边缘区域的边缘区域信息提供给重要性 水平设置单元35。
颜色信息提取单元34从分割单元31所提供的每个块中提取颜色信 息，并将所述颜色信息提供给特征量计算单元36。具体说，颜色信息提 取单元34利用下a达式通过将在红-绿-蓝(RGB)颜色空间中所表示 的像素的像素值变换为在色相-饱和度-明度(HSV)或色相-饱和度-亮度 (HSB )颜色空间中所表示的像素值来提取构成所述块的每个像素的色 相。60 x 60 x 60 x
MAX-■
B-
眼--画
R--G
隨一-画
如果MAX-R +120如果MAX-G +240如果MAX-B
(i)
在表达式(l)中，MAX是指R、 G和B值的最大值，而MIN是指 R、 G和B值的最小值。当MAX-MIN-O时，色相-0。另外，当色相<0 或色相>360时，色相-色相mod360 (将色相除以360所得到的余数)。
重要性水平设置单元35基于从频率信息提取单元32提供的相应的频 率信息和从边缘区域检测单元33提供的相应的边缘区域信息来设置由颜 色信息提取单元34从每个块中提取的颜色信息的重要性水平(权重)。在 下文中，颜色信息的重要性水平被称作"颜色信息重要性水平"。重要性 水平设置单元35将所设置的各个块的颜色信息重要性水平提供给特征量 计算单元36。
重要性7jC平设置单元35包括积分部分35a、阈值确定部分35b和设 置部分35c。
积分部分35a基于从频率信息提取单元32提供的相应的频率信息对 与排除了边缘区域(由从边缘区域检测单元33提供的相应的边缘区域信 息指示)的每个块中的频率输出幅值相对应的特征值进行积分。
阈值确定部分35b确定目标块中的所述特征值的积分值是否等于或 大于预定的阈值。
设置部分35c根据由阈值确定部分35b所给出的确定结果设置颜色信 息重要性水平。
特征量计算单元36基于从频率信息提取单元32提供的各个块的频率 信息(下文中称作"频率信息项")、从颜色信息提取单元34提供的各个 块的颜色信息(下文中称作"颜色信息项")以及从重要性水平设置单元 35提供的各个块的颜色信息重要性水平来计算输入图像的特征量，并将 所计算出的特征量提供给场景确定单元37。
场景确定单元37基于从特征量计算单元36提供的特征量来确定输入 图l象的场景，并将确定结果输出到另一个图《象处理设备。图4象处理i殳备所进4亍的场景确定过程
现在将参考图2的流程图描述图1的图像处理谗备11所进行的场景 确定过程。
在步骤Sll中，分割单元31将输入图像分割成具有预定大小的块， 并将这些块提供给频率信息提取单元32、边缘区域检测单元33和颜色信 息提取单元34的每一个。例如，分割单元31将图3的左边部分所示的在 乡野拍摄的输入图像分割成如图3右边部分所示的16 (4x4)个块。参 考图3，这些分割的块具有相同的形状和相同的像素数，没有交叠。所述 分割不限于该例子。这些块可以交叠。这些块可以具有不同的形状和不同 的像素数。块的数目不限于16。输入图像可以被分割成其它数目的块。
在步骤S12中，频率信息提取单元32使用预定的滤波器从分割单元 31所提供的每个块中提取指示空间频率的频率分量的频率信息，并将频 率信息提供给重要性水平设置单元35和特征量计算单元36的每一个。具 体说，频率信息提取单元32通过傅立叶变换将每个块的像素转换到频域 中，以4吏用例如具有图4所示的频率幅值特性的Gabor滤波器来提取频 率信息。在图4所示的傅立叶空间上，使用8个不同取向和4个不同尺度 (频域尺度)通过32个Gabor滤波器获取32维频率信息。另外，频率 信息提取单元32对转换到频域的每个块中的不同频带进行逆频率变换， 从而将所述频域转换到像素空间中。至于频率信息的提取，可以使用例如 带通滤波器来替代上述Gabor滤波器。
在步骤S13中，边缘区域检测单元33使用拉普拉斯滤波器从分割单 元31所提供的每个块中检测边缘区域，并将指示所检测到的边缘区域的 边缘区域信息提供给重要性水平设置单元35。具体说，边缘区域检测单 元33针对所述块的每个像素评价所述拉普拉斯滤波器的输出的大小和空 间连续性，以确定所述像素是否位于边缘区域中，从而检测边缘区域。用 于边缘区域检测的滤波器不限于拉普拉斯滤波器。例如，可以使用Sobel 滤波器或Prewitt滤波器。
在步骤S14中，颜色信息提取单元34从分割单元31所提供的每个块 中提取颜色信息，并将颜色信息提供给特征量计算单元36。具体说，颜 色信息提取单元34通过将在RGB颜色空间中表示的像素的像素值变换 为在HSV颜色空间中表示的像素值来提取构成所述块的每个像素的色 相。在这种情形中，提取色相作为颜色信息。所述颜色信息不限于本例。 可以使用RGB值作为颜色信息。在步骤S15中，重要性水平设置单元35进行颜色信息重要性7jC平设 置处理，即，基于从频率信息提取单元32提供的相应的频率信息和从边 缘区域检测单元33提供的相应的边缘区域信息设置每个块的颜色信息的 重要性水平(颜色信息重要性水平)。
由重要性水平设置单元进行的颜色信息重要性水平设置处理
现在将参考图5的流程图来描述图2的流程图中的步骤S15中的颜色 信息重要性水平设置处理(或过程)。
在步骤S31中，基于从频率信息提取单元32提供的相应的频率信息， 重要性水平设置单元35的积分部分35a对与排除由从边缘区域检测单元 33提供的相应边缘区域信息所指示的边缘区域的块(下文中也称作"目 标块")中的频率输出的幅值相对应的特征值进行积分。
在步骤S32中，阈值确定部分35b确定目标块中的特征值的积分值 (下文中也称作"积分特征值，，)是否等于或大于预定的阈值TH—sum。
当在步骤S32中确定积分特征值等于或大于预定阈值TH_sum时， 在步骤S33中，设置部分35c将目标块的颜色信息重要性水平设置为1 ， 如图6所示。过程前进到步骤S35。
图6示出颜色信息重要性水平随与频率输出幅度相对应的特征值的 积分值(积分幅值)的变化。
参考图6，当积分幅度值大于等于预定阈值TH一sum 时，将颜色信息 重要性水平设置为1。当积分幅度值不大于等于所述^定阈值TH一sum时， 将颜色信息重要性水平设置为0。
因此，如果在步骤S32中确定所述特征值的积分值(积分幅值)不大 于等于所述预定阈值TH—sum,在步骤S34中，设置部分35c将目标块的 颜色信息重要性水平设置一为O,如图6所示。所述过程前进到步骤S35。
在步骤S35中，设置部分35c确定是否为所有的块都设置了颜色信息 重要性水平。
如果在步骤S35中确定没有为所有的块都设置颜色信息重要性水平， 那么过程返回步骤S31。重复步骤S31到S35，直到为所有的块都设置了 颜色信息重要性水平为止。
反之,如果在步骤S35中确定为所有的块都设置了颜色信息重要性平，那么，过程返回图2的流程图中的步骤S15。
以上述方式为每个块设置一个颜色信息重要性水平。
根据上述过程，可以为这样的块设置权重在该块中，通过从该块中去掉边缘区域而获得的紋理区域(texture region )的总量大于预定值。
至于颜色信息重要性水平，在上述描述中使用两个以所述阈值TH一sum相互区分的值。可以使用依据与频率信息相关的特征值的积分值而^ 0到1范围内连续变化的连续值作为颜色信息重要性水平。
至于阈处理，可以使用去掉噪声后对与频率输出幅度相对应的特征值所计算的积分值。或者，可以使用目标块中的最大特征值。
再参考图2的流程图，在步骤S16中，特征量计算单元36基于从频率信息提取单元32提供的各个块的频率信息项、从颜色信息提取单元34提供的所述各个块的颜色信息项以及从重要性水平设置单元35提供的所述各个块的颜色信息重要性水平来计算输入图像的特征量。特征量计算单元36将所计算出的特征量提供给场景确定单元37。
具体说，特征量计算单元36基于所述频率信息项对与各个块的频率输出幅度相对应的特征值进行积分。于是，基于所述频率信息项获得了512维(=16 (个块)x8 (个频率取向)x4 (个频域尺度))向量作为特征量。
另外，特征量计算单元36获得各个块的颜色信息项的积分值，并将所述积分值乘以为各个块设置的颜色信息重要性水平。因此，基于颜色信息项获得了 16维(=16 (个块)xi (个积分颜色信息值))向量作为特征量。在这种情形中，颜色信息重要性水平为O的块的颜色信息按O来处理。
如上所述，特征量计算单元36基于频率信息项和颜色信息项来计算528维(=512维+16维)向量作为特征量。
在步骤S17中，场景确定单元37基于来自特征量计算单元36的特征量(向量)确定输入图像的场景，并将确定结果输出到另一个图像处理设备。具体说，场景确定单元37使用预先设置的学习图像和机器学习(诸如支持向量机(SVM))来进行场景确定。
在所述SVM中，进行两类确定(two-class determination)(—对一确定(one-to-one determination)),例如，对象被分为两类，例如，"乡野和夏天，，类以及另一个类，或者，"乡野和冬天，，类以及另一个类。比较各个类的得分。具有最高得分的类指示确定结果。
场景确定单元37使用所述SVM。机器学习不限于所述SVM。例如，可以使用采用神经网络的模式识别或采用模式匹配的模式识别。
根据上述过程，基于具有大幅度的频率输出的块的频率信息项和颜色
信息来计算特征量。例如，在包括具有高频分量的区域(下文中称作"高频区")的风景图像(例如，图7所示的林荫大道或图8所示的鲜花盛开的花园)中，可以得出通过对与所述高频区相关的颜色信息项进行加权获得的特征量。于是，可以确定图7中作为高频区的树的颜色是绿色还是黄色。因此，不仅可以将所述场景确定为"林荫道"，而且可以将其确定为"夏天的林荫道"或"秋天的林荫道"。类似地，可以确定作为高频区的花园的颜色是白色还是黄色。因此，不仅可以将所述场景确定为是"花园"，而且可以将其确定为是"秋天的花园"或"夏天的花园"。
如上所述，基于颜色可以对类似的风景进行季节确定。因此，可以获得更详细的场景确定。
本实施例就这样的情形进行了描述在该情形中，在输入图《象中对高频分量区域的颜色进行加权。可以在输入图像中对高饱和度区域的颜色进行加权。
2.第二实施例
图像处理设备的结构
图9示出根据第二实施例的图像处理设备的示例性结构，所述设备在输入图像中对高饱和度区域的颜色进行加权。在图9的图像处理设备(用lll指示)中，与图l的图像处理设备ll的功能部件相同的功能部件用相同的名字和相同的附图标记来指示，并且适当地省略先前描述过的部件的说明。
换言之，图9的图像处理设备111与图1的图像处理设备11的不同之处在于图像处理设备111包括饱和度计算单元131和重要性水平设置单元132以替代边缘区域检测单元33和重要性水平设置单元35。
参考图9，频率信息提取单元32使用预定的滤波器从分割单元31所提供的每个块中提取指示空间频率的频率分量的频率信息，并只将该频率信息提供给特征量计算单元36。
饱和度计算单元131计算从分刮单元31提供的每个块的饱和度，并将该饱和度提供给重要性水平设置单元132。具体说,饱和度计算单元131利用下a达式来计算构成目标块的每个像素的饱和度。
(2)
在表达式(2)中，MAX表示R、 G和B值中的最大值，而MIN表示R、 G和B值中的最小值。当MAX-O时，饱和度=0。
重要性水平设置单元132基于从饱和度计算单元131提供的相应的饱和度设置由颜色信息提取单元34从每个块中所提取的颜色信息的颜色信息重要性水平(权重)。重要性水平设置单元132将所设置的每个块的颜色信息重要性水平提供给特征量计算单元36。
重要性7jc平设置单元132包括积分部分132a、阈值确定部分132b、和设置部分132c。
积分部分132a对为目标块中的各个像素所计算的饱和度进行积分。
阈值确定部分132b确定所述目标块中的饱和度的积分值是否等于或大于预定的阈值。
设置部分132c根据由阈值确定部分132b所给出的确定结果设置颜色信息重要性水平。
图《象处理i殳备所i^行的场景确定过程
现在将参考图10的流程图来描述由图9中的图〗象处理i殳备111进行的场景确定过程。图lO的流程图中的步骤Slll、步骤S112、步骤S114、步骤S116和步骤S117中的处理分别与步骤Sll、步骤S12、步骤S14、步骤S16和步骤S17中的处理相同。所以，省略了这些步骤的说明。
在步骤S113中，饱和度计算单元131计算从分割单元31提供的每个块中的饱和度，并将该饱和度提供给重要性水平设置单元132。
在步骤S115中，重要性水平设置单元132进行颜色信息重要性水平设置处理，即基于从饱和度计算单元131提供的饱和度设置各个块的颜色信息项的颜色信息重要性水平。由重要性水平设置单元进行的颜色信息重要性水平设置处理
现在将参考图11的流程图来描述图10的流程图.中的步骤S115中的颜色信息重要性水平设置处理(或过程)。
在步骤S131中，重要性水平设置单元132的积分部分132a对为目标块中的各个4象素计算出的饱和度进行积分。
在步骤S132中，阈值确定部分132b确定目标块中的饱和度的积分值(下文中称作"积分饱和度值，，)是否等于或大于预定阈值TH一sat。
当在步骤S132中确定积分饱和度值等于或大于预定阈值TH一sat时，在步骤S133中，设置部分132c将目标块的颜色信息重要性水平设i为1 ，如图12所示。过程前进到步骤S135。
图12示出颜色信息重要性水平随着积分饱和度值的变化。
参考图12,当积分饱和度值等于或大于预定阈值TH—sat时，将颜色信息重要性水平设置为1。当积分饱和度值不是等于反大于预定阈值TH一sat时，将颜色信息重要性水平设置为0。
另一方面，如果在步骤S132中确定积分饱和度值不是等于或大于预定阈值TH一sat，则在步骤S134中，设置部分132c将目标块的颜色信息重要性水平设置为0，如图12所示。所述过程前进到步骤S135。
在步骤S135中，设置部分132c确定是否为所有的块都设置了颜色信息重要性水平。
如果在步骤S135中确定没有为所有的块都设置颜色信息重要性水平，则过程返回步骤S131。重复步骤S131到S135,直到为所有的块都设置了颜色信息重要性水平。
反之，如果在步骤S135中确定为所有的块都设置了颜色信息重要性7jC平，则过程返回图10的流程图中的步骤S115。
以上述方式为每个块设置一个颜色信息重要性水平。
根据上述过程，可以为平均起来具有较高饱和度的块设置权重。
至于颜色信息重要性水平，在上述描述中使用两个用阈值TH一sat相互区别的值。可以使用依据饱和度的积分值而在0到1范围内连续i化的连续值作为颜色信息重要性水平。
至于阈值处理，可以使用目标块中的最大饱和度作为阈值。根据上述过程，基于具有较高饱和度的块的频率信息项和颜色信息来
计算特征量。例如，在具有鲜艳颜色的物体的图^^中，例如在图13所示的花朵的鄉巨拍摄或图14所示的蔬菜(诸如辣椒)的御巨拍摄中，寸以得到通过对与高饱和度区域相关的颜色信息项进行加权而获得的特征量。于是，可以确定花朵的花瓣颜色是紫色还是黄色。因此，不仅可以将场景确定为"花朵"，而且可以将其确定为"紫色花朵"或"黄色花朵"。相似地，可以确定辣椒的颜色是红色还是黄色。因此，不仅可以将场景确定为蔬菜"，而且可以将其确定为"红色蔬菜"或"黄色蔬菜"。
如上所述，可以对具有相似形状的对象(物体)进行颜色确定。因此，可以实现更详细的场景确定。
本实施例就这样的情形进行了描述其中，通it^输入图像中的高饱和度区域的颜色进行加权来计算特征量。可以基于输入图像中具有高出现频率的颜色来计算特征量。
3.第三实施例
图《象处理i殳备的结构
图15示出根据本发明第三实施例的图像处理设备的示例性结构，所述设备基于具有高出现频率的颜色来计算特征量。在图15的图像处理设备(用211所指示的)中，与图1的图像处理设备ll的功能部件相同的功能部件用相同的名字和相同的附图标记来指示，并且适当地省略先前描述过的部件的说明。
换言之，图15的图像处理设备2U与图1的图像处理设备ll的不同之处在于去掉了边缘区域检测单元33和重要性水平设置单元35,提供了频率分析单元231 ，并提供了特征量计算单元232来替代特征量计算单元36。
频率分析单元231基于先前设置的类对从颜色信息提取单元34提供的每个块的颜色信息进行直方图分析。频率分析单元231基于分析结果设置指示在块中出现频率最高的颜色的最高频率颜色信息，并将该信息4C供给特征量计算单元232。
频率分析单元231包括分析部分231a和设置部分231b。
分析部分231a对与目标块中的像素相关的颜色信息(色相)进行直方图分析。
设置部分231b基于由分析部分231a得到.的直方图分析结果设置指示在目标块中出现频率最高的颜色的最高频率颜色信息。
特征量计算单元232基于从频率信息提取单元32提供的各个块的频率信息项和从频率分析单元231提供的各个块的最高频率颜色信息项来计算输入图像的特征量，并将计算出的特征量提供给场景确定单元37。
由图〗象处理i殳备进4亍的场景确定过程
现在将参考图16的流程图来描述由图15的图像处理设备211进行的场景确定过程。图16的流程图中的步骤S211、步骤S212、步骤S213和步骤S116中的处理分别与参考图2的流程图描述的步骤Sll、步骤S12、步骤S14和步骤S17中的处理相同。所以省略这些步骤的说明。
在步骤S214中，频率分析单元231进行最高频率颜色设置处理，即，基于先前设置的类对从颜色信息提取单元34提供的每个块的颜色信息进行直方图分析，以设置指示所述块中出现频率最高的颜色的最高频率颜色信息。
由频率分析单元进行的最高频率颜色设置处理
现在将参考图17的流程图来描述图16的流程图中的步骤S214中的最高频率颜色设置处理(或过程)。
在步骤S231中，频率分析单元231的分析部分231a对与目标块中的像素相关的颜色信息(色相)进行直方图分析。
在步骤S232中，设置部分231b基于由分析部分231a获得的直方图分析结果设置指示所述目标块中出现频率最高的颜色的最高频率颜色信息。
在步骤S233中，设置部分231b确定是否为所有的块都设置了最高频率颜色信息项。
当在步骤S233中确定没有为所有的块都设置最高频率颜色信息项时，过程返回步骤S231。重复步骤S231到S233，直到为所有的块都设置了最高频率颜色信息项。反之，如果在步骤S233中确定为所有的块都设置了最高频率颜色信息项，那么，过程返回到图16的流程图中的步骤S214。
如上所述，为每个块设置了一个最高频率颜色信息项。
再参考图16的流程图，在步骤S215中，特征量计算单元232基于从频率信息提取单元32提供的各个块的频率信息项和从频率分析单元231提供的各个块的最高频率颜色信息项来计算输入图像的特征量，并将计算出的特征量提供给场景确定单元37。
特征量计算单元232基于频率信息项获得512维向量作为特征量，并还使用最高频率颜色信息项基于颜色信息项获得16维(=16 (个块)xi(最高频率颜色信息))向量作为特征量。
这样，特征量计算单元36基于频率信息项和颜色信息项计算528维(=512维+16维)向量作为特征量。
根据上述过程，基于各个块的频率信息项和最高频率颜色信息项来获得特征量。例如，可以从图18所示的海滩图像中基于各个块的最高频率颜色信息项来获得特征量。于是，可以确定图18的下部所示的海滩的颜色毛良色还是白色。因此，不仅可以将场景确定为示出"海滩"，而且可以将其确定为示出"日本海滩"或"南方海滩"。相似地，可以确定天空
(未示出)的颜色是朱红色还M蒙蒙的。因此，不仅可以确定所述场景包括"天空"，而且可以确定是"傍晚的天空"还是"白天的天空"。此夕卜，例如，可以确定人物(未示出)的皮肤颜色是黄色、黑色还是白色。因此，不仅可以将场景中的物体确定为"人"，而且可以确定为例如是"亚洲人"、
"非洲人"或"欧洲人"。
如上所述，由于可以对具有相似形状的物体ii行颜色确定，所以，可以实现更详细的场景确定。
上述各系列的处理步骤可以通过硬件或软件来执行。当各系列的处理步骤通过软件来执行时，>^程序记录介质将构成所述^^件的程序安装到结合在专用硬件中的计算机中，或安装到能够通过安装各种程序来执行各种功能的多用途个人计算机中。
图19是示出用于根据程序来执行上述各系列处理步骤的计算机的示例性硬件结构的框图。
在计算机中，中央处理单元(CPU) 901、只读存储器(ROM)卯2和随MM储器(RAM) 903经由总线卯4彼此连接。总线卯4被连接到输入-输出接口卯5。输入-输出接口卯5被连接到包括键盘、鼠标和麦克风的输入单元卯6，包括显示器和扬声器的输出单元907，包括硬盘和非易失性存储器的存储单元卯8，包括网络接口的通信单元卯9以及驱动可移动介质911的驱动器910，所述可移动介质911诸如是磁盘、光盘、磁光盘或半导体存储器。
在具有上述结构的计算机中，CPU卯l通过输入输出接口卯5和总线卯4将例如存储单元908中所存储的程序加载到RAM卯3中，并执行所述程序，使得上述各系列的处理步骤得以执行。
至于由计算机(CPU卯l)执行的程序，可以提供记录在可移动介质9U上的程序，其中，所述可移动^h质911作为封装^^质，包括磁盘(包括软盘)、光盘(诸如致密盘只读存储器(CD-ROM)或数字通用盘(DVD))、磁光盘或半导体存储器。可选择地，所述程序可以通过有线或无线传输^h质(诸如局域网、因特网或数字卫星广播)来提供。
将可移动介质911加载到驱动器910中后，可以通过输入输出接口905将所述程序安装到存储单元卯8。可选择地，可以通过有线或无线传输介质由通信单元卯9来接收所述程序，然后将其安装到存储单元卯8。可选择地，可以将所述程序预先安^fc ROM卯2或存储单元908中。
由所述计算机执行的程序可以是包括按本说明书中所描述的顺序按时间序列执行的处理步骤的程序，或是包括并行执行或在需要的时刻单独执行(例如，响应于调用请求)的处理步骤的程序。
本申请包含与2008年9月8日在日本专利局提交的日本优先权专利申请JP 2008-229311号中公开的主题相关的主题，其全部内容通过引用包含于此。
应该理解，本发明的实施例不限于上述各实施例，可以在不离开本发明的实质和范围的情况下进行各种修改。
权利要求
1.一种图像处理设备，包括频率信息提取装置，用于提取输入图像的频率信息；颜色信息提取装置，用于提取所述输入图像的颜色信息；特征量计算装置，用于基于由所述频率信息提取装置提取的频率信息和由所述颜色信息提取装置提取的颜色信息来计算所述输入图像的特征量；以及场景确定装置，用于基于由所述特征量计算装置计算出的特征量来确定所述输入图像的场景。
2. 根据权利要求1所述的设备，还包括 分割装置，用于将所述输入图^象分割成块，其中，所述频率信息提取装置从每个块中提取所述输入图像的频率信息项，以及所⑩色信息提取装置从每个块中提取所述输入图像的颜色信息项。
3. 根据权利要求2所述的设备，还包括加权装置，用于对这样的块进行加权由所述频率信息提取装置从所 述块中提取的所述频率信息项的积分值等于或大于预定阈值，其中，所述特征量计算装置基于由所述加权装置进行了加权的各块的颜色 信息项和频率信息项来计算所述输入图像的特征量。
4. 根据权利要求3所述的设备，还包括边缘区域检测装置，用于从所述输入图像的每个块中检测边缘区域， 其中，所#权装置对这样的块进行加权:从排除了边缘区域的所述块中提 取的所述频率信息项的积分值等于或大于所述预定阈值。
5. 根据权利要求2所述的设备，还包括饱和度计算装置，用于计算所述输入图像的每个像素的饱和度；以及加权装置，用于对这样的块进行加权由所述饱和度计算装置从所述 块中提取的所述饱和度的积分值等于或大于预定阈值，其中所述特征量计算装置基于由所述加权装置进行了加权的各块的颜色 信息项和频率信息项来计算所述输入图像的特征量。
6. 根据权利要求2所述的设备，还包括最高频率颜色设置装置，用于基于所述输入图像的颜色信息项设置指 示每个块中出现频率最高的颜色的最高频率颜色信息项，其中所述特征量计算装置基于所述频率信息项和由所述最高频率颜色设 置装置为各块设置的所述最高频率颜色信息项来计算所述输入图像的特 征量。
7. —种用于图像处理的方法，包括步骤 提取输入图像的频率信息； 提取所述输入图像的颜色信息；基于所提取的频率信息和所提取的颜色信息来计算所述输入图像的 特征量；以及基于所计算的特征量来确定所述输入图像的场景。
8. —种程序，允许计算机执行包括这样步骤的过程 提取输入图像的频率信息； 提取所述输入图像的颜色信息；基于所提取的频率信息和所提取的颜色信息来计算所述输入图像的 特征量；以及基于所计算的特征量来确定所述输入图像的场景。
9. 一种图像处理设备，包括 频率信息提取单元，用于提取输入图像的频率信息； 颜色信息提取单元，用于提取所述输入图像的颜色信息；特征量计算单元，用于基于由所述频率信息提取单元提取的频率信息 和由所述颜色信息提取单元提取的颜色信息来计算所述输入图像的特征 量；以及场景确定单元，用于基于由所述特征量计算单元计算出的特征量来确 定所述输入图像的场景。
全文摘要
本发明涉及用于图像处理的设备和方法以及程序。图像处理设备包括频率信息提取单元，用于提取输入图像的频率信息；颜色信息提取单元，用于提取输入图像的颜色信息；特征量计算单元，用于基于由频率信息提取单元提取的频率信息和由颜色信息提取单元提取的颜色信息来计算输入图像的特征量；以及场景确定单元，用于基于由特征量计算单元计算出的特征量来确定输入图像的场景。
文档编号G06T7/00GK101673402SQ20091017179
公开日2010年3月17日 申请日期2009年9月8日 优先权日2008年9月8日
发明者中村雄介, 五味信一郎, 增野智经, 铃木优 申请人:索尼株式会社