专利名称：图像处理装置、图像处理方法
技术领域：
本发明涉及将数字照片变换成绘画的图像处理装置、图像处理方法。
背景技术：
近年来，伴随着数字相机的普及，照片作为数字图像数据进行保存已经是普通的。 由于能够用进行拍摄的数字相机阅览拍摄图像，或者用取入了图像数据的个人计算机等阅览拍摄图像，所以对照片的娱乐性也发生了变化。例如，提出如下的技术(绘画变换技术) 通过对图像数据实施图像处理，从而能将原始照片作为基础将其变换成趣味不同的风格的绘画(例如，油画风格等)进行显示的技术(例如，参照JP特开平8-44867号公报)。另外，在JP特开2002-298136号公报中，记载了如下技术使用计算机将照片、由 CG(计算机图形图像)描绘成机械风格的原图像变换为描绘成绘画风格的图像的技术。可是，由上述那样的图像处理得到的绘画风格图像，通过如绘画风的格调描绘的那样进行表现而表示为比原始的照片图像模糊的感觉(不清晰)。因此，例如在由拍摄者拍摄到的照片图像中人物的脸被拍摄得较小的情况下，通过对该照片图像(例如，集合照片等)进行上述的图像处理，则由此得到的绘画风格图像会出现照片图像中已清晰表现的人物的脸被损坏的情形。这种情况下，如果该人物是与拍摄者的意图无关地拍摄到的人物 (例如，行人等)，则即便无法识别该人物的脸也没有问题，但在该人物是拍摄者积极拍摄到的人物(主要被摄体)时，上述图像处理是不合适的。
发明内容
本发明是鉴于上述问题点提出的，其目的在于提供一种能够适当地进行将拍摄人物而得到的照片图像变换成绘画风格图像的图像变换处理的、图像处理装置及图像处理方法。本发明的图像处理装置的特征在于，具备脸检测装置，其获取图像，检测在获取到的图像中拍摄的脸的像；判别装置，其判别所述脸检测装置检测出的所述脸的像是否满足规定的基准；和图像变换处理装置，其根据所述判别装置的判别结果，进行将所述图像变换成绘画风格的图像的图像变换处理。根据本发明，能够适当地进行将拍摄到人物等的脸的照片图像变换成绘画风格图像的图像变换处理。
图1是本发明的一实施方式所涉及的图像处理装置的框图。图2是表示本发明的一实施方式所涉及的图像处理装置的硬件结构的框图。图3是表示本发明的一实施方式所涉及的图像处理装置所进行的图像处理的流程图。图4是表示图1的显示部的显示画面中所显示的分割线的图。
图5是表示与本发明的一实施方式所涉及的图像处理装置所用到的第一基准相应的区域的图。图6是表示满足本发明的一实施方式所涉及的图像处理装置所用到的第一基准情况下的、在照片图像中拍摄到的人物的脸的图。图7是表示不满足本发明的一实施方式所涉及的图像处理装置所用到的第一基准情况下的、在照片图像中拍摄到的人物的脸的图。图8是表示与本发明的一实施方式所涉及的图像处理装置所用到的第二基准相应的范围的图。图9是表示满足本发明的一实施方式所涉及的图像处理装置所用到的第二基准情况下的、在照片图像中拍摄到的人物的脸的图。图10是表示不满足本发明的一实施方式所涉及的图像处理装置所用到的第二基准情况下的、在照片图像中拍摄到的人物的脸的图。图11是表示不满足本发明的一实施方式所涉及的图像处理装置所用到的第三基准(脸不朝向正面)情况下的、在照片图像中拍摄到的人物的脸的图。图12是表示不满足本发明的一实施方式所涉及的图像处理装置所用到的第三基准(视线不朝向正面)情况下的、在照片图像中拍摄到的人物的脸的图。符号说明1-图像处理装置，10-控制部，IOa-脸检测部，IOb-判别部，IOc-图像处理部， 11-CPU，12-—次存储装置，20-存储部，21-二次存储装置，21a-图像处理程序，30-摄像部， 31-摄像装置，40-输入部，41-输入装置，50-显示部，51-显示面板驱动装置，52-显示面板，53-分割线，60-读出写入部，61-读出写入装置，100-记录介质，101-存储卡，Tl-作为第一基准设定的区域，Sl-作为第二基准设定的范围，F1、F2、F3、F4、F5、F6-人物的脸的像
具体实施例方式下面，参照附图，对本发明所涉及的实施方式进行说明。首先，说明本发明所涉及的图像处理装置的概略。在本实施方式中，说明本发明所涉及的图像处理装置为数字相机的情形。图像处理装置作为拍摄模式而具有绘画风格变换模式。绘画风格变换模式是自动地进行如下图像变换处理的拍摄模式，即，根据拍摄者的拍摄操作将图像处理装置拍摄到的照片图像变换成绘画风格的图像(以下，称为绘画风格图像)。通过该图像处理装置得到的绘画风格图像如用绘画风的格调来描绘原始的照片图像那样进行表现，由此能使人看到与原始的照片图像趣味(画风)不同的印象。此外，绘画风格的种类例如有油画风(oil painting)、水彩画风(Water color painting)、彩色赌笔画风(Pastel painting)等。变换成绘画风格的图像的图像变换处理，例如能够利用由 Photoshop (注册商标)等进行的处理。接着，利用图1说明图像处理装置1的结构。图像处理装置1具备控制部10、存储部20、摄像部30、输入部40、显示部50、读出写入部60。控制部10对图像处理装置1的各部进行控制，对图像处理装置1的整体进行控制。另外，控制部10具备脸检测部10a、判别部10b、及图像变换处理部10c，进行后述的图像处理。
存储部20存储控制部10在后述的图像处理中使用到的各种数据。另外，存储部 20在控制部10的控制之下，适当地存储控制部10在处理中生成的各种图像数据及读出写入部60从存储介质100中读出的记录图像数据等。摄像部30在控制部10的控制之下拍摄照片图像。摄像部30生成表示所拍摄到的照片图像的摄像信号，并基于该生成的摄像信号生成表示一帧份(一枚图像份)的照片图像的照片图像数据。摄像部30将所生成的照片图像数据提供给控制部10。控制部10获取照片图像数据。此外，也可摄像部30将表示照片图像的规定数据提供给控制部10，控制部10对该规定数据进行规定处理来生成照片图像数据，由此获取照片图像数据。此外， 照片图像是静止图像，照片图像数据是表示静止图像的静止图像数据。输入部40是受理拍摄者的操作的操作部，将与受理到的操作内容相应的操作信号提供给控制部10。显示部50在控制部10 (图像变换处理部IOc)的控制之下，显示菜单画面、实时取景显示画面、由绘画风格图像数据表现的绘画风格图像(油画风、碎纸画风、水墨画风等的图像)。读出写入部60在控制部10的控制之下，从记录介质100中读出记录图像数据，向记录介质100写入记录图像数据等。
下面，利用图2对图像处理装置1的硬件结构进行说明。图像处理装置1具备 CPU (Central Processing Unit 中央运算处理装置)11、一次存储装置12、二次存储装置 21、摄像装置31、输入装置41、显示面板驱动电路51、显示面板52、读出写入装置61。图1的控制部10是通过CPUll和一次存储装置12实现的。CPUll根据从二次存储装置21下载到一次存储装置12中的图像处理程序21a，控制图像处理装置1的整体。 特别是，CPUll根据图像处理程序21a，实际进行图1的控制部10 (脸检测部10a、判别部 10b、及图像变换处理部IOc)所进行的后述的图像处理。此外，控制部10除此之外也可包括 ASIC (Application Specific Integrated Circuit 特定用途集成电路)、DSP (Digital Signal Processing)等。这种情况下，ASIC、DSP等进行CPUll所进行的至少一部分处理。一次存储装置12是通过RAM (Random Access Memory)等实现的。一次存储装置 12适当地一次存储CPUll使用的数据、生成的数据。图1的存储部20是通过二次存储装置21实现的。二次存储装置21由闪速存储器或硬盘等构成。另外，二次存储装置21存储图像处理程序21a。CPUll将二次存储装置 21存储的图像处理程序21a下载到一次存储装置12中，并基于下载到一次存储装置12中的图像处理程序21a的指令来进行后述的图像处理。图1的摄像部30是通过摄像装置31实现的。摄像装置31具备(XD(Charge Coupled Device)图像传感器或 CMOS (Complementary Metal Oxide Semiconductor)图像传感器等的摄像元件、AFE (Analog Front End)、DSP (Digital Signal Processor)等。摄像装置31根据拍摄者进行的拍摄操作来拍摄照片图像，由摄像元件生成表示拍摄到的照片图像的摄像信号，并对所生成的摄像信号实施各种处理(由AFE、DSP等进行的处理)，由此生成数字照片图像数据。此外，各种处理例如有相关双重采样(Correlated Double Sampling)的处理、对采样后的摄像信号实施的自动增益控制(Automatic Gain Control)的处理、将自动增益调整后的模拟摄像信号变换成数字信号的模拟/数字变换的处理、轮廓强调、自动白平衡、自动光圈等的提高画质的处理。摄像装置31将所生成的照片图像数据提供给一次存储装置12。一次存储装置12 将从摄像装置31收到的照片图像数据作为静止图像数据进行存储。CPUll利用一次存储装置12存储的静止图像数据进行后述的图像处理。此外，摄像装置31的DSP(Digital Signal Processor)等进行的处理也可由CPUll进行。
图1的输入部40是通过输入装置41实现的。输入装置41是由拍摄者操作的界面装置。输入装置41包括拍摄键、菜单键、拍摄模式(包括绘画风格变换模式)选择键、电源键等各种操作键。当拍摄者操作这些各键时，输入装置41生成与各键相应的操作信号， 并将所生成的操作信号提供给CPU11。当收到操作信号时，CPUll进行与该操作信号相应的处理。图1的显示部50是由显示面板驱动电路51和显示面板52实现的。CPUll利用各种图像数据来生成显示用图像数据(例如，RGB (RED-GREEN-BLUE)数据)，并将所生成的显示用图像数据提供给显示面板驱动电路51。显示面板驱动电路51从CPUll收到显示用图像数据之后对显示面板52进行驱动，并使显示面板52显示由显示用图像数据表现的图像。 这样，CPUll利用所述规定的图像数据，将由该数据表现的图像显示于显示部50的显示面板52。显示面板52例如由液晶显示面板或有机EL(Organic Electro-Luminescence :0EL) 显示面板等构成。显示面板52，通过显示面板驱动电路51显示图像。此外，也可由触摸面板来实现图1的输入部40和显示部50。这种情况下，输入装置41及显示面板52由触摸面板构成。触摸面板显示收到来自拍摄者的规定操作的输入画面，并且将输入画面中拍摄者进行接触操作的位置所对应的操作信号提供给CPU11。图1的读出写入部60是由读出写入装置61实现的。读出写入装置61是对存储卡101进行数据读出、写入的界面装置。记录介质100是通过闪速存储器型的存储卡101等实现的。作为存储卡101，有记录数据的SD存储卡等。下面，参照图3对拍摄者选择了绘画风格变换模式时的图像处理装置1的动作进行说明。拍摄者利用输入部40进行从电源接通之后在显示部50中显示的菜单画面中选择绘画风格变换模式的操作。另外，拍摄者利用输入部40进行选择绘画风格的种类(水彩画、 彩色素描、彩色蜡笔画、点描画、喷枪画、油彩画、哥特式油画等(Oil painting、Gothic oil painting、Water color painting、Color pencil sketch、Pastel paintingsPointilism> Air brush))的操作。输入部40将与拍摄者进行的选择操作对应的操作信号提供给脸检测部 10a。脸检测部IOa以预先设定的帧频，使摄像部30拍摄当前图像，从摄像部30依次获取表现当前图像的照片图像数据(实时取景图像数据)。此外，实时取景图像数据，在用于实时取景中被设为分辨率等低的图像数据。脸检测部IOa将由从摄像部30依次获取到的实时取景图像数据表现的实时取景图像显示于显示部50的显示画面中。由此，拍摄者能够一边确认实时取景图像一边进行拍摄。接着，脸检测部IOa判别绘画风格变换模式是否结束(步骤S101)。在拍摄者利用输入部40进行了结束绘画风格变换模式的操作的情况下，脸检测部IOa从输入部40接收与该拍摄者的操作对应的操作信号。脸检测部IOa在收到该操作信号的情况下，判别为绘画风格变换模式结束(步骤SlOl “是”)，而结束图像处理。另一方面，脸检测部IOa除此之外都判别为绘画风格变换模式未结束(步骤SlOl “否”)。在由脸检测部IOa判别为绘画风格变换模式未结束的情况下(步骤SlOl “否”)， 脸检测部IOa判别是否有拍摄操作(步骤S102)。拍摄者确认实时取景图像，在期望的时刻利用输入部40进行拍摄操作。脸检测部IOa当从输入部40收到与拍摄者的拍摄操作对应的操作信号时，判别为此时有拍摄操作(步骤S102 “是”)，与此相应地，使摄像部30拍摄照片图像，由此从摄像部30中获取表现照片图像的照片图像数据。照片图像数据因为基本上为保存用的图像数据，所以也可作为分辨率等高的图像数据(控制部10(脸检测部IOa) 例如控制摄像部30来调整分辨率等)。在由脸检测部IOa未提供与拍摄者的拍摄操作对应的操作信号，被判别为无拍摄操作的情况下(步骤S102 “否”)，脸检测部IOa返回到上述步骤S101，再次判别绘画风格变换模式是否结束。也就是说，直至由拍摄者进行拍摄或者绘画风格变换模式结束为止，图像处理装置1 一直待机。另一方面，在通过脸检测部IOa判别为有拍摄 操作的情况下(步骤S102 “是”)， 脸检测部IOa判别在由照片图像数据表现的照片图像中是否拍摄到人物的脸(步骤S103)。具体而言，脸检测部IOa通过使用预先记录在存储部20中的表现规定的脸的像的模板图像数据的模板匹配等的适当处理，尝试照片图像中的脸的像的检测。例如，在由脸检测部IOa获取到的照片图像数据表现的照片图像上，进行如下处理一边将由模板图像数据表现的规定的脸的像(模板图像)一个像素、一个像素地向左右方向或上下方向偏移，一边依次进行该模板图像和与该模板图像重合的区域的图像之间的比较。此时，脸检测部IOa 依次求出模板图像和与模板图像重合的区域的图像之间的类似度，并将该依次求出的类似度与预先设定的阈值进行比较。之后，在该类似度为阈值以上(或者，超过阈值)的情况下， 脸检测部IOa设定与该像重合的区域是脸的像的区域，并将该区域确定为脸的像。根据该确定，脸检测部IOa在照片图像上检测出脸的像，并判别为在照片图像中拍摄到人物的脸。 此外，关于类似度的计算，使用 SAD (Sum ofAbsolute Difference)、SSD (Sum of Squared Difference)等。另外，在上述图像的比较过程中，也可以将规定的脸的像进行适当地放大、 缩小来进行比较。在通过脸检测部IOa未检测出人物的脸的像的情况下(步骤S103 “否”)，图像变换处理部IOc进行将由照片图像数据表现的照片图像变换成绘画风格图像的图像变换处理，并将变换之后的绘画风格图像显示于显示部50 (步骤S108)。图像变换处理部IOc在步骤S108中，根据在绘画风格变换模式选择时拍摄者利用输入部40选择出的绘画风格的种类，进行将由照片图像数据表现的照片图像变换成绘画风格图像的图像变换处理。例如，在拍摄者选择了水彩画的情况下，图像变换处理部IOc将照片图像数据所具有的各种参数变更成如水彩画风的格调描绘的那样表现的参数，由此将其变换成绘画风格图像，并生成表现该绘画风格图像的绘画风格图像数据。此外，这里所指的参数是对进行将图像变更成绘画风格的图像处理时的处理强度进行规定的数值。另外， 参数有表现明亮度、对比度、颜色的浓度、色调、清晰度等的各种参数。另外，参数根据绘画风格的种类(水彩画、彩色素描、彩色蜡笔画、点描画、喷枪画、油彩画、哥特式油画等(Oilpainting、Gothic oil painting、Water color painting、Color pencil sketch、Pastel painting、PointilisnuAir brush))分别进行规定。此外，作为变换成绘画风格的图像变换处理，例如有Photoshop (注册商标)所使用的各种滤波器等的处理。图像变换处理部IOc通过进行上述图像处理，来生成表现绘画风格图像的绘画风格图像数据。图像变换处理部IOc将所生成的绘画风格图像数据记录到规定的存储区域 (图2的临时存储装置12等)中，并且将其变换成显示用图像数据而提供给显示部50。显示部50在显示画面(图2的显示面板52)上显示由收到的绘画风格图像数据表现的绘画风格图像。
在步骤S103中被判别为“否”的情况下，认为在照片图像中拍摄者积极拍摄的人物(主要被摄体)并未拍摄到。因此，即便将由照片图像数据表现的照片图像变换成绘画风格图像，且存在如该绘画风格图像损坏那样地表现的部分，由于主要被摄体的像(特别是， 脸)原本就不存在，所以主要被摄体的像会损坏这样的情况不存在，故尤其不认为是问题。此外，脸检测部IOa在上述模板匹配过程中使用一个以上的模板图像即可，但在模板图像使用了仅仅表现朝向正面的人物(相机视线的人物)的图像的情况下，在照片图像中朝向正面以外的人物无法进行检测。例如，如图11所示，在由照片图像数据表现的照片图像中人物朝向侧面的情况下，脸检测部IOa不检测该人物的脸的像。这种情况下，因为在图11中除此之外没有其他的脸，所以图像变换处理部IOc进行将该照片图像变换成绘画风格图像的图像变换处理。另一方面，在通过脸检测部IOa判别为在由照片图像数据表现的照片图像中拍摄到人物的脸的情况下(步骤S103:“是”)，S卩，在照片图像中检测出脸的像的情况下，判别部 IOb判别脸检测部IOa检测出的人物的脸的像是否满足第一基准(步骤S104)。在这里，第一基准为使用了三分割法的区域的基准。三分割法是与画面构图相应的经验规则之一。三分割法如图4所示，在图像上分别用两条分割线53等间隔地各引出水平线和垂直线，将该图像上9等分地分割成矩阵状。在本实施方式中，例如如图5所示，定义由处于三分割法的分割线53的中间的线而形成的、在照片图像的中央位置处相当于照片图像整体的约4/9的范围的区域Tl、即包括分割线53所有交点的区域Tl，将在该区域Tl 中是否包含人物的脸的像作为所述第一基准。判别部IOb例如如图6所示，在区域Tl中包含人物的脸的像Fl (上述检测出的脸的像)的情况下，判别为该人物的脸的像Fl满足第一基准(步骤S104:“是”)。另一方面， 判别部IOb例如如图7所示，在区域Tl中不包含人物的脸的像F2的情况下，判别为该人物的脸的像F2不满足第一基准(步骤S104:“否”)。此外，所谓在区域Tl中包含人物的脸的像，例如是指脸的像的中心的任意点存在于区域Tl内。因此，判别部IOb例如如图7所示，即便在区域Tl中包含人物的脸的像F3的一部分的情况下，由于在区域Tl中不包含人物的脸的像F3的中心的任意点，故判别为该人物的脸的像F3不满足第一基准(步骤S104 “否”)。此外，在区域Tl中是否包含人物的脸的像的基准能够采用适当基准，例如在人物的脸的像和区域Tl重合的区域的面积在规定大小以上的情况下，也可设为在区域Tl中包含人物的脸的像。在通过判别部IOb判别为在照片图像中拍摄到的人物(上述检测出的脸的像。以下相同)不满足第一基准的情况下(步骤S104:“否”，参照图7)，图像变换处理部IOc进行将由在上述步骤S102中脸检测部IOa获取到的照片图像数据表现的照片图像变换成绘画风格图像的图像变换处理，并显示变换之后的绘画风格图像(步骤S108，详细处理参照上述)O这样 ，在照片图像中拍摄到的人物的脸的像不满足第一基准的情况(处于区域Tl 之外的情况)下，进行将照片图像变换成绘画风格图像的图像变换处理。因此区域Tl外的区域是照片图像的端部，区域Tl是由三分割法定义的区域，所以在照片图像中拍摄到的人物的脸的像处于区域Tl外的情况下，该像不是拍摄者有意图行拍摄的人物的脸的像，而是拍摄者不想要的偶尔拍摄到的行人等的可能性高。因此，即便假设进行将这样的照片图像变换成绘画风格图像的图像变换处理，如该绘画风格图像中拍摄到的人物的脸损坏那样表现，在该图像中拍摄到的人物对于拍摄者而言是不关心的人物的可能性高，即使无法识别该人物的脸也没有问题的可能性高。另一方面，在上述步骤S104中，在由判别部IOb判别为人物的脸的像满足第一基准的情况下(步骤S104 “是”，参照图6)，该像与上述相反，是拍摄者有意图进行拍摄的人物的脸的像的可能性高。这种情况下，判别部IOb判别脸检测部IOa检测出的人物的脸的像是否满足第二基准(步骤S105)。在这里，第二基准是上述检测出的脸的像是否小于预先规定的范围的基准。例如， 如图8所示，在照片图像上将相当于整体的约1/9 (区域Tl的约1/4)的矩形范围Sl和脸的像各自中心相一致地重合，在脸的像不从范围Sl伸出的情况下，人物的脸的像比预先设定的基准小，脸检测部IOa检测出的人物的脸的像满足第二基准(步骤S105 “是”)。在脸的像从范围Sl伸出的情况下，脸的像比预先设定的基准大，脸检测部IOa检测出的人物的脸的像不满足第二基准(步骤S105 “否”)。判别部IOb通过进行这种内容的处理，来进行步骤S105的判别处理。此外，所述大小的判别也可以通过面积是否超过规定阈值等的其他方法进行。这里，所述预先设定的基准是在将照片图像变换成绘画风格图像的情况下划分是否如基准的判断对象的人物的脸的像损坏那样地表现的基准。也就是说，在照片图像中拍摄到的人物的脸的像比上述的基准小的情况下，如果将该照片图像变换成绘画风格图像， 则如该绘画风格图像中的所述人物的脸的像损坏那样表现的可能性高。另一方面，在照片图像中拍摄到的人物的脸的像比所述基准大的情况下，即便将该照片图像变换成绘画风格图像，在该绘画风格图像中拍摄到的上述人物的脸的像损坏的可能性也低。判别部IOb在步骤S105中判别为人物的脸的像不满足第二基准的情况下(步骤 S105 “否”，参照图10)，图像变换处理部IOc进行步骤S108的处理(详细地参照上述)。 这样，在照片图像中拍摄到的人物的脸的像不满足第二基准的情况下，进行将照片图像变换成绘画风格图像的图像变换处理。也就是说，这种情况下，即便将照片图像变换成绘画风格图像，在该绘画风格图像中拍摄到的人物的脸的像也大，所以没有如损坏那样地表现的危险。因此，即便在该照片图像中拍摄到的人物是拍摄者有意图进行拍摄的人物(主要被摄体)，看到进行图像处理而得到的绘画风格图像的人也能识别在该绘画风格图像中拍摄到的主要被摄体的脸。另一方面，在上述步骤S105中，通过判别部IOb判别为人物的脸的像满足第二基准的情况下(步骤S105 “是”，参照图9)，因为脸检测部IOa检测出的人物的脸的像小，所以判别部IOb通过上述图像处理使得如该脸的像损坏那样表现的危险存在。这种情况下， 判别部IOb不转移至步骤S108，而判别是否满足第三基准(步骤S106)。这里，第三基 准是人物的脸及视线的朝向在照片图像上是否朝向正面方向(人物朝向相机)的基准。在人物的脸及视线的朝向是朝向正面的情况下，该人物朝向相机且看到相机的可能性高，是拍摄者积极拍摄的人物(主要被摄体)的可能性高。另一方面，在除此之外的情况下，因为该人物朝向相机且不看到相机的可能性高，所以是与拍摄者的意图无关地拍摄的人物(行人等)的可能性高。判别部IOb例如从脸检测部IOa检测到的人物的脸的像中检测该人物的脸和视线的方向。人物的脸的朝向是通过进行与上述步骤S102中进行的模板匹配等同样的适当处理而检测的。具体而言，判别部IOb使用预先记录到存储部20中的分别表现眼、鼻、口等的各图像数据，在脸检测部IOa检测出的人物的脸的像中进行模板匹配，对脸检测部IOa检测出的人物的脸的像中的眼、鼻、口等进行检测，并基于所检测出的眼、鼻、口等的位置关系来检测脸的朝向。例如，在两只眼睛的位置以连结鼻的位置和口的位置的线为基准而大致左右对称地排列的情况下，检测出该人物的脸的朝向为正面。另一方面，在两只眼睛的位置以连结鼻的位置和口的位置的线为中央时，在靠左侧位置处排列的情况下，检测出人物的脸的朝向为朝向照片时为左(在实际空间中为右)。另外，人物的视线方向，从在检测人物的脸的朝向时检测出的上述眼睛的区域中进一步确定黑眼珠和白眼珠的位置，由此基于白眼珠中的黑眼珠的位置来检测视线方向。 例如，在白眼珠中黑眼珠大致位于中央位置的情况下，检测出视线方向为正面方向。另一方面，在白眼珠中黑眼珠从中央向右位置靠近的情况下，检测出视线方向为朝向照片时为右方向(在实际空间中为左方向)。判别部IOb如图9所示，在由人物的脸的像Fl确定的人物的脸和视线都朝向正面方向的情况下，判别该人物的脸的像Fl满足第三基准(步骤S106 “是”)。另一方面，除此之外的情况下，判别部IOb判别为不满足第三基准(步骤S106 “否”)。例如判别部IOb如图11所示，在由人物的脸的像F5确定的人物的脸不朝向正面方向的情况下，判别为该人物的脸的像F5不满足第三基准(步骤S106 “否”)。另外，判别部IOb如图12所示，在由人物的脸的像F6确定的人物的视线不朝向正面方向的情况下，判别为该人物的脸的像F6不满足第三基准(步骤S106 “否”)。此外，在由上述模板匹配处理使用的模板图像数据表现的模板图像利用仅仅表现朝向正面的人物(相机视线的人物)的图像的情况下，脸检测部IOa在照片图像中朝向正面以外的人物是无法检测的。这种情况下，判别部IOb不检测所检测出的人物(朝向正面的人)的脸的朝向，而在视线方向朝向正面时判别为满足第三基准。由判别部IOb在步骤S106中判别为人物的脸的像不满足第三基准的情况下(步骤S106 “否”，参照图11、图12)，图像变换处理部IOc进行步骤S108的处理(详细而言， 参照上述)。在照片图像中拍摄到的人物的脸的像不满足第三基准的情况(人物的脸和视线至少一方不朝向正面方向的情况)下，进行将照片图像变换成绘画风格图像的图像变换处理。也就是说，这种情况下，即便将照片图像变换成绘画风格图像而如在绘画风格图像中拍摄到的人物的脸的像损坏那样表现，在该图像中拍摄到的人物是行人等对于拍摄者而言为不关心的人物的可能性高，即使无法识别该人物的脸也没有问题的可能性也高。另一方面，在上述步骤S106中，由判别部IOb判别为人物的脸的像满足第三基准的情况下(步骤S106 “是”，参照图9)，图像变换处理部IOc不进行将由在上述步骤S102 中脸检测部IOa获取到的照片图像数据表现的照片图像变换成绘画风格图像的图像变换处理，而将该照片图像显示于显示部50的显示画面中(步骤S107)。也就是说，在人物的脸的像满足第三基准的情况下(人物的视线和脸朝向正面方向的情况下)，该像与上述相反地，是拍摄者积极拍摄的人物(主要被摄体)的可能性高。另外，此时如果将照片图像变换成绘画风格图像，则如在该绘画风格图像中拍摄到的人物的脸的像损坏那样表现，在该图像中拍摄到的人物的脸无法识别的可能性高。因此，在这种情况下，不进行将照片图像变换成绘画风格图像的图像变换处理，而将由在上述步骤S102中脸检测部IOa获取到的照片图像数据表现的照片图像显示于显示部50的显示画面中。另外，这种情况下，图像变换处理部IOc在显示部50的显示画面上显示“绘画风格变换NG”等，使拍摄者了解无法将照片图像变换成绘画风格图像的情况。以上，根据本实施方式所涉及的图像处理装置1，对在由获取到的照片图像数据表现的照片图像中拍摄到的人物的脸的像进行检测，根据所检测出的人物的脸的像是否满足第一至第三基准，来判别能否将照片图像变换成绘画风格图像，基于该判别结果将照片图像变换成绘画风格图像。在本实施方式中，在将拍摄到人物的照片图像变换成绘画风格图像的情况下，在照片图像中考虑拍摄到人物的位置(区域Tl)及其大小(范围Si)、或者该人物的脸及视线的朝向等，来确定是否进行绘画风格变换。如上述，在被认为是主要被摄体的脸的像小的情况下，由于不进行绘画风格变换，所以能够抑制脸损坏这样的不合 适。这样，在本实施方式中，考虑在照片图像中拍摄到人物的位置(区域Tl)及其大小(范围Si)、 或者该人物的脸及视线的朝向等，也就是说对脸的像进行规定判别，来确定是否进行图像变换处理，故能够进行适当的图像处理。此外，在上述实施方式中，说明了在通过判别部IOb判别为人物的脸的像不满足第一至第三基准的任意基准的情况下，图像变换处理部IOc自动地进行将该照片图像变换成绘画风格图像的图像变换处理，但此时图像变换处理部IOc也可在显示部50的显示画面上显示“绘画风格变换0K”等，使拍摄者了解能将照片图像变换成绘画风格图像的情况。这种情况下，拍摄者利用输入部40，对是否将照片图像变换成绘画风格图像进行选择操作。图像变换处理部IOc也可从输入部40中接收与选择操作对应的操作信号，并根据收到的操作信号进行将上述照片图像变换成绘画风格图像的图像变换处理。这样，经由拍摄者的操作， 图像变换处理部IOc也可根据判别部IOb的判别结果，进行将照片图像变换成绘画风格图像的图像变换处理。另外，即便在图像变换处理部IOc根据判别部IOb判别为不满足第一至第三基准的全部基准的情况下，也就是在步骤S107中也进行将照片图像变换成绘画风格图像的图像变换处理。其中，这里进行的图像变换处理的处理强度比步骤S108的处理强度小。这里， 处理强度越大则越大，变换前后的图像的变化度变大。因此，通过减小处理强度，变换前后的图像的变化度变小。此外，处理强度如上述由参数进行规定，所以处理强度的强弱通过参数数值的调整而进行(此外，该变更方法是用预先设定的方法进行的)。由此，在照片图像中即便被认为是主要被摄体的人物的脸的像小的情况下，通过进行与原始照片图像之间的变化程度小的绘画风格变换，从而能够抑制脸损坏这样的不合适。并且，由于能够进行绘画风格变换，所以产生用户感兴趣的图像。另外，图像变换处理部IOc也可在步骤S107中进行图像变化少的种类(预先确定的种类)的绘画风格变换。由此，与上述同样地，能够抑制脸损坏这样的不合适。并且，由于能够进行绘画风格变换，所以产生用户感兴趣的图像另外，图像变换处理部IOc也可根据脸检测部IOa或判别部IOb在上述步骤S103 至S106中进行的判别结果，来变更处理强度、绘画风格的种类，进行图像变换处理。具体而言，图像变换处理部IOc对应于在哪个步骤中被判别为“否”，来改变在步骤S108中进行的图像变换处理的强度、种类。例如，存储部20预先存储将对上述步骤S103至S106任意步骤进行确定的信息和图像变换处理的处理强度或绘画风格的种类建立对应来记录的对应表(未图示)。图像变换处理部IOc确定在哪个步骤中被判别为“否”(即，之前的步骤为哪个步骤)，并且参照所述对应表，获取对与被判别为“否”的步骤相同步骤进行确定的信息所对应的图像变换处理的处理强度或绘画风格的种类。之后，图像变换处理部IOc利用所获取到的图像变换处理的处理强度或绘画风格的种类，对照片图像进行图像变换处理。基本上，在步骤S108中成为图像变换处理的对象的照片图像，根据在上述步骤S103至S106 的哪个步骤中被判别为“否”，而其内容(人的脸的像的有无、位置、大小等)不同。因此，对应于不同内容来设定图像变换处理的处理强度或绘画风格的种类，由此能够对照片图像进行适当的图像变换处理。例如，在上述情况下，图像变换处理的处理强度，伴随着被判别为“否”的步骤从步骤S103进入到步骤S106中，而被设定为较小。另外，绘画风格的种类，伴随着被判别为“否” 的步骤从步骤S103进入到步骤S106中，而被设定为变换前后的图像的变化度变小。根据这些理由，能够对照片图像进行适当的图像变换处理。在上述中，如果改变变换种类，则意味着改变油彩画、水彩画、彩色素描(Oil paintings Water color paintings Color pencil sketch) 白勺 会！iMM白勺禾中￥ (style), 但是也包括改变明亮度、色调等色质(tone)。另外，所谓改变变换强度是指，即便是相同的种类，变换结果与原始图像的差越小变换强度越弱，与原始图像的差越大则变换强度越强。此外，在上述实施方式中，为了说明的方便，说明了在照片图像中拍摄到的人物为一个人的情况，但本发明所涉及的图像处理装置也可以用于在照片图像中拍摄到的人物为多个人的情况。在这种情况下，例如在图像处理装置1进行图像变换处理时，即便由判别部 IOb判别为满足上述第一至第三基准的人物为一个人的情况下，图像变换处理部IOc也不将该照片图像变换成绘画风格图像，或者按照该人物改变处理强度进行图像处理。另外，在上述实施方式中，判别部IOb利用第一至第三基准，关于脸检测部IOa检测出的人物的脸的像来判别是否满足基准，但第一至第三基准也可以由拍摄者适当地选择进行使用。另外，在上述实施方式中，脸检测部IOa检测人物的脸的图像，但也可应用于狗、 猫、宠物等的脸。进而，在上述实施方式中，说明了使用根据拍摄者的拍摄操作而拍摄到的照片图像，将该照片图像变换成绘画风格图像的图像变换处理装置1，但并不限定于此，也可使用由存储部20或记录介质100等中记录的记录图像数据表现的记录图像。
除此之外，本发明所涉及的图像处理装置在上述实施方式中，说明了将照片图像 (静止图像)变换成绘画风格图像的图像变换处理，但也可进行将实时取景显示用到的图像或运动图像(由多个连续的静止图像构成的图像组)变换成绘画风格图像(绘画风格图像组)的图像变换处理。另外，本发明所涉及的图像处理装置在上述实施方式中，作为一个例子举出了数字相机，除此之外还可应用于数字相框或个人计算机等的图像处理装置。
此外，上述实施方式的图像处理程序21a也可以记录到可携带的记录介质等中。可携带的记录介质，例如有CD-ROM (Compact Disk Read Only Memory)或者 DVD-ROM (Digital Versatile Disk Read Only Memory)等。另外，图像处理程序 21a 也可经由各种读取装置，从可携带的记录介质向图像处理装置1安装。进而，图像处理程序21a 也可经由未图示的通信部从因特网等网络向图像处理装置1下载及安装。另外，图像处理程序21a也可存储于与图像处理装置1可进行通信的服务器等存储装置中，对CPU等进行指令。进而，存储了图像处理程序21a的可读取的记录介质(例如，RAM、ROM (Read Only Memory)、⑶-R、DVD-R、硬盘、或闪速存储器)，为存储了计算机可读取的程序的记录介质。
权利要求
1.一种图像处理装置，其特征在于，具备 脸检测装置，其从图像中检测脸的像；判别装置，其判别所述脸检测装置检测出的所述脸的像是否满足规定的基准；和图像变换处理装置，其根据所述判别装置的判别结果，进行将所述图像变换成绘画风格的图像的图像变换处理。
2.根据权利要求1所述的图像处理装置，其特征在于，所述规定的基准包括第一基准，该第一基准为所述脸的像是否包含在所述图像中所设定的规定的区域中，所述判别装置，在所述脸的像未包含在所述规定的区域中的情况下，判别为不满足所述第一基准，所述图像变换处理装置，在所述判别装置判别为不满足所述第一基准时，进行将所述图像变换成绘画风格的图像的图像变换处理。
3.根据权利要求1所述的图像处理装置，其特征在于，所述规定的基准包括第二基准，该第二基准为所述脸的像是否是规定以下的大小， 所述判别装置，在所述脸的像不是所述规定以下的大小的情况下，判别为不满足所述第二基准，所述图像变换处理装置，在所述判别装置判别为不满足所述第二基准时，进行将所述图像变换成绘画风格的图像的图像变换处理。
4.根据权利要求1所述的图像处理装置，其特征在于，所述规定的基准包括第三基准，该第三基准为所述脸及视线朝向的方向是否是正面方向，所述判别装置，根据所述人物的脸的像来确定所述人物的脸及视线的朝向，在确定出的所述脸或所述视线朝向的方向不是正面方向的情况下，判别为不满足所述第三基准，所述图像变换处理装置，在所述判别装置判别为不满足所述第三基准时，进行将所述图像变换成绘画风格的图像的图像变换处理。
5.根据权利要求1所述的图像处理装置，其特征在于， 所述脸检测装置检测人物的脸的像。
6.一种图像处理装置，其特征在于，具备 脸检测装置，其从图像中检测脸的像；判别装置，其判别所述脸检测装置检测出的所述脸的像是否满足规定的基准；和图像变换处理装置，其根据所述判别装置的判别结果，进行使得用于将所述图像变换成绘画风格的图像的变换强度为不同的图像变换处理。
7.根据权利要求6所述的图像处理装置，其特征在于， 所述脸检测装置检测人物的脸的像。
8.一种图像处理装置，其特征在于，具备 脸检测装置，其从图像中检测脸的像；判别装置，其判别所述脸检测装置检测出的所述脸的像是否满足规定的基准；和图像变换处理装置，其根据所述判别装置的判别结果，进行使得用于将所述图像变换成绘画风格的图像的变换种类为不同的图像变换处理。
9.根据权利要求8所述的图像处理装置，其特征在于， 所述脸检测装置检测人物的脸的像。
10.一种图像处理方法，其特征在于， 从图像中检测脸的像；判别检测出的所述脸的像是否满足规定的基准；根据是否满足所述规定的基准，进行将所述图像变换成绘画风格的图像的图像变换处理。
全文摘要
本发明提供一种图像处理装置、图像处理方法。在进行将拍摄人物得到的照片图像变换成绘画风格图像的图像变换处理的图像处理装置中，具备脸检测部，其获取图像，检测在所获取到的图像中拍摄的人物的脸的像；判别部，其判别检测出的人物的脸的像是否满足规定的基准；和图像变换处理部，其根据判别结果，进行将图像变换成绘画风格图像的图像变换处理。在将拍摄人物得到的照片图像变换成绘画风格图像的情况下，考虑在照片图像中拍摄人物的位置及其大小、该人物的脸及视线的朝向等来确定是否进行绘画风格变换。
文档编号G06K9/00GK102346914SQ20111020637
公开日2012年2月8日 申请日期2011年7月22日 优先权日2010年7月23日
发明者小金孝行 申请人:卡西欧计算机株式会社