瞳孔颜色推定装置的制作方法

专利名称：瞳孔颜色推定装置的制作方法
技术领域：
本发明涉及适用于拍摄图像(特别是拍摄人的脸部的图像)的摄像装置、处理图像的信息处理装置、输出装置、及软件等的有效技术。
背景技术：
[专利文献1]特许第2634511号[专利文献2]特开平05-019382号公报[专利文献3]特开2001-069333号公报以前，不论是数码照相机还是银盐方式(胶卷)照相机，都存在所拍摄的人物瞳孔甚至整个眼睛都被拍摄成红色的红眼现象的问题。作为同样的问题，还有人物的瞳孔甚至整个眼睛都被拍摄成金色的金眼现象。这种红眼、金眼现象(以下以红眼现象为例进行说明)是从眼睛的瞳孔部分向眼球内入射的闪光在视网膜上发生反射而引起的现象。最近随着照相机日趋小型化，照相机的光轴和闪光灯间的距离变近，所以红眼现象的发生率变高，又重新成为问题。
作为在摄影时为了防止、减轻这种红眼现象的技术，曾提出了防止红眼闪光灯的方案。这是在摄影之前先使闪光灯轻微发光之后再次使闪光灯发光的技术。根据该技术，通过最初的发光使被摄像者的瞳孔收缩，来防止、减轻其后的闪光引起的红眼现象。
但是，在已经发生了红眼现象时，只要不可能重新拍摄，就需要对红眼进行图像校正。作为这样的图像校正技术，提出了通过指定发生了红眼现象的像素并变更该像素的颜色进行校正的方法(参照专利文献1)。
另外，在变更发生了红眼现象的像素颜色时，需要决定变更后的瞳孔的颜色。作为决定瞳孔颜色的技术，提出了由用户选择按各人种预先记录的瞳孔颜色，使用该颜色变更瞳孔像素的颜色的技术(参照专利文献2)。此外，作为同样的技术，还提出了从“做成西方人的样子”及“东方人的样子”等多种个模式中选择显得自然的瞳孔颜色，并使用该颜色进行变更的技术(参照专利文献3)。
但是，在已发生红眼现象的瞳孔图像中，已丧失了本来的瞳孔颜色。因此，这样从发生了红眼现象的瞳孔图像中，很难推定本来的瞳孔颜色。如果不能推定本来的瞳孔颜色，当然即使想使用现有技术进行校正，也很难生成自然的图像。
另外，即使使用了例如专利文献2、3中所记载的技术，用户也有必要通过目视推定被摄体的人种。一般来说，由于具有人种相关知识的用户决不很多，所以根据人种推定瞳孔颜色，对用户来说是很难又很烦琐的处理。
并且，作为瞳孔颜色的校正方法，可以考虑不通过推定本来的瞳孔颜色进行瞳孔颜色的置换，而只是单单从发生了红眼现象的瞳孔颜色中除去红色的方法。但是，在进行这种校正方法时也有问题。人的视觉具有用色彩对比来判断颜色的感觉的特性。因此，例如当被摄体是红脸时或在红色照明下拍摄时，只是单单进行从瞳孔颜色除去红色的校正，反而有可能生成不自然的图像。

发明内容
本发明的目的在于提供一种可以根据所拍摄的人物图像，推定被认为未发生红眼现象等在瞳孔部分的图像中有可能发生的异常时，该人物的瞳孔颜色(所拍摄图像中的本来的瞳孔颜色)的技术。
在以下的说明中，皮肤颜色表示所有的人、人种的皮肤颜色，而不限定于特定的人、人种的皮肤颜色。
(第一种形式)为了解决上述问题，本发明采用以下的结构。第一种形式是瞳孔颜色推定装置，其包括肤色确定单元及瞳孔颜色推定单元。
肤色确定单元用于确定所输入的图像中的被摄人物的皮肤颜色。肤色确定单元也可以由用户手动地确定皮肤的颜色。肤色确定单元也可以将由用户以输入图像为基础指定的颜色、由用户指定的图像中的像素的颜色(即，由用户指定的位置的实测值)等，确定为该人物的皮肤颜色。另外，肤色确定单元也可以根据用户的输入，确定皮肤颜色。肤色确定单元也可以将由用户指定的图像中的区域中的像素颜色的统计结果(平均值、最频值、中间值等)等，确定为该人物的皮肤颜色。
另外，肤色确定单元也可以独立于用户的输入来确定皮肤的颜色。对于这样构成的肤色确定单元，在第二种形式中进行说明。
瞳孔颜色推定单元，根据由肤色确定单元所确定的皮肤颜色，推定在图像中应表现的该人物的瞳孔颜色。瞳孔颜色推定单元推定的“图像中应表现的该人物的瞳孔颜色”是指，不是在所输入的图像中的瞳孔区域的颜色本身，而是指被认为未发生红眼/金眼现象之类的异常的情况下拍摄到的图像中所表现的瞳孔颜色，换句话说，是指本来应输出的瞳孔颜色。
这样构成的第一种形式，根据所输入的图像来确定被摄人物的皮肤颜色，并根据该皮肤的颜色，推定该人物的瞳孔颜色。因此，可以推定对该图像中的皮肤颜色考虑了色彩对比的自然且没有不协调感的瞳孔颜色。从而，根据由于红眼现象、金眼现象等的发生而丧失了本来瞳孔颜色的图像，可以推定本来的瞳孔颜色(被认为未发生异常时所表现出(输出)的瞳孔颜色)。
(第二种形式)第二种形式是瞳孔颜色推定装置，其包括脸部检测单元、肤色确定单元、及第一种形式中的瞳孔颜色推定单元。
脸部检测单元对所输入的图像中的被摄人物的脸部区域进行检测。“脸部区域”是指包含被摄人物脸部的一部分或全部的区域。
第二种形式中的肤色确定单元，根据由脸部检测单元检测出的脸部区域中所包含的像素的颜色，确定该人物的皮肤颜色。肤色确定单元也可以将由脸部检测单元检测出的脸部区域中的像素颜色的统计结果(平均值、最频值、中间值等)等，确定为该人物的皮肤颜色。
在这样构成的第二种形式中，根据所输入的图像确定被摄人物的皮肤颜色，根据该皮肤颜色，推定该人物的瞳孔颜色。因此，与第一种形式一样，可以推定对该图像中的皮肤颜色考虑了色彩对比的自然且没有不协调感的瞳孔颜色。从而，根据由于红眼现象、金眼现象等的发生而丧失了本来的瞳孔颜色的图像，可以推定本来的瞳孔颜色(被认为未发生异常时所表现出(输出)的瞳孔颜色)。
在第二种形式中，肤色确定单元通过根据脸部检测单元的检测结果进行处理，可以独立于用户的输入(即，在肤色确定处理时，也可以没有用户指定的颜色或指定的用于确定颜色的图像中的区域)确定皮肤颜色。因此，可以节省用户的劳力和时间。
(第三种形式)第三种形式中，除了第一或第二种形式的构成外，还具有瞳孔区域确定单元及判断单元。瞳孔区域确定单元确定图像中被摄人物的瞳孔区域。瞳孔区域确定单元既可以根据用户的输入确定瞳孔区域，也可以独立于用户的输入来确定瞳孔区域。
判断单元对由瞳孔颜色推定单元推定的瞳孔颜色与由瞳孔区域确定单元确定的瞳孔区域的颜色进行比较。判断单元根据该比较结果来判断图像中的瞳孔部分是否发生了异常。在图像的瞳孔部分发生的异常是指，例如红眼现象、金眼现象等，瞳孔部分的一部分或全部的颜色发生的异常。
在这样构成的第三种形式中，对根据皮肤颜色推定的瞳孔颜色、与根据图像确定的瞳孔区域的颜色进行比较，判断图像中的瞳孔部分是否发生了异常。从而，用户根据该判断结果，可以容易地决定对该图像的对应。例如，用户在考虑对发生了异常的图像进行校正时，可以根据该判断结果判断是否进行校正。另外，例如在所拍摄的图像中发生了异常的情况下，用户正在考虑重新拍摄时，可以根据该判断结果，判断是否重新进行拍摄。
(第四种形式)第四种形式中，除了第二种形式的构成外，还包括瞳孔检测单元及判断单元。
瞳孔检测单元对由脸部检测单元所检测出的该人物的瞳孔区域进行检测。“瞳孔区域”是指包含被摄人物的瞳孔的一部分或全部的区域判断单元通过对由瞳孔颜色推定单元推定的瞳孔颜色、与根据由瞳孔检测单元检测出的瞳孔区域所确定的颜色进行比较，判断成为处理对象的图像中的该人物的瞳孔颜色是否发生了异常。例如，判断单元通过对所检测出的瞳孔区域的各像素的颜色与所推定的瞳孔颜色进行比较来进行判断。另外，判断单元也可以根据所检测出的瞳孔区域的各像素的颜色，通过统计处理确定一个代表值，通过比较该代表值和所推定的瞳孔颜色来进行判断。
在第四种形式中，对根据皮肤颜色推定的瞳孔颜色、与所检测出的瞳孔区域中的颜色进行比较，判断在图像中的瞳孔部分是否发生了异常。因此，与第三形式一样，用户根据该判断结果可以容易地决定对该图像的对应。另外，在第四种形式中，判断单元通过根据瞳孔检测单元的检测结果进行处理，可以独立于用户的输入(即，在瞳孔颜色确定处理时，也可以没有用户指定的颜色或指定的用于确定颜色的图像中的区域)确定瞳孔颜色。因此，可以节省用户的劳力和时间。
(第五种形式)第五种形式中，除了第一或第二种形式的构成外，还包括校正单元。
校正单元根据由瞳孔颜色推定单元推定的瞳孔颜色，校正该人物的瞳孔颜色。校正单元既可以根据用户的输入进行校正，也可以独立于用户的输入进行校正。例如，校正单元也可以对由用户指定的瞳孔的像素进行校正。另外，例如，校正单元也可以对由用户指定的瞳孔区域进行校正。另外，例如，校正单元也可以对根据用户指定的颜色、像素所决定的瞳孔区域进行校正。
在第五种形式中，可根据由瞳孔颜色推定单元推定的瞳孔颜色，校正图像中的该人物的瞳孔颜色。因此，可以对瞳孔进行考虑了色彩对比的校正，换句话说，可以进行自然且没有不协调感的校正。即可以提高校正质量。
(第六种形式)
第六种形式中，除了第二种形式的构成之外，还包括第四种形式中的瞳孔检测单元和校正单元。
第六种形式中的校正单元根据由瞳孔颜色推定单元所推定的瞳孔颜色，对由瞳孔检测单元所检测出的瞳孔区域，进行瞳孔颜色的校正。
与第五种形式一样，第六种形式根据由瞳孔颜色推定单元所推定的瞳孔颜色，校正图像中的该人物的瞳孔颜色。因此，可以对瞳孔进行考虑了色彩对比的校正，换句话说，可以进行自然且没有不协调感的校正。即，可以提高校正质量。
此外，第六种形式中的校正单元，通过根据瞳孔检测单元的检测结果进行处理。可以独立于用户的输入进行瞳孔颜色的校正。因此，用户不必对瞳孔颜色推定装置进行像素、区域的指定，可以节省用户的劳力和时间。
(第七种形式)在第七种形式中，除了第三或第四种形式的构成之外，还包括校正单元。第七种形式的校正单元，当通过判断单元判断为瞳孔颜色中发生了异常时，根据由瞳孔颜色推定单元所推定的瞳孔颜色，校正该人物的瞳孔颜色。即，第七种形式的校正单元，当通过判断单元被判断发生了异常时，象第五种形式具有的校正单元那样进行工作。
根据第七种形式，根据判断单元的判断结果实施校正处理。因此，例如对不需要校正处理的图像，可以省略执行校正处理等的多余处理。
另外，由于第七种形式所具有的校正单元在进行校正处理时，象第五种形式中具有的校正单元那样进行工作，所以可以根据由瞳孔颜色推定单元推定的瞳孔颜色，校正图像中的该人物的瞳孔颜色。因此，可以对瞳孔进行考虑了色彩对比的校正，换句话说，可以进行自然且没有不协调感的校正。即可以提高校正质量。
(第八种形式)第八种形式中，除了第四种形式的构成之外，还包括校正单元。第八种形式的校正单元，与第七种形式的校正单元一样，当通过判断单元判断为瞳孔颜色发生了异常时，实施校正处理。另外，第八种形式的校正单元，与第六种形式的校正单元相同，根据由瞳孔颜色推定单元所推定的瞳孔颜色，对由瞳孔检测单元所检测出的瞳孔区域，进行瞳孔颜色的校正。
根据第八种形式，与第七种形式一样，例如对不需要校正处理的图像，可以省略执行校正处理等多余处理。
另外，第八种形式所具有的校正单元，由于在进行校正处理时，象第六种形式中具有的校正单元那样进行工作，所以可取得以下效果。即，与第五种形式一样，根据由瞳孔颜色推定单元所推定的瞳孔颜色，校正图像中的该人物的瞳孔颜色。因此，可以对瞳孔进行考虑了色彩对比的校正，换句话说，可以进行自然且没有不协调感的校正。即，可以提高校正质量。另外，与第六种形式一样，通过根据瞳孔检测单元的检测结果进行处理，可以独立于用户的输入实施瞳孔颜色的校正。因此，用户不必对瞳孔颜色推定装置进行像素、区域的指定，可以节省用户的劳力和时间。
(第九种形式)在第九种形式中，第三、四、七及八种形式的判断单元如下构成。在第九种形式中，作为图像中发生的异常的例子，判断单元判断是否发生了红眼。具体来说，判断单元通过对由瞳孔颜色推定单元推定的瞳孔颜色中的红色、与从瞳孔检测单元所检测出的瞳孔区域所确定的颜色中的红色进行比较，判断图像中的瞳孔部分是否变成了红眼。
(第十种形式)在第十种形式中，第五至第八种形式的校正单元如下构成。在第十种形式中，校正单元对成为校正对象的像素，维持该像素的亮度进行校正。当象第八种形式那样具有瞳孔检测单元时，第十种形式中的校正单元对由瞳孔检测单元检测出的瞳孔区域的像素，维持该像素的亮度进行校正。
顺便提一下，一般来说，人的视觉通过所谓光点(catch light在眼球表面发生的正反射现象)来捕捉眼球的球形及眼球表面的湿润感。因此，有时会捕捉到对人来说不自然的、无光点的瞳孔的图像。
另外，在发生了红眼现象、金眼现象的瞳孔的图像中，虽然有时会有已失掉光点自身的情况，但是该图像中的亮度分布却大多具有与光点时同样的分布。
如上所述，第十种形式维持像素的亮度进行校正。因此，在校正后的瞳孔图像中不会失掉所谓的光点而能对眼球的球形及眼球表面的湿润度进行自然地表现。从而，可以实现高质量的图像校正。
(第十一种形式)第十一种形式中，在上述各形式中，瞳孔颜色推定单元，还根据皮肤颜色和瞳孔颜色的相关关系，推定瞳孔的颜色，其中皮肤颜色和瞳孔颜色的相关关系是根据包含被认为瞳孔部分未发生异常的被摄人物的图像所得到的皮肤颜色和瞳孔颜色的统计处理结果得到的。这里所说的“统计处理结果”是指，对包含被认为在瞳孔的图像中未发生异常的被摄人物的图像中的皮肤颜色和瞳孔颜色实施的统计处理的结果。瞳孔颜色推定单元也可以根据基于上述相关关系构成的使皮肤颜色和瞳孔颜色相对应的表，来推定瞳孔颜色。另外，瞳孔颜色推定单元也可以根据基于上述相关关系取得的皮肤颜色和瞳孔颜色的关系式，推定瞳孔颜色。
通过这样构成，瞳孔颜色推定单元根据被摄人物的肤色，可以推定被统计处理结果所证实的更自然的瞳孔颜色。
(第十二种形式)第十二种形式中，在上述各种形式中，还包括近似式存储单元、人种推定单元及选择单元。近似式存储单元将用于推定瞳孔颜色的近似式和人种相对应进行存储。这样的近似式是根据第十一种形式所示的统计处理的结果所得到的近似式，是预先取得的式子。人种推定单元对被摄人物的人种进行推定。人种推定单元也可以使用现有的任何人种推定技术。选择单元选择与所推定的人种相对应存储在近似式存储单元中的近似式。另外，第十二种形式中的瞳孔颜色推定单元，根据所确定的皮肤颜色并使用所选择的近似式，来推定瞳孔的颜色。
根据经验，人种不同瞳孔颜色也不同。因此，在不同的人种成为被摄体时，使用相同近似式来推定瞳孔颜色很可能使精度降低。但是，根据第十二种形式，根据被摄的人种，可以推定更合适的瞳孔颜色。因此可以推定更自然的瞳孔颜色。
(第十三种形式)第十三种形式中，在上述各形式中还包括近似式存储单元、环境推定单元及选择单元。近似式存储单元将用于推定瞳孔颜色的近似式和环境相对应进行存储。这样的近似式是根据第十一种形式所示的统计处理结果所得到的近似式，是预先取得的式子。环境推定单元对本装置工作的环境或输入图像的拍摄环境环境进行推定。环境推定单元可以按照任何基准推定环境。例如，环境推定单元也可以根据本装置上所安装的OS及本装置自身设定的使用语言、时区、地域信息、电话号码等推定环境。另外，环境推定单元也可以根据所拍摄的图像上所附加的信息(例如EXIF、及其他首部信息)推定环境。选择单元，选择与所推定的环境相对应存储在近似式存储单元中的近似式。另外，在第十三种形式中，瞳孔颜色推定单元，根据所确定的皮肤颜色并使用所选择的近似式，来推定上述瞳孔的颜色。
根据经验，人种不同瞳孔颜色也不同。而且，根据经验，环境(国家及地域等)不同，人种的构成也不同。因此，在不同环境中拍摄的图像等中，有可能成为被摄体的人种也不同，使用相同的近似式推定瞳孔颜色可能会导致精度下降。但是，根据第十三种形式，可以对应本装置正在工作的环境，推定合适的瞳孔颜色。由此，可以推定更自然的瞳孔颜色。
(其他)第一至第十三种形式，也可以通过由信息处理装置执行程序来实现。即，使用使信息处理装置执行上述第一至第十三种形式中的各单元执行的处理的程序、或者使用记录有该程序的记录介质，也可以得到上述的作用和效果。另外，使用使信息处理装置执行第一至第十三种形式中的各装置执行的处理的方法，也可以得到上述的作用和效果。另外，第一至第十三种形式也可以装在数码照相机、数字摄像机等摄像装置、数字照片打印机、洗印机及其他图像处理装置中。
根据本发明，可以推定对所输入的图像中的皮肤颜色考虑了色彩对比的瞳孔颜色。因此，即使由于红眼现象、金眼现象等的发生而导致图像丧失了本来的瞳孔颜色，也可以推定本来的瞳孔颜色。


图1是表示瞳孔颜色推定装置的第一实施方式的功能方框图例的图。
图2是表示脸部矩形例子的图。
图3是表示在取得皮肤颜色代表值时确定的区域的例子图。
图4是表示瞳孔颜色推定装置第一实施方式的动作例的流程图。
图5是表示瞳孔颜色推定装置的第二实施方式的功能方框图例的图。
图6是表示瞳孔颜色推定装置的第二实施方式的动作例的流程图。
图7是表示瞳孔颜色推定装置的第三实施方式的功能方框图例的图。
图8是表示瞳孔颜色推定装置第三实施方式的动作例的流程图。
图9是表示瞳孔颜色推定装置的第四实施方式的功能方框图例的图。
图10是表示特征点的设定例的图。
图11是表示伽柏(Gabor)滤波器的例子图。
图12是表示二叉树搜索的例子的图。
图13是表示瞳孔颜色推定装置的第四实施方式的动作例的流程图。
图14是表示瞳孔颜色推定装置的第五实施方式的功能方框图例的图。
图15是表示瞳孔颜色推定装置的第五实施方式的动作例的流程图。
符号说明1a、1b、1c、1d、1e瞳孔颜色推定装置；2存储部；3脸部检测部；4肤色确定部；5a、5d、5e瞳孔颜色推定部；6脸部矩形；7瞳孔检测部；8判断部；9校正部；10人种推定部；11特征提取部；12属性推定部；13环境推定部。
具体实施例方式
下面参照附图对瞳孔颜色推定装置进行说明。对于瞳孔颜色推定装置的以下说明只是例示举个例子，其结构并不限定于以下的说明。
第一实施方式(系统结构)首先对作为瞳孔颜色推定装置的第一实施方式的瞳孔颜色推定装置1a进行说明。瞳孔颜色推定装置1a在硬件方面具有通过总线连接的CPU(中央运算处理装置)、主存储装置(RAMRandom Access Memory随机存取存储器)、及辅助存储装置等。辅助存储装置用不易失性存储装置构成。此处所说的不易失性存储装置是指所谓的ROM(Read-OnlyMemory包括EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasably Programmable Read-Only Memory)、掩模ROM等)、FRAM(Ferroelectrie RAM)、硬盘等。
图1是表示瞳孔颜色推定装置1a的功能方框图例的图。瞳孔颜色推定装置1a将辅助存储装置中所存储的各种程序(OS、应用程序等)加载到主存储装置中，通过CPU执行，发挥作为包括存储部2、脸部检测部3、肤色确定部4、及瞳孔颜色推定部5a等装置的功能。脸部检测部3、肤色确定部4、及瞳孔颜色推定部5a，通过由CPU执行程序来实现。另外，脸部检测部3、肤色确定部4、及瞳孔颜色推定部5a也可以分别以专用芯片来构成。另外，对应于各处理部所实施的处理内容，存在硬件/软件方面的适合或不适合。因此，也可以将它们安装成硬件/软件的混合体。下面对瞳孔颜色推定装置1a具有的各功能部进行说明。
(存储部)存储部2用来存储被输入到瞳孔推定装置1a的图像。存储部2既可以用所谓的RAM构成，也可以用所谓的ROM构成。
输入到存储器2中的图像是指，例如是由未图示的摄像装置所拍摄的图像、从未图示的信息处理装置通过接口传输的图像、及从未图示的记录介质等读出的图像等。
(脸部检测部)脸部检测部3对在存储部2中存储的图像中作为瞳孔颜色推定装置1a的处理对象的图像实施脸部检测处理。脸部检测处理中，脸部检测部3从存储部2读出成为处理对象的图像，从被读出的图像中检测出脸部矩形6。图2是表示脸部矩形例子(脸部矩形6)的图。脸部矩形6是包括被摄人物脸部的矩形。
脸部检测部3当检测出脸部矩形6时，输出脸部矩形信息。脸部矩形信息是指，表示脸部矩形6的大小及位置的信息。例如，脸部矩形信息表示脸部矩形6的宽度和左上角的座标。根据该脸部矩形信息，其他处理部确定处理对象图像中的被摄人物的脸部位置。
脸部检测部3进行的脸部检测处理，例如也可以通过使用与脸部整体轮廓对应的基准模板进行的模板匹配来检测脸部。另外，也可以通过基于脸部的构成要素(眼、鼻、耳等)的模板匹配来检测脸部。另外，也可以通过色度键处理来检测头发的顶点，并根据该顶点来检测脸部。另外，脸部检测部3也可以检测与皮肤颜色相近的区域，将该区域作为脸部检测出来。另外，脸部检测部3也可以使用神经网络，根据教师信号进行学习，以把象是脸部的区域作为脸部进行检测出来。另外，脸部检测部3的脸部检测处理也可以用现有的任何其他方法来实现。
(肤色确定部)肤色确定部4从由脸部检测部3检测出的脸部矩形6的区域，取得被摄人物的皮肤颜色的代表值。以后，将该处理称为肤色确定处理。在肤色处理中，肤色确定部4例如将脸部矩形6中所包含的像素的颜色值的统计值作为代表值取得。更优选的方式是肤色确定部4取得脸部矩形6所包含的像素中的规定像素的颜色值的统计值。
“规定的像素”是指，例如是根据脸部矩形6的脸部矩形信息确定的区域中所包含的像素。作为更具体的例子，例如也可以是根据脸部矩形6的脸部矩形信息按几何学进行确定的区域内的像素。图3是表示这种区域的例子图。在图3中，作为这种区域的例子，确定出以脸部矩形6的宽度的3/4为直径、以脸部矩形6的中心(图3中的“p”)为中心的圆内的区域。
另外，“规定的像素”是指，例如也可以是从脸部矩形6所包含的像素中，排除造成肤色测量噪声的像素之后所剩余的像素。作为这种产生噪声的像素例子，有脸部要素(例如眉毛、眼球、嘴唇、鼻孔)、及皮肤发亮部分等的像素。
另外，“规定的像素”是指，例如也可以是在脸部矩形6所包含的像素中、通过边缘提取等处理所确定的脸部轮廓的内侧所包含的像素。另外，所述“规定的像素”的确定方法也可根据需要进行组合。
然后，肤色确定部4根据规定的像素实施统计处理，取得被摄人物的皮肤颜色的代表值。统计处理也可以是中间值、平均值、最频值等的简单处理。另外，统计处理中还可以通过从直方图例如用36等方法划分范围，进行排除噪声因素的处理。
肤色确定部4在进行肤色统计处理时，也可以利用与所述方法不同的方法来取得被摄人物肤色的代表值。例如，肤色确定部4也可以将脸部矩形6内的特定的像素的颜色值作为代表值来取得。
(瞳孔颜色推定部)瞳孔颜色推定部5a根据由肤色确定部4所取得的肤色代表值，推定该被摄人物的瞳孔颜色。以下将瞳孔颜色推定部5a所推定的瞳孔颜色称为“瞳孔推定色”。瞳孔颜色推定部5a根据RGB各色的变换函数(近似式)取得瞳孔推定色。该近似式表示被摄人物图像中的皮肤颜色、与被认为未发生红眼等异常的图像中的瞳孔颜色间的相关关系。该近似式是作为前处理预先已取得的式子。首先对该近似式的导出法进行说明。
首先，作为取样图像收集多个被认为在瞳孔的图像上未发生红眼及金眼等异常的图像(换句话说是“没有不协调感的图像”、“被认为被摄人物的瞳孔被正常拍摄的图像”)。通过对这些取样图像进行统计处理，得到被摄人物图像中的皮肤颜色、与被认未发生异常的图像中的瞳孔颜色的相关关系。具体来说，首先取得各取样图像中的被摄人物的皮肤颜色的代表值Sn(Srn、Sgn、Sbn)、及该人物的瞳孔的正常颜色的代表值En(Ern、Egn、Ebn)。这些代表值通过与例如由肤色确定部4所实施的统计处理以同样的方法取得。这些代表值可以通过其他任何方法取得。
下面，假定例如各颜色的变换函数可用一次方程式来近似。即，假定通过以下的式子表示各颜色的变换函数。
(数学式1)Ec＝Ac·Sc+Bc其中“c”表示rgb中的任意一个。而“A”、“B”表示系数。前处理中，根据各取样图像中的肤色代表值Sn和瞳孔的正常颜色的代表值En，用最小二乘法决定系数“A”、“B”的值。这样，在前处理中，取得对RGB各颜色的近似式，即，取得用于由皮肤颜色推定瞳孔的正常颜色的三个近似式。
下面，对使用了所述近似式的瞳孔推定色的取得方法进行说明。瞳孔颜色推定部5a将由肤色确定部4所取得的肤色代表值代入预先取得的近似式，推定该被摄体瞳孔的正常颜色(即瞳孔推定色)。
在上述的说明中，说明了在前处理中取得一次方程式的近似式的情况，当然也可以根据一次方程式以外的近似式，实施前处理及瞳孔颜色推定部5a的处理。
(动作例)图4是表示瞳孔颜色推定装置1a的动作例的流程图。使用图4对瞳孔颜色推定装置1a的动作例进行说明。
首先，脸部检测部3从成为处理对象的图像中检测出被摄人物的脸部(S01)。即，从成为处理对象的图像检测出脸部矩形6，取得脸部矩形信息。然后，肤色确定部4根据由脸部检测部3取得的脸部矩形信息，确定肤色代表值(S02)。然后，瞳孔颜色推定部5a使用由肤色确定部4取得的肤色代表值和预先取得的近似式，推定由脸部检测部3所检测出的人物的瞳孔颜色，取得瞳孔推定色(S03)。然后，瞳孔颜色推定部5a输出所推定的瞳孔推定色(S04)。
(作用/效果)瞳孔颜色推定装置1a根据预先取得的近似式，由输入图像的被摄人物的肤色，推定该人物瞳孔的正常颜色，即，在图像中应被表现的瞳孔颜色。因此，即使在输入图像中发生了红眼及金眼等问题，也可以独立于这样的红眼、金眼的瞳孔异常颜色来推定被摄人物的瞳孔的正常颜色。从而，用户可以根据这样被推定的瞳孔推定色，判断对输入图像的瞳孔部分是否应进行校正。即，用户通过对输入图像的瞳孔颜色和瞳孔推定色进行比较，可以很容易地判断对该输入图像的瞳孔部分是否应进行校正。另外，用户可以根据这样被推定的瞳孔推定色，对输入图像的瞳孔部分进行校正，得到没有不协调感的具有正常颜色的瞳孔的图像。
这样的瞳孔颜色推定装置1a，例如也可以在数字照相机/摄像机等摄像装置及具有这样的摄像装置的信息处理装置等中使用。摄像装置等通过使用瞳孔颜色推定装置1a，根据所输出的瞳孔推定色，可以判断在所拍摄的图像中是否发生了红眼及金眼等异常。同样，通过使用瞳孔颜色推定装置1a，可以得到对瞳孔图像应校正的颜色(即瞳孔推定色)。从而，这些摄像装置等也可以对应于该判断进行适当的校正、对用户提出警告、及向用户提示瞳孔推定色。
第二实施方式(系统结构)下面对作为瞳孔颜色推定装置的第二实施方式的瞳孔颜色推定装置1b进行说明。图5是表示瞳孔颜色推定装置1b的功能方框图例的图。瞳孔颜色推定装置1b在还具有瞳孔检测部7及判断部8这一点上与瞳孔颜色推定装置1a不同。下面对瞳孔颜色推定装置1b与瞳孔颜色推定装置1a的不同点进行说明。另外，瞳孔检测部7及判断部8通过CPU执行程序来实现。另外，瞳孔检测部7及判断部8也可以分别以专用芯片构成。另外，各处理部也可以作为硬件/软件的混合体来安装。
(瞳孔检测部)瞳孔检测部7对在存储部2中所存储的图像中的成为瞳孔颜色推定装置1b的处理对象的图像实施瞳孔检测处理。在瞳孔检测处理中，瞳孔检测部7从存储部2中读出成为处理对象的图像中由脸部检测部3检测出的脸部矩形6中的图像，从所读出的图像中检测出瞳孔区域。瞳孔区域是指，包括由脸部检测部3检测出脸部的被摄人物的瞳孔的图像。
瞳孔检测部7进行的瞳孔检测处理，也可以通过使用了与瞳孔形状对应的基准模板进行模板匹配来检测瞳孔。这时，瞳孔检测部7也可以选择与根据由脸部检测部3检测出的脸部矩形6的尺寸所推定的瞳孔直径对应的模板，进行瞳孔检测处理。另外，这时，瞳孔检测部7也可以通过根据检测出的脸部矩形6的位置推定大体的瞳孔位置，限定实施模板匹配的区域。另外，瞳孔检测部7进行的瞳孔检测处理，也可以通过模板匹配以外的任何方法来实现。例如瞳孔检测部7也可以通过对输入图像进行边缘提取后追踪瞳孔的轮廓来检测瞳孔。当瞳孔检测部7通过瞳孔检测处理检测出瞳孔时，输出表示瞳孔区域的信息(以下称为“瞳孔区域信息”)。
(判断部)判断部8根据瞳孔检测部7输出的瞳孔区域信息，确定表示输入图像中的瞳孔的各像素的颜色。即，例如在输入图像中发生了红眼及金眼等异常时，判断部8确定发生了异常的图像中的颜色。
然后，判断部8根据瞳孔区域信息，判断瞳孔区域，对瞳孔区域中所包括的各像素，判断该像素具有的颜色是否是作为瞳孔的正常颜色。具体来说，判断部8通过对输入图像中所确定的颜色、与由瞳孔颜色推定部5a所推定的瞳孔推定色相比较，进行上述判断。
判断部8，例如对瞳孔推定色和瞳孔区域内的各像素的颜色，根据以下的式子取得特征量D。这时，判断部8对瞳孔推定色和瞳孔区域的各像素中的颜色，取得表示红色的程度的特征量D，特别对红眼现象的有无进行判断。
(数学式2)D=rr+g+b]]>判断部8，通过对瞳孔推定色的特征量D、与瞳孔区域内各像素中的颜色的特征量D进行比较，判断各像素的红色程度。然后，当在瞳孔区域内存在大于等于规定比例的具有比瞳孔推定色的特征量D大的特征量D的像素时，判断部8判断在该输入图像中发生了异常(这时是红眼现象)。
另外，判断部8也可以根据其他的定义来取得判断所用的特征量D。例如，判断部8也可以取得用于判断金眼程度的特征量D′来进行比较、判断。
(动作例)图6是表示瞳孔颜色推定装置1b的动作例的流程图。使用图6对瞳孔颜色推定装置1b的动作例进行说明。另外，对于在瞳孔颜色推定装置1b的动作中、与瞳孔颜色推定装置1a相同的处理，标注与图4中的流程图相同的标号，省略其说明。
在瞳孔颜色推定装置1b中，瞳孔推定部5a对瞳孔推定色进行推定后(S03)，瞳孔检测部7对瞳孔区域进行检测(S05)。然后，判断部8根据瞳孔颜色推定部5a所推定的瞳孔推定色、及由瞳孔检测部7所检测出的瞳孔区域内的各像素的颜色，判定输入图像的瞳孔是否发生了红眼及金眼等异常(S06)。然后，判断部8输出判定结果(S07)。另外，也可以在瞳孔颜色推定部5a对瞳孔推定色进行推定的处理(S03)之前，执行瞳孔检测部7检测瞳孔区域的处理(S05)。
(作用/效果)瞳孔颜色推定装置1b，根据基于与瞳孔颜色推定装置1a同样的处理所推定的瞳孔推定色，判断在输入图像的瞳孔图像中是否发生了红眼现象、金眼现象等异常。因此，用户可以对输入图像进行是否发生了红眼现象、金眼现象等异常获得客观的判断。从而，用户对输入图像，例如对被认为发生了异常的图像进行校正时，可以很容易地判断是否应进行校正。同样，用户对输入图像，例如希望在发生了异常时再次取得时，可以很容易地判断是否应该再次取得(例如是否应该再次进行摄像或下载等的处理)。
这样的瞳孔颜色推定装置1b，例如与瞳孔颜色推定装置1a一样，也可以适用于数字照相机/摄像机等摄像装置、及具有这种摄像装置的信息处理装置。通过使用瞳孔颜色推定装置1b，可以判断在所拍摄的图像中是否发生了红眼、金眼等异常，根据该判断还可以进行适当的校正、对用户进行警告。
(变形例)判断部8也可以对被摄人物的左右瞳孔分别实施独立判断，输出对各瞳孔的判定结果。
另外，当在输入图像中检测出多个被摄人物的脸部等时，瞳孔推定装置1b既可以对全体实施判定处理等，也可以只对满足规定条件的被摄人物(例如，脸部矩形6的大小大于等于规定大小的人物、位于图面中央附近的人物、根据脸部认证的结果所判断出的特定的人物)实施判定处理等。
第三实施方式(系统结构)下面对作为瞳孔颜色推定装置的第三实施方式的瞳孔颜色推定装置1c进行说明。图7是表示瞳孔颜色推定装置1c的功能方框图例的图。瞳孔颜色推定装置1c在还具有校正部9这一点上与瞳孔颜色推定装置1b不同。下面对瞳孔颜色推定装置1c与瞳孔颜色推定装置1b的不同点进行说明。另外，校正部9通过由CPU执行程序来实现。另外，校正部9也可以分别以专用芯片构成。另外，各处理部也可以作为硬件/软件的混合体来安装。
(校正部)校正部9根据判断部8的判断结果实施校正处理。即，校正部9通过判断部8判断为在输入图像的瞳孔图像中发生了异常时，实施校正处理。校正部9根据由瞳孔颜色推定部5a所推定的瞳孔推定色，对由瞳孔检测部7所检测出的瞳孔区域内的像素的颜色进行校正。下面对校正部9实施的校正处理的一例进行说明。
校正部9对成为校正对象的像素的颜色，在维持其亮度的状态下置换成瞳孔推定色。此处的校正部9对成为校正对象的像素根据以下的式子取得其亮度Y。
(数学式3)Y＝0.299R+0.587G+0.114B
并且，R、G、B各值设为0至255的整数值。而且，校正部9在维持瞳孔推定色的R、G、B各自的值(即从近似式取得的Er、Eg、Eb的值)的比例的状态下，取得可得到与成为校正对象的像素的亮度Y相同亮度的RGB值(以下设为Nr、Ng、Nb)。校正部9通过将这样得到的Nr、Ng、Nb值赋予成为校正对象的像素实施校正处理。
(动作例)图8是表示瞳孔颜色推定装置1c的动作例的流程图。使用图8对瞳孔颜色推定装置1c的动作例进行说明。并且，对于在瞳孔颜色推定装置1c的动作中、与瞳孔颜色推定装置1b相同的处理，标注与图6中的流程图相同的标号，省略其说明。
在瞳孔颜色推定装置1c中，在判断部8对异常的发生进行了判定之后(S06)，校正部9根据该判定结果判断是否需要进行校正处理。当需要校正处理时(S08中的“是”)，即，由判断部8判断为瞳孔的图像发生了异常时，校正部9实施校正处理(S09)，处理结束。另一方面，在不需要校正处理时(S08中的“否”)，即，由判断部8判断为瞳孔图像未发生异常时，处理结束。
(作用/效果)瞳孔颜色推定装置1c根据基于与瞳孔颜色推定装置1b同样的处理所实施的判断部8进行的判定处理的判断结果，判断是否要对输入图像的瞳孔部分进行校正处理。然后根据该判断结果，实施使用了根据与瞳孔颜色推定装置1a相同的处理所推定的瞳孔推定色的校正处理。因此，对发生了红眼现象、金眼现象等异常的图像，不必麻烦用户就可以将被摄人物的瞳孔的颜色校正成正常的颜色。
另外，用瞳孔颜色推定装置1c实施校正处理时，在维持输入图像的成为校正对象的像素的亮度的状态下，决定基于瞳孔推定色的颜色。即，在维持瞳孔推定色RGB的比例及原来像素的亮度的状态下实施颜色置换。因此，与简单置换成瞳孔推定色的情况不同，可以实施更自然的校正处理。具体来说，不会丧失在瞳孔表面产生光点等自然现象的效果，即可以将眼球的球形、眼球表面的湿润感在校正后的瞳孔图像中自然地表现。从而，可以实现高质量的图像校正。
(变形例)瞳孔颜色推定装置1c也可以省略判断部8。在这种情况下，校正部9独立于判断部8的判断结果实施校正处理。在这种情况下，例如也可以根据用户的判断，实施校正处理。
通过这样的结构，例如即使是在判断部8只对红眼现象进行判断的情况下，也可以对引起了金眼现象的瞳孔、及由于过黑等原因带来不协调感的瞳孔等，实施校正处理。从而，对于判断部8未能判断出的异常也能应付。
另外，判断部8也可以对被摄人物的左右瞳孔分别实施独立判断，校正部9只对需要的瞳孔实施校正处理。通过这样的结构，可以防止对本来不应校正的瞳孔进行校正处理，并可谋求处理的高速化。
另外，当在输入图像中检测出多个被摄人物的脸部等时，瞳孔推定装置1c既可以对全体实施判定处理、校正处理等，也可以只对满足规定条件的被摄人物(例如，脸部矩形6的大小大于等于规定大小的人物、位于图面中央附近的人物、根据认证的结果所判断的特定的人物)进行判定处理、校正处理等。
第四实施方式(系统结构)下面，对作为瞳孔颜色推定装置的第四实施方式的瞳孔颜色推定装置1d进行说明。图9是表示瞳孔颜色推定装置1d的功能方框图例的图。瞳孔颜色推定装置1d，在还具有人种推定部10这一点上与瞳孔颜色推定装置1a不同。另外，瞳孔颜色推定装置1d具有瞳孔颜色推定部5d以代替瞳孔颜色推定部5a这一点，也与瞳孔颜色推定装置1a不同。并且，瞳孔颜色推定部5d及人种推定部10通过由CPU执行程序来实现。另外，瞳孔颜色推定部5d及人种推定部10也可以分别以专用芯片构成。另外，各处理部也可以作为硬件/软件的混合体来安装。
(人种推定部)人种推定部10通过使用图像，对于由脸部检测部3所检测出的脸部，推定是哪一人种的人脸。只要是根据图像推定被摄体的人种的技术，人种推定部10使用哪种技术实现都可以。下面，对人种推定部10可使用的人种推定技术的具体例子进行说明。
人种推定部10对由脸部检测部3所检测出的脸部取得特征量，根据该特征量，通过进行模式识别来推定属性。为了实现这样的处理，人种推定部10包括特征提取部11及属性推定部12。下面对其分别进行的处理进行说明。
((特征提取部))首先，特征提取部11设定由脸部检测部3检测出的脸部中的多个特征点(特征点设定处理)。然后，特征提取部11以由特征点设定处理所设定的特征点为基础，取得各特征点的特征量，作为该被摄体脸部的特征量(特征量取得处理)。下面，对特征点设定处理和特征量取得处理进行说明。
(((特征点设定处理)))在特征点设定处理中，首先，特征提取部11对所检测出的脸部器官进行检测。脸部器官例如是指眼、鼻、鼻孔、嘴(唇)、眉、下颚、前额等。特征提取部11既可以检测任意一个脸部器官，也可以检测多个器官。例如特征提取部11检测被摄体的脸部的双眼和嘴。
然后，特征提取部11将所检测出的脸部的图像变换成灰度图像。另外，特征提取部11根据检测出的脸部器官的位置关系，对检测出的脸部图像实施角度标准化及尺寸标准化。将这些处理统称为前处理。另外，将图像变换成灰度的处理，可以在脸部检测部3的处理、特征点设定处理中的任何时刻执行。
然后，特征提取部11根据所检测出的脸部器官(以下称“注视点”，例如表示双眼及嘴的点)的位置，设定多个特征点的位置。特征提取部11离注视点越近设定的特征点越密，离注视点越远设定的特征点越疏。
图10(a)是表示由脸部检测部3所检测出的被摄体的脸部的图。图10(b)是表示通过特征点设定处理所设定的多个特征点的例子的图。在图10(b)中，涂黑的圆表示注视点，斜线的圆表示根据注视点而设定的特征点。在以下说明的特征点取得处理中，也可以将注视点作为特征点进行处理。
这样的特征点设定处理，例如可以通过使用以下论文中记载的视网膜(Retina)取样来实现。
F.Smeraldiand J.Bigun，“Facial features detection by saccadicexploration of the Gabor decomposition”，International Conferenceon lmage Processing，ICIP-98，Chicago，October 4-7，volume 3，pages163-167，1998.
(((特征量取得处理)))在特征量取得处理中，特征提取部11对由特征点设定处理所设定的各特征点，叠入伽柏滤波器。即，特征提取部11对各特征点实施伽柏子波变换(Gabor Wavelets TransformationGWT)。图11是在特征量取得处理中所使用的伽柏滤波器的例子(实部)。特征提取部11通过叠入图11中所示的改变分辨率和方位的多个伽柏滤波器，取得特征点周边的浓淡特征的周期性和方向性作为特征量。
数学式4是表示伽柏滤波器的式子。在伽柏滤波器的使用中，通过变更式中的k和θ的值，可以从浓淡特征中取得任意的周期性和方向性作为特征量。
(数学式4)ψk,θ(x,y)=k2σ2exp[-k2(x2+y2)2σ2]·]]>{exp[ik(xcosθ+ysinθ)]-exp(-σ22)}]]>特征提取部11将由特征量取得处理所得到的各特征点的特征量，输出给属性推定部12。并且，特征提取部11也可以对由脸部检测部3所检测出的脸部中、满足规定条件的所有脸部进行处理。规定条件例如是指大于等于规定大小的脸部、规定位置(例如图像中央区域)、规定方向(例如面向正面)的脸部等的条件。
((属性推定部))
属性推定部12根据从特征提取部11接收的各特征点的特征量，推定由脸部检测部3所检测出的被摄体的属性信息。属性信息是有关该人的信息，例如包括人种、年代、性别等项目。属性推定部12通过对预先学习处理结束的模式识别的识别器输入各特征点的特征量，推定被摄体的属性信息。属性推定部12使用支持向量机(Support VectorMachineSVM)作为模式识别的识别器进行处理。下面以推定属性信息中的人种的情况为例，对支持向量机进行说明。
支持向量机是将通过属于两个类(calss)的学习数据的正中间的超平面作为识别交界面，进行模式识别的方法。支持向量机中的识别器，通过使用数学式5中所示的识别函数，推定所输入的数据(此处为所有特征点的特征量)属于两个类的任意一类。
(数学式5)f(x)=ΣI-1lαiyiK(x,xi)+b]]>在数学式5中，1表示通过学习处理所分选的学习数据的个数，即，在属性推定部12进行的属性推定处理中所用的学习数据的个数。ai表示拉格朗日乘数。xi、yi表示学习数据。yi具有“-1”或“1”中任意一个，xi表示属于两个类的任意一类。b是偏置项，即表示参数。通过学习处理决定这些值，属性推定部12存储该学习处理的结果。
另外，在数学式5中，K表示核函数。已经提出了使用核函数来对输入数据进行更高维非线性摄像的支持向量机的非线性扩张，这样，可以对更实际问题构建有效的识别器。这种核函数的代表性函数有多项式核函数(参照数学式6)、及高斯核函数(参照数学式7)等。在属性推定部12中，可以使用任何核函数都可以。
(数学式)6K(x，xi)＝(xT·xi+1)p
(数学式)7K(x,xi)=exp(-||x-xi||2σ2)]]>支持向量机是构成用于识别两个类的识别器的学习方法，为了识别(推定)多种(大于等于三种)人种，需要组合多个支持向量机。属性推定部12通过利用二叉树搜索，实现使用了支持向量机的多聚类。图12是表示在属性推定部12中的人种推定处理中所使用的二叉树搜索的例子的图。在此，以推定被摄体的人种是否为白种人、黑种人、黄种人中的任意一种的处理为例进行说明。也可以根据设计还包括其他人种作为候补。
属性推定部12，首先利用支持向量机，对被摄体的人物是否为黑种人进行推定。然后，当推定被摄体的人物不是黑种人时，属性推定部12推定被摄体的人物是否是黄种人(或是否是白种人)。属性推定部12对人种以外的属性信息项目，即年代及性别也同样通过进行二叉树搜索，进行各项目的推定处理。然后，属性推定部12将所推定的属性信息输出给瞳孔颜色推定部5d。
(瞳孔颜色推定部)瞳孔颜色推定部5d根据由肤色确定部4所取得的肤色代表值及由人种推定部10所取得的属性信息，推定该被摄人物的瞳孔颜色。下面，对瞳孔颜色推定部5d进行的处理具体进行说明。
首先，预先得到与各人种相对应的近似式(相当于数学式1)。具体来说，作为各取样图像，准备包括各人种的被摄体的取样图像，得到与各人种分别对应的近似式。然后，由瞳孔颜色推定部5d将与各人种对应的近似式进行存储。在推定被摄体的瞳孔颜色时，瞳孔颜色推定部5d，首先根据人种推定部10的推定结果，选择一个近似式。然后，瞳孔颜色推定部5d，使用所选择的近似式，根据肤色确定部4的输出，推定被摄体的瞳孔颜色。这时的处理与瞳孔颜色推定部5a的处理相同。
(动作例)
图13是表示瞳孔颜色推定装置1d的动作例的流程图。使用图13对瞳孔颜色推定装置1d的动作例进行说明。另外，对于瞳孔颜色推定装置1d的动作中、与瞳孔颜色推定装置1a相同的处理，标注与图4中的流程图相同的标号，省略其说明。
在瞳孔颜色推定部1d中，在肤色确定部4确定皮肤颜色之后(S02)，人种推定部10推定被摄体的人种(S10)。然后，瞳孔颜色推定部5d根据所确定的肤色及所推定的人种，选择在处理中使用的近似式(S11)。瞳孔颜色推定部5d通过使用所选择的近似式，推定对应人种的被摄体本来的瞳孔颜色(S12)。然后，瞳孔颜色推定部5d输出作为推定结果的瞳孔推定色，处理结束(S04)。
(作用/效果)在瞳孔颜色推定装置1a中使用的近似式，依赖于预先得到该近似式时所使用的取样图像组的内容。从而，当该取样图像组例如是包括很多日本人的图像组时，可得到作为适合于日本人的式子的近似式。因此，当将这种近似式直接应用于欧美人的图像时，就存在所得到的瞳孔推定色是蓝色少而太黑的不合适的颜色的问题。针对这一问题，在瞳孔颜色推定装置1d中，人种推定部10推定被摄体的人种，瞳孔颜色推定部5d选择与作为该推定结果的人种对应使用的近似式。从而，在通过瞳孔颜色推定部5d推定被摄体的瞳孔颜色时，可以得到与被摄体人种对应的适当的瞳孔颜色作为推定结果。
(变形例)瞳孔颜色推定装置1d也可以象瞳孔颜色推定装置1b那样，还具有瞳孔检测部7及判断部8。另外，瞳孔颜色推定装置1d也可以象瞳孔颜色推定装置1c那样，还具有校正部9。
另外，在瞳孔颜色推定部1d中，用于推定瞳孔颜色的近似式是通过瞳孔颜色推定部5d来执行选择的，但是也可以通过人种推定部10执行该选择。
第五实施方式(系统结构)
下面，对作为瞳孔颜色推定装置的第五实施方式的瞳孔颜色推定装置1e进行说明。图14是表示瞳孔颜色推定装置1e的功能方框图例的图。瞳孔颜色推定装置1e，在还具有环境推定部13这一点上与瞳孔颜色推定装置1a不同。另外，瞳孔颜色推定装置1e在具有瞳孔颜色推定部5e用以代替瞳孔颜色推定部5a这一点，也与瞳孔颜色推定装置1a不同。另外，瞳孔颜色推定部5e及环境推定部13通过由CPU执行程序来实现。另外，瞳孔颜色推定部5e及环境推定部13也可以分别以专用芯片构成。另外，各处理部也可以作为硬件/软件的混合体来安装。
(环境推定部)环境推定部13用于推定瞳孔颜色推定装置1e所设置的环境及正在工作的环境(环境推定处理)。而且，环境推定部13根据推定结果，得到在瞳孔颜色推定部5e中所使用的近似式(近似式取得处理)。下面，对环境推定处理及近似式取得处理进行说明。
((环境推定处理))在环境推定处理中，环境推定部13按照规定的基准，推定瞳孔颜色推定装置1e所设置的环境及正在工作的环境。例如，环境推定部13也可以以OS(Operating System操作系统)中所设定的地域信息及维修信息的电话号码指定等为基准推定环境。另外，环境推定部13也可以以OS及机器主体中所设定的时区为基准推定环境。另外，环境推定部13也可以以OS及机器主体中所设定的使用语言为基准推定环境。
((近似式取得处理))在近似式取得处理中，环境推定部13根据环境推定处理的推定结果，取得在瞳孔颜色推定部5e中使用的近似式。环境推定部13预先存储有多个近似式。该多个近似式分别与环境对应进行存储。即，对于由环境推定处理所推定的环境，在近似式取得处理中取得一个近似式。
环境推定部13存储的各近似式是与数学式1同样的近似式，是预先对应于各环境算出的。例如，对应于黄种人为70％、白种人为20％、黑种人为10％的人种构成比的环境的近似式如下求出。首先，准备对应于人种构成比的取样图像。当总共使用1000张取样图像时，准备700张黄种人的图像、200张白种人的图像、100张黑种人的图像。这时准备的图像都是具有正常瞳孔图像的图像。然后，对于全部取样图像将皮肤颜色和瞳孔颜色的值按RGB各颜色分别作成图表，利用最小二乘法，取得RGB各颜色的对应于数学式1的近似式。换句话说，根据与各环境对应的人种构成比，通过作成取样组，取得对应于各环境的近似式。
(瞳孔颜色推定部)瞳孔颜色推定部5e使用由环境推定部13所取得的近似式推定瞳孔颜色。这时的具体的处理，除了使用由环境推定部13所取得的近似式这一点之外，与瞳孔颜色推定部5a的处理相同。
(动作例)图15是表示瞳孔颜色推定装置1e的动作例的流程图。使用图15对瞳孔颜色推定装置1e的动作例进行说明。另外，对于瞳孔颜色推定装置1e的动作中、与瞳孔颜色推定装置1a相同的处理，标注与图4中的流程图相同的标号，省略其说明。
在瞳孔颜色推定装置1e中，在肤色确定部4确定肤色之后(S02)，环境推定部13通过实施环境推定处理，推定环境(S13)。然后，环境推定部13再通过实施近似式取得处理，取得近似式(S14)。然后，瞳孔颜色推定部5e使用由近似式取得处理所得到的近似式，推定瞳孔推定色(S15)，并输出该颜色(S04)。
(作用/效果)根据瞳孔颜色推定装置5e，不是对被摄体的人种进行推定处理，而是通过推定瞳孔颜色推定装置1e所设置的环境及正在工作的环境，取得适合该环境的近似式。因此，虽然具体的处理不同，但是可以得到与瞳孔颜色推定装置1d同样的效果。即，例如，瞳孔颜色推定装置1e在日本工作时等，使用根据日本人种构成比算出的近似式，推定瞳孔颜色。另一方面，瞳孔颜色推定装置1e在白种人多的国家工作时等，使用根据该人种构成比算出的近似式，推定瞳孔颜色。从而，可得到对应于被摄体人种的合适的瞳孔推定色。这时，与瞳孔颜色推定装置1d不同，由于不需要被摄体的人种推定这一复杂处理，所以用瞳孔颜色推定装置1e可以谋求处理的高速化、降低成本、装置小型化等。
(变形例)瞳孔颜色推定装置1e也可以构成为象瞳孔颜色推定装置1b那样，还具有瞳孔检测部7及判断部8。另外，瞳孔颜色推定装置1e也可以构成为象瞳孔颜色推定装置1c那样，还具有校正部9。
另外，在瞳孔颜色推定装置1e中，近似式取得处理也可以由瞳孔颜色推定部5e来执行。
另外，瞳孔颜色推定装置1a～1e也可以通过安装在数字照相机、数字照片打印机及洗印机等上，在进行瞳孔颜色图像校正时使用。
另外，环境推定部13也可以根据在所输入图像上附加的信息(例如EXIF、其他首部信息等)，推定所输入的图像的拍摄环境。
权利要求
1.一种瞳孔颜色推定装置，其特征在于，包括肤色确定单元，用于确定所输入的图像中的被摄人物的皮肤颜色；以及瞳孔颜色推定单元，根据由上述肤色确定单元所确定的皮肤颜色，推定在上述图像中应表现的该人物的瞳孔颜色。
2.一种瞳孔颜色推定装置，其特征在于，包括脸部检测单元，用于检测所输入的图像中的包含被摄人物脸部的一部分或全部的脸部区域；肤色确定单元，根据由上述脸部检测单元检测出的脸部区域中所包含的像素的颜色，确定该人物的皮肤颜色；以及瞳孔颜色推定单元，根据由上述肤色确定单元所确定的皮肤颜色，推定在上述图像中应表现的该人物的瞳孔颜色。
3.如权利要求2所述的瞳孔颜色推定装置，其特征在于，还包括瞳孔检测单元，用于检测由上述脸部检测单元检测出的脸部区域中包含该人物的瞳孔的一部分或全部的瞳孔区域；以及判断单元，通过对上述瞳孔颜色推定单元所推定的瞳孔颜色，与从上述瞳孔检测单元检测出的瞳孔区域确定的颜色进行比较，判断在上述图像中的该人物的瞳孔颜色是否发生了异常。
4.如权利要求3所述的瞳孔颜色推定装置，其特征在于上述判断单元通过对由上述瞳孔颜色推定单元所推定的瞳孔颜色中的红色，与从上述瞳孔检测单元检测出的瞳孔区域所确定的颜色中的红色进行比较，判断上述图像中该人物瞳孔部分是否变成了红眼。
5.如权利要求2所述的瞳孔颜色推定装置，其特征在于，还包括瞳孔检测单元，用于检测由上述脸部检测单元检测出的脸部区域中包含该人物的瞳孔的一部分或全部的瞳孔区域；以及校正单元，根据由上述瞳孔颜色推定单元所推定的瞳孔颜色，对由上述瞳孔检测单元检测出的瞳孔区域，进行瞳孔颜色的校正。
6.如权利要求3所述的瞳孔颜色推定装置，其特征在于，还包括校正单元，当通过上述判断单元判断为瞳孔颜色发生了异常时，根据由上述瞳孔颜色推定单元所推定的瞳孔颜色，对由上述瞳孔检测单元检测出的瞳孔区域，进行瞳孔颜色的校正。
7.如权利要求5所述的瞳孔颜色推定装置，其特征在于对于由上述瞳孔检测单元检测出的瞳孔区域的像素，上述校正单元维持该像素的亮度进行校正。
8.如权利要求2所述的瞳孔颜色推定装置，其特征在于瞳孔颜色推定单元还根据皮肤颜色与瞳孔颜色的相关关系，推定瞳孔的颜色，其中该皮肤颜色与瞳孔颜色的相关关系是根据包含被认定为瞳孔部分未发生异常的被摄人物的图像所得到的皮肤颜色和瞳孔颜色的统计处理结果得到的。
9.一种程序，其特征在于，该程序使信息处理装置执行下列步骤确定所输入的图像中被摄人物的皮肤颜色的步骤；以及根据由上述确定步骤中所确定的皮肤颜色，推定该人物瞳孔颜色的步骤。
10.一种程序，其特征在于，该程序使信息处理装置执行下列步骤检测所输入的图像中被摄人物的脸部区域的步骤；根据上述检测步骤中检测出的脸部区域中所包含的像素的颜色，确定该人物的皮肤颜色的步骤；以及根据上述确定步骤中所确定的皮肤颜色，推定该人物的瞳孔颜色的步骤。
11.一种瞳孔颜色推定方法，其特征在于，包括信息处理装置确定所输入的图像中被摄人物的皮肤颜色的步骤；以及信息处理装置根据在上述确定步骤中所确定的皮肤颜色，推定该人物的瞳孔颜色。
12.一种瞳孔颜色推定方法，其特征在于，包括信息处理装置检测所输入的图像中被摄人物的脸部区域的步骤；信息处理装置根据上述检测步骤中检测出的脸部区域中所包含的像素的颜色，确定该人物的皮肤颜色的步骤；以及信息处理装置根据在上述确定步骤中所确定的皮肤颜色，推定该人物的瞳孔颜色的步骤。
13.如权利要求2所述的瞳孔颜色推定装置，其特征在于，还包括近似式存储单元，将推定瞳孔颜色所使用的近似式和人种相对应进行存储；人种推定单元，对上述被摄人物的人种进行推定；以及选择单元，选择与所推定的人种相对应地存储在上述近似式存储单元中的上述近似式，上述瞳孔推定单元，通过使用上述近似式，根据上述确定的皮肤颜色，推定上述瞳孔的颜色。
14.如权利要求2所述的瞳孔颜色推定装置，其特征在于，还包括近似式存储单元，将推定瞳孔颜色所使用的近似式和环境相对应进行存储；环境推定单元，用于推定本单元工作的环境或拍摄上述输入的图像的环境；以及选择单元，选择与所推定的环境相对应地存储在上述近似式存储单元中的上述近似式，上述瞳孔颜色推定单元，根据上述确定的皮肤颜色并使用上述近似式，推定上述瞳孔的颜色。
15.一种摄像装置，其特征在于，包括摄像单元，对图像进行拍摄；脸部检测单元，检测在所拍摄的图像中的包含被摄人物脸部的一部分或全部的脸部区域；肤色确定单元，根据由上述脸部检测单元检测出的脸部区域中所包含的像素的颜色，确定该人物的皮肤颜色；瞳孔颜色推定单元，根据由上述肤色确定单元所确定的皮肤颜色，推定在上述图像中应表现的该人物的瞳孔颜色；瞳孔检测单元，检测由上述脸部检测单元检测出的脸部区域中包含该人物的瞳孔一部分或全部的瞳孔区域；以及校正单元，根据由上述瞳孔颜色推定单元所推定的瞳孔颜色，对由上述瞳孔检测单元检测出的瞳孔区域，进行瞳孔颜色校正。
16.一种数字照片打印机，其特征在于，包括图像输入单元，对图像进行输入；脸部检测单元，对所输入的图像中包含被摄人物的脸部一部分或全部的脸部区域进行检测；肤色确定单元，根据由上述脸部检测单元检测出的脸部区域中所包含的像素的颜色，确定该人物的皮肤颜色；瞳孔颜色推定单元，根据由上述肤色确定单元所确定的皮肤颜色，推定在上述图像中应表现的该人物的瞳孔颜色；瞳孔检测单元，检测由上述脸部检测单元检测出的脸部区域中包含该人物瞳孔一部分或全部的瞳孔区域；以及校正单元，根据由上述瞳孔颜色推定单元所推定的瞳孔颜色，对由上述瞳孔检测单元检测出的瞳孔区域，进行瞳孔颜色校正。
全文摘要
本发明提供一种瞳孔颜色推定装置，根据图像推定发生了红眼现象、金眼现象等异常的图像中的被摄人物的本来瞳孔颜色。而且，通过根据图像推定本来瞳孔颜色，判断是否需要进行图像校正，在图像校正中生成自然的瞳孔图像。无论是否发生了红眼现象、金眼现象等异常，都根据输入图像确定被摄人物的皮肤颜色，通过将该皮肤颜色代入基于预先实施的统计结果所得到的近似式中，根据被摄人物的皮肤颜色推定正常的瞳孔的颜色成分。
文档编号G06T7/40GK1614991SQ20041009253
公开日2005年5月11日 申请日期2004年11月5日 优先权日2003年11月5日
发明者垣内崇, 千贺正敬, 细井圣, 松冈美希 申请人:欧姆龙株式会社