图像处理装置以及图像显示装置的制作方法

本发明涉及在摄像部的摄像方向和显示部的显示方向一致的情况下生成适合的图像的图像处理装置、以及具备该图像处理装置的图像显示装置。

背景技术：

在移动电话、平板终端、笔记本PC、电视机等的各种显示器中，存在将摄像部的摄像方向和显示部的显示方向朝向同一方向配置，将自己的脸部作为被摄体进行摄像的方法。

该方法的代表性的应用存在以下两种。一种是通过使摄像的图像左右反转进行镜像显示从而能够进行需要确认自己的脸部的化妆等作业的镜像功能。另一种是通过在远程地点的对方保有的显示器显示摄像图像从而能够进行与远程地点的对方的对话的视频聊天或TV会议功能。

在镜像功能中在显示部显示自己的脸部，在视频聊天中在显示部显示对方的脸部，所以使用者使脸部朝向显示部而不是摄像部。因为被摄像的被摄体的脸部的朝向与摄像部的摄像方向不一致，所以被摄像的被摄体没有朝向正面，在摄像部相对于显示器配置在上侧的情况下在显示部显示朝下的脸部，在摄像部相对于显示器配置在下侧的情况下在显示部显示朝上的脸部，在摄像部相对于显示器设置在左右任一方的情况下在显示部显示侧向的脸部。作为变更该被摄体的脸部朝向的方法，例如，在下述专利文献1中公开了如下方法：基于成为被摄体的人物的二维脸部照片，准确地生成该人物的三维肖像。

现有技术文献

专利文献

专利文献1：JP特开2013-97588号公报

技术实现要素：

发明要解决的课题

但是，在专利文献1所记载的方法中，在调整了二维脸部照片的朝向的基础上生成头部三维模型，在二维脸部照片的朝向与调整后的朝向为不同的值的情况下，难以生成适合的图像。例如，若在调整后的朝向小于二维脸部照片的朝向的情况下，生成图像中的被摄体的眼与鼻之间的长度缩小，或者在调整后的朝向大于二维脸部照片的朝向的情况下，生成图像中的被摄体的眼与鼻之间的长度伸长，则难以生成接近实际脸部的适合的任意的脸部朝向图像。

本发明鉴于上述课题而发明，目的是提供一种在摄像部的摄像方向和显示部的显示方向一致的情况下生成适合的图像的图像处理装置。

用于解决课题的手段

根据本发明的一观点，提供一种图像处理装置，其特征在于具备：脸部器官信息检测部，其从所输入的图像中检测被摄体的脸部器官的位置即脸部器官信息；脸部朝向信息计算部，其根据所述脸部器官信息来计算所述被摄体的脸部朝向信息；和任意脸部朝向图像生成部，其根据所述脸部器官信息和所述脸部朝向信息来生成变更了所述被摄体的脸部朝向的图像，所述任意脸部朝向图像生成部在根据所述脸部朝向信息判断为脸部倾斜的情况下，基于所述被摄体的正面脸部上的脸部器官配置即正面脸部器官信息对所述脸部朝向信息实施了补正后，生成任意的脸部朝向的图像。

在本发明中，在脸部朝向信息不准确的情况下，使用预先设定的被摄体的正面脸部上的眼、鼻等脸部器官的位置、和根据脸部朝向信息所计算出的正面脸部上的脸部器官的位置，补正脸部朝向信息的偏差之后，生成任意的脸部朝向图像。

本说明书包括作为本申请优先权基础的日本国特许申请2014-118024号的说明书以及/或者附图所记载的内容。

发明效果

根据本发明，在摄像部的摄像方向和显示部的显示方向一致的情况下，能够考虑被摄体的脸部朝向和正面脸部上的脸部器官的配置来生成任意的脸部朝向图像，能够生成适合的图像。

附图说明

图1A是表示具备本发明的第1实施方式的图像处理装置的带摄像部的图像显示装置的一构成例的功能模块图。

图1B是表示本实施方式的任意脸部朝向图像生成部的一构成例的功能模块图。

图2是说明由脸部器官信息部检测的脸部器官信息的图。

图3是说明表示被摄体的脸部朝向的轴的图。

图4是说明被摄体相对于轴的脸部朝向的图。

图5是说明脸部相对于x轴、y轴、z轴的倾斜度的计算方法的图。

图6是表示本发明的第1实施方式中的图像处理流程的流程图。

图7是说明使用了特征点和目标点的坐标变换的图。

图8是说明按脸部器官调整了特征点与目标点的位置的示例的图。

图9是说明正面脸部器官信息的图。

图10是说明变更脸部器官的位置的方法的图。

图11是表示具备本发明的第3实施方式的图像处理装置的带摄像部的图像显示装置的一构成例的功能模块图。

图12是表示本发明的第3实施方式中的图像处理流程的流程图。

具体实施方式

以下，参照附图来说明本发明的实施方式。另外，附图表示根据本发明的原理的具体实施方式和安装例，但是它们是用于理解本发明的，绝不是用于限定性地解释本发明。此外，对于各图中的构成，夸张地进行了记载使得易于理解，与实际的间隔、大小不同。

以下，对于例如在移动电话、平板、笔记本PC、电视机等各种图像显示装置中，能够将摄像部的摄像方向和显示部的显示方向朝向同一方向配置，将自己的脸部作为被摄体进行摄像的图像处理的示例进行说明。

<第1实施方式>

图1A是表示本发明的第1实施方式的图像处理装置101和具备图像处理装置101的带摄像部的图像显示装置102的一构成例的功能模块图，是表示如下的装置例的图：利用摄像部103对被摄体进行摄像，根据所摄像的图像生成适合的图像，将生成图像显示于显示部104。

以下，参照图1A来详细地说明本发明的第1实施方式的系统构成例以及动作例的详细情况。

如图1A所示，本实施方式的图像显示装置102具备摄像部103、显示部104、存储部105、图像处理装置101和输入输出部106。

摄像部103具备摄像透镜以及CCD(Charge Coupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等摄像元件，能够摄像被摄体的静止图像、运动图像。

显示部104是LCD(Liquid Crystal Display：液晶显示器)、有机EL(Electro Luminescence)显示器等的显示画面，显示图像、文字等信息、被摄体图像等。

图像处理装置101能够由例如CPU(Central Processing Unit：中央处理装置)、GPU(Graphic Processing Unit：图像用处理装置)等构成，从摄像部103、存储部105、输入输出部106等取得图像进行处理，并向显示部104、存储部105等输出处理后的图像。

此外，图像处理装置101例如具备脸部器官信息检测部107、脸部朝向信息计算部108、任意脸部朝向图像生成部109和显示控制部110。

脸部器官信息检测部107从输入到图像处理装置101的图像中检测脸部器官信息即被摄体的脸部器官的位置。

脸部朝向信息计算部108基于由脸部器官信息检测部107检测出的脸部器官信息，计算被摄体的脸部朝向信息。

任意脸部朝向图像生成部109在基于由脸部朝向信息计算部108计算出的脸部朝向信息而判断为被摄体的脸部朝向不是例如正面方向等规定方向的情况下，使用由脸部器官信息检测部107检测出的脸部器官信息、由脸部朝向信息计算部108计算出的脸部朝向信息、和表示正面脸部上的被摄体的脸部器官配置的正面脸部器官信息，来生成将被摄体的脸部朝向变更为任意脸部朝向的图像。另外，正面脸部器官信息是预先生成的信息，详细情况后述。

显示控制部110进行在显示部104显示由任意脸部朝向图像生成部109所生成的图像的控制。

存储部105例如是闪速存储器、硬盘，存储图像和正面脸部器官信息等，或者保存设备固有的数据。

输入输出部106是按键、麦克风、扬声器等声音输入输出装置等，将用户的命令、声音、所指定的目标脸部朝向等输入到图像处理装置101或者输出声音。

以上是表示第1实施方式的系统构成例的图。

接下来，使用图2至图9详细地说明第1实施方式中的图像显示装置102的动作。首先，使用图2详细地说明脸部器官信息检测的动作。图2是说明由脸部器官信息检测部107检测的脸部器官信息的图。

图3是说明表示被摄体的脸部朝向的轴的图，图4是说明相对于三维坐标的各轴的被摄体的脸部朝向的图，图5是说明脸部相对于x轴、y轴、z轴的倾斜度的计算方法的图。图6是表示本实施方式中的图像处理的流程的流程图。

首先，开始处理(开始)，在步骤S1中，图像处理装置101取得由摄像部103摄像的图像，在步骤S2中，脸部器官信息检测部107从图像中提取被摄体的脸部器官信息。这里，所谓脸部器官信息，是指被摄体的眼、鼻、口等脸部的构成要素的位置。在图2中，用坐标201表示作为脸部器官信息之一的被摄体H的左眼中心的位置。这里，将被摄体H的左眼设为映在图像左侧的眼即对于被摄体H而言的右眼。在将图像的横向设为x轴202、将纵向设为y轴203、将图像的左上坐标设为原点204(x，y)＝(0，0)时，表示左眼中心的位置的坐标201，是成为(x，y)＝(x轴分量205，y轴分量206)的位置。同样地，用坐标207表示被摄体H的左眼内眼角的位置，用坐标208表示左眼外眼角的位置，用坐标209表示右眼中心的位置，用坐标210表示右眼内眼角的位置，用坐标211表示右眼外眼角的位置，用坐标212表示鼻中心的位置，而且用坐标213表示口中心的位置。这里，对脸部器官信息作为眼6点、鼻1点、口1点来进行了说明，但是若进而像鼻左端、鼻右端、口左端、口右端等针对构成脸部的眼、鼻、口等一个要素分配多个点，则能够精细地设定脸部器官的变形程度，能够生成无不适感的图像，所以优选。

从图像中检测脸部器官信息的方法，例如已知利用了模板的模式匹配的方法、从许多脸部器官图像和脸部器官以外的图像(非脸部器官)的学习样本中统计性地求取识别函数来检测脸部器官信息的方法(P.Viola and M.Jones，“Rapid object detection using a boosting cascade of simple features”，Proc.IEEE Conf.CVPR，pp.511-518，2001)，通过使用上述的方法能够实现。通过以上，进行脸部器官信息的检测。

接下来，在步骤S3中，脸部朝向信息计算部108使用脸部器官信息来计算被摄体的脸部朝向信息。参照图3～图5来说明脸部朝向信息计算部108的动作。

在脸部朝向信息计算部108中，使用脸部器官信息来计算被摄体的脸部朝向。用相对于图3所示的x轴301、y轴302、z轴303的倾斜度来表示被摄体的脸部朝向。x轴301是从被摄体的脸部的左端通过右端的水平的轴，y轴302是从被摄体的脸部的下端向上端的垂直方向的轴，z轴303是从被摄体的脸部的前面通过背面的轴。

接下来，使用图4来说明脸部相对于各轴的倾斜度与脸部朝向的关系。如图4(a)、(b)所示，若从上方观察被摄体H，则在脸部相对于x轴的倾斜度401(θ1)为正值的情况下即(a)，表示脸部的朝向为右方向即对于被摄体而言的左方向，在脸部的倾斜度402(θ1)为负值的情况下即(b)，表示脸部的朝向为左方向即对于被摄体而言的右方向。

如图4(c)、(d)所示，若从侧方观察被摄体H，则在脸部相对于y轴的倾斜度403(θ2)为正值的情况下即(c)，表示脸部朝向为上方向，在脸部的倾斜度404(θ2)为负值的情况下即(d)，表示脸部朝向为下方向。

如图4(e)、(f)所示，若从侧方观察被摄体H，则在脸部相对于z轴的倾斜度405(θ3)为正值的情况下，表示脸部的倾斜度沿顺时针方向倾斜，在脸部的倾斜度406(θ3)为负值的情况下，表示脸部的倾斜度沿逆时针方向倾斜。在脸部相对于x轴的倾斜度和脸部相对于y轴的倾斜度为0时，表示被摄体朝向正面。

接下来，使用图5来说明脸部相对于x轴、y轴、z轴的倾斜度的计算方法。适当，参照图4。例如，根据左右眼的长度之比，来计算脸部相对于x轴的倾斜度。将左右眼的长度分别设为内眼角的位置与外眼角的位置的长度。虽然未图示，但是例如，若将点A的坐标设为(x1，y1)，将点B的坐标设为(x2，y2)，则点A与点B间的长度L，能够作为点A与点B间的欧氏距离通过式(1)来计算。

使用式(1)，根据左眼的内眼角的位置的坐标和左眼的外眼角的位置的坐标，来计算左眼的长度501(L1)。同样地，使用式(1)，根据右眼的内眼角的位置的坐标和右眼的外眼角的位置的坐标，来计算右眼的长度502(L2)(图5(a))。接下来，使用式(2)计算左右眼的长度之比C1。

这里，将左眼的长度设为L1，将右眼的长度设为L2。根据左右眼的长度之比C1，使用式(3)计算被摄体的脸部相对于x轴的倾斜度θ1。

θ1＝90(1-C1) (3)

通过以上处理，计算被摄体的脸部相对于x轴的倾斜度θ1。

如图5(b)所示，根据被摄体的眼和鼻之间的长度503与瞳孔问的长度504之比、和脸部相对于x轴的倾斜度θ1，来计算脸部相对于y轴的倾斜度。对于被摄体的瞳孔间的长度504，使用式(1)来计算被摄体的左眼中心的位置坐标505与右眼中心的位置坐标506的长度。此时，由于被摄体的脸部相对于x轴的倾斜度θ1越大，则瞳孔问的长度被计算得越短，所以为了计算被摄体的正面脸部上的瞳孔问的长度，使用式(4)来补正瞳孔间的长度。

这里，将补正前的瞳孔间的长度设为L3，将补正后的瞳孔间的长度设为L3’。根据被摄体的左眼中心与右眼中心的中间点的位置坐标507、和鼻的位置坐标，使用式508来计算被摄体的眼和鼻之间的长度503。使用式(5)来计算被摄体的眼和鼻之间的长度L4与补正后的瞳孔间的长度L3’之比C2。

根据被摄体的眼和鼻之间的长度L4与补正后的瞳孔间的长度L3’之比C2，使用式(6)来计算被摄体的脸部相对于y轴的倾斜度θ2。

θ2＝90(K1-C2) (6)

这里，将K1设为正面脸部上的眼和鼻之问的长度与瞳孔间的长度之比。该K1，可以事先拍摄多人的正面脸部，使用根据这些正面脸部而计算出的眼和鼻之间的长度与瞳孔间的长度之比的平均值或中间值，也可以事先拍摄被摄体的正面脸部，设定由此计算出的比。通过以上的处理，计算被摄体的脸部相对于y轴的倾斜度θ2。

如图5(c)所示，根据瞳孔间的长度504以及左眼和右眼之间的纵向偏差509，计算被摄体的脸部相对于z轴的倾斜度。左眼和右眼之间的纵向偏差509，用左眼的位置坐标510和右眼的位置坐标511的y坐标之差的绝对值表示。用式(7)计算被摄体的脸部相对于Z轴的倾斜度θ3。

这里，将左眼的位置坐标510和右眼的位置坐标511的y坐标之差的绝对值509设为G。

通过以上的处理，作为脸部朝向信息而计算表示被摄体的脸部相对于x、y、z轴的倾斜度的脸部朝向θ1、θ2、θ3[度]，并输出给任意脸部朝向图像生成部109。

最后，参照图1B、图6、图7至图10来详细地说明任意脸部朝向图像生成部109的动作。图1B是表示任意脸部朝向图像生成部109的一构成例的功能模块图。图7是用于说明特征点与移动点的关系的图。图8是用于说明按脸部器官调整了特征点与目标点的位置的示例的图。图9是用于说明正面脸部器官信息的图。图10是说明变更脸部器官的位置的方法的图。

如图1B所示，任意脸部朝向图像生成部109具有目标脸部朝向信息取得部109-1、正面脸部判断部109-2、正面脸部器官信息取得部109-3、补正脸部器官信息计算部109-4、脸部朝向信息补正部109-5和任意脸部朝向图像生成处理部109-6。如此，任意脸部朝向图像生成部109通过变更脸部器官的位置，使脸部器官变形，从而进行生成任意的脸部朝向图像的处理。

首先，在步骤S4中，从目标脸部朝向信息取得部109-1、输入输出部106取得用户指定的目标脸部朝向信息。

在步骤S5中，正面脸部判断部109-2基于在步骤S3中计算出的脸部朝向信息，进行被摄体的脸部是否是正面脸部的判断。若被摄体的脸部是正面脸部，则执行步骤S9～S10的处理。若被摄体的脸部不是正面脸部，则执行步骤S6～S10的处理。

在所输入的图像的被摄体的脸部朝向不是正面脸部的情况下(步骤S5中“否”)，首先在步骤S6中，正面脸部器官信息取得部109-3从存储部105取得正面脸部器官信息。接下来，在步骤S7中，补正脸部器官信息计算部109-4根据由步骤S2提取出的脸部器官信息和由步骤S3计算出的脸部朝向信息，来计算正面脸部上的脸部器官信息。

在步骤S8中，补正脸部器官信息计算部109-4根据由步骤S6取得的正面脸部器官信息和由步骤S7计算出的正面脸部上的脸部器官信息，来补正脸部朝向信息。即，计算正面脸部上的脸部器官的位置，比较所计算出的脸部器官的位置和预先设定的正面脸部器官信息从而对脸部朝向信息实施补正。

接下来，在步骤S9中，任意脸部朝向图像生成处理部109-6根据脸部器官信息和脸部朝向信息，生成任意脸部朝向图像。

接下来，在步骤S10中，任意脸部朝向图像生成部109通过将所生成的图像输出给显示部104，从而能够使显示部104显示适当的图像。

如以上那样，第1实施方式的图像显示装置102进行动作(结束)。由此，脸部器官的位置不会移动到不自然的位置而生成不适感少的适合的图像。

如步骤S8所示，作为使图像中的脸部器官的位置变更、以及使形状变形的方法，存在仿射变换、B-spline变换、rigidMLS(S.Schaefer、T.McPhail and J.Warren，“Image Deformation using moving least squares”，ACM Trans.Graph，vol.25，no.3，pp.533-540，2006)。这些方法是设定图像中所设定的特征点、和该特征点的移动目的地的点即目标点，进行使特征点和目标点靠近的坐标变换的方法。使用图7(a)、(b)来说明使用了特征点和目标点的坐标变换。例如，将在所输入的脸部图像601中检测到的脸部器官的位置设为特征点602，对于全部该特征点，将从特征点沿y轴方向偏移了像素数603的位置设定为目标点604，若实施坐标变换，则能够生成脸部器官沿y轴方向移动了像素数603的图像605。

进而，使用图8(a)、(b)来说明按脸部器官对特征点和目标点的位置进行了调整的示例。在输入图像701中，对于脸部器官的眼702、鼻703和口704，变更特征点与目标点之差。即，对于脸部器官的眼即特征点702，将从特征点702偏移了像素数705的位置设定为目标点706。接下来，对于脸部器官的鼻即特征点703，将从特征点703偏移了像素数707的位置设定为目标点708。对于脸部器官的口即特征点704，将从特征点704偏移了像素数709的位置设定为目标点710。若基于以上的特征点和目标点的设定来实施坐标变换，则相较于输入图像701的眼和鼻之问的长度711，生成图像712的眼和鼻之间的长度713变长，所以能够生成变更了脸部器官的位置关系即脸部器官的配置的图像。此时，若预先在图像端、被摄体的轮廓周边设定特征点和目标点成为相同位置的点、即位置在输入图像和输出图像不发生变化的点，则能够抑制被摄体的脸部以外的区域中的畸变，所以优选。

首先说明如下方法：计算被摄体的正面脸部上的脸部器官的位置(步骤S7)，对所计算出的脸部器官的位置和预先设定的正面脸部器官信息进行比较，从而对脸部朝向信息实施补正(步骤S8)。所谓被摄体的正面脸部，是指脸部朝向信息中相对于x轴的倾斜度θ1和相对于y轴的倾斜度θ2成为0的脸部朝向。根据所输入的脸部的瞳孔间的长度L3、眼和鼻之间的长度L4和脸部朝向信息θ1以及θ2，计算正面脸部上的脸部的瞳孔间的长度L3’和眼与鼻之间的长度L4’。使用表示相对于x轴的脸部朝向的倾斜度的脸部朝向信息θ1，通过式(4)来计算正面脸部上的瞳孔间的长度L3’。接下来，使用表示相对于y轴的脸部朝向的倾斜度的脸部朝向信息θ2，通过式(8)来计算补正后的眼与鼻之间的长度L4’。

接下来，说明对基于正面脸部器官信息的脸部朝向信息进行补正的方法。使用基于脸部朝向信息而计算出的正面脸部上的瞳孔问的长度L3’、正面脸部上的眼与鼻之间的长度L4’、和预先决定的正面脸部器官信息中的瞳孔间的长度L3”和眼与鼻之问的长度L4”，来补正脸部朝向信息。用式(9)计算相对于x轴的倾斜度θ1的补正量θ1’。

用式(10)计算相对于y轴的倾斜度θ2的补正量θ2’。

接下来，使用图9说明正面脸部器官信息。正面脸部器官信息根据预先输入的正面脸部的图像来生成。此时所输入的正面脸部的图像可以是静止图像也可以是运动图像。此外，在输入为具有多帧的运动图像的情况下，也可以是由摄像部实时拍摄的运动图像。在该情况下，所拍摄的运动图像的所有帧都是正面脸部的可能性较低，在这种情况下，使用在先前帧中判断为正面脸部的被摄体的脸部器官的位置，来生成正面脸部器官信息。在先前帧中判断为正面脸部的被摄体的脸部器官的位置存在多个的情况下，使用脸部器官的位置的平均值、中间值等。在上述说明的输入图像都是静止图像的情况下，或者在先前帧中未判断为正面脸部的情况下，使用人类的脸部的黄金比(标准值)来计算正面脸部器官的位置。所谓黄金比，是指平均的人类801的脸部器官的配置。例如，设定为瞳孔问的长度802与眼和鼻之间的长度803之比为32∶25，或者设定为头顶804和眼805之间的长度806与眼805和颌下807之间的长度808之比为1∶1，或者设定为左眼的内眼角809和右眼的内眼角810之间的长度811与眼的长度812之比为1∶1等，设定为所生成的图像中的脸部器官的位置不脱离平均的人类的脸部器官配置。

通过以上的处理，在计算正面脸部器官信息时，在所输入的正面脸部的图像是运动图像的情况下，能够使用被摄体的正面脸部上的脸部器官的配置，能够准确地生成被摄体的正面脸部，所以优选。此外，在所输入的正面脸部的图像是静止图像、或者即使是运动图像在先前帧中也没有判断为正面脸部的情况下，通过使用脸部的黄金比来设定被摄体的正面脸部上的脸部配置，从而能够使所生成的图像中的脸部器官的位置接近于平均的人类的脸部器官配置，所以优选。

接下来，如步骤9所示，为了生成任意的脸部朝向图像，使用变更被摄体的脸部器官的位置的方法、和使脸部器官变形的方法这两种方法。首先，使用图10来说明变更脸部器官的位置的方法。使用由脸部朝向信息计算部108计算出的脸部朝向信息θ1、θ2、θ3、利用正面脸部位置信息而计算出的脸部朝向信息的补正量θ1’和θ2’、以及表示所生成的脸部朝向的目标脸部朝向信息φ1、φ2，来进行脸部器官的位置变更。即，成为使脸部朝向信息θ1+θ1’、θ2+θ2’与目标脸部朝向信息φ1、φ2的差分变更的脸部朝向信息。这里，将脸部朝向差分信息设为φ1’(＝θ1+θ1’-φ1)、φ2’(＝θ2+θ2’-φ2)。计算脸部器官的位置的x轴方向的移动量901和y轴方向的移动量902，使用相对于z轴的脸部朝向信息θ3来附加z轴方向的移动量，计算脸部朝向变更后的脸部器官的位置。使用相对于x轴的脸部朝向差分信息φ1’，用式(11)计算脸部朝向变更后的瞳孔问的长度903。

这里，将脸部朝向变更后的瞳孔问的长度设为M3。

输入图像中的瞳孔问的长度904与脸部朝向变更后的瞳孔间的长度903之差成为脸部器官的横向即x轴方向的移动量901。接下来，说明y轴方向的移动量902的计算方法。使用相对于y轴的脸部朝向差分信息φ2’，用式(12)计算脸部朝向变更后的眼和鼻之间的长度905。

这里，将输入图像中的眼和鼻之间的长度设为L4，将脸部朝向变更后的眼和鼻之间的长度设为M4。输入图像中的眼和鼻之间的长度906与脸部朝向变更后的眼和鼻之间的长度905之差成为脸部器官的纵向即y轴方向的移动量902。所计算出的x轴方向的移动量901和y轴方向的移动量902，由于没有考虑相对于z轴的脸部倾斜度θ3，因此使用式(13)和(14)来计算目标点(Qx，Qy)。

Q_x＝P_x+E1×cosθ3-E2×sinθ3 (13)

Q_y＝P_y+E1×sinθ3+E2× cosθ3 (14)

这里，将x轴方向的移动量设为E1，将y轴方向的移动量设为E2，将输入图像中的特征点设为(Px，Py)。

接下来，说明使脸部器官的形状变形的方法。在脸部朝向相对于x轴倾斜的情况下，设定目标点使得眼的长度与根据正面脸部器官信息所计算的值一致。例如，设定目标点以对眼的长度进行补正，使得左眼的长度L1与右眼的长度L2之比L1∶L2和根据正面脸部器官信息计算出的左眼的长度D1与右眼的长度D2之比D1∶D2相等。所谓左眼的长度与右眼的长度之比D1∶D2，是指先前帧中的正面脸部配置的左眼的长度D1和右眼的长度D2。在不能利用先前帧的情况下，使用D1∶D2＝1∶1。

在脸部朝向相对于y轴倾斜的情况下，由于左眼的长度和右眼的长度和鼻的长度和口的长度分别扩大或缩小，所以设定目标点使得与根据正面脸部配置所计算的值一致。例如，设定目标点以扩大或缩小左眼的长度L1，使得左眼的长度L1和根据正面脸部器官信息所计算出的左眼的长度D1相等。对于右眼的长度、鼻的长度、口的长度，也同样地设定目标点使得与根据正面脸部器官信息所计算出的各个对应的脸部器官的长度相等。使用所设定的输入图像中的一个以上的特征点和与特征点对应的目标点，对输入图像实施图像变形，生成使脸部器官发生了变形的图像。

此外，若不仅是脸部器官的长度，设定目标点使得还变更眼的大小、鼻的朝向、口角的位置等，则能够增强变更了脸部朝向的效果，所以优选。

如此，任意脸部朝向图像生成部109使用所设定的输入图像中的一个以上的特征点和与特征点对应的目标点，对输入图像实施图像变形，生成变更了脸部器官的位置的图像。

这里，任意脸部朝向图像生成部109针对如上述那样生成的图像，使用正面脸部器官信息，进一步使脸部器官发生变形。

如以上那样，第1实施方式的图像显示装置102进行动作。

根据具备上述的本发明所涉及的图像处理装置101的图像显示装置102，能够考虑被摄体的脸部朝向和正面脸部配置来适当地进行图像处理，能够显示适合的图像。

<第2实施方式>

对本发明的第2实施方式进行说明。在本实施方式中，若进一步根据被摄体的脸部器官信息，改变对输入图像实施使脸部器官的位置变更的处理和使脸部器官变形的处理的比例，则即使在脸部朝向较大的情况下、未检测出全部脸部器官的情况下，也能够获得脸部朝向好像发生了改变那样的效果，所以优选。例如，在根据脸部器官信息而计算出的输入图像中的脸部朝向相对于x轴为90度即侧脸，并且指定了目标脸部朝向为0度即生成正面脸部的情况下，使脸部器官的位置变更的处理进行到目标脸部朝向相对于x轴为70度的阶段为止，在使脸部器官变形的处理中，实施进行补正使得眼的形状朝向正面的处理，由此增强变更了脸部朝向的效果。

接下来，说明未能检测出眼、鼻、口等全部脸部器官的情况的示例。在检测出左眼和右眼、未检测出鼻和口的情况下，根据左眼与右眼的位置关系，计算被摄体的脸部区域的左上坐标和右上坐标、左下坐标、右下坐标、中心坐标。将表示该脸部区域的5点作为特征点，按照脸部朝向来设定目标点。在未检测出全部脸部器官的情况下，输入图像中的被摄体的脸部朝向信息，仅利用所检测出的脸部器官进行计算，或者根据照相机与被摄体的位置关系进行计算，或者在运动图像时使用前帧的脸部朝向信息等来取得。在输入图像中的被摄体的脸部朝向相对于y轴为-10度即朝下，并且指定为目标脸部朝向相对于y轴为0度、即生成正面脸部的情况下，通过将脸部区域的左上坐标和右上坐标向使其靠近的方向，将左下坐标和右下坐标向使其远离的方向，将中心坐标向图像上方向进行设定，从而能够得到脸部朝向好像发生了改变那样的效果。

如此，通过自适应地组合改变脸部器官的位置和形状的两个处理，从而即使在较大地改变脸部的朝向的情况下，也能够减轻遮挡、脸部畸变的影响。进而，即使在未检测出全部脸部器官的情况下，也能够得到脸部朝向好像发生了改变那样的效果。

通过以上处理，即使在脸部朝向信息不准确的情况下，通过生成正面脸部并对脸部器官配置实施补正之后生成任意的脸部朝向图像，从而脸部的眼和鼻的位置也不会移动到不自然的位置，能够生成不适感少的适合的图像。

<第3实施方式>

接下来，使用图11来说明具备本发明的第3实施方式所涉及的图像处理装置1101的图像显示装置1102的构成例。在图11中，对与图1相同的构成要素标注相同的编号，这些要素进行与图1的实施方式相同的处理，故省略说明。

本实施方式和第1实施方式的差异在于，在本实施方式中成为具备收发部1103的构成。图像显示装置1102经由收发部1103与外部网络连接，连接到其他通信设备。收发部1103是移动电话的通信部、电缆等，与外部收发图像、脸部位置信息、脸部大小信息等。

在第3实施方式中，将由图像显示装置1102摄像的图像和脸部器官信息通过收发部1103发送给其他图像显示装置1102，并接收由其他图像显示装置1102摄像的图像和脸部器官信息。即，使用户1的图像显示装置1102显示处于远程地点的用户2的摄像图像，使用户2的图像显示装置1102显示用户1的摄像图像。这成为用于实现视频聊天、电视会议系统的构成。这里，将拍摄用户1的图像显示装置1102作为第一图像显示装置、将拍摄用户2的图像显示装置1102作为第二图像显示装置来进行区别。

以下，使用图12所示的流程图来说明上述动作的流程。

首先，在步骤S21中，图像处理装置1101从摄像部103取入第一图像。

接下来，在步骤S22中，脸部器官信息检测部107从第一图像中检测第一脸部器官信息。

接下来，在步骤S23中，脸部朝向信息计算部108使用脸部器官信息来计算被摄体的第一脸部朝向信息。

接下来，在步骤S24中，收发部1103将第一图像、第一脸部器官信息和第一脸部朝向信息发送给第二图像显示装置。

接下来，在步骤S25中，收发部1103接收第二图像、第二脸部器官信息和第二脸部朝向信息。

接下来，在步骤S26中，图像处理装置1101从输入输出部106取得第二目标脸部朝向信息。

接下来，在步骤S27中，任意脸部朝向图像生成部109基于第二脸部朝向信息，判断被摄体的脸部是否是正面脸部。若被摄体的脸部是正面脸部，则执行步骤S31和S32。若被摄体的脸部不是正面脸部，则执行步骤S28～32。

接下来，在步骤S28中，图像处理装置1101从存储部105取得正面脸部器官信息。

接下来，在步骤S29中，任意脸部朝向图像生成部109根据第二脸部器官信息和第二脸部朝向信息，来计算正面脸部上的脸部器官信息。

接下来，在步骤S30中，任意脸部朝向图像生成部109根据所取得的正面脸部器官信息和所计算出的正面脸部上的脸部器官信息，来补正第二脸部朝向信息。

接下来，在步骤S31中，任意脸部朝向图像生成部109根据第二脸部器官信息和第二脸部朝向信息来生成任意脸部朝向图像。

接下来，在步骤S32中，任意脸部朝向图像生成部109将所生成的图像输出给显示部104。

如以上那样，第3实施方式的图像显示装置进行动作。

根据具备上述的本实施方式所涉及的图像处理装置1101的图像显示装置1102，在视频聊天、电视会议等用户1和用户2进行对话的情况下，通过使用与图像一起发送的脸部器官信息和脸部朝向信息来生成任意的脸部朝向图像，从而能够显示适合的图像。

另外，本发明不由上述的实施例进行限定性的解释，在权利要求书所记载的事项的范围内能够进行各种变更，这些变更均包含在本发明的技术范围内。此外，本发明的各构成要素能够任意地进行取舍选择，具备进行取舍选择后的构成的发明也包含在本发明内。

在本发明的图像处理装置中动作的程序，可以是控制CPU等使得实现本发明所涉及的上述实施例的功能的程序(使计算机发挥功能的程序)。而且，在这些装置中处理的信息，在其处理时临时蓄积到RAM(Random Access Memory，随机存取存储器)，之后存储到ROM(Read Only Memory，只读存储器)等各种ROM、HDD，并根据需要由CPU读出，进行修正/写入。

此外，也可以将用于实现图1A、B的各构成的功能的程序记录到计算机可读取的记录介质中，使计算机系统读入该记录介质所记录的程序，通过CPU等执行来进行各部的处理。另外，这里所说的“计算机系统”，包括OS(Operating System，操作系统)、周边设备等硬件。此外，所谓“计算机可读取的记录介质”，是指软盘、光磁盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。进而，所谓“计算机可读取的记录介质”还包含如通过因特网等网络或电话线路等通信线路发送程序的情况下的通信线那样，在短时问内动态地保持程序的介质、如该情况下的成为服务器或客户端的计算机系统内部的易失性存储器那样，将程序保持一定时问的介质。

此外，也可以将上述的实施例中的图像处理装置的一部分或全部典型地实现为作为集成电路的LSI。图像处理装置的各功能模块既可以单独芯片化，也可以将一部分或全部进行集成来芯片化。此外，集成电路化的方法并不限于LSI，也可以通过专用电路或通用处理器来实现。此外，在伴随半导体技术的进步而出现了代替LSI的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。

此外，在上述的实施方式中，关于控制线、信息线，示出了说明上认为必要的控制线、信息线，在产品上并不限于一定示出所有的控制线、信息线。全部构成也可以相互进行连接。

产业上的可利用性

本发明能够利用于图像显示装置。

标号说明

101…图像处理装置、102…图像显示装置、103…摄像部、104…显示部、105…存储部、106…输入输出部、107…脸部器官信息检测部、108…脸部朝向信息计算部、109…任意脸部朝向图像生成部、109-1…目标脸部朝向信息取得部、109-2…正面脸部判断部、109-3…正面脸部器官信息取得部、109-4…补正脸部器官信息计算部、109-5…脸部朝向信息补正部、109-6…任意脸部朝向图像生成处理部、110…显示控制部、1103…收发部。

(备注)

本发明包括以下公开。

(1)一种图像处理装置，其特征在于具备：

脸部器官信息检测部，其从所输入的图像中检测被摄体的脸部器官的位置即脸部器官信息；

脸部朝向信息计算部，其根据所述脸部器官信息来计算所述被摄体的脸部朝向信息；和

任意脸部朝向图像生成部，其根据所述脸部器官信息和所述脸部朝向信息来生成变更了所述被摄体的脸部朝向的图像，

所述任意脸部朝向图像生成部在根据所述脸部朝向信息判断为脸部倾斜的情况下，基于所述被摄体的正面脸部上的脸部器官配置即正面脸部器官信息对所述脸部朝向信息实施了补正后，生成任意的脸部朝向的图像。

在脸部朝向信息不准确的情况下，使用预先设定的被摄体的正面脸部上的眼、鼻等脸部器官的位置、和根据脸部朝向信息所计算出的正面脸部上的脸部器官的位置，补正脸部朝向信息的偏差之后，生成任意的脸部朝向图像。

(2)根据(1)所述的图像处理装置，其特征在于，

所述任意脸部朝向图像生成部根据所述脸部器官信息和所述脸部朝向信息，通过变更所述脸部器官的位置的处理和使所述脸部器官变形的处理，来生成变更了所述被摄体的脸部朝向的图像。

(3)根据(2)所述的图像处理装置，其特征在于，

所述任意脸部朝向图像生成部根据所述脸部器官信息，来调整变更所述脸部器官的位置的处理和使所述脸部器官变形的处理的比例。

通过进行调整，能够得到更适当的图像。

(4)根据(1)～(3)的任意一项所述的图像处理装置，其特征在于，

所述任意脸部朝向图像生成部使用将在前帧中判断为正面脸部的被摄体的脸部配置作为正面脸部器官信息的处理、和将基于脸部的黄金比所计算出的脸部器官的位置作为正面脸部器官信息的处理中的至少一个来补正所述脸部朝向信息。

通过使用黄金比，能够以简单的处理得到适当的图像。

(5)一种图像显示装置，其特征在于具备：

拍摄被摄体的摄像部、和处理由所述摄像部拍摄到的所述被摄体的图像的(1)所述的图像处理装置。

(6)根据(1)～(4)的任意一项所述的图像处理装置，其特征在于，

所述脸部朝向信息计算部根据器官的水平方向的长度之比，来计算脸部相对于x轴的倾斜度，所述x轴是从被摄体的脸部的左端通过右端的水平的轴。

将左右眼的长度分别设为内眼角的位置与外眼角的位置之间的长度。

(7)根据(6)所述的图像处理装置，其特征在于，

所述脸部朝向信息计算部根据被摄体的眼和鼻之间的长度与瞳孔间的长度之比、以及脸部相对于x轴的倾斜度θ1，来计算脸部相对于y轴的倾斜度，所述y轴是从被摄体的脸部的下端向上端的垂直方向的轴。

(8)根据(6)或(7)所述的图像处理装置，其特征在于，

所述脸部朝向信息计算部根据瞳孔间的长度和左眼与右眼之间的纵向偏差，来计算被摄体的脸部相对于z轴的倾斜度，所述z轴是从被摄体的脸部的前面通过背面的轴。

(9)根据(1)或(2)所述的图像处理装置，其特征在于，

所述任意脸部朝向图像生成部设定在图像中所设定的特征点、和该特征点的移动目的地的点即目标点，进行使所述特征点和所述目标点靠近的坐标变换，由此使图像中的脸部器官的位置变更以及使形状变形。

(10)根据(1)或(2)所述的图像处理装置，其特征在于，

所述任意脸部朝向图像生成部使用所设定的输入图像中的一个以上的特征点和与特征点对应的目标点，对输入图像实施图像变形，来生成变更了脸部器官的位置的图像。

(11)一种图像处理方法，其特征在于具有：

脸部器官信息检测步骤，从所输入的图像中检测被摄体的脸部器官的位置即脸部器官信息；

脸部朝向信息计算步骤，根据所述脸部器官信息来计算所述被摄体的脸部朝向信息；和

任意脸部朝向图像生成步骤，根据所述脸部器官信息和所述脸部朝向信息来生成变更了所述被摄体的脸部朝向的图像，

在所述任意脸部朝向图像生成步骤中，在根据所述脸部朝向信息判断为脸部倾斜的情况下，基于所述被摄体的正面脸部上的脸部器官配置即正面脸部器官信息对所述脸部朝向信息实施了补正后，生成任意的脸部朝向的图像。

(12)一种使计算机执行(11)所述的图像处理方法的程序。

将本说明书所引用的全部刊行物、专利以及专利申请直接作为参考而引入本说明书中。