专利名称：特征变化图像生成方法、特征变化图像生成装置及特征变化图像生成程序的制作方法
技术领域：
本发明涉及使图像的特征的一部分变化，附加其他特征来生成新的图像的技术。本发明尤其涉及对人物的脸图像赋予经年变化的特征来生成新的脸图像的特征变化图像生成方法、特征变化图像生成装置及特征变化图像生成程序。
背景技术：
有时通过对图像赋予某一特征，在具有原来的特征的状态下生成追加了其他的特征的新的图像。作为有代表性的情况，考虑到由于年龄增长而失去了年轻时的特征而出现了年龄增长时的特征的同一人物的经年变化时的脸图像。通过对某一人物年轻时的脸图像，实施使年轻时的特征减少并附加年龄增长时的特征的处理，生成同一人物的经年变化后的脸图像。
作为从年轻时的脸图像生成年龄增长时的脸图像的方法，有种方法是利用计算机图形学(CG)，对年轻时的脸图像写入皱纹等年龄增长时的特征。
在这种情况下，皱纹等年龄增长时的特征依存于脸的结构。因此，为了对生成的脸图像赋予“自然度”，需要手工作业、或半自动处理。并且，关于一部分的特征，写入本身就很困难。与比较明确的特征容易生成的唇纹不同，例如，眼睛周围的衰老情况或脸的面色等因人而异。如何将这些特征写入到图像中是难以确定的。
在美国US6556196B1号公报中，公开了可以将不明确的特征也附加于图像的图像处理方法。根据该图像处理方法，通过利用三维模型，改进了对年龄增长时的特征(经年特征)的图像的附加处理。更具体地说，从被储存于数据库的三维的脸数据，生成可以变形的脸的一般的模型(雏形)。然后，对该已生成的模型粘贴询问脸图像。然后，为了施加包含了经年变化的特征变化，利用模型设计装置对该模型进行变形。根据该方法，由于使用预先准备的雏型，所以不管是处理谁的脸图像，在该情况下，在相同的部分产生相同的经年特征。因此，有时在脸图像上会产生不自然的经年特征。
在日本特开2003-44866号公报中，公开了可以从一个特定的图像生成目的图像的图像处理方法。根据该方法，通过使用与现在的特定个人的脸图像和现在的年龄相当的平均脸的图像，通过外插生成夸张脸的图像。然后，通过使用接近于目的年代的平均脸的图像与夸张脸的图像，通过内插生成目的年代的脸图像。根据该方法，由于使用了平均脸的图像，所以不考虑由脸的结构的个人差异引起的经年变化的差异。因此，有时在脸图像上会产生不自然的经年特征。
日本特开平6-333005号公报所公开的脸图像生成装置具有部分图案存储机构、脸特征数据存储机构、指定机构、以及脸图像生成机构。部分图案存储机构存储表示脸图像的每个部分的部分图案。脸特征数据存储机构存储对应于年龄的脸特征数据。如果通过指定机构指定与年龄相关的数据，则脸图像生成机构从脸特征数据存储机构读出对应于该数据的脸特征数据。然后，脸图像生成机构根据该脸特征数据，从部分图案存储机构读出对应的每个部分的部分图案。然后，脸图像生成机构组合部分图案生成脸图像。
日本特开平10-289320号公报公开了以使图案识别的候补类别集合的运算高速化为目的的技术。目录存储机构内的候补目录，输入从图案的特征矢量计算出的参考特征矢量的值，保持输出候补矢量集合的图像。候补矢量计算机构利用候补目录的映像，求出与被提供的参考特征矢量的值相对应的候补类别集合。
日本特开2002-123837号公报公开的脸表情变换方法，具有如下步骤(1)定义编码本(code book)的步骤，所述编码本控制定义第一人物的第一脸表情集合的数据；(2)准备定义第二脸表情集合的数据的步骤，所述第二脸表情集合提供与第一人物不同的第二人物的练习表情集合；(3)从练习表情集合、和来自第一表情集合的对应的表情，导出变换函数的步骤；(4)将变换函数应用于第一表情集合得到合成表情集合的步骤。
日本特开2003-69846号公报公开了自动进行适当的图像修正的图像修正程序。该图像处理程序具有修正处理前段部、统计信息运算部、以及修正处理后段部。修正处理前段部对输入图像实施区域或色调等修正。统计信息运算部利用修正处理前段部的输出与手动修正图像，生成表示操作员的喜好的数据即色度基准值以及轮廓基准值。修正处理后段部利用色度基准值进行色度修正处理、利用轮廓基准值实施轮廓强调处理。
发明内容
本发明的目的在于提供可以保留原来的图像的主要特征，并且将其它特征赋给图像以提供自然的印象的特征变化图像生成方法、特征变化图像生成装置及特征变化图像生成程序。
本发明的其他的目的在于提供可以生成考虑了个人差异的经年变化时的脸图像的特征变化图像生成方法、特征变化图像生成装置及特征变化图像生成程序。
本发明的另外的其他目的在于提供可以对输入的脸图像施加各个年龄的一般的经年变化的特征变化图像生成方法、特征变化图像生成装置及特征变化图像生成程序。
本发明的另外的其他目的在于提供在对输入的脸图像附加经年变化与个人的特征时，可以调节分配比的特征变化图像生成方法、特征变化图像生成装置及特征变化图像生成程序。
在本发明的某一个观点中，从输入图像生成新的图像的特征变化图像生成方法，包括(A)提供分别与多个图像相关的多个数据被分类成多个类别的数据库的步骤；(B)基于从在多个类别之中指定的类别所属的数据，确定与输入图像最类似的图像作为选择图像的步骤；(C)合成选择图像与输入图像的步骤。
在上述(A)步骤中，也可以提供多个图像(图像数据)被分类成多个类别的数据库。在这种情况下，在上述(B)步骤中，从被指定的类别所属的图像，确定与输入图像最类似的图像作为选择图像。
在上述(A)步骤中，也可以提供多个图像的结构成分被分类成多个类别的数据库。在这种情况下，上述(B)步骤包括(b1)通过利用被指定的类别所属的结构成分，确定可以得到与输入图像最类似的图像的结构成分的组合；(b2)基于已被确定的组合，生成与输入图像最类似的图像作为选择图像。
在上述(A)步骤中，也可以提供多个图像被分类成多个类别的数据库，多个类别分别包括对于同一对象其属性(例如，年龄)逐渐变化的多个图像。在这种情况下，上述(B)步骤包括(b1)从多个类别之中的、与具有输入图像的属性相对应的类别所属的图像，选择与输入图像最类似的图像作为类似图像；(b2)从被指定的类别所属的图像，确定和与类似图像相同的对象有关的图像作为选择图像。
在上述(A)步骤中，也可以提供多个图像的结构成分被分类成多个类别的数据库，多个类别分别包括对于同一对象其属性(例如，年龄)逐渐变化的多个图像的结构成分。在这种情况下，上述(B)步骤包括(b1)通过利用多个类别之中的、与具有输入图像的属性相对应的类别所属的结构成分，选择可以得到与输入图像最类似的图像的结构成分的组合；(b2)将对于已选择的组合的成分系数，变换成对于已被指定的类别的成分系数即变换后系数；(b3)通过利用变换后系数与被指定的类别所属的结构成分，生成选择图像。
在该特征变化图像生成方法中，多个图像可以分别是人物的脸图像。并且，多个类别可以基于年龄来区分。
在输入图像的人物的年龄比由用户指示的年龄小的情况下，也可以选择多个类别之中的、对应于被指示的年龄之上的年龄的类别，作为上述的被指定的类别。
在输入图像的人物的年龄比由用户指示的年龄大的情况下，也可以选择多个类别之中的、对应于被指示的年龄之下的年龄的类别，作为上述的被指定的类别。
在本发明的其他的观点中，对输入图像逐渐地施加特征变化的特征变化赋予方法，包括(A)提供多个图像的结构成分被分类成多个类别的数据库的步骤，此处，多个类别分别包括对于同一对象属性逐渐变化的多个图像的结构成分；(B)通过利用多个类别之中的、与具有输入图像的属性相对应的类别所属的结构成分，选择可以得到与输入图像最类似的图像的结构成分的组合的步骤；(C)将对于已选择的组合的成分系数，变换成对于已被指定的类别的成分系数即变换后系数的步骤。
在该特征变化图像生成方法中，多个图像可以分别是人物的脸图像。并且，多个类别可以基于年龄来区分。
在本发明的另外其他的观点中，特征变化图像生成装置，是用于实现上述特征变化图像生成方法的装置，其中，包括实现上述各步骤的结构要素。特征变化图像生成装置包括存储部、图像确定部以及合成部。上述数据库被构筑于存储部。图像确定部执行上述(B)步骤。合成部执行上述(C)步骤。
在本发明的另外其他的观点中，特征变化图像生成装置，是用于实现上述特征变化赋予方法的装置，其中，包括实现上述各步骤的结构要素。特征变化赋予装置包括存储部、成分系数变换部。上述数据库被构筑于存储部。成分系数变换部执行上述(B)步骤以及(C)步骤。
在本发明的另外其他的观点中，特征变化图像生成程序以及特征变化赋予程序，分别是用于实现上述的特征变化图像生成方法以及特征变化赋予方法的程序。特征变化图像生成程序以及特征变化赋予程序，分别在计算机中执行上述各步骤。
根据本发明，选定与输入图像最类似的图像，合成输入图像与被选定的图像。因此，可以保留输入图像原来的特征，并且可以对输入图像附加其他的特征。并且，由于输入图像和与其最类似的图像一起合成，所以可以以提供自然的印象的方式对输入图像附加其他的特征。
图1是表示特征变化图像生成装置的第一实施方式的框图；图2是表示第一实施方式中的特征变化图像生成方法的流程图；图3是表示线性合成最高分数图像与输入图像的处理例的说明图；图4是表示特征变化图像生成装置的第二实施方式的框图；图5是表示第二实施方式的特征变化图像生成方法的流程图；图6是表示第二实施方式的变形例的框图；
图7是表示第二实施方式的变形例的特征变化图像生成方法的流程图；图8是表示特征变化图像生成装置的第三实施方式的框图；图9是表示第三实施方式的特征变化图像生成方法的流程图；图10是表示特征变化图像生成装置的第四实施方式的框图；图11是表示第四实施方式的特征变化图像生成方法的流程图；图12是表示特征变化图像生成装置的第五实施方式的框图；图13是表示第五实施方式的特征变化图像生成方法的流程图；图14是表示第五实施方式的变形例的框图；图15是表示第五实施方式的变形例的特征变化图像生成方法的流程图。
具体实施例方式
(第一实施方式)以下，参考
本发明的第一实施方式。此处，说明对人物的脸的图像(脸图像)施加经年变化的情况。
图1是表示本发明的特征变化图像生成装置的结构例的框图。如图1所示，特征变化图像生成装置包括数据库即图像积存部101、对照图像的对照部102、以及合成图像的合成部103。图像积存部101例如通过磁盘装置来实现。对照部102与合成部103，例如通过计算机的运算处理装置以及该运算处理装置执行的程序来实现。另外，在本实施方式中，存储与多个图像有关的信息的存储部对应于图像积存部101。并且，确定与输入图像最类似的图像的图像确定部对应于对照部102。
图像积存部101是积存了多个脸图像的数据库。在图像积存部101中，多个脸图像根据年龄或性别(属性)而被分类为类别(category)1111(第一类别)，…，111i(第i类别)，…，111n(第n类别)。类别1111～111n，例如是以“十岁年龄段的男性”、“二十岁年龄段的女性”等年龄或性别来分类的类别。以下，在概括地表现类别1111～111n的情况下，或者在表现任意一个类别的情况下，仅仅参考类别111。
图2是表示图1所示的特征变化图像生成装置的特征变化图像生成方法的流程图。用户如果指定输入类别11(年龄或性别)，则对照部102从图像积存部101选择与指定的输入类别11相对应的类别111(步骤S11)。例如，在输入十岁年龄段的男性的脸图像而想要生成假想该男性的二十岁年龄段的脸的脸图像的情况下，用户输入“二十岁年龄段”、“男性”作为输入类别11。则对照部102选择“二十岁年龄段的男性”的类别111。另外，用户也可以不输入年龄段而输入年龄，在该情况下，对照部102选择与包括输入的年龄的年龄段相对应的类别111。
并且，对照部102可以不一定必须选择由输入类别11指定的年龄段的类别111，也可以选择其他类别111。例如，如后所述，合成部103有时对经年变化进行线性变化来合成脸图像。在这种情况下，在对照部102不仅输入与由输入类别11指定的年龄(目标年龄)相关的信息，还输入与输入图像12中的人物的年龄(输入人物年龄)相关的信息。在目标年龄大于输入人物年龄的情况下，对照部102也可以选择比目标年龄更大的年龄段的类别111。并且，在目标年龄小于输入人物年龄的情况下，对照部102也可以选择比目标年龄更小的年龄段的类别111。
例如，在输入图像12中的人物的年龄是二十岁年龄段，由输入类别11指定的年龄段是三十年龄段的情况下，对照部102也可以选择四十年龄段的类别111。如果这样做，则通过线性合成二十岁年龄段的输入图像12与四十年龄段的脸图像，则可以生成三十岁年龄段的脸图像。并且，在输入图像12中的人物的年龄是四十岁年龄段，由输入类别11指定的年龄段是三十年龄段的情况下，对照部102也可以选择二十年龄段的类别111。如果这样做，则通过线性合成四十岁年龄段的输入图像12与二十年龄段的脸图像，则可以生成三十岁年龄段的脸图像。
输入图像12被输入到对照部102(步骤S12)。接着，对照部102进行输入图像12与属于被选择的类别的脸图像组的对照(步骤S13)。对照部102，基于脸识别处理所使用的一般的算法，执行脸图像组的对照。即，对照部102，通过在选择的类别111所包括的脸图像与输入图像12之间，进行脸特征量(facial feature)的比较，求得各脸图像与输入图像12的类似度。作为脸特征量，可列举出眼、鼻、口的位置或形状；以及脸整体的形状。并且，求得的类似度，作为分数与各脸图像对应。
对照部102，从属于选择的类别的脸图像组之中，选择具有最高分数的脸图像(最高分数图像)，作为最类似于输入图像12中的脸的脸图形(步骤S14)。即，对照部102可以从选择的类别所包括的脸图像组之中，选择眼、口、或脸的形状等脸主要部分最类似于输入图像12的脸图像。另外，在随着类似度变大分数变小来确定的情况下，对照部102选择具有最小分数的脸图像。对照部102将最类似于输入图像12的脸图像作为选择脸图像输出到合成部103。
合成部103，通过合成输入图像12与选择脸图像来生成合成图像14(步骤S15)。合成部103输出已生成的合成图像14。
合成部103，例如通过“线性合成手法”合成脸图像。例如，合成部103，以选择脸图像中的眼、鼻、口(特征部)成为与输入图像12中的相同部位的方式，正规化选择脸图像，生成正规化脸图像。然后，合成部103通过对输入图像12与正规化脸图像的对应的部分的像素数据进行加权平均，生成合成图像14。另外，合成部103合成脸图像的方法并不限于线性合成手法。
图3表示利用了选择脸图像与输入图像12的线性合成处理的一个例子。此处，以如下的例子进行说明输入图像12中的人物是二十岁年龄段，通过输入类别11指定的年龄段是三十岁年龄段，对照部102选择了与四十岁年龄段相对应的类别111。
在图3中，第一脸图像是输入图像12，第二脸图像是选择脸图像。通过使用某一参数α，可以用α∶(1-α)来表示第一脸图像与第二脸图像的合成比。此处，参数α是0以上1以下的数。在该例子的情况下，由于作为合成图像14的人物的年龄要求三十岁年龄段，所以参数α被设定为0.5，即合成比被设定为1∶1。合成部103通过将α设定为0.5、进行输入图像12与正规化脸图像的加权平均，如图3所示，计算出合成图像(合成脸图像)14。
另外，合成部103，在进行图像的合成处理时，可以在使合成比变化的同时合成输入图像12与选择脸图像。在该情况下，由于合成比被阶段性地调节，所以可以阶段性地识别从输入图像12中的人物的年龄到指定的年龄的经年变化。
并且，在本实施方式中，脸图像基于年龄或性别而被分类成多个类别，并被储存于图像积存部101。但是，分类脸图像的方法并不限定于在本实施方式所示的例子。例如，也可以使用空闲组(idle group)等集体来代替年龄段，来作为生成类别的基准。在该情况下，在第一类别中储存了空闲组A1的成员的脸图像，在第二类别中储存了空闲组A2的成员的脸图像。而且，合成在指定的空闲组中最相似的人物的脸图像与输入脸图像12，生成合成图像14。这样，也可以将本发明适用于娱乐。
如以上所述，根据本实施方式，从被分类的多个脸图像集合选择指定的脸图像集合，抽取在被选择的脸图像集合中最类似于输入图像12的脸图像，执行输入图像12与被抽取的脸图像的合成处理。因此，可以保留输入图像12的原来的特征，并且可以对输入图像12附加其他的特征。并且，由于输入图像12与最类似的脸图像一起被合成，所以可以施加自然的印象地对输入图像12附加其他的特征。因此，能够在保留原来的脸图像的主要特征的同时、施加次要的属性的特征，并且可以施加自然的印象地对脸图像赋予次要的属性的特征。
即，眼、口或脸的形状等脸主要部分与输入图像12最类似的选择脸图像，与输入图像12一起被合成。因此，可以在保留用于识别该人物的要素即主要特征的同时，可以施加自然的印象地对脸图像赋予次要的属性的特征。此处，所谓的次要的属性，是指皱纹或酒窝这些对识别该人物没有什么影响的属性。
并且，根据本实施方式，由于对照部102选择与输入图像12类似的经年变化时的脸图像，所以可以容易地对输入图像12附加与输入图像12中的人物的脸的结构对应的特有的经年特征。并且，不必考虑眼或鼻等脸的部位(脸的部分)各自的经年特征，可以容易地生成合成脸图像。
并且，根据本实施方式，由于图像积存部101将脸图像以年龄来分类并存储，所以可以指定具体的年龄来生成脸图像。并且，不仅是年龄增加的方向，在变年轻的方向也可以生成使特征变化的脸图像。
并且，根据本实施方式，在合成部103进行合成处理时，能够改变输入图像12与选择脸图像的合成比。由于能够调节合成处理时的合成比，所以可以阶段性地识别来自输入图像12中的经年变化。进而，根据本实施方式，由于可以利用现有的识别系统，所以可以容易地进行系统的组装或变更。
(第二实施方式)接着，参考
本发明的第二实施方式。图4是表示第二实施方式的特征变化图像生成装置的结构例的框图。如图4所示，特征变化图像生成装置包括图像成分积存部101b、进行图像的成分分析的成分分析部102b、以及合成图像的合成部103。图像成分积存部101b，例如通过磁盘装置来实现。成分分析部102b与合成部103，例如通过计算机的运算处理装置以及该运算处理装置执行的程序来实现。
另外，在本实施方式中，存储与多个图像有关的信息的存储部对应于图像成分积存部101b。并且，确定与输入图像最类似的图像的图像确定部对应于成分分析部102b。
图像成分积存部101b是积存了多个与脸图像相关的信息的数据库。图像成分积存部101b不存储脸图像本身，而存储通过成分分析脸图像所得到的多个结构成分。作为成分分析，例示出了主成分分析。
具体地说，多个脸图像根据年龄或性别等被分类成多个类别。通过成分分析各脸图像得到的结构成分，对应于图像成分积存部101b中的各类别而被储存。例如，通过排列各脸图像的各像素，得到一个矢量，并存储通过特定值分解该矢量而得到的结构成分。因此，在图像成分积存部101b，各脸图像的结构成分根据年龄或性别，被分类为类别1121(第一类别)，…，112i(第i类别)，…，112n(第n类别)。类别1121～112n，例如是以“十岁年龄段的男性”、“二十岁年龄段的女性”等年龄或性别来分类的类别。以下，在概括地表现类别1121～112n的情况下，或者在表现任意一个类别的情况下，仅仅参考类别112。
图5是表示如图4所示的特征变化图像生成装置的特征变化图像生成方法的流程图。用户如果指定输入类别11(年龄或性别)，则成分分析部102b从图像成分积存部101b选择与指定的输入类别11相对应的类别112(步骤S21)。
另外，成分分析部102b可以不一定必须选择由输入类别11指定的年龄段的类别112，也可以选择其他类别112。例如，如后所述那样，合成部103有时对经年变化进行线性变化来合成脸图像。在这种情况下，在成分分析部102b不仅输入与由输入类别11指定的年龄(目标年龄)相关的信息，还输入与输入图像12中的人物的年龄(输入人物年龄)相关的信息。在目标年龄大于输入人物年龄的情况下，成分分析部102b也可以选择比目标年龄更大的年龄段的类别112。并且，在目标年龄小于输入人物年龄的情况下，成分分析部102b也可以选择比目标年龄更小的年龄段的类别112。
例如，在输入的人物的年龄是二十岁年龄段，由输入类别11指定的年龄段是三十年龄段的情况下，成分分析部102b也可以选择四十年龄段的类别112。并且，在输入的人物的年龄是四十岁年龄段，由输入类别11指定的年龄段是三十年龄段的情况下，成分分析部102b也可以选择二十年龄段的类别112。
该成分分析部102b，利用被储存于图像成分积存部101b的结构成分，生成与输入图像12最类似的脸图像即“最小误差再构成图像”。在本实施方式中，成分分析部102b利用结构成分生成与输入图像12类似的脸图像的处理，参考输入图像12的再构成。
成分分析部102b，如果输入输入图像12(步骤S22)，则利用对应于被选择的类别的结构成分再构成输入图像12(步骤S23)。成分分析部102b进行再构成以使生成的脸图像与输入图像12的误差变得最小。即，成分分析部102b进行再构成以使输入图像12与生成的脸图像的类似度变得最大。
例如，在如主成分分析那样使用线性的成分分析的情况下，生成的脸图像如以下的式子(1)所表述。即，生成的脸图像Ip，利用通过系数ci(实数)与主成分分析而得倒的主成分Pi，作为主成分(结构成分)的线性结合来表述。另外，在式子(1)中，主成分Pi是具有与脸图像的像素的总数相同的数量的要素的实数矢量。
Ip＝C1P1+C2P2+…+CmPm…(1)成分分析部102b利用被选择的类别的结构成分，基于式子(1)确定与被作为输入图像12输入的脸图像I0的误差变得最小的结构成分的组合(具体地说是各系数的值)。然后，成分分析部102b通过被确定的结构成分的组合来生成脸图像。然后，成分分析部102b将生成的脸图像作为最小误差再构成图像输出。
合成部103合成输入图像12与最小误差再构成图像来生成合成图像14，输出已被生成的合成图像14(步骤S24)。合成部103合成脸图像的方法与第一实施方式的情况相同。
如以上所示，根据本实施方式，从被分类的多个结构成分集合选择被指定的结构成分集合，通过利用被选择的结构成分集合，生成与输入图像12最类似的最小误差再构成图像，执行该最小误差再构成图像与输入图像12的合成处理。因此，可以保留输入图像12原来的特征，并且可以对输入图像12附加其他的特征。并且，由于输入图像12和与其最类似的最小误差再构成图像一起合成，所以可以施加自然的印象地对输入图像12附加其他的特征。因此，能够在保留原来的脸图像的主要特征的同时、施加次要的属性的特征，并且可以施加自然的印象地对脸图像赋予次要的属性的特征。
即，通过再构成而得到眼、口或脸的形状等脸主要部分与输入图像12最类似的图像，该图像与输入图像12一起被合成。因此，可以在保留主要特征的同时，可以施加自然的印象地对脸图像赋予次要的属性的特征。此处，所谓的次要的属性，是指皱纹或酒窝这些对识别该人物没有什么影响的属性。
并且，根据本实施方式，由于成分分析部102b再构成与输入图像12类似的经年变化时的脸图像，所以可以容易地对输入图像12附加与输入图像12中的人物的脸的结构对应的特有的经年特征。并且，不必考虑眼或鼻等脸的部位(脸的部分)各自的经年特征，可以容易地生成合成脸图像。
并且，根据本实施方式，由于图像成分积存部101b将结构成分以年龄来分类并存储，所以可以指定具体的年龄来生成脸图像。并且，不仅是年龄增加的方向，在变年轻的方向也可以生成使特征变化的脸图像。
另外，在不能够一次生成与输入图像12足够类似的最小误差再构成图像的情况下，也可以反复执行再构成的处理。图6是表示如图4所示的特征变化图像生成装置的结构一部分被改变了的变形例的框图。图7是表示如图6所示的特征变化图像生成装置的特征变化图像生成方法的流程图。另外，在图7中，从步骤S21到步骤S23的处理，与从图5所示的步骤S21到步骤S23的处理相同。
在图6所示的变形例中，合成部103，在输入图像12与最小误差再构成图像的类似度小于等于规定值的情况下(步骤S24a；是)，合成输入图像12与最小误差再构成图像，并将合成图像输出到成分分析部102b(步骤S24b)。即，合成部103，将合成图像反馈给成分分析部102b。
如果输入合成图像，则成分分析部102b基于被输入的合成图像，通过与步骤S23的处理相同的处理进行再构成，再次生成最小误差再构成图像(步骤S25)。然后，成分分析部102b将该最小误差再构成图像输出到合成部103。合成部103合成先前被反馈的合成图像、与从成分分析部102b再次输入的最小误差再构成图像，生成并输出合成图像14(步骤S26)。另外，在图7中，虽然例示出了只进行了一次的反馈的情况，但在于步骤S25中生成的最小误差再构成图像与输入图像12的类似度小于等于规定值的情况下，再次执行步骤S24b以及步骤S25的处理。
这样，通过反复进行再构成的处理，即使在输入图像12与类别112所处的图像空间相差悬殊的情况下，也能够生成已与输入图像12调和的再构成图像。即，即使与输入图像12的类似度绝对性的低，也能够得到类似度相对较高的再构成图像。
另外，在本实施方式中，基于脸图像的结构成分，被基于年龄或性别而被分类为多个类别，并被储存于图像成分积存部101b。但是，分类脸图像的方法并不限于本实施方式所示的例子。例如，也可以使用空闲组等集体来代替年龄段，来作为生成类别的基准。在该情况下，在第一类别中储存了与空闲组A1的成员的脸图像对应的结构成分，在第二类别中储存了与空闲组A2的成员的脸图像对应的结构成分。而且，合成在指定的空闲组中最相似的人物的脸图像与输入脸图像12，生成合成图像14。这样，也可以将本发明适用于娱乐。
(第三实施方式)接着，参考
本发明的第三实施方式。图8是表示第三实施方式的特征变化图像生成装置的结构例的框图。如图8所示，特征变化图像生成装置包括经年变化图像积存部101c、对照图像的对照部102、以及合成图像的合成部103。经年变化图像积存部101c，例如通过磁盘装置来实现。
另外，在本实施方式中，存储与多个图像有关的信息的存储部对应于经年变化图像积存部101c。并且，对照部102以及合成部103进行与第一经年变化图像积存部101c，是分别对于多个人物(例如人物A～人物X)，将每经过一年特征变化了的脸图像按照每个年龄积存的数据库。即，经年变化图像积存部101c，将每经过一年逐渐有变化的人物的各脸图像，根据年龄而分类为类别1131(第一类别)～113n(第n类别)并存储。以下，在概括地表现类别1131～113n的情况下，或者在表现任意一个类别的情况下，仅仅参考类别113。
图9是表示如图8所示的特征变化图像生成装置的特征变化图像生成方法的流程图。在本实施方式中，对照部102从用户接收指定输入图像12中的人物的年龄15的信息(步骤S31)，并且，接受输入图像12(步骤S32)。对照部102，从经年变化图像积存部101c中的多个类别113之中，选择对应于人物的年龄15的类别113。然后，对照部102对于被选择的类别113所包括的全部的脸图像，进行与输入图像12的对照处理。然后，对照部102，从被选择的类别113所包括的脸图像之中，确定与输入图像12的类似度最大的脸图像(步骤S33)。此处，确定了人物B的脸图像。并且，在步骤S33中，选择了类别113。
如果从用户指定输入类别(指定年龄)11，则，从与该指定年龄相对应的类别113(例如，类别113n)所包括的脸图像之中，选择由步骤S33确定的图像中的人物和该人物的脸图像(在该例子中，是人物B的脸图像)(步骤S34)。然后，对照部102将被选择的脸图像作为选择脸图像输出到合成部103。合成部103合成输入图像12与选择脸图像来生成合成图像14，并输出已生成的合成图像14(步骤S35)。
如以上所述，根据本实施方式，抽取最类似于输入图像12的图像中的人物的指定年龄的脸图像，合成输入图像12与被抽取的脸图像。因此，可以保留输入图像12的原来的特征，并且可以对输入图像12附加其他的特征。并且，可以施加自然的印象地对输入图像12附加其他的特征。因此，能够在保留原来的脸图像的主要特征的同时、施加次要的属性的特征，并且可以施加自然的印象地对脸图像赋予次要的属性的特征。
并且，根据本实施方式，由于对照部102选择与输入图像12类似的图像中的人物的经年变化时的脸图像，所以可以容易地对输入图像12附加与输入图像12中的人物的脸的结构对应的特有的经年特征。并且，不必考虑眼或鼻等脸的部位(脸的部分)各自的经年特征，可以容易地生成合成脸图像。
(第四实施方式)接着，参考
本发明的第四实施方式。图10是表示第四实施方式的特征变化图像生成装置的结构例的框图。如图10所示，特征变化图像生成装置包括经年变化图像成分积存部101d、进行图像的成分分析的成分分析部102b、以及进行成分系数的变换处理的成分系数变换部104。成分分析部102b进行与第二实施方式相同的动作。经年变化图像成分积存部101d，例如通过磁盘装置来实现。成分系数变换部104，例如通过计算机的运算处理装置以及该运算处理装置执行的程序来实现。另外，在本实施方式中，存储与多个图像有关的信息的存储部对应于经年变化图像成分积存部101d。
经年变化图像成分积存部101d是积存了多个与人物相关的信息的数据库。经年变化图像成分积存部101d不存储脸图像本身，而存储通过成分分析脸图像所得到的多个结构成分。作为成分分析，例示出了主成分分析。具体地说，多个脸图像根据年龄或性别等被分类成多个类别。通过成分分析各脸图像得到的结构成分，对应于经年变化图像成分积存部101d中的各类别而被储存。即，在经年变化图像成分积存部101d中，结构成分，根据十岁年龄段、二十岁年龄段等年龄段，而被分类为类别1141(第一类别)～114n(第n类别)。以下，在概括地表现类别1141～114n的情况下，或者在表现任意一个类别的情况下，仅仅参考类别114。另外，在成分分析的类别中，在任意的两个类别中、共同人物的脸都被包括于两个类别。
成分系数变换部104，对在各类别114中包括的结构成分的成分分析时的系数进行变换。在本实施方式中，与第二实施方式同样地，例示出了使用主成分分析作为成分分析的情况。
对于成分系数变换部104进行的系数变换进行说明。成分分析所使用的两个类别114分别是类别A以及类别B。并且，类别A以及类别B所包括的主成分(结构成分)分别是Pi(i＝1，…，n)以及Qi(i＝1，…，m)。并且，与各主成分Pi、Qi对应的系数分别是ci(i＝1，…，n)以及di(i＝1，…，m)。以下，说明从系数ci变换成系数di的情况。
利用类别A以及类别B所包括的结构成分生成的同一人物的经年变化前后的脸图像分别是Ip以及Jp。此时，脸图像Ip以及Jp分别利用式子(2)以及式子(3)来表示。
Ip＝C1P1+C2P2+…+CnPn…(2)Jp＝d1Q1+d2Q2+…+dmQm…(3)因此，系数di利用以下的式子(4)，通过对系数ci进行线性变换而求出。
在式子(4)中，矩阵A＝{aij}，通过进行一般化逆矩阵的计算求出。因此，为了进行式子(4)的计算，在类别A以及类别B两方的类别114中，需要共用并包括有至少大于等于n个人的同一人物的结构成分。矩阵A的要素aij是用于变换年龄间的结构成分的年龄间变换系数。
图11是表示图10所示的特征变化图像生成装置的特征变化图像生成方法的流程图。如果由用户输入输入图像12中的人物的年龄15，则成分分析部102b选择对应于包括人物的年龄15的年龄段的类别114(步骤S41)。如果输入输入图像12(步骤S42)，则成分分析部102b利用被选择的类别114所包括的结构成分再构成输入图像12(步骤S43)。成分分析部102b进行再构成以使生成的脸图像与输入图像12的误差变得最小。即，成分分析部102b进行再构成以使输入图像12与生成的脸图像的类似度变得最大。
如果由用户输入输入类别(指定年龄)11b，则成分分析部102b选择对应于指定年龄的类别114(步骤S44)。成分系数变换部104，利用式子(4)将再构成时所使用的各系数，变换成与指定年龄对应的类别114的系数(步骤S45)。
然后，成分分析部102b，利用变换后的系数和对应于指定年龄的类别114的结构成分，基于式子(3)，生成最小误差再构成图像13b并输出(步骤S46)。
如以上所示，根据本实施方式，类别114被形成为任意两个类别都包括与共同人物的脸相关的结构成分。利用对应于人物的年龄15的类别114的结构成分，再构成输入图像12。再构成时的系数被变换成与指定年龄相对应的类别114的系数。然后，通过使用变换后的系数生成最小误差再构成图像13b。因此，能够得到很好表示输入图像12中的脸的经年变化时的次要特征的图像。
(第五实施方式)接着，参考
本发明的第五实施方式。图12是表示第五实施方式的特征变化图像生成装置的结构例的框图。图12所示的特征变化图像生成装置，在第四实施方式所示的结构的基础上，还包括合成部103，所述合成部103合成输入图像与最小误差再构成图像。
图13是表示图12所示的特征变化图像生成装置的特征变化图像生成方法的流程图。在图13中，从步骤S41到步骤S46的处理，与如图11所示的步骤S41～步骤S46的处理相同。
合成部(图像合成部)103，与第二实施方式同样地，如果从成分分析部102b输入最小误差再构成图像，则合成输入图像12与最小误差再构成图像来生成合成图像14。然后，合成部103输出已生成的合成图像14(步骤S57)。
另外，在不能够生成与输入图像12足够类似的最小误差再构成图像的情况下，也可以反复执行再构成的处理。图14是表示如图12所示的特征变化图像生成装置的结构一部分被改变了的变形例的框图。并且，图15是表示如图14所示的特征变化图像生成装置的特征变化图像生成方法的流程图。
在图14所示的变形例中，与图6所示的变形例同样地，合成部103，在输入图像12与最小误差再构成图像的类似度小于等于规定值的情况下(步骤S57a)，合成输入图像12与最小误差再构成图像，并将合成了的图像输出到成分分析部102b(步骤S57b)。即，合成部103，将合成图像反馈给成分分析部102b。
如果输入合成图像，则成分分析部102b基于被输入的合成图像，进行脸图像的再构成的处理(步骤S58)。并且，成分系数变换部104将已蒋构成的脸图像的各系数变换为对应于指定年龄的类别的系数(步骤S59)。成分分析部102b，利用变换后的系数与对应于指定年龄的类别的结构成分，再次生成最小误差再构成图像。成分分析部102b将该被生成的最小误差再构成图像输出到合成部103(步骤S60)。
然后，合成部103合成先前被反馈的合成图像、与从成分分析部102b再次输入的最小误差再构成图像，生成并输出合成图像14(步骤S61)。另外，在图15中，虽然例示出了只进行了一次的反馈的情况，但在于步骤S60中生成的最小误差再构成图像与输入图像12的类似度小于等于规定值的情况下，再次执行步骤S57b以后的处理。
通过反复进行再构成处理，即使在输入图像12与类别114所处的图像空间相差悬殊的情况下，也能够调和输入图像12与再构成图像。
另外，在上述的各实施方式中，主要例示出了对人物的脸图像施加经年变化的特征变化图像生成装置。但是，本发明并不限于对脸图像附加特征的情况，也可以适用于对脸图像以外的图像附加特征的情况。
并且，上述各实施方式的特征变化图像生成装置，可以通过计算机来实现。即，也可以提供实现上述的对照部102、合成部103、成分分析部102b、成分系数变换部104的功能的程序，储存于计算机的存储部。计算机的运算处理装置，通过基于这些程序来执行处理，可以实现上述各实施方式的特征变化图像生成处理。
本发明可以适用于生成经年变化时的蒙太奇照片的用途。即使在没有年轻时的脸图像的情况下，也可以生成假想经年变化后的脸图像。并且，本发明也可以适用于在带有摄像头的移动电话或游戏中心等中利用的娱乐用途。
权利要求
1.一种特征变化图像生成方法，从输入图像生成新的图像，包括提供步骤，提供分别与多个图像相关的多个数据被分类成多个类别的数据库；确定步骤，基于在所述多个类别之中被指定的类别所属的数据，确定与所述输入图像最类似的图像作为选择图像；合成步骤，合成所述选择图像与所述输入图像。
2.根据权利要求1所述的特征变化图像生成方法，其中，在所述提供步骤中，提供所述多个图像被分类成所述多个类别的数据库，在所述确定步骤中，从所述被指定的类别所属的图像，确定与所述输入图像最类似的图像作为所述选择图像。
3.根据权利要求1所述的特征变化图像生成方法，其中，在所述提供步骤中，提供所述多个图像的结构成分被分类成所述多个类别的数据库，所述确定步骤，包括通过利用所述被指定的类别所属的所述结构成分，确定能够得到与所述输入图像最类似的图像的所述结构成分的组合；基于所述已被确定的组合，生成与所述输入图像最类似的图像作为所述选择图像。
4.根据权利要求1所述的特征变化图像生成方法，其中，在所述提供步骤中，提供所述多个图像被分类成所述多个类别的数据库，所述多个类别分别包括对于同一对象其属性逐渐变化的多个图像，所述确定步骤，包括从所述多个类别之中与具有所述输入图像的属性相对应的类别所属的图像，选择与所述输入图像最类似的图像作为类似图像；从所述被指定的类别所属的图像，确定有关与所述类似图像相同的对象的图像作为所述选择图像。
5.根据权利要求1所述的特征变化图像生成方法，其中，在所述提供步骤中，提供所述多个图像的结构成分被分类成所述多个类别的数据库，所述多个类别分别包括对于同一对象其属性逐渐变化的多个图像的结构成分，所述确定步骤，包括通过利用所述多个类别之中与具有所述输入图像的属性相对应的类别所属的所述结构成分，选择得到与所述输入图像最类似的图像的所述结构成分的组合；将对于所述已选择的组合的成分系数，变换成对于所述已被指定的类别的成分系数即变换后系数；通过利用所述变换后系数与所述被指定的类别所属的所述结构成分，生成所述选择图像。
6.根据权利要求1至5中任意一项所述的特征变化图像生成方法，其中，所述多个图像分别是人物的脸图像，所述多个类别基于年龄来区分。
7.根据权利要求6所述的特征变化图像生成方法，其中，在所述输入图像的人物的年龄比由用户指示的年龄小的情况下，选择所述多个类别之中对应于所述被指示的年龄之上的年龄的类别，作为所述被指定的类别。
8.根据权利要求6所述的特征变化图像生成方法，其中，在所述输入图像的人物的年龄比由用户指示的年龄大的情况下，选择所述多个类别之中对应于所述被指示的年龄之下的年龄的类别，作为所述被指定的类别。
9.一种特征变化赋予方法，对输入图像逐渐地施加特征变化，包括提供步骤，提供多个图像的结构成分被分类成多个类别的数据库，所述多个类别分别包括对于同一对象其属性逐渐变化的多个图像的结构成分；选择步骤，通过利用所述多个类别之中与具有所述输入图像的属性相对应的类别所属的所述结构成分，选择得到与所述输入图像最类似的图像的所述结构成分的组合；变换步骤，将对于所述已被选择的组合的成分系数，变换成对于已被指定的类别的成分系数即变换后系数。
10.根据权利要求9所述的特征变化赋予方法，其中，所述多个图像分别是人物的脸图像，所述多个类别基于年龄来区分。
11.一种特征变化图像生成装置，从输入图像生成新的图像，包括存储部，其分别将与多个图像相关的多个数据分类成多个类别而储存；图像确定部，其基于在所述多个类别之中属于被指定的类别的数据，确定与所述输入图像最类似的图像作为选择图像；合成部，其合成所述选择图像与所述输入图像。
12.根据权利要求11所述的特征变化图像生成装置，其中，在所述存储部，将所述多个图像分类成所述多个类别而储存，所述图像确定部，从所述被指定的类别所属的图像，确定与所述输入图像最类似的图像作为所述选择图像。
13.根据权利要求11所述的特征变化图像生成装置，其中，在所述存储部，将所述多个图像的结构成分分类成所述多个类别而储存，所述图像确定部，通过利用所述被指定的类别所属的所述结构成分，确定得到与所述输入图像最类似的图像的所述结构成分的组合，基于所述被确定的组合，选择与所述输入图像最类似的图像作为所述选择图像。
14.根据权利要求11所述的特征变化图像生成装置，其中，在所述存储部，将所述多个图像分类成所述多个类别而储存，所述多个类别分别包括对于同一对象其属性逐渐变化的多个图像，所述图像确定部，从在所述多个类别之中与具有所述输入图像的属性相对应的类别所属的图像，选择与所述输入图像最类似的图像作为类似图像，从所述被指定的类别所属的图像，确定有关与所述类似图像相同的对象相关的图像作为所述选择图像。
15.根据权利要求11所述的特征变化图像生成装置，其中，在所述存储部，将所述多个图像的结构成分分类成所述多个类别而储存，所述多个类别分别包括对于同一对象其属性逐渐变化的多个图像的结构成分，所述图像确定部，通过利用在所述多个类别之中与具有所述输入图像的属性相对应的类别所属的所述结构成分，选择得到与所述输入图像最类似的图像的所述结构成分的组合，将对于所述已被选择的组合的成分系数，变换成对于所述已被指定的类别的成分系数即变换后系数，通过利用所述变换后系数和所述被指定的类别所属的所述结构成分，生成所述选择图像。
16.根据权利要求11至15中的任意一项所述的特征变化图像生成装置，其中，所述多个图像分别是人物的脸图像，所述多个类别基于年龄来区分。
17.根据权利要求16所述的特征变化图像生成装置，其中，还具备选择部，在所述输入图像的人物的年龄比由用户指示的年龄小的情况下，所述选择部，选择所述多个类别之中对应于所述被指示的年龄之上的年龄的类别，作为所述被指定的类别。
18.根据权利要求16所述的特征变化图像生成装置，其中，还具备选择部，在所述输入图像的人物的年龄比由用户指示的年龄大的情况下，所述选择部，选择所述多个类别之中对应于所述被指示的年龄之下的年龄的类别，作为所述被指定的类别。
19.一种特征变化赋予装置，对输入图像逐渐地施加特征变化，其中，具备多个图像的结构成分被分类成多个类别并被储存的存储部，和成分系数变换部，所述多个类别分别包括对于同一对象其属性逐渐变化的多个图像的结构成分，所述成分系数变换部，通过利用所述多个类别之中属于与具有所述输入图像的属性相对应的类别的所述结构成分，选择得到与所述输入图像最类似的图像的所述结构成分的组合，将对于所述已被选择的组合的成分系数，变换成对于已被指定的类别的成分系数。
20.根据权利要求19所述的特征变化赋予装置，其中，所述多个图像分别是人物的脸图像，所述多个类别基于年龄来区分。
21.一种特征变化图像生成程序，由计算机所执行，用于从输入图像生成新的图像，其中，所述计算机具备存储装置，其分别将与多个图像相关的多个数据分类成多个类别而储存，所述特征变化图像生成程序，在所述计算机中执行基于从所述多个类别之中指定的类别所属的数据，确定与所述输入图像最类似的图像作为选择图像，合成所述选择图像与所述输入图像。
22.根据权利要求21所述的特征变化图像生成程序，其中，在所述存储装置，将所述多个图像分类成所述多个类别而储存，所述特征变化图像生成程序，在所述计算机中执行从所述被指定的类别所属的图像，确定与所述输入图像最类似的图像作为所述选择图像。
23.根据权利要求21所述的特征变化图像生成程序，其中，在所述存储装置，将所述多个图像的结构成分分类成所述多个类别而储存，所述特征变化图像生成程序，在所述计算机中执行通过利用所述被指定的类别所属的所述结构成分，确定得到与所述输入图像最类似的图像的所述结构成分的组合，基于所述被确定的组合，生成与所述输入图像最类似的图像作为所述选择图像。
24.根据权利要求21所述的特征变化图像生成程序，其中，在所述存储装置，将所述多个图像分类成所述多个类别而储存，所述多个类别分别包括对于同一对象其属性逐渐变化的多个图像，所述特征变化图像生成程序，在所述计算机中执行从在所述多个类别之中与具有所述输入图像的属性相对应的类别所属的图像，选择与所述输入图像最类似的图像作为类似图像，从所述被指定的类别所属的图像，确定有关与所述类似图像相同的对象的图像作为所述选择图像。
25.根据权利要求21所述的特征变化图像生成程序，其中，在所述存储装置，将所述多个图像的结构成分分类成所述多个类别而储存，所述多个类别分别包括对于同一对象其属性逐渐变化的多个图像的结构成分，所述特征变化图像生成程序，在所述计算机中执行通过利用在所述多个类别之中与具有所述输入图像的属性相对应的类别所属的所述结构成分，选择得到与所述输入图像最类似的图像的所述结构成分的组合，将对于所述已被选择的组合的成分系数，变换成对于所述已被指定的类别的成分系数即变换后系数，通过利用所述变换后系数和所述被指定的类别所属的所述结构成分，生成所述选择图像。
26.一种特征变化赋予程序，由计算机执行，对输入图像逐渐地施加特征变化，其中，所述计算机具备存储装置，其将多个图像的结构成分分类成多个类别而储存，所述多个类别分别包括对于同一对象其属性逐渐变化的多个图像的结构成分，所述特征变化赋予程序，在所述计算机中执行通过利用所述多个类别之中与具有所述输入图像的属性相对应的类别所属的所述结构成分，选择得到与所述输入图像最类似的图像的所述结构成分的组合，将对于所述已被选择的组合的成分系数，变换成对于已被指定的类别的成分系数即变换后系数。
全文摘要
提供可以保留原来的图像的主要特征，并且可以施加次要的属性的特征的技术。图像积存部预先将多个图像按照年龄或性别分类成多个类别并存储。对照部根据输入类别选择类别。对照部对输入图像与被选择的类别所包括的各图像进行对照，选择类似度最大的图像。合成部对输入图像与被选择的图像进行加权平均等来进行合成，生成合成图像并输出。
文档编号G06T1/00GK1910611SQ20058000228
公开日2007年2月7日 申请日期2005年1月6日 优先权日2004年1月13日
发明者丸龟敦 申请人:日本电气株式会社