专利名称：合成图像传送设备以及方法
技术领域：
本发明涉及一种合成图像传送设备，用于传送基于拾取场景图像 的合成图像。本发明还涉及相应的合成图像传送方法。
背景技术：
一些类型的常规静像照相机或者摄像机具有组合拾取的图像与其 他图像，以及显示得到的合成图像的功能。例如，这种目前正在实际使用的照相机可以输出通过组合拾取场 景图像与花或者流行角色(character)的动画图像而形成的合成图像， 其中所述动画图像被设置在拾取帧中的固定或者期望位置上。可以将由数字照相机拾取的图像显示在个人计算机的显示屏幕 上，并且可以将其与不同的图像进行组合以及编辑。在该情况下，所 述不同的图像例如可以有选择地从另一个图形文件剪下，并且粘贴在 拾取图像中的期望位置处。然而，采用这种常规图像处理设备的问题在于仅仅是将准备的 图像与拾取场景图像在固定或者期望的位置处组合然后输出，因此， 除拾取图像以外，所述合成图像势必始终是单调的并且令人厌倦的
发明内容
本发明是鉴于上述问题而提出的。本发明的一个目的在于提供一 种图像输出设备， 一种图像输出处理程序以及一种图像输出方法，用 于能够不仅组合固定动画图像与拾取场景图像以便由此输出得到的合 成图像，而且能够将对应于拾取场景图像的动画图像与所述拾取场景 图像进行组合。本发明的另一个目的在于提供一种图像传送服务器， 一种图像传 送程序以及一种图像传送方法，用于能够不仅传送固定图像，而且能 够传送一般图像。为了实现上述目的，依照本发明的一个方面，提供了一种合成图 像输出设备，包括拾取场景图像获得单元(装置)，用于获取表示包含至少一个对象中 的一场景的拾取场景图像；目标图像提取单元(装置)，用于从获得单元获取的拾取场景图像中 提取表示至少一个对象中的任意一特定对象的目标图像；对应图像获得单元(装置)，用于获得对应于所述提取单元提取的目 标图像的图像；以及图像输出单元(装置)，用于将所述获得单元获得的图像添加到通过 所述拾取场景图像获得单元获取的拾取场景图像中，并且输出得到的 合成图像。在此合成图像输出设备中，当目标图像提取装置从通过获取装置 获取的拾取场景图像中提取表示至少一个对象中的任意一特定对象的 目标图像时，通过所述对应图像获得装置获得对应于提取出的目标图 像的图像。于是，将获得装置获得的图像添加到通过拾取场景图像获 取装置获取的拾取场景图像，由此输出得到的合成图像。简而言之， 用户可以享受创建可爱的合成图像的乐趣。依照本发明的另一方面，还提供了一种合成图像输出设备，包括:拾取场景图像获得单元(装置)，用于获取多个拾取场景图像，各图 像均表示包含至少一个对象的场景；目标图像提取单元(装置)，用于从所述拾取场景图像获得单元获得 的多个拾取场景图像的任意一选择的拾取场景图像中、提取表示至少 一个对象中的任意一特定对象的目标图像；对应图像获得单元(装置)，用于获得对应于所述提取单元提取的目 标图像的图像；以及图像输出单元(装置)，用于利用对应图像获得单元获得的图像替代 在所述拾取场景图像中提取出的目标图像，用于将对应图像添加到目 标图像提取单元没有从中提取目标图像的其他多个拾取场景图像的一 所选图像，并且用于输出得到的合成图像。在此合成图像输出设备中，当目标图像提取装置从通过拾取场景 图像获取装置获取的多个拾取场景图像的任一项中提取表示至少一个 对象中的任意一特定对象的目标图像时，通过所述对应图像获得装置 获得对应于提取出的目标图像的图像。于是，通过所述图像输出装置， 将目标图像提取装置提取出的目标图像替换为对应图像获得装置获得 的图像。此外，通过所述图像输出装置，然后将对应图像添加到目标 图像提取装置没有从中提取目标图像的其他多个拾取场景图像的一所 选图像，以便输出得到的合成图像。简而言之，用户可以享受创建可 爱的图像的乐趣。依照本发明的又一方面，还提供了一种合成图像传送设备，包括拾取场景图像接收器(接收装置)，用于从终端接收表示包含对象的 场景的拾取场景图像；目标图像提取器(提取装置)，用于从由拾取场景图像接收单元接收 到的拾取场景图像中提取表示所述对象的目标图像；
对应图像获得器(获得装置)，用于获得对应于所述目标图像提取单元提取的目标图像的图像；图像添加器(添加装置)，用于将对应图像获得器获得的对应图像添 加到拾取场景图像，以便由此提供得到的合成图像；以及图像传送器(传送装置)，用于将图像添加器提供的合成图像传送到 终端。在所述合成图像传送设备中，当从终端接收到表示包含至少一个 对象的场景的拾取场景图像时，目标图像提取装置从接收的拾取场景 图像中提取表示所述对象的目标图像。对应于提取出的目标图像的图 像通过所述对应图像获得装置获得。于是，通过所述图像添加装置将 获得的图像添加到拾取场景图像，以便由此提供一种得到的合成图像， 然后将其通过图像传送装置传送到终端。简而言之，用户可以享受创 建可爱的图像的乐趣。依照本发明的又一方面，还提供了一种合成图像传送设备，所述 合成图像传送设备与终端进行通信，所述终端提取拾取场景图像中包 含的目标图像，发送有关所提取的目标图像的终端姿态信息，接收对 应于所述姿态信息的图像，其中所述姿态信息是终端响应合成图像传 送设备发送姿态信息而发送的，将所述对应图像添加到拾取场景图像， 由此输出得到的合成图像，所述设备包括姿态信息接收器(接收装置)，用于从所述终端接收拾取场景图像中 包含的目标图像的姿态信息；对应图像存储存储器(存储装置)，具有所存储的多个图像，每个图 像均对应于姿态信息的不同项的相应一个；以及图像传送器(传送装置)，用于从对应图像存储存储器读取对应于由 姿态信息接收器接收到的姿态信息的图像，并且将读取的图像传送到 终端。 在此合成图像传送设备中，当所述终端提取拾取场景图像中包含 的目标图像、并且将目标图像的姿态信息发送到所述合成图像传送设 备时，所述合成图像传送设备在其姿态信息接收装置中接收所述姿态 信息。于是，所述图像传送装置从对应图像存储装置中读取对应于所 接收的姿态信息的图像，并且将其传送到所述终端。简而言之，所述 终端可以从所述图像传送设备接收对应于从拾取场景图像中提取的目 标图像的图像，并且将所述图像添加到拾取场景图像，以便由此输出 合成出来的感兴趣的合成图像。由此，用户可以享受创建可爱的图像 的乐趣。
图1是示出了依照本发明第一实施例的图像输出设备10的电子电路结构的框图。图2示出了分别存储在图像输出设备10中的角色1"兔子"姿态图像 存储器12d、角色2"熊"姿态图像存储器12e以及角色3"猫"姿态图像存储 器12啲采用各种姿态的"兔子"、"熊"以及"猫"角色的图像(部分l)。图3示出了分别存储在图像输出设备10中的角色1"兔子"姿态图像 存储器12d、角色2"熊"姿态图像存储器12e以及角色3"猫"姿态图像存储 器12飾采用各种姿态的"兔子"、"熊"以及"猫"角色的其他图像(部分2)。图4示出了分别存储在图像输出设备10中的角色1"兔子"姿态图像 存储器12d、角色2"熊"姿态图像存储器12e以及角色3"猫"姿态图像存储 器12啲采用各种姿态的"兔子"、"熊"以及"猫"角色的进一步图像(部分 3)。图5示出了存储在图像输出设备10的模型姿态存储器12b中的模型 的各种姿态的图像(部分l)。图6示出了存储在图像输出设备10的模型姿态存储器12b中的模型
的其他各种姿态的图像(部分2)。图7示出了存储在图像输出设备10的模型姿态存储器12b中的模型 的再进一步的各种姿态(部分3)。图8(A)作为一个例子示出了基于标准身体形状的对象图像(目标图 像)产生的并且存储在图像输出设备10的大小调节的模型姿态图像存储 器12c的模型图像(姿态lA到5A)。图8(B)作为另一个例子示出了图8(B)中将大小调节为不标准的身 体形状对象图像(目标图像)并且存储在存储器2C中的模型图像(姿态 1A到5A)。图9是示出了当图像输出设备10规定了跟随者添加模式时，将"熊" 角色图像作为跟随者附加到拾取场景图像的示意图。图10是示出了当图像输出设备10规定了空白区域角色图像添加模 式时，在拾取场景图像的空白区中添加"猫"角色图像的示意图。图11是示出了当图像输出设备10规定了镜像反转角色图像添加模 式时，在拾取场景图像中添加镜像反转的"兔子"角色图像的示意图。图12是示出了当图像输出设备10规定了多个图像拾取/替代模式 时，利用"兔子"角色图像替代对象图像的示意图。图13是示出了当图像输出设备10规定了对象选择/替代模式时，利 用"兔子"角色图像替代对象图像的示意图。图14是示出了图像输出设备10执行的图像处理(部分1)的流程图。图15是示出了从图像输出设备10将执行的接续图14的图像处理 (部分1)的图像处理(部分2)的流程图。图16(A)和(B)分别示出了将在图像输出设备10中执行的图像处理 中包括的目标图像提取过程(方法1和2)的流程图。图17(A)和17(B)是分别示出了图像输出设备10中将执行的图像处 理中包括的对应动画图像获取过程(方法1和2)的流程图。
图18是示出了用于评估角色/模型图像的姿态与图17(A)/17(B)的对 应动画图像获取过程(方法l)/(方法2)中包括的模仿的目标图像的相似 性的过程。图19是示出了在图17 (A)中对应动画图像获取过程(方法l)中 包括的姿态相似性评估过程中，评估指定角色图像与目标图像在姿态 上的相似性的 一特定例子的示意图。图20是示出了在图17(B)中对应动画图像获取过程(方法2)中包括的姿态相似性评估过程中、评估模型图像与目标图像在姿态上的相似 性的一特定例子的示意图。图21是示出了在图17(B)的对应动画图像获取过程(方法2)中包括 的姿态相似性评估过程中，评估模型图像与目标图像在姿态上(部分2) 的相似性的另一特定例子的示意图。图22是示出了图像输出设备110的姿态模型的大小调整过程的流程图。图23是示出了依照本发明第二实施例的图像传送系统中图像传送 服务器110的电子电路结构的框图。图24是示出了依照第二实施例的图像传送系统中的终端120的电子电路结构的框图。图25是示出了依照第二实施例的当规定了多个拾取替代模式时， 通过图像传送服务器110根据来自于图像传送系统的终端设备120的请求来利用其它图像替代目标图像并且添加"熊"角色图像的示意图。图26是示出了依照第二实施例的图像传送系统的终端120的图像处理(部分l)的流程图。图27是示出了由图像传送系统的终端120从图26的图像处理(部分1)继续的图像处理(部分2)的流程图。图28是示出了依照第二实施例的图像传送系统的图像传送服务器 io的服务器处理(部分i)的流程图。图29是示出了依照第二实施例的由图像传送服务器10执行的接续 图28的服务器处理(部分1)的服务器处理(部分2)的流程图。图30是示出了依照第二实施例在图像传送服务器10中的服务器处 理中包括的目标图像提取过程的流程图。图31是示出了依照第二实施例在图像传送服务器10中的服务器处理中包括的对应动画图像获取过程的流程图。图32是示出了依照第二实施例评估模型图像与目标图像在姿态上 相似性的示意图，该评估将在图像传送系统10的对应动画图像获取过 禾呈中包括的姿态相似性评估过程中执行。图33是示出了依照第三实施例的图像传送系统的终端120的图像 处理(部分l)的流程图。图34是示出了由图像传送系统的终端设备120接续图33的图像处 理(部分1)的图像处理(部分2)的流程图。图35是示出了依照第三实施例的图像传送系统的图像传送服务器 IIO的服务器处理的流程图。图36是示出了依照所述第三实施例的图像传送系统的终端120中 的所述图像处理中包括的目标图像提取过程的流程图。图37是示出了依照所述第三实施例的图像传送系统的终端120中 的所述图像处理中包括的姿态编号确定确定过程的流程图。图38是示出了依照第三实施例在图像传送系统的终端120的图像 处理中包括的姿态编号确定过程中、评估模型图像与模仿的目标图像 在姿态上相似性的流程图。图39是示出了根据第三实施例的作为用于图像传送服务器110中 的运动图像的姿态角色图像的，触发存储在图像传送服务器110中的运 动图像'兔子"角色姿态图像存储器12dM中的各种姿态的动画"兔子"角 色的图像。图40是示出了依照第四实施例的图像传送系统的通用结构的框图。图41是依照第四实施例示出了在图像传送系统中用户的原始角色 图像寄存过程的流程图，其中图41(A)是示出了在携带式电话200A侧上 执行的过程的流程图，而图41(B)是示出了在图像传送服务器210侧上执 行的过程的流程图。
具体实施方式
将参照附图描述本发明的优选实施例。 (第一实施例)图1是示出了依照本发明第一实施例的图像输出设备10的电子电 路结构的框图。此图像输出设备1 o包括计算机，用于读取记录在各种记录介质上的程序或者从外部接收的程序，并且依照所述程序来控制其自身操作。计算机的电子电路包括CPU(中央处理单元)l 1 。所述CPU 11依照预先存储在存储器12中的设备控制程序来控制电 路部件的操作，所述设备控制程序从诸如CD-ROM的外部记录介质13 经由记录介质读出器14读入存储器12中，或者所述设备控制程序从互 联网N上的网络服务器21 (在该情况下，是程序服务器)经由电子传输控 制器15读入存储器12。存储在存储器12中的设备控制程序通过响应输 入单元16的用户操作而发出的输入信号来启动，所述输入单元16具有 按键或者触摸面板，或者通过经由图像输入单元17输入的图像信号来 启动，或者通过用于在互联网N上与每个网络服务器21通信的通信信号 来启动，该互联网N经由所述电子传输控制器15连接到所述图像输出设 备10。
除了存储器12、记录介质读出器14、电子传输控制器15、输入单 元16和图像输入单元17，所述CPU 11还与距离传感器18、包括LED的 显示单元19以及图像输出单元20相连。图像输入单元17从数字照相机17A、数字视频电影摄影机17B或者 VTR(放像机)17C有选择地获得拾取场景图像数据。所述距离传感器18在将对象图像输入到图像输入单元17的场景中 检测距离传感器18和对象之间的距离。所述图像输出单元20基于经由图像输入单元17接收的拾取场景图 像输出通过此设备处理的图像数据。将输出的图像数据有选择地输出 到存储卡20A、 VTR(录像机)20B或者图像打印机20C，以便存储、记录或者打印所述图像。所述存储器12已经存储了用于负责控制图像输出设备10的整个操 作的系统程序，以及用于经由所述电子传输控制器15与互联网N上的每 个网络服务器21交换数据的通信程序。所述存储器12还已经存储了图 像处理程序12a，用于经由图像输入单元17和图像输出单元20、通过所 述图像输出设备10执行对应于拾取场景图像中目标图像的图像组合/输 出过程。此外，所述存储器12已经准备了模型姿态图像存储器12b、大小调 节的模型姿态图像存储器12c、角色l"兔子"姿态图像存储器12d、"熊" 姿态图像存储器12e和角色3"猫"姿态图像存储器12f。此外，它已经在 其工作区中准备了拾取场景图像存储器12g和图像处理工作区12h。图2示出了触发分别存储在图像输出设备10的角色1"兔子"姿态图 像存储器12d、角色2"熊"姿态图像存储器12e和角色3"猫"姿态图像存储 器12沖的各种姿态(部分1)的"兔子"、"熊"和"猫"的角色图像。图3示出了触发分别存储在图像输出设备10的角色1"兔子"姿态图 像存储器12d、角色2"熊"姿态图像存储器12e和角色3"猫"姿态图像存储
器12沖的各种姿态(部分2)的"兔子"、"熊"和"猫"的角色图像。图4示出了触发分别存储在图像输出设备10的角色1"兔子"姿态图 像存储器12d、角色2"熊"姿态图像存储器12e和角色3"猫"姿态图像存储 器12沖的各种姿态(部分3)的"兔子"、"熊"和"猫"的角色图像。触发存储在角色"兔子"、"熊"和"猫"姿态图像存储器12d、 12e和12f 中的各种姿态的每个不同类型的角色图像，可以用作模仿相应对象(目 标)图像之一的姿态的角色图像，其中所述对象图像位于从所述图像 输入单元17输入的拾取场景图像中。将不同姿态编号与不同姿态依照 对应关系存储。图5示出了对应于存储在图像输出设备10的模型姿态存储器12b中的各种模型姿态(部分l)的模型的图像。图6示出了对应于存储在图像输出设备10的模型姿态存储器12b中的各种模型姿态(部分2)的模型图像。图7示出了对应于存储在图像输出设备10的模型姿态存储器12b中的各种模型姿态(部分3)的进一步的模型图像。触发存储在模型姿态图像存储器12b中的各种姿态的每个模型图像用来获得在姿态上与对象(目标)图像类似的模型图像，其中所述对象 图像位于从图像输入单元17输入的拾取场景图像中。将不同的姿态依 照对应关系用不同的姿态编号来存储，并且为每个姿态编号存储A、 B 和C三种模型图像。存储在角色l"兔子"姿态图像存储器12d、角色2"熊"姿态图像存储 器12e和角色3"猫"姿态图像存储器12冲的各个"兔子"、"熊"和"猫"的角 色图像，对应于触发存储在所述模型姿态图像存储器12b中的所有姿态 编号(编号1A、 1B、 1C、 2A、 2B、 2C、 ... nA、 nB、 nC)表明的姿态的 模型图像。图8示出了存储在图像输出设备的大小调节的模型姿态图像存储
器12c中的大小调节的姿态图像，其中图8(A)作为一个例子示出了根据 显示在图8(A)左侧的标准身体形状对象(目标)图像生产并且存储在存 储器12c中的模型姿态图像(具有姿态lA到5A)。图8(B)作为一个例子示 出了通过将图8(A)各个标准身体形状模型姿态图像的大小纵向和横向 调节为不标准的身体形状对象(目标)图像并且存储在所述存储器12c而 获得的大小调节的模型姿态图像(具有姿态1A到5A)。
如下获得将存储在大小调节的模型姿态图像存储器12c中的大小 调节的模型图像。在图8(A)中通过姿态2A示出的全长的标准身体形状 姿态模型图像在大小上被调节(纵向以及横向)为图8(B)中所示的不标 准的身体形状对象图像，以变成对应于姿态2A的大小调节的图像。依 照姿态2A的大小调节的模型图像的大小调节比例(平衡)，其他姿态的 所有其他标准身体形状模型图像都是大小调节为非标准身体形状的模 型图像的，然后被存储在大小调节的模型姿态图像存储器12c中。
所述拾取场景图像存储器12g从图像输入单元17接收拾取场景图 像数据，并且依照拾取场景图像的单位来存储拾取场景图像数据。
当处理所述图像数据时，所述图像处理工作区12h暂时存储待依照 图像处理程序12a处理的图像数据。
此刻将略述如上所述构造的图像输出设备10的操作。
图9举例说明了当图像输出设备10规定了跟随者添加模式时，附加 作为跟随者的"熊"角色图像。
当如图9(B)所示从图9(A)的拾取场景图像12gl提取对象(目标)图像 H、并且将"熊"角色图像规定作为跟随者时，从角色2"熊"姿态图像存 储器12e读取在姿态上类似于图9(C)所示对象图像H的姿态4(侧视图)的 "步行"角色图像"熊"。于是，从在一系列拾取场景图像12gl上呈现对象 图像H的位置识别出拾取场景图像12gl中的一位置，所述对象图像H在 确定的时间周期以前呈现在该位置。将从角色2"熊"姿态图像存储器12e
中读取的姿态4的"步行熊"角色图像(侧视图)添加到拾取场景图像中的 一个位置处，在该位置处，对象图像H在确定的时间周期以前就存在， 如图9(D)所示。
简而言之，将姿态上类似于拾取场景图像12gl中的对象图像H的 "步行熊"角色图像添加到拾取图像中"熊"角色图像跟随对象图像H的 位置处。
图10举例说明了当规定了空白区域角色图像添加模式时、图像输 出设备10在空白区中添力口"猫"角色图像。
如果指定了模仿的对象(目标)图像H1并且从图10(A)的拾取场景 图像12g2中提取出，如图10(B)所示，并且指定将"猫"角色图像添加到 空白区，那么从如图10(C)所示的角色3"猫"姿态图像存储器12沖读取 在姿态上类似于对象(目标)图像H1的姿态10("万岁")的"猫"角色图像。 然后，将此读取的姿态10("万岁")的"猫"角色图像添加到拾取场景图像 12g2中空白区的任何随机位置处，其中不存在对象(目标)图像H1和 H2，如图10(D)所示。
简而言之，将模仿在拾取场景图像12g2中指定的对象图像的姿态 的"猫"角色图像添加到拾取场景图像12g2的空白区中的任何随机位置 处。
图11举例说明了当图像输出设备10规定了镜像反转图像添加模式 时附加镜像反转的"兔子"角色图像。
如果如图ll(B)所示从拾取场景图像12g3提取对象(目标)图像H, 其中拾取场景图像12g3包括有意识与伙伴(未示出)跳舞的对象(目标) 图像H，例如图11(A)所示，并且如果指定"兔子"角色图像作为舞蹈伙 伴角色图像被添加时，那么从角色l"兔子"姿态图像存储器12d中读取 在姿态上类似于对象(目标)图像H的姿态19("跳舞")的"兔子"角色图 像，如图ll (C)所示。于是，将读取的"兔子"角色图像镜像反转，并
且作为舞伴添加到拾取场景图像12g3中的一位置处，其中镜像反转的 "兔子"图像与跳舞目的的对象(目标)图像H链接，如图11(D)所示。
简而言之，将模仿拾取场景图像12g3中对象图像H的跳舞姿态的 "兔子"角色图像镜像反转，并且作为舞伴添加到拾取场景图像的位置 处，其中所述镜像反转"兔子"与对象图像H链接。
图12举例说明了当图像输出设备10规定了多个图像拾取/替代模式 时通过"兔子"角色图像替代对象图像。
例如，当用户希望产生作为替代图像的"兔子"角色给于用户亲吻 的场景图像时，从图12(A)的第一拾取场景图像12g4中提取希望触发亲 吻姿态的对象(目标)图像H1，如图12 (B)所示，其中所述图12(A) 包含触发亲吻姿态的对象图像H1。当将"兔子"角色图像指定为替代角 色图像时，从角色l"兔子"姿态图像存储器12d中读取在姿态上类似于 对象(目标)图像H1的具有姿态20 ("亲吻")的"兔子"角色图像，如 图12(C)所示。
然后，如图12(D)所示，从角色l"兔子"姿态图像存储器12d读取的、 在姿态上类似于所述第一对象图像H1的姿态20("亲吻")的"兔子"角色 图像被添加到第二拾取场景图像12g4'，所述第二拾取场景图像12g4'包 含在姿态上不同于第一拾取图像中对象(目标)图像H的对象图像H2， 如图12(E)所示。
简而言之，将模仿第一拾取场景图像12g4中的对象图像Hl的"兔 子"角色图像与第二拾取场景图像12g4'中的对象图像H2组合。
图13举例说明了当图像输出设备1 O选择了对象选择/替代模式时、
由角色"兔子"图像替代对象图像。
如果指定了一对象图像H1并且如图13(B)所示从拾取场景图像 12g5中提取作为待替代的图像，并且将"兔子"图像指定为替代对象图 像，其中所述拾取场景图像12g5例如包含三个对象图像Hl到H3，如图13(A)所示，那么从角色l"兔子"姿态图像存储器12d中读取在姿态上类 似于对象图像H1的具有姿态1(笑一笑(特写镜头))的"兔子"角色图像， 如图13 (C)所示。另一方面，将指定的对象图像H1以及其他对象图像H2、 H3从拾取 场景图像12g5中剪切，并且分别如图13(B)、 13(F)、 13(E)和13(D)所示 那样产生背景图像12g5'。于是，如图13(G)所示，将从角色l"兔子"姿态图像存储器12d读取 的在姿态上类似于指定的对象图像H1的"兔子"角色图像和从拾取场景 图像12g5中剪切的对象图像H2、 H3与背景图像12g5 '组合，并依照到 图像被拾取的各个对象的图像拾取距离的递减次序使它们处于相应的 适当位置处。简而言之，模仿拾取场景图像12g5中的指定的对象图像Hl的姿态 的"兔子"角色图像替代指定的对象图像H1 ，由此提供得到的合成图像。然后，将更详细地描述图像输出设备10将执行的图像处理。图14是示出了图像输出设备10执行的图像处理(部分1)的流程图。图15是示出了接续图14的图像处理(部分1)的通过所述图像输出设 备10执行的图像处理(部分2)的流程图。将用作拾取场景图像12g中的添加角色或者替代的角色类型("兔 子"、"熊"或者"猫")通过操纵输入单元16进行指定(步骤S 1)。从以下组中选择并且指定添加/组成模式或者替代/组成模式 "1-1:随机空白区域角色图像添加模式"、"l-2:跟随者添加模式"、"l-3: 镜像反转角色图像添加模式"以及"2-1:对象图像选择/替代模式"以及 "2-2:多个图像拾取/替代模式"。(步骤S2)。当数字照相机17A、数字视频电影摄影机17B或者VTR(播放器)17C 拾取的场景图像12gn开始被输入到图像输出设备12gn(步骤S3)、并且执 行启动操作以添加指定的角色图像到场景图像12gn(步骤S4)时，所述过
程进行到图16中的提取对象图像(步骤S A)。图16(A)和16(B)是图像输出设备10中图像处理中分别包括的目标 图像提取过程(方法1和2)的流程图。在图16(A)的目标图像提取过程(方法l)中，经由图像输入单元17以 预定时间顺序输入到图像输出设备10的一系列拾取场景图像12gn被存 储在工作区的拾取场景图像存储器12g中(步骤Al 1)。于是，提取触发对应于每个对象的移动的不同姿态的对象图像Hn 作为存储在拾取场景图像存储器12g中的系列拾取场景图像12gn的每 个的相应块(步骤A12)，并且在图像处理工作区12h中排序(步骤A13)。在图16(B)的目标图像提取过程(方法2)中，距离传感器18和图像被 拾取的场景中的每个对象之间的距离通过所述距离传感器18被测量(步 骤A21)。提取根据背景和对象之间的距离确定为出现于短距离中的每 个对象的图像Hn，并将其作为一独立的块(步骤A22)。然后将每个提取出的对象图像Hn作为独立的块存储在图像处理工 作区12h中(步骤A23)。当从拾取场景图像12gn提取拾取场景图像12gn中包括的每个对象 图像Hn作为一块并且存储在图像处理工作区12h中时(步骤SA)，在显示 器19上显示具有破折线包围M中的每个提取对象图像Hn的拾取场景图 像12gn，例如图9(A)、 ll(A)、 12(A)或者13(A)所示(步骤S5)。然后，确定在显示器19上显示的拾取场景图像12gn中是否存在对 象图像Hn的多个块(步骤S6)。如果确定在拾取场景图像12gn中没有对象图像Hn的多个块，那么 将从拾取场景图像12gn中提取的唯一一个对象图像Hn设定为模仿的对 象图像(步骤S6—S7a)。如果确定在拾取场景图像12gn中存在对象图像Hn的多个块，那么 用户通过操纵输入单元16从对象图像的多个块中指定模仿的目标图像
(步骤S6—S7b)。当将对象图像Hn指定为模仿的目标图像时，所述过程进行到图17 中的对应动画图像获取过程(步骤SB)。图17(A)和17(B)是分别示出了图像输出设备10中将执行的图像处 理包括的对应动画图像获取过程(方法1和2)的不同流程图。在图17(A)的所述对应动画图像获取过程(方法1)中，评估指定角色 的每个姿态图像与从拾取场景图像12gn中提取并且设定为模仿的目标 图像的对象图像Hn的姿态相似性(步骤BlC)，并且在显示器19上显示产 生最高姿态相似性的姿态角色图像(步骤B 12)。这里，当通过用户操纵输入单元16选择产生与在显示器19上显示 的模仿的目标图像具有最高姿态相似性的姿态角色图像时，将指定的 角色图像(具有其姿态编号)寄存为对应于所述模仿的目标图像的动画 图像。只要有具有不同的姿态相似性的姿态角色图像，那么每当点击 "下一显示(next display)"时、显示具有下一个最高姿态相似性的姿态 角色(步骤B13—B14)。另一方面，如果(或者每当)用户在将具有与模仿的目标图像具有最 高姿态相似性的角色图像显示在显示器19上的状态下操纵输入单元16点击"下一显示"时，那么将呈现具有第二最高姿态相似性的角色图像 (步骤B13—B15)。当通过用户操纵输入单元16显示并且选择具有最高姿态相似性的角色图像时，将所选(通过其编号指定的)角色图像寄存为对应于所述模 仿的目标图像的动画图像(步骤B13—B14)。简而言之，在所述对应动画图像获取过程(方法l)中，直接评估指 定角色的相应姿态图像与作为模仿的目标图像的对象图像Hn在姿态上 的相似性，其中所述对象图像Hn是已经从拾取场景图像12gn中提取并 且设定为所述目标图像的。根据此评估，确定指定的角色图像，并将
其用作添加角色图像或者作为触发模仿对象图像Hn的姿态的替代角色 图像。在图17(B)中的对应动画图像获取过程(方法2)中，对存储在模型姿 态图像存储器12b中的指定模型的每个姿态图像与从拾取场景图像 12gn中提取并且设定为模仿的目标图像的对象图像Hn在姿态上的相似 性进行评估(步骤B2C)。在显示器19上显示对应于具有最高姿态相似性 的模型图像的姿态编号的指定角色图像(步骤B22)。当通过用户操纵输入单元16选择对应于具有与在显示器19上显示 的模仿的目标图像具有最高姿态相似性的姿态模型图像的角色图像 时，将所述(通过其姿态编号指定的)角色图像寄存为对应于所述模仿的 目标图像的动画图像(步骤B23—B24)。另一方面，如果(或者每当)用户在将角色图像显示在显示器19的状 态下操纵输入单元16点击"下一显示"时，其中所述角色图像对应于具 有与模仿的目标图像的最高姿态相似性的模型图像的姿态编号，那么 对应于具有第二最高姿态的模型图像的姿态编号显示指定的角色图 像。只要仍存在具有不同姿态相似性的姿态角色图像，那么每当点击 "下一显示"时、显示具有下一最高姿态相似性的姿态角色(步骤 B23—B25)。然后，当通过用户操纵输入单元16选择并且显示对应于具有期望 姿态相似性的模型姿态图像的角色图像吋，将指定的(通过其姿态编号 指定的)角色图像寄存为对应于所述模仿的目标图像的动画图像(歩骤 B23—B24)。如上所述，在对应动画图像获取过程(方法2)中，评估人类图形的 基本模型的每个不同姿态图像与从拾取场景图像12gn中提取并且设定 为这种模仿的目标图像的对象图像Hn在姿态上的相似性。然后，根据 此评估，确定指定的角色图像，其模仿对象图像Hn的姿态，并且用作
添加角色或者作为替代角色。
在该情况下，与对应动画图像获取过程(方法l)相比较，其中方法l 直接评估指定角色的每个各种姿态图像与作为模仿的目标图像的对象
图像Hn在姿态上的相似性，以便确定将用作添加角色或者作为替代角 色的角色图像，所述对应动画图像获取过程(方法2)是十分有益的，在 所述方法2中，指定模型的不同姿态图像与从拾取场景图像12gn中提取 并且设定为模仿的目标图像的对象图像Hn在姿态上的相似性被评估， 并且根据基于此评估所选的模型姿态编号来确定用作添加角色或者作 为替代角色的角色图像，方法2的益处在于使用人类图形模型使其便 于获得具有与对象图像具有更高姿态相似性的模型图像，并且便于获 得具有更高姿态相似性(模仿)的角色图像。
图18是示出了在图像输出设备10待执行的图像处理中包括的图17 的对应动画图像获取过程(方法1和2)中、评估角色/模型图像与模仿的 目标图像在姿态上的相似性的流程图。
当在对应动画图像获取过程(方法l)中执行姿态相似性评估时，评 估指定角色的每个各种姿态图像与模仿的目标图像在姿态上的相似 性。当在模仿图像的对应动画获取过程(方法2)中执行姿态相似性评估 时，评估指定模型的每个各种姿态图像与模仿的目标图像在姿态上的 相似性。
图19是示出了在图像输出设备10中待执行的对应动画图像获取过 程(方法l)的姿态相似性评估过程中包括的用于评估指定角色图像与模 仿的目标图像在姿态上的相似性的例子示意图。
图20是示出了在图像输出设备10中待执行的对应动画图像获取过 程(方法2)的姿态相似性评估过程中包括的评估例子的示意图，用于评
估模型图像与模仿的目标图像在姿态上的相似性(部分l)。
图21是示出了在对应动画图像获取过程(方法2)的姿态相似性评估
过程中包括的用于评估模型图像与模仿的目标图像在姿态上的相似性(部分2)的例子示意图。首先，在相似性评估过程(方法l)中，读取具有第一姿态编号的指 定的角色图像(步骤C1)，例如图19(A)所示，并且调节指定的角色图像 和模仿的目标图像H1以便在大小(纵向和横向)上相一致，如图19(X) 所示(步骤C2)。于是，将调节了的角色图像和模仿的目标图像H1彼此重叠，然后 评估它们之间在姿态上的相似性(％),并且作为角色图像与模仿的目标 图像在姿态上的相似性加以存储(步骤C3)。这里，然后确定作为相似性评估目标的角色图像(具有第一姿态编 号)是否不对称(步骤C4)。如果确定所述角色图像不是不对称的(步骤 C4，"否")，那么顺序执行大小调节和重叠、模仿的目标图像和具有相 应顺序姿态编号的指定角色的每个姿态图像之间的重叠一相似性评 估，并且存储他们的相似性，例如图19(B)和19(C)所示(步骤 C8—C9—C2國C4)。另一方面，如果确定作为相似性评估目标的具有姿态编号的角色 图像是不对称的，那么将角色图像镜像反转(步骤C4—C5)，并且调节 反转的角色图像以及模仿的目标图像以便在大小(纵向和横向)上相一 致(步骤C6)。于是，将模仿的目标图像和反转的角色图像彼此重叠，然后评估 它们之间在姿态上的相似性(％),并且作为倒像与模仿的目标图像在姿 态上的相似性加以存储(步骤C7)。然后，如果存在更进一步的其它具有顺序姿态编号的指定角色的 姿态图像，那么如上所述顺序读取它们(步骤C9)，在具有顺序姿态 编号的指定角色的相应姿态图像和模仿的目标图像之间重复执行相似 性评估过程(步骤C2-C7)。
例如图19所示，当评估"兔子"角色图像与对象图像(目标图像)H1 在姿态上的相似性时，将具有姿态编号lA的"兔子"角色图像12d①A评 估为具有最高姿态相似性。然后，当如图20(A)或者21(A)所示那样执行相似性评估过程(方法 2)时，读取编号①A的第一姿态的模型图像(步骤C1)，并且调节(纵向和 横向)对模仿的目标图象m或者H的大小，如图20(X)或者图21(X)所示 (步骤C2)。然后，将模仿的目标图像H1或者H和调节的模型图像重叠，并且 评估它们之间在姿态上的相似性(％)，并且作为模型图像与模仿的目标 图像在姿态上的相似性存储(步骤C3)。此刻，确定作为相似性评估目标的模型图像是否是不对称的(步骤 4)。如果确定模型姿态图像12b(lA)不是不对称的，例如图20(A)或者 21(A)所示(步骤C4，"否")，那么读取具有下一姿态编号的模型图像(步 骤C8—C9)，并且用和如上所述一样的方法，在模仿的目标图像H1或 者H和下一姿态的模型图像之间重复姿态相似性评估过程(步骤 C2陽C4)。. 另一方面，例如如图20(B)或者21(B)所示，如果确定作为相似性评 估目标的具有姿态编号lB或者4B的模型图像12b(lB)或者12b(4B)在此 情形下是不对称的，那么将具有姿态编号①B或者④B的模型图像镜像 反转(步骤C4与C5),并且如图20(C)或者21(C)所示，调节此反转的模型 图像12b(lB)R或者12b(4B)R对所述模仿的目标图像Hl或者H的大小(纵 向和横向)(步骤C6)。然后，将模仿的目标图像H1或者H和反转的并且大小调节的模型 图像12b(lB)R或者12b(4B)R彼此重叠，并且评估它们之间在姿态上的 相似性(％)，并作为姿态反转的模型图像12b(lB)R或者12b(4B)R与模仿 的目标图像在姿态上的相似性加以存储(步骤C7)。 然后，如果存在具有顺序姿态编号的其它模型图像(步骤C8)，那 么将顺序读取这些模型图像(步骤C9)，用如上所述一样的方法，在模仿 的目标图像和相应的模型图像之间重复姿态相似性评估过程(步骤 C2-C7)。因此，如图所示，例如在图20中，如果在对象图像(目标图像)H1 和相应的姿态模型图像之间执行姿态相似性评估，那么将具有姿态编 号lB的模型图像12b(lB)评估为具有最高姿态相似性的一个。例如图21 所示，如果在对象图像(目标图像)H和相应的模型图像之间执行姿态相 似性评估，那么将具有姿态编号④BR的模型图像12b(4B)R评估为具有 最高姿态相似性的一个。如上所述，当在参照图17-21所述的对应动画图像获取过程(步骤 SB)中确定了用于模仿从拾取场景图像12gn中提取并且设定为这种模仿的目标图像的对象图像Hn的指定角色图像时，确定指定图像的组成 模式是添加/组成模式还是替代/组成模式(步骤S8)。如果确定指定图像的组成模式是"添加/组成模式"以及"l-l:随机 空白区域角色图像添加模式"(步骤S8到S9， "l-l")，那么将"猫"角色图 像12顿添加到拾取场景图像12g2 '中不同于提取对象块M的区域的一 空白区的随机位置并且显示，例如图10(D)所示(步骤Slla)，其中所述 "猫"角色图像12顿用于模仿作为在对应动画图像获取过程(参见图17) 中获得的模仿目标的对象图像H1的姿态"万岁"。这时，如果执行手工操作以便从将"猫"角色图像12顿从将其添加 到拾取场景图像12g2'中的当前位置，移动到任意指定的不同位置(步 骤S16到S17)，那么也将"猫"角色图像添加到不同位置并且显示得到 的合成图像(步骤S18)。于是，从图像输出单元20输出关于合成图像的数据(步骤S19)，并 且将所述数据记录在存储卡20A或者VTR(记录器)20B上，或者需要时 由图像打印机20C打印。如果确定指定的图像组成模式是"添加/组成模式"以及"l-2:跟随者添加模式"(步骤S8—S9， "l-2")，例如图9所示，将在对应动画图像 获取过程(参见图17)中获得的反转的、模仿拾取场景图像12g冲"行走" 姿态的对象图像(目标图像)H的"熊"角色图像12e④R添加到拾取场景 图像12gl'的某一位置处并且显示，在该位置"熊"角色图像跟随对象(目 标图像)H，换言之，在确定时间以前一系列拾取场景图像12gl的相关一 个中的对象图像(目标图像)H的位置，如图9(D)所示(步骤Sllb)。这时，如果通过手工操作将添加并且显示的"熊"角色图像12e④r 从其现在位置移动到任意指定的不同位置处(步骤S16—S17)，那么"熊" 角色图像被移到不同位置以便由此显示得到的合成图像(步骤S18)。于是，从图像输出单元20输出关于此合成图像的图像数据(步骤 S19)，并且记录在存储卡20A或者VTR(记录器)20B上，或者需要时由 图像打印机20C打印出来。如果确定指定图像的组成模式是"添加/组成模式"以及"1-3:镜像 反转角色图像添加模式"(步骤S8到S9"l-3")，例如图ll中所示，那么将 在对应动画图像获取过程(参见图17)中获得的、用于模仿拾取场景图像 12g3中对象(目标)图像H的跳舞姿态的"兔子"角色图像12d(19)A(图 ll(C))镜像反转，并添加到反转的"兔子"角色图像与触发拾取场景图像 12g3中跳舞姿态的对象(目标)图像链接的位置，并且显示得到的合 成图像，如图ll(D)所示(步骤Sllc)。当在该情况下人工地执行将在拾取场景图像12g3中的位置处显示 的镜像反转的"兔子"角色图像12d(19)R从其现在位置移动到任意指定的 不同位置的过程时(步骤S16—S17)，其中在所述拾取场景图像12g3中的 该位置处，镜像反转的"兔子"角色图像与对象(目标)图像H链接，将 镜像反转的"兔子"图像12d(19)R移到不同位置以便由此提供得到的合成 图像，然后显示(步骤S18)。于是，从图像输出单元20输出关于此合成图像的数据(步骤S19)， 并且记录在存储卡20A或者VTR(记录器)20B上，或者需要时由图像打 印机20C打印出来。如果确定所述指定图像组成模式包括"替代/组成模式"以及"2-1: 对象选择/替代模式"(步骤SB8—SIO， "2-l")，那么将在对应动画图像 获取过程(图17)中获得的拾取场景图像12g5中指定的作为模仿的目标 图像的指定对象(目标)图像H1替换为模仿对象图像H1的姿态的"兔 子"角色图像12d①(步骤SB18)，然后显示得到的合成图像，如图13(G) 所示。在该情况下，将三个对象图像、即对象(目标)图像H1以及其他 两个对象图像H2以及H3从拾取场景图像12g5中剪切，由此提供拾取背 景图像12g5 '。在姿态上类似于对象图像Hl的"兔子"角色图像12d①以 及从场景图像12g5中剪切的其余两个对象图像H2和H3被添加到拾取 背景图像12g5中的相应适当位置处，并且上述添加是按照在图像拾取 过程中由距离传感器18检测的到相关各个对象的图像拾取距离的递减 次序来执行的，由此提供得到的合成图像。在没有产生其余背景图像12g5'的情况下，"兔子"角色图像12d①在 姿态上类似于对象(目标)图像H1，并且其他两个图像H2以及H3可以 被添加到拾取场景图像12g5中它们的适当位置处，并且按照在图像拾 取过程中由距离传感器18检测的到相应对象的图像拾取距离的递减次 序添加，由此提供得到的合成图像。当执行用于将添加到拾取场景图像12g5"的目标图像Hl位置上的 "兔子"角色图像12d①从其当前位置移动到任意指定的不同位置的过 程时(步骤S16—S17)，餘'兔子"角色图像12d①移到拾取场景图像12g5" 中的指定不同位置处，以便借此供应得到的合成图像，然后进行显示 (步骤S18)。于是，从所述图像输出单元20输出关于合成图像的数据(步骤S19)， 并将其记录在存储卡20A或VTR(记录器)20B上，或者需要时通过图像 打印机20C打印出来。如果确定所述图像组成模式包括"替代/组合"模式以及"2-2:多个 图像拾取/替代模式"(步骤S8—SIO， "2-2")，那么将第一拾取场景图像 12g4中对象(目标)图像H1的位置存储作为将把对象图像H1替换为模 仿图像的位置，如图12所示(步骤S10—S13)。当拾取第二场景图像12g4时(步骤S14)，将用于模仿在对应动画图 像获取过程(图17)中获得的对象图像H1的姿态的"兔子"角色图像 12d(20)添加到第二次拾取的场景图像12g4'中对应于对象(目标)图像 Hl在第一拾取场景图像12g4中的存储位置的一位置，以便"兔子"角色 图像12d(20)与对象图像Hl链接，然后显示得到的合成图像12g4"(步骤 S15)。当在第二拾取场景图像12dg4'中人工地执行用于将"兔子"角色图 像12d (20)从其当前位置移动到任意指定的不同位置的过程时(步骤 S16—S17)，将"兔子，，角色12d (20)移到指定的不同位置处，并且显示 得到的合成图像(步骤S18)。于是，从图像数据输出单元20输出关于此合成图像的图像数据(步 骤S19)，并将其记录在存储卡20A或录像机20B上，或者需要时通过图 像打印机20C打印出来。根据上文显而易见的是，按照图像输出设备10的图像处理功能， 当从经由图像输入单元17接收的场景图像中提取对象图像时，从角色 l"兔子"姿态图像存储器12d、角色2"熊"姿态图像存储器12e以及角色 3"猫"姿态图像存储器12沖选择在姿态上类似于提取出的对象图像的 任何特定类型的角色图像，将所选的特定类型的角色图像替换拾取场
景图像中的该对象图像，或者将其添加到拾取场景图像以便由此提供 得到的合成图像。简而言之，在没有创建场景图像的情况下，在所述 场景图像中，仅仅是将固定的动画图像添加到图像拾取帧中，很容易 创建非常可爱的场景图像，所述可爱的场景图像使用模仿目标对象的 姿态的动画图像作为添加的对象或者相反作为替代目标对象的对象。接下来将描述调节模型图像大小的图像输出设备10的功能。在调节模型图像大小的功能中，将大小方面与标准身体形状对象(目标)图像一致并且存储在模型姿态图像存储器12b中的姿态模型图像，在大小方 面调节为非标准身体形状对象(目标)图像，并且在大小调节的模型 姿态图像存储器12c中存为大小调节的模型图像。在所述对应动画图像 获取过程(部分2)中，存储在调节模型姿态图像存储器12c的大小调节的 模型图像被用来评估调节的模型图像与作为模仿的目标图像的对象图 像在姿态上的相似性，借此获得具有该姿态相似性的对应的指定魚色 图像。这样做允许容易地获得在姿态上类似于具有任何身体形状的对象图像的角色图像。图22是待通过图像输出设备10执行的姿态模型大小调节过程的流程图。当经由图像输入单元17输入表示包含一对象的场景的拾取图像 时，其中所述对象例如包括图8(B)中所示的用户的非标准身体形状的全 长图形(步骤D1)，那么在图16的目标图像提取过程(方法1或者2)中 提取作为一对象的用户图像(步骤DA)，并且将其与存储在模型姿态图 像存储器12b中的标准身体形状全长的模型图像12b②a比较(步骤D2)。然后，将模型图像12b②A在大小方面相对于脸部、身体和腿的纵 向比例进行调节(步骤D3)，然后相对于脸部、身体和腿的宽度比例 调节(步骤D4)到从拾取场景图像提取的对象图像。于是，将存储在模型姿态图像存储器12b的所有其他姿态模型图像
在大小方面调节为大小调节的模型图像12b②A，然后寄存到大小调节 的模型姿态图像存储器12c中(步骤D5)。如上所述，评估存储在大小调节的模型姿态图像存储器12c中的任 意一个大小调节的模型图像与作为模仿的目标图像的对象图像在姿态 上的相似性，并且获得在姿态上具有与对象图像相等相似性的角色图 像，以便能够容易地获得在姿态上类似于具有各种身体形状的对象图 像的角色图像。能够将在姿态上更加类似于作为模仿目标对象的对象 图像的角色图像添加到拾取场景图像、或者替换拾取场景图像中的对 象图像，以便借此提供得到的合成图像。在所述实施例中，当有选择地获得在姿态上类似于从拾取场景图 像提取的对象图像的角色图像、并且将其动画图像用作为在拾取场景 图像中添加的内容或者替代以便输出得到的合成图像时，可以预先存 储实际拾取的具有各种表情的脸部图像和人类图像，并且单独使用作 为在拾取场景图像中模仿从拾取场景图像提取的对象图像姿态的添加 内容或者替代，以便借此输出得到的合成图像。本发明能够在数字照相机中很好地实现。如果实施本发明、特别 是在具有液晶显示器的数字照相机中实现，那么能够拾取对象图像， 以便可以立即确认得到的合成图像。在所述实施例中，当己经举例说明了作为静像的拾取场景图像时， 可以从动态图像中顺序地提取相对于经由图像输入单元17输入的动态 图像的背景图像在时间上顺序变化的对象图像，例如数字视频电影 17B。可以有选择地获得在姿态上分别类似于顺序提取的对象图像的角 色图像，并且将其添加到拾取动态图像或者替换相应的动态图像中的 对象图像，借此提供合成出来的系列合成的动态图像。所述实施例的图像处理功能可用来替换作为指定的并且从例如， 在具有准备的期望角色图像的游戏中使用的动画图像或者实际拾取的 人类图像中提取的模仿的目标图像的角色图像，借此显示得到的合成 图像。在所述实施例中描述的图像输出设备10执行的各个过程、也就是 图14和15的流程图中所示的任一图像处理过程，图16的流程图中所示 的图像处理中包括的对象图像提取过程，图17的流程图中所示图像处 理中包括的对应动画图像获取过程，对应动画图像获取过程中包括的 图18的流程图中所示用于评估角色(或者模型)图像与对象图像在姿 态上的相似性的过程，以及图22的流程图中所示姿态模型大小调节过 程，可以存储并作为计算机可执行的程序分布在存储卡(ROM和RAM 卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、 DVD等)或者诸如 半导体存储器的外部记录介质13中。具有采用通信网络(互联网)N进行 通信功能的各种计算机终端能够经由记录介质读出器14将存储在外部 记录介质13中的程序读入存储器12，并且按照读出程序来控制其操作， 由此执行在所述实施例中描述的图像处理功能，并且执行类似于上述 方法的过程。包括在所述程序中以便执行各个上述过程的数据能够以程序代码 的形式经由通信网络(互联网)N传送。所述程序数据能够从连接到通信 网络(互联网)N的计算机终端获得，借此执行上述图像处理功能。 (第二实施例)图23是表示本发明的图像传送系统中图像传送服务器l 10的电子 电路组成的框图。图24是表示按照第二实施例的图像传送系统中终端120的电子电 路组成的框图。所述图像传送系统从图像传送服务器110向各种终端120，诸如连 接到诸如互联网或者蓝牙(R)的通信网络的携带式电话120A、个人数字 助理(PDA)120B、个人计算机(PC)120C、数字照相机120D等提供图像 创建/传送服务。所述图像传送服务器110向每个终端120传送对应于由 终端120(120A-120D)拾取的图像中的目标图像的图像(例如，对应于拾 取场景图像中的人类图像的角色图像)。在图23中，所述图像传送服务器110包括计算机，用于读出记录在 各种记录介质上的程序，或者读出外部接收的程序，计算机操作由读 出的程序控制。计算机在其电子电路中包括CPU(中央处理器)111 。所述CPU 111按照预先存储在存储器112中的服务器控制程序、从 诸如CD-ROM的外部记录介质113经由记录介质读取器114读入存储器 112的服务器控制程序、或者从互联网N上的另一网络服务器(在此情况 下是程序服务器)经由电子传输控制器l 15读入存储器112的服务器控制 程序，来控制电路的各个元件。存储在所述存储器112中的服务器控制 程序通过来自于经由传输控制器115连接的互联网N上的每个终端 120(120A-120C)的通信信号、来自于经由短距离无线通信单元116连接 的数字照相机120D的通信信号、或者由操作者从包括键或者触摸面板 的输入单元117产生的输入信号来启动。所述CPU111与存储器112、记录介质读取器114、传输控制器115、 短距离无线通信单元116和输入单元117以及包括LCD或者CRT的显示 单元118连接。除负责图像传送服务器110的总体操作的系统程序、经由传输控制 器115在互联网N上与各个终端120(120A-120C)进行数据传输的通信程 序、以及经由通信单元16在短距离无线通信单元16的通信范围中与数 字照相机120D进行数据通信的短距离通信程序以外，所述存储器112 已经存储了图像传送程序112a，用于产生对应于拾取图像中的对象图 像的图像，其中所述拾取图像是从经由传输控制器115和短距离无线通 信单元116通信连接的相应一个终端120(120A-120D)处获得的，将对应 图像添加到拾取图像中并且将由此生成的图像传送到终端。
所述存储器112已经准备了模型姿态图像存储器112b，大小调节的 模型姿态图像存储器112c，角色l"兔子"姿态图像存储器112d,角色 2"熊"姿态图像存储器112e，角色3"猫"姿态图像存储器112f，以及请求 者终端信息存储器112g，以及在其工作区中具有拾取场景图像存储器 112h和图像处理工作区112i。触发分别存储在图像传送服务器110的角色"兔子"、"熊"以及"猫" 姿态图像存储器112d、 112e以及112沖的各个姿态的角色"兔子"、"熊" 以及"猫"图像与第一个实施例的图2-4中举例说明的那些一样，故而图 2-4也用于描述第二实施例。将存储在存储器112d、112e以及112沖的角色的每种姿态图像用作 为在姿态上类似于拾取场景图像中对象(目标)图像的模仿图像，其 中所述拾取场景图像是根据与所述图像传送服务器110通信连接的相 应一个外部终端120(120A-120D)的需求而输入的。每个姿态角色图像 带有其相应的姿态编号被存储。图5-7涉及第一个实施例并且在这里也用于图解说明第二实施例。 图5-7示出了触发存储在图像传送服务器110的模型姿态图像存储器 112b中的各个姿态的模型图像。存储在存储器l 12b中的每种姿态模型图像用来获得在姿态上类似 于拾取场景图像中的对象(目标)图像的模型图像，其中所述拾取场 景图像是根据与图像传送服务器U0通信连接的相应一个外部终端120 (120A-120D)的需求而输入的，不同姿态被存储带有相应的姿态编号。 另外，为每个姿态编号存储三个不同种类的模型图像A、 B和C。存储在每一角色l"兔子"姿态图像存储器112d、角色2"熊"姿态图像 存储器112e和角色3"猫"姿态图像存储器112沖的角色图像，是用于触 发存储在所述模型姿态图像存储器112b中的所有姿态编号(编号lA、 1B、 1C、 2A、 2B、 2C、…、na、 nb、 nc)的姿态的图像。
通过纵向和橫向将全长图形的标准身体形状模型图像的大小调节 为不标准的身体形状对象(目标)图像，可以获得存储在大小调节的模型姿态图像存储器112e中的姿态编号2A的大小调节的模型图像，其 中所述全长图形触发图4中姿态编号2A示出的姿态。按照具有姿态编号 2A并且存储在大小调节的模型姿态图像存储器112c中的大小调节的模 型图像的纵向-横向比例，来调节触发各个姿态的所有其他标准身体形 状模型图像的大小。如下获得待存储在大小调节的模型姿态图像存储器112c中的大小 调节的模型图像。在图8(A)中以姿态编号2A示出的全长标准身体形状 姿态模型图像在大小方面被调节为(纵向以及横向)图8(B)中所示的不 标准身体形状对象图像，以便成为对应于姿态编号2A的大小调整后图 像。按照姿态编号2A的大小调节的模型图像的大小调节比例(平衡)， 其他姿态的所有其他标准身体形状模型图像在大小上被调节为非标准 身体形状模型图像，然后存储在大小调节的模型姿态图像存储器12c 中。请求者终端信息存储器112g具有寄存的ID、银行帐户号码以及终 端120(120A-120D)的口令，以此作为有关图像传送会员的个体邮购商 业信息，其中所述图像传送会员已经要求图像传送服务器110照此寄存 它们。所述拾取场景图像存储器112h依照拾取场景图像单位临时存储从 各个外部终端120(120A-120D)输入的拾取场景图像数据，其中所述外 部终端120与图像传送服务器11 O通信连接。所述图像处理工作区112i根据图像处理，临时存储按照图像传送程 序112a处理的图像数据。在图24中，每个终端120包括计算机，用于读出记录在每种记录介 质上的程序，或者读出外部接收的程序，计算机操作由该程序控制。
其电子电路包括CPU(中央处理器)121 。所述CPU 121按照预先读入存储器122中的终端控制程序、从诸如 CD-ROM或者ROM卡的外部记录介质123经由记录介质读取器124读入 存储器122的终端控制程序、或者从互联网N上的网络服务器(在此情况 下是程序服务器)经由电子传输控制器125读入存储器122的终端控制程 序，来控制电路元件的操作。存储在存储器122中的终端控制程序通过 用户对输入单元126的操作产生的输入信号、经由图像输入单元127a通 过数字照相机132输入的图像信号、与经由传输控制器125连接到终端 120的互联网N上的诸如图像传送服务器110的每个网络服务器的通信 信号、与经由短距离天线通信单元128连接到终端120的图像传送服务 器110的通信信号或者来自GPS(全球定位系统)129移动终端120的当前 位置的当前位置检测信号来启动，所述输入单元126包括键或者触摸面 板。所述CPU 121经由图像输出单元127b与存储器122、记录介质读取 器124、传输控制器125、输入单元126、图像输入单元127a、短距离无 线通信单元128以及GPS 129以及LCD的显示单元130以及图像打印机 131连接。图像输入单元127a接收来自于外部连接或者嵌入式数字照相机 132的拾取场景图像数据。例如，如果所述终端120包括携带式电话 120A、个人数字助理(PDA)120B或者数字照相机120D,那么图像输入 单元127接收来自于嵌入式数字照相机132的拾取场景图像数据。如果 所述终端120包括个人计算机(PC)120C，那么图像输入单元127接收来 自于外部连接的数字照相机B2的拾取场景图像数据。所述图像输出单元127b输出由图像传送服务器110基于根据终端 请求由图像输入单元127a输入的拾取场景图像处理并且传送的图像数 据。然后将输出的图像数据传送到图像打印机131并打印。
除负责控制终端120(120A-120D)整体操作的系统程序、经由传输 控制器125上在互联网N上的诸如图像传送服务器110的每个网络服务 器进行数据通信的通信程序、以及经由无线通信单元128与在短距离无 线通信单元128的通信范围内存在的图像传送服务器110进行数据通信 的短距离通信程序之外，所述存储器122还存储通信/图像处理程序 122a，用于要求图像传送服务器l 10基于从图像输入单元127a输入的拾 取场景图像执行图像处理，用于显示由所述图像传送服务器110传送的 图像数据，并且用于经由所述图像输出单元127b执行打印处理。
所述终端120(120A-120D)将在规格上与第二实施例的图像传送服 务器110的存储器112中包括的那些存储器112b以及112c相似的模型姿 态图像存储器122b以及大小调节的模型姿态图像存储器122c包括在存 储器122中。
所述存储器122包括图像处理工作区122d，用于临时存储按照通信 /图像处理程序122a根据其过程处理的图像数据。接下来将略述第二实施例的图像传送系统的操作。
图1 l涉及第一个实施例并且也把它应用于描述第二实施例。图11 举例说明了当终端120已经指定了镜像反转角色图像添加模式并且要 求从图像传送服务器110传送图像时，在拾取场景图像中添加镜像反转 角色图像"兔子"。
如图1 l(A)所示，所述终端120拾取包含对象图像(目标图像)H的场 景图像12g3，其中所述对象图像H触发例如预先意识到与伙伴跳舞的姿 态；并且要求图像传送服务器110创建合成图像，在所述合成图像中， 镜像反转的角色图像通过指定镜像反转的角色图像添加模式与目标图 像跳舞；并且将合成图像传送到终端120。然后，如图11(B)所示，在图像传送服务器110中，将对象(目标) 图像H从终端120发送的拾取场景图像12g3中提取。当将"兔子"角色图
像指定为添加的内容时，从所述角色l"兔子"姿态图像存储器112d中读 出在姿态上类似于对象(目标)图像H的具有姿态编号19("跳舞")的"兔 子"角色图像，如图11(C)所示。于是，将此"兔子"角色图像镜像反转并 且添加到拾取场景图像12g3'中相对于垂直中心线与对象(目标)图像 对称的位置处，并且其中镜像反转的"兔子"图像与跳舞目的的对象(目 标)H链接，如图11(D)所示。这样产生了合成图像，然后将合成图像传 送到请求者终端120，并且在那里显示或者打印出来。简而言之，所述图像传送服务器110镜像反转模仿由终端120拾取 的场景图像12hl中的对象(目标)图像H跳舞姿态的"兔子"角色图像， 并且将镜像反转的"兔子"角色图像作为舞伴添加到拾取场景图像12hl 中的一位置处，在该位置，镜像反转的"兔子"角色图像与为跳舞目的 触发跳舞姿态的对象(目标)图像链接。然后将得到的合成图像发送 给终端120。图25举例说明了利用"熊"角色图像替代对象图像，当图像传送系 统的终端120已经请求创建图像并且从服务器传送图像、且指定了多个 图像拾取/替代模式时，由图像传送服务器110执行此操作。当终端120的用户希望创建对象图像和"熊"角色图像彼此挥手告 别的场景图像时，用户拾取包含对象(目标)图像H1的场景图像，其 中所述对象(目标)图像Hl触发与角色图像希望触发的相同的"告另lj" 姿态，如图25(A)所示，向图像传送服务器110发送拾取场景图像，并 且要求图像传送服务器10通过指定多个图像拾取/组成模式，基于拾取 的场景图像12h2，创建合成的场景图像，并且向终端传送合成的场景 图像。如图25(B)所示，所述图像传送服务器110从用户发送的第一个拾 取图像12h2中提取图斷目标图像)Hl。当用户将"熊"角色图像指定为替 换内容时，从所述角色2"熊，，姿态图像存储器112e读出在姿态上类似于 对象(目标)图像H1的"熊"角色图像(触发编号11的姿态"告别")。在该 情况下，当例如检测到当前时间为"下午08:00"或者确定现在是晚上时， 读出触发姿态"告别"的"熊"角色图像，并且作为坐在月亮上的夜晚角色 图像12e(ll)N。然后，如图25(D)所示，当终端120拾取了包含目标图像H2的第二 场景图像12h2 '时，其中场景图像12h2 '包含作为对应于第一拾取场景 图像12h2中的对象图像(目标图像)Hl的合作方的目标图像H2，并且触 发另一个姿态，这时将已读出的触发晚上使用的编号ll姿态("告别") 的"熊"角色图像添加到第二拾取场景图像12h2 '，借此提供得到的合成 图像，在图25(E)中以12h2"示出。然后将由此产生的合成图像传送到请 求者终端120，并且在那里显示或者打印出来。简而言之，在图像传送服务器110中，模仿终端120拾取的第一场 景图像12h2中对象(目标)图像H1的告别姿态的角色图像被添加到第 二场景图像12h2'中相对于对象(目标)图像H2的位置的适当位置处， 由此提供由此产生的合成图像，然后将其传送到终端120，其中所述第 二场景图像12h2'是由终端120拾取的。虽然图13用于说明第一个实施例的图像输出设备110的对象替代 过程，但是它也可以适用于解释第二实施例的图像传送服务器的类似 对象替代过程。图13举例说明了当终端120要求创建图像并且从图像传送服务器 传送而且指定了对象图像选择/替代模式时，由所述图像传送服务器100 利用"兔子"角色图像替代对象图像。如图13(A)所示，所述终端120拾取场景图像12g5，其包含例如三 个人(对象)图像H1-H3，将所述场景图像连同一指定的替代角色图像 (例如"兔子")的通知一起发送到图像传送服务器IIO，并且通过指定 一对象图像选择/替代模式要求图像传送服务器110基于拾取场景图像
创建合成图像，然后将其传送到终端120。于是，如图13(B)所示，所述图像传送服务器110从终端120发送的 拾取场景图像12g5中提取对象(或者目标)图像Hl，并将其指定为通过 终端120进行替代。当指定了替代"兔子"角色图像时，从所述角色l"兔 子"姿态图像存储器112d中读出在姿态上(编号l的姿态"笑一笑"(特写 镜头))类似于对象(目标)图像H1的"兔子"角色图像，如图13(C)所示。如图13(B)、 (D)、 (E)和(F)所示，将指定的对象(目标)图像H1及 其他对象图像H2和H3从场景图像12g5中切除而其余背景图像12g5'保 留。于是，如图13(G)所示，从所述角色l"兔子"姿态图像存储器112d中读出在姿态上类似于指定对象图像(目标图像)m的"兔子"角色图像以及从场景图像12g5中剪切的其他两个对象图像H2和H3，被添加到背 景图像12g5，中的适当位置处，并且依照到相关各个对象的图像拾取距 离的递减次序来添加，由此提供得到的合成图像12g5"。然后将所述合 成图像12g5"传送到请求者终端120，并且在那里显示或者打印出来。简而言之，在所述图像传送服务器110中，模仿由终端120拾取的 场景图像12g5中的指定对象(目标)图像H1的姿态的"兔子"角色图像 替换由终端120拾取的场景图像12g5中的对象(目标)图像H1，并且将 得到的合成图像传送到终端120。在所述图像传送系统中，除反向角色图像添加模式、多个图像拾 取/替代模式以及对象图像选择/替代模式之外，所述图像处理模式还包 括跟随者添加模式以及空白区角色图像添加模式，在图像传送服务器 的操作概要中，省略了使用附图对它们的说明。在所述跟随者添加模式中，当所述终端120拾取包含对象(目标) 图像H步行或者触发步行姿态的场景图像12hn、并要求图像传送服务器 IOO通过指定跟随者添加模式以及作为模仿对象图像H姿态的跟随者的
角色图像、基于场景图像12hn创建合成的场景图像，并将合成场景图 像传送到终端120时，所述图像传送服务器110将场景图像12hn中的指 定的角色图像添加到作为跟随者的指定的角色图像跟随对象(目标) 图像H的位置处，借此向终端120传送得到的合成图像。当所述终端120拾取包含任意对象(目标)图像H的场景图像12hn， 向图像传送服务器110发送此场景图像12hn以及模仿指定对象(目标) 图像H的姿态的指定的角色图像，并且要求传送服务器110通过指定空 白区域角色图像添加模式、基于场景图像和拾取场景图像12hn中指定 的角色H来创建合成的场景图像，并且向终端传送合成图像时，所述图 像传送服务器110将指定的角色图像添加到场景图像12hn的空白区的 随机位置处，借此向终端120传送得到的合成图像。接下来将描述图像传送服务器110以及终端20的图像处理以及传送操作的细节。图26是待由终端120执行的图像处理(部分1)的流程图。图27是接续图26的图像处理(部分1)的图像处理(部分2)的流程图。图28是待由图像传送服务器110执行的服务器处理(部分1)的流程图。图29是接续图28的服务器处理(部分1)的服务器处理(部分2)的流 程图。首先，所述终端120(120A、 120B或者120C)响应其输入单元126的 操作以经由传输控制器125或者短距离无线通信单元128连接到互联网 N上或者在短距离无线通信范围中的图像传送服务器llO，并且向图像 传送服务器11 O发送用户ID及其口令(步骤TA 1)。当所述图像传送服务器110通过互联网N经由传递单元115从终端 120(120A、 120B或者120C)、或者经由短距离无线通信单元116从所述 终端(数字照相机)120D接收ID以及口令时(步骤SB1)，根据终端ID以及
口令是否能够与寄存在存储器112的请求者终端信息存储器112g中的 会员的ID和口令匹配，确定所述终端是否是正式成员(步骤SB2)。当确定终端120的ID以及口令不能在注册会员的ID和口令中找到 匹配的，并且确定终端不是正式成员时，那么中断终端120与图像传送 服务器110的连接，并且执行错误处理(步骤SB2，"否")。当在终端120己经将其ID和口令发送到图像传送服务器110后的一 段预定时间内没有中断终端120与图像传送服务器110的连接(步骤TA1) 时，将GPS 129检测的表示终端120当前位置的数据(在携带式电话 120A的情况下、是表示其相关基站的位置的数据)从终端120发送到图 像传送服务器110(步骤TA2)。当所述图像传送服务器110从终端120接收到表示终端当前位置的 数据时(步骤SB3)，确定终端120是否存在于预定的特殊位置(例如， 游乐园或者旅游点的纪念照获取地方)或者确定是否当前时间处于指 定时间区域(例如在晚上)(步骤SB4)。如果所述图像传送服务器110确定所述终端120当前存在于预定的 特殊地方，或者确定当前时间存在于指定时间区域(步骤SB4)，那么 对应于特定地方的特定角色(例如，在游乐园的情况下是那里的流行角 色)或者对应于指定时间区域的特定角色(例如，在晚上的情况下是坐 在月亮上的"熊"角色)被确定为对应于目标对象的指定角色，并且然 后将此角色的名称发送给终端120 (步骤SB5)。当所述图像传送服务器l 10确定连接下的终端120没有位于预定地 方，或者确定当前时间没有位于指定时间区域(步骤SB4)，那么图像 传送服务器110等待从终端120接收指定角色的类型涉骤SB6)。如果因终端120处于该特定地方或者当前时间处于指定时间区域， 所述终端120接收了图像传送服务器l IO确定并发送的特定角色的名称 (步骤TA3)，那么将该特定角色名称传送到显示单元130并且显示(步骤TA4)。当因为终端120没有位于特定地方或者当前时间没有位于指定时 间区域，所述终端120没有从图像传送服务器110接收特定角色的名称 (步骤TA3)，那么终端120的用户操作输入单元126来指定角色("兔 子"、"熊"或者"猫")图像的类型以用作拾取场景图像中的添加内容，或 者替代内容，并且向图像传送服务器110发送指定类型的角色图像(步 骤TA5)。然后，所述终端120从"1-1:随机的空白区域角色图像添加模式"、"1-2:跟随者添加模式"、"1-3:镜像反转的角色图像添加模式"、"2-1:对象图像选择/替代模式"以及"2-2:多个图像拾取/替代模式"中选择添 加或者替代/组合模式，并且向图像传送服务器l io发送表示选择模式的 模式编号(步骤TA6)。然后所述数字照相机132开始经由图像输入单元127a向终端120输 入一系列拾取场景图像，然后将该系列拾取场景图像发送到图像传送 服务器110(步骤TA7)。当所述图像传送服务器110从终端120接收表示选择模式的模式编 号(步骤SB7)并且从所述终端120接收该系列拾取场景图像时(步骤 SB8)，执行服务器处理过程中包括的图30的提取目标图像的过程(步 骤SBC)。在此目标图像提取过程中，将在预定时间从终端120接收的该系列 拾取场景图像12hn存储在工作区的拾取场景存储器112h(步骤SCl)。于是，从存储在拾取场景图像存储器112h中(步骤SC2)以及存储在 图像处理工作区12i(步骤SC3)中的该系列拾取场景图像12hn中，提取表 明每个对象的一系列连续变化动作的一系列连续姿态对象图像Hn。简而言之，当从拾取场景图像12hn中提取包含在拾取场景图像 12hn中的各个对象图像Hn作为独立的块并存储在图像处理工作区12i 时(步骤SBC)，将包含在折线包围M中包含的各个提取的角色图像Hn 的拾取场景图像12hn显示在显示单元118上，例如图11(A)、 12(A)或者 13(A)所示(步骤SB9)。于是，确定在显示在显示单元118上的拾取场景图像12hn中是否存 在多个对象图像Hn块(步骤SB 10)。如果所述图像传送服务器110确定在拾取场景图像12hn中没有多 个对象图像Hn块，那么将从拾取场景图像12hn中提取的单个对象图像 Hn设定为模仿的目标图像(步骤SB10—SB 11)。当所述图像传送服务器110确定在拾取场景图像12hn中存在多个 对象图像Hn块时，图像传送服务器110向终端120发送用户指定待模仿 的对象图像块的请求(步骤SB10—SB 12)。当终端120从服务器110接收此请求并且显示它时(步骤TA8)，用户 操纵输入设备126来从多个对象图像Hn块中指定一模仿的目标图像，并 且向图像传送服务器110给出指定图像的通知(步骤TA9)。然后，所述图像传送服务器110从终端接收此通知(步骤SB 13)。然后，所述图像传送服务器11 O从拾取场景图像12hn提取指定的对 象图像Hn，其中所述拾取场景图像12hn是从终端120接收的，并且将该指定的对象图像Hn设定为模仿的目标图像。然后，所述图像传送服务 器110将其处理转换为图31的服务器处理中包括的对应动画图像获取 过程(步骤SBD)。在此对应动画图像获取过程中，所述图像传送服务器110首先评估 触发存储在模型姿态图像存储器112b中的不同姿态的每一模型图像与 从拾取场景图像12hn中提取并且设定为模仿的目标图像的对象图像Hn 在姿态上的相似性(步骤SDC)。然后，所述图像传送服务器110向终端 120发送对应于具有与对象图像最高的姿态相似性的模型图像的姿态 编号的指定的角色图像A(步骤SD1)。
当所述终端120从图像传送系统110接收指定的角色图像A并且显 示它时(步骤TAIO)，用户确定应该点击所显示的指定姿态角色图像是 "OK"还是"下一显示"(下一个候选的显示)，然后向图像传送服务器IIO 发送此确定的通知(步骤TAll)。当所述图像传送服务器110从终端120接收选择通知并且确定终端 120已经选择了"基于当前评估的相似性、显示的指定姿态角色图像是 OK"时，所述图像传送服务器110寄存指定的角色图像(由其姿态编号标 识)作为对应于模仿的目标图像的动画图像(步骤SD2—SD3)。当所述图像传送服务器110从终端120接收选择通知并且确定基于当前相似性评估选择了接收的指定角色的姿态图像的"下一显示"时， 所述图像传送服务器110向终端120发送对应于具有第二最高姿态相似 性的模型图像的姿态编号的另一个指定的角色图像A。每当从终端120 接收到"下一显示"的用户选择时，只要存在对应于姿态模型图像的姿 态角色图像，就重复此操作(步骤SD2—SD4)。当所述终端120接收到对应于具有期望姿态相似性的模型图像的 姿态角色图像(从图像传送服务器110接收到的)并且显示所述姿态角 色图像，并且用户操纵输入单元126来向图像传送服务器110发送所显 示的角色图像"OK"时(步骤TA10-TA12)，图像传送服务器110寄存OK的角色图像(由其姿态编号标识)作为对应于所述模仿的目标图像的动 画图像(步骤SD2—SD3)。如上所述，在图像传送服务器110执行的对应动画图像获取过程 中，评估表示人类基本模型的每个姿态的模型图像与作为通过终端120 从拾取场景图像12hn中提取的模仿的目标图像的对象图像Hn在姿态上 的相似性，并且确定用作为模仿对象图像Hn的姿态的添加内容或者替 代内容的指定的角色图像。在该情况下，与以下这种情况相比直接评估指定角色的每种姿
态图像与作为模仿的目标图像的对象图像Hn在姿态上的相似性，以便 确定将用作为添加角色或者作为替代角色的角色图像，所述对应动画 图像获取过程是十分有益的，在该过程中，评估每个模型图像与作为 模仿的目标图像的对象图像Hn在姿态上的相似性，并且根据所选的模 型姿态编号来确定用作为添加角色或者作为替代角色的角色图像，故 而使用人类图形模型使其便于获得与对象图像更高的姿态相似性，并 且由此便于获得具有更高姿态相似性(模仿)的角色图像。虽然图18的相似性评估过程已经通过第一个实施例的图像输出设 备执行，但是类似的相似性评估过程也可以通过第二实施例中的图像 传送服务器执行。从而，在第二实施例中，将参照图18来描述相似性 评估过程。图18是通过图像传送系统的图像传送服务器110待执行的服务器 处理中包括的对应动画图像获取过程中的评估动画图像与模仿的目标 图像在姿态上的相似性的过程。图32举例说明了在图像传送服务器110待执行的对应动画图像获取过程中的评估模型角色图像与模仿的目标图像在姿态上的相似性的 例子。如图32(A)所示，例如具有第一姿态编号的模型图像被读出(步骤 C1)并且在大小方面调节为图32(X)的模仿的目标图像H1(步骤C2)。然后，将目标图像H1和大小调节的模型图像彼此重叠，并且评估 它们之间在姿态上的相似性(％)，并且作为模型图像与目标图像H1在姿 态上的相似性加以存储(步骤C3)。然后确定所述模型图像是否是不对称的(步骤C4)。当确定模型图 像不是不对称的时，例如图32(A)中12b(l)A所示(步骤C4，"否")，读出 下一姿态编号模型图像(步骤C8—C9)，并且评估此模型图像与模仿的 目标图像在姿态上的相似性。只要下一个模型图像不是不对称的，就
重复这种相似性评估过程(步骤C2-C4)。如果基于相似性评估确定模型图像是不对称的，例如图32(B)的姿 态编号19的模型图像12M9所示，那么将所述模型图像镜像反转(步骤 C4—C5)。然后，如图32(C)所示，将镜像反转的模型图像12b(19)R在大 小方面(纵向并且横向)调节为模仿的目标图像(步骤C6)。然后，将目标图像Hl和镜像反转的模型图像12b(19)R彼此重叠。 评估这些图像之间在姿态上的相似性(％)，并且存为镜像反转的模型图 像与目标图像H1在姿态上的相似性(步骤C7)。然后，只要存在具有相应姿态编号的静止模型图像(步骤C8)，即 可顺序地读出它们(步骤C9)，并且重复地评估相应的一个模型图像与模 仿的目标图像在姿态上的相似性(步骤C2-C7)。在此例子中，例如图32所示，当评估模型图像与对象(目标)图 像H1在姿态上的相似性时，将具有姿态编号19的模型图像12b(19)评估 为具有与目标图像H1的最高姿态相似性的图像。如上所述，当在对应动画图像获取过程中确定模仿对象图像Hn的 指定角色图像作为从拾取场景图像12hn中提取的模仿的目标图像时(步 骤SBD)，例如参照图31， 18和32所示，那么确定由终端120指定并且接 收的图像组成模式是"添加/组合模式"还是"替代/组合模式"(步骤SB 14)。如果由终端120指定的图像组成模式是"添加溜合模式"以及"1-1:随机的空白区域角色图像添加模式"(步骤SB 14—SB 15， "l-r)，那么 在对应动画图像获取过程中获得的作为模仿的目标图像的模仿目标图 像Hl姿态的指定角色图像被添加到拾取场景图像12hn中除提取对象图 像块的位置以外的空白区中的一随机位置，例如图10所示(步骤SB17a)。 然后将得到的合成图像发送给终端120(步骤SB22)。然后终端120从图像传送服务器110接收所述合成图像并且显示它200710147289.X说明书第44/62页(步骤TA13)。当终端120的用户执行将角色图像从其当前位置移动到在 合成的拾取场景图像12hn中的任意指定的不同位置的过程时，将有关 其移动的信息发送给图像传送服务器l 10(步骤TA14)。当图像传送服务器110从终端120接收此信息时(步骤 SB23—SB24)，图像传送服务器lIO基于所述信息将所述角色图像移动 至拾取场景图像12hn的空白区中不同的位置(步骤SB25)，然后向终端 120发送得到的合成图像(步骤SB26)。于是，终端120从图像传送服务器110接收并且显示此合成图像(步 骤TA15—TA16)。简而言之，所述图像传送服务器110向终端120发送关于合成图像 的数据，其中将所述指定的角色图像添加到拾取场景图像12hn空白区 中的随机位置，其中所述指定的角色图像用于模仿指定的对象图像H1 的姿态并且在随机的空白区域角色图像添加模式中被创建。当图像传送服务器110确定由终端120指定的图像组成模式是"添 加/组合模式"以及"l-2:跟随者添加模式"(步骤SB14—SB15， "l-2")时， 它将用于模仿对象图像(目标图像)步行姿态的指定角色图像添加到在 对应动画图像获取过程(图31)中获得的拾取场景图像12hn中，并且添加 到以下位置中，所述位置为指定的角色图像以距离此对象图像一给 定的距离跟随步行的对象图像(目标图像)H的位置，或者是在拾取场景 图像12hn中在确定时间以前假定的对象(目标)图像的位置，如图9所 示(步骤SB 17b)。然后此图像传送服务器110向终端120发送得到的合成 图像(步骤SB22)。当终端120从图像传送服务器110接收所述合成图像并且在那里显 示它时(步骤TA13)，并且终端120的用户人工地执行将作为合成图像中 跟随者的指定角色图像从其当前位置移动到任意指定的不同位置的过 程时，将有关其移动的信息发给图像传送服务器110(步骤TA14)。
当图像传送服务器110从终端120接收此信息时(歩骤 SB23—SB24)，图像传送服务器l 10再次在拾取场景图像12hn的不同位 置中添加指定的角色图像作为跟随者(步骤SB25)，然后向终端120发送 得到的合成图像涉骤SB26)。然后，终端120从图像传送服务器110接收此合成图像并且显示它 (步骤TA15—TA16)。简而言之，所述图像传送服务器110向终端120发送关于合成图像 的数据，在所述合成图像中，将所述指定的角色图像添加到对象图像H 之后的跟随者位置处，其中所述指定的角色图像用于模仿指定的对象 图像H的姿态并且在跟随者添加模式中创建。当图像传送服务器110确定由终端120指定的图像组成模式包括 "添力Q/组合模式"以及"l-3:镜像反转的角色图像添加模式"(步骤 SB14—SB15， "l-3，，)时，图像传送服务器110镜像反转在场景图像12g3 中模仿对象图像(目标图像)H跳舞姿态的"兔子"角色图像12d(19)，添加 至场景图像12g3中镜像反转的"兔子"角色图像与目标图像H链接的位 置(步骤SB17c)，然后向终端120发送合成出来的合成场景图像12g3 '(步 骤SB22)。当终端120从场景图像传送服务器110接收所述合成图像12g3 '并 且显示它时(步骤TA13)，并且用户人工地执行将拾取场景图像12g3 '中 的反转的"兔子"角色图像12d(19)R(R意味着反转)从其当前位置移动到 任意指定的不同位置的过程时，将有关其移动的信息传送到图像传送 服务器110(步骤TA14)。当图像传送服务器110从终端120接收移动信息时(步骤 SB23—SB24)，图像传送服务器110基于移动信息再次将镜像反转的"兔 子"角色图像添加到场景图像12g3 '中的不同的位置(步骤SB25)，然后将 合成出来的合成场景图像发送给终端120(步骤SB26)。
然后，终端120从图像传送服务器110接收此合成场景图像并且显 示它(步骤TA15—TA16)。简而言之，图像传送服务器110向终端120发送关于场景图像12g3 的数据，其中将镜像反转的"兔子"角色图像添加到镜像反转的"兔子" 角色图像与对象图像H链接的位置，其中镜像反转的"兔子"角色图像用 于模仿跳舞对象图像H的姿态并且在镜像反转的角色图像添加模式中 被创建，例如图11(D)所示。如果图像传送服务器110确定由终端120指定的图像组成模式包括 "替代/组合模式"以及"2-l :对象图像选择/替代模式"(步骤 SB14—SB16， "2-l")时，图像传送服务器110利用"兔子"角色图像12d① 替代指定的对象图像(目标图像)H1(步骤SB 18)，所述"兔子"角色图像 12d①用于模仿作为在对应动画图像获取过程(图31)中获得的拾取场景 图像12g5中指定的模仿的目标图像的对象图像Hl的姿态，然后向终端 120发送合成出来的合成场景图像12g3 '，例如图13所示(步骤SB22)。在该情况下，将三个对象图像，也就是说，将在拾取场景图像12g5 中指定的目标对象图像H1及其他两个对象图像H2以及H3从拾取场景 图像12g5中剪切，并且产生拾取背景图像12g5，。然后，将在姿态上类 似于指定目标对象图像Hl的"兔子"角色图像12d①以及从场景图像 12g5中剪切的其余两个对象图像H2以及H3添加到拾取背景图像12g5' 中各个相关位置处，并且上述操作是按照检测到的与各个相关对象的 图像拾取距离的递减次序来添加的，由此提供得到的合成图像。在没有产生其余背景图像12g5'的情况下，可以将在姿态上类似于 目标图像Hl的"兔子"角色图像12d①以及其他两个图像H2和H3添加到 拾取场景图像12g5中它们的相关位置处，并且可以依照检测的至各个 相关对象的图像拾取距离的递减次序来添加。当终端120从图像传送服务器110接收所述合成图像并且显示它
(步骤TA13)，并且人工地执行将添加到拾取场景图像12g5"中目标图像 Hl位置处的"兔子"角色图像12d①从其当前位置移动到任意指定的不 同位置时，将有关其移动的信息发给图像传送服务器110(步骤TA14)。当图像传送服务器110接收到此信息时(步骤SB23—SB24)，图像传 送服务器110基于所述移动信息将"兔子"角色图像再次添加到在拾取 场景图像12g5"中不同的位置以取代目标角色图像m(步骤SB25)，然后 向终端120发送得到的合成图像(步骤SB26)。于是，终端120从图像传送服务器110接收此合成图像并且显示它 (步骤TA15—TA16)。简而言之，图像传送服务器U0向终端120发送关于在对象图像选 择潜代模式中创建的合成图像的数据，在该图像选择/替代模式中将对 象图像H1替换为模仿对象图像H1的姿态"笑一笑"的"兔子"角色图像， 如图13(G)所示。如果所述图像传送服务器110确定由终端120指定的图像组成模式 包括"替代/组合"模式以及"2-2:多个图像拾取/替代模式"(步骤 SB14—SB16， "2-2")，那么将第一拾取场景图像12h2中的目标对象图 像H1的位置存为模仿图像替换目标对象图像H1的位置，例如图25所示 (步骤SB16—SB19)。当图像传送服务器110获得第二拾取场景图像12h2'时(步骤SB20)， 它将模仿在对应动画图像获取过程(图31)中获得的对象图像H1姿态的 "熊"角色图像12e(ll)N(在该情况下是特殊的"夜晚熊"角色图像)添加到 第二拾取场景图像12h2 '的位置处，其中第二拾取场景图像12h2 '对应 于对象图像(目标图像)Hl在第一拾取场景图像12h2中的存储位置，如 此使得"熊"角色图像12e(ll)N对对象图像H2挥手告别(步骤SB21)，并且 将得到的合成图像12h2"发送给终端120(步骤SB22)。当终端120从图像传送服务器110接收所述合成图像12h2"并且显
示它时(步骤TA13)，并且人工地执行将合成图像12h2"中的"夜晚熊"角 色图像12e(ll)n从其当前位置移动到合成图像12h2"中任意指定的不同 位置的过程时，将有关其移动的信息发给图像传送服务器110(步骤 TA14)。当图像传送服务器110接收到此信息时(步骤SB23—SB24)，它基于 接收的移动信息将"熊"角色图像12e(ll)N '再次添加到第二拾取场景图 像12h2'中的不同位置(步骤SB25)，然后向终端120发送得到的合成图像 (步骤SB26)。然后，终端120从图像传送服务器110接收此合成图像并且显示它 (步骤TA15—TA16)。简而言之，图像传送服务器110向终端120发送在多个图像拾取/替 代模式中创建的合成图像12h2"，其中将所述"熊"角色图像(特殊的"夜 晚"角色图像)与第二拾取场景图像12h2'中的对象图像H2结合，其中所 述"熊"角色图像用于模仿第一拾取场景图像12h2中的对象图像Hl的 "告别挥手"姿态。然后将得到的合成图像传送到终端120。终端120接收并且显示此合成图像。当终端120的用户希望将显示 在终端120上的合成图像发送到指定的不同终端时，用户经由输入单元 126输入不同终端的地址，然后向图像传送服务器lIO发送合成图像(步 骤TA17—TA18)0当图像传送服务器110从终端120接收不同终端的地址时(步骤 SB27)，图像传送服务器110向该地址的不同终端发送合成图像(步骤 SB28)，计算这次为请求用户和指定的不同终端提供合成图像的创建和 发送服务的费用，并且向请求者终端120发送费用内容(步骤SB29)。然后所述请求者终端120从图像传送服务器11 O接收费用内容，并 且在显示器130上显示它(步骤TA19)。当所述终端120输入并且发送无地址的指定不同终端(步骤TA17—
否)时，图像传送服务器110仅计算这次对请求者终端提供的创建和传送 合成图像的服务的费用，并且向请求者终端120发送费用内容(步骤 S27—SB30)o于是，所述请求者终端120从图像传送服务器1 IO接收费用内容， 并且在显示器30上显示它(步骤TA20)。所述图像传送服务器110向请求者终端信息存储器112g中寄存的 请求者终端的银行帐户发送相应帐单(步骤SB 31)。因此，按照第二实施例的图像传送系统的图像传送功能，当将终 端120拾取的场景图像发给图像传送服务器110时，所述图像传送服务 器110从接收的场景图像中提取对象图像，获得在姿态上类似于从角色 l"兔子"姿态图像存储器12d、角色2"熊"姿态图像存储器12e和角色 3"猫"姿态图像存储器12沖提取的对象图像的指定类型的角色图像，利 用获得的在拾取场景图像中的指定类型角色图像替代拾取场景图像中 的对象图像，或者添加要求的角色图像到场景图像，以便借此提供得 到的合成图像，并且向终端120发送此合成图像。从而，在没有创建并 且传送仅仅是将固定的动画图像添加到图像拾取帧的场景图像的情况 下，可以创建并且向终端传送非常可爱的合成场景图像，在所述非常 可爱的合成场景图像中，将模仿原始场景图像中目标对象姿态的动画 图像用作为添加角色或者相反用作为替代目标对象的角色。通过利用第二实施例的图像传送系统中的图像传送服务器IIO，可以提供各种服务，包括传送包括合成场景图像的邮件，所述合成场 景图像包括模仿拾取场景图像中对象图像姿态的添加或者替代角色图 像；支付合成场景图像的合成和传送，其中，将模仿拾取原始场景图 像中目标图像姿态的角色图像用作为原始场景图像中添加或者替代图 像，传送到相应一个图像拾取类型的移动终端120B、 120C、 120D中， 诸如具有数字式照相机的蜂窝电话终端120A;付费或者免费创建和传
送合成场景图像，其中，将模仿拾取场景图像中对象图像姿态的一特 定角色图像添加到或相反替换所述对象图像以便宣传一特定主页上该特定的角色；并且支付拾取场景图像的创建和传送，其中将模仿拾取 场景图像中对象图像姿态的流行角色图像添加到数字式照相机终端 120D，所述数字式照相机终端120D经由指定位置，诸如娱乐场所中的 短距离无线通信单元116连接。
如上所述，在第二实施例的图像传送系统中，将由终端120拾取的 图像发给图像传送服务器IIO。在图像传送服务器110中，从拾取场景 图像中提取对象图像，获得在姿态上类似所提取的对象图像的角色图 像，将角色图像添加到场景图像或者替换场景图像中的对象图像。然后将得到的合成图像传送到终端120，并且将此服务的帐单发给 终端120。对比而言，如接下来第三实施例中将描述的那样，终端120 从拾取场景图像中提取对象图像，确定在姿态上类似于提取对象图像 的模型图像的姿态编号，并且请求所述图像传送服务器110传送具有确 定的姿态编号的指定角色图像。图像传送服务器110仅向终端120传送 由终端120请求的具有确定姿态编号的角色图像，以及向该终端传送此 服务的帐单。终端120还要将传送的角色图像添加到场景图像或相反利 用传送的角色图像替换场景图像中的对象图像，借此提供得到的合成 图像。
(第三实施例)依照本发明第三实施例的图像传送系统的图像传送服务器110和 终端120(120A-120D)的电子电路基本上类似于参考图23以及24描述的 第二实施例的电子电路，除了下列几点在第三实施例的图像传送系统中，所述模型图像存储器112b和大 小调节的模型姿态图像存储器l 12c没有设置于图像传送服务器l IO中， 而是提供在终端120中。
图33是在第三实施例的图像传送系统中待由终端120执行的图像 处理(部分l)的流程图。
图34是接续图33的图像处理(部分1)的图像处理(部分2)的流程图。
图35是第三实施例的图像传送服务器110待执行的服务器处理的 流程图。
首先，终端120(120A、 120B或者120C)响应输入单元126的操作以 经由传输控制器125或者短距离无线通信单元128连接到互联网N上或 者短距离无线通信范围中的图像传送服务器IIO，然后向图像传送服务 器110发送用户ID和口令(步骤TF1)。
当图像传送服务器110通过互联网N经由传输单元115从终端 120(120A、 120B或者120C)接收ID和口令、或者经由短距离无线通信单 元116(步骤SJ1)从终端(数字式照相机)120D接收ID和口令时，依据是否 能够在存储器112的请求者终端信息存储器112g中的会员终端的寄存 的ID和口令中找出匹配的终端ID和口令来确定终端120是否是正式成 员(步骤SJ2)。
当确定终端120的ID和口令在寄存的会员终端ID和口令中找不到 与之匹配时，即该终端不是正式成员时，中断终端120与图像传送服务 器110的连接，并且执行错误处理(步骤SJ2，"否")。
当在终端120已经向图像传送服务器110发送其ID和口令之后的预 定时间上没有中断终端120与图像传送服务器110的连接(步骤TF1)时， 将表示GPS 129检测的终端120的当前位置的数据(就蜂窝电话120A来 说，是表示其相关基站位置的数据)从终端120发送到图像传送服务器 110(步骤TF2)。
当图像传送服务器110从终端120接收表示其当前位置的数据时 (步骤SJ3)，它确定所述终端120是否存在于一预定的特定位置(例如，
游乐园或者旅游场所中纪念照获取地点)或者当前时间是否处于一指定时间区域(例如在晚上)(步骤SJ4)。如果图像传送服务器110确定连接下的终端120存在于预定的特定 地方或者确定当前时间位于指定时间区域(步骤SJ4)，那么确定对应于 特定地方的特定角色(例如就游乐园来说是那里的流行角色)或者对应 于指定时间区域的特定角色(例如就在晚上来说是坐在弯弯月亮上的 "熊"角色)作为对应于目标对象的特定角色，然后将此角色的名称发送 给终端120(步骤SJ5)。当图像传送服务器110确定连接之下的终端120没有位于预定地 方，或者确定当前时间没有位于指定时间区域(步骤SJ4)时，图像传送 服务器110等待从终端120接收指定类型的角色(步骤SJ6)。如果因为终端120位于特殊的地方或者当前时间位于指定时间区 域、终端120接收图像传送服务器110确定并且发送的特定角色名称(步 骤TF3)，那么将特定角色名称传送到显示单元130并且由显示单元130 显示(步骤TF4)。当因为终端120没有位于特定的地方或者当前时间没有位于指定 时间区域、而终端120没有从图像传送服务器110接收特定角色的名称 时(步骤TF3)，终端120的用户操纵输入单元126来借此指定用作为添加拾取场景图像中的角色或者替代角色的角色类型("兔子"、"熊"或者 "猫")，并且向图像传送服务器11 O发送指定类型的角色(步骤TF5)。于是，所述拾取场景图像开始经由图像输入单元127a从数字式照 相机132输入到终端120(步骤TF6)，并且过程进行到终端120进行的图像 处理中包括的图36的目标图像提取过程(TFG)。在此目标图像提取过程中，将通过图像输入单元127a在预定时间 输入到终端120中的该系列拾取场景图像存储在存储器122的工作区 122d中(步骤TGl)。
于是，从存储在图像处理工作区122d中的该系列拾取场景图像中 提取表明每个对象的各个动作的一系列连续的对象图像Hn作为独立的 块(步骤TG2)，并且在工作区122d中存为相应的块(步骤TG3)。简而言之，当从拾取场景图像中提取包含在拾取场景图像中的相 应对象图像Hn作为独立的块并且存储在图像处理工作区122d中时(步 骤TFG)，将它们的折线包围M中包含有相应提取的角色图像Hn的一拾 取场景图像显示在显示单元130上，例如图11(A)、 12(A)或者13(A)所示 (步骤TF7)。于是，确定在显示在显示单元130上的拾取场景图像中是否存在多 个对象图像Hn块(步骤TF8)。如果确定没有多个对象图像Hn块，那么将从拾取场景图像中提取 的单个对象图像Hn设定为模仿目标图象(步骤TF8—TF9)。如果确定存在多个对象图像Hn块，那么通过用户操纵输入单元126 从那些对象图像Hn块中将一对象图像Hn指定为模仿目标图象(步骤 TF8—TFIO)。当从拾取场景图像中提取对象图像Hn并且指定为模仿的目标图像 Hn时，过程进行到图37的姿态编号确定过程(步骤TFI)。在此姿态编号确定过程中，评估存储在模型姿态图像存储器122b中每一不同的姿态模型图像与从拾取场景图像中提取并且设定为模仿 的目标图像的对象图像Hn在姿态上的相似性(步骤TIK)，并且将具有最 高姿态相似性的姿态模型图像显示在显示单元130上(步骤TI1)。当用户在输入单元126选择此显示的模型图像时，所选模型图像的 姿态编号被寄存为对应于模仿的目标图像的模型图像(步骤TI2—TI3)。当在显示对应于表示与模仿的目标图像具有最高姿态相似性的姿 态编号的模型图像状态中、通过用户在输入单元126上操纵来点击"下 一显示"时，显示具有表示与目标图像的第二最高姿态相似性的姿态编
号的模型图像。只要存在具有不同相似性的静止的多个模型图像，每 当点击"下一显示"时即可显示下一较低姿态相似性的模型图像(步骤TI2—TI4)。当用户操纵输入单元126显示并且选择具有表示期望姿态相似性 的姿态编号的模型图像时，将此模型图像的姿态编号寄存为对应于模 仿的目标图像的姿态编号(步骤TI2—TI3)。如上所述，在姿态编号确定过程中，评估表示人类基本模型的每 个模型图像(触发相应的姿态)与作为从拾取场景图像中提取的模仿的 目标图像的对象图像Hn的姿态相似性，并且根据相似性的评估来确定 用于模仿对象图像Hn的姿态的模型图像的姿态编号。图38是示出了依照第三实施例的图像传送系统中由终端120待执 行的图像处理中包括的姿态编号确定过程中，评估模型图像与模仿的 目标图像在姿态上相似性的流程图。例如，如图32(A)所示，具有第一姿态编号的模型图像被读出(步骤 TK1)，并且在大小方面调节为图32(X)的模仿的目标图像H1(步骤TK2)。然后，将目标图像H1和大小调节的模型图像彼此重叠，并且评估 它们之间在姿态上的相似性(％)，并且作为模型图像与目标图像Hl在姿 态上的相似性加以存储(步骤TK3)。然后确定具有感兴趣的姿态编号的模型图像是否是不对称的(步 骤TK4)。当确定模型图像不是不对称时，例如图32(A)中12bA(l)所示(步 骤TK4，"否")，读出下一姿态编号模型图像(步骤TK8—TK9)，并且同 样地评估此模型图像与模仿的目标图像H1在姿态上的相似性。只要下 一个模型图像不是不对称的，就重复这种相似性评估过程(步骤 TK2-TK4)。如果确定相似性评估的模型图像是不对称的，例如图32(B)的姿态 编号19的模型图像12bl9所示，那么将所述模型图像镜像反转(步骤TK4—TK5)。然后，如图32(C)所示，将镜像反转的模型图像12b(19)R 在大小方面(纵向并且横向)调节为模仿的目标图像(步骤TK6)。然后，将目标图像Hl和镜像反转的模型图像12b(19)R彼此重叠上。 评估这些图像之间的姿态相似性(％)，并且存为镜像反转的模型图像与 目标图像H1的姿态相似性(步骤TK7)。然后，只要存在不同姿态编号的其他模型图像(步骤TK8)，即可顺 序地读出它们(步骤TK9)，并且重复地评估相应的一个模型图像与模仿 的目标图像的姿态相似性(步骤TK2-TK7)。在此例子中，当例如图32所示，评估模型图像与对象(目标)图 像H1的姿态相似性时，将具有姿态编号19的模型图像12b(19)评估为具 有与目标图像H1的最高姿态相似性的模型图像。如上所述，当在参照图37、 38和32描述的姿态编号确定过程中确 定模仿作为从拾取场景图像中提取的模仿的目标图像的对象图像Hn姿 态的模型图像姿态编号时(步骤TFI)，将传送触发确定姿态编号的姿态 的指定角色图像的请求发送给图像传送服务器110(步骤TF11)。当所述图像传送服务器110从终端120接收传送角色图像的请求时 (步骤SJ7)，图像传送服务器110从存储器112中包括的角色1"兔子，，姿态 图像存储器112d、角色2"熊"姿态图像存储器112e和角色3"猫"姿态图像 存储器112做适当一个中有选择地读取具有确定姿态编号的角色图像， 并且向请求者终端120传送读取的角色图斷步骤S J8)。于是，图像传送服务器110计算向请求用户提供的传送服务的费 用，并且向请求者终端120发送费用内容的通知涉骤SJ9)，并且将相应 的帐单发给在请求者终端信息存储器112g中寄存的请求者终端的银行 帐户(步骤SJIO)。当请求者终端120从图像传送服务器110接收具有确定姿态编号的 角色图像时(步骤TF12)，从"l-l:随机的空白区域角色图像添加模式"、 "1-2:跟随者添加模式"、"1-3:镜像反转的角色图像添加模式"、"2-1: 对象图像选择/替代模式"或者"2-2:多个图像拾取/替代模式"中选择添 加/组合模式(添加接收的角色图像到拾取场景图像)或者替代/组合模 式(利用接收的角色图像替代拾取场景图像中的目标图像H)。
在图33和34中由终端120执行的图像处理的流程图中，省略了对应于替代/组合模式"2-l:对象图像选择潜代模式"和"2-2:多个图像拾取/替代模式"的例程。省略的例程包括与图28和29的步骤SB16、 SB18-SB21表示的相同过程，并且连同稍后将描述的添加/组合模式中 的步骤TF 14和TF15a-TF 15c的过程一起有选择地执行。
因此，在这里仅描述当选择添加/组合模式时待执行的过程，并且 省略了选择替代/组合模式时待执行的过程。如果在步骤TF13确定指定的图像组成模式是"添加/组合模式"以 及"l-l:随机的空白区域角色图像添加模式"(步骤F14， "i-r)，那么将 模仿作为图像传送服务器1 IO传送的模仿的目标图像的目标图像Hn姿 态的指定角色图像添加到拾取场景图像12hn的空白区的随机位置处，该随机位置是除提取对象图像块的位置以外的位置。然后显示得到的 合成图像(步骤TF15a、 TF16)。
然后，当在合成图像中执行将合成图像中的角色图像从其当前位 置移动到任意指定的不同位置的过程时(步骤TF17—步骤TF18)，将角色图像移到合成图像中的不同位置，并且显示另一得到的合成图像 (TF19-TF20)。
当确定指定的图像组成模式包掛"添加溜合模式"以及"l-2:跟随 者添加模式"(步骤TF14， "l-2")时，将图像传送服务器UO传送的并且 模仿拾取场景图像中对象图斷目标图像)步行姿态的指定角色图像添 加到最后场景图像的一位置处，该位置对应于该系列拾取场景图像 12hn的相关一个上的一位置，在确定的时间之前假定步行对象图像(目
标图像)H在该位置，借此提供得到的合成图像，如图9(D)所示(步骤 TH15b， TF16)。当人工地执行将作为合成图像中跟随者的指定角色图像从其当前 位置移动到合成图像中任意指定的不同位置时(步骤TF17到TF18)，将 指定的角色图像移到合成图像中的不同位置，并且显示另一得到的合 成图像(步骤TF19,TF20)。当确定指定的图像组成模式包掛'添加/组合模式"以及"l-3:反转的角色图像添加模式"(步骤F14， "l-3")时，将模仿场景图像12g3中对 象图像(目标图像)H的跳舞姿态的"兔子"角色图像12d(19)镜像反转，将 镜像反转的"兔子"角色图像添加到场景图像12g3中的一位置处，在该 位置处，镜像反转的"兔子"角色图像与跳舞目的的目标图像H链接，然 后显示得到的合成图像12g3 '，如图ll(D)所示(步骤TF15c—TF16)。当人工地执行将合成图像12g3 '中的反转的"兔子"角色图像 12d(19)R从其当前位置移动到任意指定的不同位置的过程时(步骤TF17 到步骤TF18)，将镜像反转的"兔子"角色图像移到合成图像12g3'中的不 同位置处，并且显示另一得到的合成图像(步骤TF19， TF20)。然后，终端120从图像传送服务器110接到用户使用服务器服务的 费用内容的通知，并且在显示单元130上显示它(步骤TF21)。因此，按照第三实施例的图像传送系统的图像传送功能，当终端 120拾取包含多个对象的场景图像时，从拾取的场景图像中提取一对象 图像。根据在姿态上类似于提取的对象图像的模型图像确定姿态编号。 终端120请求从图像传送服务器110传送具有确定姿态编号的姿态角色 图像以及指定类型的角色图像。于是，图像传送服务器110从角色1"兔 子"姿态图像存储器112d、角色2"熊"姿态图像存储器112e以及角色 3"猫"姿态图像存储器112啲适当一个中读取具有指定姿态编号和类型 的角色图像，并且向终端120传送读取的角色图像，显示得到的合成图
像，其中，可以利用接收的在姿态上类似于所述对象的角色图像替代 拾取场景图像中的对象图像，或者添加接收的角色图像到场景图像中并且显示得到的合成图像。简而言之，处于终端120的用户为了乐趣不 是简单地添加固定的动画图像到拾取帧，而是从图像传送服务器110获 得在姿态上类似于场景图像中的对象图像的动画图像，并且利用该动 画图像替代拾取场景图像中的对象图像或者添加该动画图像到拾取场 景图像，以便借此产生包含该动画图像的非常可爱的合成图像。第三实施例的图像传送系统中的图像传送服务器l IO能够向图像 拾取类型移动终端120B、 120C、 120D (诸如包括数字式照相机的蜂窝 电话终端120A)提供以下功能支付传送模仿每个拾取场景图像中对 象图像姿态的角色图像的费用；支付或者免费传送模仿拾取场景图像 中对象图像姿态的一特定角色图像、以便在一特定主页上宣传该特定 角色，以及支付经由指定地方中(诸如娱乐场所等)的短距离无线通 信单元116传送模仿拾取场景图像中对象图像姿态的流行角色图像到 数字式照相机终端120D的费用。虽然在相应的实施例中，有选择地获得在姿态上类似于从拾取场 景图像中提取的对象图像的角色图像，并且用作为拾取场景图像中的 添加角色或者替代角色，以便借此提供得到的合成图像，但是，可以 预先存储实际拾取的具有各种表情的面部图像以及人类图像，并且用 作模仿从拾取场景图像中提取的对象图像姿态的添加角色或者替代角 色，借此输出得到的合成图像。在相应的上述实施例中，已经举例说明了作为静像的拾取场景图 像。另一方面，当所述拾取场景图像包括一系列输入的动画图像时， 可以顺序地从该系列动画图像中提取相对于该系列动态图像的背景图 像的在时间上顺序改变的对象图像。然后有选择地获得、传送在姿态 上类似于顺序提取的对象图像的角色图像(图39)，并将其添加到拾取的动态图像或者替代相应的动画图像中的对象图像，借此提供一系列合 成出来的合成动画图像，然后传送。图39举例说明了触发存储在图像传送服务器110的角色"兔子"动 画姿态图像存储器112dM中各种姿态的动画角色图像。通过利用相应实施例的图像传送服务器110或者终端120的图像处 理功能，可以获得准备的期望角色图像(在姿态上类似于模仿的目标 图像，所述模仿的目标图像包括从游戏的动画图像中指定并且提取的 呈现角色)或实际拾取的人类图像，并且传送到请求者终端，或者替 代动画图像中出现的角色，借此向请求者终端传送得到的合成图像。如接下来第四实施例将描述的那样，可以将触发由用户拾取的各 种姿态的对象图像、或者触发从互联网N上的游戏服务器下载的游戏 (游戏HP)中出现的各种姿态的角色图像记录在类似于图像传送服务器 1 IO中存储器I 12的角色1"兔子"姿态图像存储器112d、角色2"熊"姿态图 像存储器112e以及角色3"猫"姿态图像存储器112飾存储器中。当在第 二或者第三实施例中、从图像传送服务器11 O获得在姿态上类似于从拾取场景图像中提取的对象图像的角色图像时，它可以从最初寄存的"兔 子"、"熊"和"猫"角色图像以及用户寄存的人类图像和游戏角色图像中被选择出来。 (第四实施例)图40是表示第四实施例中图像传送系统的整体组成的框图。 此实施例处理用户利用具有数字式照相机的蜂窝电话220A拾取的 触发各种姿态的对象图像，并且在图像传送服务器210的存储器212中 寄存对象图像作为用户原始角色图像，或相反，在传送服务器210的存 储器212中寄存触发从游戏服务器210A的存储器212A下载的各种姿态 的游戏角色作为用户原始角色。图41(A)和41(B)是分别地在第四实施例中的图像传送系统的蜂窝
电话220A和图像传送服务器210待执行的用户原始角色图像寄存过程 的流程图。首先，当互联网N上的游戏服务器210A通过具有数字式照相机的 蜂窝电话220A从互联网N上的游戏服务器210A下载用户原始角色图像 并且寄存时，指定获得角色图像的游戏服务器210A的主页(HP)，并且 与蜂窝电话220A连接(步骤TS 1 —TS2)。当用户指定游戏服务器210A的主页(HP)上待设定为他的或者她的 原始角色图像的游戏角色时，下载存储在游戏服务器210A的存储器 212A中的指定游戏角色的各种姿态图像(步骤TS4)。于是，将蜂窝电话220A的用户ID(= 123)以及从游戏服务器210A 下载的相应的姿态角色图像传送到图像传送服务器210(步骤TS5)。当用户在没有从互联网N下载类似的角色图像的情况下、利用蜂窝 电话220A拾取并且寄存用户原始角色图像时，所述数字式照相机232 拾取包含触发它们相应姿态的对象图像的场景图斷步骤TS1—TS7)。于是，蜂窝电话220A提取角色图像作为拾取场景图像中除背景图 像外的对象图像(步骤TS8)，并且将他们存储为采取相应姿态的相应角 色图像(步骤TS9)。然后，蜂窝电话22(^向图像传送服务器210发送其终端用户10(= 123)以及存储的触发相应姿态的对应图像(步骤TS5)。当所述图像传送服务器210从蜂窝电话220A接收终端用户ID以及 触发它们相应姿态的角色图像时(步骤SR1)，除例如存储器212中图23 的那些相应的"兔子"、"熊"以及"猫"角色图像(112d-112f)以外，它寄存 角色图像作为触发用户ID的相应姿态的角色图像(步骤SR2)。当在第二或者第三实施例中、所述图像传送服务器210选择并且传 送在姿态上类似于从拾取场景图像中提取的对象图像的角色图像时， 图像传送服务器210能够从寄存的"兔子"、"熊"和"猫"角色图像以及用
户拾取并且寄存的角色图像以及游戏角色中选择角色图像。参考相应的实施例描述的图像传送系统执行的各种过程，也就是说，在第二实施例的图像传送系统的终端120执行的图26和27的流程图 示出的图像处理，在第二实施例的图像传送系统中图28和29的流程图 示出的图像传送服务器110执行的服务器过程，图30流程图示出的第二 实施例中服务器处理中包括的对象图像提取过程，图31流程图示出的 第二实施例的服务器过程中包括的对应动画图像获取过程，图18流程 图示出的第二实施例中对应动画图像获取过程中包括的评估角色/模型 图像与模仿的目标图像姿态相似性的过程，图33和34流程图示出的第 三实施例的图像传送系统中终端120执行的图像处理，图35的流程图示 出的第三实施例的图像传送系统中图像传送服务器l IO的服务器处理， 图36的流程图示出的第三实施例的图像处理中包括的目标图像提取过 程，图37的流程图示出的第三实施例的图像处理中包括的姿态编号确 定过程，图38的流程图示出的第三实施例中姿态编号确定过程中包括 的评估模型姿态图像与模仿的目标图像姿态相似性的过程，图41流程 图示出的第四实施例的图像传送系统中蜂窝电话220A中执行的用户角 色图像寄存过程，以及图像传送服务器210执行的用户角色图像寄存过 程可以存储并且作为计算机可执行程序分布在存储卡(ROM卡、RAM 卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、 DVD等)以及诸如半导体 存储器113(123、 213、 223)的外部记录介质上。具有与通信网络(互联 网)N通信功能的各种计算机终端能够利用记录介质读取器114(124、 214、 224)将外部记录介质113(123、 213、 223)上存储的程序读入存储 器112(122、 212、 222)中。因此，可以通过这些程序控制计算机的操作， 以便执行参考相应实施例描述的图像传送功能，借此执行类似于上述 那些操作的过程。可以通过通信网络(互联网)N以程序代码的形式传送实现相应过 程的程序数据。所述程序数据可以从与通信网络(互联网)N连接的计算 机终端获得，以便实现图像传送功能。本发明不局限于相应实施例实现的实施例。在不脱离本发明的精 神和范围的情况下，本领域技术人员可以容易地做出各种变化和修改。
权利要求
1.一种对应拾取场景的合成图像发送设备，其特征在于，包括拾取场景图像接收单元(115，116)，用于从终端接收表示包含对象的场景的多张拾取场景图像；目标图像提取单元(111)，用于从由所述拾取场景图像接收单元接收到的拾取场景图像中提取表示所述对象的目标图像；对应图像获得单元(111)，用于获取对应于所述目标图像提取单元提取的目标图像的对应图像；图像合成单元(111)，用于将所述对应图像获得单元获取的对应图像合成到所述拾取图像，将所述合成图像输出；以及图像传送单元(115，116)，用于将所述图像合成单元合成的图像传送到所述终端。
2. 如权利要求1所述的对应拾取场景的合成图像传送设备，其特征 在于，所述拾取场景图像接收单元接收包含对象的场景的一系列拾取 场景图像；以及所述目标图像提取单元具有提取一系列变化的目标图像的单元 (111)，所述一系列变化的目标图像表示所述拾取场景图像接收单 元接收的一系列拾取图像中所述对象连续变化的动作。
3. 如权利要求1所述的对应拾取场景的合成图像传送设备，其特征 在于，所述对应图像获得单元包括对应图像存储单元(112d， 112e，112f)，存储有多张对应图像； 相似性评估单元(111)，用于评估存储在所述对应图像存储单 元中的各对应图像与所述目标图像提取单元提取的目标图像在姿态 上的相似性；以及获得单元，用于获得相对于所述相似性评估单元评估的目标图像 具有在指定的姿态上的相似性的对应图像。
4. 如权利要求3所述的对应拾取场景的合成图像传送设备，其特征 在于，所述相似性评估单元包括对应图像存储单元(l 12b,l 12c，l 12d,l 12e,l 12f)，存储有依照对应关 系的多张模型图像和多张对应图像；以及模型相似性评估单元(111)，用于评估存储在所述对应图像存 储单元中的各模型图像相对于所述目标图像提取单元提取的目标图 像在姿态上的相似性；所述对应图像获得单元具有模型对应图像获得单元，从所述对应 图像存储单元中获取相对于所述相似性评估单元评估的目标图像具 有在指定姿态上的相似性的模型图像的对应图像。
5. 如权利要求1所述的对应拾取场景的合成图像传送设备，其特征 在于，还包括收信人地址接收单元(l 1 l，l 15,116)，用于从所述终端接收其他终端的收信人地址；以及收信人地址终端发送单元(115,116)，用于将所述图像合成单元合成的图像向所述收件人地址接收单元接收的收件人地址的终端传送。
6. —种对应拾取场景的合成图像传送设备，与终端进行通信，所 述终端提取拾取场景图像中包含的目标图像，向传送设备发送对应于 所述目标图像的姿态信息，并应答发送的所述姿态信息，接收对应于 所述传送设备发送的所述姿态信息的对应图像，合成到所述拾取场景 图像并输出，所述合成图像传送设备包括姿态信息接收单元(lll， 115， 116)，用于从所述终端接收对应于 所述拾取场景图像中包含的目标图像的姿态信息；对应图像存储单元(112d,112e,112f)，存储每个不同姿态信息的对 应图像；以及图像传送单元(l 11,115，116)，用于从所述对应图像存储单元读取 对应于所述姿态信息接收单元接收到的姿态信息的对应图像，传送给 所述终端。
7. —种对应拾取场景的合成图像传送设备，与终端进行通信，所 述终端提取拾取场景图像中包含的目标图像，向传送设备发送对应于 所述目标图像的姿态信息和指定的特征种类信息，并应答发送的所述 姿态信息和指定的特征种类信息，接收对应于所述传送设备发送的所 述姿态信息和特征种类信息的对应图像，合成到所述拾取场景图像并 输出，所述合成图像传送设备包括接收单元(lll， 115， 116)，用于从所述终端接收对应于拾取场景 图像中包含的目标图像的姿态信息以及特征种类信息；对应图像存储单元(l 12d,l 12e，l 12f)，存储表示每个不同姿态信息的多种类特征的对应图像；以及图像传送单元(l 11,115,116)，用于从所述对应图像存储单元读取对应于所述姿态信息接收单元接收到的姿态信息和特征种类信息的 对应图像，传送给所述终端。
8. 如权利要求7所述的对应拾取场景的合成图像传送设备，其特征 在于，还包括 位置信息接收单元(111， 115， 116)，用于从所述终端接收有 关终端的位置信息；当由所述位置信息接收单元接收到的所述终端的位置信息表示 所述终端位于指定地点时，所述图像传送单元从所述对应图像存储单 元中读出表示特征的对应图像，并传送给所述终端，所述对应图像对 应于所述姿态信息接收单元接收到的姿态信息和有关指定的地点。
9. 如权利要求7所述的对应拾取场景的合成图像传送设备，其特征 在于，当当前时刻位于特定时间区域时，所述图像传送单元从所述对应 图像存储单元读取特征的对应图像，发送给所述终端，所述特征的对 应图像对应于所述姿态信息接收单元接收的姿态信息和所述特定时 间区域的信息。
10. 如权利要求1所述的对应拾取场景的合成图像传送设备，其特 征在于，还包括收费单元，对应所述传送单元传送的图像向所述终端收费。
11. 一种对应拾取场景的合成图像传送方法，包括以下步骤拾取场景图像接收步骤，从终端接收表示包含对象的场景的拾取场景图像；目标图像提取步骤，从由所述拾取图像接收步骤接收到的拾取图 像中提取表示所述对象的目标图像；对应图像获取步骤，获取对应于所述目标图像提取步骤提取的目 标图像的对应图像；图像合成步骤，将所述对应图像获取步骤获取的对应图像合成到 所述拾取图像，并将所述合成图像输出；以及图像传送歩骤，将所述图像合成步骤合成的图像传送给所述终Jj山顺0
12. —种对应拾取场景的合成图像传送方法，用来与终端进行通 信，所述终端提取对应于对象的拾取场景图像中包含的表示所述对象 的目标图像，向传送设备发送对应于所述目标图像的姿态信息，并应 答发送的所述姿态信息，接收对应于所述传送设备发送的所述姿态信 息的对应图像，合成到所述拾取图像，并将构成图像输出，所述对应 拾取场景的合成图像传送方法包括姿态信息接收步骤，用于从所述终端接收对应于所述拾取场景图 像中包含的目标图像的姿态信息；对应图像存储步骤，将每个不同姿态信息的对应图像存储到存储 器中；以及图像传送步骤，用于从所述存储器读取对应于所述姿态信息接收 单元接收到的姿态信息的对应图像，传送给所述终端。
13. 如权利要求6所述的对应拾取场景的合成图像传送设备，其特 征在于，所述对应图像存储单元存储的对应图像中包含从所述终端的 拾取场景图像中提取而接收的图像，对应于各图像相应的姿态信息而 被存储。
14. 如权利要求6所述的对应拾取场景的合成图像传送设备，其特 征在于，所述对应图像存储单元存储的对应图像中包含由所述终端从 网络下载而接收的图像，对应于各图像相应的姿态信息而被存储。
全文摘要
一种合成图像输出/传送设备(10)用于向拾取场景图像添加相应的动画图像，并且输出/传送得到的合成图像，而不是简单地将固定的动画图像添加到拾取场景图像。当从经由图像输入单元(17)接收的拾取场景图像中提取一对象图像时，从角色1“兔子”姿态图像存储器(12d)、角色2“熊”姿态图像存储器(12e)、角色3“猫”姿态图像存储器(12f)中的适当一个中选出对应于场景图像的任何指定类型的角色图像。选择类型的角色图像替代拾取场景图像中的对象图像，或者添加到场景图像，以便借此提供并且显示得到的合成图像。也就是说，通过利用在姿态上类似于对象图像的动画图像替代对象图像，或者通过添加动画图像到场景图像，在不是简单向图像拾取帧添加固定动画图像的情况下，可以容易地创建具有动画的非常可爱的拾取图像。
文档编号G06T13/80GK101119443SQ200710147289
公开日2008年2月6日 申请日期2003年5月28日 优先权日2002年5月28日
发明者湖城孝 申请人:卡西欧计算机株式会社