图像处理装置、图像处理方法和程序的制作方法

专利名称：图像处理装置、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理装置，并且具体地，涉及分析图像以执行图像处理的图像处
理装置和图像处理方法、以及使得计算机执行其方法的程序。
背景技术：
近年来，如数字摄像机的成像装置(例如，集成相机/记录器)已经得到广泛使 用。例如，游览各个旅游景点的游客将经常在背景中具有著名建筑物或风景等的情况下，使 用成像装置拍摄一个人或多个人的运动画面。 例如可以在家中使用播放器播放由此拍摄的运动画面。然而，在使用播放器来播 放运动画面的情况下，从开始播放整个运动画面可能意味着播放时间被延长，并且存在对 运动画面的兴趣可能降低的可能性。而且，播放在多个旅游景点拍摄的多个运动画面可能 意味着播放时间被进一步延长，并且对于观看所有运动画面的兴趣可能降低。而且，用于观 看运动画面的时间相对长，因此，观看者通常满意于观看已经播放和观看的运动画面一次， 因此，很少有对于重复观看这样的运动画面的需求。 因此，例如，已经提出了这样的播放器，其在显示单元上显示胶片滚动(roll)图 像(例如，参见日本未审专利申请公开No. 2008-167155)。该胶片滚动图像例如是这样的图 像，其中表示构成运动画面的场景的静态图像的縮略图像以对应于每个场景的场景的回放 时间点的顺序布置。

发明内容
根据上述现有技术，在观看在多个旅游景点拍摄的多个运动画面的情况下，例如， 用户可以容易地理解这些运动画面的整体内容。 然而，在显示表示构成运动画面的每个场景的縮略图像的情况下，显示对应于其 縮略图像的成像范围，但是没有显示对应于其縮略图像的场景处的其他成像空间。例如，在 其场景的成像范围中包括人、并且可以容易地综合已经拍摄其场景的地点、周围的环境等 的情况下，可以预期可促进对其场景的兴趣。在此情况下，例如，执行对用户有吸引力的呈 现是重要的，从而促进对其运动画面的兴趣。
已经发现期望提高对运动画面的兴趣。 根据本发明实施例，提供了 一种图像处理装置和图像处理方法、以及使得计算机 执行该方法的程序，所述图像处理装置包括变换信息计算单元，配置为基于构成成像的运 动画面的成像的图像的运动信息，计算关于多个合成目标图像的变换信息，该多个合成目 标图像用作构成所述成像的运动画面的成像的图像的合成目标；以及装饰图像确定单元， 配置为计算作为所述合成目标图像的第一合成目标图像、以及作为根据所述变换信息变换 后的所述合成目标图像的第二合成目标图像之间的偏移量，以基于所述偏移量确定要添加 到所述第二合成目标图像的外围的装饰图像。因此，提供了这样的效果计算用作合成目标 图像的第一合成目标图像、以及用作根据变换信息变换后的合成目标图像的第二合成目标图像之间的偏移量，以基于所述偏移量确定要添加到所述第二合成目标图像的外围的装饰 图像。 对所述合成目标图像的每个，所述变换信息计算单元可以以所述合成目标图像中 的一个合成目标图像作为参考图像，计算用于变换其他所述合成目标图像的所述变换信 息，其中所述装饰图像确定单元计算合成图像和所述第二合成目标图像之间的偏移量，并 基于所述偏移量确定所述装饰图像，所述合成图像用所述变换信息变换并且从所述合成目 标图像中的至少一个合成目标图像合成。因此，提供了这样的效果计算合成图像和根据变 换信息变换后的第二合成目标图像之间的偏移量，并基于所述偏移量确定所述装饰图像。
所述装饰图像确定单元可基于所计算的偏移量的大小确定所述装饰图像的厚度。 因此，提供了这样的效果基于所计算的偏移量的大小确定所述装饰图像的厚度。
所述装饰图像确定单元可计算与所述合成目标图像的所有合成目标图像相关的 所述偏移量，以基于所述偏移量确定要添加到所有所述合成目标图像的外围的相同的装饰 图像。因此，提供了这样的效果计算与所有合成目标图像相关的所述偏移量，以基于所述 偏移量确定要添加到所有所述合成目标图像的外围的相同的装饰图像。 所述图像处理装置还可包括图像变换单元，配置为基于所述变换信息变换所述 合成目标图像，以生成所述第二合成目标图像；以及图像合成单元，配置为将所确定的装饰 图像添加到所述第二合成目标图像，并且合成已经对其添加所述装饰图像的所述第二合成 目标图像和所述第一合成目标图像，以生成合成图像。因此，提供了这样的效果基于变换 信息变换合成目标图像，以生成第二合成目标图像，将所确定的装饰图像添加到所述第二 合成目标图像，并且合成已经对其添加所述装饰图像的所述第二合成目标图像和所述第一 合成目标图像，以生成合成图像。 所述图像处理装置还可包括对象检测单元，配置为检测所述合成目标图像中包 括的对象，其中在所述对象包括在所述第二合成目标图像中的情况下，所述装饰图像确定 单元确定所述装饰图像，以便不使包括所述对象的对象区域与所述装饰图像的区域重叠。 因此，提供了这样的效果在所述对象包括在所述第二合成目标图像中的情况下，确定装饰 图像，以便不使包括所述对象的对象区域与所述装饰图像的区域重叠。 此外，根据本发明实施例，提供了一种图像处理装置和图像处理方法、以及使得计 算机执行该方法的程序，所述图像处理装置包括变换信息计算单元，配置为基于构成成像 的运动画面的成像的图像的运动信息，计算关于合成目标图像的变换信息，该合成目标图 像用作构成所述成像的运动画面的成像的图像的合成目标；以及装饰图像确定单元，配置 为基于作为所述合成目标图像的第一合成目标图像、以及作为根据所述变换信息变换后的 所述合成目标图像的第二合成目标图像之间的相对位置关系，确定要添加到所述第二合成 目标图像的外围的装饰图像。因此，提供了这样的效果基于第一合成目标图像、以及根据 所述变换信息变换后的第二合成目标图像之间的相对位置关系，确定要添加到所述第二合 成目标图像的外围的装饰图像。 所述装饰图像确定单元可基于所述第一合成目标图像和所述第二合成目标图像 之间的每个顶点的转换，确定所述装饰图像的位置。因此，提供了这样的效果基于所述第 一合成目标图像和根据所述变换信息变换后的所述第二合成目标图像之间的每个顶点的 转换，确定所述装饰图像的位置。
所述装饰图像确定单元可基于与所述第一合成目标图像重叠的所述第二合成目 标图像的边缘部分的大小和位置，确定所述装饰图像的位置。因此，提供了这样的效果基 于与所述第一合成目标图像重叠的变换后的所述第二合成目标图像的边缘部分的大小和 位置，确定所述装饰图像的位置。 所述装饰图像确定单元可关于所述合成目标图像的所有合成目标图像计算所述 重叠边缘部分的大小和位置，并且基于计算的大小和位置，确定要添加到所述合成目标图 像的所有外围的相同的装饰图像。因此，提供了这样的效果关于所有合成目标图像计算所 述重叠边缘部分的大小和位置，并且基于计算的大小和位置，确定要添加到所述合成目标 图像的所有外围的相同的装饰图像。 根据上述配置，提供了可以提高对运动画面的兴趣的出众的效果。


图1是图示根据本发明第一实施例的图像处理装置的功能配置示例的框图；
图2是图示根据本发明第一实施例的相机工作检测单元的功能配置示例的框图；
图3A和3B是示意性图示根据本发明第一实施例、在运动画面存储单元和元数据 存储单元中存储的文件的图； 图4是示意性图示根据本发明第一实施例的合成目标图像元数据存储单元的存 储内容的图； 图5A到5C是图示构成运动画面的图像的示例的图； 图6A到6C是图示通过省略关于构成运动画面的图像的背景等而简化的图像的 图； 图7是图示使用仿射变换参数而变换矩形的情况的图； 图8(a)到(c)是示意性图示通过根据本发明第一实施例的面部检测单元的面部 检测方法的图； 图9(a)到(c)是概念性图示用于面部表情评估值的计算的判别(discriminant) 轴信息、以及生成该判别轴信息时的流程的图； 图10(a)到(c)是示意性图示在根据本发明第一实施例的PCA处理时要输入的采 样图像的遮盖处理的图； 图11是示意性图示在像素空间和PCA空间中的判别轴、以及要评估的面部图像之 间的关系的图； 图12是图示在根据本发明第一实施例的面部表情评估值输出为数值的情况下的 计算示例的图； 图13是图示通过根据本发明第一实施例的图像处理装置的元数据记录处理的过 程的流程图； 图14是图示在通过根据本发明第一实施例的图像处理装置的元数据记录处理的 过程中包括的仿射变换参数计算过程的流程图； 图15(a)到(c)是图示通过相机成像的运动画面的转换的示例的图； 图16(a)到(c)是示意性图示通过根据本发明实施例的合成目标图像选择单元选
择的图像中包括的被摄体的所在地(locus)的 图17(a)到(c)是图示在通过根据本发明第一实施例的图像合成单元合成图像的 情况下的图像合成示例的图； 图18(a)到(c)是图示通过相机成像的运动画面的转换的示例的图； 图19(a)到(c)是示意性图示通过根据本发明实施例的合成目标图像选择单元选
择的图像中包括的被摄体的所在地的图； 图20(a)到(c)是图示在通过根据本发明第一实施例的图像合成单元合成图像的 情况下的图像合成示例的图； 图21 (a)到(c)是图示通过相机成像的运动画面的转换的示例的图； 图22(a)到(c)是示意性图示通过根据本发明实施例的合成目标图像选择单元选
择的图像中包括的被摄体的所在地的图； 图23(a)到(c)是图示在通过根据本发明第一实施例的图像合成单元合成图像的 情况下的图像合成示例的图； 图24(a)和(b)是以时间序列方式图示通过根据本发明第一实施例的相机工作检 测单元计算的可靠度确定分数的图； 图25(a)和(b)是以时间序列方式图示用通过根据本发明第一实施例的相机工作 检测单元计算的仿射变换参数计算的积分变焦分量的图； 图26(a)和(b)是以时间序列方式图示用通过根据本发明第一实施例的相机工作 检测单元计算的仿射变换参数计算的积分平移分量的图； 图27A和27B是以时间序列方式示意性图示通过根据本发明第一实施例的部分选 择单元选择的图像合成目标部分中包括的图像的图； 图28(a)到(d)是示意性图示在通过根据本发明第一实施例的合成目标图像选择 单元选择合成目标图像的情况下的选择方法的图； 图29(a)到(f)是以时间序列方式示意性图示通过根据本发明第一实施例的部分 选择单元和合成目标图像选择单元确定的运动画面的图； 图30是图示关于通过相机成像的运动画面而选择的合成目标图像的示例的图；
图31 (a)到(d)是图示通过根据本发明第一实施例的图像合成单元创建的合成图 像的转换的图； 图32(a)到(d)是图示通过根据本发明第一实施例的图像合成单元创建的合成图 像的转换的图； 图33(a)到(c)是通过根据本发明第一实施例的图像合成单元创建的合成图像的 另一合成示例； 图34是图示通过根据本发明第一实施例的图像处理装置的合成目标图像元数据 记录处理的过程的流程图； 图35是图示通过根据本发明第一实施例的图像处理装置的合成目标图像元数据 记录处理的过程中包括的部分提取过程的流程图； 图36是图示通过根据本发明第一实施例的图像处理装置的合成目标图像元数据 记录处理的过程中包括的帧选择过程的流程图； 图37是图示通过根据本发明第一实施例的图像处理装置的合成图像显示处理的 过程的流程 图38是图示在通过根据本发明第一实施例的图像处理装置的合成图像显示处理 的过程中包括的图像合成过程的流程图； 图39是图示根据本发明第二实施例的相机工作检测单元的功能配置示例的框 图； 图40 (a)到(c)是图示在通过根据本发明第二实施例的可靠度确定分数计算单元 计算可靠度确定分数时的计算方法的概述的图； 图41是图示根据本发明第二实施例的相机工作检测单元的功能配置示例的框 图； 图42 (a)到(c)是图示在通过根据本发明第二实施例的可靠度确定分数计算单元 计算可靠度确定分数时的计算方法的概述的图； 图43是图示根据本发明第三实施例的图像处理装置的功能配置示例的框图；
图44A和44B是示意性图示根据本发明第三实施例的、在参考信息存储单元和元 数据存储单元中存储的内容的图； 图45是图示根据本发明第三实施例的显示单元上显示的选择屏幕的示例的图；
图46是图示通过根据本发明第三实施例的合成目标图像选择单元计算选择确定 分数使用的分数的示例的图； 图47A和47B是图示在通过根据本发明第三实施例的合成目标图像选择单元执行 帧选择的情况下的选择方法的概述的图； 图48A和48B是图示在通过根据本发明第三实施例的合成目标图像选择单元执行 帧选择的情况下的选择方法的概述的图； 图49是图示通过根据本发明第三实施例的图像处理装置的帧选择处理的过程的 流程图； 图50是图示根据本发明第四实施例的图像处理装置的功能配置示例的框图；
图51是示意性图示根据本发明第四实施例的合成目标图像元数据存储单元的存 储内容的图； 图52A到52C是图示是被安排来通过根据本发明第四实施例的装饰图像确定单元 确定白框的厚度(heaviness)的确定方法的概述的图； 图53A到53C是图示通过根据本发明第四实施例的装饰图像确定单元确定的装饰 图像的示例的图； 图54A到54C是图示通过根据本发明第四实施例的装饰图像确定单元用于装饰图 像的确定方法的示例的图； 图55A和55B是图示通过根据本发明第四实施例的装饰图像确定单元用于装饰图 像的确定方法的示例的图； 图56A到56D是图示合成通过根据本发明第四实施例的装饰图像确定单元确定的 装饰图像的合成示例的图； 图57A到57D是图示合成通过根据本发明第四实施例的装饰图像确定单元确定的 装饰图像的合成示例的图； 图58A到58D是图示合成通过根据本发明第四实施例的装饰图像确定单元确定的 装饰图像的合成示例的 图59是图示考虑到面部的、通过根据本发明第四实施例的装饰图像确定单元的 装饰图像确定方法的示例的图； 图60A到60C是图示通过根据第四实施例的装饰图像确定单元、被确定为要添加 到合成目标图像的装饰图像的阴影的示例的图； 图61A和61B是图示被安排来通过根据第四实施例的装饰图像确定单元确定阴影 的方向的确定方法的概述的图； 图62是图示考虑到面部的、通过根据第四实施例的装饰图像确定单元的阴影确 定方法的示例的图； 图63是图示通过根据本发明第四实施例的图像处理装置的合成目标图像元数据 记录处理的过程的流程图； 图64是图示通过根据本发明第四实施例的图像处理装置的合成目标图像元数据 记录处理的过程中包括的装饰图像确定过程的流程图； 图65是图示通过根据本发明第四实施例的图像处理装置的合成目标图像元数据 记录处理的过程中包括的装饰图像确定过程的流程图； 图66是图示通过根据本发明第四实施例的图像处理装置的合成图像显示处理的 过程的流程图； 图67是图示通过根据本发明第四实施例的图像处理装置的合成图像显示处理的 过程中包括的图像合成过程的流程图； 图68是图示根据本发明第五实施例的多核处理器的配置示例的图；
图69是图示根据本发明第五实施例的控制处理器核心的配置示例的图；
图70是图示根据本发明第五实施例的算术处理器核心的配置示例的图；
图71是示意性图示根据本发明第五实施例的多核处理器的计算方法的图；
图72是示意性图示在通过根据本发明第五实施例的多核处理器执行计算的情况 下的程序和数据的流程的图； 图73 (a)和(b)是示意性图示被安排来通过每个对应的命令执行关于多个数据的 处理的计算方法的概述、以及作为被安排来通过单个命令执行关于多个数据的处理的计算 方法的SMD计算的概述的图； 图74是图示通过根据本发明第五实施例的控制处理器核心或算术处理器核心执 行的程序的配置示例的图； 图75是示意性图示在根据本发明第五实施例的主存储器中存储的图像数据使用 Sobel滤波器经历滤波处理的情况下的数据结构和处理流程的图； 图76是示意性图示根据本发明第五实施例的、在Sobel滤波器用于执行关于主存 储器中存储的图像数据的SIMD计算的情况下的数据流程的图； 图77是示意性图示在根据本发明第五实施例使用Sobel滤波器执行滤波处理的 情况下、被安排来从在第一缓冲器中存储的图像数据创建九个矢量的矢量创建方法的图；
图78是示意性图示在根据本发明第五实施例使用Sobel滤波器执行滤波处理的 情况下、被安排来使用SIMD计算来执行关于矢量数据的矢量计算的矢量计算方法的图；
图79是以时间序列方式示意性图示根据本发明第五实施例的相机工作参数计算 处理的流程的图；以及
图80(a)到(c)是示意性图示作为记录介质的示例的蓝光盘、在蓝光盘中记录的 数据、以及能够播放蓝光盘的蓝光盘播放器的内部配置的图。
具体实施例方式
以下，将以下面的顺序关于执行本发明的优选实施例(以下，简称为"实施例")进 行描述。 1.第一实施例(合成图像创建控制从运动画面选择合成目标图像、并且其用于 创建合成图像的示例) 2.第二实施例(图像合成目标部分选择控制其中从运动画面选择用于选择合成 目标图像的图像合成目标部分的修改) 3.第三实施例(合成目标图像选择控制其中从图像合成目标部分选择合成目标 图像的修改) 4.第四实施例(装饰图像确定控制确定要添加到合成目标图像的装饰图像的示 例) 5.第五实施例(特征点提取处理和光学流程计算处理通过多核处理器执行的示 例) 1.第一实施例 图像处理装置的配置示例 图1是图示根据本发明第一实施例的图像处理装置100的功能配置示例的框图。 图像处理装置100包括运动画面输入单元110、相机工作检测单元120、面部检测单元130、 面部表情评估值计算单元140、判别轴信息存储单元141、记录控制单元150、部分选择单元 160、以及合成目标图像选择单元170。此外，图像处理装置100包括文件获得单元180、图像 变换单元190、运动画面存储单元200、元数据存储单元210、图像合成单元220和图像存储 器230。此外，图像处理装置100包括显示控制单元240、显示单元250、操作接受单元260 和合成目标图像元数据存储单元270。图像处理装置IOO可通过个人计算机实现，该个人计 算机可将通过例如如数字摄像机等的成像装置成像的运动画面经历用于提取特征量的视 频分析，并经历使用该提取的特征量的各种图像处理。 运动画面输入单元110是配置为输入通过如数字摄像机等的成像装置(以下，简 称为"相机")成像的运动画面的运动画面输入单元。运动画面输入单元iio将输入的运动 画面输出到相机工作检测单元120、面部检测单元130、面部表情评估值计算单元140和记 录控制单元150。 相机工作检测单元120分析从运动画面输入单元110输出的运动画面，以检测 在成像(也称为"相机工作")时的运动信息，并且基于相机的运动信息计算相机工作参 数。此外，当计算相机工作参数时，相机工作检测单元120计算指示相机工作参数的似然度 (likelihood)的可靠度确定分数，并且将计算的相机工作参数和可靠度确定分数输出到记 录控制单元150。具体地，相机工作检测单元120从构成运动画面的每个图像提取特征点， 并且计算关于该特征点的光流(optical flow)(运动矢量)。相机工作检测单元120分析 计算的关于特征点的光流，以选择展现支配(dominant)运动的特征点，并且基于关于展现 支配运动的特征点的光流，估计相机的运动。这里，"支配运动"意味着关于多个特征点的多个光流当中的相对大量的光流展现的规则的运动。此外，在图像内的各特征点中，基于展现 支配运动的特征点和除了该特征点以外的特征点之间的比率计算可靠度确定分数。注意， 将参照图2详细描述相机工作检测单元120的内部配置。注意，相机工作检测单元120是 发明内容中所指的计算单元的示例。 面部检测单元130检测构成从运动画面输入单元IIO输出的运动画面的图像中 包括的人的面部，并且将关于检测的面部的面部检测信息输出到面部表情评估值计算单 元140和记录控制单元150。该面部检测方法的示例包括通过匹配其中记录面部辉度 (luminance)分布信息的模板以及实际图像的面部检测方法(例如，参见日本未审专利申 请公开No. 2004-133637)、以及基于图像中包括的皮肤部分、以及人脸的特征量的面部检测 方法。此外，可采用这样的面部检测方法，其中，关于作为包括面部的图像的面部图像，学 习面部图像上的两个像素之间的辉度差，从该学习获得的特征量预先存储为面部检测参考 数据，并且使用该面部检测参考数据执行面部检测。将参照图8详细描述使用该面部检测 参考数据的面部检测方法。此外，面部检测信息包括检测的面部图像的位置和大小。面部 检测信息中包括的面部位置的示例包括围绕检测的面部的矩形面部检测窗口的位置(例 如，面部检测窗口的左上角的坐标，以下称为"面部位置信息")。此外，面部检测信息中包 括的面部大小的示例包括其面部检测窗口的大小(例如，面部检测窗口的水平方向和垂直 方向上的像素数)。注意，面部检测信息可包括指示检测的面部的朝向的滚动(roll)、倾斜 (pitch)和偏转(yaw)。 面部表情评估值计算单元140使用在判别轴信息存储单元141中存储的判别轴信 息，以计算关于通过面部检测单元130检测的面部的面部表情的面部表情评估值，并且将 计算的面部表情评估值输出到记录控制单元150。例如，基于从面部检测单元130输出的面 部检测信息(面部的位置和大小)，从构成从运动画面输入单元110输出的运动画面的图像 提取面部图像，该面部图像是至少包括由面部检测单元130检测的面部的一部分的矩形区 域。规范化(normalized)该提取的面部图像，并且计算关于规范化的面部图像的面部表情 评估值。基于该计算的面部表情评估值，可确定要计算的面部的面部表情是否是特定面部 表情。注意，在本发明第一实施例的情况下，将描述这样的示例，其中笑脸被确定为特定面 部表情。此外，将参照图9到12详细描述面部表情评估值计算。此外，面部表情评估值计 算单元140是发明内容中所指的确定单元的示例。 判别轴信息存储单元141存储用于由面部表情评估值计算单元140计算面部表情 评估值的判别轴信息，并且将存储的判别轴信息提供到面部表情评估值计算单元140。注 意，将参照图9等详细描述判别轴信息。 记录控制单元150执行关于运动画面存储单元200、元数据存储单元210、以及合 成目标图像元数据存储单元270的记录控制。也就是说，记录控制单元150将从运动画面 输入单元110输出的运动画面作为运动画面文件记录在运动画面存储单元200中。此外， 记录控制单元150将从相机工作检测单元120输出的可靠度确定分数和仿射变换参数、从 面部检测单元130输出的面部检测信息、以及从面部表情评估值计算单元140输出的面部 表情评估值记录在元数据存储单元210中。这样的每条信息以与运动画面和帧(图像)相 关的方式记录在元数据存储单元210中，作为元数据文件。此外，记录控制单元150将从合 成目标图像选择单元170输出的合成目标图像信息(帧选择信息)记录在合成目标图像元数据存储单元270中，作为合成目标图像元数据。 部分选择单元160使用元数据存储单元210中存储的元数据以选择图像合成目标 部分，该图像合成目标部分是用作用于创建关于存储在运动画面存储单元200中的运动画 面的合成图像的目标的部分，并且部分选择单元160将关于选择的图像合成目标部分的信 息输出到合成目标图像选择单元170。注意，将参照图24到26详细描述图像合成目标部分 的选择。 合成目标图像选择单元170使用存储在元数据存储单元210中的元数据，以从由 部分选择单元160输出的图像合成目标部分中包括的各帧中选择用于创建合成图像的帧， 并且将关于选择的帧的合成目标图像信息(帧选择信息)输出到记录控制单元150。具体 地，合成目标图像选择单元170首先选择要重叠和合成在合成的图像的顶端的最前面的图 像(最前面的帧)，并且利用所选择的最前面的图像作为参考图像，按顺序选择另一合成目 标图像。在以最前面的图像作为参考图像进行该选择的时候，计算用于使选择的合成目标 图像经历仿射变换的仿射变换参数。注意，将参照图27A到29详细描述合成目标图像选择。 此外，部分选择单元160和合成目标图像选择单元170是发明内容中所指的选择单元的示 例。此外，合成目标图像选择单元170是发明内容中所指的图像选择单元的示例。
运动画面存储单元200基于记录控制单元150的控制，将从运动画面输入单元110 输出的运动画面存储为运动画面文件。此外，运动画面存储单元200响应于来自文件获得 单元180的请求，将运动画面文件提供到文件获得单元180，并且响应于来自显示控制单元 240的请求，将运动画面文件提供到显示控制单元240。注意，将参照图3A和3B详细描述 要在运动画面存储单元200中存储的运动画面文件。 元数据存储单元210基于记录控制单元150的控制，将从相机工作检测单元120、 面部检测单元130、和面部表情评估值计算单元140输出的每条信息以与运动画面和帧相 关的方式存储为元数据文件。此外，元数据存储单元210将元数据文件提供到部分选择单 元160和合成目标图像选择单元170。注意，将参照图3A和3B详细描述要存储在元数据存 储单元210中的元数据文件。 合成目标图像元数据存储单元270基于记录控制单元150的控制，将从合成目标 图像选择单元170输出的合成目标图像信息存储为合成目标图像元数据文件。此外，合成 目标图像元数据存储单元270响应于来自文件获得单元180的请求，将合成目标图像元数 据文件提供到文件获得单元180。注意，将参照图4详细描述要存储在合成目标图像元数据 存储单元270中的元数据文件。 文件获得单元180响应于由操作接受单元260接受的操作输入，获得在运动画面 存储单元200和元数据存储单元210中存储的每个文件，并且将获得的每个文件的信息提 供到图像变换单元190。具体地，在操作接受单元260已经接受用于显示合成图像的指令操 作的情况下，文件获得单元180从运动画面存储单元200获得运动画面文件。此外，文件获 得单元180从合成目标图像元数据存储单元270获得与该运动画面文件对应的合成目标图 像元数据文件。随后，文件获得单元180使用该合成目标图像元数据文件以从构成获得的 运动画面文件的每个图像提取要合成的图像，并且将该提取的图像、以及对应于该图像的 合成目标图像元数据输出到图像变换单元190。 图像变换单元190使用对应于该图像的合成目标图像元数据，使从文件获得单元180输出的图像经历仿射变换，并且将经历仿射变换的图像输出到图像合成单元220。具体 地，图像变换单元190以单个图像(例如，最前面的图像)的位置作为参考，使另一图像按 顺序经历仿射变换。此外，在操作接受单元260已经接受用于显示合成图像的指令操作的 情况下，图像变换单元190根据其指令操作，按照显示顺序使图像按顺序经历仿射变换。注 意，将参照图15到23、31、32等详细描述该图像变换。 图像合成单元220使用图像存储器230合成通过图像变换单元190经历仿射变换 的图像，以创建合成图像，并且将创建的合成图像顺序地输出到显示控制单元240。此外，当 合成通过图像变换单元190经历仿射变换的图像时，图像合成单元220通过将白框添加到 图像的外围来合成图像。将参照图31和32以及其他附图详细描述该图像合成。
图像存储器230是由图像合成单元220创建合成图像时使用的工作缓冲器，保持 包括通过图像变换单元190经历仿射变换的图像的历史图像，并且将保持的历史图像提供 到图像合成单元220。图像存储器230也称为"画布(canvas)"，等效于存储图像数据的存 储器的一个图像的量(worth)。 显示控制单元240根据通过操作接受单元260接受的操作输入的内容，在显示单 元250上显示从图像合成单元220输出的合成图像。此外，在操作接受单元260已经接受 用于播放运动画面的指令操作的情况下，显示控制单元240根据该指令操作从运动画面存 储单元200获得运动画面文件，并且控制显示单元250显示构成该运动画面文件的图像。
显示单元250基于显示控制单元240的控制，显示每个图像。显示单元250可例 如用个人计算机的显示器或电视机来实现。注意，将参照图31到33等详细描述合成图像 的显示示例。 操作接受单元260接受从由各类键构成的键盘、鼠标(指向设备)等的操作，并 且将接受的操作输入的内容输出到文件获得单元180、图像变换单元190或显示控制单元 240。 图2是图示根据本发明第一实施例的相机工作检测单元120的功能配置示例的框 图。相机工作检测单元120包括特征点提取单元121、光流计算单元122、相机工作参数计 算单元123和可靠度确定分数计算单元124。 特征点提取单元121从对应于构成从运动画面输入单元IIO输出的运动画面的帧 的整个图像提取特征点，并将提取的特征点输出到光流计算单元122和可靠度确定分数计 算单元124。这里，特征点提取单元121从关于构成从运动画面输入单元IIO输出的运动画 面的帧的顶部帧的整个图像提取特征点。此外，特征点提取单元121与对应于之前的帧的 图像比较，以从该关于顶部帧以外的帧的新成像的区域部分提取特征点。注意，例如，在垂 直方向和水平方向上边缘的梯度强的点可被提取为特征点(通常，称为"角落点"，以下称 为"角落点")。角落点是关于光流计算强的特征点，并且可用边缘检测获得。注意，将参照 图5A到6C详细描述角落点的提取。注意，利用该示例，特征点提取单元121从关于顶部帧 的整个图像提取特征点，并且与对应于之前的帧的图像比较，以从关于顶部帧以外的帧的 新成像的区域部分提取特征点。然而，还可以根据处理能力，从关于顶部帧以外的每个帧的 整个图像提取特征点。 光流计算单元122计算关于从特征点提取单元121输出的每个特征点的光流，并 且将计算的光流输出到相机工作参数计算单元123。具体地，光流计算单元122比较与构成从运动画面输入单元110输出的运动画面的连续两个帧(当前帧和紧接在前面的帧)相对 应的每个图像，从而计算当前帧的光流。也就是说，光流计算单元122关于对应于紧接在前 面的帧的图像的每个特征点，计算关于对应于当前帧的图像的光流。该光流对构成运动画 面的每个帧计算。注意，可使用如梯度方法、块匹配方法等的检测方法作为用于检测光流的 检测方法。注意，将参照图5A到6C详细描述该光流计算。此外，光流计算单元122是发明
内容中所指的运动量计算单元的示例。 相机工作参数计算单元123执行相机工作参数计算处理，其中对应于从光流计算 单元122输出的每个特征点的光流用于计算相机工作参数。随后，相机工作参数计算单元 123将计算的相机工作参数输出到记录控制单元150，并且将关于用于相机工作参数的计 算的特征点的信息输出到可靠度确定分数计算单元124。相机工作参数是关于连续两个帧 (当前帧和紧接在前面的帧)的变换信息(相机的运动信息)。 现在，在本发明第一实施例的情况下，根据相机的运动变换和合成关于要播放的 运动画面而选择的每个合成目标图像。为了执行该图像变换，使用通过光流计算单元122 计算的光流提取相机的运动，并且基于提取的运动计算相机工作参数(变换参数)。
而且，在本发明第一实施例的情况下，将关于使用仿射变换作为用于变换合成目 标图像的图像变换方法的示例进行描述。此外，将关于使用基于光流计算的仿射变换参数 作为相机工作参数的示例进行描述。注意，可采用使用投射变换参数等作为相机工作参数 的另一图像变换方法。注意，可通过使用三个点之间的矢量的计算获得仿射变换参数。此 外，可通过使用四个点之间的矢量的计算获得投射变换参数。现在，相机工作参数是以构成 成像的运动画面的成像的图像的至少一个成像的图像作为参考来变换另一成像的图像的 变换信息，并且至少包括在相机的坐标系统中描述的位置信息和姿态(attitude)信息。也 就是说，在通过用户成像的情况下，相机工作参数包括关于相机的位置和姿态的信息。此 外，可基于通过相机工作参数计算单元123计算的仿射变换参数估计根据通过用户的操作 的相机的运动，例如，如放大、縮小、摇动(pan)、倾斜(tilt)、旋转等。注意，将参照图5A到 6C详细描述仿射变换参数的计算。也就是说，利用第一实施例，在连续图像的单个图像被取 为参考图像的情况下，进行定义为对应于仿射矩阵的仿射变换参数，该仿射矩阵指示该参 考图像的下一图像移动到哪儿。注意，相机工作参数计算单元123是发明内容中所指的运 动信息计算单元的示例。 可靠度确定分数计算单元124基于关于从特征点提取单元121输出的特征点、以 及从相机工作参数计算单元123输出的特征点的信息，计算可靠度确定分数，并且将计算 的可靠度确定分数输出到记录控制单元150。该可靠度确定分数基于要经历仿射变换参数 的计算的图像的整个屏幕中的特征点的数量、与在整个屏幕中展现支配运动的特征点的数 量之间的比率计算。将参照图5A到6C详细描述该可靠度确定分数的计算。
图3A和3B是示意性图示根据本发明第一实施例的运动画面存储单元200和元数 据存储单元210中存储的文件的图。图3A图示存储在运动画面存储单元200中的运动画 面文件201到203、以与运动画面文件201到203相关联的方式存储在元数据存储单元210 中的元数据文件211到213。现在，假设作为用于标识存储在运动画面存储单元200中的每 个运动画面文件的标识信息的运动画面ID附加到每个运动画面文件。例如，"#1"附加到 运动画面文件201， "#2"附加到运动画面文件202，并且"fe"附加到运动画面文件203。
图3B示意性图示存储在运动画面存储单元200中的运动画面文件201、以与运动 画面文件201相关的方式存储在元数据存储单元210中的元数据文件211。现在，运动画面 文件201是包括m个帧的运动画面文件，并且这m个帧示出为帧"l"204到帧"m"207。此 外，在元数据文件211中，运动画面ID 214、帧号215、仿射变换参数216、可靠度确定分数 217、面部检测信息218、以及面部表情评估值219以相关方式存储。 运动画面ID 214是附加到对应的运动画面文件的运动画面ID，并且例如存储附 加到运动画面文件201的"#1"。 帧号215是构成对应运动画面文件的每个帧的序列号，并且例如存储对应于构成 运动画面文件201的运动画面的帧"1" 204到帧"m" 207的"1"到"m"。
仿射变换参数216是关于对应于帧号215的运动画面的每个帧计算的仿射变换参 数。注意，对应于帧号215的"l"的仿射变换参数216 "al， bl， cl， dl， el， fl"是单位矩阵 的仿射变换参数。此外，例如，对应于帧号215的"i(i是2或更大整数)"的"ai， bi， ci， di， ei， f i "的仿射变换参数216是帧"i "关于紧接在前面的帧"i-l"的仿射变换参数。
可靠度确定分数217是关于对应于帧号215的运动画面的每个帧计算的可靠度确 定分数，并且例如存储值0到1。 面部检测信息218是关于对应于帧号215的运动画面的每个帧检测的面部检测信 息，并且存储从面部检测单元130输出的面部检测信息。注意，图3B图示省略其特定内容 的面部检测信息。在已经从一帧检测多个面部的情况下，这样的多个面部检测信息以与其 帧相关的方式存储。 面部表情评估值219是关于对应于帧号215的运动画面的每个帧中包括的面部计 算的面部表情评估值，并且存储从面部表情评估值计算单元140输出的面部表情评估值。 注意，在对应的帧中不包括面部的情况下，面部表情评估值219存储"O"。例如，在没有从对 应于帧号215的"l"和"m"的帧检测到面部的情况下，没有通过面部表情评估值计算单元 140计算面部表情评估值，因此，面部表情评估值219存储"O"。另一方面，在没有从对应于 帧号215的"i"和"j"的帧检测面到部的情况下，面部表情评估值219存储通过面部表情评 估值计算单元140计算的面部表情评估值。例如，对应于帧号215的"i"的面部表情评估 值219存储"124"，并且对应于帧号215的"j"的面部表情评估值219存储"405"。在此情 况下，例如，可以确定下述情况存在高度可能性关于帧"j "检测的面部比关于帧"i "检测 的面部更类似笑脸。注意，i和j是满足1 < i < j < m的整数。此外，在已经从一帧检测 到多个面部的情况下，关于这多个面部计算的面部表情评估值以与其帧相关的方式存储。
图4是示意性图示根据本发明第一实施例的合成目标图像元数据存储单元270的 存储内容的图。运动画面ID 271、部分号272、帧号273、仿射变换参数274、最前面的帧275、 以及面部数据276以相关的方式存储在合成目标图像元数据存储单元270中。
运动画面ID 271是附加到对应的运动画面文件的运动画面ID，并且例如，存储附 加到运动画面存储单元200中存储的每个运动画面文件的"#1"、"#2"等。
部分号272是用于标识由部分选择单元160选择的图像合成目标部分的序列号， 并且例如以关于运动画面文件201选择的顺序存储"#101"、"#102"、"#103"等。例如，在 关于运动画面文件201创建合成图像的情况下，对部分号272的每个部分(例如，"#101"、 "#102"、"#103")创建合成图像。
帧号273是利用通过部分选择单元160选择的图像合成目标部分、由合成目标图 像选择单元170选择的帧的帧号。该帧号对应于图3B中所示的帧号215。例如，在部分号 272的"# 101"的情况下，在已经通过合成目标图像选择单元170选择帧"1 "、"6"、"9"和 "17"的情况下，存储这些帧的帧号"1 "、"6"、"9"和"17"。 仿射变换参数274是用于使由合成目标图像选择单元170选择的每个帧经历仿射 变换的仿射变换参数。这里，要存储在仿射变换参数274中的仿射变换参数是用于以相同 图像合成目标部分中的一个帧作为参考帧、使另一帧经历仿射变换的仿射变换参数。该参 考帧可以设置为例如最前面的帧。此外，要以与该参考帧相关的方式存储在仿射变换参数 274中的仿射变换参数是单位矩阵的仿射变换参数。 最前面的帧275是指示通过合成目标图像选择单元170选择的最前面的帧的信 息。例如，在已经选择对应的帧作为最前面的帧的情况下，最前面的帧275存储"1"，并且 在对应的帧还没有选择为最前面的帧的情况下，最前面的帧275存储"0"。例如，在运动画 面ID 271 "#1"的部分号272 "#101"的每个帧中，在帧"9"已经选择为最前面的帧的情况 下，帧"9"的最前面的帧275存储"1"。在此情况下，在部分号272 "#101"的每个帧中，关 于帧"9"以外的帧，最前面的帧275存储"0"。 面部数据276是关于在通过合成目标图像选择单元170选择的每个帧中包括的面 部的信息。在面部检测信息218中包括的面部检测信息中，存储例如面部的位置信息和大 小信息作为该信息。在图4所示的示例的情况下，面部的位置信息示出为(xn，yn)，并且面 部的大小信息示出为(Hn，Wn)。这里，n是对应于帧号273的数值。注意，在已经从一帧选 择多个面部的情况下，这样的多个面部数据以与其帧相关的方式存储。
相机工作参数和可靠度确定分数的计算示例 接下来，将参照附图，关于用于计算要用于图像变换的相机工作参数(仿射变换 参数)和可靠度确定分数的计算方法进行详细的描述。 图5A到5C是图示构成运动画面的图像的示例的图。图6A到6C是图示通过省略 关于构成运动画面的图像的背景等而简化的图像的图。图5A到5C图示图像300作为构成 运动画面的图像的示例。此外，图6A图示通过省略关于对应于图像300的紧接在前面的帧 的图像的背景等而简化的图像320。此外，图6B和6C图示通过省略关于图像300的背景等 而简化的图像330。 图5A到6C中所示的图像300、320和330包括人正在骑的马的图像301、321和 331、以及马图像301、321和331的前端布置的蛇的图像302、322和332。此外，如图5A到 5C所示，在这些图像的背景上提供了旗子、椅子等，并且该旗子正在风中飘扬。
图6A所示的图像320是关于下述图像简化的图像，所述图像对应于与图5A到5C、 6B和6C中所示的图像300和330所对应的帧的紧接在前面的帧。此外，对应于两个连续帧 的图像320和330是指示在屏幕内的被摄体的大小逐渐增加的情况下的转换的图像。也就 是说，在该成像的时候，执行放大操作，其中用于增加屏幕内的被摄体的大小的操作逐渐增 加。 在本发明第一实施例的情况下，将关于下述方法作为示例进行描述，其中从构成 运动画面的图像检测特征点，并且使用对应于该特征点的光流计算仿射变换参数。此外，在 该示例的情况下，将关于角落点用作特征点的情况进行描述。
现在，将利用图6A到6C关于下述方法作为示例进行描述，其中使用对应于从图像 320和330检测的三个角落点的光流计算仿射变换参数。 例如，在图6A所示的图像320的情况下，设马图像321的嘴周围的角落点323、马 图像321的人的臀部周围的角落点324、以及蛇图像322的嘴周围的角落点325被检测为 特征点。在此情况下，利用图6B所示的图像330，根据梯度方法、块匹配方法等，检测关于 图像320的角落点323、324和325的光流337、338和339。随后，基于检测的光流337、338 和339，检测对应于图像320的角落点323、324和325的角落点333、334和335。
现在，例如，图6A和6B中所示的图像320和330中包括的马图像321和331以及 蛇图像322和332被安装在地面上，因此，而不管相机运动与否都不移动。因此，可基于关 于下述角落点获得的光流精确地估计相机的运动，所述角落点是关于马图像321和331以 及蛇图像322和332检测的。例如，如图6C所示，基于在图像330中检测的三个光流337 到339，可以估计图像330是以点336为中心、从图像320放大的图像。因此，可确定对图 像330成像时的相机的运动是以点336为中心的放大操作。因此，关于不管相机运动与否 都不移动的对象检测角落点，并且基于关于该角落点获得的光流，可以精确地检测具有特 定规律的相机的运动。因此，可通过使用关于这些角落点获得的光流的计算来获得仿射变 换参数。 然而，可预期这样的情况，其中不管相机运动与否都移动的对象包括在图像中，如 在风中飘扬的旗子等。例如，图5A到5C中所示的图像300包括在风中飘扬的旗子。在关 于不管相机的运动都移动的对象检测角落点、并且使用关于该角落点获得的光流估计相机 的运动的情况下，难以精确地估计相机的运动。 例如，图5B所示的图像300中检测的光流以箭头指示，并且以箭头顶端的白色圆 圈指示通过光流检测的角落点。这里，角落点303到305是对应于图6B和6C中所示的角 落点333到335的角落点。此外，角落点306到311是关于在马图像301的背景上布置的 旗子而检测的角落点。这些旗子在风中飘扬，相应地，由于风的影响而导致的每个旗子的运 动已经被检测为光流。也就是说，对应于角落点306到311的光流是关于不管相机运动与 否都移动的旗子检测的光流。因此，在计算仿射变换参数的情况下中使用的三个光流包括 与角落点306到311的至少一个角落点对应的光流的情况下，难以精确地检测相机的运动。 在此情况下，难以计算精确的仿射变换参数。 如上所述，例如，从在一些情况下成像的图像检测关于不管相机运动与否都移动 的对象的光流(对应于图5B中所示的角落点306到311的光流)。此外，从在一些情况下 成像的图像检测具有与相机的运动有关的特定规律性的光流(除对应于图5B中所示的角 落点306到311的光流以外的光流)。 因此，利用本发明第一实施例，仿射变换参数计算处理执行多次，其中基于三个光 流计算仿射变换参数，从而获得多个仿射变换参数。将关于这样的示例进行描述，其中从该 多个仿射变换参数选择最佳仿射变换参数。注意，利用该示例，设构成运动画面的每个图像 中包括的移动对象的大小关于图像的区域相对较小。 现在，将关于仿射变换进行描述。在二维坐标上移动源的位置设置为(x，y)、并且 仿射变换后的移动目的地的位置设置为(x'，y')的情况下，仿射变换的矩阵表达可用表达 式1来表示。注意，表达式1的右侧的3X3的矩阵是仿射矩阵。
<formula>formula see original document page 18</formula>
这里，a到f是仿射变换参数。此外，仿射变换参数可用以仿射变换参数作为矩阵 AM的下述表达式表示。注意，可分别获得X方向上的变焦分量XZ、Y方向上的变焦分量YZ、 X方向上的平移分量XT、Y方向上的平移分量YT、X方向上的旋转分量9x、以及Y方向上的 旋转分量9 y。注意，在单位矩阵的情况下，保持a二e二l、以及b二c二d二f二0。
<formula>formula see original document page 18</formula>
移分i
(X和Y方向上的变焦分量、平
因此，可从仿射变换参数获得相机工作的每个分j 、旋转分量)。注意，将参照图7描述旋转分量。
图7是图示使用仿射变换参数变换矩形340的情况的图。如图7所示，设矩形340 的一个顶点为原点，并且利用x-y坐标，其中与对应于原点的顶点相邻的矩形340的两边被 取为x轴和y轴，使用预定的仿射变换参数变换矩形340后获得的矩形被取为矩形341 。在 此情况下，设通过矩形340和341的x轴侧上的各边形成的角度是旋转分量9 x，并且通过 矩形340和341的y轴侧上的各边形成的角度是旋转分量9 y。 接下来，将描述用于计算相机工作分量的和值的方法。相机工作分量的和值是通 过将与从用作计算目标的图像合成目标部分的顶部帧到用作计算目标的当前帧的每个帧 相对应的相机工作的每个分量相加而获得的值。例如，设从顶部帧到当前帧的帧被取为帧 1到5，并且帧1到5的相机工作分量的X方向上的平移分量被取为XT1到XT5。在此情况 下，相机工作分量的X方向上的平移分量的和值可通过"XT1+XT2+XT3+XT4+XT5"计算。此 外，另一相机工作的每个分量的和值可以相同方式计算。 接下来，将描述用于计算仿射变换参数的方法。首先，利用与作为构成运动画面的 帧的一个帧的当前帧对应的图像，从已经检测其光流的特征点选择三个特征点。例如，从在 图5B所示的图像300中检测的角落点(以白色圆圈指示)随机选择三个角落点。注意，在 投射变换参数用作相机工作参数的情况下，随机选择四个特征点。 随后，使用与选择的三个特征点对应的三个光流计算仿射变换参数。例如，使用与 从图5B所示的图像300中的角落点(以白色圆圈指示)选择的三个角落点对应的光流(以 连接到白色圆圈的箭头指示)计算仿射变换参数。可使用表达式1获得仿射变换参数。
随后，基于获得的仿射变换参数，计算仿射变换参数的分数。具体地，使用获得的 仿射变换参数，获得与当前帧的紧接在前面的帧对应的图像中的所有特征点的运动目的地 的位置。随后，比较使用仿射变换参数获得的特征点的位置、以及在当前帧检测的特征点的位置，并且对每个特征点计算彼此相对应的两个特征点的位置的差值。例如，彼此相对应的 两个特征点的位置之间的绝对距离被计算为差值。随后，对每个特征点比较计算的差值和 预定的阈值，并且其差值小于阈值的特征点的数量被获得为仿射变换参数的分数。因此，从 已经检测其光流的特征点随机选择三个特征点。随后，处理重复预定次数，其中基于与这些 特征点对应的光流计算仿射变换参数的分数，从而计算仿射变换参数的多个分数。该预定 次数可根据要比较的图像的类型、图像处理装置100的处理能力等适当地设置，或可使用 固定值。例如，在考虑图像处理装置100的处理能力的情况下，二十次等可设置为该预定次 数。 例如，考虑这样的情况，其中已经从自图5B所示的图像300检测的角落点选择除 角落点306到311以外的三个角落点。在使用与选择的三个角落点对应的三个光流计算仿 射变换参数的情况下，如上所述，这三个光流具有特定规律性。因此，获得用于根据一定规 则变换与紧接在前面的帧对应的图像的仿射变换参数。此外，相对小的值被计算为使用仿 射变换参数获得的角落点的位置、和在当前帧检测的角落点的位置之间的差值，其关于除 角落点306到311以外的角落点的获得。因此，仿射变换参数的分数变为大的值。
另一方面，考虑这样的情况，其中已经从图5B所示的图像300选择包括角落点306 到311的至少一个的三个角落点。在使用与由此选择的三个角落点对应的三个光流计算仿 射变换参数的情况下，如上所述，这三个光流包括没有特定规律性的光流。因此，获得不用 于根据一定规则变换与紧接在前面的帧对应的图像的仿射变换参数。此外，在任意角落点 计算相对大的值，作为关于使用仿射变换参数获得的角落点的位置、以及在当前帧检测的 角落点的位置获得的差值。因此，仿射变换参数的分数变为小的值。 随后，在获得的多个仿射变换参数的分数中，具有最高分数值的仿射变换参数被 选择为代表仿射变换参数。随后，选择的代表仿射变换参数用于以紧接在前面的帧作为参 考帧、计算用于使当前帧经历仿射变换的仿射变换参数，并且仿射变换参数以与当前帧相 关的方式记录在元数据存储单元210中。因此，在构成运动画面的图像经历仿射变换的情 况下，可使用最佳仿射变换参数使该图像经历仿射变换。 此外，利用本发明第一实施例，使用由此选择的代表仿射变换参数的分数计算可
靠度确定分数。例如，在用作代表仿射变换参数的、图像的整个屏幕检测的特征点的数量被
取为N、并且代表仿射变换参数的分数取为Nml的情况下，可用下面的表达式计算可靠度确
定分数SHS。 SHS = Nml/N 这里，代表仿射变换参数的分数Nml是在要检测的图像的整个屏幕展现支配运动 的特征点的数量。此外，特征点的数量N变为展现支配运动的特征点的数量Nml、和其他特 征点(展现噪声状运动的特征点)的数量Nm2的总值(S卩，N = Nml+Nm2)。此外，值0到1 计算为可靠度确定分数SHS。 由此计算的可靠度确定分数以与当前帧相关的方式记录在元数据存储单元210 中。使用该可靠度确定分数从运动画面选择图像合成目标部分。 如上所述，即使在如人或车等的移动的物体(移动物体)包括在构成运动画面的 每个图像中的情况下，在其移动物体的大小相对于图像的面积相对小的情况下，可提取相 机的运动，而不受移动物体的影响。
此外，提取相机的运动，从而可估计被认为是用户有意的移动的运动(如放大、縮 小、摇动、倾斜、旋转等)。注意，利用表达式l，可基于两个光流计算仿射变换参数，其中a =e并且d = -b。例如，在图像经历使用基于三个光流计算的仿射变换参数的仿射变换的 情况下，在一些情况下将矩形图像变换为平行四边形。另一方面，在图像经历使用基于两个 光流计算的仿射变换参数的仿射变换的情况下，在矩形图像状态下可执行平移运动、旋转 和变焦的至少一个变换(x和y方向上的变焦比是相同的)。利用本发明第一实施例，将关 于这样的示例进行描述，其中使用基于三个光流计算的仿射变换参数变换图像。然而，本发 明的第一实施例可类似地应用到这样的情况，其中使用基于两个光流计算的仿射变换参数 变换图像。 面部表情评估值的计算示例 接下来，将参照附图详细描述面部表情评估值计算方法，其中计算关于从图像检 测的面部的面部表情评估值。 图8是示意性图示通过根据本发明第一实施例的面部检测单元130的面部检测方 法的图。在图8中，(a)和(b)图示构成从运动画面输入单元110输出的运动画面的图像 450。此外，设人451的面部452包括在图像450中。因此，在面部452包括在图像450中 的情况下，通过面部检测单元130从图像450检测面部452。注意，在图8中，将关于其中使 用面部检测参考数据执行面部检测的情况作为示例进行描述。 例如，如图8(a)所示，具有一定大小的面部检测窗口 453布置在图像450的左上 角，并且基于面部检测参考数据计算用于确定面部是否包括在面部检测窗口 453内的图像 中的估计。随后，面部检测窗口在右侧方向(以箭头454指示的方向)偏移一个像素，并且 类似地计算估计。此后，以相同方式，面部检测窗口在右侧方向上顺序地一次偏移一个像 素，从而顺序计算估计。随后，在面部检测窗口偏移到图像450的右边缘位置、并且计算了 估计时，面部检测窗口向下端偏移一像素，并且移动到图像450的左边缘。随后，在计算紧 接在移动到图像450的左边缘之后的估计后，面部检测窗口在右侧方向顺序地一次偏移一 个像素，从而顺序计算估计。此后，以相同方式，顺序计算估计。在面部检测窗口偏移到图 像450的右下边缘位置、并且计算了估计时，通过预定比例(scale)因子减小面部检测窗 口，并且顺序执行相同的处理。因此，具有一定大小的面部检测窗口用于关于要顺序减小的 图像450顺序执行估计的计算。随后，基于计算的每个估计检测面部，并且获得作为至少包 括该面部的一部分的矩形区域的面部区域。例如，如图8(b)所示，检测图像450中包括的 人451的面部452，并且获得包括面部452的面部区域455。此外，获得关于检测的面部的 面部检测信息(面部的位置、大小等)。例如，如图8(c)所示，设置x-y坐标，其中图像450 的左上角取为原点，水平方向取为x轴，并且垂直方向取为y轴。利用x-y坐标，以面部区 域455的左上角作为原点的顶点456的坐标(x， y)计算为面部的位置。类似地，利用x-y 坐标，面部区域455的水平方向的长度W、以及面部区域455的垂直方向的长度H计算为面 部的大小。面部检测单元130将这样的面部检测信息输出到面部表情评估值计算单元140 和记录控制单元150。 随后，面部表情评估值计算单元140基于从面部检测单元130输出的面部检测信 息，从图像450提取面部区域455的图像(图像数据)。也就是说，面部表情评估值计算单 元140访问存储器(RAM)，其中暂时存储了用作面部检测目标的图像数据，并且仅读出对应于从面部检测单元130输出的面部检测信息的面部区域内的图像数据。 随后，面部表情评估值计算单元140将提取的图像变换为一定大小的图像，并且
对其规范化以生成规范化的面部图像。也就是说，提取的图像经历分辨率转换，作为一定大
小(一定分辨率)的图像，从而生成规范化的面部图像。设规范化后的图像大小是用作当
面部表情评估值计算单元140计算关于面部的面部表情评估值时的处理单元的大小。利用
本发明第一实施例，例如，设用于规范化的一定大小是48像素X48像素的大小。 随后，面部表情评估值计算单元140基于规范化的面部图像和判别轴信息存储单
元141中存储的判别轴信息，计算指示规范化的面部图像中包括的面部表情的程度的面部
表情评估值。该计算的面部表情评估值输出到记录控制单元150。该面部表情评估值是指
示要确定的面部表情类似于两个不同的面部表情中的哪个的程度的值。利用本发明第一实
施例，将关于这样的示例进行描述，其中两个不同的面部表情是"笑脸"和"正常面部表情"，
并且做出评估随着计算的面部表情评估值增加、要确定的面部表情是"笑脸"的程度强。另
一方面，做出评估随着计算的面部表情评估值减小，要确定的面部表情是"正常面部表情"
的程度强。注意，将关于图9到12详细描述该面部表情评估值计算方法。 图9是概念性图示用于计算面部表情评估值的判别轴信息、以及在生成该判别轴
信息时的流程的图。 利用本发明第一实施例，将关于使用Fisher的线性判别分析的面部表情评估值 计算方法作为示例进行描述。利用该面部表情评估值计算方法，首先，预先准备包括两个不 同面部表情中的一个的大量采样图像。随后，考虑作为两个不同面部表情之间的两类问题， 基于这些采样图像的数据执行线性判别分析(LDA)。因此，形成判别轴466(如图9(c)所 示)，其中这两个不同的面部表情被很好地判别。随后，该判别轴466存储在判别轴信息存 储单元141中。此外，在面部表情评估时，通过获得要评估的面部图像的数据和判别轴466 之间的内积计算面部表情评估值。下面将参照附图具体进行描述。 利用本发明第一实施例，为了使用"笑脸"作为特定面部表情，将关于笑脸采样图 像和正常面部表情采样图像用作关于两个不同面部表情的采样图像的情况作为示例进行 描述。在图9中，(a)图示作为笑脸采样图像组461的笑脸采样图像组，并且图示作为正常 面部表情采样图像组462的正常面部表情采样图像组。设采样图像组461和462中包括 的每个采样图像是被规范化、使得面部变为一定大小的矩形图像内的一定大小(例如，48 像素X48像素)的图像。采样图像组461和462中包括的每个采样图像的数据被处理为 48 X 48维矢量数据，从而执行LDA处理。 这里，处理48X48维矢量数据的矢量空间是包括48X48坐标轴的极高维空间。因 此，在执行LDA处理之前，关于48 X 48维矢量数据执行主分量分析(PCA)。随后，将48 X 48 维矢量数据转换(维度压縮)为仅有效地表示面部的特征的低维空间数据。
利用该PCA处理，考虑获得M轴，使得M(例如，M = 300)N维(N = 48X48)输入 采样图像组之间的不规律性(分散)变得最大。这样的轴可作为关于采样图像组的协方差 矩阵的特征值问题的解(特征矢量)而获得。随后，仅具有相对大系数的矢量分量提取为 主分量，从而48X48维矢量数据可维度压縮为仅包括适于表示面部的特征的矢量分量的 N'维(N > N')数据。例如，已经理解通过设置N' = 40等维持关于面部表情判别的足够 精度。注意，在PCA处理获得的主分量中，按系数递减顺序消除若干主分量，从而维数进一步减少，同时维持面部表情判别精度，因此，可减少下一 PCA处理的负载。 现在，将参照图10详细描述在PCA处理时要输入的采样图像的遮盖处理。 图10是示意性图示根据本发明第一实施例、在PCA处理时要输入的采样图像的遮
盖处理的图。在图10中，(a)图示属于笑脸采样图像组461的采样图像470。笑脸475包
括在采样图像470中。注意，如上所述，采样图像470是规范化为矩形形状使得面部475变
为一定大小的图像。 现在，如图10(a)所示，在采样图像470按原样用来执行PCA处理的情况下，在一 些情况下，由于如面部475的背景、以及头发等的影响，阻碍了适当的主分量的选择。因此， 如图10 (b)所示，除了面部475的皮肤以外的区域用遮盖472覆盖，从而覆盖采样图像470， 使得仅保留皮肤部分的面部区域。注意，在图10(b)和(c)的情况下，遮盖472和474的区 域用阴影部分指示。在面部的信息密度增强的状态下，图10(b)所示的转换后的采样图像 471经历PCA处理，从而可执行更高精度的维度压縮。注意，在面部区域中，根据面部表情， 嘴极大地改变，因此，嘴经常变为干扰因子。因此，如图10(c)所示，面部475的嘴的周围区 域也用遮盖474覆盖，从而采样图像470被转换，使得保留除了嘴的周围区域以外的、皮肤 部分的面部区域。图10(c)所示的转换后的采样图像473用于执行PCA处理，从而可以增 强维度压縮的精度。因此，在本发明第一实施例的情况下，将关于在PCA处理时要输入的采 样图像经历图10(c)所示的遮盖处理的情况作为示例进行描述。 现在，设图9 (b)和(c)所示的PCA空间465是仅包括有效地表示采样图像中包括 的面部的特征的坐标轴的部分空间。 属于已经通过上述PCA处理维度压縮的笑脸采样图像组461或正常面部表情采样 图像组462的每个采样图像被转换为PCA空间465上的矢量数据，如图9 (b)所示，其示意 性图示了这样的状态，其中属于笑脸采样图像组461或正常面部表情采样图像组462的每 个采样图像投射到PCA空间465上。如图9(b)所示，在属于同一采样图像组的采样图像投 射到PCA空间465上的情况下，采样图像之间的距离是相对近的距离。因此，在属于笑脸采 样图像组461的采样图像投射到PCA空间465之后，通过其采样图像形成的簇取为簇463。 此外，在属于正常面部表情采样图像组462的采样图像投射到PCA空间465之后，通过其采 样图像形成的簇取为簇464。通过LDA处理形成适当地分离簇463和464的投射轴(判别 轴466)。这样的判别轴466称为"Fisher投射轴"。 通常，根据LDA处理，获得判别轴，使得投射到N'维特征矢量上的簇内和簇间的分 散变为最大。也就是说，获得对应于簇内和簇间的每个协方差矩阵的最大特征值的特征矢 量，并且其取为判别轴466上的矢量(Fisher矢量)。每个协方差矩阵和特征值/特征矢量 之间的关系如表达式11和12所示。<formula>formula see original document page 22</formula>表达式ll <formula>formula see original document page 22</formula>表达式12 Fisher矢量:^ 4关于最大特征值入max的特征矢量^
d " max 这里，Rw表示簇内协方差矩阵，Re表示簇间协方差矩阵，并且A表示特征值。此
外，关于表达式12的逆矩阵、特征值、和特征矢量的计算，可分别采用下-上(lower-upper,LU)分解方法、QR分解方法(Q :正交矩阵，R :上三角矩阵)和高斯消除。如Fisher矢量的
每个分量的系数等的信息存储在判别轴信息存储单元141中，作为由此计算的判别轴466
的信息。也就是说，判别轴466的信息是包括指示面部表情的判别轴的矢量的系数的信息，
通过基于信号分量执行线性判别分析获得该面部表情的判别轴，从关于两个不同面部表情
等的大量面部采样图像的图像数据中通过主分量分析获得该信号分量。 图11是示意性图示在像素空间和PCA空间中的判别轴和要评估的面部图像之间
的关系的图。 在使用图9(c)所示的判别轴466计算面部表情评估值的情况下，首先，从成像的 图像检测的面部(面部图像)的图像数据经历PCA处理以提取主分量。对应于其图像数据 的面部图像的面部表情被评估为关于经历PCA处理的面部图像矢量(输入的面部图像矢 量)的判别轴466 (矢量Ad)的投射分量，如图11中的PCA空间465中所示。也就是说，如 表达式15所示，面部表情评估值E，可通过输入面部图像矢量和Fisher矢量之间的内积 而计算。
<formula>formula see original document page 23</formula>:像素空间上的面部图像矢量、 idj)xl:像素空间上的F i sher矢量 A,…,^,:主分量的矢量 gexp :面部表情评估值 & : PCA处理后的面部图像矢量
、in_pc3 y Fisher矢量的信息可转换为像素空间Spxl (PCA处理之前的原始图像数据具有的 维度空间)上的信息。表达式13和14是表示作为像素空间Spxl上的矢量的Fisher矢量 和输入面部图像矢量的表达式。图ll概念性图示了用表达式13和14表示的关系。如表 达式13、14和11所示，通过PCA处理获得的除主分量i^到y『之外的矢量分量可用作为 所有输入图像的平均值的常数C近似。因此，如表达式15所示的内积计算可等效地表示为 像素空间Spxl上的矢量内积计算，如表达式16所示。 如表达式16所示，可预先计算像素空间Spxl上的Fisher矢量分量和常数C之间的减法结果。因此，该减法结果和常数C存储在判别轴信息存储单元141中，作为判别轴信 息。随后，面部表情评估值计算单元140计算从成像的图像检测的面部图像的矢量，此后执 行表达式16的内积计算，而不使该矢量经历PCA处理。这里，关于通过表达式16对一个面 部的面部表情评估值的计算，减法、乘法和加法最多执行48X48次，并且实际上，仅执行对 应于大约40个主分量y工到y N，的系数的计算。因此，与对PCA空间465执行矢量内积计 算的情况相比，计算量可以极大地减小，而不劣化面部表情评估的精度，并且在记录成像的 图像之前，可以以场角匹配状态容易地计算面部表情评估值Erap。 采用了这样的面部表情评估值计算方法，由此例如与通过大量面部图像模板和检 测的面部图像之间的匹配来评估面部表情的面部表情评估方法相比，可以高精度执行面部 表情评估，同时减少处理负载。例如，在使用模板执行匹配的情况下，通常，需要从检测的面 部图像提取如眼、嘴等的部分，以对每个部分执行匹配处理。另一方面，利用用于本发明第 一实施例的面部表情评估值计算方法，在检测的面部规范化到一定大小之后，其面部图像 用矢量信息替代，从而这可按原样(或部分遮盖地)应用到内积计算。其内积计算可以简 化为包括大约40维减法、乘法和加法的简单计算。 图12是图示在根据本发明第一实施例的面部表情评估值输出为数值的情况下的 计算示例的图。 利用本发明第一实施例，例如，基于采样图像的PCA处理，获得PCA空间上的笑脸 图像的分布481的平均482、以及PCA空间上的正常面部表情面部图像的分布483的平均 484。随后，确定关于平均482和484的判别轴466的投射点。随后，以平均482和484的 投射点的中点485作为参考，将面部表情评估值E⑩转换为数值。也就是说，如图12所示， 关于面部图像的判别轴466的投射点486、以及平均482和484的投射点的中点485之间的 距离取为面部表情评估值E，，并且笑脸采样图像分布的一侧取为正数值。因此，检测的面 部图像类似于笑脸还是正常面部表情可输出为连续的数值。在此情况下，根据面部表情评 估值E，的增加，笑脸的程度评估为高。此外，在已经通过面部检测单元130从一个图像检 测多个面部的情况下，通过面部表情评估值计算单元140关于这些面部的每个面部执行面 部表情评估值的计算。随后，关于其每个面部计算的面部表情评估值存储在元数据存储单 元210中。 图像处理装置的操作示例 接下来，将参照附图描述根据本发明第一实施例的图像处理装置100的操作。图 13是图示通过根据本发明第一实施例的图像处理装置100的元数据记录处理的过程的流 程图。 首先，运动画面文件输入到运动画面输入单元110(步骤S901)。随后，解码输入到 运动画面输入单元110的运动画面文件，获得按时间序列顺序的一帧的图像(步骤S902)。 面部检测单元130执行关于获得的一帧的面部检测处理(步骤S903)。面部表情评估值计算 单元140执行关于通过面部检测处理检测的面部的面部表情评估值计算处理(步骤S904)。
随后，确定获得的一帧是否是输入到运动画面输入单元110的运动画面文件的顶 部帧(步骤S905)。在获得的一帧是顶部帧的情况下(步骤S905)，从对应于该顶部帧的整 个图像提取特征点(步骤S906)。随后，单位矩阵的仿射变换参数被选择为仿射变换参数 (步骤S907) ， " 1. 0"计算为可靠度确定分数，并且流程进行到步骤S913。
另一方面，在获得的一个帧是顶部帧的情况下(步骤S905)，以对应于紧接在前面的帧的图像作为参考，从新成像的区域提取特征点(步骤S905)。也就是说，可通过对应于该特征点的光流获得已经用对应于紧接在前面的帧的图像提取的特征点，因此，不用对应于当前帧的图像提取该特征点。随后，保持对应于紧接在前面的帧的整个图像的特征点的数量(步骤S910)。 随后，计算关于从与紧接在前面的帧对应的图像提取的每个特征点的光流(步骤S911)。相机工作参数计算单元123执行仿射变换参数计算处理(步骤S920)。将参照图14详细描述该仿射变换参数计算处理。注意，步骤S920是发明内容中所指的计算过程的示例。 随后，基于保持的整个图像中的特征点的数量以及选择的代表仿射变换参数的分数，计算可靠度确定分数(步骤S912)。关于当前帧获得的每条元数据以与当前帧相关的方式记录在元数据存储单元210中(步骤S913)。注意，在当前帧是顶部帧的情况下，选择的单位矩阵的仿射变换参数以与顶部帧相关的方式记录在元数据存储单元210中。随后，对应于当前帧的图像、以及该图像的特征点以重写方式存储(步骤S914)。
随后，确定当前帧是否是输入到运动画面输入单元110的运动画面文件的最后帧(步骤S915)。在当前帧不是最后帧的情况下(步骤S915)，流程返回到步骤S902，其中重复元数据记录处理(步骤S902到S914以及S920)。另一方面，在当前帧是最后帧的情况下(步骤S915)，元数据记录处理结束。 图14是图示通过根据本发明第一实施例的图像处理装置100的元数据记录处理的过程中包括的仿射变换参数计算过程(图13中所示的步骤S920的过程)的流程图。
首先，变量i初始化为"l"(步骤S921)。随后，从已经检测其光流的特征点选择M个特征点(步骤S922)。例如，在仿射变换参数用作相机工作参数的情况下，随机选择三个特征点。此外，在投射变换参数用作相机工作参数的情况下，随机选择四个特征点。随后，基于对应于选择的M个特征点计算的M个光流计算仿射变换参数(步骤S923)。
随后，基于计算的仿射变换参数，计算仿射变换参数的分数(步骤S924)。具体地，
计算的仿射变换参数用于获得对应于紧接在前面的帧的图像的所有特征点的运动目的地的位置。随后，比较用其仿射变换参数获得的特征点的位置、以及对应于在计算步骤S911
的光流时获得的当前帧的图像的特征点的位置。对每个特征点计算相互对应的两个特征点的位置之间的差值。例如，相互对应的两个位置之间的绝对距离计算为差值。随后，对每个特征点比较计算的差值和预定阈值，并且获得其差值小于阈值的特征点的数量，作为仿射变换参数的分数。 随后，对变量i加"l"(步骤S925)，并且确定变量i是否大于常数N(步骤S926)。
在变量i等于或小于常数N的情况下(步骤S926)，流程返回到步骤S922，其中重复仿射变
换参数的分数计算处理(步骤S922到S925)。例如，20可用作常数N。 另一方面，在变量i大于常数N的情况下(步骤S926)，在获得的仿射变换参数的
分数中，具有最高分数值的仿射变换参数选择为代表仿射变换参数(步骤S927)。 利用本发明第一实施例，已经关于这样的示例进行描述，其中基于从构成运动画
面的图像检测的光流，将仿射变换参数检测为相机工作参数。然而，例如，为相机提供如加
速度传感器或回转仪(gyro)传感器等的传感器、在执行变焦操作时使用的变焦按钮，并且在成像时相机的运动量通过该传感器和变焦按钮检测。随后，可基于相机的运动量获得相机工作参数。替代地，可进行这样的安排，其中通过相机工作参数计算单元123预先检测多个相机工作参数，并且基于在成像时检测的相机的运动量，从多个相机工作参数选择一个相机工作参数。 图像的仿射变换示例 接下来，将参照附图关于这样的情况详细进行描述，其中通过相机工作检测单元
120计算的仿射变换参数用于使构成运动画面的图像经历仿射变换。现在，为说明方便，简
化图15到23中所示的每个图像，并且在构成运动画面的图像中，图示了其图像之间的运动
量相对小的图像。此外，设图15到23中的每个图像是通过合成目标图像选择单元170选
择的图像。此外，示出了随后的帧重写在时间轴上的之前的帧上的情况作为示例。 首先，将关于这样的情况进行描述，其中在通过相机成像时，虽然不变焦，但是以
相机的位置作为中心，将相机的镜头的方向在四个方向之一上移动。 图15是图示通过相机成像的运动画面的转换的示例的图。图15图示在以山为背景对人400成像的情况下、构成运动画面的图像401到403。此外，该示例图示这样的情况，其中用户正拍摄图像，同时将相机的镜头的方向向用户右侧和左侧移动。在该示例中，要通过相机成像的运动画面中包括的人400从右侧移动到左侧，并且移动到构成其运动画面的图像中的下侧。 图16是示意性图示在通过根据本发明实施例的合成目标图像选择单元170选择的图像401到403中包括的被摄体的所在地的图。注意，在图16(b)和(c)所示的图像402和403的情况下，对应于之前的帧的图像用虚线示出。图16(a)中所示的图像401与图15(a)中示出的图像401相同。此外，图16(b)中示出的图像402的实线部分与图15(b)中示出的图像402相同，并且图16(b)中示出的图像402的虚线部分与图16(a)中示出的图像401的实线部分相同。此外，图16(b)中所示的图像402的箭头404到406是指示图像401和402中包括的被摄体的所在地的箭头。此外，图16(c)中所示的图像403的实线部分与图15(c)中所示的图像403相同，并且图16(c)中所示的图像403的虚线部分与图16(b)中所示的图像402的实线部分相同。此外，图16(c)中所示的图像403的箭头407到409是指示图像402和403中包括的被摄体的所在地的箭头。 如图16 (b)和(c)所示，图像中包括的背景的山和人400与相机的运动一起移动。基于通过该运动检测的每个光流，可获得图像之间的仿射变换参数。例如，在图像401取为参考图像的情况下，将关于图像401和402的每个图像计算的仿射变换参数的仿射矩阵相乘，从而可以获得用于使图像402经历仿射变换的仿射变换参数。此外，关于图像401到403的每个图像计算的仿射变换参数的仿射矩阵相乘，从而可以获得用于使图像403经历仿射变换的仿射变换参数。现在，设参考图像的仿射变换参数是单位矩阵的仿射变换参数。
图17是图示在通过根据本发明第一实施例的图像合成单元220合成图像的情况下的图像合成示例的图。利用该示例，将关于这样的情况进行描述，其中以图像401为参考图像，图像402和403使用存储在合成目标图像元数据存储单元270中的仿射变换参数经历仿射变换。 例如，在与图像401相关的仿射变换参数的仿射矩阵取为Al的情况下，图像变换单元190以顶部帧的图像401的位置和大小作为参考，通过矩阵A1使图像401经历仿射变换。这里，图像401是参考图像，因此，Al是单位矩阵。因此，不变换图像401的位置和大小。 随后，在合成对应于下一帧的图像402的情况下，图像变换单元190使用与图像402相关的仿射变换参数，使图像402经历仿射变换。例如，设与图像402相关的仿射变换参数的矩阵是A2。在此情况下，图像变换单元190以顶部帧的图像401的位置和大小作为参考，使图像402通过矩阵A2经历仿射变换。注意，在图17(b)所示的示例的情况下，如箭头415和416所示，仅变换图像402的位置。随后，图像合成单元220将通过图像变换单元190经历仿射变换的图像402重写在对应于之前的帧的图像401上，以便在其上重叠并合成。具体地，在图像401的区域中，与图像402重叠的区域410通过图像402的图像而重写。此外，在图像401的区域中，不与图像402重叠的区域411不用图像402的图像重写。也就是说，在合成对应于第二帧的图像402的情况下，如图17(b)所示，创建这样的图像，其中合成图像402的整个部分以及对应于图像401的区域411的部分。 随后，在显示对应于第二帧的图像403的情况下，图像变换单元190使用与图像403相关的仿射变换参数，使图像403经历仿射变换。例如，设对应于图像403的仿射变换参数的矩阵是A3。在此情况下，图像变换单元190以图像401的位置和大小作为参考，使图像403通过矩阵A3经历仿射变换。注意，在图17(c)所示的图像的情况下，如箭头417和418所示，仅变换图像403的位置。随后，图像合成单元220将通过图像变换单元190经历仿射变换的图像403重写在对应于之前的帧的图像401和402的合成图像上，以便在其上重叠并合成。具体地，在图像401和402的合成图像的区域中，与图像403重叠的区域413和414通过图像403的图像而重写。此外，在图像401和402的合成图像的区域中，不与图像403重叠的区域411和412与图像401和402的合成图像合成。也就是说，在合成对应于第三帧的图像403的情况下，如图17(c)所示，创建这样的图像，其中合成图像403的整个部分、对应于图像401的区域411的部分、以及对应于图像402的区域412的部分。
接下来，将关于这样的情况进行描述，其中在通过相机成像时，尽管相机的镜头的方向没变，但是已经变焦。 图18是图示通过相机成像的运动画面的转换的示例的图。图18图示与在以山为
背景对人420成像的情况下的运动画面中包括的连续帧对应的图像421到423。该示例图
示用户在放大的同时拍摄图像的情况。在此情况下，通过相机成像的运动画面中包括的人
420的大小在构成其运动画面的图像上逐渐增加。注意，尽管在一些情况下在变焦时相机的
位置在一定程度上移动，但是在该示例的情况下，将不考虑相机的位置的移动来进行描述。 图19是示意性图示通过根据本发明实施例的合成目标图像选择单元170选择的
图像421到423中包括的被摄体的所在地的图。注意，图19中所示的仿射变换参数计算示
例与图16中所示的仿射变换参数计算示例相同，因此，这里将省略其描述。 图20是图示在通过根据本发明第一实施例的图像合成单元220合成图像的情况
下的图像合成示例的图。注意，图20所示的图像合成示例与图17中所示的图像合成示例
相同，因此，这里将省略其描述。 接下来，将关于这样的情况进行描述，其中，在通过相机成像时，尽管相机的镜头的方向和焦距没有变，但是相机已经以光轴作为旋转中心而旋转。 图21是图示通过相机成像的运动画面的转换的示例的图。图21图示与在以山为背景对人440成像的情况下的运动画面中包括的连续帧对应的图像441到443。该示例图 示了这样的情况，其中用户正在执行成像，同时以光轴方向为旋转中心旋转相机。在此情况 下，通过相机成像的运动画面中包括的人440在构成其运动画面的图像上逐渐旋转。注意， 尽管在一些情况下，由于相机的旋转导致相机的位置在一定程度上移动，但是在本示例的 情况下，将不考虑相机的位置的移动而进行描述。 图22是示意性图示通过根据本发明实施例的合成目标图像选择单元170选择的
图像441到443中包括的被摄体的所在地的图。注意，图22中所示的仿射变换参数计算示
例与图16中所示的仿射变换参数计算示例相同，因此，这里将省略其描述。 图23是图示在通过根据本发明第一实施例的图像合成单元220合成图像的情况
下的图像合成示例的图。注意，图23所示的图像合成示例与图17中所示的图像合成示例
相同，因此，这里将省略其描述。 图像合成目标部分的选择示例 接下来，将参照附图，关于用于从运动画面选择用于选择合成目标图像的部分 (图像合成目标部分)的部分选择方法详细进行描述。在本发明第一实施例的情况下，将关 于满足下面条件(1)到(4)的部分选择为图像合成目标部分的示例进行描述。
(1)相机工作检测的可靠度高。
(2)变焦率低，即，变焦改变小。
(3)水平方向或垂直方向上的运动量等于或大于一定像素量。 (4)图像合成目标部分的长度是在一定范围内(例如，在2秒到20秒的范围内)
的长度。 此外，在本发明第一实施例的情况下，在满足下面(a)和(b)条件的情况下，确定 上面的条件(1)相机工作检测的可靠度高。 (a)在图像的整个屏幕中的特征点中，指示展现支配运动的特征点的比率的值超 过阈值。 (b)各帧之间的改变率在一定范围内。各帧之间的改变率是指示通过与各帧之间 相关的仿射变换参数计算的相机工作的每个分量的值。 图24是以时间序列方式图示通过根据本发明第一实施例的相机工作检测单元 120计算的可靠度确定分数的图。在图24中，(a)使用矩形示意性图示用作可靠度确定分 数计算目标的帧。注意，在图24(a)中，指示每个帧的帧序列号附加到矩形的内部。
在图24中，(b)图示表示对每个帧、关于图24(a)中所示的帧1到15计算的可靠 度确定分数的曲线图。在图24(b)所示的曲线图的情况下，水平轴是指示成像的时间的轴， 并且垂直轴是指示关于每帧计算的可靠度确定分数的值的轴。此外，在垂直轴的情况下， 设上述条件(1)的阈值是阈值TH1。这里，例如值0.5到0.8可设为阈值TH1。注意，在图 24(b)所示的曲线图的水平轴的情况下，示出对应于成像的时间点的每个帧号。这里，可靠 度确定分数SHS是通过可靠度确定分数计算单元124计算的值，并且以与构成运动画面存 储单元200中存储的运动画面文件的每个帧相关的方式存储在元数据存储单元210中。
在该示例的情况下，为了说明方便，如图24(a)所示，设上述条件(4)中的一定范 围是K1和K2之间的范围。此外，在图24(b)所示的曲线图的情况下，关于每帧计算的可靠 度确定分数用白色圆圈表示。在表示可靠度确定分数的白色圆圈中，超过阈值TH1的分数用粗线圆圈表示。 如图24(b)所示，例如，帧1和3的可靠度确定分数低于阈值TH1，因此，帧1和3 没有确定为图像合成目标部分候选。此外，帧2的可靠度确定分数超过阈值TH1，但是相邻 的帧1和3的可靠度分数低于阈值TH1，因此，不满足上述条件(4)。因此，帧2不确定为图 像合成目标部分候选。另一方面，例如帧4到14的可靠度确定分数超过阈值TH1。然而，帧 14的长度超过上述条件(4)的一定范围(K1和K2之间的范围)。因此，在帧4到14中，在 上述条件(4)的一定范围内的帧4到13被部分选择单元160确定为图像合成目标部分候 选500。也就是说，部分选择单元160提取可靠度确定分数SHS超过阈值TH1的、包括在上 述条件(4)的一定范围内的连续帧，作为图像合成目标部分候选。 随后，部分选择单元160确定图像合成目标部分候选中包括的每个帧(相机工作
的每个分量)的改变率是否满足下面的条件(11)到(17)。 (ll)XZthl < XZ < XZth2 (12)YZthl < YZ < YZth2 (13)XT<XTth (14)YT<YTth (15)XR<XRth (16)YR<YRth (17) |XR-YR| < ADRth 这里，XZ表示相机工作的X方向上的变焦分量，并且YZ表示相机工作的Y方向上 的变焦分量。此外，XT表示相机工作的X方向上的平移分量，并且YT表示相机工作的Y方 向上的平移分量。此外，XR表示相机工作的X方向上的旋转分量，并且YR表示相机工作的 Y方向上的旋转分量。此外，XZthl、 XZth2、 YZthl、 YZth2、 XTth、 YTth、 XRth、 YRth和ADRth
表示阈值。 例如，值0. 7到0. 9可设置为阈值XZthl和YZthl。此夕卜，例如，值1. 1到1. 3可设 置为阈值XZth2和YZth2。此外，例如，值W/20到W/5可设置为阈值XTth。注意，W是指示 要处理的图像的水平方向上的像素的数量的值。此外，例如，值H/20到H/5可设置为阈值 YTth。注意，H是指示要处理的图像的垂直方向上的像素的数量的值。此外，例如，3度到5 度可设置为阈值XRth和YRth。此外，例如，O. 5度到1. 0度可设置为阈值ADRth。
在基于可靠度确定分数提取的图像合成目标部分候选中包括的每个帧的相机工 作的每个分量满足条件(11)到(17)的情况下，确定是否满足条件(2)和(3)。另一方面， 在图像合成目标部分候选中包括的每个帧的相机工作的每个分量不满足条件(11)到(17) 的情况下，其图像合成目标部分候选不被确定为图像合成目标部分。 图25是以时间序列方式图示用通过根据本发明第一实施例的相机工作检测单元 120计算的仿射变换参数计算的积分变焦分量的图。在图25中，(a)使用矩形示意性图示 用作积分变焦分量计算目标的帧。注意，图25(a)中示出的帧l到15与图24(a)中所示的 帧相同。 在图25中，(b)图示表示对于每帧、关于图25(a)中所示的帧1到15计算的水平 方向(X方向)上的积分变焦分量的曲线图。在图25(b)所示的曲线图的情况下，水平轴是 指示成像的时间点的轴，并且垂直轴是指示关于每帧计算的积分变焦分量的值的轴。该积分变焦分量是通过将与从参考帧到目标帧的每帧相关的仿射变换参数的仿射矩阵相乘计 算的仿射矩阵的变焦分量的值。现在，设与参考帧相关的仿射变换参数是单位矩阵的值。具 体地，参考帧的积分变焦分量的值是1. O，并且目标帧的积分变焦分量的值是关于参考帧的 相对值。此外，该积分变焦分量关于相机工作的X方向上的变焦分量和Y方向上的变焦分 量计算。注意，在图25所示的示例的情况下，关于X方向上的变焦分量计算的积分变焦分 量图示为示例。 在图25(b)所示的曲线图的情况下，关于每帧计算的积分变焦分量用白色圆圈图 示。此外，在指示关于图像合成目标部分候选500中包括的每帧计算的积分变焦分量的白 色圆圈中，对应于顶部帧的白色圆圈图示为积分变焦分量501。此外，在指示关于图像合成 目标部分候选500中包括的每帧计算的积分变焦分量的白色圆圈中，指示最大值的白色圆 圈图示为积分变焦分量502，并且指示最小值的白色圆圈图示为积分变焦分量503。注意， 图25(b)所示的曲线图的水平轴指示根据成像的时间点的每个帧号。此外，在图25(b)所 示的曲线图的垂直轴的情况下，指示最大值的积分变焦分量502的值图示为M2，并且指示 最小值的积分变焦分量503的值图示为Ml。 现在，用于条件(2)的变焦率是指示积分变焦分量的最大值和最小值之间的比率 的值。该条件(2)基于关于图像合成目标部分候选中包括的每帧的变焦率是否包括在一定 范围内而确定。该一定范围可以是例如低于阈值XZth2的范围，如下所示。
XZml/XZm2 < XZth2 这里，XZml是关于图像合成目标部分候选中包括的每帧计算的X方向上的积分变 焦分量的最大值，并且XZm2是其积分变焦分量的最小值。注意，例如，值1. 5到3. 0可设置 为阈值XZth2 。此外，关于Y方向上的变焦分量计算的变焦率可基于下面的表达式是否满足 而确定。 YZml/YZm2 < YZth2 这里，YZml是关于图像合成目标部分候选中包括的每帧计算的Y方向上的积分变 焦分量的最大值，并且YZm2是其积分变焦分量的最小值。注意，例如，值1. 5到3. 0可设置 为阈值YZth2。 在关于满足条件(11)到(17)的图像合成目标部分候选中包括的每帧计算的X方 向和Y方向上的变焦率满足条件(2)的情况下，确定是否满足条件(3)。另一方面，关于图 像合成目标部分候选中包括的每帧计算的X方向和Y方向上的变焦率不满足条件(2)，其图 像合成目标部分候选不确定为图像合成目标部分。 图26是以时间序列方式图示用通过根据本发明第一实施例的相机工作检测单元 120计算的仿射变换参数计算的积分平移分量的图。在图26中，(a)使用矩形示意性图示 用作积分平移分量计算目标的帧。注意，图26(a)中示出的帧l到15与图24(a)中所示的 帧相同。 在图26中，(b)图示表示对于每帧、关于图26(a)中所示的帧1到15计算的水平 方向(X方向)上的积分平移分量的曲线图。在图26(b)所示的曲线图的情况下，水平轴是 指示成像的时间点的轴，并且垂直轴是指示关于每帧计算的积分平移分量的值的轴。该积 分平移分量是通过将与从参考帧到目标帧的每帧相关的仿射变换参数的仿射矩阵相乘计 算的仿射矩阵的平移分量的值。现在，设与参考帧相关的仿射变换参数是单位矩阵的值。具体地，参考帧的积分平移分量的值是0. 0，并且目标帧的积分平移分量的值是关于参考帧的 相对值。此外，该积分平移分量关于相机工作的X方向上的平移分量和Y方向上的平移分 量计算。注意，在图26所示的示例的情况下，关于X方向上的平移分量计算的积分平移分 量图示为示例。 在图26(b)所示的曲线图的情况下，关于每帧计算的积分平移分量用白色圆圈图 示。此外，指示关于图像合成目标部分候选500中包括的每帧计算的积分平移分量的白色 圆圈用粗线图示。注意，图26(b)所示的曲线图的水平轴指示根据成像的时间点的每个帧 号。此外，在图25(b)所示的曲线图的垂直轴的情况下，指示用于条件(a)的阈值XTth2 和-XTth2。 这里，基于水平方向或垂直方向上的运动量是否等于或大于一定像素数而确定条 件(3)。具体地，基于摇动和倾斜的至少一个是否相对大而进行确定。例如，如下所示，基于 积分平移分量XT1的绝对值是否超过阈值XTth2而进行确定。
|XT11 > XTth2 这里，例如，值3W到10W可设置为阈值XTth2。注意，W是指示图像的水平方向上 的像素数的值。此外，关于Y方向的积分平移分量YT1，也可基于是否满足下面的表达式而 进行确定。 |YT11 > YTth2 这里，例如，值3H到10H可设置为阈值YTth2。注意，H是指示图像的垂直方向上 的像素数的值。 例如，在图26所示的示例的情况下，关于图像合成目标部分候选500中包括的帧 12和13计算的X方向上的积分平移分量的值超过阈值XTth2。也就是说，在图26所示的 示例的情况下，关于图像合成目标部分候选500中包括的每个帧计算的X方向上的积分平 移分量的绝对值超过阈值XTth2，因此，确定满足条件(3)。此外，即使在关于图像合成目标 部分候选500中包括的每个帧计算的Y方向上的积分平移分量的绝对值超过阈值XTth2的 情况下，也确定满足条件(3)。因此，通过部分选择单元160选择确定为满足条件(3)的图 像合成目标部分候选作为图像合成目标部分。另一方面，在关于其图像合成目标部分候选 中包括的每个帧计算的X方向上的积分平移分量和Y方向上的积分平移分量都不满足条件 (3)的情况下，其图像合成目标部分候选不被确定为图像合成目标部分。
在上述示例的情况下，关于满足条件(1)和(4)的图像合成目标部分候选中包括 的每个帧确定是否满足条件(11)到(17)。随后，关于满足条件(11)和(17)的图像合成目 标部分候选中包括的每个帧确定是否满足条件(2)和(3)。然而，这些确定可以以不同顺序 进行。此外，在条件(1)到(4)以及条件(11)到(17)中，可省略确定条件之一。此外，例 如，可使用关于图像合成目标部分候选中包括的每个帧的另一确定条件选择图像合成目标 部分。例如，可利用积分旋转分量，将旋转率小设为确定条件。 由此选择的图像合成目标部分中包括的所有帧用于创建合成图像。然而，例如，可 以预期，可通过创建合成图像将通过运动画面的简单回放不能体验的经验提供给用户，其 中在相同成像位置处、在相对广的范围的空间上成像的多个静态图像被结合在一起。也就 是说，可向用户提供通过从运动画面的回放不能体验的、由静态图像构成的全景式合成图 像(例如，其中照片结合在一起的图像)。因此，在本发明第一实施例的情况下，从图像合成目标部分中包括的每个帧进一步选择用于合成图像的创建的帧。现在，在本发明第一实施 例的情况下，将描述这样的示例，其中在图像合成目标部分优选地选择包括面部的图像，该 图像选择最前面的帧，另一帧基于与该最前面的帧的重叠率而选择。此外，在存在多个包括 面部的图像的情况下，在多个面部中，可将具有指示笑脸程度的最高面部表情评估值(笑 脸分数)的图像选择为最前面的帧。注意，除了面部表情评估值以外的模糊条件评估值等 可用于确定。 图27A和27B是以时间序列方式示意性图示通过根据本发明第一实施例的部分选 择单元160选择的图像合成目标部分中包括的图像的图。图27A图示在以静态的狗、人和 车为被摄体、用户已经拍摄图像同时在水平方向上移动相机的镜头的方向的情况下的图像 的转换。图27B图示在以树和山为被摄体、用户已经拍摄图像同时在水平方向上移动相机 的镜头的方向的情况下的图像的转换。注意，为了说明方便，简化了图27A到27B中示出的 图像，并且放大图示了连续两个帧之间的运动量。 在图27A所示的图像511到518中，图像512到515包括人脸。此外，设在图像 512到515包括的脸中，关于图像513中包括的脸计算的面部表情评估值是最高值。在通过 部分选择单元160选择的图像合成目标部分中包括的图像包括脸的情况下，合成目标图像 选择单元170选择包括脸的图像作为最前面的帧。此外，如图27A所示，在多个图像包括脸 的情况下，包括具有关于这些脸计算的面部表情评估值的最高值的脸的图像被选择为最前 面的帧。在图27A所示的示例的情况下，选择图像513。 此外，图27B所示的图像521到528不包括人脸。因此，在通过部分选择单元160
选择的图像合成目标部分中包括的图像不包括脸的情况下，合成目标图像选择单元170选
择图像合成目标部分中包括的图像的时间轴上的顶部图像作为最前面的帧。在图27B所示
的示例的情况下，选择对应于图像合成目标部分中包括的顶部帧的图像521。 从图像合成目标部分如此选择的最前面的帧被取为参考帧，并且基于该参考帧选
择另一帧。在本发明第一实施例的情况下，将关于这样的示例进行描述，其中基于图像合成
目标部分中包括的各图像之间的重叠区域选择帧。 图28是示意性图示在通过根据本发明第一实施例的合成目标图像选择单元170 选择合成目标图像的情况下的选择方法的图。在该示例的情况下，将关于这样的情况进行 描述，其中两个工作缓冲器用于关于最前面的帧选择另一帧。 第一工作缓冲器531和第二工作缓冲器532是通过一位表示构成图像的每个像素 的工作缓冲器。也就是说，在图像粘贴(pasted)到第一工作缓冲器531和第二工作缓冲器 532的情况下，粘贴位置的位设置为开。此外，选择的图像粘贴到第一工作缓冲器531作为 合成图像，并且用作选择确定目标的一个图像经历仿射变换并粘贴到第二工作缓冲器532。 随后，计算粘贴到第一工作缓冲器531的合成图像和粘贴到第二工作缓冲器532的图像之 间的重叠部分。现在，设计算的重叠部分的区域的面积是面积C，粘贴到第一工作缓冲器 531的合成图像的面积是面积A，并且粘贴到第二工作缓冲器532的图像的面积是面积B。 在此情况下，计算面积C/面积A的值和面积C/面积B的值，并且在这两个值中，计算较大 值作为重叠率。 随后，在计算的重叠率低于阈值的情况下，选择其图像。例如，60%可设置为该阈 值。其中计算的重叠率低于阈值的图像选择为合成目标图像，并且还粘贴到第一工作缓冲器531。随后，关于下一帧执行相同的确定处理。 例如，设选择为最前面的帧的图像534和接下来选择的图像535之间的合成图像 已经被粘贴到第一工作缓冲器531，如图28 (a)所示。此外，从图像534和535创建的合成图 像的区域用实线图示。此外，设用作确定目标的图像536已经粘贴到第二工作缓冲器532， 如图28(a)所示。此外，图像536的区域用实线矩形图示。现在，以图28 (a)所示的、粘贴 到第一工作缓冲器531的最前面的帧(图像534)的位置为参考，使用作确定目标的图像经 历仿射变换，然后粘贴到第二工作缓冲器532。该仿射变换使用元数据存储单元210中存储 的仿射变换参数执行。注意，图28所示的示例是这样的示例，其中在图像536中，仅变换了 位置，而没有变换角度和大小。 随后，如图28(b)所示，计算粘贴到第一工作缓冲器531的合成图像(图像534和 535的合成图像)和粘贴到第二工作缓冲器532的图像536之间的重叠部分538。注意， 图28 (b)所示的工作缓冲器范围533是指示对应于第一工作缓冲器531和第二工作缓冲器 532的大小的范围。在该工作缓冲器范围533的情况下，计算的重叠部分538用内部有阴 影的矩形表示，并且其他图像部分用虚线表示。现在，设计算的重叠部分538的面积是面积 Cl，粘贴到第一工作缓冲器531的合成图像(图像534和535的合成图像)的面积是面积 A1，并且粘贴到第二工作缓冲器532的图像536的面积是面积B 1。在此情况下，面积A1的 值大于面积B 1的值，因此，面积C1/面积B1的值大于面积C1/面积A1的值。因此，面积 Cl/面积Bl的值被计算为重叠率。 随后，在计算的重叠率(面积Cl/面积Bl的值)低于阈值的情况下，图像536选 择为合成目标图像。因此，在已经选择合成目标图像的情况下，计算其中将从最前面的帧到 当前帧的仿射变换参数的仿射矩阵相乘的矩阵的值。这里，关于最前面的帧的仿射变换参 数，使用单位矩阵的值。随后，计算的矩阵的仿射变换参数、以及选择的合成目标图像的帧 号和面部数据记录在合成目标图像元数据存储单元270中。注意，关于选择为最前面的图 像的合成目标图像，指示最前面的帧的信息与这样的信息一起记录在合成目标图像元数据 存储单元270中。 此外，在图像536已经选择为合成目标图像的情况下，如图28(c)所示，图像536 粘贴到第一工作缓冲器531。具体地，图像534到536的合成图像粘贴到第一工作缓冲器 531。随后，如图28(d)所示，以相同方式关于下一图像537执行确定处理。另一方面，在计 算的重叠率不低于阈值的情况下，图像536不粘贴到第一工作缓冲器531。在此情况下，在 下一图像、图像534和535之间执行确定处理。 注意，在该示例的情况下，通过使用两个工作缓冲器顺序计算重叠率来选择合成 目标图像，但是可通过仅使用存储在元数据存储单元210中的仿射变换参数计算重叠率来 选择合成目标图像。 图29是以时间序列方式示意性图示通过根据本发明第一实施例的部分选择单元 160和合成目标图像选择单元170要确定的运动画面的图。在图29中，(a)示意性图示构 成作为存储在运动画面存储单元200中的运动画面文件的运动画面文件540的帧。在图29 中，(b)图示作为关于运动画面文件540选择的图像合成目标部分组的图像合成目标部分 组541。在图29中，(c)图示作为指示下述部分的面部检测部分组的面部检测部分组544， 在所述部分中，关于构成运动画面文件540的每个帧检测面部。在图29中，(d)图示作为指示下述部分的笑脸检测部分组的笑脸检测部分组546，在所述部分中，关于构成运动画面 文件540的每个帧检测的脸确定为笑脸。在图29中，(e)图示在图像合成目标部分选择的 最前面的帧、以及作为其中以最前面的帧为参考帧搜索另一帧的方向的搜索方向548。在 图29中，(f)图示作为关于运动画面文件540选择的帧(合成目标图像)的组的选择帧组 554。注意，构成运动画面文件540的每个帧用在内部附上帧号的矩形图示。此外，每个部 分用内部有阴影的矩形图示。此外，在图29(e)中，最前面的帧用白色圆圈表示，并且从最 前面的帧起的搜索方向用箭头表示。 例如，设部分选择单元160已经关于运动画面文件540选择图像合成目标部分542 和543。此外，设在图像合成目标部分542中包括的帧中，面部检测部分545已经检测到面 部。此外，设在面部检测部分545中包括的帧中，面部表情评估值在笑脸检测部分547处已 经检测为一定值或更大，并且被确定为笑脸。在该示例的情况下，设在笑脸检测部分547中 包括的帧中，具有最高面部表情评估值的帧为帧h。在此情况下，帧h在图像合成目标部分 542处被选择为最前面的帧549。随后，帧选择处理朝作为时间轴上的前端搜索方向的搜索 方向550和作为时间轴上的后端搜索方向的搜索方向551执行。该选择方法与图28所示 的选择方法相同。在此情况下，例如，设已经选择帧g+2， . . . ， h， . . . ， h+m， . . . ， i。
此外，设在图像合成目标部分543中包括的每个帧没有检测面部。在此情况下， 在图像合成目标部分543中包括的帧中，时间轴上的最前端的帧j+l被选择为最前面的帧 552。随后，朝向作为时间轴上的后端的搜索方向的搜索方向553选择帧。该选择方法与图 28所示的选择方法相同。在此情况下，例如，设已经选择帧j+l， . . . ， j+n， . . . ， k-3。
因此，关于单个运动画面文件选择单个或多个图像合成目标部分，并且从其图像 合成目标部分选择多个帧。使用由此选择的多个帧创建合成图像。 因此，选择的图像合成目标部分中的标识号、以及选择的每个帧号以相关方式存 储在合成目标图像元数据存储单元270中。同时地，计算的仿射变换参数、指示最前面的帧 的最前面的帧信息、以及作为与关于帧检测的面部相关的数据的面部数据以相关方式记录 在合成目标图像元数据存储单元270中。合成图像可使用在合成目标图像元数据存储单元 270中存储的每条信息通过用户操作而显示。例如，可以显示在图像合成目标部分542选 择的帧g+2，. . . ， h，. . . ， h+m，. . . ， i的合成图像。此外，可以显示在图像合成目标部分543 选择的帧j+l， ， j+n， ， k-3的合成图像。 现在，例如，在构成运动画面的多个帧中包括面部的情况下，并且在关于每个面部
计算的每个面部表情评估值低于一定值的情况下，可使用面部检测信息中包括的位置和大
小选择最前面的帧。例如，可将这样的图像选择为最前面的帧，其中检测的面部的位置向中
心偏移，并且其大小相对大。 图像合成示例 接下来，示出关于通过相机实际成像的运动画面而选择的合成目标图像、以及合 成目标图像的合成示例。 图30是图示关于通过相机成像的运动画面选择的合成目标图像的示例的图。图 30图示在对以包括岩石的山坡为背景站立的女士成像、同时移动相机的情况下、关于运动 画面选择的图像561到568。设以对应于时间轴上的前端的帧的图像为图像561，沿箭头方 向按时间序列对该运动画面成像。此外，设用作被摄体的女士的位置大致在图像的中心，并且用作笑脸的图像566已经选择为最前面的帧。 图31和32是图示通过根据本发明第一实施例的图像合成单元220创建的合成图 像的转换的图。图31和32所示的图像571到578是这样的图像，其中将白框添加到图30 所示的图像561到568的外围，并且与图像561到568相同，除了为其附加了白框。
例如，以选择为最前面的帧的图像576作为参考，使用与其他图像561到575、577 和568相关的仿射变换参数计算要关于图像571到578创建的合成图像的大小。基于如此 计算的合成图像的大小，计算最前面帧的位置和大小。随后，基于最前面的帧的位置和大 小，使其他图像顺序经历仿射变换，并且在图像存储器230中合成。例如，如图31(a)到(d) 所示，并且在图32(a)中，在同一图像合成目标部分选择的帧中，以时间序列顺序合成最前 面的图像的顶部帧到紧接在前面的帧。也就是说，顺序合成图像571到575。随后，例如， 如图32(b)和(c)所示，在同一图像合成目标部分选择的帧中，以时间序列顺序合成最前面 的帧的最后帧到紧接在前面的帧。也就是说，顺序合成图像577和578。随后，例如，如图 32(d)所示，合成在同一图像合成目标部分选择的最前面的图像576。因此，从关于在同一 图像合成目标部分选择的每个帧的顶部帧和最后帧的每个重叠图像，并且最终，选择为最 前面的帧的图像重写在其上。因此，选择为最前面的帧的图像在顶端显示，从而可以创建清 楚合成的图像。 因此，在合成目标图像元数据存储单元270中存储的元数据文件用于合成构成运 动画面的部分图像，从而可以创建表示在其运动画面中包括的一个场景的全景式合成图 像。在此情况下，将白框添加到满足一定条件的帧，以不使用构成运动画面的所有连续帧来 合成帧，从而可显示合成图像使得照片连结在一起。在此情况下，可以提供与在普通运动画 面回放时观看的图像完全不同的令人感兴趣的图像。此外，可关于运动画面中包括的每个 场景自动显示全景式合成图像，从而用户可以容易地理解其运动画面是否包括何种场景。 此外，可选择性地显示成像的场景，从而可将重要的图像提供给用户。此外，人的笑脸图像 取为最前面的图像，并且基于该图像选择用作合成目标的另一图像，从而可提供全景合成 图像，使得将重点给予其笑脸的人。 到目前已经示出了这样的示例，其中选择为最前面的帧的图像以重写方式合成在 顶部，但是例如，如接下来的附图所示，可通过用户选择按照时间点顺序，以重写方式合成。
图33是通过根据本发明第一实施例的图像合成单元220创建的合成图像的另一 合成示例。在图33中，(a)图示显示方法选择屏幕580，其用于选择通过图像合成单元220 创建的合成图像的显示方法，并且显示在显示单元250上。选取(check)字段581和582、 "全景式合成图像显示"按钮583、以及"取消"按钮584提供给显示方法选择屏幕580。
如图31和32所示，选取字段581是用于选择其中最前面的帧重叠并合成在顶部 并且显示的显示方法的选取字段。如图33(b)所示，选取字段582是用于选择其中每帧合 成并显示同时以时间序列顺序重叠的显示方法的选取字段。使用光标585来执行将选取标 记添加到这些选取字段的操作输入。"全景式合成图像显示"按钮583是在显示单元250上显示合成图像时按下的按 钮。也就是说，在将选取标记添加到选取字段581和582之一后，使用光标585按下"全景 式合成图像显示"按钮583，从而顺序显示通过已经向其添加选取标记的合成方法合成的图 像。
"取消"按钮584是在消除添加到选取字段581和582之一的选取标记的情况下要 按下的按钮。 例如，在选取标记添加到选取字段581的状态下已经按下"全景式合成图像显示" 按钮583的情况下，如图32和33所示，顺序合成最前面的帧的两侧的帧，并且最前面的帧 重叠并合成在顶部。此外，在选取标记添加到选取字段582的状态下已经按下"全景式合成 图像显示"按钮583的情况下，如图33(b)所示，每个帧通过以时间序列顺序重叠而合成并 显示。 在图33中，(b)图示图像571到578已经以时间序列顺序合成。注意，图571到 578与图31和32所示的图像571到578相同。因此，在以时间序列顺序合成图像的情况 下，可参照显示的合成图像清楚地理解成像的时间。然而，例如，下一图像重写到在选择为 最前面的帧的图像576中包括的人附近的区域上，存在该人可能被隐藏的可能性。因此，例 如，使用与图像576相关的合成目标图像元数据存储单元270中存储的面部数据，从而可防 止其他图像重叠到距面部区域的一定范围上。 在图33中，(c)示意性图示图像重写在距对应于最前面的帧的图像576中包括的 面部区域586 —定范围(例如，距离L1)内的情况。例如，如图33(c)所示，在图像571到 578以时间序列正常地合成的情况下，图像577重写在距图像576中包括的面部区域586距 离L1内。因此，如图33(c)所示，图像577在箭头方向587移动，以便距图像576中包括的 面部区域586分开距离Ll或更多。因此，在移动最前面的图像的上端重叠的图像的情况下， 移动的图像之后的图像也移动相同距离。也就是说，图像578被移动与图像577相同的距 离。因此，例如，如图33(c)所示，看到图像576中包括的人脸的周围，从而可进一步欣赏合 成图像。 此外，可进行这样的安排，其中预先创建并存储与单个或多个运动画面有关的合 成图像，基于用户的操作显示由此存储的每个合成图像。替代地，可进行这样的安排，其中 预先对每个图像顺序地存储合成图像的合成转换，顺序显示这样的转换。
图像处理装置的操作示例 接下来，将参照附图描述根据本发明第一实施例的图像处理装置100的操作。
图34是图示通过根据本发明第一实施例的图像处理装置100的合成目标图像元 数据记录处理的过程的流程图。 首先，部分选择单元160执行部分提取处理(步骤S930)。将参照图35详细描述 该部分选择处理。随后，合成目标图像选择单元170执行帧选择处理(步骤S950)。将参照 图36描述该帧选择处理。注意，步骤S930和S950是发明内容中所指的选择过程的示例。
图35是图示通过根据本发明第一实施例的图像处理装置100的合成目标图像元 数据记录处理的过程中包括的部分提取过程(图34中所示的步骤S930中的过程)的流程 图。 首先，变量t初始化为"1"(步骤S931)，并且将构成运动画面文件的帧t设置为 参考帧(步骤S932)。随后，从元数据存储单元210中存储的元数据文件获得与帧t对应的 仿射变换参数和可靠度确定分数(步骤S933)。 随后，计算从参考帧到帧t过去的时间T (步骤S934)，并且确定过去的时间T是否 超过阈值TM1 (步骤S935)。在过去的时间T超过阈值TM1的情况下(步骤S935)，流程进行到步骤S946。另一方面，在过去的时间T未超过阈值TM1的情况下(步骤S935)，确定与 帧t对应的可靠度确定分数SHS是否超过阈值TH1 (步骤S936)。在与帧t对应的可靠度确 定分数SHS超过阈值TH1的情况下(步骤S936)，从与帧t对应的仿射变换参数计算相机 工作的每个分量(步骤S937)。随后，确定是否相机工作的分量的所有值都包括在阈值的 范围内(步骤S938)。在相机工作的分量的所有值都包括在阈值的范围内的情况下(步骤 S938)，计算与从参考帧到帧t的每个帧对应的变焦率(步骤S939)。 随后，确定计算的变焦率是否包括在阈值的范围内(步骤S940)。在计算的变焦 率包括在阈值的范围内的情况下(步骤S940)，计算对应于参考帧到帧t的每个帧的运动 量(积分平移分量)(步骤S941)。随后，确定计算的运动量是否包括在阈值的范围内(步 骤S942)。在计算的运动量包括在阈值的范围内的情况下(步骤S942)，确定帧t是否是构 成要处理的运动画面的帧中的最后的帧(步骤S943)。在帧t不是最后的帧的情况下(步 骤S943)，对变量t加"l"，其中重复部分选择处理。另一方面，在帧t是最后的帧的情况下 (步骤S943)，部分选择处理结束。 此外，在与帧t对应的可靠度确定分数SHS没有超过阈值THl的情况下(步骤 S936)，或在不是相机工作的变量的所有值都包括在阈值的范围内的情况下(步骤S938)， 流程进行到步骤S945。此外，在计算的变焦率不包括在阈值的范围内的情况下(步骤 S940)，或在计算的运动量不包括在阈值的范围内的情况下(步骤S942)，流程进行到步骤 S945。 随后，确定过去的时间T是否低于图像合成目标部分范围TM2(步骤S945)。在过 去的时间T不低于图像合成目标部分范围TM2的情况下(步骤S945)，从参考帧到帧t的部 分选择为图像合成目标部分(步骤S946)。另一方面，在过去的时间T低于图像合成目标 部分范围TM2的情况下(步骤S945)，对变量t加"1"(步骤S947)，并且流程返回到步骤 S932，其中重复部分选择处理。 图36是图示通过根据本发明第一实施例的图像处理装置100的合成目标图像元 数据记录处理的过程中包括的帧选择过程(图34所示的步骤S950中的过程)的流程图。
首先，从元数据存储单元210中存储的元数据文件获得与通过部分选择单元160 选择的图像合成目标部分之一中包括的每个帧对应的仿射变换参数、面部检测信息、和面 部表情评估值(步骤S951)。随后，使用与获得的图像合成目标部分中包括的每个帧对应的 仿射变换参数计算用于合成与每个帧对应的图像的大小，并且确保具有该大小的两个工作 缓冲器(步骤S952)。 随后，基于获得的面部检测信息确定面部是否包括在与用作选择目标的图像合成 目标部分中包括的每个帧对应的图像中(步骤S953)。在面部包括在对应于每个帧的图 像中的情况下(步骤S953)，具有对应于包括面部的图像的面部表情评估值的最高值的图 像被选择为最前面的帧(步骤S954)。另一方面，在面部不包括在对应于每个帧的图像的 情况下(步骤S953)，图像合成目标部分中包括的帧的顶部帧被选择为最前面的帧(步骤 S955)。 随后，选择的最前面的帧粘贴到第一工作缓冲器(步骤S956)，并且将与选择的最 前面的帧相关的每条元数据记录在合成目标图像元数据存储单元270中(步骤S957)。随 后，计算选择的最前面的帧、以及与最前面的帧的各方向之一邻近的帧之间的重叠率(步骤S958)。也就是说，用作重叠率计算目标的帧粘贴到第二工作缓冲器，并且计算关于粘贴 到第一工作缓冲器的最前面的帧的重叠率。 随后，确定计算的重叠率是否低于阈值(步骤S959)。在计算的重叠率低于阈值的 情况下(步骤S959)，选择用作重叠率计算目标的帧，并且将选择的帧粘贴到第一工作缓冲 器(步骤S960)。随后，与选择的帧相关的每条元数据记录在合成目标图像元数据存储单元 270中(步骤S961)，并且流程进行到步骤S962。 另一方面，在计算的重叠率不低于阈值的情况下(步骤S959)，确定是否已经完成 关于用作选择目标的图像合成目标部分中包括的每个帧的重叠率的计算(步骤S962)。在 没有完成关于每个帧的重叠率的计算的情况下(步骤S962)，计算与紧接在之前已经计算 其重叠率的帧相邻的帧的重叠率(步骤S964)。也就是说，将用作重叠率计算目标的帧粘贴 到第二工作缓冲器，并且计算关于粘贴到第一工作缓冲器的合成图像的重叠率。注意，在紧 接在之前已经计算其重叠率的帧是图像合成目标部分的顶部帧或最后帧的情况下，计算与 最前面的帧的其他方向相邻的帧的重叠率。 在已经完成关于用作选择目标的图像合成目标部分中包括的每个帧的重叠率的 计算的情况下(步骤S962)，确定是否已经关于由部分选择单元160选择的所有图像合成目 标部分完成帧选择处理(步骤S963)。在没有关于所有图像合成目标部分完成帧选择处理 的情况下(步骤S963)，流程返回到步骤S951，其中重复帧选择处理(步骤S951到S964)。 另一方面，在关于所有图像合成目标部分完成帧选择处理的情况下(步骤S963)，帧选择处 理的操作结束。 图37是图示通过根据本发明第一实施例的图像处理装置100的合成图像显示处 理的过程的流程图。在该示例的情况下，最前面的帧重叠并合成在顶端。此外，在本示例的 情况下，将关于这样的示例进行描述，其中顺序显示与存储在运动画面存储单元200中的 运动画面文件相关的合成图像。 首先，文件获得单元180获得存储在合成目标图像元数据存储单元270中存储的 每条元数据(步骤S970)。随后，文件获得单元180解码对应于获得的每条元数据的运动 画面文件，并且获得构成运动画面文件的每个帧(步骤S971)。随后，使用用作合成目标的 获得的图像合成目标部分之一的元数据中包括的每个仿射变换参数，计算用于合成对应于 每帧的图像的大小，并且在图像存储器230中确保具有该大小的工作缓冲器(步骤S972)。 此外，基于由此计算的合成图像的大小，计算最前面的帧的位置和大小。
随后，基于获得的元数据中包括的最前面的帧信息确定最前面的帧是否是在图像 合成目标部分处的顶部帧(步骤S973)。在最前面的帧是在图像合成目标部分处的顶部帧 的情况下(步骤S973)，在获得的元数据中包括的每个帧中，以帧号的升序提取图像(步骤 S974)。 随后，图像变换单元190使用与提取的图像相关的仿射变换参数，以使其图像经 历仿射变换(步骤S975)。随后，图像合成单元220将白框添加到经历仿射变换的图像的 外围，并且将已经对其添加白框的图像保持在图像存储器230中(步骤S976)。也就是说， 关于图像存储器230中存储的历史图像，合成已经对其添加白框的、经历仿射变换的图像。 注意，在第一图像的情况下，仅其图像保持在图像存储器230中。随后，显示控制单元240 控制显示单元250以显示在图像存储器230处保持的合成图像(步骤S977)。随后，确定在图像存储器230处保持的图像是否是用作合成目标的图像合成目标部分的最后帧(步骤
S978)。在图像存储器230处保持的图像时最后帧的情况下(步骤S978)，确定是否已经关
于所有图像合成目标部分完成合成图像显示处理(步骤S979)。在没有关于所有图像合成
目标部分完成合成图像显示处理的情况下(步骤S979)，流程返回到步骤S972，其中重复合
成图像显示处理(步骤S972到S978和S980)。另一方面，在已经关于所有图像合成目标部
分完成合成图像显示处理的情况下(步骤S979)，合成图像显示处理的操作结束。 此外，在最前面的帧不是图像合成目标部分处的顶部帧的情况下(步骤S973)，执
行图像合成处理(步骤S980)。将参照图38详细描述该图像合成处理。 图38是图示在通过根据本发明第一实施例的图像处理装置100的合成图像显示
处理的过程中包括的图像合成过程(图37中所示的步骤S980中的过程)的流程图。在该
示例的情况下，在从图像合成目标部分的顶部帧朝最前面的帧执行图像合成之后，从最后
的帧朝最前面的帧执行图像合成，并且最终合成最前面的帧。 首先，在获得的元数据中包括的每帧中，以帧号的升序提取图像(步骤S981)。随 后，图像变换单元190使用与提取的图像相关的仿射变换参数，以使其图像经历仿射变换 (步骤S982)。随后，图像合成单元220将白框添加到经历仿射变换的图像的外围，并且将 已经对其添加白框的图像保持在图像存储器230中(步骤S983)。也就是说，关于存储在图 像存储器230中的历史图像合成已经对其添加白框的、经历仿射变换的图像。注意，在第一 图像的情况下，仅其图像保持在图像存储器230中。随后，显示控制单元240控制显示单元 250以显示在图像存储器230处保持的合成图像(步骤S984)。随后，确定图像存储器230 处保持的图像是否是用作合成目标的图像合成目标部分处的、紧接在最前面的帧之前的帧 (步骤S985)。在图像存储器230处保持的图像不是紧接在最前面的帧之前的帧的情况下 (步骤S985)，流程返回到步骤S981，其中从顶部帧到紧接在最前面的帧之前的帧重复图像 合成处理(步骤S981到S984)。 另一方面，在图像存储器230处保持的图像是紧接在最前面的帧之前的帧的情况 下(步骤S985)，在获得的元数据中包括的每个帧中，以帧号的降序顺序提取图像(步骤 S986)。随后，图像变换单元190使用与提取的图像相关的仿射变换参数，以使其图像经历 仿射变换(步骤S987)。随后，图像合成单元220将白框添加到经历仿射变换的图像的外 围，并且将已经对其添加白框的该图像保持在图像存储器230中(步骤S988)。也就是说， 关于图像存储器230处保持的历史图像合成已经对其添加白框的、经历仿射变换的图像。 随后，显示控制单元240控制显示单元250显示在图像存储器230处保持的合成图像(步 骤S989)。随后，确定图像存储器230处保持的图像是否是用作合成目标的图像合成目标部 分处的、紧接在最前面的帧之前的帧(步骤S990)。在图像存储器230处保持的图像不是紧 接在最前面的帧之后的帧的情况下(步骤S990)，流程返回到步骤S986，其中从最后帧到紧 接在最前面的帧之后的帧重复图像合成处理(步骤S986到S986)。 另一方面，在图像存储器230处保持的图像是紧接在最前面的帧之前的帧的情况 下(步骤S990)，提取最前面的帧的图像(步骤S991)。随后，图像变换单元190使用与最 前面的帧的提取图像相关的仿射变换参数，以使最前面的帧的图像经历仿射变换(步骤 S992)。注意，与最前面的帧相关的仿射变换参数是单位矩阵的值，因此，实际上不变换最前 面的帧的图像。随后，图像合成单元220将白框添加到经历仿射变换的最前面的帧的图像的外围，并且将已经对其添加白框的图像保持在图像存储器230中(步骤S993)。也就是
说，关于图像存储器230处保持的历史图像合成已经对其添加白框的、经历仿射变换的图
像。随后，显示控制单元240控制显示单元250显示在图像存储器230处保持的合成图像
(步骤S994)。 2.第二实施例 图像处理装置的配置示例 在本发明第一实施例的情况下，已经描述了这样的示例，其中在计算与各帧之间 相关的仿射变换参数时，展现支配运动的特征点的比率计算为可靠度确定分数。下面将参 照附图关于这样的示例详细进行描述，其中使用另一计算方法计算可靠度确定分数。这里， 根据本发明第二实施例的功能配置通常与图像处理装置100的功能配置相同，除了图1所 示的图像处理装置100中包括的相机工作检测单元120不同。因此，除相机工作检测单元 120以外的配置将用与本发明第一实施例中的参考标号相同的参考标号表示，并且将仅描 述具有不同功能的配置，而将省略其他描述。 图39是图示根据本发明第二实施例的相机工作检测单元125的功能配置示例的 框图。相机工作检测单元125包括特征点计算单元121、光流计算单元122、相机工作参数 计算单元123和可靠度确定分数计算单元126。这里，特征点计算单元121、光流计算单元 122和相机工作参数计算单元123与图2所示的相机工作检测单元120中的那些相同。因 此，下面将以可靠度确定分数计算单元126为中心进行描述。此外，在该示例的情况下，将 关于这样的示例进行描述，其中使用连续两个帧的重叠区域中包括的各像素之间的辉度差 值来计算可靠度确定分数。 可靠度确定分数计算单元126使用从相机工作参数计算单元123输出的相机工作
参数，以计算与构成从运动画面输入单元110输出的运动画面的连续两个帧相关的可靠度
确定分数，并且将计算的可靠度确定分数输出到记录控制单元150。注意，将参照图40详细
描述可靠度确定分数计算。 可靠度确定分数计算示例 图40是图示在通过根据本发明第二实施例的可靠度确定分数计算单元126计算 可靠度确定分数时的计算方法的概述的图。图40图示之前的帧590和时间轴上的随后的 帧，作为构成运动画面的连续两个帧。此外，图40(a)图示其中以帧590作为参考使帧591 经历仿射变换、并且仿射变换后的帧591关于帧590重叠的情况。此外，帧590和591之间 的重叠区域592的范围用粗线表示。在图40中，(b)图示图40(a)中示出的帧590，并且图 40(c)图示图40(a)中示出的帧591。此外，设帧590和591中包括的正方形指示构成每个 帧的像素。注意，图40(b)和(c)仅使用正方形图示重叠区域592中包括的像素。
在可靠度确定分数计算单元126计算可靠度确定分数的情况下，首先，关于构成 从运动画面输入单元110输出的运动画面的连续两个帧，以时间轴上的之前的帧作为参考 帧，使随后的帧经历仿射变换。该仿射变换使用从相机工作参数计算单元123输出的相机 工作参数执行(与之前的帧(参考帧)和随后的帧相关的仿射变换参数)。随后，可靠度确 定分数计算单元126计算在仿射变换后的重叠区域中包括的各像素之间的辉度差值的绝 对值。随后，可靠度确定分数计算单元126计算对每个像素计算的差值的绝对值的总值，并 且计算通过将计算的总值除以用作计算目标的像素数获得的值，作为可靠度确定分数。
例如，如图40(a)到(c)所示，设采用x-y坐标，其中帧590的左上角取为原点，帧 590的上侧的边取为x轴，并且帧590的左侧的边取为y轴。利用该x_y坐标，例如，设帧 590的重叠区域的坐标(i，j)处的辉度值是Il(i，j)，并且帧591的重叠区域的坐标(i，j) 处的辉度值是12 (i， j)。此外，如果设用于差值的计算的像素数是P皿m，则可靠度确定分数 SHS1可用下面的表达式获得
<formula>formula see original document page 41</formula> 这里，R表示帧590和591之间的重叠区域。也就是说，如图40(b)和(c)所示 的箭头593到595，在帧590和591之间的重叠区域中包括的像素中，顺序计算对应位置处 布置的两个像素的辉度差值的绝对值。随后，使用这些差值的绝对值计算可靠度确定分数 SHSl。 因此，通过可靠度确定分数计算单元126计算的可靠度确定分数输出到记录控制 单元150，并且记录在元数据存储单元210中。具体地，可靠度确定分数记录在图3B所示的 元数据文件211的可靠度确定分数217中。注意，可靠度确定分数217的记录内容具有与 图3B所示的情况不同的数值。此外，部分选择单元160使用该可靠度确定分数，以基于可 靠度确定分数是否超过阈值来执行图像合成目标部分的选择。例如，在可靠度确定分数低 于一定阈值的情况下，可靠度确定为高。 到目前为止已经关于这样的情况进行了描述，其中使用在连续两个帧的重叠区域 中包括的所有像素计算可靠度确定分数。然而，例如，可使用与用作相机工作参数计算单元 123的仿射变换参数计算目标的特征点相关的信息计算可靠度确定分数。
图像处理装置的配置示例 图41是图示根据本发明第二实施例的相机工作检测单元127的功能配置示例的 框图。相机工作检测单元127包括特征点提取单元121、光流计算单元122、相机工作参数 计算单元123和可靠度确定分数计算单元128。这里，特征点计算单元121、光流计算单元 122和相机工作参数计算单元123与图2所示的相机工作检测单元120中的那些相同。因 此，下面将以可靠度确定分数计算单元128为中心进行描述。此外，在该示例的情况下，将 关于这样的示例进行描述，其中在连续两个帧的重叠区域中包括的像素中，使用围绕展现 支配运动的特征点布置的像素的辉度差值计算可靠度确定分数。 可靠度确定分数计算单元128使计算与构成从运动画面输入单元IIO输出的运动
画面的连续两个帧相关的可靠度确定分数，并且将计算的可靠度确定分数输出到记录控制
单元150。在该可靠度确定分数计算的情况下，使用通过相机工作参数计算单元123计算的
相机工作参数、以及用于该相机工作参数计算的特征点。注意，将参照图42详细描述可靠
度确定分数计算。 可靠度确定分数计算 图42是图示在通过根据本发明第二实施例的可靠度确定分数计算单元128计算 可靠度确定分数时的计算方法的概述的图。现在，图42所示的帧590和591之间的关系、 以及帧590和591之间的重叠区域与图40中的那些相同，因此，这里将省略其描述。注意， 图42(b)和(c)使用虚线图示重叠区域592的范围。此外，在图42(a)到(c)所示的重叠区域592中包括的每个像素(用正方形表示)中，展现支配运动的特征点用正方形内加单 个圆圈表示，并且其他特征点用正方形内加两个圆圈表示。例如，图40(a)到(c)中所示的 重叠区域592包括展现支配运动的四个特征点以及其他单个特征点。在该示例的情况下， 将关于这样的示例进行描述，其中，在重叠区域592中包括的像素中，围绕展现支配运动的 四个特征点的像素(例如，八个邻近像素)用于计算辉度差值。这里，在重叠区域592中包 括的像素中，不使用围绕其他单个特征点的像素。此外，例如，在围绕展现支配运动的四个 特征点的像素和围绕其他单个特征点的像素共同的情况下，对一个特征点给予优先级，并 且这些像素不用于计算。也就是说，在图42所示的示例的情况下，区域601到608中包括 的每个像素用作可靠度确定分数计算目标。 在可靠度确定分数计算单元128计算可靠度确定分数的情况下，首先，在构成从
运动画面输入单元iio输出的运动画面的连续两个帧中，时间轴上的之前的帧取为参考
帧，并且随后的帧经历仿射变换。该仿射变换与图40中所示的示例相同。随后，可靠度确 定分数计算单元128计算，在连续两个帧中包括的像素中，在包括在仿射变换后的重叠区 域中的、展现支配运动的特征点周围的像素的辉度差值的绝对值。随后，可靠度确定分数计 算单元128计算对围绕展现支配运动的特征点的每个像素计算的差值的绝对值的总值，并 且计算通过将计算的总值除以用作计算目标的像素数获得的值，作为可靠度确定分数。
例如，设采用x-y坐标，其中帧590的左上角取为原点，帧590的上侧的边取为x 轴，并且帧590的左侧的边取为y轴。利用该x-y坐标，例如，设帧590的重叠区域的坐标 (i，j)处的辉度值是Ill(i，j)，并且帧591的重叠区域的坐标(i，j)处的辉度值是I12(i， j)。此外，如果设用于差值的计算的像素数是Pl皿m，则可靠度确定分数SHS2可用下面的表 达式获得
I I ll(i， j)-I 12(i' j)
SHS2 二 s-
111eri，ii2eri Pln咖 这里，Rl表示在帧590和591之间的重叠区域中，围绕展现支配运动的特征点的 区域(例如，八个相邻区域)。也就是说，在围绕展现支配运动的特征点的像素、以及围绕 其他特征点的像素共同的情况下，设R1取为不包括这样的像素的区域。也就是说，关于图 42(b)和(c)所示的区域601到608计算在对应位置处布置的两个像素的辉度差值的绝对 值。随后，使用这些差值的绝对值计算可靠度确定分数SHS2。 因此，通过可靠度确定分数计算单元128计算的可靠度确定分数输出到记录控制 单元150，并且记录在元数据存储单元210中。具体地，可靠度确定分数记录在图3B所示的 元数据文件211的可靠度确定分数217中。注意，可靠度确定分数217的记录内容具有与 图3B所示的情况不同的数值。此外，部分选择单元160使用该可靠度确定分数，以基于可 靠度确定分数是否超过阈值来执行图像合成目标部分的选择。例如，在可靠度确定分数低 于一定阈值的情况下，可靠度可以确定为高。 到目前为止已经关于这样的情况进行了描述，其中使用辉度差值计算可靠度确定 分数。然而，可进行这样的安排，其中，替代辉度差值，例如，可关于G(绿)、R(红)和B(蓝) 的每个计算差值，并且基于该差值计算可靠度确定分数。 此外，例如，可进行这样的安排，其中将高斯滤波器应用到对应于连续两个帧的图像，以平滑图像，减少平滑的图像，并且将减少的图像的像素用于以与上面相同的方式计算 可靠度确定分数。 此外，到目前为止已经描述了这样的示例，其中对应于连续两个帧的图像用于计 算可靠度确定分数，但是例如，相机传感器信息可用于计算可靠度确定分数。例如，在通过 包括三维加速度传感器和三维回转仪传感器的相机记录运动画面的情况下，从这些传感器 输出的传感器信息以与运动画面相关的方式记录为相机运动信息。随后，与传感器信息相
关的运动画面输入到运动画面输入单元iio，并且计算关于构成该运动画面的每个帧计算
的运动信息、和用传感器信息指定的运动信息之间的差值。随后，该差值可用作可靠度确定
分数。在此情况下，在可靠度确定分数不超过阈值的情况下，可靠度可确定为高。也就是说，
可采用这样的方法，其中，在使用从相机输出的传感器信息估计的图像运动、和从构成运动
画面的图像计算的图像运动之间的匹配度高的情况下，可靠度确定为高。 3.第三实施例 图像处理装置的操作示例 在本发明第一实施例的情况下，已经关于这样的示例进行了描述，其中包括在图 像中的脸或笑脸用于选择最前面的帧。在本发明第三实施例的情况下，将参照附图关于这 样的示例进行详细描述，其中与脸有关的除了笑脸以外的面部状态用于选择最前面的帧。
图43是图示根据本发明第三实施例的图像处理装置101的功能配置示例的框图。 图像处理装置101包括合成目标图像选择单元171、面部属性状态确定单元280、参考信息 存储单元281、以及元数据存储单元290。注意，其他功能配置与图1中所示的图像处理装 置100中的那些大致相同，因此，对其指示与图像处理装置100的参考标号相同的参考标 号，将以具有不同功能的组件为中心进行描述，并且将省略其他描述。 合成目标图像选择单元171使用元数据记录单元290中存储的元数据，以从由部 分选择单元160输出的图像合成目标部分中包括的帧选择用于创建合成图像的帧，并且将 与选择的帧有关的合成目标图像信息(帧选择信息)输出到记录控制单元150。注意，将参 照图45到48详细描述合成目标图像选择。 面部属性状态确定单元280使用参考信息存储单元281中存储的参考信息，以确 定通过面部检测单元130检测的面部的属性和状态，并且将确定结果输出到记录控制单元 150。具体地，面部属性状态确定单元280计算指示面部图像和参考信息存储单元281中存 储的各类数据之间的相关性的相关值，该面部图像从构成从运动画面输入单元110输出的 运动画面的图像提取并规范化，面部属性状态确定单元280基于计算的相关值，确定相关 性的高度，并且提取与规范化的面部图像相关的各种数据。这样的提取处理重复执行，并且 基于提取的各种数据，确定规范化的面部图像的面部表情等。因此，为了识别人脸，可采用 这样的技术，其与综合了大量人脸的数据库执行模板匹配(例如，参见日本未审专利申请 公开No. 2003-271933，日本未审专利申请公开No. 2004-30629等)。例如，预先从大量笑脸 采样图像建立笑脸数据库，从图像部分提取的该面部图像经历模板匹配处理，从而可以确 定面部是笑脸还是非笑脸。类似地，还可以关于其他属性或状态进行确定。注意，可使用本 发明第一实施例中所示的评估值进行确定。此外，面部属性状态确定单元280是
发明内容
中所指的确定单元的示例。 参考信息存储单元281存储如用于性别确定的面部的各部分的参考信息，并将存储的参考信息提供到面部属性状态确定单元280。注意，将参考图44A和44B详细描述参考 信息存储单元281中存储的参考信息。 元数据存储单元290基于记录控制单元150的控制，以与运动画面和帧相关的方 式，将从相机工作检测单元120、面部检测单元130和面部属性状态确定单元280输出的各 种信息存储为元数据文件。此外，元数据存储单元290将元数据文件提供到部分选择单元 160和合成目标图像选择单元171。注意，将参照图44A和44B详细描述元数据存储单元 290中存储的元数据文件。 图44A和44B是示意性图示根据本发明第三实施例、在参考信息存储单元281和 元数据存储单元290中存储的内容的图。图44A图示在参考信息存储单元281中存储的 参考信息。该参考信息例如是图像自身，如眼、嘴等，即，用作人脸的特征数据库、用作与特 定人脸相关的特征数据库等。例如，如图44A所示，在参考信息存储单元281中存储性别数 据库282、年龄数据库283、笑脸数据库284、闭眼数据库285、以及人物(character)数据库 286。性别数据库282是用于确定面部图像的性别的数据库，并且年龄数据库283是用于确 定面部图像的年龄的数据库。此外，笑脸数据库284是用于确定面部图像的面部笑脸的数 据库，并且闭眼数据库285是用于确定面部图像的闭眼的数据库。此外，人物数据库286是 用于将由用户确定的人确定为人物的数据库。通常，根据特征数据，与图像自身相比，可以 以相对小的存储容量保持大量的各种类型的数据库。 图44B示意性图示与存储在运动画面存储单元200中的运动画面文件201相关地 存储在元数据存储单元290中的元数据文件291。注意，运动画面文件201和元数据文件 291之间的对应关系与图3B所示的示例相同，因此，这里将省略其描述。运动画面ID 292、 帧号293、仿射变换参数294、可靠度确定分数295、面部检测信息296、性别297、年龄298、 笑脸299、闭眼287、以及人物288以相关方式存储在元数据文件291中。注意，运动画面ID 292、帧号293、仿射变换参数294、可靠度确定分数295和面部检测信息296与图3B中示出 的那些相同，因此，这里将省略其描述。 性别297是关于对应于帧号293的图像的每帧中包括的面部确定的性别，其中存 储从面部属性状态确定单元280输出的确定结果。例如，在对应的帧中不包括面部的情况 下，不存储东西。例如，在对应的帧中包括的面部被确定为男性的情况下，在性别297中存 储"1"。另一方面，在对应的帧中包括的面部被确定为女性的情况下，在性别297中存储 "0"。 年龄298是关于对应于帧号293的运动画面的每帧中包括的面部确定的年龄，其 中存储从面部属性状态确定单元280输出的确定结果。例如，在对应的帧中不包括面部的 情况下，不存储东西。例如，在对应的帧中包括的面部被确定为成年人的情况下，在年龄298 中存储"1"。另一方面，在对应的帧中包括的面部被确定为儿童的情况下，在年龄298中存 储"0"。 笑脸299是关于对应于帧号293的运动画面的每帧中包括的面部确定的是否存在 笑脸，其中存储从面部属性状态确定单元280输出的确定结果。例如，在对应的帧中不包括 面部的情况下，不存储东西。例如，在对应的帧中包括的面部被确定为笑脸的情况下，在笑 脸299中存储"1"。另一方面，在对应的帧中包括的面部被确定为非笑脸的情况下，在笑脸 299中存储"O"。
闭眼287是关于对应于帧号293的运动画面的每帧中包括的面部确定的是否存在 闭眼的脸，其中存储从面部属性状态确定单元280输出的确定结果。例如，在对应的帧中不 包括面部的情况下，不存储东西。例如，在对应的帧中包括的面部被确定为闭眼的脸的情况 下，在闭眼287中存储"1"。另一方面，在对应的帧中包括的面部被确定为非闭眼的脸的情 况下，在闭眼287中存储"O"。 人物288是关于对应于帧号293的运动画面的每帧中包括的面部确定的是否存在 人物，其中存储从面部属性状态确定单元280输出的确定结果。例如，在对应的帧中不包括 面部的情况下，不存储东西。例如，在对应的帧中包括的面部被确定为A先生的情况下，在 人物288中存储"A"。另一方面，在对应的帧中包括的面部被确定为B先生的情况下，在人 物288中存储"B"。
合成目标图像的选择示例 图45是图示根据本发明第三实施例、在显示单元250上显示的选择屏幕的示例的 图。选择部分610是其中用户执行选择操作以显示期望的合成图像的选择屏幕。选择屏幕 610例如包括用于选择性别611、年龄612、人物613、和面部表情614作为面部属性的选取 字段。此外，选择屏幕610包括用于选择合成顺序的合成顺序615、以及用于选择重叠率616 的下拉按钮617。此外，选择屏幕610包括"全景式合成图像显示"按钮619和"取消"按钮 620。 例如，设利用选择屏幕610，光标618用于对性别611的女性字段添加标记、对年 龄612的成年人字段添加标记、并且对面部表情614的笑脸字段添加标记。此外，在对人物 613的人物字段添加标记的情况下，显示在人物数据库286上登记的人物的姓名(例如，A 先生、B先生和C先生)，对来自这些人物的期望的姓名的字段添加标记。例如，对B先生添 加标记。此外，利用选择屏幕610，光标618用于对合成顺序615的递增字段添加标记。此 外，光标618用于按下下拉按钮617，从而如图45显示重叠率列表"高"、"中"和"低"。可 从该重叠率列表选择期望的重叠率。这里，例如，在已经选择"高"的情况下，选择60%到 70%的重叠率，并且在已经选择"中"的情况下，选择60%到40%的重叠率，并且在已经选 择"低"的情况下，选择40%到35%的重叠率。注意，在该示例的情况下，用户从重叠率列 表选择期望的重叠率，但是用户可以直接输入期望的重叠率。注意，不可以选择用户不具体 希望的项。 此外，在已经完成通过用户对于这些项的每个的选择操作的情况下，用户使用光 标618来按下"全景式合成图像显示"按钮619。因此，在按下"全景式合成图像显示"按钮 613时选择的每个项目的选择信息从操作接受单元260输出到合成目标图像选择单元171。 基于该选择信息，合成目标图像选择单元171执行帧选择处理。注意，在按下"取消"按钮 620时，释放每个项目的选择状态。 图46是图示通过根据本发明第三实施例的合成目标图像选择单元171计算选择 确定分数使用的分数的示例的图。选择确定分数是用于选择帧的值，并且基于与帧中包括 的面部相关的每条信息而计算。此外，在一个帧中包括多个面部的情况下，对每个面部计算 与这些面部相关的分数，并且将对每个面部的分数相加的值计算为选择确定分数。此外，例 如基于如图45所示的选择屏幕610处选择的项目、图46所示的分数、和关于面部的属性和 状态计算选择确定分数。使用存储在元数据存储单元290中的元数据作为关于面部的属性和状态。 具体地，计算指示确定的面部属性的属性值Z1、指示确定的面部状态的状态值 Jl，并且将属性值Zl和状态值Jl相加，从而计算选择确定分数。这里，属性值Zl是例如用 作为面部属性的性别621、年龄622、以及是否存在特定人623确定的值。此外，状态值Jl 是例如用作为面部状态的笑脸624、闭眼625、图像内的面部位置(距图像中心的距离626)、 图像内的面部大小627确定的值。 例如，关于性别621、年龄622、以及特定人623，确定图45所示的选择屏幕610处 选择的项目、以及用作选择确定分数计算目标的图像中包括的面部属性是否匹配。与匹配 的项目相关的图46所示的分数加到属性值Z1。此外，关于笑脸624，在图45所示的选择屏 幕610处选择的图像、以及用作选择确定分数计算目标的图像中包括的面部状态(笑脸) 匹配的情况下，图46所示的分数加到状态值Jl。此外，关于闭眼625、距图像中心的距离 626、以及面部大小627，对应于元数据存储单元290中存储的元数据的每个分数加到状态 值Jl。随后，计算的属性值Zl和状态值Jl相加，从而计算选择确定分数。
此外，在一个帧中包括多个面部的情况下，对每个面部计算属性值Z1和状态值 J1，并且通过将属性值Z1和状态值Jl相加获得的值计算为其图像的选择确定分数。注意， 在该示例的情况下，在计算每个分数时将每个值相加，但是，例如可通过将每个值相乘来计 算每个分数。此外，可进行这样的安排，其中使用对应于面部属性和状态的加权系数来替代 图46所示的每个分数，从而计算每个分数。 使用由此计算的选择确定分数选择最前面的图像(最前面的帧)。也就是说，关于 通过部分选择单元160选择的图像合成目标部分中包括的每个图像计算选择确定分数，并 且在计算的选择确定分数中，具有最高计算值的图像被选择为最前面的图像。随后，选择除 了最前面的帧以外的其他帧。将参照图47A到48B详细描述该选择方法。
图47A和47B是图示在通过根据本发明第三实施例的合成目标图像选择单元171 执行帧选择的情况下的选择方法的概述的图。图47A图示在计算要与已经选择的帧的下端 重叠的帧的选择确定分数的情况下的示例。例如，设帧460是选择为最前面的帧的帧。在 以帧640作为参考帧选择另一帧的情况下，排除关于要与帧640重写的区域中包括的面部 的分数。例如，设在帧641中包括面部643到646的情况下，在关于最前面的帧640的重叠 区域642中包括图像643和644的至少一部分。在此情况下，例如，在关于帧641确定需要 选择的情况下，确定重叠区域642是否具有预定范围内的重叠率。设该重叠率的设置范围 是在图45所示的选择屏幕610处选择的内容。随后，在重叠区域642没有预定范围内的重 叠率的情况下，不选择帧641。在重叠区域642具有预定范围内的重叠率的情况下，关于帧 641计算选择确定分数。在此情况下，使用与不包括在帧641中包括的面部643到646的重 叠区域642中的面部645和646相关的值计算帧641的选择确定分数。
图47B图示在计算要与已经选择的帧的下端重叠的帧的选择确定分数的情况下 的示例。例如，帧660是用作关于帧650的重写合成目标的帧。因此，在以帧650作为参考 帧选择用作关于帧650的重写合成目标的另一帧的情况下，将与除了要关于帧650重写的 区域以外的区域中包括的面部有关的分数相加。例如，设面部651到653包括在帧650中， 并且面部653的至少一部分包括在关于帧660的重叠区域655中。此外，设面部661到664 包括在帧660中。在此情况下，例如，在关于帧660确定需要选择的情况下，确定重叠区域665是否具有预定范围内的重叠率。在确定重叠区域665没有预定范围内的重叠率的情况 下，不选择帧660。另一方面，在确定重叠区域665有预定范围内的重叠率的情况下，关于帧 660计算选择确定分数。在此情况下，使用与帧660的重叠区域655中不包括的面部651、 652和661、帧650和660中包括的面部651到653、以及663和664相关的值计算帧660选 择确定分数。也就是说，在合成两个图像的情况下，与用作显示目标的区域中包括的面部相 关的值计算为选择确定分数。 图48A和48B是图示在通过根据本发明第三实施例的合成目标图像选择单元171 执行帧选择的情况下的选择方法的概述的图。在图48A和48B所示的示例下，将关于这样 的情况进行描述，其中通过用户的操作预先指定重叠序列。在该示例的情况下，在成像的时 间点从旧图像朝向新图像重写合成的情况下(在按递增顺序重写合成的情况下)的选择方 法示出为示例。然而，设选择为最前面的帧的图像重写合成在顶端。 图48A图示这样的示例，其中以最前面的帧671作为参考帧，朝向搜索方向671选 择图像。在此情况下，在从最前面的图像676按时间序列向回追踪的方向执行搜索，因此， 已经选择的图像重叠在用作选择目标的图像上。因此，在考虑重叠区域的同时计算分数，并 且在指定的重叠率的范围内包括的图像中，选择具有最高分数的图像。例如，设已经以图像 676作为对应于参考帧670的参考图像选择图像675和674。在以图像674作为参考图像 确定需要选择下一图像673的情况下，在执行图像673和674之间的重叠区域677的重叠 率的确定之后，计算关于图像673中包括的面部计算的选择确定分数。这里，关于图像673 中包括的四个面部的面部678，其部分包括在重叠区域677中。因此，在计算关于图像673 中包括的面部的选择确定分数的情况下，使用除了图像673中包括的面部678以外的三个 面部计算选择确定分数。 图48B图示这样的示例，其中以最前面的帧680作为参考帧，朝搜索方向682选择 图像。在此情况下，从最前面的图像683起按时间序列方向执行搜索，因此，用作选择目标 的图像重叠在已经选择的图像上。然而，仅最前面的图像683重叠在所有图像上。因此，关 于图像684，以与图48A所示的情况相同的方式，在考虑关于图像683的重叠区域的同时计 算分数，并且在指定的重叠率的范围内包括的图像中，选择具有最高分数的图像。另一方 面，关于图像685之后的图像，选择这样的图像，其中在指定的重叠率的范围内，用作选择 目标的图像和与上面的图像重叠的图像之间的总分数尽可能地不减少，并且当前图像上的 分数高。也就是说，选择这样的图像，其中关于已经选择的合成图像的总分数、以及关于当 前图像的分数最高。 例如，设以与参考帧680对应的图像683作为参考图像，选择像684和685。 在以图像685作为参考图像确定需要选择下一图像686的情况下，执行图像685和686之 间的重叠区域687的重叠率的计算。随后，计算关于图像683到685以及图像686之间的 合成图像中包括的每个面部计算的选择确定分数。这里，不管图像686中包括的三个面部 是否包括在重叠区域687中，这三个面部都变为计算目标。 此外，例如，在成像的时间点处从新图像朝向旧图像执行重写合成的情况下(在 以递减顺序重写合成的情况下)，以与递增顺序的情况相反的方向执行选择处理。注意，在 不指定合成顺序的情况下，以从最前面的图像按时间顺序向回追踪的方向、和从最前面的 图像朝时间序列的方向执行搜索。因此，在不执行合成顺序的情况下，即使在任何方向上执行搜索的情况下，也以与图48A相同的方式执行选择处理。这样的合成顺序用作成像合成 时的合成顺序，因此，这样的合成顺序与合成目标图像元数据存储单元270的图像合成目 标部分相关地存储。 注意，在本发明第三实施例的情况下，已经关于这样的示例进行描述，其中与图 像中包括的面部相关的唯一的属性取做面部属性，与面部状态相关的属性取做状态，并且 使用关于这样的面部的每条信息计算选择确定分数。然而，可关于另一对象的每条信息计 算选择确定分数。例如，可使用关于各种对象(如例如猫、狗的宠物、动物、房屋、交通工 具等)的每条信息计算选择确定分数。例如，在单独关于宠物的情况下，与单独识别人的 情况相比，可根据如色彩、模式、耳朵的形状等的差别容易地识别宠物。此外，可使用特性 (saliency)图计算选择确定分数。该特性图通过每个像素的分数表示人类将观察的区域。 例如，在使用该特性图计算图像的选择确定分数的情况下，通过对除了重叠区域以外的区 域的每个像素的分数积分获得的值可计算为图像的选择确定分数。此外，例如，通过将使用 特性图计算的分数和关于对象的分数相加获得的值可计算为选择确定分数。
图像处理装置的操作示例。 接下来，将参照附图描述根据本发明第三实施例的图像处理装置101的操作。
图49是图示通过根据本发明第三实施例的图像处理装置101的帧选择处理的过 程的流程图。该过程是图34中示出的步骤S950的过程的修改。此外，该示例图示这样的 示例，其中仅仅元数据存储单元210中存储的仿射变换参数用于计算重叠率。此外，该示例 图示没有指定合成顺序的情况。 首先，从元数据存储单元210中存储的元数据文件获得对应于通过部分选择单元 160选择的一个图像合成目标部分中包括的每帧的元数据(步骤SIOOI)。随后，获得通过 操作接受单元260接受的每项的选择信息(步骤S1002)。 随后，基于获得的元数据，关于用作选择目标的图像合成目标部分中包括的每帧 计算选择确定分数，并且在计算的选择确定分数中，将具有最高值的帧选择为最前面的帧 (步骤S1003)。此外，选择的最前面的帧选择为代表帧。随后，将关于选择的最前面的帧的 每条元数据记录在合成目标图像元数据存储单元270中(步骤S1004)。
随后，从选择的代表帧起以递减顺序执行搜索，提取指定的重叠率的范围内的帧， 并且关于这些帧计算选择确定分数(步骤S1005)。在关于指定的重叠率的范围内的帧计 算的选择确定分数中，具有最高分数的帧选择为新的代表帧(步骤S1006)。关于新选择的 代表帧的每条元数据记录在合成目标图像元数据存储单元270中(步骤S1007)。确定选 择确定分数的计算是否已经执行到达用作选择目标的图像合成目标部分的顶部帧(步骤 S1008)。在选择确定分数的计算没有执行到达用作选择目标的图像合成目标部分的顶部帧 的情况下(步骤S1008)，流程返回到步骤S1005，其中重复代表帧选择处理(步骤S1005到 S1007)。 另一方面，在选择确定分数的计算已经执行到达用作选择目标的图像合成目标部 分的顶部帧的情况下(步骤S1008)，已经选择的最前面的帧选择为代表帧(步骤S1009)。 随后，从选择的代表帧起以递增顺序执行搜索，提取指定的重叠率的范围内的帧，并且关于 这些帧计算选择确定分数(步骤SIOIO)。在关于指定的重叠率的范围内的帧计算的选择确 定分数中，具有最高分数的帧选择为新的代表帧(步骤SlOll)。关于新选择的代表帧的每条元数据记录在合成目标图像元数据存储单元270中(步骤S1012)。确定选择确定分数的 计算是否已经执行到达用作选择目标的图像合成目标部分的最后帧(步骤S1013)。在选择 确定分数的计算没有执行到达用作选择目标的图像合成目标部分的最后帧的情况下(步 骤S1013)，流程返回到步骤S1010，其中重复代表帧选择处理(步骤S1010到S1012)。
另一方面，在选择确定分数的计算已经执行到达用作选择目标的图像合成目标部 分的最后帧的情况下(步骤S1013)，确定是否已经关于通过部分选择单元160选择的所有 图像合成目标部分完成帧选择处理(步骤S1014)，在还没有关于所有图像合成目标部分完 成帧选择处理的情况下(步骤S1014)，流程返回到步骤S1001，其中重复帧选择处理(步骤 S1001到S1013)。另一方面，在已经关于所有图像合成目标部分完成帧选择处理的情况下 (步骤S1014)，帧选择处理的操作结束。 因此，与图像中包括的面部有关的属性和状态等用于选择最前面的图像和合成目 标图像，从而可以提供关于运动画面中包括的人的感兴趣的图像。此外，可根据用户的偏好 设置和显示如关于面部的属性和状态等的每个项目，从而可以提供根据用户的偏好的合成 图像。 4.第四实施例 图像处理装置的配置示例 在本发明第一实施例的情况下，已经描述了这样的示例，其中合成在外围为其添 加一定厚度的白框的图像以创建全景式合成图像。在本发明第四实施例的情况下，将参照 附图关于这样的示例进行详细描述，其中将除了一定厚度的白框以外的装饰图像添加到图 像的外围。 图50是图示根据本发明第四实施例的图像处理装置102的功能配置示例的框图。 图像处理装置102包括图像合成单元221、合成目标图像元数据存储单元277、以及装饰图 像确定单元700。注意，其他功能配置大致与图1中所示的图像处理装置100中的功能配置 相同，因此，将对其指示与图像处理装置100的参考标号相同的参考标号，并且将以具有不 同功能的组件为中心进行描述，而将省略其他描述。注意，面部检测单元130是发明内容中 所指的对象检测单元的示例。 记录控制单元150将与从装饰图像确定单元700输出的装饰图像有关的信息记录 在合成目标图像元数据存储单元277中，作为合成目标图像元数据。 合成目标图像选择单元170从图像合成目标部分中包括的帧选择合成图像，并且 将与选择的合成目标图像有关的合成目标图像信息输出到记录控制单元150和装饰图像 确定单元700。注意，合成目标图像选择单元170是发明内容中所指的变换信息计算单元的 示例。 装饰图像确定单元700确定要添加到每个帧的装饰图像，所述每个帧对应于从合 成目标图像选择单元170输出的合成目标图像信息，并且装饰图像确定单元700将与确定 的装饰图像有关的装饰图像信息输出到记录控制单元150。例如，装饰图像确定单元700基 于元数据存储单元210中记录的元数据确定装饰图像。此外，装饰图像确定单元700基于 元数据存储单元210中存储的元数据和对应于合成目标图像信息的每帧确定装置图像。注 意，将参照图52A到62详细描述装饰图像确定方法。 合成目标图像元数据存储单元277基于信号150的控制，将从合成目标图像选择单元170输出的合成目标图像信息存储为合成目标图像元数据文件。此外，合成目标图像 元数据存储单元277将从装饰图像确定单元700输出的装饰图像信息存储为合成目标图像 元数据文件。此外，合成目标图像元数据存储单元277响应于来自文件获得单元180的请 求，将合成目标图像元数据文件提供到文件获得单元180。注意，将参照图51详细描述合成 目标图像元数据存储单元277中存储的元数据文件。 在已经通过操作接受单元260接受用于显示合成图像的指令操作的情况下，文件 获得单元180将从合成目标图像元数据存储单元277获得的合成目标图像元数据输出到图 像合成单元221。 图像合成单元221使用图像存储器230，以将根据合成目标图像元数据的内容的 装饰图像添加到通过图像变换单元190经历仿射变换的图像，合成已经添加装饰图像的图 像，以创建合成图像。 图51是示意性图示根据本发明第四实施例的合成目标图像元数据存储单元277 的存储内容的图。运动画面ID 271、部分号272、帧号273、仿射变换参数274、最前面的帧 275、面部数据276、以及装饰图像数据278以相关的方式存储在合成目标图像元数据存储 单元277中。运动画面ID 271、部分号272、帧号273、仿射变换参数274、最前面的帧275 和面部数据276与图4中示出的示例中的那些相同，这里将省略其描述。
装饰图像数据278是与通过装饰图像确定单元700确定的、要添加到合成目标图 像的装饰图像相关的信息。作为该信息，例如存储要添加到合成目标图像的装饰图像的位 置、大小、模式、色彩、类型等。基于装饰图像数据278的内容，将装饰图像添加到对应帧的 外围。注意，图51中示出的示例以省略方式图示与装饰图像相关的信息。
白框的确定示例 首先，将关于这样的示例进行描述，其中用作对其添加装饰图像的目标的图像经 历仿射变换，重叠在之前的合成图像上，并且使用关于仿射变换后的图像的重叠区域的信 息执行图像分析，从而确定装饰图像。在该示例的情况下，白框将描述为装饰图像。
图52A到52C是图示安排来通过根据本发明第四实施例的装饰图像确定单元700 确定白框的厚度的确定方法的概述的图。图52A图示在通过合成目标图像选择单元170选 择的帧中的按时间序列的连续的三个帧711到713。合成图像714指示这样的图像，其中按 时间序列的连续三个帧711到713经历仿射变换，然后合成。此外，帧713是按时间序列临 近帧712的帧，并且指示仿射变换后的状态。装饰图像确定单元700基于与通过合成目标 图像选择单元170选择的帧相关的信息，从运动画面存储单元200中存储的运动画面文件 获得这些帧中的每个。此外，装饰图像确定单元700包括用于保持合成图像的工作缓冲器。
如图52A所示，作为仿射变换后的下一帧的帧714重叠在其中合成了直到选择的 帧的紧接在前面的帧的合成图像714之上。此时，关于合成图像714和对应于帧713的图像 之间的重叠区域715，以与本发明第一实施例中所示的方法相同的方式，从合成图像714提 取特征点，并且关于该特征点计算光流。随后，计算相机工作参数和可靠度。因此，在不是 关于整个图像、而是仅关于重叠区域的局部区域计算相机工作参数和可靠度的情况下，在 一些情况下，计算结果与关于整个图像计算的相机工作参数和可靠度不同。此外，通过合成 目标图像选择单元170选择的帧不是构成运动画面的连续帧，因此，存在由于多个仿射变 换参数的乘法而可能导致帧间偏移的可能性。注意，在重叠区域715中，区域716是帧711和713之间的重叠区域，并且在重叠区域715中，区域716以外的区域是帧712和713之间 的重叠区域。图52A使用黑色圆圈和白色圆圈示意性图示从重叠区域715提取的特征点。 此外，关于这些特征点计算的光流用以特征点作为原点的箭头表示。这里，设重叠区域715 的用黑色圆圈指示的特征点是展现支配运动的特征点，并且白色圆圈是其他特征点。
图52B图示其中关于图52A所示的重叠区域715计算的仿射变换参数用于使重叠 区域715经历仿射变换的情况。图52B使用四个箭头来图示仿射变换参数的运动的转换， 并且图示重叠区域715经历仿射变换之后的区域，作为仿射变换之后的重叠区域717。此 外，图52C仅图示重叠区域715、以及仿射变换后的重叠区域717。 因此，在关于构成运动画面的连续帧计算的仿射变换参数用于合成选择帧的情况 下，存在可能导致偏移的可能性。因此，在该示例的情况下，基于偏移的大小确定白框的厚度。 注意，将使用下面的表达式计算两个过扩展(over-extension)率DR1和DR2，作为
偏移量。 过扩展率DR1 = (l-(C/A))
过扩展率DR2 = (1- (C/B)) 这里，C表示其中合成了目标图像的重叠区域以及该重叠区域的仿射变换后的区
域的区域的面积。此外，A表示目标图像的重叠区域的面积，而B表示仿射变换后的目标图
像的重叠区域的面积。例如，在图52C所示的示例的情况下，设其中合成了重叠区域715和
仿射变换后的重叠区域717的区域取为面积C，重叠区域715的面积取为面积A，并且仿射
变换后的重叠区域717的面积取为面积B。随后，计算两个过扩展率DR1和DR2。 利用由此计算的两个过扩展率DR1和DR2，选择较大值。随后，设该选择的过扩展
率取为DR，使用下面的表达式计算用作装饰图像的白框的厚度。 要添加到水平方向上的两端的各边的白框的厚度SHI = WXDR 要添加到垂直方向上的两端的各边的白框的厚度SH2 = HXDR 可为过扩展率提供上限和下限，以便防止白框相对于用作提供目标的图像变得太
厚。作为过扩展率的上限和下限的范围，例如可设置O. 1到0.03。 由此计算的要添加到水平方向和垂直方向的两端的各边的厚度SH1和SH2输出到 记录控制单元150，并且记录在合成目标图像元数据存储单元277的装饰图像数据278中。
例如，在过扩展率小的情况下，用作添加白框的对象的目标图像、以及重叠在该图 像之下的合成图像之间的偏移小。因此，即使在要添加到其目标图像的白框的厚度薄的情 况下，也可以预期形成目标图像和合成图像之间的自然的图像。另一方面，在过扩展率大的 情况下，目标图像、以及重叠在该图像之下的合成图像之间的偏移大。因此，要添加到其目 标图像的白框的厚度增加，从而可以使其偏移模糊。此外，根据要添加到图像的白框，可以 消除由于偏移导致的不自然。注意，添加白框的位置可以是目标图像的外侧、内侧、和边缘 上之一。在图56A到58D中示出了添加这样的白框的示例。 图53A至IJ53C是图示通过根据本发明第四实施例的装饰图像确定单元700确定的 装饰图像的示例的图。图53A图示白框图像721添加到帧720的外围的外侧的示例，图53B 图示添加白框图像722以便包括帧720的外围的示例，并且图53C图示白框图像723添加 到帧72Q的外围的内侧的示例。注意，在添加白框图像以便包括图像的外围的情况下，可添加白框图像，以便斜跨(obliquely straddle)图像的外围。注意，图53A至lj 53C关于图像 放大了白框，以方便观察。此外，图53A到53C使用粗线图示了图像的外围，以便方便帧720 的大小的观察。 此外，可对用作计算目标的每个图像确定由此计算的白框的厚度。然而，为了提供 优良的合成图像，在关于同一图像合成目标部分计算的过扩展率中，具有最高值的过扩展 率可用于统一其部分中包括的每帧的白框率。此外，例如，可采用过扩展率的平均值。此外， 如图54A到54C所示，添加白框的位置可根据图像之间的相对位置关系改变。
图54A到54C是图示通过根据本发明第四实施例的装饰图像确定单元700对于装 饰图像的确定方法的示例的图。图54A图示以帧730作为参考帧使帧740经历仿射变换的 情况。在该示例的情况下，将关于这样的示例进行描述，其中确定要添加到帧740的上侧的 外围的图像的位置。例如，以运动矢量731和732图示下述情况下的运动矢量，其中以帧 730作为参考帧，帧740经历仿射变换，并且帧730的上侧的两角处的点移动。此外，用法线 矢量733和734图示帧730的上侧的法线矢量。 图54B图示运动矢量731和732以及法线矢量733和734之间的关系。例如，在关 于帧740的上侧计算添加白框的位置的情况下，计算由通过将运动矢量731和732相加获 得的矢量735和矢量733形成的角度736。此外，计算由矢量735和734形成的角度737。 随后，比较角度736的值和角度737的值。作为该比较的结果，在角度736的值较小的情况 下，将白框布置到帧740的外围的内侧。另一方面，在角度737的值较小的情况下，将白框 布置到帧740的外围的外侧。例如，如图54B所示，作为角度736的值和角度737的值之间 的比较结果，角度737的值较小，因此，要添加到帧740的上侧的外围的白框确定为布置在 其外侧。此外，关于其他三侧也可以相同方式确定白框的位置。 图54C图示用作要添加到帧740的白框的示例的白框图像741。因此，可根据关于 参考帧的相对位置确定白框图像的位置。注意，在两个运动矢量的和变为0的情况下，白框 图像可确定为布置在外侧或内侧。此外，即使在两个运动矢量的和不为0的情况下，白框图 像也可确定为不仅布置在外围的外侧或内侧，而且布置为以便跨越其外围。例如，可根据由 加法矢量和法线矢量形成的角度改变白框的中心位置。此外，如图55A和55B所示，要关于 同一侧布置的白框图像可在该侧的两端不同地布置。 图55A和55B是图示通过根据本发明第四实施例的装饰图像确定单元700的装饰 图像的确定方法的示例的图。图55A图示以帧750作为参考帧使帧760经历仿射变换的情 况。例如，设在由运动矢量751和法线矢量753形成的角度小、并且由运动矢量752和法 线矢量754形成的角度小的情况下，运动矢量751的终点周围是内侧。此外，运动矢量752 的终点周围可被确定为布置在另一侧。其他侧可以相同方式确定。在由此进行确定的情况 下，例如，可如图55B所示布置白框图像。然而，在以这样的方式布置白框图像的情况下，存 在可能改变图像的外形的可能性。例如，如图55B所示，在帧760是矩形的情况下，在一些 情况下，已经添加了白框图像的图像变为平行四边形。此外，例如，在目标帧是矩形的情况 下，假设其中已经添加白框图像的图像变为梯形的情况，或者在目标帧是平行四边形的情 况下，假设其中已经添加白框图像的图像变为梯形的情况。
白框的合成示例 图56A到56D是图示合成通过根据第四实施例的装饰图像确定单元700确定的装饰图像的合成示例的图。图像合成单元220基于合成目标图像元数据存储单元277的装饰 图像数据278的内容执行该装饰图像合成。也就是说，基于合成目标图像元数据存储单元 277的仿射变换参数274的内容，图像通过图像变换单元190经历仿射变换。随后，基于合 成目标图像元数据存储单元277的装饰图像数据278的内容，图像合成单元220通过添加 装饰图像到仿射变换后的图像，执行图像合成。在图56A至lj56D所示的示例的情况下，将描 述平移方向上的偏移的影响。注意，图56A到56D图示白框添加为装饰图像的示例。
图56A图示合成目标图像738和739。图56B图示以合成目标图像738为参考图 像使合成目标图像739经历仿射变换的示例。在图56B所示的示例的情况下，图示了合成目 标图像739向右下侧偏移的情况。例如，在以圆圈742包围的图像区域的情况下，过度地看 到了合成目标图像738中包括的屋顶部分。此外，例如在以圆圈743包围的图像区域的情 况下，合成目标图像738中包括的草的部分被合成目标图像739隐藏。此外，例如，在以圆 圈744包围的图像区域的情况下，过度地看到了合成目标图像738中包括的伞的部分。因 此，如图56C所示，例如，关于合成目标图像739合成通过装饰图像确定单元700确定的装 饰图像745，从而可隐藏用圆圈742到744包围的区域部分中包括的不自然的图像。另一方 面，如图56D所示，在以由装饰图像确定单元700确定的区域的相反方向上、关于合成目标 图像739合成装饰图像746的情况下，例如，不能隐藏用圆圈742到744包围的区域部分中 的不自然的图像。 图57A到57D是图示合成通过根据第四实施例的装饰图像确定单元700确定的装 饰图像的合成示例的图。注意，在图57A到57D所示的示例的情况下，将描述放大/縮小方 向的偏移的影响。 图57A图示合成目标图像747和748。图57B图示以合成目标图像747作为参考 图像使合成图像748经历仿射变换的情况的示例。在图57B所示的示例的情况下，示出了 合成目标图像747在縮小方向上偏移的情况。例如，在用圆圈749包围的图像区域的情况 下，过度地看见了合成目标图像747中包括的屋顶的部分。此外，例如，在用圆圈755包围 的图像区域的情况下，过度地看见了合成目标图像747中包括的电灯的部分。此外，例如， 在用圆圈756包围的图像区域的情况下，过度地看见了合成目标图像747中包括的伞的部 分。因此，如图57C所示，例如关于合成目标图像748合成通过装饰图像确定单元700确定 的装饰图像757，从而可隐藏用圆圈749、755和756包围的区域部分中包括的不自然的图 像。另一方面，如图57D所示，在以由装饰图像确定单元700确定的区域的相反方向上、关 于合成目标图像748合成装饰图像758的情况下，例如，不能隐藏用圆圈749、755和756包 围的区域部分中的不自然的图像。 图58A到58D是图示合成通过根据第四实施例的装饰图像确定单元700确定的装 饰图像的合成示例的图。注意，在图58A到58D所示的示例的情况下，将描述旋转方向的偏 移的影响。 图58A图示合成目标图像759和762。图58B图示以合成目标图像759作为参考 图像使合成图像762经历仿射变换的情况的示例。在图58B所示的示例的情况下，示出了 合成目标图像762在顺时针方向上偏移的情况。例如，在用圆圈763包围的图像区域的情 况下，不自然地看见了合成目标图像759中包括的石阶圆圈763包围的区域部分中包括的不自然的图像。另一方面，如图58D所示，在以由装饰图 像确定单元700确定的区域的相反方向上、关于合成目标图像762合成装饰图像765的情 况下，例如，不能隐藏用圆圈763包围的区域部分中的不自然的图像。这里，在旋转方向上 简单地偏移合成目标的情况下，如图54A到54C所述，两个运动矢量的和变为0。因此，白框 图像不仅可确定为布置在外围的外侧或内侧，而且可布置在其外围之上。
因此，关于合成目标图像合成通过装饰图像确定单元700确定的装饰图像，从而 可将全景式自然的合成图像提供给用户。
考虑面部的同时的白框的确定示例 现在，例如，在合成已经添加装饰图像的合成目标图像的情况下，存在可能隐藏重 叠在下侧上的合成图像中包括的面部的可能性。在这样的情况下，装饰图像的位置可在不 隐藏面部的方向上改变。替代地，可调节装饰图像的厚度。 图59是图示考虑到面部、通过根据第四实施例的装饰图像确定单元700的装饰图 像确定方法的示例的图。现在，示出了这样的示例，其中确定合成目标图像766到768的装 饰图像。此外，设合成目标图像767和768包括面部，并且包括面部的这些区域用面部区域 769和770表示。 例如，设以合成目标图像766作为参考图像，合成目标图像767和768经历仿射变 换并合成。在此情况下，合成目标图像768关于合成目标图像767重写并合成，因此，例如， 在要添加到合成目标图像768的装饰图像大的情况下(或在添加到外侧的情况下)，存在可 能隐藏面部区域769中包括的面部的可能性。 现在，例如，可使用合成目标图像元数据存储单元277的面部数据276中存储的面 部数据确定合成目标图像中包括的面部区域。因此，例如，装饰图像确定单元700计算考虑 面部之前确定的装饰图像的区域和面部区域是否重叠，并且在装饰图像的区域和面部区域 重叠的情况下，装饰图像的位置改变为确定位置的相对侧。例如，在合成目标图像767中包 括的面部区域769、以及被确定为要添加到合成目标图像768的左端的外侧的装饰图像771 重叠的情况下，装饰图像771改变为添加到内侧，S卩，改变为装饰图像772。此外，例如在合 成目标图像768中包括的面部区域770、以及被确定为要添加到合成目标图像768的上端的 内侧的装饰图像773重叠的情况下，装饰图像773改变为添加到外侧，即，改变为装饰图像 774。 现在，例如，即使要添加的位置改变为合成目标图像的内侧或外侧，装饰图像和面
部图像重叠，也可通过计算装饰图像和面部区域之间的距离改变装饰图像的厚度。因此，即
使装饰图像的厚度改变，在装饰图像和面部图像重叠的情况下，例如，装饰图像的位置也改
变到重叠区域小的位置。然而，例如，在对要重叠在上侧的合成目标图像给予优先级、并且
装饰图像和面部区域重叠的情况下，装饰可确定为添加到合成目标图像的外侧。替代地，可
进行这样的安排，其中对每侧预先计算面部区域和装饰图像之间的距离，不重叠在面部之
上的装饰图像的最大厚度预先存储在合成目标图像元数据存储单元277中，并使用这些值
添加装饰图像。 阴影的确定示例 到目前为止已经关于这样的示例进行了描述，其中将白框添加到合成目标图像作 为装饰图像，但是例如，可将阴影添加到合成目标图像作为装饰图像。
图60A到60C是图示通过根据本发明第四实施例的装饰图像确定单元700确定为 要添加到合成目标图像的装饰图像的阴影的示例的图。此后，通过在内部添加对角线笔划 来指示要添加到合成目标图像的阴影。图60A图示要添加到合成目标图像的阴影的基本形 状。例如，关于如阴影351的阴影的方向，将首先考虑这样的情况，其中当从合成目标图像 正上方施加光时，阴影在所有方向上扩散。此外，类似于阴影352或353，还可产生这样的效 果，其中光从合成目标图像的斜上方或斜下方施加。 图60B图示这样的情况，其中产生效果，使得光从合成目标图像的斜上方施加，以 创建合成图像。也就是说，顺序合成已经添加阴影352的合成图像，从而可以创建图60B所 示的合成图像。此外，图60C图示产生如下效果的情况，其中光从合成目标图像的斜下方施 加以创建合成目标。也就是说，顺序合成已经添加阴影353的合成图像，从而可以创建图 60C所示的合成图像。 现在，例如，在产生光从合成图像的斜上方或斜下方施加的效果的情况下，期望将 下述方向确定为阴影的方向，其中阴影尽可能多地落在根据合成图像的最终重叠方向的较 下方的图像上。此外，例如，阴影的厚度可设置为一定值。此外，例如，以与上述白框的情况 相同的方式，可根据过扩展率确定阴影的厚度。 图61A和61B是图示安排来通过根据第四实施例的装饰图像确定单元700确定阴 影的方向的确定方法的概述的图。图61A图示在工作缓冲器358处保持的合成目标图像354 到357。例如，设计算重写在另一合成目标图像的合成目标图像的各侧的长度，计算其各侧 的外向法线矢量，并且将法线矢量的大小取为各侧的重写部分的长度。例如，在图61A所示 的合成目标图像355到357的情况下，重写在另一合成目标图像上的侧用粗线指示。此外， 该侧的外向法线矢量在粗线上指示。积分由此计算的合成目标图像的所有法线矢量，并且 通过积分获得的法线矢量的方向确定为添加阴影的方向。图61B图示通过添加了由此确定 的阴影的合成目标图像354到357形成的合成图像。如此确定阴影的方向，从而将阴影投 射在合成目标图像上，因此，可以增强阴影的效果。 注意，除了通过上述法线矢量的积分确定阴影的方向之外，可从参照法线矢量的 方向预先确定的若干方向选择和确定阴影的方向。替代地，可进行这样的安排，其中通过将 与每个合成目标图像相关的仿射变换参数相乘获得的仿射矩阵用于获得相机工作的积分 平移分量，并且该积分平移分量的方向取为阴影的方向。
考虑面部的同时的阴影的确定示例 现在，例如，在合成已经添加阴影的合成目标图像的情况下，存在可能隐藏重叠在 下侧上的合成图像中包括的面部的可能性。在这样的情况下以与上述白框的情况相同的方 式，阴影的方向可改变为不隐藏面部的方向。替代地，在面部区域被阴影覆盖的情况下，可 使阴影的颜色变淡。以下将示出这样的示例，其中面部被阴影覆盖，该侧的法线矢量的方向 反向，从而改变阴影的方向。 图62是图示考虑到面部、通过根据第四实施例的装饰图像确定单元700的阴影确 定方法的示例的图。图62所示的示例与图51A所示的情况相同，除了在保持在工作缓冲器 358的合成目标图像354到357中，面部区域359包括在合成目标图像356中。例如，以与 图61A所示的情况相同的方式获得法线矢量，但是在面部区域被阴影覆盖的情况下，该侧 的法线矢量的方向反向。例如，在图62所示的合成目标图像357的情况下，在重写在另一合成目标图像356之上的各侧中，左边缘一侧重写在面部区域359之上。因此，该侧的法线 矢量的方向反向。也就是说，该法线矢量的方向反向，如法线矢量360。注意，用于确定阴影 的方向的方法与图61A所示的情况相同，除了法线矢量的方向反向，因此，这里将省略其描 述。 这里，在图62所示的示例的情况下，在法线矢量的方向反向后计算的法线矢量的 积分矢量的方向几乎与没有反向其方向的情况下的相同，因此，面部被阴影隐藏。然而，在 面部被多个合成目标图像的左侧的阴影覆盖的情况下，阴影的方向是右上方向，从而可以 防止面部被阴影隐藏。此外，例如，整个阴影的浓度可根据反向的法线矢量的方向和长度而 变淡。替代地，阴影的厚度可根据反向的法线矢量的方向和长度而变薄。此外，在面部被阴 影覆盖的情况下，可使用这样的阴影改变方法，其中整个阴影的浓度按一定比率变淡，或其 厚度按一定比率变薄。 因此，在可能隐藏重叠在下侧上的合成图像中包括的面部的情况下，阴影的位置 可改变为不隐藏面部的方向。然而，与白框相比，即使在面部被阴影覆盖的情况下，也可预 期没有那么麻烦的状态。因此，在面部区域被阴影覆盖的情况下，这样的改变或调整完全可 以不执行，可执行其中的任一个，或可执行其组合。 到目前为止已经描述了这样的示例，其中白框或阴影被确定为装饰图像，但是本 发明的第四实施例还可应用到这样的情况，其中白框添加到合成目标图像的外围，并且阴 影也添加到该白框的外围。 此夕卜，到目前为止已经示出了这样的示例，其中在帧选择时确定要添加到合成目
标图像的装饰图像，但是例如，可在合成图像的显示时确定要添加到合成目标图像的装饰
图像。替代地，可根据用户的操作确定装饰图像。例如，可通过用户的操作指定合成目标图
像中的是否存在白框、白框的位置、白框的厚度、是否存在阴影、阴影的方向等。 此外，到目前为止已经示出了这样的示例，其中白框或阴影的厚度和方向确定为
装饰图像，但是例如，可基于过扩展率或法线矢量确定装饰图像的颜色或模式。此外，到目
前为止已经示出了这样的示例，其中基于合成目标图像之间的相对位置关系等确定装饰图
像，但是例如，可基于合成目标图像中包括的被摄体的属性、颜色等确定装饰图像。例如，在
框添加为装饰图像的情况下，计算合成目标图像的外围部分的颜色柱状图，并且最频繁的
颜色的补色可被确定为框的颜色。因此，已经添加了白色以外的颜色的框添加到合成目标
图像，从而可防止合成目标图像的边缘变得模糊。例如，如图32和33中所示的图像576，在
合成目标图像的外围部分包括很多绿色的情况下，红色采用为关于绿色的补色。此外，可使
用如本发明第三实施例中所示的、关于面部的每条元数据确定框的颜色或模式。例如，可根
据合成目标图像中包括的人的性别或年龄改变框的颜色。此外，可根据已经成像合成目标
图像的时间点改变框的颜色。 替代地，在使用通过图52A到52C所示的方法计算的相机工作参数和可靠度显示 合成图像时，可在校正偏移的同时执行合成。例如，通过图52A到52C所示的方法计算的相 机工作参数和可靠度预先存储在合成目标图像元数据存储单元277中。随后，当显示合成 目标图像时，关于具有高可靠度的合成目标图像，可使用对应的相机工作参数校正用于变 换合成目标图像的仿射变换参数。
图像处理装置的操作示例
接下来，将参照附图描述根据本发明第四实施例的图像处理装置102的操作。
图63是图示通过根据本发明第四实施例的图像处理装置102的合成目标图像元 数据记录处理的过程的流程图。该过程是图34所示的过程的修改，与图34中所示的过程 相同的过程将用相同的参考标号表示，并且这里将省略其描述。 在通过合成目标图像选择单元170的帧选择处理完成后，装饰图像确定单元700 执行装饰图像确定处理(步骤S1020)。将参照图64详细描述该装饰图像确定处理。注意， 步骤S950是发明内容中所指的变换信息的计算的示例。此外，注意，步骤S1020是发明内 容中所指的用于确定装饰图像的计算的示例。 图64是图示通过根据本发明第四实施例的图像处理装置102的合成目标图像元
数据记录处理的过程中包括的装饰图像确定过程(图63中所示的步骤S1020的过程)的
流程图。在该示例的情况下，示出了白框确定为装饰图像的示例。此外，示出了要添加到相
同图像合成目标部分中包括的每个帧的白框具有相同厚度的情况作为示例。 首先，从元数据存储单元210中存储的元数据文件获得元数据，该元数据对应于
通过合成目标图像选择单元170选择的单个图像合成目标部分中包括的每个合成目标图
像(步骤S1021)。随后，计算用于使用仿射变换参数合成每个合成目标图像的大小，所述仿
射变换参数对应于获得的图像合成目标部分中包括的每个合成目标图像，并且确保具有该
大小的两个工作缓冲器(步骤S1022)。两个工作缓冲器是通过8位表示构成图像的每个像
素的工作缓冲器，并且在该示例的情况下，这些工作缓冲器指示为第一工作缓冲器和第二
工作缓冲器。 随后，在用作选择目标的图像合成目标部分中包括的每个合成目标图像中，最前 面的帧选择为参考帧(步骤S1023)。参考帧粘贴到第一工作缓冲器(步骤S1024)。邻近 参考帧的帧粘贴到第二工作缓冲器(步骤S1025)。在此情况下，消除紧接在前面粘贴的帧， 并且仅将邻近参考帧的帧粘贴到第二工作缓冲器。随后，计算粘贴到第一工作缓冲器的历 史图像和要粘贴到第二工作缓冲器的帧之间的重叠区域的过扩展率(步骤S1026)。该过扩 展率通过图52A到52C所示的计算方法计算。 随后，关于用作选择目标的图像合成目标部分中包括的每个合成目标图像，确定 是否已经完成过扩展率的计算(步骤S1027)。在还没有关于每个合成目标图像完成过扩展 率的计算的情况下(步骤S1027)，紧接在前面已经计算其过扩展率的帧选择为参考帧(步 骤S1028)，并且流程返回到步骤S1024。随后，新选择的参考帧粘贴到第一工作缓冲器的历 史图像之上(步骤S1024)。注意，在已经紧接在前面计算其过扩展率的帧是图像合成目标 部分的顶部帧或最后帧的情况下，邻近最前面的帧的其他方向的帧选择为参考帧。
在关于每个合成目标图像完成过扩展率的计算的情况下(步骤S1027)，基于关于 每个合成目标部分计算的过扩展率，计算要添加到用作选择目标的图像合成目标部分中包 括的每个合成目标图像的白框的厚度(步骤S1029)。随后，计算的白框的厚度记录在合成 目标图像元数据存储单元277中(步骤S1030)。确定是否已经关于通过部分选择单元160 选择的所有图像合成目标部分完成装饰图像确定处理(步骤S1031)。在还没有关于所有图 像合成目标部分完成装饰图像确定处理的情况下(步骤S1031)，流程返回到步骤S1021，其 中重复装饰图像确定处理(步骤S1021到S1030)。另一方面，在关于所有图像合成目标部 分完成装饰图像确定处理(步骤S1031)，装饰图像确定处理操作结束。
图65是图示通过根据本发明第四实施例的图像处理装置102的合成目标图像元 数据记录处理的过程中包括的装饰图像确定过程(图63中所示的步骤S1020的过程)的流 程图。该示例是其中阴影确定为装饰图像的示例，并且是图64所示的过程的修改。因此， 将仅描述与图64中示出的过程不同的过程，并且将省略其他描述。 在邻近参考帧的帧被粘贴到第二工作缓冲器之后(步骤S1025)，计算粘贴到第一 工作缓冲器的历史图像和粘贴到第二工作缓冲器的帧之间的法线矢量(步骤S1041)。该法 线矢量通过图61A和61B中所示的计算方法计算。 此外，在已经关于每个合成目标图像完成法线矢量的计算的情况下(步骤 S1027)，关于每个合成目标图像计算计算的法线矢量的积分值，将通过积分获得的法线矢 量的方向计算为添加阴影的方向(步骤S1042)。随后，计算的添加阴影的方向存储在合成 目标图像元数据存储单元277中(步骤S1043)。 图66是图示通过根据本发明第四实施例的图像处理装置102的合成图像显示处 理的过程的流程图。该过程是图37所示的过程的修改，因此，与图37中所示的过程相同的 过程将用相同的参考标号表示，并且这里将省略其描述。 图像合成单元221基于获得的每条元数据中包括的装饰图像数据，将装饰图像添 加到经历仿射变换的图像的外围(步骤S1051)，并且在图像存储器230保持已经添加装饰 图像的图像(步骤S1052)。也就是说，关于在图像存储器230保持的历史图像合成已经添 加装饰图像的、经历仿射变换的图像。 此外，在最前面的帧不是图像合成目标部分处的顶部帧的情况下(步骤S973)，执
行图像合成处理(步骤S1060)。将参照图67详细描述该图像合成处理。 图67是图示通过根据本发明第四实施例的图像处理装置102的合成图像显示处
理的过程中包括的图像合成过程(图66中所示的步骤S1060的过程)的流程图。该过程
是图38所示的过程的修改，因此，与图38中所示的过程相同的过程将用相同的参考标号表
示，并且这里将省略其描述。 图像合成单元221基于获得的每条元数据中包括的装饰图像数据，将装饰图像添 加到经历仿射变换的图像的外围(步骤S1061)，并且在图像存储器230处保持已经添加装 饰图像的图像(步骤S1062)。 此外，图像合成单元221基于获得的每条元数据中包括的装饰图像数据，将装饰 图像添加到经历仿射变换的图像的外围(步骤S1063)，并且在图像存储器230处保持已经 添加装饰图像的图像(步骤S1064)。 此外，图像合成单元221基于获得的每条元数据中包括的装饰图像数据，将装饰
图像添加到经历仿射变换的图像的外围(步骤S1065)，并且在图像存储器230处保持已经
添加装饰图像的图像(步骤S1066)。 5.第五实施例 图像处理装置的配置示例 接下来，将参照附图，关于下述情况详细进行描述，其中通过多核处理器执行根据 本发明第五实施例的特征点提取处理和光流计算处理。 图68是图示根据本发明第五实施例的多核处理器800的配置示例的图。多核处理 器800是其中以单个CPU(中央处理单元)封装实现不同类型的处理器核心的处理器。具体地，在多核处理器800中实现可以处理所有应用的两类处理器核心，以维持每个处理器 核心的处理能力并实现简单的配置。两类处理器核心是对于预定应用部分优化的一类核心 和另一类核心。 多核处理器800包括控制处理器核心801、算术处理器核心(#1)811到(#8)818、 以及总线802，并且连接到主存储器781 。此外，多核处理器800连接到其他设备，例如图形 设备782、1/0设备783等。作为多核处理器800，例如，可采用作为由本申请人开发的微处 理器的Cell (单元)(Cell主板引擎)等。 控制处理器801是配置为主要执行频繁的线程切换(如操作系统等)的控制处理 器核心。注意，将参照图69详细描述控制处理器核心801。 算术处理器核心(#1)811到(#8)818是简单的小算术处理器核心，其擅长多媒体
系统的处理。注意，将参照图70详细描述算术处理器核心(#1)811到(#8)818。 总线802是成为元件互连总线(EIB)的高速总线。此夕卜，总线802连接到控制处
理器801，并且算术处理器核心(#1)811到(#8)818的每个、以及通过每个处理器核心的数
据访问经由总线802执行。 主存储器781连接到总线802，并且是存储要由每个处理器核心加载的各类程序、 用于每个处理器核心处理的数据、以及通过每个处理器核心处理的时间的主存储器。
图形设备782是连接到总线802的图形设备，并且I/O设备783是连接到总线802 的外部输入/输出设备。 图69是图示根据本发明第五实施例的控制处理器核心801的配置示例的图。控 制处理器核心801包括控制处理器单元803、以及控制处理器存储系统806。
控制处理器单元803是构成配置为执行控制处理器核心801的算术处理的核心的 单元。此外，控制处理器单元803包括以微处理器的架构为基础的命令集。命令高速缓冲 存储器804和数据高速缓冲存储器805在控制处理器单元803中实现为主高速缓冲存储 器。命令高速缓冲存储器804是例如32KB的命令高速缓冲存储器，并且数据高速缓冲存储 器805是例如32KB的高速缓冲存储器。 控制处理器存储系统806是控制从控制处理器单元803到主存储器781的数据访 问的单元。此外，在控制处理器存储系统806的情况下，安装812KB的次级高速缓冲存储器 807，以增加从控制处理器单元803的存储器访问速度。 图70是图示根据本发明第五实施例的算术处理器核心(#1)811的配置示例的图。 算术处理器核心(#1)811包括算术处理器单元820和存储器流控制器822。注意，算术处理 器核心(#2)812到(#8)818具有与算术处理器核心(#1)811相同的配置，因此这里将省略 其描述。 算术处理器单元820是用作执行算术处理器核心(#1)811的算术处理的核心的单 元，并且包括与控制处理器核心801的控制处理器单元803不同的原始命令集。此外，本地 存储(Local store, LS)821实现在算术处理器单元820中。 本地存储821是算术处理器单元820的专用存储器，并且是可直接引用算术处理 器单元820的唯一的存储器。例如，其容量为256KB的存储器可用作本地存储821。注意， 算术处理器单元820必须利用存储器流控制器822来访问主存储器781之上的本地存储和 其他算术处理器核心(算术处理器核心(#2)812到(#8)818)。
存储器流控制器822是用于与主存储器781或其他算术处理器核心等交换数据的 单元，并且是成为存储器流控制器(MFC)的单元。这里，算术处理器单元820经由称为信道 的接口 ，请求关于存储器流控制器822的数据传送等。 已经提出了各种模型，作为上述多核处理器800的编程模型。下述模型作为该编 程模型的最基本的模型为人熟知，其中在控制处理器核心801上执行主程序，并且在算术 处理器核心(#1)811到(#8)818上执行子程序。在本发明第五实施例的情况下，将参照附 图详细描述使用该模型的多核处理器800的计算方法。 图71是示意性图示根据本发明第五实施例的多核处理器800的计算方法的图。在 该示例的情况下，示出了这样的示例，其中在多核处理器800使用数据785执行任务784的 情况下，控制处理器核心801为作为任务784的一部分的任务786的处理，控制每个算术处 理器核心使用数据787 (数据785的一部分)，以执行任务786。 如图71所示，在控制处理器核心801使用数据785来执行任务784的情况下，控 制处理器核心801为作为任务784的一部分的任务786的处理，控制每个算术处理器核心 使用数据787 (数据785的一部分)，以执行任务786。在本发明第五实施例的情况下，通过 构成运动画面的每帧的每个算术处理器核心执行计算处理。 如图71所示，多核处理器800执行计算，从而算术处理器核心(#1)811到(#8)818 并行使用，并且可以以相对小的时间执行许多计算。此外，在算术处理器核心(#1)811到 (#8)818上执行单指令/多数据(SIMD)计算，从而可以以相对小量的命令执行相对多的计 算。注意，将参照图75到78详细描述SIMD计算。 图72是示意性图示在通过根据本发明第五实施例的多核处理器800执行的计算 的情况下的程序和数据流的图。注意，将关于算术处理器核心(#1)811到(#8)818的算术 处理器核心(#1)811作为示例进行描述，但是还可关于算术处理器核心(#2)812到(#8)818 类似地执行计算。 首先，控制处理器核心801向算术处理器核心(#1)811传输将存储在主存储器781 中的算术处理器核心程序823加载到算术处理器核心(#1)811的本地存储821的指令。因 此，算术处理器核心(#1)811将在主存储器781中的算术处理器核心程序823加载到本地 存储821。 随后，控制处理器核心801指令算术处理器核心(#1)811执行本地存储821中存 储的算术处理器核心程序825。 算术处理器核心(#1)811将用于存储在本地存储821中的算术处理器核心程序 825的执行处理的数据从主存储器781传送到本地存储821。 算术处理器核心(#1)811基于本地存储821中存储的算术处理器核心程序825，处 理从主存储器781传送的数据826，并且执行根据在本地存储821中存储处理结果的情况的 处理。 算术处理器核心(#1)811将处理结果从本地存储821传送到主存储器781，该处理
结果基于本地存储821中存储的算术处理器核心程序825而执行。 算术处理器核心(#1)811向控制处理器核心801通知计算的结束。 接下来，将参照附图详细描述使用多核处理器800执行的SMD计算。这里，SMD
计算是其中以单个命令执行关于多个数据的处理的计算方法。
在图73中，(a)是示意性图示安排来通过每个对应的命令执行关于多个数据的处 理的计算方法的概述的图。图73(a)中所示的计算方法是通常的计算方法，并且被称为例 如标量计算。例如，以用于将数据"A1"和数据"B1"相加的命令获得数据"C1"的处理结果。 此外，关于其他三个计算，类似地，也关于每个计算分别执行对同一行的数据"A2"、"A3"和 "A4"以及数据"B2"、"B3"和"B4"相加的命令。根据该命令，每行的值相加，并且其处理结 果获得为数据"C2"、"C3"和"C4"。因此，在标量计算的情况下，关于多个数据，必须关于每 个处理执行命令。 在图73中，(b)是示意性图示作为安排来通过单个命令执行关于多个数据的处理 的计算方法的SIMD计算的概述的图。现在，对SIMD计算积分的数据(用虚线827和828 围绕的每块数据)在一些情况下称为矢量数据。此外，使用这样的矢量数据执行的SIMD计 算在一些情况下称为矢量计算。 例如，根据将用虚线827围绕的矢量数据、以及用虚线828围绕的矢量数据相加的 单个命令，获得对应的结果(用虚线829围绕的数据)"C1"、"C2"、"C3"和"C4"。这里，用 虚线827围绕的矢量数据是"A1"、"A2"、"A3"和"A4"，并且用虚线828围绕的矢量数据是 "B1"、"B2"、"B3"和"B4"。因此，在SIMD计算的情况下，可通过单个命令执行关于多个数据 的处理，因此，可快速地执行计算。此外，多核处理器800的控制处理器核心801执行与这 些SMD计算相关的命令，并且算术处理器核心(#1)811到(#8)818关于这样的命令，执行 关于多个数据的计算的并行处理。 另一方面，例如，通过SMD计算不实现"A1"和"B1"之间相加的处理、"A2"和"B2" 之间相减的处理、"A3"和"B3"之间相乘的处理、以及"A4"和"B4"之间相除的处理。也就 是说，在关于多个数据的每个执行不同处理的情况下，不实现通过SMD计算的处理。
接下来，将参照附图，详细描述在执行特征点提取处理和光流计算处理的情况下 的SMD计算的具体计算方法。 图74是图示根据本发明的第五实施例、通过控制处理器核心801或算术处理器核 心(#1)811执行的程序的配置示例的图。这里，将仅图示算术处理器核心(#1)811，关于算 术处理器核心(#2)812到(#8)818也将执行相同的处理。 控制处理器核心801执行作为解码851的解码852、交织853，和调整大小854。解 码852是解码运动画面文件的处理。交织853是移除解码的每帧的交织的处理。调整大小 854是縮小已经移除交织的每帧的处理。 此外，控制处理器核心801执行作为算术处理器核心管理856的命令传输857 和859、以及终止通知接收858和860。命令传输857和859是传输关于算术处理器核心 (#1)811到(#8)818的SMD计算的执行命令的处理。此外，终止通知接收858和860是用 于关于上述命令、从算术处理器核心(#1)811到(#8)818接收SMD计算的终止通知的处 理。此外，控制处理器核心801执行作为相机工作检测861的相机工作参数计算处理862。 相机工作参数计算处理862是基于通过算术处理器核心(#1)811到(#8)818的SMD计算 而计算的光流、对每帧计算仿射变换参数的处理。 算术处理器核心(#1) 811执行作为特征点提取处理863的Sobel滤波器处理864、 第二时刻矩阵处理865。此外，算术处理器核心(#1)811执行可分开的滤波器处理866、 Harris角落点提取(Calc Harris)处理867、扩张处理868和分类处理869。
Sobel滤波器处理864是计算通过使用(x方向)P2滤波器获得的X方向上的值 dx、以及通过使用Y方向上的滤波器获得的y方向的值dy的处理。注意，将参照图75到78 详细描述x方向的值dx的计算。 第二时刻矩阵处理865是通过使用由Sobel滤波器处理864计算的dx和dy计算 dx2、 dy2、 dx dy的每个值的处理。 可分开的滤波器处理866是向通过第二时刻矩阵处理865计算的dx2、 dy2、 dx dy 的值的图像应用高斯滤波器(模糊处理)的处理。 Harris角落点提取处理867是使用通过可分开的滤波器处理866经历模糊处理的 dx2、dy2、dx 的每个值来计算Harris角落的处理。例如通过下面的表达式计算该Harris 角落的分数S。 S = (dx2 X dy2-dx dy X dx dy) / (dx2+dy2+ e ) 扩张处理868是关于由通过Harris角落点提取处理867计算的Harris角落的分 数构成的图像执行模糊处理的处理。 分类处理869是下述处理，其按通过Harris角落点提取处理867计算的Harris 角落的分数的降序分类像素，从具有最高分数的像素起按预定数量的像素拾取像素，并且 提取该拾取的像素作为特征点。 算术处理器核心(#1) 811执行作为光流计算处理870的锥形(pyramid)图像创建 处理871，并执行光流计算处理872。 锥形图像创建处理871是顺序创建从在通过相机成像时的图像大小起、通过预定 数量的阶段縮小的图像的处理，并且创建的图像称为多分辨率图像。 光流计算处理872是关于通过锥形图像创建处理871创建的多分辨率图像的最小 图像计算光流的处理，并且使用该计算结果来关于具有最小图像的高一级的分辨率的图像 再次计算光流。重复执行该系列的处理，直到要处理的图像到达最大图像。
因此，例如，使用多核处理器800与SMD计算并行地执行特征点提取处理和光流 计算处理，从而可以获得处理结果。这里，例如，特征点提取处理是通过图2等所示的特征 点提取单元121执行的特征点提取处理，并且光流计算处理是通过光流计算单元122执行 的光流计算处理。注意，图74等所示的特征点提取处理和光流计算处理是示例，包括关于 构成运动画面的图像的各种滤波器处理和阈值处理等的另一处理可用来由多核处理器800 执行SMD计算。 图75是示意性图示在根据本发明第五实施例的主存储器781中存储的图像数据 经历使用Sobel滤波器830的滤波处理的情况下的数据结构和处理流程的图。该图像数据 是对应于构成由相机成像的运动画面的单个帧的图像数据。注意，图75中示出的主存储器 781中存储的数据是以水平像素的数量为32像素的简化的方式。此外，Sobel滤波器830 是3X3边缘提取滤波器。如图75所示，主存储器781中存储的图像数据经历使用Sobel 滤波器830的滤波处理，并且输出该滤波处理的结果。在该示例的情况下，将关于其中使用 SIMD计算来一次获得四个滤波器的结果的示例进行描述。 图76是示意性图示根据本发明第五实施例、在Sobel滤波器830用于执行关于主 存储器781中存储的图像数据的SIMD计算的情况下的数据流的图。首先，包括主存储器781 中存储的图像数据的第一行的预定数量的行以DMA(直接存储器存取)方式传送到提供到算术处理器核心的本地存储821的第一缓冲器831。此外，预定数量的行以DMA方式传送到 第二缓冲器832，在该预定数量的行中，以DMA方式传送到第一缓冲器831的每行向下偏移 一行。这里，预定数量的行是例如三行。因此，使用双重缓冲器，从而可以弥补由于DMA传 输导致的延迟。 图77是示意性图示根据本发明第五实施例、在使用Sobel滤波器830执行滤波处 理的情况下、安排来从第一缓冲器830中存储的图像数据创建九个矢量的矢量创建方法的 图。如图76所示，在执行DMA传送之后，从第一缓冲器830中存储的图像数据创建九个矢 量。具体地，在第一缓冲器830中存储的图像数据的第一行的情况下，用来自左边角落的四 条数据创建矢量数据841，并且根据通过将上面的四条向右侧移动一个而获得的四条数据， 创建矢量数据842。类似地，根据通过将上面的四条向右侧移动一个而获得的四条数据，创 建矢量数据843。此外，在第二和第三行的情况下，类似地，用四条数据创建矢量数据844到 849。 图78是示意性图示根据本发明第五实施例、使用Sobel滤波器830执行滤波处理 的情况下、安排来使用SIMD计算来执行关于矢量数据841到849的矢量计算的矢量计算方 法的图。具体地，关于矢量数据841到843顺序地执行SIMD计算，从而获得矢量A。在该 SMD计算的情况下，首先，执行-1X矢量数据841的SMD计算。接下来，执行OX矢量数 据842的计算和1X矢量数据843的SMD计算。这里，关于OX矢量数据842，计算结果已 经确定为O，因此可以省略该计算。此外，关于1X矢量数据843，计算结果已经确定为与矢 量数据843相同的值，因此可以省略该计算。 随后，用SMD计算执行-IX矢量数据841的计算结果和OX矢量数据842的计 算结果之间的加法处理。随后，用SMD计算执行上述加法处理的结果和IX矢量数据843 的计算结果之间的加法处理。这里，例如，用作矢量数据IX矢量数据2+矢量数据3的数据 结构的计算可用SIMD计算实现。因此，关于矢量A的计算，将省略例如关于OX矢量数据 842和IX矢量数据843的SMD计算。随后，可用一次SMD计算执行-IX矢量数据841+ 矢量数据843。 此外，类似地，关于矢量数据844到846执行SMD计算以获得矢量B，关于矢量数 据847到849执行S頂D计算以获得矢量C。 随后，关于获得的矢量数据A到C执行SMD计算以获得矢量D。因此，执行SMD
计算，从而可以同时获得等效于矢量元素的数量(该示例中的四条数据)的结果。 在计算矢量D之后，利用图76所示的第一缓冲器831中存储的图像数据，重复执
行相同的处理，同时将要提取的数据的位置向右侧偏移一个，从而顺序执行关于每条图像
数据的矢量D的计算。随后，在已经完成直到图76所示的第一缓冲器831中存储的图像数
据的右边缘的处理的情况下，处理结果以DMA方式传送到主存储器781。 随后，在主存储器781中存储的图像数据中，将以DMA方式传送到第二缓冲器832
的每行向下偏移一个的预定数量的行以DMA方式传送到第一缓冲器831。与该传送一起关
于第二缓冲器832中存储的图像数据重复执行上述处理。随后，重复执行相同的处理，直到
要处理的行到达主存储器781中存储的图像数据的行当下边缘的行。 类似地，用SMD计算执行特征点提取和光流计算的大多数处理，从而可以实现速 度的提高。
图79是以时间序列方式示意性图示根据本发明第五实施例的相机工作参数计算 处理的流程的图。如上所述，例如，使用多核处理器800执行SMD计算，从而可以并行执行 关于运动画面的解码和分析处理。因此，与解码时间相比，可以减少构成运动画面的一帧的 分析时间。 例如，在图79中，tl表示通过控制处理器核心801对构成运动画面的一帧的解码 处理的时间。此外，t2表示通过算术处理器核心(#1)811到(#8)818对构成运动画面的一 帧的特征点提取处理的时间。此外，t3表示通过算术处理器核心(#1)811到(#8)818对构 成运动画面的一帧的光流计算处理的时间。此外，t4表示通过控制处理器核心801对构成 运动画面的一帧的相机工作检测处理的时间。注意，t5表示通过控制处理器核心801和算 术处理器核心(#1)811到(#8)818关于构成运动画面的一帧的相机工作检测处理的时间。 此外，t6表示通过控制处理器801用于管理算术处理器核心(#1)811到(#8)818的处理 的时间。例如，可以进行这样的安排，其中tl设置为25. Oms， t2设置为7. 9ms， t3设置为 6. 7ms， t4设置为1. 2ms，并且t5设置为15. 8ms。 接下来，将参照附图，关于在播放使用根据本发明第五实施例的元数据文件的运 动画面内容的情况详细进行描述。 在图80中，(a)是示意性图示作为记录介质的示例的蓝光盘(注册商标)880的 顶视图，并且图80(b)是示意性图示在蓝光盘880中的数据881到数据884的图。例如，运 动画面内容882、字幕883、元数据884和Java(注册商标)程序881记录在蓝光盘880中。 例如，运动画面内容882是通过相机等成像的运动画面，字幕883是运动画面内容882的字 幕，并且元数据884是通过分析运动画面内容882获得的元数据(例如，图3、4等中示出的 每条信息)。此外，Java程序881是根据用本发明的每个实施例回放的运动画面的Java程 序。 在图80中，(c)是示意性图示能够播放蓝光盘880的蓝光播放器的内部配置的图。 这里，在能够播放蓝光盘的蓝光播放器890的情况下，CPU 891、0S 892、Java VM(Java虚拟 机)以及库893默认实现，因此，可以执行Java程序。因此，蓝光盘880安装在蓝光播放器 890上，从而蓝光播放器890可以加载和执行Java程序881 。因此，在蓝光播放器890播放 运动画面内容882的情况下，元数据884用于执行对应于根据本发明每个实施例的运动画 面的全景式图像的显示，从多个运动画面中搜索运动画面等。也就是说，可以全部用蓝光播 放器实现根据本发明的每个实施例的运动画面回放，而不用专用PC软件等。
如上所述，根据本发明实施例，可以准确地传达成像位置处的环境、其空间的状况 等，并且可以识别其成像位置处的成像空间。此外，可以使得其运动画面看起来更有趣，并 且可以提高与运动画面相关的兴趣。例如，认为与照片相比，大多数用户满意于运动画面的 一次成像，并且不重复观看成像的运动画面。因此，在本发明实施例的情况下，从运动画面 选择突出的图像，并且从该图像创建合成图像，从而可以容易地提供再次观看通过运动画 面成像的场景的机会。例如，可以以全景式方式合成多个图像，以创建一个合成图像，使得 多个纸质照片重叠。 此外，在本发明实施例的情况下，已经以在显示单元上显示合成图像的图像处理 装置为示例进行了描述，但是本发明实施例可应用于这样的图像处理装置，其中输出图像 信息的图像输出单元用于在另一图像显示装置上显示合成图像。此外，本发明实施例可应用于能够播放运动画面的运动画面播放器、能够播放成像的运动画面的如数字摄像机等的 成像装置、能够显示基于图像数据的图像的相框等。 此外，在本发明实施例的情况下，已经以图像处理装置为示例进行了描述，但是本 发明实施例可应用到能够播放运动画面的运动画面播放器等。此外，在本发明实施例的情 况下，已经关于通过相机成像的运动画面进行了描述，但是本发明实施例还可应用到例如 运动画面等，其中在编辑通过相机成像的运动画面的情况下，部分地合成编辑后的运动图 像或动画等。 注意，如上所述，本发明实施例图示了用于实现本发明的示例关于发明内容中的 每个发明指定组件有对应关系。然而，本发明不限于上述实施例，并且可以进行各种改变而 不背离本发明的实质和精神。 此外，本发明实施例中描述的过程可以认为是包括一系列过程的方法，或可以认 为是用于使得计算机执行该系列过程的程序，或可以认为是配置为存储其程序的记录介 质。例如，CD(致密盘)、MD(迷你盘)、DVD(数字多功能盘)、存储卡、蓝光盘(注册商标) 等可用作其记录介质。 本申请包含涉及于2008年10月27日向日本专利局提交的日本优先权专利申请 JP 2008-275142中公开的主题，在此通过引用并入其全部内容。 本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、 子组合和更改，只要它们在权利要求或其等效物的范围内。
权利要求
一种图像处理装置，包括变换信息计算单元，配置为基于构成成像的运动画面的成像的图像的运动信息，计算关于多个合成目标图像的变换信息，该多个合成目标图像用作构成所述成像的运动画面的成像的图像的合成目标；以及装饰图像确定单元，配置为计算作为所述合成目标图像的第一合成目标图像、以及作为根据所述变换信息变换后的所述合成目标图像的第二合成目标图像之间的偏移量，以基于所述偏移量确定要添加到所述第二合成目标图像的外围的装饰图像。
2. 如权利要求1所述的图像处理装置，其中对所述合成目标图像的每个，所述变换信 息计算单元以所述合成目标图像中的一个合成目标图像作为参考图像，计算用于变换其他 所述合成目标图像的所述变换信息；并且其中所述装饰图像确定单元计算合成图像和所述第二合成目标图像之间的偏移 量，并基于所述偏移量确定所述装饰图像，所述合成图像用所述变换信息变换并且从所述 合成目标图像中的至少一个合成目标图像合成。
3. 如权利要求1所述的图像处理装置，其中所述装饰图像确定单元基于所述计算的偏 移量的大小确定所述装饰图像的厚度。
4. 如权利要求1所述的图像处理装置，其中所述装饰图像确定单元计算与所述合成目 标图像的所有合成目标图像相关的所述偏移量，以基于所述偏移量确定要添加到所有所述 合成目标图像的外围的相同的装饰图像。
5. 如权利要求l所述的图像处理装置，还包括图像变换单元，配置为基于所述变换信息变换所述合成目标图像，以生成所述第二合 成目标图像；以及图像合成单元，配置为将所述确定的装饰图像添加到所述第二合成目标图像，并且合 成已经对其添加所述装饰图像的所述第二合成目标图像和所述第一合成目标图像，以生成 合成图像。
6. 如权利要求l所述的图像处理装置，还包括 对象检测单元，配置为检测所述合成目标图像中包括的对象；其中在所述对象包括在所述第二合成目标图像中的情况下，所述装饰图像确定单元确 定所述装饰图像，以便不使包括所述对象的对象区域与所述装饰图像的区域重叠。
7. —种图像处理装置，包括变换信息计算单元，配置为基于构成成像的运动画面的成像的图像的运动信息，计算 关于合成目标图像的变换信息，该合成目标图像用作构成所述成像的运动画面的成像的图 像的合成目标；以及装饰图像确定单元，配置为基于作为所述合成目标图像的第一合成目标图像、以及作 为根据所述变换信息变换后的所述合成目标图像的第二合成目标图像之间的相对位置关 系，确定要添加到所述第二合成目标图像的外围的装饰图像。
8. 如权利要求7所述的图像处理装置，其中所述装饰图像确定单元基于所述第一合成 目标图像和所述第二合成目标图像之间的每个顶点的转换，确定所述装饰图像的位置。
9. 如权利要求7所述的图像处理装置，其中所述装饰图像确定单元基于与所述第一合 成目标图像重叠的所述第二合成目标图像的边缘部分的大小和位置，确定所述装饰图像的位置。
10. 如权利要求9所述的图像处理装置，其中所述装饰图像确定单元关于所述合成目 标图像的所有合成目标图像计算所述重叠边缘部分的大小和位置，并且基于计算的大小和 位置，确定要添加到所有所述合成目标图像的外围的相同的装饰图像。
11. 一种图像处理方法，包括基于构成成像的运动画面的成像的图像的运动信息，计算关于多个合成目标图像的变 换信息，该多个合成目标图像用作构成所述成像的运动画面的成像的图像的合成目标；以 及计算作为所述合成目标图像的第一合成目标图像、以及作为根据所述变换信息变换后 的所述合成目标图像的第二合成目标图像之间的偏移量，以基于所述偏移量确定要添加到 所述第二合成目标图像的外围的装饰图像。
12. —种使得计算机执行下述处理的程序基于构成成像的运动画面的成像的图像的运动信息，计算关于多个合成目标图像的变 换信息，该多个合成目标图像用作构成所述成像的运动画面的成像的图像的合成目标；以 及计算作为所述合成目标图像的第一合成目标图像、以及作为根据所述变换信息变换后 的所述合成目标图像的第二合成目标图像之间的偏移量，以基于所述偏移量确定要添加到 所述第二合成目标图像的外围的装饰图像。
全文摘要
一种图像处理装置，包括变换信息计算单元，配置为基于构成成像的运动画面的成像的图像的运动信息，计算关于多个合成目标图像的变换信息，该多个合成目标图像用作构成所述成像的运动画面的成像的图像的合成目标；以及装饰图像确定单元，配置为计算作为所述合成目标图像的第一合成目标图像、以及作为根据所述变换信息变换后的所述合成目标图像的第二合成目标图像之间的偏移量，以基于所述偏移量确定要添加到所述第二合成目标图像的外围的装饰图像。
文档编号G06T7/00GK101729785SQ200910206900
公开日2010年6月9日 申请日期2009年10月27日 优先权日2008年10月27日
发明者鹤见辰吾 申请人:索尼株式会社