图像再现装置和图像再现方法

专利名称：图像再现装置和图像再现方法
技术领域：
本发明涉及图像再现装置和图像再现方法，详细地讲，涉及有效地 再现由数字照相机或摄像机等摄影装置拍摄的图像的图像再现装置和图 像再现方法。
背景技术：
本发明要求2008年8月1日递交的日本专利申请2008-199392号和 2008年8月12日递交的日本专利申请2008-207544号的优先权。这些申 请以引证的方式结合于此。本发明的范围不限于本申请中所描述的具体 实施方式。
近年来，基于数字照相机或摄像机等的数字图像的摄影和图像处理 技术提高，数字照相机和摄像机的分界正在消失，对大量图像进行处理 变得容易。并且，虽然照相机仅是简单地进行摄影的设备，但是，通过 对图像信号进行数字化，能够在个人计算机和电视机等多个设备之间简 单地进行数据的交接。
这样，由数字照相机或摄像机等摄影装置取得的图像的再现环境正 在多样化。但是，在此前的再现装置中，直接再现连续拍摄的图像的情 况居多，与专业人士仔细拍摄、编辑的图像相比，大多非常逊色。
因此，提出了如下的图像处理装置对以静态图像方式拍摄的图像 加入动态效果，由此能够得到美观的再现图像。例如，在日本国专利公 开平11-15993号公报(以下为专利文献1)中公开了如下的图像再现装
置生成多个图像，反复进行再现显示，在该多个图像中，指定了对静
态图像实施动态处理的部分并对该部分进行了动态处理。
并且，在日本专利公开2006-133897号公报(以下为专利文献2)中 公开了如下的图像处理装置在对静态图像实施动态处理时，为了实现
6小容量存储，分别单独存储静态图像的文件和用于生成动态图像的图像 目标，在再现时对两者进行合成，由此生成动态图像。
另外，在日本专利公开2002-140025号公报(以下为专利文献3)中 公开了如下的装饰品作为相框的装饰，在前面配置场致发光片，点亮 场致发光灯或使其闪烁。
这样，以往提出了对静态图像附加动态图像的动作而成为有趣的再 现图像的各种方案。但是，这种编辑作业很麻烦，对一般用户而言是困 难的。并且，在所述专利文献l、 2所公开的再现装置中，原始图像都是 静态图像，再现装置是以动态图像的方式再现该静态图像的装置，无法 以简单的操作有效地再现原始的动态图像。
'并且，在亮度变化大的静态图像中，在考虑使变化部分的光亮闪烁 由此加入动态要素的情况下，在专利文献3所公开的装饰品中，虽然场 致发光等闪烁，但是，仅是使照片整体耀眼，并不自然
发明内容
' 本发明是鉴于这种情况而完成的，其目的在于，提供一种图像再现 装置和图像再现方法，通过简单的操作对也能够适应利用电视机等进行 鉴赏的图像进行再现。
第1发明的图像再现装置具有候选位置判定部，其根据数字图像， 判定多个光点面积放大候选位置，该多个光点面积放大候选位置的亮度 在规定亮度以上且周边没有上述规定亮度以上的部分；位置选择部，其 根据上述多个光点面积放大候选位置来决定所选择的位置；以及光点面 积放大控制部，其以上述选择位置为中心，形成上述规定亮度以上的部 分。
第2发明的图像再现装置具有候选位置判定部，其根据数字图像， 判定多个光点面积放大候选位置，该多个光点面积放大候选位置的亮度 在规定亮度以上、周边没有上述规定亮度以上的部分、且上述规定亮度 以上部分的位置相邻；以及光点面积放大控制部，其以上述选择位置为 中心，形成上述规定亮度以上的部分。
7第3发明的图像再现装置具有候选检测部，其在摄影图像的图像 中，检测比规定亮度明亮的候选部；合成图像生成部，其生成上述候选 部的周围比规定亮度更明亮的合成用图像；以及再现显示部，其对上述 合成图像和原来的摄影图像进行合成，再现该合成得到的图像。
在第4发明的图像再现方法中，在摄影图像的图像中，检测比规定 亮度明亮的候选部，生成上述候选部的周围比规定亮度更明亮的合成用 图像，对上述合成图像和原来的摄影图像进行合成，再现该合成得到的 图像。
第5发明的图像再现装置具有存储部，其存储基准图像和连续拍 摄的摄影图像；提取部，其从上述摄影图像中，提取相对于上述基准图 像依次变化部分的图像；以及合成部，其在上述基准图像上依次合成上 述变化部分的图像，该图像再现装置能够显示通过上述合成部合成的多 个图像。
在第6发明的图像再现方法中，能够存储基准图像和连续拍摄的摄 影图像，从上述摄影图像中，提取相对于上述基准图像依次变化部分的 图像，在上述基准图像上依次合成上述变化部分的图像，显示上述合成 的多个图像。
第7发明的图像再现装置具有存储部，其存储摄影图像的图像数 据；特征点提取部，其在上述图像数据中提取特征点；图像处理部，其 以动态图像的方式改变由上述特征点提取部提取出的上述特征点，并在 上述图像数据中进行图像合成；以及显示部，其显示由上述图像处理部 合成的图像数据。
根据本发明，能够提供以简单的操作来再现能够适合于利用电视机 等进行鉴赏的图像的图像再现装置和图像再现方法。


图1是示出本发明的第1实施方式的照相机的电路的框图。 图2是示出在本发明的第1实施方式的照相机中对图像进行合成处 理并再现显示的状况的图。图3是示出从本发明的第1实施方式的照相机向电视机输出图像并 进行鉴赏的状况的图。
图4示出由本发明的第1实施方式的照相机拍摄的图像的合成处理， (a)是示出摄影图像的图，(b)是沿着横线35a示出亮度分布的图，(c) 是示出合成处理后的再现图像的图，(d)是示出摄影图像的图，(e)是 沿着横线35b示出亮度分布的图，(f)是示出合成处理后的再现图像的图。
图5示出根据由本发明的第1实施方式的照相机拍摄的图像而生成 的合成用图像的另一例子。
图6是示出本发明的第1实施方式的照相机的光点强调显示的动作 的流程图。
图7是根据由本发明的第1实施方式的照相机拍摄的图像而生成的 合成图像，(a)示出在面部显示光点的情况，(b)示出在面部以外的场 所显示光点的情况。
图8是本发明的第1实施方式的照相机的合成控制部的增益的特性 图，(a)和(b)分别是具有不同增益特性的情况。
图9是示出本发明的第1实施方式的照相机的合成控制部及其周边 结构的框图。
图IO是示出本发明的第1实施方式的照相机的照相机控制动作的流 程图。
图11示出由本发明的第2实施方式的照相机拍摄的图像的合成处 理，(a)是示出摄影图像的图，(b)是沿着横线36a示出亮度分布的图， (c)是沿着横线36b示出亮度分布的图，(d)是沿着横线36c示出亮度 分布的图。
图12是根据由本发明的第2实施方式的照相机拍摄的图像来说明候
选部的选择条件的图。
图13是示出本发明的第2实施方式的照相机的合成显示动作的流程图。
图14是示出本发明的第3实施方式的照相机的电路的框图。 图15是示出在本发明的第3实施方式的照相机中连续拍摄的图像的
9状况的图。
图16是示出从本发明的第3实施方式的照相机向电视机输出图像并 进行鉴赏的状况的图。
图17示出由本发明的第3实施方式的照相机连续拍摄的图像，(a)
(c) 示出时间序列顺序。
图18是示出由本发明的第3实施方式的照相机连续拍摄的图像由于 手抖而移动的状况的图，(a) (c)示出时间序列顺序。
图19是示出对由本发明的第3实施方式的照相机连续拍摄的图像校 正了手抖导致的移动后的图像的图，(a) (c)示出时间序列顺序。
图20是对由本发明的第3实施方式的照相机连续拍摄的图像仅提取 变化部分后的图像，(a) (c)示出时间序列顺序。
图21示出由本发明的第3实施方式的照相机连续拍摄的图像中的代 表图像(基准图像)。
图22是示出本发明的第3实施方式的照相机的合成控制部的结构的 框图。
图23是示出本发明的第3实施方式的照相机的变化部提取动作的流 程图。
图24是示出本发明的第3实施方式的照相机的合成显示动作的流程图。
图25是示出本发明的第3实施方式的照相机的照相机控制动作的流 程图。
图26是说明本发明的第3实施方式的照相机中的亮度变化部的检测 的图，(a) (c)示出构成连续图像的各静态图像中的各像素的输出，
(d) 示出将变化部分以外设为最小值的图像，(e)示出(a) (c)中 的图像的读出方向。
图27是示出本发明的第3实施方式的照相机的亮度变化部检测动作 的流程图。
具体实施方式
下面，根据

使用应用了本发明的照相机的优选实施方式。
本发明的第1实施方式的照相机10是数字照相机，拍摄静态图像并在记
录介质中记录图像数据。并且，再现时，能够提取静态图像中的亮度变 化的部分作为候选部，以该候选部为中心生成光点放大图像，与所拍摄 的原来的静态图像进行合成，而再现显示以光点流动的方式移动的合成 图像。由此，习惯于以往的照片摄影的照相机用户能够以一直以来所使 用的简单操作来进行拍摄，而且，能够得到也适合于在与电视机等外部 设备连接进行鉴赏时的内容的图像。
在说明本实施方式的照相机10的结构之前，使用图2和图3说明安 装了本发明的图像再现装置的照相机10中的图像再现的考虑方法。
在最近的数字照相机等摄影装置中，能够在照相机内置的液晶或有 机EL等显示部、或者经由输出部连接的电视机和个人计算机等外部显示 装置上简单地显示摄影前和摄影后的图像。
并且，在最近的数字照相机等摄影装置中，也能够简单地进行动态 图像摄影等。但是， 一般人难以按照动态图像的方式拍摄出能够让他人 观看的程度的作品。与此相对，静态图像具有使拍摄的瞬间作品化的效 果，所以，在拍摄的时刻即完成，不需要拍摄之外的劳动。
但是，如图3所示，在利用大画面电视机等再现显示图像的情况下， 完全没有任何变化的图像是单调且使人腻烦的，所以，优选图像具有一 些变化。例如，在图2所示的存在巨大亮度差异的雄伟的风景等的情况 下，可以尝试改变照耀到云30上的太阳光的闪耀等，使发光部分随时间 经过而移动。即，当以使闪耀的光点部32a、 32b、 32c沿着云30的边缘 31移动的方式进行再现显示时，能够酝酿出雄伟风景的气氛。由于云的 运动和太阳的角度等时时刻刻在变化，所以，即使反复多次加入突然在 一瞬间发光的变化，也没有特别的不自然感。
在本实施方式中，根据图4(a)所示的静态图像，检测云30的边缘 31等的亮度变化的亮度变化部，对从该亮度变化部选择出的候选部进行 光点放大处理，按照图2 (a) — (b) — (c)的顺序依次使光点闪烁， 由此，再现光的闪耀在移动的图像。
ii这样，虽然是静态图像、且没有特别大变化的图像，但是，持续显
示在电视机20等的画面上时(参照图3)，合成显示使亮度变化部中的候 选部周围的亮度变亮(光点)、且该光点移动的图像，由此，能够进行直 接映入窗外的风景的再现。
根据这种考虑方法，在本实施方式的图像再现装置中，针对在摄影 时刻完成的静态图像，如图2所示，以光闪耀的变化不会不自然的方式 进行图像合成并显示。另外，也可以与摄影同时，预先利用集音部记录 鸟鸣等声音，在再现显示时反复再现。
接着，说明上述能够再现显示图像的照相机的结构。图1是示出第 1实施方式的照相机10的电气结构的框图。照相机IO具有控制部1、 摄影部2、闪光灯2a、记录部3、压縮保存部3b、候选提取部4、移动控 制部5a、周边光量增大部5b、集音部6、合成控制部7、输出部8、液晶 显示部8a、以及操作部9。
控制部1由CPU (Central Processing Unit)等构成，与该照相机10 的各部连接，根据程序进行整体控制。摄影部2包含用于使被摄体成像 得到被摄体像的光学系统、对被摄体像进行光电转换的摄像元件、对从 摄像元件输出的图像信号进行处理的图像处理部等，并输出图像数据。 另外，该摄影部2能够输出静态图像、动态图像(也包含连拍)的图像 数据。
集音部6通过麦克风等将声音转换为电信号，并输出声音信号。记 录部3根据来自控制部1的控制信号，记录从摄影部2输出的静态图像、 动态图像的图像数据。并且，与图像数据的记录一起，还进行从集音部6 输出的声音数据的记录。并且，根据控制信号输出所记录的图像数据和 声音数据。
候选提取部4从记录在记录部3中的静态图像的图像数据中，提取 被以强光赋予对比度的部分作为候选部。在本实施方式中，针对直射阳 光等存在强烈的对比度、眩目地发光的部分的风景赋予光的闪耀，由此，
再现对静态图像附加变化后的图像。针对这种风景图像，候选提取部4 选择带有光的变化的部分。
12例如在图2的例子中，候选提取部4从云30的边缘31中提取候选 部。艮卩，云30的边缘31是沿着云的边缘的线段，候选提取部4提取该 边缘31中的一部分作为候选部。另外，图像不限于风景图像，也可以是 被太阳照射的人物图像，该情况下，候选提取部4提取被照到的脸颊部 分，如后所述，能够再现闪闪发光的场面。
周边光量增大部5b进行提高由候选提取部4提取出的候选部的周围 亮度的图像处理。即，周边光量增大部5b生成候选部的周围闪耀而突然 变明亮的图像作为合成用图像。作为突然变明亮的合成图像，通过扩大 发光部分的面积来表现闪耀。关于该面积扩张，能够进行将候选部扩张 为圆形或扩张为星型、十字型等各种面积扩张。并且，周边光量增大部 5b在进行突然变明亮的图像处理后，再次恢复到原来的光量。
移动控制部5a使由周边光量增大部5b进行了光量增大后的合成用 图像随时间经过而移动。即，如图2 (a) — (b) — (c)所示，移动控 制部5a使进行光量增大的部分移动，使得看起来宛如闪耀部分32a、 32b、 32c在移动一样。
合成控制部7针对记录在记录部3中的原来的静态图像，通过周边 光量增大部5b增大周边光量，通过移动控制部5a将原来的静态图像与 随时间经过而移动的合成用图像进行合成，生成图2 (a) (c)所示的 图像。即，通过周边光量增大部5b和移动控制部5a，依次生成光量增大 部随时间经过而移动的合成用图像，所以，合成控制部7将这些依次生 成的多个合成用图像与原来的静态图像进行合成。
压縮保存部3b对由记录部3记录的图像数据进行压縮保存，并且， 对在合成控制部7中合成的图像数据进行压縮，并将其保存起来。
输出部8向电视机等外部显示装置输出或向液晶显示部8a输出记录 在记录部3中的静态图像、动态图像。并且，在合成控制部7中合成的 图像也输出到外部显示装置或液晶显示部8a。作为外部显示装置，例如 是薄型电视机20等，针对外部显示装置，除了有线连接以外，也可以以 红外线或电波进行输出，或者也可以通过无线LAN等发送到特定的服务
器o液晶显示部8a设置在照相机10上，再现显示记录部3的记录图像， 在摄影前实时浏览显示被摄体像。并且，对合成控制部7生成的合成图 像进行再现显示。并且，使用摄影前的来自摄影部2的图像数据，通过 合成控制部7进行合成处理，显示光点部移动的图像。显示摄影前进行 了合成处理时的图像，由此，能够享受摄影的乐趣。
操作部9包含释放按钮、菜单按钮等操作部件，当用户对操作部9 进行操作时，控制部l根据操作向各部输出控制信号。闪光灯2a是对被 摄体照射照明光的人工照明装置。
接着，使用图4说明本实施方式的图像合成的处理。图4 (a)示出 所拍摄的风景的一例。在该例示的风景中，云30的边缘31由于太阳光 而明亮地发光。当沿着沿X轴方向的横线35a取亮度的分布时，该图4 (a)所示的图像的亮度分布如图4 (b)所示。如图所示，云30的端部 31的太阳光的反射强的部分特别明亮，与该端部31相邻的部分没有那么 明亮。
在本实施方式中，从该云30的端部31中选择候选部，进行使该候 选部的周围变明亮的强调处理。即，如图4 (b)所示，从比规定亮度B 明亮的部分中选择候选部，针对包含该候选部的范围33a (被虚线包围的 部分)，如图4(b)中的箭头所示，使其比周围的云30的端部31的亮度 更明亮。进行这种处理后，如图4 (c)所示，成为局部明亮地闪耀的、 具有光点32a的图像。
并且，如图4 (d)所示，沿着沿X轴的横线35b取亮度分布，从比 规定亮度B明亮的部分中选择候选部，针对包含该候选部的范围33b (被 虚线包围的部分)，如图4 (e)中的箭头所示，使其比周围的云30的端 部31的亮度更明亮。进行这种处理后，如图4 (f)所示，成为局部明亮 地闪耀的、具有光点32b的图像。
另外，在使候选部的周围A变明亮时，如图4 (b)、 (e)所示，针 对范围33a、 33b进行图像处理使其成为一定的亮度，换言之，针对原来 图像的亮度峰值，生成更加明亮的部分，增加其面积。
这样，即使是相同图像，如图4 (a)和(d)所示，通过变更亮度分布的判定位置(横线35a、 35b的切换)，由此规定亮度B以上的部分变 化。因此，依次变更候选部的位置，由此，光点32a、 32b的位置变化， 能够进行具有闪耀感的图像表现。
另外，在图4 (c)、 (f)中，以光点32a、 32b在候选部周边的圆圈 范围内进行了处理，但是不限于此，例如如图5所示，也可以是星型或 其他形状。通过改变强调部分的形状，能够以与圆型不同的气氛赋予闪 耀感。关于这种强调部分的形状变化，在周边光量增大部5b中存储强调 部分的图案的数据并依次切换，或者也可以根据用户的选择来切换。
使用图6所示的流程图，说明用于执行这种对明亮部分进行强调的 光点强调显示的动作。控制部1根据记录在记录部3中的图像数据，与 候选提取部4、周边光量增大部5b、移动控制部5a等协作来执行该流程。
当进入光点强调流程后，首先，对变量Y设定O (SIOI)。接着，对 该变量Y加上AY(S102)，判定该变量Y是否等于Y的边界值Yl(Si03 )。 在步骤S103的判定结果为变量Y没有到达边界值Y1的情况下，接着， 对变量X设定O (S104)，对该变量X加上AX (S105)，判定该变量X 是否等于X的边界值X1 (S106)。
这些步骤S101 S103是如下步骤在设定图4 (a)所示的X、 Y 轴时，沿着Y轴直到Y轴的边界值Y1为止，以AY间隔依次变更亮度 判定的区域。并且，步骤S104 S106是如下步骤 一边改变X坐标，一 边变更画面内的亮度判定区域，直到到达X轴的边界值X1为止。这里， 由于按照连续的像素进行亮度判定时，判定对象的像素过细又过多，因 此，AY和AX设定为能够将画面分割为50份左右程度的像素间隔。
在步骤S106的判定结果为变量X没有到达边界值X1的情况下，接 着，判定坐标(X， Y)处的亮度是否比规定亮度B1明亮(S107)。在该 判定结果为不比规定亮度B1明亮的情况下，返回步骤S105，对X坐标 加上AX，在下一坐标处判定亮度是否比B1明亮。
在步骤S107的判定结果为坐标(X， Y)处的亮度比B1明亮的情况 下，判定周围A部的亮度(Slll)。这里，周围A部相当于图4 (c)、 (f) 的圆圈标记、图5的星型标记的区域。接着，判定周围A部的区域内的
15全部像素是否为亮度B1以上(S112)。在该判定结果为周围A部内的全 部像素的亮度为B1以上的情况下，返回步骤S105。
另一方面，在步骤S112的判定结果为不是全部像素在亮度B1以上 的情况下，作为候选部，提取并记录该坐标(X， Y) (S113)。通过候选 提取部4来进行这些提取作业。这里，在亮度为B1以上的情况下返回步 骤S105是因为，在周围A部内部的全部像素明亮的情况下，即使将圆圈 标记、星型标记的部分明亮也不明显，因而从候选部中排除。另一方面， 在只有一部分暗的情况下，通过使圆圈标记、星型标记的部分变明亮， 能够表现明显和闪耀。
在步骤S112中以Y ("是")脱离循环、或在S113中记录坐标(X， Y)后，返回步骤S105，在横向以AX间隔执行亮度判定，直到X坐标 到达边界值X1为止。通过执行这些一连串的处理，结束沿X轴的一行 上判定，记录亮度为B1以上但其周围比B1暗的部分(候选部)的全部 坐标(X， Y)。
在步骤S106中，当X坐标到达边界值XI时，进入步骤S102,在 对变量Y加上AY后的Y坐标处， 一边改变X坐标， 一边检测比规定亮 度B1明亮且其周围比B1暗的部分(候选部)，记录该坐标(X, Y)。
当上述亮度判定沿着Y轴方向从一端到达另一端而结束时，在步骤 S103的判定中，变量Y成为边界值Y1。通过执行这些一连串的处理， 整个画面的判定结束，记录亮度为B1以上但其周围比B1暗的部分(候 选部)的全部坐标(X， Y)。
当变量Y成为边界值Y1后，接着，判定候选数是否小于5 (S115)。 在该步骤中，判定在步骤S113中记录的候选部的数量是否小于规定数(这 里为"5")。另外，该规定数不限于5，只要是在进行光点强调显示时产生 效果的程度的适当的数量即可。
在步骤S115的判定结果为候选数少于5的情况下，放大判定区域 (S116)。即，当候选部的数量少时，强调显示的效果不明显，所以，扩 大在步骤Slll中进行的周围A部的范围。这是因为，通过扩大周围A 部的范围，在步骤S112中判定为全部为Bl以上的可能性提高，候选部的数量增加。另外，在候选部的数量过多的情况下，相反地，强调显示 的部分过多，可能成为令人厌烦的图像。因此，该情况下，可以根据一
定的法则对候选部的数量进行间疏(間引<)，或縮窄区域A的范围。 在步骤S115的判定结果为候选部的数量不少于5、即为5以上的情
况下，接着，在该候选部和其周围A部的范围内，进行用于产生闪耀效
果的图像处理。首先，为了根据状况来切换闪耀效果，判定图像中是否
存在面部(S121)。
在步骤S121的判定结果为图像中包含面部的情况下，设规定时间为
tlO(S122)，另一方面，在图像中不包含面部的情况下，设规定时间为t20 (S123)。该规定时间是改变候选部的亮度后到再次改变亮度为止的时间。
在本实施方式中，如图7 (a)所示，改变面部部分的亮度并使其闪 耀时，尽快(t10)进行亮度的切换以使其不明显。另一方面，如图7 (b) 所示，在面部以外的部分中，慢慢(t20)改变。另外，在本实施方式中， 判定候选部的坐标(X, Y)处的点是否是面部图像，但是，也可以反映 图像的对比度。
进行规定时间的设定后，接着，以所记录的坐标(X, Y)为中心， 生成并显示对其周围A部的亮度进行增大后的图像(S124)。增大亮度后， 当经过在步骤S122、 S123中设定的规定时间时，使变明亮的部分回到原 来的亮度(S125)。接着，判定是否结束光点强调显示(S126)。在操作 部9中设有用于开始或结束光点强调显示的操作部件，在步骤S126中， 判定该操作部件的操作状态。另外，也可以通过操作释放按钮来执行结 束，该情况下，拍摄结束时刻的光点强调图像。
在步骤S126的判定结果为已结束的情况下，返回后述的照相机控制 的流程。另一方面，在没有结束的情况下，选择在步骤S113中记录的其 他候选部的坐标(X， Y) (S127)。选择其他候选部的坐标后，返回步骤 S121，执行上述动作。
这样，在光点强调显示的流程中，在步骤S101 S113中，检测比规 定亮度B1明亮且其周围A部的亮度全部没有B1明亮的候选部(坐标(X，
17Y))，对其进行记录。接着，针对该所记录的候选部，包含该周围A部 在内依次增大亮度，在规定时间后恢复到原来的亮度。通过反复进行该 动作，如图2和图7所示，能够进行以静态图像为基调、同时发挥动态 图像效果的图像表现。
另外，包含候选部的周围A部在内使候选部变明亮，预先将该周围 A部设定为不会令人感到厌烦而且显示时能够看到的大小，设定与整个 画面的1/30左右的大小相当的圆形部作为默认值。但是，通过用户的选 择操作，该形状也可以是相当于同样大小的星型或菱形等其他形状，另 外，大小也不限于1/30，可以适当进行变更。另外，也可以根据图像部 分的特征来变更大小和颜色等。在决定了进行光点强调的候选部及其周 围后，通过合成控制部7进行控制，但是，也可以通过控制部l来进行 步骤S121 S123中的规定时间的决定。
接着，使用图9说明执行图像合成的合成控制部7的具体结构。合 成控制部7由增益赋予部7a、乘法器7b、 7c、以及加法器7d构成。
艮P,乘法器7b与记录部3的输出和增益赋予部7a的输出连接，并 连接成向加法器7d输出这些乘法结果。乘法器7c与增益赋予部7a的输 出和光量增大部5b的输出连接，并连接成向加法器7d输出乘法结果。 增益赋予部7a与光量增大部5b的输出连接，并且输入有来自控制部1 的合成定时信号。根据光量增大部5b的输出而生成增益，并连接成向乘 法器7b、 7c输出该增益。加法器7d连接成输入有来自乘法器7b、 7c的 各输出，并连接成向输出部8输出这些加法结果。
从记录部3读出的静态图像数据被输出到乘法器7b和候选提取部4。 由候选提取部4提取出的候选部的坐标信息被输出到周边光量增大部5b 和移动控制部5a。周边光量增大部5b从候选提取部4输入候选部的位置 信息，并从移动控制部5a输入移动信息，生成增大了周边光量的图像， 将其输出到增益赋予部7a和乘法器7c。
接着，说明这样构成的合成控制部7的动作。首先，候选提取部4 从记录部3输入图像数据，提取具有光量增大效果的候选部。按照每个 像素，在加法器7d中对基于该提取出的候选部而增大了周边光量后的图像和原来的静态图像进行相加。此时，针对与原来的静态图像中的光量
增大部分相当的像素，利用增益0在乘法器7b中进行相乘，合成的光量 增大图像以增益1在乘法器7c中进行相乘后，进行相加。
通过合成定时信号来控制该图像合成，开始后，经过规定时间后结 束，此时，设光量增大图像的增益为0，原来的静态图像38的增益为1。 因此，根据合成定时信号，增益赋予部7a使增益在0和l之间变化。作 为该增益的变化，如图8 (a)、 (b)所示，在从T1到T2的期间内增大 合成用增益37，强调光点，在从T2到T3的期间内回到0，使显示图像 恢复到原来的图像。
该增益的变化具有各种变形例，例如能够选择如图8 (a)所示那样 逐渐变明亮的图案、或如图8 (b)所示突然变明亮的图案。该情况下， 可以设为如果是面部图像，则自动选择图8 (b)所示的图案，如果是 其他图像，则自动选择图8 (a)的图案。这里所示的增益变化的图案是 一个部位的候选部中的光的变化的时序图，从显示中的候选部的坐标转 移到下一候选部的坐标时的时间根据所述规定时间t10、 t20来进行切换。
该变化定时可以是能够选择，也可以是随机切换。另外，也可以根 据图像进行切换。例如，使对比度高的部分快，使对比度低的部分慢。 能够进行与图像的气氛相应的显示。
这里，作为对比度的求出方法，在图4 (b)、 (e)所示的图中，利用 亮度从规定亮度B1到峰值的高度等进行判定，或者也可以根据该峰值部 的斜率等进行判定。并且，在步骤S121 (图6)中，也可以考虑对比度 来变更规定时间。在对比度高的情况下，如果进一步扩大光点的面积， 则更有效。而且，也可以根据图像的色调，例如在带有蓝色、或带有白 色或灰色的情况下，判定为在画面上方有云，在光点扩大时，变更大小 和定时等。
接着，使用图10所示的流程图，说明这种能够进行再现显示的照相 机的照相机控制的动作。
进入照相机控制的流程后，首先判定是否是摄影模式(S201)。该照 相机10能够设定摄影模式和再现模式这两个模式。在步骤S201的判定结果为是摄影模式的情况下，转移到摄影准备。另外，在本实施方式中， 在摄影准备时的实时浏览显示时能够进行塞于光点强调的显示。
转移到摄影准备后，首先取入图像(S202)。在该步骤中，通过摄影 部2取入图像数据，根据该图像数据在液晶显示部8a上进行实时浏览显 示。并且，使用所取入的图像数据来检测是否存在面部部分，并且在存 在的情况下检测位于画面中的哪个位置。也可以在摄影时一并记录这里 检测出的与面部有关的信息。如果进行记录，则在再现时进行光点强调 显示时，能够不需要判定面部的位置。
接着，判定是否进行光点强调显示(S203)。在该步骤中，判定是否 操作了操作部9内的光点强调操作部件。在该判定结果为没有进行光点 强调的情况下，根据所取入的图像数据进行通常的实时浏览显示(S204)。 另一方面，在步骤S203的判定结果为进行了光点强调显示的操作的情况 下，进行光点强调显示(S205)。
该光点强调显示执行使用图6说明的流程。通过执行光点强调显示 的流程，如图7所示，显示具有闪耀的图像，享受摄影的乐趣。并且， 能够在摄影前一边直接观看一边确认是否是存在光点强调显示效果的图 像。
进行图像显示或光点强调显示后，接着判定是否进行了释放操作 (S206)。在该步骤中，判定是否操作了操作部9内的释放按钮。
在步骤S206的判定结果为没有进行释放的情况下，返回步骤S201， 进行所述动作。另一方面，在判定结果为进行了释放的情况下，开始摄 影和记录(S207)。这里，摄影是通过摄影部2进行的静态图像摄影或动 态图像摄影。在操作了释放按钮的情况下，也可以判定为是动态图像摄 影，另外，在动态图像或静态图像的摄影时，也可以通过集音部6来记 录声音。再现图像时，能够一并再现声音。摄影/记录结束时，结束该流 程，再次返回步骤S201。
在步骤S201的判定结果为不是摄影模式的情况下，判定是否是再现 模式(S211)。在该判定结果为不是再现模式的情况下，返回步骤S201。 另一方面，在判定结果为是再现模式的情况下，进行图像选择(S212)。
20在该步骤中，例如进行縮略图显示，将用户选择的图像作为再现候选。
接着，与步骤S203同样，判定是否进行光点强调显示(S2B)。在 该判定结果为不是光点强调显示的情况下，进行在步骤S212中选择的图 像的通常再现。该情况下，在选择图像是动态图像的情况下，直接将所 拍摄的连续图像作为动态图像进行再现，在选择图像是静态图像的情况 下，直接进行静态图像的再现显示。
并且，在步骤S213的判定结果为选择了光点强调显示的情况下，执 行使用图6说明的光点强调显示的流程(S215)。由此，如上所述，针对 亮度为规定以上、且周边没有规定以上亮度的部分的候选部，依次进行 图像的合成处理以使其变明亮，由此，能够再现显示光的闪耀进行移动 的动态图像风格的图像。在步骤S213的判定结果为没有选择光点强调的 情况下，进行通常的再现显示(S214)。进行光点强调显示或通常显示后 结束，再次从步骤S201开始执行。
如以上说明的那样，在本发明的第1实施方式中，提取像云的边缘 被太阳光照亮那样的、与周围相比明显变明亮的部分作为候选部，使该 所提取的候选部变明亮到规定的亮度以上后，再次恢复到原来的亮度。 针对多个候选部，依次实施该亮度变更的图像处理，由此，光的闪耀依 次移动。因此，与简单的静态图像不同，成为动态图像风格的再现，成 为富有变化的图像。由于图像变化，因此宛如能够看到窗外的风景变宽 广。
接着，使用图11 图13说明本发明的第2实施方式。在第1实施方 式中，随机选择候选部，换言之，不一定沿着连续线选择候选部。与此 相对，在第2实施方式中，判定是否是带状连续的明亮部分，选择连续 存在的候选部，由此，进行对带状明亮的部分附加光点的光点强调显示。
在本发明第2实施方式的结构中，除了将第1实施方式中图6所示 的光点强调显示的流程图置换为图13所示的流程图以外，与第1实施方 式相同，所以，以不同点为中心进行说明。
首先，使用图11和图12说明第2实施方式的候选部的选择。在图 11 (a)所示的云30的边缘31的闪耀印象深刻的图像中，发挥强调了该边缘31的部分的闪耀效果后，进一步加强了印象。
如图11 (a)所示取X轴Y轴，沿着沿Y轴的横线36a 36c取亮度 分布时，亮度分布如图11 (b) (d)所示。与第1实施方式同样，取 出比亮度B明亮的部分，在XY坐标轴上描绘该部分的中心的位置39a 39d时，如图12所示。
这里，可知位置39a 39c在规定宽度x2的范围内连续排列。艮卩， 能够判断为位置39a 39c是连续的带状的亮度部。另一方面，位置39d 在规定宽度x2内不存在其他明亮部分的中心点，不判断为带状的亮度部。 在本实施方式中，由于多个点不在规定宽度x2内排列，所以，在图11 (a)中位置39d的明亮部分(相当于图ll (d)的右侧峰值)，不选择这 种点作为候选部，作为光点不生成合成用图像。
接着，使用图13说明用于执行本实施方式的光点强调显示的流程。 进入本实施方式的光点强调显示的流程后，与第1实施方式同样，在步 骤S101 S107中，使判定区域分别在X轴和Y轴方向上移动。在步骤 S107中，在判定为坐标(X， Y)处的亮度比亮度B1明亮的情况下，判 定坐标(X， Y)左右的亮度(S111A)。
另外，在第l实施方式中，进行了周围A的亮度判定，但是，在第 2实施方式中，为了简化，仅判定进入周围A的范围内的左右的亮度。 当然，与第i实施方式同样，不限于左右，也可以判定周围的亮度。该 情况下，在下一步骤中，判定周围A整体是否比B1暗。
根据步骤S111A的亮度判定，接着，判定左右双方的亮度是否为B1 以下(S112A)。另外，作为这里的左右的亮度，判定周围A内的像素的 亮度，而不限于直接相邻的像素。在该步骤S112A的判定结果为周围A 内所包含的左右双方的亮度不是B1以下的情况下，返回步骤S105。
另一方面，在步骤S112A的判定结果为双方的亮度是B1以下的情 况下，临时记录坐标(X， Y) (S117)。临时记录后，接着判定坐标X是 否在上次临时记录的X士X2的范围内(S118)。如在图12中说明的那样， 判定是否位于带状范围内。这里，X2考虑了误差，例如设为AX和AY 的几倍左右的值。在该判定结果为不在范围内的情况下，返回步骤S105。另一方面，在步骤S118的判定结果为位于规定范围内的情况下，最 终记录坐标(X， Y)作为候选部(S119)。进行记录后，再次返回步骤 S105。反复执行步骤S102 S119，由此，能够记录在画面内存在于带状 的明亮部分中的候选部的坐标。
当步骤S103的判定结果为Y达到边界值Y1时，整个画面内的判定 结束，所以，接着进行光点的生成。在本实施方式中，为了进行光在画 面上从上到下(图11的Y轴方向)流动的演示，在步骤S131以后，按 照Y数据从小到大的顺序对候选部进行光点强调。
首先，按照Y从小到大的顺序读出所记录的坐标(X， Y) (S131)。 这里，读出在步骤S119中记录的坐标。接着，以所读出的坐标(X， Y) 部为中心，生成并显示对周边A部的亮度进行增大后的图像(S132)。周 边A部可以与第1实施方式同样为圆形部，也可以是其他的星型等形状。
接着，判定光点强调显示是否结束(S133)。在操作部9上设有用于 开始和结束光点强调显示的操作部件，在步骤S133中，判定该操作部件 的操作状态。
在步骤S133的判定结果为结束的情况下，返回照相机控制的流程。 另一方面，在没有结束的情况下，等待经过规定时间(S134)。经过规定 时间后，返回步骤S131，读出下一坐标(X， Y)，进行光点的显示。在 第2实施方式中，没有特别判定有无面部和对比度，但是，当然也可以 与第l实施方式同样，判定有无面部和判定对比度，来切换步骤S134中 的规定时间。
这样，在本发明的第2实施方式中，判定带状的范围内是否具有候 选部(S118)，仅在候选部进入带状范围内的情况下，最终记录为候选部。 因此，能够进行光点流动的再现。
如以上说明的那样，在本发明的第1和第2实施方式中，在摄影图 像的图像中检测比规定亮度Bl明亮的候选部，生成候选部的周围A比 规定亮度更明亮的合成用图像，合成该合成图像和原来的摄影图像，再 现该图像。因此，能够以简单的操作来再现能够适应利用电视机等进行 鉴赏的图像。即，以简单的结构，对在拍摄的瞬间完成的静态图像附加
23光的闪耀效果，由此，虽然摄影图像是静态图像，但是能够再现显示具 有变化的图像。
另外，在本发明的第1和第2实施方式中，从规定以上的亮度中选 择候选部，但是，也可以简单地检测图像的亮度饱和的部分，选择该部 分作为候选部来进行图像处理。并且，在判定亮度时，不限于实际的亮 度，当然也可以使用考虑了照相机的光圈等的进入摄像元件的光的强度、 或考虑了曝光时间和摄像元件的感光度的亮度等各种亮度。
另外，在本发明的第1和第2实施方式中，在选择候选部时，设为 第1规定以上的亮度、且范围A内的亮度全部不是第2规定以上的亮度， 该第1和第2规定亮度都是相同的亮度。但是，第1和第2规定亮度当 然也可以不同。
另外，在本发明的第1和第2实施方式中，在选择候选部时，判定 规定以上的亮度、且范围A内的亮度的全部亮度，但是，也可以不考虑 范围A内的亮度。该情况下，即使生成光点也有可能不明显，但是，通 过使光点充分明亮，能够在某种程度上使光点变得明显。
接着，使用图14 图27说明本发明的第3实施方式。本发明的第3 实施方式的照相机60也是数字照相机，能够拍摄连拍和动态图像，并在 记录介质中记录图像数据。并且，再现时，提取图像中亮度变化的部分, 将该变化部分与基准图像合成，能够再现显示亮度反复变化的合成图像。 由此，能够得到悠然自得地眺望风景的效果。
在说明本实施方式的照相机60的结构之前，使用图15和图16说明 安装了本发明的图像再现装置的照相机60中的图像再现的考虑方法。
最近的数字照相机能够简单地进行动态图像摄影，但是，随着照相 机的小型化，容易引起手抖，并且，在动态图像的摄影中，如图15 (c) 所示，有时意想不到的被摄体(这里为汽车83)进入画面。利用图16这 种大画面的电视机70再现这种图像时，手抖很令人厌烦，并且，多次看 到意外的巧合图像也很令人厌烦。
另外，像个人计算机的壁纸那样，在大画面薄型电视机70上显示原 始的摄影图像时，手抖和巧合图像也不合适。如果是静态图像，则能够解决这种问题，并且，静态图像本身能够在拍摄的瞬间作品化，是在摄 影时刻完成的图像。因此，如果是静态图像，则不需要那么麻烦，可以 满足一般的用户。
但是，在利用大画面电视机等再现显示图像的情况下，如果完全没 有任何变化则会感到单调而厌烦，所以，能够慢慢地观看有一些变化的
图像。例如，在树81的叶子摇晃、太阳光的反射光闪耀这种情景(参照 图15 (a)、 (b))、光反射到海面的波浪上这种情景等中，可以显示该光 的闪耀。光的反射等在自然界反复产生的光的效果即使反复几次，也不 会有不舒服感，存在使鉴赏者的心境平和的效果。
这样，虽然是静态图像这种没有很大变化的图像，但是，附加光的 反射等在自然界反复出现的光的变化，由此，能够进行映出宛如窗外的 风景的显示。但是，如图15 (c)所示，虽然通过的汽车83等是变化之 处，但是多次观看时会觉得不自然而且会厌烦，所以，优选不再现这种 被摄体。
根据这种考虑方法，在本实施方式的图像再现装置中，再现显示如 下的图像针对在摄影时刻完成的静态图像，仅赋予太阳的反射光的变
化，除去手抖这种难看之处，另一方面，赋予自然的光的变化。由此，
如图16所示，能够在大画面的电视机70上显示映出窗外的风景的图像。 另外，在动态图像和连拍图像的摄影时，也可以对鸟叫声等进行录音， 在图像再现时再现鸟叫声。
接着，说明上述能够再现显示图像的照相机的结构。图14是示出第 3实施方式的照相机60的电气结构的框图。照相机60具有控制部51、 摄影部52、记录部53、压縮保存部53b、代表提取部54、图像变化提取 部55、集音部56、合成控制部57、输出部58、液晶显示部58a、以及操 作部59。
控制部51由CPU (Central Processing Unit)等构成，与该照相机60 的各部连接，按照程序进行整体控制。摄影部52包含用于对被摄体成像 而得到被摄体像的光学系统、对被摄体像进行光电转换的摄像元件、对 从摄像元件输出的图像信号进行处理的图像处理部等，并输出图像数据。
25另外，该摄影部52能够输出静态图像、连拍、动态图像的图像数据。
集音部56通过麦克风等将声音转换为电信号，并输出声音信号。记 录部53根据来自控制部51的控制信号，记录从摄影部52输出的静态图 像、连拍、动态图像的图像数据。并且，与图像数据的记录一起，还进 行从集音部56输出的声音数据的记录。
代表提取部54从记录在记录部53中的图像数据中提取代表图像。 连拍图像和动态图像由一连串的多个静态图像构成，代表提取部54从这 些多个图像中提取代表图像。图像变化提取部55在构成连拍和动态图像 的一连串的多个静态图像中，对代表图像和各静态图像们进行比较，仅 提取变化的部分。该图像变化提取部55提取手抖等引起的图像整体变化 的变化量、图像中亮度变化的部分的图像信号本身(部分变化图像)。
合成控制部57针对由代表提取部54提取的代表图像，合成由图像 变化提取部55提取出的变化部分。即，合成控制部57利用哪个位置的 图像如何变化的信息，在代表图像上合成部分变化图像。压縮保存部53b 对由记录部53记录的图像数据进行压縮保存，并且，对在合成控制部57 中合成的图像数据进行压縮，并将其保存起来。
输出部58向外部设备输出记录在记录部53中的静态图像、连拍、 动态图像，并且输出到液晶显示部58a。并且，在合成控制部57中合成 的图像也输出到外部设备和液晶显示部58a。作为外部设备，例如是薄型 的电视机70等，针对外部设备，除了有线连接以外，还也可以通过红外 线或电波输出，或者也可以通过无线LAN等发送到特定的服务器。
液晶显示部58a设置在照相机60的背面上等，再现显示记录部53 的记录图像和合成控制部57合成的合成图像。操作部59包含释放按钮、 菜单按钮等操作部件，当用户对操作部59进行操作时，控制部51根据 操作向各部输出控制信号。
接着，使用图17 图21说明本实施方式的图像合成的处理。图17 示出手持拍摄的动态图像(或连拍图像)。如图17 (a) (c)所示，该 动态图像由一连串的静态图像构成，在画面内，树81的位置由于手抖而 变化。图18 (b)、 (c)将图18 (a)所示的最初的一帧作为成为基准的代 表图像，示出被摄体如何变化。这里，为了简便，示出仅纵向(y方向) 变化的状况。被摄体即树81的图像在纵向偏移以与代表图像一致，检测 差异最小时的偏移量。设该最小偏移量为变化量Ayl、 Ay2。
当使用这里求出的变化量Ayl、 Ay2来校正图17 (b)、 (c)所示的 被摄体的位置时，如图19所示。即，图17 (b)的图像在纵向上向上移 动Ayl，图17 (c)的图像在纵向上向下移动Ay2。
树81的叶子由于风而摇摆，太阳光的反射光闪耀。关于该闪耀的部 分变化82，部分变化82a、 82b、 82c及其位置时时刻刻变化。使用变化 量Ayl、 Ay2校正后，设部分变化82b、 82c的位置为yl、 y2。图20是 仅提取部分变化82a、 82b、 82c并使除此之外的部分的图像信号为最小 值的变化图像。
图21示出代表图像(基准图像)，是与图17 (a)、图18 (a)相同 的图像。针对该代表图像合成图20所示的仅提取出部分变化82的变化 图像时，能够得到由于叶子的摇摆而闪烁且反射光摇摆的图像。根据该 方法，不利用动态图像的大部分，仅记录代表图像(参照图21)、变化点 信息(yl、 y2等)、以及变化图像(参照图20)即可，所以，能够使图 像的数据量为小容量。并且，在打印时、或者利用电视机70等鉴赏静态 图像时，能够享受附加了光的效果的没有抖动的动态图像的乐趣。
接着，使用图22说明执行在图17 图21中说明的图像合成的合成 控制部57的具体结构。合成控制部57由增益赋予部57a、乘法器57b、 57c、以及加法器57d构成。
艮P，增益赋予部57a与变化图像55a的输出连接，并连接成根据该 变化图像55a向乘法器57b、 57c输出增益。乘法器57b与增益赋予部57a 的输出和变化图像55a的输出连接，并连接成向加法器57d输出乘法结 果。乘法器57c与代表图像54a的输出和增益赋予部57a的输出连接，并 连接成向加法器57d输出这些乘法结果。加法器57d连接成输入有来自 乘法器57b、 57c的各输出，并连接成向输出部58输出这些加法结果。
接着，说明这样构成的合成控制部57的动作。作为从代表提取部
2754输出的代表图像54a，使用摄影操作最初得到的图像，但是，当然也 可以是摄影者选择的图像、动态图像或连拍图像中最稳定时的图像。
从图像变化提取部55输出的变化图像55a是所述图20所示的一连 串的多个变化图像(参照图20 (b)、 (c))，部分变化82b、 82c的部分以 外为最小值。关于该变化图像55a的图像数据，按照各像素依次输入到 乘法器57b和增益赋予部57a。变化图像55a为多个，当针对最初的一帧 输入图像数据时，移动到下一帧反复进行数据输入，直到输入连续拍摄 的帧数-l帧的图像数据为止。
增益赋予部57a根据变化图像55a的各像素的数据改变增益。艮P， 关于没有变化的部分，图像数据设为最小值。在图像数据为最小值的情 况下，设乘法器57b的增益为0，乘法器57c的增益为l。另一方面，关 于有变化的部分，设乘法器57b的增益为1，乘法器57c的增益为0等， 进行强调变化部的控制。另外，也可以逐渐改变乘法器57b的增益，也 可以强调为1以上。根据情况，也可以改变颜色或使其具有变化。
当依次输入变化图像55a (图20 (b)、 (c))时，在原来的代表图像 54a (图21)中逐渐合成变化的部分并输出到输出部58。因此，再现被 由于风等而摇摆的叶子反射的太阳光闪耀的状况。在该再现时，仅需要 原来的代表图像54a (图21)和变化图像55a (图20 (b)、 (c))的图像 数据即可，不需要图19所示的用于构成动态图像的多个静态图像的图像
\1<7-. l'门数据。
接着，使用图23和图24所示的流程图，说明用于执行在图17 图 21中说明的图像合成的动作。图23是提取图像的变化部的流程。
在进入变化提取的流程后，首先，将表示构成动态图像的图像数的 变量11初始化为11=0 (S501)。在该例子中，将动态图像摄影开始时的图 像作为基准图像(代表图像)。接着，对变量n进行递增(S502)，判定 该递增后的变量n是否是与最终帧对应的值(S503)。在该判定结果为变 量n到达最终帧的情况下，返回到原来的流程。
在步骤S503的判定结果为变量n没有到达最终帧的情况下，进行变 量n和基准图像(代表图像)的比较(S504)，进行偏移量(AXn、 AYn)的判定(S505)。即，如使用图18说明的那样，偏移量是一边偏移图像 一边求出一致度、该一致度最高时的偏移量。
接着，进行亮度变化部(Xan、 Yan)的检测(S506)。在该步骤中， 如在图19中说明的那样，检测亮度变化的部分，检测其X坐标和Y坐 标。使用图26和图27在后面叙述该检测的详细情况。在检测亮度变化 部后，接着将变化部(Xan、 Yan)以外的图像数据设为最小值(S507)。 即，将变化部分以外的图像数据设为最小值，设为新的第n个图像(参 照图26 (d))。
在步骤S507中生成新的第n个图像后，将其记录为合成用图像n (S508)。如上述的图20所示，该合成用图像n是仅由亮度变化的变化 部构成的图像。记录合成用图像n后，返回步骤S502，对变量n进行递 增，执行所述动作。
接着，使用图26和图27说明步骤S506中的亮度变化部检测的子流 程。首先，使用图26说明亮度变化部的检测的考虑方法。图26 (a) (c)示出图26 (e)所示图像沿着画面规定部的横向的亮度分布。虽然 在图上没有明确记载，但是，图26 (a) (c)的横轴示出像素的位置， 纵轴示出各像素的输出。根据被摄体像的亮度形成图示的图案。
图26 (a)示出基准图像(代表图像)的明暗图案，图26 (b)是第 n个图像，这里，亮度增加AB。然后，表示帧数的变量n进一步增加， 当成为第n+m个图像时，变化部分的闪耀消失。这样，亮度差AB增加， 然后，回到原来的亮度。
在本实施方式中，不是仅把亮度变化的部分检测为亮度变化部，在 变明亮之后，判定是否再次回到原来的亮度，将满足该条件的部分作为 亮度变化部。检测出满足该条件的部分后，设该部分的范围X1 X2为 Xan。针对Y轴方向，利用同样的考虑方法，检测变化部分，设该部分 的范围Y1 Y2为Yan。
按照图26 (a) (c)的考虑方法检测出变化部Xan后，设该变化 部以外的值为最小值，由此，如图26 (d)所示，能够得到合成图像，将 该合成图像作为新的第n个图像(参照S507)。
29接着，使用图27所示的流程图说明该亮度变化部检测的动作。如上 所述，不是检测闪耀亮一下就结束的部分，而是必须检测其是否恢复到 原来的亮度。即，闪耀并不一定在一瞬间消失，像圣诞树那样闪烁一会 儿后消失的物体也存在，所以，利用是否恢复到原来的亮度来进行判定。
进入亮度变化部检测的流程后，首先，对基准图像(代表图像)和 位置校正后的第n个图像进行比较，检测变化部Xan、 Yan (S801)。在 该步骤中，如在图26 (a)、 (b)中说明的那样，检测产生亮度差AB的 变化的部分。接着，设基准图像(代表图像)的Xan、 Yan的亮度为BO (S802)。对第n个图像进行检测后，将基准图像的亮度存储为BO，以
便判定该部分的亮度是否再次回到原来的亮度。
接着，判定是否存在第n+l个图像(S803)。在该步骤中，针对动态
图像和构成连拍图像的一连串的静态图像结束亮度判定，判定是否存在 下一图像(n+l图像)。在该判定结果为存在n+l图像的情况下，求出该 n+l图像的Xan、 Yan的亮度，设其为Bl (S804)。
求出亮度Bl后，接着，判定该Bl和在步骤S802中存储的BO是否 大致相等(S805)。在该判定结果为不是大致相等的情况下，对变量n加 上1 (S807)，返回步骤S803，进行上述动作。在反复进行步骤S803 步骤S807的过程中，在步骤S805的判定中，B1和B0变得大致相等。 该情况下，判断为亮度变化且回到原来的亮度。当步骤S805的判定结果 为B1—BO时，将Xan、 Yan作为亮度变化部(S806)，返回原来的流程。
在步骤S803的判定结果为不存在n+l图像的情况下，不将Xan、 Yan 作为亮度变化部(S808)，返回原来的流程。该情况下，虽然存在局部亮 度变亮的部分，但是没有回到原来的亮度，所以不作为变化部。这样， 判定是否回到原来的亮度是为了选择即使反复变化也没有不自然感的部 分。例如，即使霓虹灯广告牌的光反复闪烁也没有不自然感，但是，在 摄影过程中熄灭了电灯的窗户的明亮部如果被判定为变化部，令其反复 闪烁会不自然，所以，在这种情况下，不将其作为变化部。
接着，使用图24所示的合成显示的流程图，说明对通过图23所示 的流程得到的合成图像(变化图像)和基准图像(代表图像)进行合成显示的动作。
进入合成显示的流程后，首先，进行初始化以使表示合成图像的顺
序的变量n为0(S601)。接着，对变量n加上l,使变量n递增(S602)。 接着，判定是否对变化图像进行了处理直到最后的图像、即变量n是否 为最后(结束)(S603)。
在步骤S603的判定结果为合成图像n不是最后的情况下，进行基准 图像和合成图像的合成(S604)。通过使用图22说明的合成控制部7来 执行该合成处理。在步骤S604中进行合成图像n和基准图像的合成后， 返回步骤S602，然后，进行合成图像n+l和基准图像的合成。反复进行 合成直到在步骤S603中判定为没有合成图像为止。
在步骤S603的判定结果为针对最后的合成图像己经结束的情况下， 判定是否进行了结束操作(S605)。在该步骤中，判定是否通过操作部59 内的操作部件指示了合成显示的结束。在该判定结果为没有进行结束操 作的情况下，返回步骤S601，再次从开始进行合成显示。
在步骤S605的判定结果为进行了结束操作的情况下，结束合成显 示，返回原来的流程。这样，反复进行步骤S601 S604，直到进行了结 束操作为止。因此，例如，尽管是广告画这种静态图像，但在其上始终 显示存在闪闪发光的部分的图像，成为与大画面电视机等相应的图像表 现。
接着，使用图25所示的流程图说明能够进行这种显示的照相机的照 相机控制的动作。
进入照相机控制的流程后，首先，判定是否是摄影模式(S701)。该 照相机60能够设定摄影模式和再现模式这两个模式。在步骤S701的判 定结果为是摄影模式的情况下，判定是否进行了释放操作(S702)。在该 步骤中，判定是否操作了操作部59内的释放按钮。
在步骤S702的判定结果为没有进行释放的情况下，返回步骤S701， 进行上述动作。另一方面，在判定结果为进行了释放的情况下，开始连 续摄影(S703)。这里，连续摄影是通过摄影部52进行的动态图像摄影 和连拍摄影，动态图像和连拍可以由用户通过菜单模式等预先适当设定。并且，开始集音(S704)。通过集音部6进行集音。接着进行记录动作 (S705)。通过步骤S703和S704开始摄影和集音，所以，在该步骤中， 开始图像和声音的记录。
开始图像和声音的记录后，接着，判定是否是移动体摄影(S706)。 例如，在运动会中孩子正在跑步的场景中，提取上述这样的变化部的图 像合成是不合适的，所以，判定被摄体是否不是移动体。即，关于画面 中心的运动矢量在相同方向上持续变化的场景，被摄体可以被认为是移 动体，所以，如本实施方式那样对静态图像附加变化的再现方法是不合 适的。因此，检测运动矢量，判定被摄体是否是移动体。
在步骤S706的判定结果为不是移动体摄影的情况下，进行静态被摄 体判定(S708)。该静态被摄体判定与图像数据一起被记录，在判定再现 时是否是静态被摄体时加以利用(参照S714)。
当步骤S708的静态被摄体判定的记录结束后，或者步骤S706的判 定结果为是移动体摄影的情况下，接着判定摄影是否结束(S707)。在连 续摄影的情况下，最初操作释放按钮时，开始连续摄影，再次操作释放 按钮时，结束连续摄影。因此，在该步骤中，判定是否再次操作了释放 按钮。
在步骤S707的判定结果为摄影没有结束的情况下，返回步骤S705， 继续执行连续摄影。另一方面，在步骤S707的判定结果为摄影结束的情 况下，结束摄影和声音记录(S709)。结束后，再次返回步骤S701。
在步骤S701的判定结果为不是摄影模式的情况下，判定是否是再现 模式(S711)。在该判定结果为不是再现模式的情况下，返回步骤S701。 另一方面，在判定结果为是再现模式的情况下，进行图像选择(S712)。 在该步骤中，例如进行縮略图显示，将用户选择的图像作为再现候选。
接着，判定是否进行电视输出(S713)，在该判定结果为是电视输出 的情况下，判定是否是静态被摄体(S714)。根据菜单模式的设定状态来 判定是否是电视输出，并且，根据在步骤S708中记录的静态被摄体判定 来进行是否是静态被摄体的判定。另外，不限于电视输出，在其他外部 输出的情况下，也可以同样处理。另外，也可以在再现连续图像时检测
32运动矢量，从而判定是否是静态被摄体。
在不满足步骤S713和S714这两个条件的任一个的情况下，进行通常再现(S719)。在该通常再现中，直接再现所拍摄的连续图像。例如，在运动会中孩子跑步这种场景中，不需要本实施方式这种强调静态图像的好处，利用动态图像本身进行表现即可，所以，如所拍摄的那样进行再现。
另一方面，在步骤S713和S714这两个条件都满足的情况下，进行变化部提取(S715)。在该步骤中，执行使用图23说明的变化提取部的子流程。接着，开始声音再现(S716)。
接着，开始合成显示(S717)。这里，开始使用图24说明的合成显示的子流程。在步骤S716中开始声音，这里，假设声音为鸟叫声或波浪的声音等，能够结合图像的变化聆听周围的声音。在步骤S717中开始图像合成，并再现显示该合成图像，但是，不对声音进行特别的处理，而反复再现在摄影期间中得到的声音。
接着，判定再现是否结束(S718)。在该步骤中，判定是否操作了操作部59内的再现操作部件。在该判定结果为再现没有结束的情况下，返回步骤S717，继续进行连续摄影的再现动作。在步骤S718的判定结果为再现结束的情况下，结束声音和图像的再现(S720)。
接着，进行合成动态图像的文件化(S721)。这里，生成在步骤S715 S718中合成的合成动态图像的文件。例如如果能够将该合成动态图像文件传送到其他设备，则即使是照相机60以外的外部再现装置，也能够同样进行图像再现。
如以上说明的那样，在本实施方式中，设置从摄影图像中提取相对于基准图像依次变化的部分的图像的图像变化提取部55、和在基准图像上依次合成变化部分的图像的合成控制部57。因此，能够以简单的操作来再现也能够适合利用电视机等进行再现的图像。并且，相对于静态图像的完成度，添加作为动态图像的变化进行显示，所以，在构图的稳定度方面，能够富有美感地表现时间的移动，能够提供能够平心静气地进行鉴赏的图像。另外，在本实施方式中，是如静态图像那样在拍摄瞬间完成的图像，但附加风的微微摇动、波浪反射引起的光的闪耀、霓虹灯广告牌信号、或圣诞树等光的变化，使得富有变化的图像再现成为可能。
另外，在本实施方式中，将最初拍摄瞬间的图像作为基准图像(代表图像)，但是，当然，如果在摄影中途存在更稳定的图像，则也可以将其作为代表图像。另外，设为提取变化部分向明亮方向变化的情况，但是不限于此，也可以将向暗方向变化的部分作为变化部分。另外，针对变化部分，也可以考虑除亮度附加外还变更颜色等的处理，由此，可以在自然的基础上添加超现实的感觉。
另外，在本实施方式中，使用记录在记录部53中的动态图像，在代表提取部54、图像变化提取部55、合成控制部57中进行图像处理，但是，该图像处理不限于记录在记录部53中的动态图像，当然也可以使用在摄影前从摄影部52输出的动态图像的图像数据来进行。
另外，在本实施方式中，照相机60进行摄影，并且，还作为图像再现装置发挥功能，但是不限于此，例如，也可以将由照相机60连续拍摄的图像数据安装到个人计算机上，根据该图像数据提取变化部，再现显示与基准图像合成后的图像。
在本发明的各实施方式中，记录摄影图像的图像数据，从该所记录的图像数据中提取特征点，使所提取的特征点以动态图像的方式进行变化，对图像数据进行图像合成并显示。因此，能够以简单的操作来再现能够适合于利用电视机等进行鉴赏的图像。另外，在本发明的各实施方式中，提取特征点时，提取动态图像的变化部分、静态图像中比周围明亮的部分，但是不限于此，例如也可以采用提取颜色变化的部分等其他提取方法。
另外，在本发明的各实施方式中，以动态图像的方式变化时，仅从动态图像中提取变化部分，将其与基准图像进行合成，或者对静态图像中比周围明亮的部分进行放大并合成，但是不限于此，也可以以动态图像的方式依次改变选择部分，或者，也可以利用选择动态图像中比周围明亮的部分并放大该部分等各种方法、以动态图像的方式进行变化。
34另外，在本发明的各实施方式中，利用照相机60、 IO进行摄影，将该照相机60、 10与外部的电视机70、 20等连接，将其作为图像再现装置加以利用，但是不限于此，例如，也可以将由照相机60、 IO拍摄的图像数据安装到个人计算机等上，根据该图像数据来合成图像，利用个人计算机的显示部或外部电视机等显示装置来再现显示合成后的图像。
另外，在本发明的各实施方式中，作为再现用的设备，使用数字照相机进行了说明，但是，作为照相机，可以是数字单反照相机，也可以是紧凑型数字照相机，还可以是摄像机、电影照相机这种动态图像用的专用照相机，而且，也可以是便携电话、便携信息终端(PDA: PersonalDigital Assist)等中内置的照相机。任何情况下，只要是能够再现静态图像和动态图像、连拍等连续摄影的图像的设备即可。
本发明不限于上述实施方式，在实施阶段中能够在不脱离其主旨的范围内对结构要素进行变形并具体化。另外，通过上述实施方式所公开的多个结构要素的适当组合，能够形成各种发明。例如，可以从实施方式所示的所有结构要素中删除几个结构要素。另外，还可以适当组合不同实施方式中的结构要素。
权利要求
1.一种图像再现装置，其中，该图像再现装置具有候选位置判定部，其根据数字图像，判定多个光点面积放大候选位置，该多个光点面积放大候选位置的亮度在规定亮度以上且其周边没有上述规定亮度以上的部分；位置选择部，其根据上述多个光点面积放大候选位置来决定所选择的位置；以及光点面积放大控制部，其以上述所选择的位置为中心，形成上述规定亮度以上的部分。
2. 根据权利要求l所述的图像再现装置，其中，上述图像再现装置还具有定时器单元，该定时器单元对规定时间进行计时，在对上述所选择的位置进行了光点面积放大控制后经过了上述规定时间后，上述位置选择部根据其他上述候选位置来决定所选择的位置，进行上述光点面积放大控制。
3. 根据权利要求2所述的图像再现装置，其中，上述图像再现装置还具有图像特征判定部，该图像特征判定部判定图像内的人物的面部图案和对比度，关于上述规定时间，利用上述所选择的位置和面部位置、对比度之间的关系来决定上述规定时间。
4. 根据权利要求1所述的图像再现装置，其中，上述候选位置判定部还具有第2候选判定部，该第2候选判定部根据所判定的上述多个光点面积放大候选位置，判定相邻的候选位置是否位于规定范围内，由此缩小候选位置。
5. —种图像再现装置，其中，该图像再现装置具有候选位置判定部，其根据数字图像，判定多个光点面积放大候选位置，该多个光点面积放大候选位置的亮度在规定亮度以上、且周边没有上述规定亮度以上的部分、且上述规定亮度以上的部分的位置相邻；以及光点面积放大控制部，其以上述所选择的位置为中心，形成上述规定亮度以上的部分。
6. —种图像再现装置，其中，该图像再现装置具有-候选检测部，其在摄影图像的图像中，检测比规定亮度明亮的候选部；合成图像生成部，其生成上述候选部的周围比规定亮度更明亮的合成用图像；以及再现显示部，其对上述合成图像和原来的摄影图像进行合成，再现该合成得到的图像。
7. 根据权利要求6所述的图像再现装置，其中，在亮度比上述规定亮度明亮、且其周围全都没有规定亮度明亮的情况下，上述候选检测部将其检测为上述候选部。
8. 根据权利要求6所述的图像再现装置，其中，仅在上述候选部在规定范围内相邻的情况下，上述候选检测部最终将其决定为候选部。
9. 根据权利要求6所述的图像再现装置，其中，上述再现显示部根据上述摄影图像的特征，变更对上述合成图像进行合成并再现显示的间隔。
10. —种图像再现方法，其中，在摄影图像的图像中，检测比规定亮度明亮的候选部；生成上述候选部的周围比规定亮度更明亮的合成用图像；对上述合成图像和原来的摄影图像进行合成，再现该合成得到的图像。
11. 根据权利要求10所述的图像再现方法，其中，在上述候选部的检测时，在比上述规定亮度明亮、且其周围全都没有规定亮度明亮的情况下，将其检测为上述候选部。
12. —种图像再现装置，其中，该图像再现装置具有存储部，其存储基准图像和连续拍摄的摄影图像；提取部，其从上述摄影图像中，提取相对于上述基准图像依次变化部分的图像；以及合成部，其在上述基准图像上依次合成上述变化部分的图像，该图像再现装置能够显示通过上述合成部合成的多个图像。
13. 根据权利要求12所述的图像再现装置，其中，上述图像再现装置具有对第1再现模式和第2再现模式进行切换的切换部，该第1再现模式原样再现连续拍摄的上述摄影图像，该第2再现模式显示通过上述合成部合成的多个图像。
14. 根据权利要求12所述的图像再现装置，其中，上述图像再现装置具有摄像部，其将被摄体像转换为图像数据；以及录音部，其对周围的声音进行记录，当再现由上述摄影部拍摄的连续图像时，再现由上述录音部录音的声音。
15. 根据权利要求12所述的图像再现装置，其中，上述提取部依次对上述基准图像和上述摄影图像中的多个图像进行比较，提取亮度随时间变化的部分、且该亮度变化部分的亮度恢复到原来亮度的部分的图像。
16. —种图像再现方法，其中，该图像再现方法能够实现以下步骤存储基准图像和连续拍摄的摄影图像；从上述摄影图像中，提取相对于上述基准图像依次变化部分的图像；在上述基准图像上依次合成上述变化部分的图像；以及显示上述合成的多个图像。
17. —种图像再现装置，其中，该图像再现装置具有存储部，其存储摄影图像的图像数据；特征点提取部，其在上述图像数据中提取特征点；图像处理部，其以动态图像的方式改变由上述特征点提取部提取出的上述特征点，并对上述图像数据进行图像合成；以及显示部，其显示由上述图像处理部合成的图像数据。
18. 根据权利要求17所述的图像再现装置，其中，上述特征点提取部提取亮度在规定亮度以上且周边没有上述规定亮度以上部分的部分，上述图像处理部以所提取部分的位置为中心，放大上述规定亮度以上的部分。
19. 根据权利要求18所述的图像再现装置，其中，上述图像数据是动态图像或连续图像的图像数据，上述特征点提取部提取相对于基准图像依次变化部分的图像，上述图像处理部针对上述基准图像依次合成上述变化部分的图像。
全文摘要
本发明提供能够以简单的操作而适合于电视机等的再现的图像再现装置和图像再现方法。图像再现装置具有候选提取部(4)，其从数字图像中提取规定以上的亮度且周边没有规定亮度以上的部分的多个候选部的位置；移动控制部(5a)，其根据多个候选部的位置来决定所选择的位置；周边光量增大部(5b)，其在所决定的候选部的各位置中，以该候选部的位置为中心，生成使其周围的亮度变明亮的合成用图像；以及合成控制部(7)，其将合成用图像与原来的数字图像进行合成。
文档编号H04N5/232GK101640763SQ200910161468
公开日2010年2月3日 申请日期2009年7月31日 优先权日2008年8月1日
发明者野中修, 饭塚博 申请人:奥林巴斯映像株式会社