专利名称：图像再现系统及图像再现方法
技术领域：
本发明涉及一种图像再现装置和图像再现方法，具体地讲，涉及一 种娱乐欣赏利用数码照相机等摄像装置拍摄的图像的图像再现系统和图 像再现方法。
背景技术：
近年来，数码照相机等摄像装置得到普及。在欣赏利用摄像装置拍摄的图像时，不仅可以打印，还可以简单地在个人电脑(PC)、手机、电视机等的屏幕上进行欣赏。在这些设备中，作为欣赏摄影图像的方法采 取幻灯片放映的方法，与顺序观看打印的照片时相同，在屏幕上顺序再 现图像。但是，幻灯片放映只是单纯地顺序切换图像，全部看完需花费 时间，而且比较单调，所以目前状况可以说没怎么得到普及。为了提高这种幻灯片放映方法的附加价值，专利文献1公开了一种 幻灯片放映再现方法，该方法将构成幻灯片放映的各个脸部图像的集合 照片合成并插入到幻灯片放映中。即，在该再现方法中，从脸部图像的 数量多的组的代表图像开始排列顺序，确定图像的尺寸并生成集合场景， 将该集合场景插入到幻灯片放映的最后场景。专利文献1日本特开2007—249371号公报在前述专利文献1所述的幻灯片放映再现方法中，不能适用于脸部 图像以外的图像。并且，需要重新生成代表图像，导致代表图像的生成 花费功夫和时间。另外，代表图像被限定为"脸部图像的集合照片"这样 的预测范围，不能对用户提供迫切的期待感和乐趣。发明内容本发明就是鉴于上述情况而提出的，其目的在于，提供一种图像再现装置和图像再现方法，其可以适用的图像范围广，并可以在短时间内生成，可以给予用户期待感和乐趣。
为了达到上述目的，第一发明涉及的图像再现系统具有记录部，其记录有与多个图像对应的图像数据；代表图像选择部，其从记录在所
述记录部中的图像数据中选择与代表图像对应的图像；检索部，其检索
包含如下的图像数据的内容包该图像数据对应于和所述代表图像类似的图像；和幻灯片放映再现部，其把与由所述检索部检索到的内容包中
包含的图像数据对应的图像作为构成幻灯片放映的图像的一部分，再现所述多个图像。
第二发明涉及的图像再现系统在所述第一发明中，所述幻灯片放映再现部把由所述检索部检索到的内容包中包含的开头图像作为构成幻灯片放映的图像的一部分，再现所述多个图像。
第三发明涉及的图像再现系统在所述第一发明中，所述幻灯片放映再现部把由所述检索部检索到的内容包中包含的封套作为构成幻灯片放映的图像的一部分，再现所述多个图像。
第四发明涉及的图像再现系统在所述第一发明中，所述幻灯片放映再现部把与由所述检索部检索到的内容包中包含的图像数据对应的图像作为开头图像，再现所述多个图像，同时再现所述内容包中包含的音乐数据。
第五发明涉及的图像再现系统在所述第一发明中，所述幻灯片放映再现部把与由所述检索部检索到的内容包中包含的图像数据对应的图像作为构成幻灯片放映的图像的一部分，再现所述多个图像，同时再现所述内容包中包含的音乐数据。
第六发明涉及的图像再现方法包括从记录了与多个图像对应的图像数据的记录部中，选择与代表图像对应的图像数据的步骤；检索包含如下的图像数据的内容包的步骤该图像数据对应于和所述代表图像类似的图像；把与由所述检索部检索到的内容包中包含的图像数据对应的图像作为构成幻灯片放映的图像的一部分，再现所述多个图像的步骤。
第七发明涉及的图像再现方法包括检索部，其从记录有与多个图
7像对应的图像数据的记录部中检索包含如下的图像数据的内容包该图像数据对应于和多个图像中所包含的代表图像类似的图像；再现部，其利用与再现所述多个图像的设备相同的设备来再现所述检索到的内容包中包含的内容。
第八发明涉及的图像再现方法包括从记录有与多个图像对应的图像数据的记录部中检索包含如下的图像数据的内容包该图像数据对应于和多个图像中所包含的代表图像类似的图像；利用与再现所述多个图像的设备相同的设备来再现所述检索到的内容包中包含的内容的步骤。
第九发明涉及的图像显示方法包括从记录有与多个图像对应的图像数据的记录部中，检索包含如下的内容数据的内容包的步骤该内容数据对应于和多个图像中所包含的代表图像相关联的数据；利用与再现所述多个图像的设备相同的设备来再现所述检索到的包中包含的内容的
' 第十发明涉及的图像再现用服务器具有临时存储部，其接收从摄影图像中指定的代表图像，并临时存储该代表图像；图像存储部，其存储内容的图像；检索部，其对所述代表图像和存储在所述图像存储部中的图像进行比较，检索与所述代表图像类似的辅助图像；以及通信部，其输出由所述检索部检索到的所述辅助图像。
第十一发明涉及的图像再现用服务器在所述第十发明中，具有从所述内容的图像中检测文字并删除的图像加工部，所述检索部使用由所述图像加工部删除文字后的图像来检索所述辅助图像。
第十二发明涉及的图像再现用服务器在所述第十发明中，具有摄影图像存储部，其接收并记录摄影图像；代表图像存储部，其存储从所述摄影图像中指定的代表图像；依次再现部，其在进行幻灯片放映的再现显示时，使所述代表图像在再现显示了所述辅助图像后再进行再现显示；发送部，其发送由所述依次再现部赋予了顺序的图像。
第十三发明涉及的图像再现用服务器在所述第十二发明中，所述依次再现部使所述辅助图像在所述幻灯片放映的开头或最后进行再现显示。第十四发明涉及的图像再现用服务器在所述第十二发明中，所述图像存储部还存储与所述内容的图像相关联的音乐，在进行幻灯片放映的再现时，发送所述音乐的再现用数据。
第十五发明涉及的图像再现用服务器在所述第十二发明中，所述图像存储部还存储与所述内容的图像相关联的动态图像，在进行幻灯片放映的再现时，在再现显示所述图像之后发送所述动态图像的数据。
第十六发明涉及的图像再现用服务器具有图像存储部，其存储内容的图像；检索部，其对多个摄影图像和存储在所述图像存储部中的图
像进行比较，把类似程度高的图像检索为辅助图像；通信部，其输出由
所述检索部检索到的所述辅助图像。
第十七发明涉及的图像再现用程序，对从摄影图像中指定的代表图像和内容的图像进行比较，并检索与所述代表图像类似的辅助图像，在进行幻灯片放映的再现显示时，使所述代表图像在再现显示所述辅助图像后再进行再现显示。
第十八发明涉及的图像再现用程序，从摄影图像中指定代表图像，对该指定的代表图像和内容的图像进行比较，为了检索与所述代表图像类似的辅助图像，而将所述代表图像发送给外部装置，从所述外部装置接收所述辅助图像，在进行幻灯片放映的再现显示时，使所述代表图像在再现显示了所述辅助图像后再进行再现显示。
根据本发明，可以提供一种图像再现装置和图像再现方法，其能够适用的图像范围广，并可以在短时间内生成，可以给予用户期待感和乐趣。
图1是表示本发明的第1实施方式涉及的由照相机和个人电脑构成的图像再现系统的结构的方框图。
图2是表示在本发明的第1实施方式涉及的图像再现系统中，用户对图像再现系统的使用状态的图，(a)表示进行拍摄的情况，(b)表示将照相机的摄影图像存储在个人电脑中的情况，(c)表示利用电视机欣
9赏幻灯片放映的情况，(d)表示在幻灯片放映时再现显示辅助图像的情 况。
图3表示在本发明的第1实施方式涉及的图像再现系统中，为了检 索与代表图像类似的辅助图像而删除文字的示例图，(a)表示音乐CD等 的封套(jacket)的图像，(b)表示从(a)的图像中删除文字后的图，(c) 表示代表图像。
图4是表示本发明的第1实施方式涉及的照相机的照相机控制的动 作的流程图。
图5是表示本发明的第1实施方式涉及的照相机的图像一致程度判 定的动作的流程图。
图6是表示本发明的第2实施方式涉及的由照相机和服务器构成的 图像再现系统的结构的方框图。
图7是表示在本发明的第2实施方式涉及的图像再现系统中，图像 等的流程与再现显示的关系的图。
图8是表示本发明的第2实施方式涉及的照相机的照相机控制的动 作的流程图。
图9是表示本发明的第2实施方式涉及的服务器的服务器控制的动 作的流程图。
图10是表示本发明的第3实施方式涉及的由照相机和服务器构成的 图像再现系统的结构的方框图。
图11是表示在本发明的第3实施方式涉及的图像再1L系统中，图像 等的流程与再现显示的关系的图。
图12是表示在本发明的第3实施方式的第1变形例涉及的图像再现 系统中，图像等的流程与再现显示的关系的图。
图13是表示在本发明的第3实施方式的第2变形例涉及的图像再现 系统中，辅助内容确定的动作的流程图。
标号说明
1摄影部；2图像记录部；3图像选择部；4通信及控制部；5显示部；6幻灯片放映部；6A辅助数据部；7顺序控制部；8类似图像检索部; 8a脸部检测文字检测及加工部；9辅助内容记录部；IO照相机；12摄影 图像；12a代表图像；20个人电脑；21内容封套记录部；22辅助图像； 23脸部检测文字检测及加工部；24通信及控制部；25代表图像临时存储 部；25A代表图像及数据临时存储部；26图像记录部；27关联信息检索 部；28顺序再现部；29网络发布部；30电视机；40服务器；100摄影图 像；IIO封套图像；lll图像部分；120动态图像。
具体实施例方式
以下，参照附图使用应用了本发明的图像再现系统说明优选的实施
方式。图1是表示本发明的第1实施方式涉及的、由照相机io和个人电
脑20和电视机30构成的图像再现系统的结构的方框图。
照相机10是拍摄被摄体并获取图像的数码照相机。个人电脑20可 以连接照相机10，如后面所述存储音乐CD等的封套的图像数据等。电 视机30可以连接照相机10，根据在照相机10内部生成的幻灯片放映的 图像数据，再现显示幻灯片放映。另外，照相机10与个人电脑20的连 接除采用电缆等的有线连接、电波和红外线等无线连接外，也包括通过 USB存储器等存储介质的信息传递。
照相机10具有摄影部1、图像记录部2、图像选择部3、通信及控 制部4、显示部5、幻灯片放映部6、顺序控制部7、类似图像检索部8、 脸部检测文字检测及加工部8a、和辅助内容记录部9。通信及控制部4 进行照相机10的整体控制，并且在与个人电脑20和电视机30连接时进 行通信。
摄影部1包括用于成像被摄体像的光学系统、对被摄体像进行光电 转换的摄像元件、处理从摄像元件输出的信号的图像处理部等，输出图 像数据。图像记录部2记录从摄影部1输出的图像数据。显示部5进行 记录在图像记录部2中的图像的再现显示等的显示。图像选择部3根据 来自操作部件的摄影者指示，选择代表图像。
类似图像检索部8从记录在个人电脑20等中的图像等中，检索与图像选择部3指示的代表图像类似的辅助图像。在本实施方式中，对音乐
CD等内容的封套的图像等和摄影图像进行比较，检索与摄影图像类似的图像。
脸部检测文字检测及加工部8a进行从图像中检测脸部、删除文字的 处理。在内容封套中往往不仅包含图像，还包含标题和著作者和艺术家 名，此外还有商标、出版社名称等文字。因此，利用脸部检测文字检测 及加工部8a的文字检测部，从图像中删除文字等，类似图像检索部8对 删除文字后的音乐CD等的封套的图像和摄影图像进行比较，检索与摄 影图像类似的图像(即辅助图像)。
辅助内容记录部9记录由类似图像检索部8检索到的辅助图像。并 且，也记录与辅助图像相关联的信息，例如在音乐CD等的内容中记录 的音乐(语音数据)、该音乐的歌词的文本数据等。
幻灯片放映部6将记录在图像记录部2中的代表图像和摄影图像、 及记录在辅助内容记录部9中的辅助图像等组合，使显示部5进行幻灯 片放映。顺序控制部7控制进行幻灯片放映时的图像的再现显示的顺序。
个人电脑20具有通信及控制部24和内容封套记录部21 。通信及控 制部24进行个人电脑20的整体控制，并且在连接照相机10的通信及控 制部4时，进行通信的控制。内容封套记录部21存储LP唱片、音乐CD、 DVD等的内容的封套的图像、和书的封皮图像、音乐和歌词等与内容相 关的信息。即，内容包括己有的漫画、动画、电视节目、电影、音乐等 各种内容，在内容封套记录部21中存储有与这些内容相关联的图像及相 关信息。
在本实施方式中，照相机10通过通信及控制部4和个人电脑20的 通信及控制部24，从内容封套记录部21获取这些信息。但是，除这种方 法之外，还可以从个人电脑20通过因特网等网络从外部服务器等获取， 并且，照相机10还可以通过因特网等网络直接访问外部服务器等，并获 取这些信息。除这种方法之外，还可以利用存储卡等记录了这些信息的 记录介质。
下面，使用图2说明本实施方式的动作。首先，如图2 (a)所示，使用照相机10进行摄影。然后，如图2 (b)所示，将照相机10连接到 个人电脑20。此时，用户一边观看在显示部8上再现的摄影图像一边选 择代表图像。照相机10的类似图像检索部8等进行与代表图像类似的辅 助图像的检索，将检索到的辅助图像记录在辅助内容记录部9中。
利用照相机10拍摄的图像可以在照相机10的显示部5上以常规的 1帧为单位进行再现显示或幻灯片放映来欣赏，还可以如图2 (c)所示， 连接到电视机30，与朋友等更多的人一起观看欣赏。并且，在利用电视 机30再现显示进行欣赏时，如图2 (d)所示，作为导入用图像，可以再 现显示大家都知道的内容(辅助图像)，做好幵始欣赏时的心理准备。
图2 (d)所示的幻灯片放映不是只再现摄影图像的1帧，而是在从 摄影图像中选择多帧通过幻灯片放映的方式进行欣赏时，将作为辅助内 容(辅助图像)被检索出的音乐CD等的封套组合起来进行显示。艮P， 在再现显示图2 (c)所示的摄影图像100之前，如图2 (d)所示，显示 与摄影图像IOO类似的封套图像110。通过显示这种辅助内容(此时为封 套图像110),与单纯地仅显示摄影图像100时相比，可以诱发欣赏者的 兴趣。
另外，如果把记录在该音乐CD中的音乐用作BGM，还可以有助于 烘托氛围。即，作为辅助图像的基础的音乐CD的音乐是与摄影图像具 有的氛围相同的封套的音乐，所以感觉自然协调的情况居多，可以节省 特意选曲的时间。
并且，在把图3 (a)所示的音乐CD的封套的封套图像110作为检 索对象进行类似图像的检索时，如图3 (b)所示，删除文字部分，只单 纯提取图像部分111。并且，进行图3 (c)所示的摄影图像100与图3 (b) 所示的图像部分111的比较，进行与摄影图像IOO类似的图像的检索。
另外，在检索类似图像时，也可以利用画面内的脸部的位置和大小 的信息。近年来，在照相机领域中，为了结合对焦和曝光，正在进行从 画面内确定脸部位置的技术的研究，也可以应用这种技术。
下面，使用图4所示的流程图说明本实施方式的照相机10的动作。 在进入照相机控制的流程后，首先进行是否已设定为再现模式的判定(Sl)。该照相机10可以使用再现模式和摄影模式这两种模式。在判定 结果是没有设定再现模式时，判定为是摄影模式，然后检测快门释放按
钮的操作状态，进行是否进行摄影的判定(S2)。
在判定结果是不摄影时，返回步骤S1，而在进行摄影时，执行摄影 动作(S3)。摄影动作是在摄影部1中获取被摄体像的图像数据，将该图 像数据记录在图像记录部2中。在摄影动作结束后返回，返回步骤S1。
在步骤S1的判定结果是再现模式时，检测再现按钮等的操作状态， 进行是否进行再现的判定(Sll)。在判定结果是进行再现时，进入步骤 S12及其以后的步骤，执行再现模式。在本实施方式的再现模式下，除常 规的再现显示和普通的幻灯片放映外，还可以进行结合了辅助内容的幻 灯片放映的再现显示。
然后，进行是否进行数据库(DB)通信的判定(S13)。照相机10 的用户在获得作为辅助内容的辅助图像时，用户进行该意图的操作，所 以在该步骤进行是否已进行了操作的判定。在判定结果是进行DB通信 时，然后进行是否进行类似图像的检索的判定(S21)。此处判定用户是 否已进行开始检索的操作。
在步骤S21的判定结果是没有开始检索时，返回步骤S1。而在判定 结果是开始检索时，指定代表图像(S22)。在该步骤，使显示部5顺序 地再现显示记录在图像记录部2中的摄影图像，用户根据喜好从该再现 显示的摄影图像中指定代表图像。
在代表图像的指定结束后，进行与所选择的代表图像类似的图像的 检索(S23)。将在后面使用图5说明检索该类似图像的图像一致性判定 的子程序。然后，对于在步骤S22指定的代表图像，判定与全部对象图 像的图像一致性，并判定是否结束(S25)。在判定结果是没有结束时， 变更对象图像(S27)，返回步骤S23，进行相对于在步骤S27中变更过 的对象图像的图像一致性判定。
在步骤S25，在判定为已结束与全部对象图像的图像一致性判定时， 接着获取一致性最大的图像(S26)。在步骤S23的图像一致性判定的子 程序中，对于每个对象图像都将一致性数值化，所以在该步骤中获取在判定了一致性的对象图像中一致性的数值最大的对象图像，把其作为辅 助图像。在获取了一致性最大的图像后返回，从步骤S1开始执行。另外， 在幻灯片放映中与辅助图像一起再现显示的代表图像通常为1帧，但在 有多帧时，重复多次进行代表图像的选择。
在步骤S13的判定结果是不进行DB通信时，然后进行是否进行幻 灯片放映的判定(S14)。在判定结果是不进行幻灯片放映时，进行常规 的再现显示、例如从縮略再现开始的选择图像的再现显示(S15)。而另 一方面，在进行幻灯片放映时，执行步骤S31及其以后的步骤，犹如幻 灯片放映的打开画面那样再现辅助图像(在步骤S26获取的图像)，然后 再现显示代表图像，然后按照拍摄的时间序列以幻灯片放映的形式顺序 地再现显示摄影图像。
关于幻灯片放映，首先进行是否已接收了图像的判定(S31)。艮P， 进行是否已在步骤S13进行DB通信、并在步骤S26获取了辅助通信的 判定。
在判定结果是已接收图像时，进行是否进行外部输出的判定(S32)。 当在照相机10上连接电视机30、并且如图2 (c) (d)所示由多人进行 欣赏时，在该步骤进行将幻灯片放映的图像数据输出给电视机30等外部 设备的外部输出。在判定结果是进行外部输出时，从通信及控制部4向 电视机30等外部设备输出辅助图像、代表图像、摄影图像等的图像数据 等。在图像外部输出结束后返回，从步骤l开始执行。
在步骤S32的判定结果是不进行外部输出时，进行辅助图像的再现 (S33)，然后进行代表图像的再现(S34)。在代表图像的再现结束后， 按照摄影日期时刻顺序依次幻灯片放映摄影图像(S35)。
这样在通常的幻灯片放映之前，再现显示与代表图像类似的辅助图 像，然后再现显示代表图像。即，如图2 (d)所示，首先再现辅助图像， 增加幻灯片放映将要开始的感觉，然后如图2 (c)所示，开始再现摄影 图像。在辅助图像之后输出的图像是成为类似图像的检索基础的代表图 像。通过显示代表图像，可以使欣赏者理解为什么显示该辅助图像。图1 中的顺序控制部7进行这种排序。在步骤S31的判定结果是没有结束图像接收时，不检索辅助图像，
跳过步骤S33、 S34，执行步骤S35的按照时间序列的幻灯片放映。在按 照时间序列的幻灯片放映结束后返回，从步骤S1开始执行。
下面，使用图5所示的流程图说明步骤S23的图像一致性判定的子 程序。在判定图像一致性时，需要注意在内容封套记录部21等的数据库 (DB)中存储的DB图像的纵横尺寸比与摄影图像不同。
例如，在像LP唱片和音乐CD的封套那样正方形图像和普通数码照 相机的4: 3的图像中，直接比较一致性比较困难。因此，在本实施方式 中，根据DB图像的纵横尺寸比，在切取了摄影图像的中央部分后再进 行比较。并且，在这样切取的范围中进行图像的类似程度的比较，同时 检测脸部的位置，使用删除了文字的图像进行比较。
在进入图像一致性判定子程序后，首先进行在步骤S22指定的代表 图像的脸部的数量和位置的判定(SIOI)。然后，根据步骤SIOI的判定 结果，判定代表图像中是否有脸部(S102)。在判定结果是有脸部时，从 记录在作为数据库(DB)的内容封套记录部21中的图像中选择具有脸 部的图像(S103)。在该步骤，从多个图像中选择一个对象图像。通过前 面叙述的步骤S27的处理，选择下一个对象图像，并在步骤S25中判定 是否已对全部对象图像结束处理。
然后，在与记录在内容封套记录部21中的图像的纵横尺寸比一致的 范围中，与代表图像进行比较(S104)。并且，在考虑了记录在内容封套 记录部21中的图像和纵横尺寸比的范围中，选择脸部的位置和脸部的数 量相同的图像(S105)。
在步骤S102的判定结果是代表图像中没有脸部时，从记录在内容封 套记录部21中的图像中选择没有脸部的图像(Slll)。并且，在与记录 在内容封套记录部21中的图像的纵横尺寸比一致的范围中，与代表图像 进行比较(S112)。
在步骤S105或S112的处理结束后，然后进行所选择的图像中是否 存在文字的判定(S106)。如前面所述，当图像中混合有文字等时，类似 程度的判定精度降低，所以利用事前删除了文字等的部分来判定一致性。在步骤S106的判定结果是存在文字时，利用文字部分以外的部分来
判定一致性(S107)，在步骤S106判定为不存在文字时，跳过步骤S107 进入步骤S108。
然后，在与记录在内容封套记录部21中的DB图像的纵横尺寸比一 致的整个范围中，判定与代表图像类似的一致性(S108)。在一致性判定 结束后，返回原来的程序。
如以上说明的那样，在本发明的第1实施方式中，在通过幻灯片放 映来再现显示摄影图像之前，再现显示代表图像和与该代表图像类似的 辅助图像。辅助图像是从记录有DB图像的内容封套记录部21中检索到 的，通过再现显示辅助图像和代表图像，可以提高欣赏者的兴趣，可以 给予用户期待感和乐趣。
并且，在本实施方式中，由于在代表图像中不需要存在脸部图像， 所以可以适用的图像的范围扩大，并且代表图像是单纯地仅从摄影图像 中指定的，没有生成代表图像用的图像处理，所以能够在短时间内生成。
另外，在本实施方式中，在与DB图像的纵横尺寸比一致的范围中 进行一致性的判定，并且忽视文字部分来判定一致性，所以能够在短时 间内进行高精度的一致性判定。
另外，在本实施方式中，DB图像是音乐CD等的封套和书等的封皮 的图像，但不限于此，例如也可以是照相机10的摄影者已经拍摄的图像、 记录在外部服务器中的由第三人拍摄的图像、插图和绘画等其他各种图 像。
并且，在本实施方式中，在按照时间序列的幻灯片放映之前，只在 开头部分进行代表图像和辅助图像的再现显示，但不限于此，也可以在 中间部分的区分良好的定时等进行第2代表图像及其辅助图像的再现显 示。另外，在本实施方式中，采用使照相机10和个人电脑20协作动作 的系统，但也可以利用个人电脑20和安装在其上的程序来执行照相机10 的图像选择部3、类似图像检索部8、脸部检测文字检测及加工部8a、幻 灯片放映部6、顺序控制部7、辅助内容记录部9等的功能。
下面，使用图6 图9说明本发明的第2实施方式。在第1实施方
17式中是在照相机10内部进行类似图像的检索，但在第2实施方式中，经 由因特网等网络在服务器等外部设备中进行类似图像检索。
图6是表示第2实施方式涉及的由照相机10和服务器40构成的图 像再现系统的结构的方框图。照相机10具有摄影部1、图像记录部2、 图像选择部3、通信及控制部4、显示部5、幻灯片放映部6、顺序控制 部7和辅助内容记录部9。这些各个部分的功能与图1所示的第1实施方
式相同，所以省略具体说明。
发挥数据库的功能的服务器40具有内容封套记录部21、类似图像
检索部22、脸部检测文字检测及加工部23、通信及控制部24和代表图 像临时存储部25。通信及控制部24进行服务器40的整体控制，同时通 过因特网等与照相机IO等外部设备进行通信。
类似图像检索部22和脸部检测文字检测及加工部23与图1所示的 第1实施方式相同，所以省略具体说明，但脸部检测文字检测及加工部 23发挥检测脸部的位置和数量，并提取文字部分将其从图像中删除的作 用。并且，类似图像检索部22从记录在内容封套记录部21中的图像中
检索与代表图像类似的图像。
代表图像临时存储部25是临时存储由照相机10的图像选择部3指 定的代表图像的存储部。前面叙述的类似图像检索部22使用存储在代表 图像临时存储部25中的代表图像来进行检索。
这样，在照相机10侧配置辅助内容存储部9、幻灯片放映的顺序控 制部7、为了进行幻灯片放映而从图像记录部2或辅助内容存储部9依次 读出数据并再现的幻灯片放映部6等，使服务器40侧具有临时存储从照 相机10发送的来代表图像的功能、和检索类似图像的功能。在检索类似 图像时，与第1实施方式相同，考虑是否是人物图像、脸部的位置和数 量等来进行检索，并且忽视辅助内容的文字部分来进行处理。
下面，使用图7说明本实施方式的动作。如图7所示，照相机10拍 摄被摄体11，从此时拍摄的摄影图像12中指定代表图像12a (图中No.4 的图像)，把该代表图像12a通过网络19发送给服务器40。服务器40从 作为数据库的内容封套记录部21中检索与代表图像类似的类似图像，把一致性最高的图像作为辅助图像22。
在检索到辅助图像22后，服务器40向照相机10发送辅助图像22。 照相机IO开始幻灯片放映时，首先再现显示检索到的辅助图像22，然后 再现显示代表图像12a，然后按照摄影顺序再现No,l No.4的摄影图像 12。
并且，辅助图像22是出版的内容，所以对该内容附加有带有制造商 的附带信息、用户的感想和意见等附带信息(图中A D)。在辅助图像 22为音乐CD的情况下还包含乐曲数据作为附带信息。因此，与再现显 示辅助图像22 —起，可以一边再现收录在音乐CD中的乐曲一边进行幻 灯片放映。并且，也能够根据曲名、作曲家、艺术家等其他信息，检索 虽然没有收录在该乐曲CD中、但具有相同氛围的乐曲并进行再现。
下面，使用图8所示的流程图说明本实施方式的照相机10的动作。 对于和图4所示第1实施方式的照相机控制相同的处理步骤，赋予相同 的步骤序号，并省略具体说明。在第1实施方式中，辅助图像的检索是 在照相机10内部进行的，但在第2实施方式中，在服务器40中进行检 索，所以重点说明该不同之处。
进入照相机控制的流程后执行的步骤Sl 步骤S15与第1实施方式 相同。在步骤S13的是否进行DB通信的判定结果是进行DB通信时，判 定是否开始获取辅助图像及其相关信息(S21A)。该判定通过检测用户是 否操作了未图示的开始获取用的操作部件来进行。
在步骤S21A的判定结果是不进行辅助图像等的获取时，进行用于 获取其他信息的获取信息变更(S29)，然后返回步骤S1。在步骤S29， 当不满意在后面叙述的步骤S26A获取的辅助图像及其相关信息时，为了 进一步进行信息获取，设定/变更信息获取的条件等。另一方面，在步骤 S21A的判定结果是开始获取辅助图像等时，指定代表图像(S22)，把该 指定的代表图像发送给服务器40 (S23A)。代表图像由用户从在显示部5 上再现显示的摄影图像中指定。
在代表图像的发送结束后(S25—Yes)，从服务器40获取一致性最 大的图像(辅助图像)和与该辅助图像相关的信息(S26A)。即，由服务
19器40进行辅助图像等的检索，所以照相机10等待服务器40的检索结束
并发送过来检索结果，当检索结果发送过来时，获取发送过来的辅助图
像及其相关信息。关于相关信息，如果辅助图像是音乐CD的封套的图 像，则指收录在音乐CD中的音乐等。
在步骤S14的判定结果是不进行幻灯片放映时，进行是否已接收图 像的判定(S31)。在第2实施方式中，辅助图像的检索是在外部服务器 40中实施的，在该步骤，进行是否已在步骤S26A中从服务器40接收到 了辅助图像的判定。
在步骤S31的判定结果是接收到了图像时，如使用图7说明的那样， 再现显示辅助图像，并使用相关信息进行例如音乐CD的再现(S33A)， 再现显示代表图像(S35A)。在结束辅助图像和代表图像的再现显示后， 接着对于摄影图像，按照摄影日期时刻顺序依次执行将要再现的通常的 幻灯片放映(S35A)。
在步骤S31的判定结果是没有接收到图像时，由于没有辅助图像， 所以在步骤S35A执行通常的幻灯片放映，在常规的幻灯片放映结束后返 回，从步骤S1开始执行。
这样，第2实施方式的照相机10不进行图像检索，而向服务器40 发送代表图像(S24)，获取由服务器40检索到的辅助图像等(S26)，使 用该辅助图像执行幻灯片放映(S33 S35)。并且，在网络通信状态下， 通过网络向外部发送图像(S23A)，根据已得到的获取信息再获取其他信 息(S29)。在不满意检索到的辅助图像等时或对乐曲不满意时，在步骤 S29，可以发布进一步获取信息的指示。
另外，在第2实施方式中，与第l实施方式相同，也可以能够对电 视机30进行拍摄，在使照相机10上再现显示辅助图像的幻灯片放映。 该情况下，在步骤S31之后，判定是否进行外部输出，根据判定结果将 图像输出到外部。
下面，使用图9所示的流程图说明本实施方式的服务器40的动作。 在进入该流程后，首先判定是否已获取代表图像(S51)。如前面所述， 由于照相机10在步骤S23A中发送过来了代表图像，所以在该步骤进行是否接收到代表图像的判定。
在步骤S51的判定结果是已获取代表图像时，将所获取的代表图像
临时存储在代表图像临时存储部25中(S52)。然后，通过脸部检测文字 检测及加工部23将文字从对象图像中删除(S53)。即，在记录于内容封 套记录部21中的音乐CD等的封套的图像中记述有文字等，通过删除该 文字等，提高图像的一致性判定的精度。
然后，通过脸部检测文字检测及加工部23检测对象图像的脸部的位 置，也考虑该脸部的位置来判定代表图像与对象图像的一致性(S54)。 在此，求出对应于一致性的数值。在一致性的判定结束后，进行是否已 对内容封套记录部21中的全部对象图像结束了一致性判定的判定(S55)。 在判定结果是没有结束时，变更为下一个对象图像(S57)，返回步骤S53， 重复与前述相同的判定。
在步骤S55的判定结果是已对全部对象图像结束了判定时，将一致 性最大的图像(辅助图像)及该辅助图像的相关信息(例如收录的音乐 等)发送给照相机10 (S56)。
然后，进行是否已从照相机10接收到图像NG的判定(S71)。艮卩， 在照相机10的用户不满意从服务器40发送过来的辅助图像时，在步骤 S29通过获取信息变更来发送该意旨。在判定结果是接收到图像NG时， 将一致性其次高的图像及其相关信息发送给照相机10 (S72)，返回步骤 S71。
在步骤S71的判定结果为不是图像NG时，然后进行相关信息是否 OK的判定(S73)。在照相机10的用户不满意从服务器40发送过来的相 关信息时，在步骤S29中发送该意旨。在判定结果是不OK时，发送与 辅助图像相关的其他相关信息(S74)，返回步骤S73。在步骤S73的判 定结果是相关信息OK时返回。
在步骤S51的判定结果是没有获取代表图像时，作为常规的图像记 录和浏览的服务器进行工作。首先，进行是否已获取记录用图像的判定 (S61)。在判定结果是己获取记录用图像时，将该图像记录在服务器40 内的记录用的图像记录部中(S62)，然后返回。在步骤S61的判定结果是没有获取记录用图像时，进行是否欣赏记
录在服务器40中的图像的判定(S63)。在判定结果是不欣赏图像时直接 返回，另一方面在判定结果是欣赏图像时，通过访问来进行图像显示 (S64)并返回。
这样，在本发明的第2实施方式中，在服务器40获取代表图像后， 临时存储该代表图像，进行具有类似封套的音乐CD等的检索
(S51—S54)，将检索到的辅助图像发送给照相机10 (S56)，此时也一 起发送相关信息。在用户进行了不满意所发送的辅助图像的意旨的操作 时，在步骤S71、 S73中判定出该意旨，发送其他辅助图像和相关信息
(S71、 S74)。并且，具有记录单纯的摄影图像的图像储存功能，保管发 送过来的图像(S62)，通过访问进行再现(S63—S64)。服务器40也可 以省略图像储存功能，也可以具有其他功能。
下面，使用图10和图11说明本发明的第3实施方式。在第1和第2 实施方式中，在幻灯片放映的开头部分再现显示辅助图像，并且作为辅 助图像单独地显示再现静态图像。在第3实施方式中，在最后再现显示 辅助图像，并且在再现辅助图像后接着再现显示与辅助图像相关的动态 图像。
图10是表示第3实施方式涉及的由照相机10和电视机30和服务器 40构成的图像再现系统的结构的方框图。照相机10具有摄影部1、图像 记录部2、图像选择部3、通信及控制部4、显示部5和辅助数据部6A。 除辅助数据部6A外，各部分的功能与图1所示的第1实施方式相同，所 以对相同的部分省略具体说明。
辅助数据部6A是与图像相关联地存储代表图像具有的摄影日期时 刻和摄影地点的存储部。摄影日期时刻等的信息在向服务器IO发送代表 图像时被一起发送，服务器40在进行辅助图像的检索时，也考虑摄影曰 期时刻等的信息来进行检索。
发挥数据库的作用的服务器40具有内容封套记录部21、类似图像 检索部22、通信及控制部24、代表图像及数据临时存储部25A、图像记 录部26、相关信息检索部27、顺序再现部28和网络发布部29。内容封套记录部21等与第2实施方式相同，所以重点说明不同的部分。
内容封套记录部21与第1实施方式相同，除音乐CD等外，还存储 着DVD等的动态图像的封套图像及其相关影像等。在DVD等的动态图 像的情况下，除封套图像外，也存储有动态图像的开头图像用于检索。 同样，在漫画和动画等具有图像的内容的情况下，除封皮的图像外，也 存储有最初的图像用于检索。类似图像及数据检索部22从内容封套记录 部21中检索与代表图像类似的图像，并作为辅助图像输出。代表图像及 数据临时存储部25A存储从照相机10发送过来的代表图像、和存储在辅 助数据部6中的与代表图像相关联地发送过来的摄影日期时刻等信息。
图像记录部26记录存储在照相机10的图像记录部2中的通过幻灯 片放映来再现显示的摄影图像等。相关信息检索部27检索与辅助图像(音 乐CD或影像DVD等的封套等)相关的信息，例如与音乐CD相关的作 曲家名、艺术家名等。
顺序再现部28以记录在图像记录部26中的摄影图像、类似图像、 和由数据检索部22检索到的辅助图像、由相关信息检索部27检索到的 相关信息为基础，控制这些图像和信息的再现显示的顺序。网络发布部 29通过因特网等网络连接到电视机30，将由顺序再现部28顺序输出的 摄影图像和辅助图像等发送给电视机30。电视机30是大屏幕电视机，用 于再现显示从网络发布部29发布的图像和信息。
下面，使用图11说明本实施方式的动作。从由照相机IO拍摄的摄 影图像12中指定代表图像12a (图中的No.4图像)，通过网络19发送给 服务器40。另外，除代表图像12a外，也一并发送在幻灯片放映中使用 的全部摄影图像(图中No.l No.3)。服务器40从作为数据库的内容封 套记录部21中检索类似图像，把一致性最大的图像作为辅助图像22。
服务器40在类似图像及数据检索部22中检索类似图像，并检索相 关信息。并且，顺序再现控制部28按照摄影日期时刻顺序依次将摄影图 像通过网络发布部29、网络19发送给电视机30，电视机30进行再现显 示。并且，在幻灯片放映的最后，发送代表图像12a，然后再现显示与该 代表图像12a类似的辅助图像22。在该实施方式中，发送与代表图像12a类似的基于DVD的封套图像 的辅助图像22，在再现显示该辅助图像22后，再现收录在该DVD中的 动态图像120。在该示例中，在幻灯片放映了作为维也纳之旅的回忆的照 片后，再现以维也纳为题材的DVD的动态图像120。
在第1和第2实施方式中，说明了把对应于代表图像12a的辅助图 像22置于开头进行显示的示例，但在本实施方式中，最后再现辅助图像 22，进行对欣赏者留下最深印象的幻灯片放映。当然，除在最后再现外， 也可以在幻灯片放映的中途烘托氛围高潮的位置再现代表图像12a。该再 现的定时可以由用户任意设定。并且，还可以按照代表图像12a的再现 顺序确定辅助图像22的再现顺序。另外，也可以不在电视机30上再现 显示，而与第1和第2实施方式相同，利用照相机10进行再现显示。
另外，在显示基于摄影图像12的幻灯片放映的最后的图像后，接着 欣赏完检索到的DVD的影像、例如旅行照片，然后欣赏以相同位置为舞 台的电影或纪录片，由此激发旅情，可以陷入回忆中。
下面，使用图12和图13说明本发明的第3实施方式的变形例。在 第1 第3实施方式中，在显示部上顺序地显示一个图像，但在该第1变 形例中是显示多个。S卩，如图12所示，在电视机30的屏幕是大屏幕时， 可以在一个屏幕上显示多个图像，所以不必拘泥于时分显示。还可以实 现在电视机30的大屏幕上排列多个摄影图像并进行切换，同时再现DVD 的应用方式。另外，该第3实施方式的变形例的结构与图10所示第3实 施方式的结构相同，所以省略具体说明。
并且，在第1 第3实施方式中，由用户指定代表图像，获取辅助 图像，但也可以通过执行图13所示的辅助内容确定的流程图，从摄影图 像中自动选择辅助图像。
在进入辅助内容确定的流程后，首先选择最初的摄影图像(S201)。 然后，从内容封套记录部21中检索与选择的摄影图像类似的图像(S203 )。 临时记录类似程度在预定值以上的内容(图像)(S203)。然后，从摄影 图像中选择下一个图像(S204)。
在选择了其他图像后，然后判定是否已没有摄影图像(S205)。在判定结果是还有下一个摄影图像时，返回步骤S202，重复前面叙述的步骤， 记录类似程度在预定值以上的内容。在步骤S205的判定结果是已没有摄 影图像时，即已对全部摄影图像结束了检索时，检索预定次数以上，把 在步骤S203中临时记录的内容作为辅助内容(辅助图像)并发送(S206)。 关于发送，在像第1和第2实施方式那样利用照相机10进行再现显示时 是发送给照相机10，在像第3实施方式那样通过网络发布给电视机30时 是发送给电视机30。
这样，如果是进行几次检索均被检索到的内容，则可以称为与摄影 图像的相关性高的辅助内容。例如在为维也纳旅行时，摄影图像中包含 许多维也纳的风景，所以可以选择确实与其风土相关的电影和音乐，可 以自然地烘托图像再现。
如以上说明的那样，在本发明的各个实施方式中，对代表图像和与 内容相关的图像进行比较，检索类似的图像作为辅助图像，在进行幻灯 片放映时，在再现显示辅助图像后再现显示代表图像。因此，即使是脸 部之外的图像，也能够检索辅助图像，所以可实现能够适用的图像范围 广的效果。并且，不需要生成代表图像，所以能够在短时间内处理。另 外，辅助图像是与内容相关的图像，所以可以给予用户期待感和乐趣。
另外，在本实施方式中，关于摄影用的设备使用数码照相机进行了 说明，但照相机也可以是数码单反照相机、袖珍数码照相机，当然也可 以是内置于手机或便携式信息终端(PDA: Personal Digital Assist)等中 的照相机。
本发明不限于上述实施方式，在实施阶段中可以在不脱离其宗旨的 范围内改变构成要素来具体实施。并且，根据上述各个实施方式公开的 多个构成要素的适当组合可以形成各种发明。例如，可以从实施方式所 示的所有构成要素中删除几个构成要素。另外，还可以适当组合不同实 施方式中的构成要素。
权利要求
1. 一种图像再现系统，其特征在于，具有记录部，其记录有与多个图像对应的图像数据；代表图像选择部，其从记录在所述记录部中的图像数据中选择与代表图像对应的图像；检索部，其检索包含如下的图像数据的内容包该图像数据对应于和所述代表图像类似的图像；和幻灯片放映再现部，其把与由所述检索部检索到的内容包中包含的图像数据对应的图像作为构成幻灯片放映的图像的一部分，再现所述多个图像。
2. 根据权利要求1所述的图像再现系统，其特征在于，所述幻灯片 放映再现部把由所述检索部检索到的内容包中包含的开头图像作为构成 幻灯片放映的图像的一部分，再现所述多个图像。
3. 根据权利要求1所述的图像再现系统，其特征在于，所述幻灯片 放映再现部把由所述检索部检索到的内容包中包含的封套作为构成幻灯 片放映的图像的一部分，再现所述多个图像。
4. 根据权利要求l所述的图像再现系统，其特征在于，所述幻灯片 放映再现部把与由所述检索部检索到的内容包中包含的图像数据对应的 图像作为开头图像，再现所述多个图像，同时再现所述内容包中包含的 音乐数据。
5. 根据权利要求l所述的图像再现系统，其特征在于，所述幻灯片 放映再现部把与由所述检索部检索到的内容包中包含的图像数据对应的 图像作为构成幻灯片放映的图像的一部分，再现所述多个图像，同时再 现所述内容包中包含的音乐数据。
6. —种图像再现方法，其特征在于，包括从记录了与多个图像对应的图像数据的记录部中，选择与代表图像 对应的图像数据的步骤；检索包含如下的图像数据的内容包的步骤该图像数据对应于和所述代表图像类似的图像；把与由所述检索部检索到的内容包中包含的图像数据对应的图像作 为构成幻灯片放映的图像的一部分，再现所述多个图像的步骤。
7. —种图像再现装置，其特征在于，包括检索部，其从记录有与多个图像对应的图像数据的记录部中检索包含如下的图像数据的内容包该图像数据对应于和多个图像中所包含的 代表图像类似的图像；再现部，其利用与再现所述多个图像的设备相同的设备来再现所述 检索到的内容包中包含的内容。
8. —种图像再现方法，其特征在于，包括从记录有与多个图像对应的图像数据的记录部中检索包含如下的图 像数据的内容包该图像数据对应于和多个图像中所包含的代表图像类 似的图像；利用与再现所述多个图像的设备相同的设备来再现所述检索到的内 容包中包含的内容的步骤。
9. 一种图像再现方法，其特征在于，包括从记录有与多个图像对应的图像数据的记录部中，检索包含如下的 内容数据的内容包的步骤该内容数据对应于和多个图像中所包含的代 表图像相关联的数据；利用与再现所述多个图像的设备相同的设备来再现所述检索到的包 中包含的内容的步骤。
10. —种图像再现用服务器，其特征在于，具有临时存储部，其接收从摄影图像中指定的代表图像，并临时存储该 代表图像；图像存储部，其存储内容的图像；检索部，其对所述代表图像和存储在所述图像存储部中的图像进行 比较，检索与所述代表图像类似的辅助图像；以及通信部，其输出由所述检索部检索到的所述辅助图像。
11. 根据权利要求10所述的图像再现用服务器，其特征在于，具有从所述内容的图像中检测文字并删除的图像加工部，所述检索部使用由 所述图像加工部删除文字后的图像来检索所述辅助图像。
12. 根据权利要求IO所述的图像再现用服务器，其特征在于，具有:摄影图像存储部，其接收并记录摄影图像； 代表图像存储部，其存储从所述摄影图像中指定的代表图像； 依次再现部，其在进行幻灯片放映的再现显示时，使所述代表图像 在再现显示了所述辅助图像后再进行再现显示；发送部，其发送由所述依次再现部赋予了顺序的图像。
13. 根据权利要求12所述的图像再现用服务器，其特征在于，所述 依次再现部使所述辅助图像在所述幻灯片放映的开头或最后进行再现显 示。
14. 根据权利要求12所述的图像再现用服务器，其特征在于，所述 图像存储部还存储与所述内容的图像相关联的音乐，在进行幻灯片放映 的再现时，发送所述音乐的再现用数据。
15. 根据权利要求12所述的图像再现用服务器，其特征在于，所述 图像存储部还存储与所述内容的图像相关联的动态图像，在进行幻灯片 放映的再现时，在再现显示所述图像之后发送所述动态图像的数据。
16. —种图像再现用服务器，其特征在于，具有 图像存储部，其存储内容的图像；检索部，其对多个摄影图像和存储在所述图像存储部中的图像进行 比较，把类似程度高的图像检索为辅助图像；通信部，其输出由所述检索部检索到的所述辅助图像。
17. —种图像再现用程序，其特征在于，对从摄影图像中指定的代表图像和内容的图像进行比较，并检索与 所述代表图像类似的辅助图像，在进行幻灯片放映的再现显示时，使所述代表图像在再现显示所述 辅助图像后再进行再现显示。
18. —种图像再现用程序，其特征在于， 从摄影图像中指定代表图像，对该指定的代表图像和内容的图像进行比较，为了检索与所述代表 图像类似的辅助图像，而将所述代表图像发送给外部装置， 从所述外部装置接收所述辅助图像，在进行幻灯片放映的再现显示时，使所述代表图像在再现显示了所 述辅助图像后再进行再现显示。
全文摘要
提供一种图像再现装置和图像再现方法，其可以适用的图像范围广，并可以在短时间内生成，可以给予用户期待感和乐趣。图像再现装置具有图像记录部(2)，其记录了对应于多个摄影图像的图像数据；图像选择部(3)，其从记录在图像记录部(2)中的图像数据中选择对应于代表图像的图像；类似图像检索部(8a)，其检索包括对应于和代表图像类似的图像的图像数据的内容包；和幻灯片放映部(6)，其把与由类似图像检索部(8a)检索到的内容包中包含的图像数据对应的图像作为构成幻灯片放映的图像的一部分，与多个摄影图像一起在显示部(5)上进行再现。
文档编号H04N1/387GK101505393SQ20091000432
公开日2009年8月12日 申请日期2009年2月6日 优先权日2008年2月8日
发明者野中修 申请人:奥林巴斯映像株式会社