图像选择设备、图像选择方法和程序的制作方法

专利名称：图像选择设备、图像选择方法和程序的制作方法
技术领域：
本发明涉及图像选择设备、图像选择方法和程序。
背景技术：
目前数字照相机被广泛应用，并且普及地执行在PC (个人计算机)
上编辑通过数字照相机拍摄的摄影图像、在显示设备上运行顺序地显示摄 影图〗象的幻灯等。
在幻灯中，可以在显示图^^的同时播放音乐。例如，如下的幻灯是可
行的重复地再现音乐直到显示了多个目标摄影图像中的最后的摄影图像 为止的幻灯，在一首歌的再现时间期间顺序地显示摄影图像的幻灯。在后 者的情况下，由于存在对在一首歌的再现时间内可显示的摄影图像的数量 的限制，因此如果用户希望在幻灯中包括的摄影图像的母集超过该限制， 则必须从该母集中选择低于该限制的数量的摄影图像。
作为选g影图像的方法，存在随M择方法，但这种方法在某些情 况下无法选择适当的摄影图像。例如，假设如下的情况摄影图像的母集 包括在各种情况下拍摄的摄影图像，并且用户希望选择在不同的情况下拍 摄的摄影图像。然而，在该随M择方法中，存在主要选择在相同的情况 下拍摄的摄影图像的情况。由于随着数字照相机的普及使用和连拍功能被 包括到数字照相机中，经常会出现有许多具有相同构图的摄影图像的情 况，因此这种问题变得日益突出。除了幻灯之外，例如，在想要在指定范 围内显示照片的缩略像的情况下，即，在想J^在有限的空间内显示固 定数量的摄影图像的情况下，也出现相同的问题。
有鉴于此，例如，如同专利文献l中所描述的那样，通过分析摄影图 像的相似来防止不平衡地选择类似的摄影图像的选择方法是可行的。
专利文献1:日本未审专利公开2007-206919
发明内容本发明要解决的问题
然而，由于用于分析摄影图像的相似的处理负荷一fcl:重的，因此在 现有的选择方法中，随着最^选择的摄影图像的数量的增加，处理负荷 变得过大。
本发明已被完成以解决上述问题，因此，本发明的目的是提供能够根 据最终要选择的摄影图像的数量来执行图像选择处理的新颖的和改进的 图傳逸#^殳备、图傳逸择方法和程序。
用于解决该问题的手段
为了解决上述问题，根据本发明的一个方面，提供了一种图像选#^更 备，包括选择数量指定部分，用于指定图像的选择数量；图^象分析部分， 用于分析多个图像并提取各个图像的特征量；第一选择部分，用于基于由 图像分析部分提取的各个图像的特征量而从该多个图像中选择至少该选 择数量的图像；第二选择部分，用于通过与第一选择部分的方法不相同的 给定方法来从该多个图像中选择图像；以及选择控制部分，用于在该选择 数量大于第一设定数量的情况下不是使第一选择部分而是使第二选择部 分选择图像。
在该配置中，因为第一选择部分基于各个图像的特征量执行图像选 择，所以第一选择部分可从多个图像中相应地选择例如至少选择数量的相 似度相对低的图像。另一方面，因为第一选择部分如上述那样地基于各个 图像的特征量来执行图#^择，所以第一选#^分中的处理负荷可能随着
选择数量的增加而过大。有鉴于此，如果选择数量大于第一设定数量，则 选择控制部分不是使第一选择部分而是使通过与第一选择部分的方法不 相同的给定方法从多个图像中选择图像的第二选#^分执行图#^择，由 此减少了该图傳逸#^更备中的用于图傳逸择的处理负荷。相应地，在该图 ^i^^i殳备中，当选择数量大于第一设定数量时，第二选#^分执行图像 选择，以由此减少处理负荷，而当选择数量小于第一设定数量时，第一选 #^分执行图傳逸择，以由此考虑到相似地选择图像。
如果选^^数量小于第一设定数量，则选#^控制部分可使第一选择部分 选择至少选择数量的图像，然后使第二选#^分从该至少选择数量的图像 中选择选择数量的图像。在该配置中，第一选,分基于各个图像的特征 量来执行图傳逸择，第二选,分执行使用其它方法的图傳逸择。相应地， 该图像选^i殳备可以结合地考虑各个图像的特征量和其它要素而从多个图像中选择该选择数量的图像。所述第二选择部分可从至少选择数量的图<象中随机选择该选择数量 的图像。在该配置中，该图#^#^殳备可以在每次从多个图像中执行图像 选择时考虑到相应的图像的相似度而选择该选择数量的不同的图像。第 一选择部分可从多个图像中选择基于所述选择数量和预定的指数 而指定的数量的图像。在该配置中，因为第二选,分从由第一选择部分 选择的图像中选#^亥选择数量的图像，所以由第一选糾分选择的图像的 数量与选择数量之间的差越大，则由第二选,分选择的图像的随机性就越高。另外，因为由第一选,分选择的图像的数量A^于选择数量和预定指数而指定的，所以通过调整预定指数可增加或减少由第二选#^分选择的图像的随机性。该图傳逸^i更备还可包括第三选择部分，该第三选择部分用于将预定 的图像集合分类成由拍摄时间间隔短于设置的间隔值的图像组成的组，并 从每个组中选择至少 一个图像，并且该多个图像可被包括在由第三选#^分选择的图像集合中。其拍摄时间间隔短于诸如1秒或2秒等的设置的间隔值的图像可能是在相类似的场所中被拍摄的，并且可能具有相类似的构 图。因此，第三选,分将预定的图像集合分类为由拍摄时间间隔短于设 置的间隔值的图像组成的组，并从每个组中选择至少一个图4象，由此降低 了选择相似程度高的图像的可能性。该图傳逸#^殳备还可包括第四选择部分，该第四选择部分用于将由第 三选择部分选择的图像集合根据该图像集合中包括的各个图像的拍摄时 间的离歉变而分类成多个组，并从每个组中选择至少一个图像作为多个图 像。根据拍摄时间的离散度而分类的多个组中的每个组可能包括在诸如场 所和事件等的环境相类似的情况下拍摄的图像。因此，第四选#^分将由 第三选择部分选择的图像集合根据该图像集合中包括的各个图像的拍摄 时间的离歉变而分类成多个组，并从每个组中选择至少 一个图傳_作为多个 图像，由此选择以高比例包括在不同情况下拍摄的图像的多个图像。如果由第三选择部分选择的图像集合中包括的图像的数量大于第二 设定数量，则选择控制部分可以不是使第四选择部分而是使第二选择部分 选择图像。如上文所述，第四选择部分可选择以高比例包括在不同情况下 拍摄的图像的多个图像。另一方面，因为第四选种分考虑各个图像的拍 摄时间的离氣变而执行图傳逸择，所以随着由第三选#^分选择的图像集 合中包括的图像的数量的增加，第四选,分中的处理负荷也增加。因此，如果由第三选择部分选择的图像集合中包括的图像的数量大于第二设定 数量，则选择控制部分不是使第四选择部分而是使笫二选择部分选择图 像，由此减少该图傳逸#^殳备中的用于图傳逸择的处理负荷。如果由第三选择部分选择的图像集合中包括的图像的数量小于基于 选"^数量和预定指数而指定的数量，则选择控制部分使第一选#^分从由 第三选#^^择的图像集合中包括的图像中选择该选择数量的图像。该图像选#^备还可包括音乐再现部分，用于再现音乐；布局控制 部分，用于针对形成音乐的 一个或两个或更多个持续时期中的每一个而设 置图像的显示图案；图像显示部分，用于显示图像；以; _示控制部分， 用于使得根据由音乐再现部分对包括音乐再现位置的持续时期i更置的显 示图案来顺序地显示基于选#^控制部分的控制而选择的图像。布局控制部分可根据与音乐的情绪相对应的规则将音乐分类成一个 或两个或更多个持续时期，并针对该一个或两个或更多个持续时期而设置 与该音乐的情绪相对应的显示图案。布局控制部分可在基于选择控制部分的控制而选择的图像中将包含 最大数量的面部的图像放置在最后。该图像选#^备还可包括再现持续时期设置部分，该再现持续时期设 置部分用于设置音乐的再现持续时期，而选择数量指定部分可基于对于再 现持续时期中的再现期间的显示而言所必需的图像数量来指定图像的选 择数量。再现持续时期设置部分可暂时地设置以音乐的高潮部分的起始位置 为中心的持续时期，如果该持续时期的起点和终点不是第一拍，则再现持 续时期"i殳置部分可将该起点和该终点分别向后延伸到第一拍和向前延伸 到第一拍，并设置再现持续时期。如果在从起点起的给定范围内或从终点起的给定范围内存在在其处 音乐的构成要素变化的构成变化点，则再现持续时期设置部分可进一步将 该起点或该终点更新为该构成变化点，并设置再现持续时期。显示图案可包含图像的切换时间和应用于图像的效果中的至少一个。当基于音乐的和弦进行而切换图像时，布局控制部分以使得图像的淡 入在和弦变化点处结束的方式来进行控制。另外，为了解决以上问题，根据本发明的另一实施例，提供了一种图^i^择方法，包括指定图像的选择数量的步骤；判定该选^^数量是否大 于第一设定数量的步骤；如果判定该选择数量小于第一设定数量则分析多 个图像以提取各个图像的特征量、并基于各个图像的特征量从多个图像中 选择至少该选择数量的图像的步骤；以及如果判定该选#^数量大于第一设 定数量则在不使用所述各个图像的特征量的情况下通过其它给定方法从 多个图4象中选择图〗象的步骤。另外，为了解决以上问题，根据本发明的另一实施例，提供了一种使 计算机用作图像选^i殳备的程序，该图像选#^备包括选择数量指定部 分，用于指定图像的选择数量；图像分析部分，用于分析多个图像并提取 各个图像的特征量；第一选#^分，用于基于由图像分析部分提取的各个 图像的特征量而从多个图像中选择至少选择数量的图像；第二选#^分， 用于通过与第 一选择部分的方法不相同的给定方法而从多个图4象中选择 图像；以及选择控制部分，用于在选择数量大于第一i殳定数量的情况下不 是使第 一选择部分而是使第二选#^分选择图 <象。以上程序可以使得包括例如CPU、 ROM、 RAM等的计算机的硬件 资源执行上述的第一选择部分、第二选择部分和选^^控制部分的功能。因 此，可以使得实现该程序的计算机用作上述的图*#^殳备。本发明的优点如上文所述，根据本发明的图像选择设备、图像选择方法和程序能 够根据最^选择的摄影图像的数量来执行图^i^择处理。


图l是示出了根据第一实施例的图像选择系统的配置的说明图。图2是示出了由摄影设备拍摄的图像的示例的说明图。图3是示出了随机图H^择的结果的示例的说明图。图4是示出了 PC的硬件配置的框图。图5是示出了根据第一实施例的PC的配置的功能框图。图6是示出了在选择控制部分和图^J^择部分中使用的^lt的示例 的说明图。图7是示意性地示出了图傳逸择部分的处理的说明图。图8是示出了连拍判定和选择部分的图像选择的结果的示例的说明图。图9是示出了事件判定和选择部分的将选择目标图像分类为多组的 方式的i兌明图。图10是示出了事件判定和选择部分的图像选择的结果的示例的说明图。图11是示出了相似判定和选择部分的图像选择的结果的示例的说明图。图12是示出了选择最终选择数量的图像的方式的说明图。图13是示出了在根据第一实施例的PC中执行的图傳逸择方法的流 程的流程图。图14是示出了才艮据笫二实施例的PC的配置的功能框图。图15是示出了直到音乐分析部分获取音乐特征量为止的流程的流程图。图16是示出了音乐构成的示例的说明图。图17是示意性地示出了用于创建带音乐的幻灯的一系列处理的流程图。图18是示出了配置对话的示例性构成的说明图。图19是示出了再现持续时期设置部分的用于设置音乐的重点部分的 处理的流程的流程图。图20是示出了针对每种效果类型的从^^v到淡出的状态的说明图。图21是示出了才艮据情绪自动选择布局和效果的流程的^^图。图22是示出了效果图案的选择的示例的"^兌明图。图23是示出了对各个图像显示框设置效果参数的方式的说明图。图24是示出了针对每种情绪设置布局和效果的示例的说明图。图25是示出了针对每种情^"i殳置布局和效果的示例的说明图。图26是示出了音乐进行中的属音的关系的说明图。图27是示出了和弦变化点与图像显示框之间的关系的说明图。
具体实施方式
以下将参照附图详细地说明本发明的优选实施例。注意，在本说明书 和附图中，具有实质上相同的功能和结构的结构要素被标以相同的附图标记，并且省略重复的"i兌明。将按以下顺序说明"本发明的优选实施例，，(1) 根据第一实施例的图像选择系统的概要(2) 第一实施例的目的(3 )对根据第一实施例的PC的说明 (3-1) PC的硬件配置 (3-2) PC的功能 (3-3 ) PC的操作(4) 第二实施例(4-1)第二实施例的U环境(4-2 )对4艮据第二实施例的PC的说明(4-3)对第二实施例的补充iC明(5) 总结(1)根据第一实施例的图像选择系统的概要下面参照图1和图2说明根据笫一实施例的图像选择系统1的概要。图l是示出了根据第一实施例的图像选择系统1的配置的说明图。 如图1所示，图像选择系统1包括摄影设备10和PC(个人计算机)20。摄影设备10使用半导体器件将在摄影设备10中收集的诸如静止图 像和运动图像之类的图像转换成电信号，然后将该电信号以数字格式 记录到内置于摄影设备IO中的存储介质上。尽管如上文所述地，摄影 设备10可拍摄诸如静止图像和运动图像之类的图像，但是在本实施例 的说明中，除非特别注明，否则图像主要表示静止图像。图2示出了由 摄影i殳备10拍摄的图 <象的示例。图2是示出了由摄影设备10拍摄的图像的示例的说明图。在本示例 中，假设在某次家庭旅行期间拍摄了如图2所示的图像。如图2所示，摄影设备10可以拍摄多个图像和与拍摄时间相关联地将各个图^^储到存 储介质中。拍摄时间可被记录为EXIF (可交换图像文件格式)信息。具体地，其目标为桥梁的图像A被拍摄于"2007/8/18/8:32:24"，其 目标为山的图4象B和C分别被拍摄于"2007/8/18/12:24:16"和 "2007/8/18/12:24:17"。另夕卜，其目标为家庭的图像D至F分别被拍摄于 "2007/8/18/14:06:11"、 "2007/8/18/14:06:13"和"2007/8/18/14:06:15"。尽管诸如图像D至F之类的以2秒等的间隔的连拍可被手动地执行， 但是可以使用使摄影设备10根据一次摄影指示自动地连拍图^象的连拍功 能来执行该连拍。该连拍功能的有利之处在于用户可从连拍的图像中选择 最喜爱的图像。同样地，图2示出了通过摄影设备10拍摄其目标为露天灶台的图像 G、其目标为焰火的图像H和I、其目标为河流的图像J以及其目标为花 的图像K和L的情况。构成图像选择系统1的本实施例的PC 20从如上文所述的由摄影设备 10拍摄的图像集合中选择一定数量的图像。假设这种图像的选择是在诸 如当执行在某首歌期间通过以给定间隔切换图像来显示图像的幻灯时、以 及当将图像布局在有限的空间内时等的各种情况下执行的。如后面详细说 明的那样，用作图傳逸#^殳备的根据本实施例的PC 20可才艮据最^选择 的图像的数量来实现图^^择处理。尽管图1示出了 ？〔20作为图^4#^殳备的示例，但是图#^#^殳备 不限于此。例如，图像选^i殳备可以是诸如家庭视频处理单元(DVD记 录器、录像带记录器等)、蜂窝电话、PHS(个人手执电话系统)、便携式 声音再现单元、便携式视频处理单元、PDA(个人数字助理)、家用游戏 机、便携式游戏机、家电设备和打印机等的信息处理设备。另外，摄影设 备10可具有从图像集合中选择一定数量的图像的图*择功能。另外， 作为被合并到PC 20中的图^^^i更备的功能可被合并到位于网络上的 服务器中。具体地，位于网络上的服务器可响应于来自客户端装置的请求 而从图像集合中执行图M择并将图像选择结果通知给客户端装置。(2)第一实施例的目的以上示意性地说明了根据第一实施例的图像选择系统1。接下来说 明本实施例的目的。当例如从图2所示的图像集合中选择一定数量的图像时，以筒单的方式随机选择图像的方法是可行的。在这种情况下，例如选择图3所示的图 像。图3是示出了随机图#^择的结果的示例的说明图。如图3所示， 在随机图^^择中，存在选择多个类似的图像且未选择图像集合中包括的 独特图像的情况。具体地，在某些情况下可能选择诸如所选择的图像D 和E以及图像H和I之类的其目标和构图彼此相似的图像。然而，就允许观看所选图像的用户获得大量信息而言，选择少量的类 似的图像和尽可能多的数量的各自具有独特性的图像是有利的。有鉴于此，通过分析图像的相似来防止不平衡地选择类似的摄影图像 的选择方法是可行的。然而，由于用于分析图像的相似的处理负荷一fcl 重的，因此这种选择方法具有以下问题随着最^选择的图像的数量的 增加，处理负荷变得过大。鉴于这种情况，已发明了用作图像选择设备的根据本实施例的PC 20。根据本实施例的PC 20能够根据最^"选择的图像的数量来执行图像 选择处理。以下参照图4至13来详细说明PC20。(3 )对才艮据第一实施例的PC的说明(3-1) PC的硬件配置图4是示出了 PC 20的硬件配置的框图。PC 20包括CPU (中央处 理单元)加1、 ROM (只读存储器)202、 RAM (随MM储器)203、 主机总线204、桥接器205、外部总线206、接口 207、输入单元208、输 出单元210、存储单元(HDD) 211、驱动器212和通信单元215。CPU 201用作处理单元和控制单元，并且CPU 201根据各种程序来 控制PC 20中的总体^Mt。 CPU 201可以是微处理器。ROM 202存储要 被CPU201使用的程序、处理参数等。RAM 203主要存储要在CPU 201 上的执行中要使用的程序、在该执行中适当地变化的M等。它们通过由 CPU总线等构成的主机总线204而彼此相连接。主机总线204经由桥接器205连接至诸如PCI (外围组件互联/接口 ) 总线等的外部总线206。主机总线204、桥接器205和外部总线206不一 定被配置成彼此相分离，可在单个总线上实现它们的功能。输入单元208可例如包括诸如鼠标、键盘、触摸面板、按钮、麦克 风、开关和拉杆等的供用户输入信息的输入单元，以及基于用户输入而生成输入信号并将该输入信号输出至CPU 201的输入控制电路。PC 20的用 户通过操纵输入单元208可对PC 20输入各种数据或指示处理操作。输出单元210例如包括'.诸如CRT (阴极射线管)显示装置、液晶 显示器(LCD)装置、OLED (有机发光显示器)装置和灯之类的显示装 置，以及诸如扬声器和耳机之类的声音输出装置。输出单元210例如输出 再现的内容。具体地，显示装置用文本或图像来显示诸如再现的视频数据 等的信息。另一方面，声音输出单元将再现的声音数据等转换成声音并输 出该声音。存储单元211是被配置作为根据本实施例的PC 20的存储部分的示例 的用于数据存储的装置。存储单元211可包括存储介质、将数据记录到存 储介质上的记录装置、从存储介质读取数据的读取装置、删除记录在存储 介质上的数据的删除装置等。存储单元211可包括例如HDD (硬盘驱动 器)。存储单元211驱动^Jt并存储要由CPU 201执行的程序或各种数据。 后面要说明的图〗象、图傳湘关的信息、图係逸择结果等也被记录在存储单 元211上。驱动器212是用于存储介质的读/写器，其可被内置于PC 20中或被 在外部附接。驱动器212读取附接到驱动器212的诸如磁盘、光盘、磁光 盘和半导*储器等的可拆卸存储介质24上记录的信息，并将该信息输 出至RAM 203。通信单元215例如是包括用于建立与通信网络12之间的连接的通信 设备等的通信接口。通信单元215可以是与无线LAN (局域网)相兼容 的通信装置、与无线USB相兼容的通信装置、或执行有线通信的有线通 信装置。通信单元215可以与摄影设备10之间发送/接收图像。(3-2) PC的功能以上参照图4说明了根据本实施例的PC 20的硬件配置。接下来参照 图5至12说明PC 20的功能。图5是示出了根据第一实施例的PC 20的配置的功能框图。如图5 所示，PC 20包括通信部分216、图像存储部分220、拍摄时间信息获取 部分224、图像分析部分228、图斜目关信息存储部分232、选择数量指 定部分236、选择控制部分240、图像选择部分250和图像选择结果存储 部分260。通信部分216是与摄影设备10之间的接口 ，其接收由摄影设备10拍摄的图像集合。图像存储部分220将由通信部分216接收的图像集合 随其拍摄时间 一起存储。在由摄影设备10拍摄的图像被记录在可从摄 影设备10和PC 20拆卸的存储介质上的情况下，图^M^储部分220可以 是该存储介质。该存储介质可以是诸如EEPROM (电可擦除可编程只读存储器) 和EPROM (可擦除可编程只读存储器)等的非易失性存储器，诸如石itit 和盘状磁盘等的磁盘，诸如CD-R(可记录压缩盘)/RW(可重写)、DVD-R (可记录数字多功能盘)/RW/+R/+RW/RAM (随M取存储器)和BD (蓝光盘(注册商标))-R/BD-RE等的光盘，MO (磁光盘)等。后面 说明的图像相关信息存储部分232和图像选择结果存储部分260也可以是 这种存储介质。尽管在图5中图#^储部分220、图^bf目关信息存储部分 232和图^純择结果存储部分260被示出为不同的要素，但是图^#储部 分220、图像相关信息存储部分232和图像选择结果存储部分260可以是 相同的存储介质。拍摄时间信息获取部分224例如从存储在图#^储部分220中的图像 的EXIF信息获取拍摄时间信息，并将该拍摄时间信息记录到图像相关信 息存储部分232中。具体地，拍摄时间信息获取部分224将用于标识图像 的图像ID和图像的拍摄时间彼此相关联地记录到图^^目关信息存储部分 232中。图像分析部分228分析存储在图^#储部分220中的图像，提取图像 的特征量，并将该图像的特征量记录到图像相关信息存储部分232中。图 像的特征量可包括表示图像中包括的颜色及其比例的颜色分布、图像中包 括的面部的位置和尺寸、图像中包括的各个频率分量的幅度、图像中包括 的目标的微笑的程度等等。图像相关信息存储部分232存储诸如由拍摄时间信息获取部分224获 取的图像的拍摄时间信息、由图像分析部分228提取的图像的特征量等的 图像关联信息。选择数量指定部分236用作指定最终选择数量(选#^数量)的选^lt 量指定部分，该最终选择数量是最^"从存储在图傳存储部分220中的图 像集合中选择的图像的数量。选择数量指定部分236可基于多种信息、输 入等来指定该最终选择数量。例如，在某首歌的再现期间以给定间隔将图 像显示为幻灯的情况下，选择数量指定部分236可将通过将该歌的再现时 间除以给定间隔而获得的值指定为最终选择数量。替代性地，在将给定尺寸的图像布局在一定范围内的情况下，选择数量指定部分236可计算出对于该范围内的布局而言必需的该给定尺寸的 图像的数量，并将该数量指定为最终选择数量。或者，选择数量指定部分 236可将用户输入的图像数量指定为最终选fl^数量。替代性地，在工作中预定打印图像的情况下，选择数量指定部分236 可将通过将用户输入的预算除以每张的打印费而获得的值指定为最终选 择数量。或者，选择数量指定部分236可将与用户输入的数据量相对应的 图像数量指定为最终选择数量。的图像集合中i择由选择数量指定;分236指定的最终选择数i的图像。 然后，图像选择结果存储部分260存储由图像选择部分250基于选择控制 部分240的控制而选择的图《线图像ID。以下详细地说明从存储在图像 存储部分220中的图像集合中选择最终选择数量的图像的选择控制部分 240和图傳逸择部分250的功能。图6是示出了在选择控制部分240和图4线#^分250中使用的 的示例的说明图。如图6所示，在本实施例中使用诸如连拍基准值、相似 指数(给定指数)、随机指数、最终数量标准值和目标数量标准值等的参 数。这些M也用于决定在各个选##分中要处理多少数量的图像。因此， 可基于期望的最终选#^数量或系统中可允i午的IMt时间来决定这些 后面将在适当处适当地说明各个^的使用和意义。图像选择部分250包括连拍判定和选择部分252、事件判定和选#^5 分254、相似判定和选择部分256以及随机选择部分258。(连拍判定和选#^分)连拍判定和选择部分252用作减少选择目标图像的数量以尽可能避 免从一系列连拍图像中选择多个图像的第三选#^分。具体地，连拍判定 和选择部分252首先基于存储在图^M目关信息存储部分232中的拍摄时间之间的拍摄时间差别，即，拍摄时间间隔。然后，连拍判定和选#^分252将拍摄时间间隔在规定时间内的图像 分类到相同的组中，如果存在拍摄时间间隔长于规定时间的图像，则连拍 判定和选择部分252将该图4象分类到下一组中。连拍判定和选择部分252 可使用图6所示的连拍基准值(设置的间隔值)作为规定时间。此后，连拍判定和选择部分252从每组中选择一个图像。图7中示意性地示出了至 此为止连拍判定和选择部分252的处理。图7是示意性地示出了图<线#^分250的处理的说明图。如图7 所示，连拍判定和选择部分252根据拍摄时间间隔将以拍摄时间顺序排列 的图像a至u分类成多个组。图7示出了将以拍摄时间顺序排列的图像a 至u分类成由图像a至c构成的组l、由图像d和e构成的组2、由图像 f至j构成的组3、由图像k至m构成的组4、由图像n构成的组5、由图 像o和p构成的组6、由图像q构成的组7、由图像r至t构成的组8以 及仅由图像u构成的组9的情况。另夕卜，连拍判定和选,分252例如从每组选择一个图像。图7示出 了连拍判定和选^P分252v^U且l中选择图像b、 ^J且2中选择图像d、 从组3中选择图像i、从组4中选择图像k、 Mi且5中选择图像n、 ^U且6 中选择图像p、 vMJ且7中选择图像q、 ^M且8中选择图像t和vMJ且9中选 择图像u的情况。在"组数^要选择的摄影图像的最小数量"的情况下，连拍判定和 选择部分252通过将作为各组的代表的图像判定为选择结果来结束处理。 另一方面，在"组数 < 要选择的摄影图像的最小数量，，的情况下，除了 作为各组的代表的图像以夕卜，连拍判定和选#^分252 g全部尚未被选 择的摄影图像中追加地随机选择图像，以获得最小数量的要选择的摄影图 4象，然后结束处理。如果连拍判定和选择部分252对于图2所示的图像集合执行图係逸 择，则选择例如图8所示的图像。图8是示出了连拍判定和选择部分252的图#^择的结果的示例的说 明图。如图8所示，连拍判定和选择部分252可从以l秒的间隔拍摄的图 像B和C中M择图像C,并从以2秒的间隔拍摄的图像D至F中仅选 择图像D。由于诸如图像D至F之类的拍摄间隔短的图像可能是在类似 的位置被拍摄的且具有相似的构图，因此连拍判定和选择部分252可降低 选择可能彼此相类似的多个图像的可能性。(事件判定和选择部分)事件判定和选择部分254用作根据拍摄时间间隔的离散度将选择目 标图像分类成多组并执行图像选择以尽可能包括不同事件的图像的第四 选择部分。该事件例如可以是诸如家庭旅行、运动会和婚礼等的事件、或诸如家庭旅行期间的登山、焰火和驾车等的具体场合。由选择控制部分240指定要M择目标图像中选择的图像的数量，并且事件判定和选, 分254选择该指定的数量的图像。具体地，事件判定和选择部分254首先基于拍摄时间间隔的离散度、 每单位时间内拍摄的图像数量等来将以拍摄时间顺序排列的图像或选择 目标图像分类成多个组。另外，事件判定和选^分254从各组中随M 择一个图像作为该组的代表。至此为止事件判定和选择部分254的处理是 如同在对连拍判定和选择部分252的说明中所参照的图7中所示的那样地 执行的。事件判定和选择部分254的将选择目标图像分类成多组例如是如 图9所示的那样地执行的。图9是示出了事件判定和选择部分254的将选择目标图像分类成多组 的方式的说明图。该图示出了选择目标图像的拍摄频率的移动平均，并且 横轴表示时间且纵轴表示拍摄频率。如图9所示，每当拍摄频率越过由水 平虚线表示的边界值时，事件判定和选择部分254可进行分类成不同的 组。在图9所示的示例中，将选择目标图像分类成其拍摄时间介于时间tl 与时间t2之间的图〗象的《且、其拍摄时间介于时间t2与时间t3之间的图《象 组、其拍摄时间介于时间t3与时间t4之间的图像的组、其拍摄时间介于 时间t4与时间t5之间的图像的组、以及其拍摄时间介于时间t5与时间t6 之间的图像的组。例如在以下参考文献中也描述了事件判定和选择部分254的将选择 目标图像分类成多组参考文献日本未审专利公开2007-206919在"组数^要选择的图像的数量"的情况下，事件判定和选择部分 254优先地从例如图^Jt量较大的组中取出作为各组的代表的摄影图像， 并通过将该图像判定为选择结果来完成处理。另一方面，在"组数 < 要 选择的图像的数量"的情况下，事件判定和选择部分254对作为各组的代 表的图像5|>从全部尚未被选择的图像中随机选择的图像，以获得指定数 量的图# ，然后完成处理。如果事件判定和选择部分254对图8所示的图像集合执行图像选择， 则例如选择图IO所示的图像。图10是示出了事件判定和选择部分254的图傳逃择的结果的示例的 说明图。如图10所示，事件判定和选#^分254可从图8所示的图像集合中均匀地选择在不同时间的事件的图像，例如如同图像A和C那样的 在早晨的照片、如同图像D那样的在白天的照片、以及如同图像G、 H 和I那样的在傍晚的照片。根据拍摄时间的离散度而分类的多个组中的每 个组可能包括在诸如场所和事件等的环境相类似的情况下拍摄的图像。因 此，事件判定和选择部分254如上文所述地从各组中选择图像，由此减少 了所选择的在相类似的情况下拍摄的图像的数量。(相似判定和选择部分)相似判定和选择部分256用作从选择目标图像中选择图像以尽可能 减少在外观上相类似的图像的第一选择部分。例如，由选择控制部分240 指定要从选择目标图像中选择的图像的数量，并且相似判定和选择部分 256选#^亥指定的数量的图像。具体地，相似判定和i^择部分256首先计算以拍才聂时间顺序排列的图 ^JE^目应的相邻图像的相似距离。相似距离^于存储在图^M目关信息存 储部分232中的图像的特征量的、图像之间的外，JW目似的数值度量，并且 该特征量越是彼此接近，则以越大的值来表示该特征量。例如，包含10%的红色和90%的白色的图像特征量A与包含15%的 红色和85。/。的白色的图像特征量B之间的相似距离可^示为10。另一 方面，该图像特征量A与包含80%的红色和20%的黑色的图像特征量C 之间的相似距离可^t4示为1。然后，相似判定和选择部分256在全部相邻的图像之间的相似距离中 确定在长度上为第"指定的图傳逸择数量-l"的相似距离，并将该值设为 阈值。相似判定和选#^分256顺序地将其相似距离小于该阈值的图像分 类到相同组中，如果存在其相似距离大于等于该阈值的图像，则将该图像 分类到不同的组中。此后，相似判定和选择部分256^^各组中随M择一 个图像作为组的代表。至此为止相似判定和选择部分256的处理是如同在 对连拍判定和选择部分252的说明中所参照的图7中所示的那样地执行 的。如^目似判定和选择部分256对图10所示的图4象集合执行图像选择， 则例如选择图11所示的图像。图11是示出了相似判定和选择部分256的图傳逸择的结果的示例的 说明图。如图11所示，相似判定和选择部分256可以从来自图10所示的 图像集合的由于目标是花而在外观上具有高相似度的图像K和L中仅选择图像L。另夕卜，相似判定和选择部分256可以从由于其整体上是暗的图 像而相类似的图像G和H中仅选择图像H。尽管以上说明了相似判定和选择部分256基于相邻图像之间的相似 距离而将图像分类成组的情况，但是也可基于4^选择目标图像之间的相 似距离而使用已知的分组技术将图像分类成组。然而在这种情况下，运算 量一般根据图像的数量而变大。另夕卜，尽管以上说明了相似判定和选择部分256从各组中随机选择图 像作为组的代表的情况，但是也可基于图像分析的结果而例如优先地选择 包含面部的摄影图像作为代表或选择包含笑容程度高的面部的摄影图傳> 作为代表，或者可以基于颜色分布而选择颜色较丰富的图像作为代表。(随机选,分)随机选择部分258用作从选择目标图像中随机选择图像的第二选择 部分。由例如选择控制部分240指定要M择目标图像中选择的图像的数 量，并且随M择部分258选择该指定的数量的图像。(选择控制部分)选#^控制部分240控制上述的图像选择部分250的各个元件，由此从 存储在图^#储部分220中的图像集合中选择由选择数量指定部分236指 定的最终选择数量的图像。以下详细说明选择控制部分240的功能。本实施例针对从大量图像中选择必要数量的图像。相应地，在"选择 目标图像的数量《最终选择数量"的情况下，由于选择目标图像的数量 已处于最终选择数量以内，因此不需要图傳逸择。如何处理"选择目标图 像的数量《最终选择数量"的情况一般取决于应用。例如，在其中JM吏 用的图像的数量是固定的幻灯的情况下，必须通过重复地使用图像来准备 最终选择数量的图像，或者，在单纯为了提高可浏览性的目的而压缩图像 数量的情况下，按原样使用4^P图像是可行的。基于"选择目标图像的数 量 > 最终选择数量"的很J殳而给出以下i兌明。选择控制部分240基本上使连拍判定和选择部分252、事件判定和选 择部分254、相似判定和选择部分256和随M择部分258以此顺序如图 12所示^^存储在图IM^储部分220中的图像集合中执行图<线择，由 此获得最终选择数量的图像。图12是示出了选择最终选择数量的图像的方式的说明图。如图12 所示，假设存储在图^#储部分220中的图像集合的数量大于(l+a+p)*M,并且由连拍判定和选择部分252选择的图像的数量也大于(l+a+p) *M。在这种情况下，选择控制部分240使事件判定和选择部分254从由连 拍判定和选,分252选择的图像中选择(l+a+|5) *M个图像。然后， 选择控制部分240使相似判定和选择部分256从由事件判定和选择部分 254选择的(l+a+p)论M个图像中选择(l+p)论M个图像。另夕卜，选择控制部分240使随机选择部分258从由相似判定和选#^ 分256选择的(l+p) AM个图像中选择作为最终选择数量的M个图像。 结果，PC 20可以从例如图11所示那样的由相似判定和选#^部分256选 择的在外观上相似度低的图像中随M择图像。从以上说明可以理解，随机指数p表示要对最终选择的图像添加的随 机性的程度。例如，如果如图6所示那样地(5=0.1且最终选择数量M是 10，则随;^择部分258 >^随;^择部分258的选择之前已选择的11 个图像中随机地选出IO个图像。相应地，随着随机指数p越大，最终选 择的图像的随机性越大。另一方面，如果不特别需要随机性，即，当执行 一次本实施例的图傳逸择就足够且不用再次选择时，则可将卩i殳置为p = 0.0，并且可相对地增大要由其它选择部分处理的图像的比例。相似指数a表示在相似判定和选择部分256中要处理多少个图像。如 果p-O.l、 c^0.5且最终选择数量M是10，则相似判定和选择部分256从 在相似判定和选择部分256的选择之前已选择的16个图像中随i^选出 ll个图像。相应地，随着相似指数a越大，则在相似判定和选择部分256 中要处理的图像数量越增大，这使得PC20整体的操作时间越长。另夕卜， 如先前所描述的，相似判定和选择部分256是M择目标图像的集合中对 相对地彼此相类似的图像进行分组的处理。因此，随着相似指数a越大， 对"图像是否相类似"的判定越不严格。通过这种由选择控制部分240进行的使得最后执行随^^择部分258 的图^m择的控制，改善了最终选择的图像的随机性。假设选择控制部分 240 ii行4吏得最后执行相似判定和选择部分256的图傳逸择的控制，则可 能发生以下问题。例如，如果如图7所示地作为相似判定和选择部分256的分组结果而 存在由诸如"q"和"u"之类的单个图像构成的组，则从各组中随机选择 一个图像的结果总是相同的图像。下面说明选择控制部分240使得连拍判定和选择部分252、事件判定 和选择部分254和相似判定和选择部分256以此顺序执行图傳逸择的优 点。就防止在最终结果中包括多个相类似的图^象的目的而言，事件判定和 选择部分254在连拍判定和选择部分252和相似判定和选择部分256执行 图4线择之后执行图^4择看起来是有效的。这是因为，如果事件判定和 选择部分254预先压缩图像数量并且因此在相似判定和选择部分256的图 寸l^择的阶段主要剩余相类似的图像，则相似判定和选择部分256不能完 全去除相类似的图像(缺点1 )。例如，在相似判定和选择部分256从16个图像中选择11个图像的情 况下，如果16个图像中的IO个图像是极其类似的图像，则在最终选择的 11个图像中选择了至少5个相类似的图像。然而，因为相似判定和选择部分256的图像选择处理一般包括基于图 像特征量的高次相似距离计算，所以运算量与其它处理相比更大。由于随 着图^it择处理越在^的级处被执行，处理目标图像的数量越减少，因 此可通过在后级处执行运算量大的图像选择处理来减少运算量。另一方面，连拍判定和选择部分252执行主要计算时间信息的差别的 轻度的图像选择处理。因此，考虑到PC 20中的运算量，i^^控制部分 240使得首先执行连拍判定和选择部分252的图傳逸择。另外，在大多数 情况下，当选择目标图像的集合中包括的图像大多数彼此极其相类似时发 生上述缺点l，并且在这种情况下，即使相似判定和选择部分256预先执 行图像选择，结果改善的可能性也是低的。因此，选择控制部分240在减 少事件判定和选择部分254的选择目标图像的数量之后使得相似判定和 选种分256执行图^i^择。如上文所述，选择控制部分240基本上控制以连拍判定和选择部分 252、事件判定和选#^分254、相似判定和选择部分256和随^#^ 分258的顺序来执行图4象选择。然而，因为在相似判定和选择部分256的 图傳逸择中4吏用的相似指数a表示相对于最终选择数量M的比例，所以 最终选择数量M越大，要在相似判定和选择部分256中处理的图像的数 量也越增大。有鉴于此，如果最终选择数量M大于最终数量标准值y，则选择控制 部分240不使相似判定和选择部分256以及事件判定和选择部分254执行图4线择，而是使随^##分258执行图^^择。在这种配置中，在判 定了相似判定和选#^分256中产生的负荷超出可允许的范围时，选"#控 制部分240使随机选择部分258执行图傳逸择，由此抑制PC 20中的图<象 选择的处理负荷。尽管图6示出了最终数量标准值y为800的情况，但最终数量标准值 y不限于800。最终数量标准值y可以是根据PC 20的性能而预先设置的 固定值，或者是由PC20的用户任意设置的值。另外，PC20的用户可输 入为PC 20的图4象选择处理留出的时间，然后PC 20可计算最终数量标准 值y的值，以在该时间内完成图像选择处理。可根据相似指数a的值而动 态地设置最终数量标准值y。另外，在例如从ll个图像中选出IO个图像的情况下，使连拍判定和 选择部分252、事件判定和选择部分254、相似判定和选择部分256和随 机选择部分258执行图係逸择不一定总是适当的。这是因为在某些情况下 可能发生不必要的^Mt。相应地，选择控制部分240可根据相对于最终选 择数量M的选择目标图4象的数量来判定从哪个选#^分执行处理。例如， 在诸如从20个图像中选出19个图像之类的最终选择数量M接近于初始 的选择目标图傳教量的情况下，可以不由相似判定和选择部分256和事件 判定和选择部分254等执行处理，而^1仅由随M择部分258执行处理。 以下参照图13连同PC 20的整体操作一起说明选择控制部分240的其它 控制。(3-3 ) PC的操作图13是示出了在根据第一实施例的PC 20中执行的图傳逸择方法的 流程的流程图。首先，PC20的i^^数量指定部分236指定最终i^^数量 M(S304)。接下来，设置各参数(a、 p、 y、 S)(S308)。可以人工地或 自动地进行该i殳置。然后，选择控制部分240使连拍判定和选择部分252执行考虑连拍的 图M择(S312 )。由连拍判定和选#^分252选择的图像的数量^^示 为N。如果N等于最终选择数量M，则选择控制部分240在不使图像选 择部分250执行进一步的图像选择的情况下结束处理(S316)。另一方面，如果N与最终选择数量M不同，则选"^控制部分240判 定是否满足"M>Y"或"N>S"中的任一条件(S320)。如果选择控制部分240判定满足"M>y"或"N>8"中的任一条件，则选^控制部分 240使随机选择部分258选择作为最终选择数量的M个图像(S340 )。具体地，当"N > 5"时，其意味着存在大量的要由事件判定和选择 部分254选择的图像，因此事件判定和选择部分254中的运算量可能变得 过大。因此，当"N > 5"时，选择控制部分240不是使事件判定和选择 部分254执行图1线择，而是使随机选,分258执行图^i^择，由此减 少了 PC 20中的图^^择的处理负荷。如果选择控制部分240判定"M>y"和"N>6，，均不被满足，则选 择控制部分240随后判定N是否大于(1+P ) *M ( S324 )。如果选择控制 部分240判定N小于(l+p) *M，则进行至S340。另一方面，如果选择 控制部分240判定N大于(l+p) *M，则选#^控制部分240进一步判定N 是否大于(l+a+p) *M ( S328 )。如果选#^控制部分240判定N大于(l+a+卩)*M，则选^^控制部分 240使事件判定和选择部分254选择(l+a+p ) *M个图像(S332 )。另一 方面，如果选#^控制部分240判定N小于(l+a+p) *M,则选#^控制部 分240使相似判定和选择部分256选择(l+p) *M个图像(S336 )。在S332之后，选择控制部分240使相似判定和选择部分256执行图 像选择(S336)，进一步使随机选择部分258执行图像选择(S340)，然后 结束处理。(4)第二实施例(4-1)第二实施例的JLH环境近来数字照相M广泛应用，并且在PC上编辑由数字照相机拍摄的 摄影图像、运行在显示设备上顺序地显示摄影图像的幻灯等被普及地执 行。另夕卜，在幻灯中，可以在显示图像的同时播放音乐。作为在幻灯期间 播放音乐的方法，以下方法是可行的。(1) 使用固定的音乐和其中图像切换时序和效果被调整以与音乐相 匹配的^^板。(2) 在播放用户指定的音乐的同时执行图像的幻灯。 在上述的方法(1)中，尽管可以创建与音乐$ 目同步的幻灯，但由于用户不能指定期望的音乐而是不方《更的。另一方面，在方法(2)中， 尽管用户可以指定期望的音乐，但是由于幻灯中的图像切换时序和效果与 音乐流不相匹配而令用户有抱怨。根据日本未审专利公开2207-35121中/>开的"再现控制诏:备和方法 以及程序"，可以基于声音波形来选择幻灯中的图像的效果。然而，在上 述的"再现控制设备和方法以及程序"中，难以创建与音乐的情绪相匹配 的幻灯。考虑到以上问题，已经发明了才艮据第二实施例的PC21。才艮据第二实 施例的PC 2K吏得能够创建与音乐的情绪相匹配的幻灯。以下参照图14 至27来详细i兌明PC 21。(4-2 )对根据第二实施例的PC的说明图14是示出了根据第二实施例的PC21的配置的功能框图。如图14 所示，根据第二实施例的PC 21包括图傳逸择机构280 、音乐存储部分420 、 解码器424、音乐分析部分428、音乐特征量存储部分432、再现持续时 期设置部分436、布局控制部分440、操作部分448、设置管理部分452、 情绪判定部分456、混和器/效果器电路460、音响输出部分464和视频输 出部分468。图像选择机构280存储1个或更多个图像集合并从该1个或更多个图 像集合中选择给定数量的图像。具体地，图像选择机构280可由在第一实 施例中说明的图像存储部分220、拍摄时间信息获取部分224、图像分析 部分228、图^^目关信息存储部分232、选#^数量指定部分236、选择控 制部分240和图像选择部分250等构成。另外，图^i^fr^ 280可推^据 后面要说明的由布局控制部分440布置在图像显示框中的顺序而将所选 择的图^1供给解码器424。音乐存储部分420存储任意的音乐数据。尽管在图14中将音乐存储 部分420和音乐特征量存储部分432示出为不同的单元，但是音乐存储部 分420和音乐特征量存储部分432也可以是相同的存储介质。解码器424具有用于对存储在音乐存储部分420中的音乐数据和存储 在图傳逸"^^J280中的图傳ii行解码的解码功能。例如，解码器424将 以MP3 (MPEG1音频层3 )格式或ATRAC (自适应变换声音编码)格 式的音乐数据解码成PCM格式。音乐分析部分428分析由解码器424解码后的音乐数据，获取音乐特 征量，并将该音乐特征量存储到音乐特征量存储部分432中。在图15中 概述了直到音乐分析部分428获取音乐特征量为止的流程。图15是示出了直到音乐分析部分428获取音乐特征量为止的流程的 流程图。如图15所示，用户通过例如操作部分448来选#^存储在音乐存 储部分420中的任何音乐数据(S504)。然后，如果还未分析该音乐数据 (S508)且该音乐数据已被编码(S512)，则解码器424对该音乐数据进 行解码(S516 )。此后，音乐分析部分428对被解码成PCM格式的音乐数据或未编码 的音乐数据进行例如声音分析(S520)，并获取音乐特征量(S524)。以下说明由音乐分析部分428获取的音乐特征量的示例。(情绪特征量)这是通过将诸如"快乐"、"高兴"、"悲伤"和"清爽"之类的音乐的 印象、氛围或情感转换成数字而获得的特征量。可以通过以下方式来提取 作为高次特征量的情绪特征量通过对音乐数据的信号处理(声音分析) 来提取基本特征量(例如节奏、以下说明的音乐进行信息等)，然后使用 该基本特征量进行机器学习和声音估计。在例如日本未审专利公开 2005-275068、 2008-27538、 2008-65卯5等中乂>开了更具体的分析方法。(音乐构成信息)表示当开始诸如主歌、过门、副歌和结尾之类的音乐构成要素时相对 于音乐的开头的时间的信息。参照图16来更具体地i兌明音乐构成信息。图16是示出了音乐构成的示例的说明图。图16示出了以前奏、主歌、 过门、副歌、间奏、过门、副歌等的顺序布置构成要素的情况。在这种情 况下，音乐分析部分428获#前奏到主歌的切换出现的时间tl、从主歌 到过门的切换出现的时间t2、从过门到副歌的切换出现的时间t3,并以相 同的方式获取时间t4至t6作为音乐构成信息。在本说明书中，将音乐的高潮部分称作副歌。因为在例如日本未审专 利公开2007-156434中公开了分析音乐构成信息的方法，所以在本说明书 中省略了详细说明。(音乐进行信息)这^i表示当在音乐期间到达各个拍子、小节和和弦(C大调、A小调 等)时相对于音乐的开头的时间的信息。例如，在图16所示的情况下， 音乐分析部分428获取切换成C和弦的出现时间tll、切换成G和弦的出 现时间t12、切换成Am和弦的出现时间t13、切换成Em和弦的出现时 间t14等，作为音乐进行信息。因为在例如日本未审专利7>开2007-183417 中公开了分析音乐进行信息的方法，所以在本说明书中省略了详细说明。参照图14返回到对PC 21的配置的说明，操作部分448是用户对其 输入各种信息和各种指令的用户接口 。设置管理部分452例如基于对IMt 部分448的用户操作而进行各种设置。该各种设置包括后面说明的再现持 续时期的设置、布局框架的设置、效果的设置、图像选择等。混和器/效果器电路460对由解码器424解码后的音乐数据和图l象执 行给定的处理，并输出结果。例如，混和器/效果器电路460对由解码器 424解码后的音乐数据执行^A/淡出处理，并将结果输出至音响输出部分 464。另外，混和器/效果器电路460具有作为对由解码器424解码后的图 像应用由布局控制部分440设置的效果并将结果输出至视频输出部分468 的显示控制部分的功能。音响输出部分464将从混和器/效果器电路460换^供的音乐数据转换 成例如空气振动并输出结果。因此，解码器424、混和器/效果器电路460 和音响输出部分464用作彼此协作地再现音乐数据的音乐再现部分。另 外，视频输出部分468显示从混和器/效果器电路460提供的图像以使得 对用户而言是可见的。因此，解码器424、混和器/效果器电路460和视频 输出部分468用作彼此协作地显示图像的图像显示部分。当音乐分析部分428获取音乐特征量时，PC 21开始用于创建带音乐 的幻灯的一系列处理。以下参照图17示意性地i兌明该一系列处理。图17是示意性地示出了用于创建带音乐的幻灯的一系列处理的流程 图。首先，如图17所示，由再现持续时期设置部分436设置音乐再现持 续时期(S540)。如后面所详细说明的，再现持续时期可以是音乐的整个 部分或音乐的重点部分。接下来，设置由再现持续时期设置部分436设置 的再现持续时期中的、^V和淡出时间(S544)。此后，布局控制部分440将音乐再现持续时期分割成多个图像显示框；换言之，布局控制部分440设置布局框架(S548 )。如后面所详细说 明的，音乐再现持续时期可被根据固定时间分割、针对各个小节而分割、 才艮据和弦变化而分割、或自动分割。在由布局控制部分440获得的图像显 示框上相应地显示不同的图4象。然后，布局控制部分440针对各个图像显示框而设置作为效果的如何 显示图^^(S552)。如后面所详细i兑明的，布局控制部分440可随机地或 通it^于音乐特征量的自动选择来针对各个图像显示框设置效果。另夕卜，图傳逸择机构280选择对于在音乐再现持续时期中的再现而言 所必需的数量的图像(S556)。例如，图像选择,280可指定对于在音 乐再现持续时期中的再现期间的幻灯而言所必需的图4象数量作为选择数 量(选择数量指定部分236)，并通过在第一实施例中说明的方法来选择 该选择数量的图像。然后，幻灯开始，并且由图傳选择机构280选择的图像是基于由布局 控制部分440设置的图像显示框和效果而与音乐数据相同步地显示的。以 下详细说明该一 系列处理中的各个处理。(再现持续时期的设置再现持续时期设置部分436的功能)可从音乐的整个部分(全部再现)或音乐的重点部分(摘要再现)中 选择音乐的再现持续时期。选择音乐的整个部分或音乐的重点部分中的哪 个作为再现持续时期可由用户通过操作部分448来选择或被预设至PC 21。可由再现持续时期设置部分436通过执行例如图19所示的处理来设 置音乐的重点部分。图19是示出了再现持续时期设置部分436的用于设置音乐的重点部 分的处理的流程的流程图。如图19所示，再现持续时期设置部分436首 先基于存储在音乐特征量存储部分432中的音乐构成信息来获取副^ 始位置(S560)。然后，如图19的右上部分所示，再现持续时期设置部分 436以将摘要时间在副^始位置处划分成两半的方式来暂时地设置起点 和终点(S562)。然后，如果该暂时设置的起点不是第一拍(S564),则再现持续时期 设置部分436将起点向后设置到第一拍(S566 )，如果暂时设置的终点不 是第一拍(S568 )，则再现持续时期设置部分436将终点向前设置到第一 拍(S570)。图19的右中部分表示如下的示例因为暂时i殳置的起点是二拍，所以将该起点向后设置到第一拍，并且因为暂时设置的终点是第三拍，所以将该终点向前^:置到第一拍。另外，再现持续时期设置部分436搜索在起点之前的N个(N ^ 1, 例如N = 4)小节(S572 )，如果存在在其处音乐的构成要素变化的构成变 化点(S574 )，则将起点更新为该构成变化点(S576 )。同样地，再现持续 时期设置部分436搜索在终点之后的N个(N ^ 1 ，例如N = 4 )小节(S578 )， 如果存在在其处音乐的构成要素变化的构成变化点(S580)，则将终点更 新为该构成变化点(S582)。图19的右下部分示出了如下的示例在该示 例中，因为在更新前在起点之前的N个小节期间存在从主歌到过门的构 成变化点，所以将起点更新为该构成变化点，并且因为在更新前在终点之 后的N个小节期间存在从副歌到间奏的构成变化点，所以将终点更新为 该构成变化点。以这种方式，将由再现持续时期设置部分436获得的M点到终点的 持续时期设置为摘要再现的再现持续时期。尽管在图19中示出了在S572 中搜索在起点之前的N个小节的时段的情况，但是本实施例不限于此。 例如，再现持续时期设置部分436可包括起点之后的N个小节作为搜索 目标时段。同样地，尽管示出了在S578中搜索在终点之后的N个小节的 时段的情况，但是本实施例不限于此。例如，再现持续时期设置部分436 可包括终点之前的N个小节作为搜索目标时段。(^^/淡出时间的设置)由再现持续时期设置部分436设置的再现持续时期的淡入时间和淡 出时间可被J5先i殳置到PC 21,也可被通过经由操作部分448的用户操作 来设置。另夕卜，当执行其中再现持续时期是音乐的整个部分的4^再现时， 可将淡入时间和淡出时间设置为与执行摘要再现时相比更长。例如，淡入 时间和淡出时间可以是约3秒。(布局框架布局控制部分440的功能)布局控制部分440通过例如以下方法将由再现持续时期i殳置部分436 设置的音乐再现持续时期分割成多个图像显示框。-时间固定这是分割音乐再现持续时期以便以例如io秒之类的固定时间间隔切换图4象的布局方法。在该方法中，音乐特征量未被特别地使用。-小节分割这是分割音乐再现持续时期以便每一定数量的小节就切换图像的布局方法。布局控制部分440可以基于音乐进行信息中包含的切换小节时的 时间来指定从再现持续时期的开头起多少毫秒后切换图像。因为在具有4 拍的音乐中曲调一般倾向于每4小节或每8小节变化，所以布局控制部分 440可以例如每4小节或每8小节分割再现持续时期。-和弦分割这是分割音乐再现持续时期以便与和弦进行中的变化相同步地切换 图像的布局方法。布局控制部分440可以基于音乐进行信息中包含的切换 和弦时的时间来指定从再现持续时期的开头起多少亳秒后切换图4象。例 如，当从再现持续时期的开头起IOOO亳秒后和弦从C大调变成A小调时， 布局控制部分440可从再现持续时期的开头起1000亳秒后分割再现持续 时期。因为在时间固定和小节分割的情况下以规则的间隔来分割再现持续 时期，所以在幻灯中周期性地切换图像。另一方面，因为在和弦分割的情 况下以不规则的间隔(1小节、2小节、1小节又2拍等)来分割再现持 续时期，所以幻灯中的图像切换周期不是恒定的，因此使得能够创建更好 地与音乐^4目匹配的幻灯。-根据情绪的自动布局这是根据与音乐的情绪相对应的规则来分割音乐的再现持续时期的 布局方法。由情绪判定部分456基于音乐特征量来判定音乐的情绪。W 后面详细i兌明。(效果的设置布局控制部分440的功能)布局控制部分440针对各个图像显示框而设置作为效果的以何种动画来显示图像。更具体地，布局控制部分440设置在图像框开始时对图像 应用的动画(以下称为淡入)以及在图傳4匡结束时对图像应用的动画(以 下称为淡出)。效果类型的具体示例有阿尔法淡(A/出)、缩放(缩/放)、 滑入(上、下、左、右)、多重显示滑入(纵分割、横分割)、深褐色等。 以下参照图20说明各种效果类型。图20是示出了针对每个效果类型的从^/w到淡出的状态的说明图。 如图20所示，在无效果的情况下，从i^到淡出保持相同的图像。在阿 尔法渐变的情况下，在淡入期间透过性逐渐减小且图《象显现，在淡出期间 透过性逐渐增大且图4象消隐。在缩放的情况下，在淡入期间图傳逸渐变大， 在淡出期间图像逐渐变小。在滑入的情况下，在淡入期间图像从显示屏幕 外移到显示屏幕内，在淡出期间图^^示屏幕内移到显示屏幕外。在多 重显示的情况下，在多个分割的屏幕中对不同的图像应用滑入、缩放、阿 尔法渐变等。另外，除了效果类型以外，布局控制部分440还"&置淡入开始时间、 淡入结束时间、淡出开始时间、淡出结束时间等作为效果参数。布局控制 部分440可以随机地或根据与音乐的情绪相对应的规则来设置这些效果 M。后面说明与使用音乐的情绪的方法相关的细节。(图像的选择)通过上述处理来设置音乐再现持续时期、布局框架和应用于各个图l象 显示框的效果。图^^择^ 280选择要置于布局中的相应的图4象显示框 上的图像，并执行用于完成幻灯的处理。例如，如同在第一实施例中所说明的那样，图傳逸择机构280从诸如 任意文件夹内的图像集合之类的大量的图像集合中提取对于幻灯而言必 需的数量的照片，由此创建不令A^烦的幻灯。另外，可以使用在例如日本未审专利7>开2007-79894中公开的面部 识别技术来识别各个图像中包含的面部的数量，并且除了将其添加至图像 ID(内容管理ID)、拍摄时间、图像特征量等以外，还将其添加至图^M目 关信息。在这种情况下，布局控制部分440可以以如下的方式来进行布置 在最后的图像显示框中显示由图M择;IM^ 280选择的图像中的、包含最 大量的面部的图像。具体地，布局控制部分440可以将包含最大量的面部 的图像置于最后的图像显示框中并使其它图像的位置前移，或者可以将最后的图像显示框中的图像替换成包含最大量的面部的图像。在该配置中， 可以显示例如适用于最后作为代表照片的集体照片并结束幻灯。
(设置管理部分452)
如以上所说明的那样，对于用于实现各个处理的具体方法，有若干选 项。可通过设置管理部分452来管理要使用的具体方法。另夕卜，设置管理 部分452可基于图18所示的配置对话中的用户操作来设置JH吏用的具体 方法。
图18是示出了配置对话的示例性构成的说明图。如图18所示，配置 对话包含表示用于再现持续时期、布局、效果和图像选择的具体方法的选 项的显示。在图18所示的示例中，对于再现持续时期选择摘要再现，对 于布局、效果和图像选择相应地选择自动选择。再现持续时期设置部分 436、布局控制部分440和图傳逸择机构280可以以此方式根据由设置管 理部分452管理的信息来操作。
(根据情绪的对布局和效果的自动选择)
下面参照图21至25说明祁^据情绪的对布局和效果的自动选择(显示 图案的自动选择)。
图21是示出了根据情绪的对布局和效果的自动选择的流程的流程 图。首先，如图21所示，情绪判定部分456基于存储在音乐特征量存储 部分432中的音乐特征量来判定音乐的情绪(曲调)。情绪判定部分456 可利用例如在PlayStation3 (注册商标)中使用的"自动选择频道"的算 法来执行情绪判定。另外，音乐的情绪可表示音乐的氛围、由音乐想起的 抽象主题(气候、场所、季节、感情、事件)等。以下描逸基于情绪判定 部分456将音乐的情绪判定为Active (活泼的)、Relax (舒緩的)、Ballad (伤感的)、Acoustic (非电声的)或Electronic (电子的)中的任一种的 假设。如果音乐对应于多种情绪，则情绪判定部分456可以祁^据给定的优 先级来选择一种情绪。例如，可以对音乐在统计上不太可能对应的情绪赋 予较高的优先级，可对Ballad赋予最低的优先级，可对Relax、 Active、 Electronic和Acoustic以此顺序赋予较高的优先级。
当由情绪判定部分456判定音乐的情绪之后，布局控制部分440获取 音乐构成信息(S608),基于音乐构成信息和音乐的情绪将再现持续时期分割成1个或2个或更多个逻辑持续时期，并针对各个逻辑持续时期而选 择效果图案(S612)。例如，布局控制部分440可针对各个逻辑持续时期 而选择如图22所示的效果图案。
图22是示出了效果图案的选择示例的说明图。在图22所示的示例中， 将再现持续时期分割成针对音乐的各个构成要素的逻##续时期，并对主 歌设置效果图案A，对过门设置效果图案B，对副歌设置效果图案C。各 个效果图案包括多个效果类型。另外，对于用户而言的视觉效果按效果图 案A (低)、效果图案B (中)和效果图案C (高)的顺序而升高。
然后，布局控制部分440决定每个逻辑持续时期的布局框架(S616 )。 具体地，布局控制部分440将各个逻辑持续时期分割成多个图《象显示框。
此后，布局控制部分440将逻辑持续时期中包括的各个图像显示框的 效果类型设置至该逻辑持续时期的效果图案中包括的任一效果图案 (S620)。另外，如图23所示，布局控制部分440针对每个图像显示框而 设置除了效果类型以外的其它效果参数。图23是示出了针对各个图傳_显 示框而设置效果M的方式的说明图。图23所示的布局[0至[N对应于 相应的图像显示框，并且针对各个图像显示框而设置'^开始时间、 结束时间、淡出开始时间、淡出结束时间和效果类型。
然后，在全部逻辑持续时期的处理结束il后，图傳逸择机构280可以 决定对于幻灯而言所必需的图傳教量(S624)。
以上说明了将再现持续时期分割成以音乐的构成要素(主歌、副歌等) 为单位的逻榫持续时期的情况。在这种情况下，可以根据正被再现的旋律 来实现效果和图像切换。另一方面，在本实施例中，如图24和25所示， 相对于副^始位置而将再现持续时期分割成多个逻辑持续时期。
图24和25是示出了针对每种情绪的布局和效果的设置的示例的说明 图。图24和25所示的切换周期表示图像切换时的周期，即，图像显示框 的周期。如图24所示，当情绪是活泼的时，在以下位置处分割再现持续 时期副歌前4小节的位置、副歌前l小节的位置和副f^始位置，切换 周期短，并且i殳置多种效果图案。
另外，如图24所示，当情绪是舒緩的时，在副^始位置处分割再 现持续时期，切换周期相当长，并且多用阿尔法渐变。另外，如图24所 示，当情绪是深情的时，在副歌前2小节的位置和副"f^始位置处分割再 现持续时期，切换周期相当长，并且多用缩放。如图25所示，当情绪电子的时，基本上根据和弦变化来切换图像，并且随机设置效果。另一方
面，当和弦变化是4拍或更少时，每拍都切换图像，并且不应用效果。另 外，如图25所示，当情绪是非电声的时，在副M始位置处分割再现持 续时期，切换周期相当长，并将深褐色应用于除了副歌以外的部分。
如上文所述，通it^目对于过门起始位置将再现持续时期分割成多个逻 辑持续时期，可以创建随着音乐再现位置越趋近于副歌而变得越让人印象 深刻(视觉效果变得越显著)的幻灯。
(4-3)对第二实施例的补充说明
尽管在上述的第二实施例中说明了基于拍子、小节、和弦变化等将再 现持续时期或逻##续时期分割成图像显示框的情况，但本实施例不限于 此。下面参照图26说明第二实施例的替代性示例。
图26是示出了音乐进行中属音的关系的说明图。如图26所示，音乐 由诸如稳定的主音、紧张的属音和不稳定的下属音之类的属音构成。属音 具有如图26所示的关系。因此，布局控制部分440例如可以如下地基于 属音将再现持续时期或逻辑持续时期分割成图像显示框。
-图^象显示框主音-属音-主音
效果J3HX-静止一淡出
一个图像显示框由主音-属音-主音构成，对主音设置淡入效果，对属 音设置静止效果，并对后续的属音设置淡出效果。
-图^象显示4匡主音-下属音-属音-主音
效果、^-放大-静止-淡出
一个图像显示框由主音-下属音-属音-主音构成，对主音设置淡入效 果，对下属音设置放大效果，对属音设置静止效果，并对后续的主音设置 淡出效果。
-图^象显示才匡主音-下属音-主音
效果，;^-放大-淡出一个图像显示框由主音-属音-主音构成，对主音设置淡入效果，对下 属音设置放大效果，并对后续的主音设置淡出效果。
这样，通过将再现持续时期分割成属音单位并使属音的变化与效果的 变化相同步，可以自动创建与音乐更进一步i^目匹配的幻灯。
另外，布局控制部分440可以以佳:得在和弦变化点处淡入结束的方式 来根据和弦分割再现持续时期。
图27是示出了和弦变化点与图像显示框之间的关系的说明图。如图 27所示，考虑基于从C小调到A大调的和弦变化点来分割图〗象显示框的 情况。在这种情况下，为了使淡入在从C小调到A大调的和弦变化点t22 处结束，布局控制部分440分割图像显示框以使t21来到开头处。同样地， 为了使下个图像的淡入在从A大调到下个和弦的和弦变化点t25处结束， 必须将t24设为下个图像显示框的开头。因此，为了使淡出在t24处结束， 布局控制部分440将t23设为淡出开始时间。
如果将淡入设置为在和弦变化点处开始，则图l象的效果在和弦变化后 开始，这可能给予用户图像落后于音乐的印象。另一方面，通过像上述那 样地以使得^^在和弦变化点处结束的方式分割图像显示框，可以给予用 户图像与音乐更好^目匹配的印象。
(5)总结
如上文所述，在才艮据第一实施例的PC20中，由于相似判定和选#^5 分256基于各个图像的特征量来进行图像选择，因此相似判定和选择部分 256可以从多个图像中选择例如相似程度较低的图像。另一方面，由于相 似判定和选择部分256像上文所述的那样基于各个图像的特征量来进行 图像选择，因此随着选择目标图像数量或最终选择数量的增加，相似判定 和选择部分256中的处理负荷也变得过大。有鉴于此，如果最终选#^数量 大于最终数量标准值y，则选#^控制部分240不使相似判定和选择部分256 执行图傳it择，而是使随^trtii^择部分258执行图傳J^择，由此减少了 PC 20 中的用于图^i^择的处理负荷。因此，在PC20中，当最终选择数量大于 最终数量标准值y时，随机选#^分258执行图《l^择以减少处理负荷， 并且当最终i^^数量小于最终数量标准值y时，相似判定和选#^分256 执行图 <线择以通过考虑相似来选择图像。
尽管参照

了本发明的优选实施例，但本发明不限于上述实施例。对本领域的技术人员来说，显然在不脱离本发明的范围的情况下可以 进行各种变化和变型，旨在将该各种变化和变型包括在本发明的范围之 内。
例如，不一定根据流程图所示的顺序以时间顺序执行本说明书中的
pc20或pc21的处理中的各个步骤。例如，pc20或pc21的处理中的
另夕卜，尽管图13示出了在s320中当选择控制部分240判定n〉y时 选择控制部分240使随机选择部分258执行图^i^择，但本发明不限于此。 例如，在s320中当选#^控制部分240判定n > y时，选#^控制部分240 可以使运算量少于相似判定和选择部分256的、具有任意图卩象选择功能的 选种分执行图絲择。
另外，可以创建4吏得诸如内置于pc 20或pc 21中的cpu201、rom 202或ram 203之类的硬件执行与上述的pc 20或pc 21的构成要素相 等同的功能的计算积4呈序。另夕卜，可提供存储这种计算枳艰序的存储介质。 另外，可通过硬件来实现图5或图14的功能框图所示的各个功能框，由 此在多更件上实现该一 系列处理。
权利要求
1.一种图像选择设备，包括选择数量指定部分，用于指定图像的选择数量；图像分析部分，用于分析多个图像并提取各个图像的特征量；第一选择部分，用于基于由所述图像分析部分提取的各个图像的特征量来从所述多个图像中选择至少所述选择数量的图像；第二选择部分，用于通过与所述第一选择部分的方法不相同的给定方法来从所述多个图像中选择图像；以及选择控制部分，用于在所述选择数量大于第一设定数量的情况下不是使所述第一选择部分而是使所述第二选择部分选择图像。
2. 根据权利要求1所述的图##^殳备，其中如果所i^择数量小于所述第一设定数量，则所^i^^控制部分4吏得 所述第 一选#^分选择至少所i^择数量的图像，然后使得所述第二选择 部分从所述至少所^择数量的图像中选择所述选"^数量的图 <象。
3. 根据权利要求2所述的图 ^#^殳备，其中所述第二选择部分从所述至少所述选择数量的图像中随机地选择所 ^it择数量的图像。
4. 根据权利要求3所述的图^^#^殳备，其中所述第一选择部分从所述多个图像中选择基于所述选择数量和预定 的指数而指定的数量的图像。
5. 根据权利要求1所述的图像选#^殳备，还包括第三选择部分，用于将预定的图像集合分类成由其拍摄时间间隔短于 设定的间隔值的图像组成的组，并从每个所述组中选择至少一个图像，其 中，所述多个图像被包括在由所述第三选择部分选择的图像集合中。
6. 根据权利要求5所述的图<线#^殳备，还包括第四选#^分，用于根据由所述第三选择部分选择的图像集合中包括 的各个图像的拍摄时间的离^JL而将所述图像集合分类成多个组，并从每 个组中选择至少一个图像作为所述多个图像。
7. 根据权利要求6所述的图像选#^殳备，其中如果由所述第三选择部分选择的图像集合中包括的图像的数量大于第二设定数量，则所述选择控制部分不是使所述第四选择部分而是使所述 第二选#^分选捧图像。
8. 根据权利要求6所述的图^^#^备，其中如果由所述第三选择部分选择的图像集合中包括的图像的数量小于 基于所述选择数量和预定指数而指定的数量，则所^i^^控制部分使所述 第一选择部分从由所述第三选择部分选择的图像集合中包括的图像中选 择所^i^择数量的图像。
9. 根据权利要求l所述的图像选^i殳备，还包括 音乐再现部分，用于再现音乐；布局控制部分，用于针对形成音乐的一个或两个或更多个持续时期中 的每一个而设置图像的显示图案；图像显示部分，用于显示图像；以及显示控制部分，用于4吏得才艮据由所述布局控制部分对包括音乐再现位 置的持续时期设置的显示图案来顺序地显示基于所述选择控制部分的控 制而选择的图像。
10. 根据权利要求9所述的图^^#^殳备，其中分割成一个或两个或更多个持续时期，并针对所述一个或两个或更多个持 续时期而设置与所述音乐的情绪相对应的显示图案。
11.根据权利要求9所述的图^^^i更备，其中将包含最大数量的面部的图像置于M。
12. 根据权利要求9所述的图像选#^备，还包括再现持续时期设置部分，用于设置音乐的再现持续时期，其中，所述选择数量指定部分基于对于所述再现持续时期中的再现期间的 显示而言所必需的图像数量来指定所述图像的选择数量。
13. 根据权利要求9所述的图^^#^殳备，其中所述再现持续时期设置部分暂时地设置以音乐的高潮部分的起始位 置为中心的持续时期，以及如果所述持续时期的起点和终点不是第 一拍，则所述再现持续时期设 置部分将所述起点和所述终点分别向后延伸到第 一拍和向前延伸到第一 拍，并设置所述再现持续时期。
14. 根据权利要求13所述的图4純#^备，其中如果在从起点起的给定范围内或从终点起的给定范围内存在在其处 音乐的构成要素变化的构成变化点，则所述再现持续时期设置部分进一步 将所述起点或所述终点更新为所述构成变化点，并设置再现持续时期。
15. 根据权利要求9所述的图#^#^殳备，其中 所述显示图案包含图像的切换时间和应用于图像的效果中的至少一个。
16. 根据权利要求9所述的图^^^i更备，其中当基于音乐的和弦进行而切换图像时，所述布局控制部分以使得图像 的淡入在和弦变化点处结束的方式来进行控制。
17. —种图像选择方法，包括指定图《象的选择数量的步骤；判定所i^择数量是否大于第 一设定数量的步骤；如果判定所i^择数量小于第一设定数量，则分析多个图像以提取各 个图像的特征量、且基于所述各个图像的特征量而从所述多个图像中选择 至少所i^择数量的图像的步骤；以及如果判定所述选#^数量大于笫一设定数量，则在不使用所述各个图像 的特征量的情况下通过其它的给定方法从所述多个图像中选择图像的步
18. —种使计算机用作图#^#^殳备的程序，所述图^^#^殳备包括:选择数量指定部分，用于指定图像的选择数量；图像分析部分，用于分析多个图像并提取各个图像的特征量；笫一选,分，用于基于由所述图像分析部分提取的各个图像的特征 量来从所述多个图像中选择至少所述选择数量的图像；第二选择部分，用于通过与所述第一选择部分的方法不相同的给定方法来从所述多个图像中选择图像；以及选择控制部分，用于在所述选择数量大于第一设定数量的情况下不是 使所述第 一选,分而是使所述第二选#^分选择图像。
全文摘要
提供了图像选择设备、图像选择方法和程序。图像选择设备包括选择数量指定部分，用于指定图像的选择数量；图像分析部分228，用于分析多个图像并提取各个图像的特征量；第一选择部分，用于基于由图像分析部分提取的各个图像的特征量而从多个图像中选择至少选择数量的图像；第二选择部分，用于通过与第一选择部分的方法不相同的给定方法来从多个图像中选择图像；以及选择控制部分，用于在选择数量大于第一设定数量的情况下不是使第一选择部分而是使第二选择部分选择图像。
文档编号G06T1/00GK101622641SQ20088000712
公开日2010年1月6日 申请日期2008年8月19日 优先权日2007年9月5日
发明者儿嶋环, 后藤智彦, 增田高史, 望月大介, 木村隆臣 申请人:索尼株式会社