专利名称：图像合成装置及图像检索方法
技术领域：
本发明涉及图像合成装置及图像检索方法、存储有程序的记录介质。
背景技术：
例如日本特开2004-134950号公报所述，以往在由数字摄像机等拍摄到的图像上合成素材图像的技术已为众所周知。另外，如日本特开平11-341522号公报所述，通过准备在双方间存在视差的左右一对图像，也就是图像内同一物体的位置向左右偏移后的左眼用图像和右眼用图像，使观看者用左眼观看左眼用图像，且用右眼观看右眼用图像，而令其立体地看见图像(立体观看)的技术已为众所周知。然而，即便是利用专利文献2所述的技术来立体观看的图像(下面称为立体图像)，构成该图像的左眼用图像和右眼用图像也是和由数字摄像机等拍摄到的图像相同的静止图像。从而，可以针对某个立体图像，例如从其他的立体图像，剪切与人物等那样的作为独立的物体来识别的部分(下面称为对象)相当的部分图像(下面称为对象图像)，合成剪切后的部分图像。也就是说，只要在作为背景的构成立体图像的左眼用图像上覆盖并合成对象图像的左眼用图像，且在作为背景的构成立体图像的右眼用图像上覆盖并合成对象图像的右眼用图像，就可以获得新的立体图像。但是，在立体图像中，存在立体观看该立体图像时的距离感相互不同的多个对象的时候，若感觉为相对存在于近前的对象的一部分被感觉为相对存在于深处的其他对象所遮挡，则立体图像变得令人非常不舒适。因此，在预先准备好的多个立体图像的某一个上合成任意的对象图像的情况下，需要考虑与合成后的立体图像内的其他对象之间的距离感的不同等，而选择适合于合成的背景用立体图像。因此，当进行背景用立体图像的选择时，例如需要通过由操作者立体观看对象图像和作为背景候选的各个立体图像，来预先确认合成后的立体图像内有无不适感。从而，致使在背景用立体图像的选择中耗费很多的人力，存在操作者的负担增大这样的问题。
发明内容
因此，本发明的目的是提供一种图像合成装置及图像检索方法、程序，在作为背景的其他立体图像上合成作为立体图像的素材图像时，操作者方面选择适合于素材图像合成的其他立体图像的操作较为容易。本发明的图像合成装置，其特征为，具备
取得部，取得作为对象来立体观看的素材图像中存在的视差；检索部，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成部，在由上述检索部作为选择候选检索到的立体图像上合成上述素材图像，上述多个立体图像各自包含至少一个对象，上述检索部从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，都是比由上述取得部所取得的上述素材图像的视差更小的第1 视差对象。本发明的图像合成装置，其特征为，具备取得部，取得作为对象来立体观看的素材图像中存在的视差；检索部，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成部，在由上述检索部作为选择候选检索到的立体图像上合成上述素材图像，上述多个立体图像各自包含至少一个对象，上述检索部从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，是与由上述取得部所取得的上述素材图像的视差相同或者比该视差更大的第2视差对象，且该素材图像具有能够配置在除了上述第2视差对象以外的区域上的形状及尺寸。本发明的图像合成装置，其特征为，具备取得部，取得作为对象来立体观看的素材图像中存在的视差；检索部，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成部，在由上述检索部作为选择候选检索到的立体图像上合成上述素材图像，上述多个立体图像各自包含至少一个对象，上述检索部从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，是与由上述取得部所取得的上述素材图像的视差相同或者比该视差更大的第2视差对象，且该素材图像具有能够配置为与上述第2视差对象整体重合的形状及尺寸。本发明的图像检索方法，具有取得步骤，取得作为对象来立体观看的素材图像中存在的视差；检索步骤，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成步骤，在由上述检索步骤作为选择候选检索到的立体图像上合成上述素材图像，
上述多个立体图像各自包含至少一个对象，上述检索步骤从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，都是比由上述取得步骤所取得的上述素材图像的视差更小的第1视差对象。本发明的图像检索方法，具有取得步骤，取得作为对象来立体观看的素材图像中存在的视差；检索步骤，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成步骤，在由上述检索步骤作为选择候选检索到的立体图像上合成上述素材图像，上述多个立体图像各自包含至少一个对象，上述检索步骤从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，是与由上述取得步骤所取得的上述素材图像的视差相同或者比该视差更大的第2视差对象，且该素材图像具有能够配置在除了上述第2视差对象以外的区域上的形状及尺寸。本发明的程序，具有取得处理，取得作为对象来立体观看的素材图像中存在的视差；检索处理，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成处理，在由上述检索处理作为选择候选检索到的立体图像上合成上述素材图像，上述多个立体图像各自包含至少一个对象，上述检索处理从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，都是比由上述取得处理所取得的上述素材图像的视差更小的第1视差对象。本发明的程序，使计算机执行取得处理，取得作为对象来立体观看的素材图像中存在的视差；检索处理，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成处理，在由上述检索处理作为选择候选检索到的立体图像上合成上述素材图像，上述多个立体图像各自包含至少一个对象，上述检索处理从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，是与由上述取得处理所取得的上述素材图像的视差相同或者比该视差更大的第2视差对象，且该素材图像具有能够配置在除了上述第2视差对象以外的区域上的形状及尺寸。本发明的优点将在下面的详细说明部分中列出，并且，它们根据说明部分也将是显而易见的，或者可以通过实施本发明来获悉。本发明的优点可以借助于下面具体给出的手段和组合方式来实现和获得。
附图是说明书的一部分，它们示出了本发明的实施例，并且，与上面给出的概要说明和下面给出的实施例详细说明一起，阐明本发明的原理。图1是数字相框的外观图，图IA是主视图，图IB是侧视图。图2是数字相框的系统结构图。图3是显示于显示部上的画面的说明图，图3A是电源为接通状态时的说明图，图 3B是选择了图像编辑时的说明图。图4是说明图像合成处理所用的流程图。图5是显示于显示部上的画面的说明图，图5A例示对象图像选择画面、图5B例示背景图像选择画面、图5C例示图像合成区域选择画面、图5D例示图像配置调整画面。图6是说明背景候选检索处理所用的流程图。图7是说明视差的导出处理所用的流程图。图8是拉普拉斯过滤器的说明图，图8A是3 X 3矩阵的过滤器结构图，图8B是5 X 5 矩阵的过滤器结构图。图9是通过二值化处理得到的边缘图像数据的说明图。图10是说明对象图像制作处理所用的流程图。图11是显示于显示部上的画面的说明图，图IlA例示被提取图像选择画面、(b)例示对象选择画面。
具体实施例方式本发明的具体实施方式
将参照附图加以解释。下面，对于用来实施本发明的方式进行说明。本实施方式涉及具备作为本发明图像合成装置的功能的数字相框。这里，数字相框是以显示鉴赏用图像为主要目的的装置，该图像例如由数字摄像机拍摄并且作为图像数据被记录。另外，本实施方式的数字相框还具备将由左眼用和右眼用组成的左右一组图像显示为立体图像的功能、以及合成立体图像的功能。下面，参照附图来说明本实施方式的数字相框。图1是表示本实施方式数字相框1的外观图，图IA是主视图，图IB是侧视图。如图1所示，本实施方式的数字相框1具备显示部2，设置于主体部20的前表面； 电源开关3a ；触摸面板北，其配置为与显示部2重合；媒体安装部5，安装存储有各种图像数据的卡式存储媒体4。另外，在数字相框1的主体部20的背面，以能够使主体部20向后方稍稍倾斜地放置的方式，配备相对于主体部20开闭自如的支架21。图2是表示数字相框1电结构的系统结构图。如图2所示，数字相框1除了上述的显示部2、电源开关3a、触摸面板北及媒体安装部5以外，还具备内置存储器6、控制部7和通信控制部31。媒体安装部5具体而言是控制存储媒体4和控制部7之间的数据输入输出的输入输出接口，由所需的电路构成。在存储媒体4中存储着多个图像数据。在存储媒体4中所存储的图像数据里，包括例如由数字摄像机通过摄影所取得的图像数据和立体图像数据。由数字摄像机所取得的图像数据例如是对采用JPEG (Joint Photographic Expert Group，联合图像专家组)方式压缩后的图像数据主体，与该图像数据主体的尺寸 (纵向及横向的像素数)等的基本信息一起，附加摄影日期与时间、及缩略图像(缩小图像)数据等的附加信息，并作为图像文件被存储的数据。另外，立体图像数据是表现立体图像的图像数据，例如是由将通过静止摄像机拍摄到的左右一对照片(左眼用图像和右眼用图像)分别加以数字数据化后的左眼用图像数据和右眼用图像数据所组成的数据，或是从单个图像数据利用图像处理技术所生成的左眼用图像数据和右眼用图像数据。立体图像数据例如在采用JPEG方式压缩后的图像数据主体中附加缩略图像数据等的附加信息，并作为立体图像文件而被存储。立体图像数据主体由左眼用图像数据和右眼用图像数据构成，且缩略图像数据也由左眼用缩略图像数据和右眼用缩略图像数据构成。再者，在立体图像数据中，与立体图像数据(左眼用图像数据和右眼用图像数据)的尺寸等基本信息一起，附加有表示其是立体图像数据的识别信息等。显示部2例如是包括背景灯在内的液晶显示模块或有机EL显示模块。显示部2 显示基于下述图像数据的通常的二维图像或立体图像，以及包括1个或者多个操作用的图像(下面称为软键)在内的各种显示菜单等，上述图像数据是通过媒体安装部5从存储媒体4所读入的。再者，显示部2还显示基于由控制部7所生成的立体图像数据的立体图像。这里，在数字相框1中使用的立体图像的显示方式例如是所谓视差屏障 (parallax barrier)方式或分时显示方式。视差屏障方式是沿左右方向交替配置并显示根据左眼用图像数据进行灰度控制的第1像素和根据右眼用图像数据进行灰度控制的第2像素，另一方面，使处于指定观看位置的用户，通过视差屏障只用左眼看见第1像素，且通过视差屏障只用右眼看见第2像素。 从而，采用视差屏障方式的设备的结构为，显示部2在显示画面的近前，具备显示(形成) 视差屏障的液晶面板等屏障显示元件。另外，分时显示方式是交替地分时显示基于左眼用图像数据的左眼用图像和基于右眼用图像数据的右眼用图像，另一方面，与左眼用图像和右眼用图像的显示定时同步，交替遮断用户左眼的视场和右眼的视场的方式。从而，采用分时显示方式的设备中，需要在立体图像的观看时另行使用户佩带眼镜等的视场控制装置，所述眼镜等的视场控制装置与左眼用图像和右眼用图像的显示定时同步，交替遮断左右的视场。触摸面板北是在显示部2上显示出1个或者多个软键的状态下，检测显示部2的显示画面内用户的触摸位置来作为输入信息的输入装置。在触摸面板北中，可以使用例如电阻膜方式的触摸面板或静电电容方式的触摸面板。电阻膜方式是通过测量由透明电极的电阻产生的分压比来检测触摸位置的方式， 该透明电极由透明度比较高的ITOandium Tin Oxide，铟锡氧化物)构成。静电电容方式是以由ITO膜所形成的相互交叉进行延展的多根透明的电极图案为传感器，通过捕获表面电荷的变化来检测触摸位置的方式。内置存储器6是即便切断电源仍保存存储内容，且能够改写存储数据的闪存器， 更为具体而目是 EEPROM (Electric Erasable Programmable Read Only Memory，电可擦可编程只读存储器)。在内置存储器6中，如下所述存储着在数字相框1中生成的立体图像数据和对象图像数据等。还有，虽然详细情况将在下面说明，但是对象图像数据是表现人物等作为特定对象来立体观看的立体图像(素材图像)的立体图像数据，是由左眼用图像数据和右眼用图像数据组成的一组图像数据。另外，左眼用图像数据和右眼用图像数据分别是彩色图像数据，所述彩色图像数据按每个显示坐标，作为颜色成分具有红色成分、绿色成分及蓝色成分的灰度值。控制部7包括CPU (Central Processing Unit，中央处理单元)8、存储有由CPU8执行的控制程序的R0M9(Read Only Memory，只读存储器)以及成为工作区域的RAM10 (Random Access memory，随机存取存储器)等。R0M9是存储着用于使CPU8控制系统整体的多种程序或数据的存储器。在R0M9所存储的程序中，包含在本实施方式中将CPU8作为取得机构、检索机构、合成机构及图像制作机构使之发挥作用的立体图像合成程序。RAM10是当CPU8进行数字相框1的控制时，暂时存储各种数据的工作用存储器， 具体而言是SDRAM (Synchronous dynamic random-access memory，同步云力态随机存储器)寸。通信控制部31进行通信处理，该通信处理例如通过利用有线或者无线的通信线路将数字相框1根据需要连接到因特网等的网络上，从存在于网络上的服务器接收各种图像数据。由通信控制部31接收的图像数据是由数字摄像机等所取得的图像数据、立体图像数据及对象图像数据，接收到的图像数据被存储于存储媒体4或内置存储器6中。下面，说明由上面的结构形成的数据相框1中的动作。在数字相框1上，当由用户操作电源开关3a而电源成为接通状态时，CPU8开始基于R0M9中所存储的程序的控制，立即使功能选择菜单显示于显示部2上。图3A是表示显示于显示部2上的功能选择菜单Gl的一例的附图。功能选择菜单 Gl包括被分配图像检索功能的软键11a、被分配幻灯片演示功能的软键lib、被分配图像编辑功能的软键11c、被分配下载功能的软键Ild和被分配各种设定功能后的软键lie。这里，图像检索功能是从在存储媒体4中作为图像数据所存储的图像中，选择所希望的图像，并使选择出的图像显示在显示部2上的功能。幻灯片演示功能是按规定的顺序以幻灯片演示的形式对在存储媒体4中作为图像数据存储的多个图像进行显示的功能。 图像编辑功能是编辑存储为图像数据的图像的功能。下载功能是从上述网络下载各种图像数据的功能。各种设定功能是设定与数字相框1具有的各种功能有关的动作内容的功能。在显示出功能选择菜单Gl的期间，若由用户触摸了任一个软键Ila lld，也就是说，在触摸面板北上与任一个软键Ila Ild对应的区域内的位置被检测为触摸位置， CPU8转而进行与分配给所触摸到的软键的功能相应的处理。此时，若由用户触摸了被分配图像编辑功能的软键11c，则CPU8使图所示的那种编辑内容选择菜单G2显示于显示部2上。编辑内容选择菜单G2包括被分配绘画风格变换功能的软键llf、被分配图像合成功能的软键Ilg及记载了 “返回”的软键llh。所谓的绘画风格变换功能指的是，从在存储媒体4中作为图像数据存储的图像中，使用户选择所希望的图像，通过对选择出的图像(图像数据)实施图像处理，将原来的图像变换为绘画风格图像的功能。还有，绘画风格图像是具备日本画风格、西洋画风格、水彩画风格、水墨画风格及工笔画风格等特定风格(绘画的特征)的图像。所谓的图像合成功能指的是，合成在存储媒体4或内置存储器6中作为立体图像数据存储的不同的2个立体图像的功能。还有，有关图像合成功能的详细情况将在下面说明。在数字相框1上，若在编辑内容选择菜单G2上由用户触摸了被分配绘画风格变换功能的软键llf·，则CPU8转而进行与绘画风格变换功能相应的处理。另外，若触摸了记载为 “返回”的软键llh，则CPU8使功能选择菜单Gl再次显示于显示部2上。然后，若在编辑内容选择菜单G2上由用户触摸了被分配图像合成功能的软键llg，则CPU8执行与图像合成功能相应的、将在下面说明的图像合成处理。本实施方式中的图像合成处理是将由用户选择的任意的对象图像(素材图像)， 作为前景图像覆盖并合成在由用户作为背景用选择出的任意的立体图像一部分上。这里， 在图像合成处理中使用的立体图像及对象图像是在存储媒体4或内置存储器6中作为立体图像数据所存储的图像。下面，根据图4所示的流程图，说明CPU8执行的图像合成处理的具体处理过程。在图像合成处理中，CPU8首先使图5A所示的对象图像选择画面G3显示于显示部 2上(步骤SAl)。对象图像选择画面G3例如包括“请选择对象图像”等的消息12a、表示对象图像的选择候选的图像列表13a、记载为“确定”的软键lli、记载为“对象制作”的软键 Ilj和记载为“返回”的软键Ilk。这里，当进行对象图像选择画面G3的显示时，CPU8以存储在存储媒体4及内置存储器6中的对象图像数据为选择对象，在图像列表13a上进行列表显示。被列表显示的对象图像数据例如是在下述步骤SA5的对象图像制作处理中由CPU8制作出的，是表现素材图像的数据，该素材图像是在任意的立体图像上作为前景图像进行覆盖并合成而使用的。若更为具体地说明，就是被列表显示的对象图像数据例如是从存储在存储媒体4 中的立体图像数据(左眼用图像数据及右眼用图像数据)剪切出的数据，是表现下述区域的图像的图像数据，该区域与存在于由立体图像数据表现的立体图像中的任意对象对应。还有，在图5A中为了方便，作为图像列表13a，表示出对存储着对象图像数据的图像文件的文件名进行列表显示的例子。但是，实际上优选的是，对下述缩略图像进行列表显示，该缩略图像是由附加在对象图像数据中的缩略图像数据来表现、作为立体图像来观看的缩略图像，或是由左眼用缩略图像数据或右眼用缩略图像数据的任一个来表现、作为二维图像来观看的缩略图像。在显示出对象图像选择画面G3的期间，在由用户触摸(操作)了记载为“返回”的软键Ilk时(步骤SA4 是)，CPU8立即结束图像合成处理，使编辑内容选择菜单G2再次显示于显示部2上。另外，在显示对象图像选择画面G3的期间，CPU8在由用户触摸了记载为“对象制作”的软键Ilj时(步骤SA3 是)，执行对象图像制作处理(步骤SA5)。
详细情况将在下面说明，对象图像制作处理是用于从存储在存储媒体4中的立体图像数据剪切出对象图像数据，并使剪切出的对象图像数据预先存储于内置存储器6中的处理。还有，显示对象图像选择画面G3的期间，CPU8若通过触摸面板北的触摸操作，由用户在图像列表13a中选择显示中的某一个图像文件名，则对选择出的图像文件名进行突出显不。然后，若在选择出图像列表13a上所显示的某一个图像文件名(对象图像数据) 后的状态下，触摸了记载为“确定”的软键Ili (步骤SA2 是)，则CPU8取得被用户选择出的对象图像数据中所附加的下述附加信息(步骤SA6)。在步骤SA6的处理中CPU8取得的附加信息是分别表示对象图像数据的尺寸、形状和视差的数据。这里，表示尺寸的数据是对象图像数据的像素数(面积)。另外，表示形状的数据是在剪切出对象图像数据后的立体图像数据(左眼用图像数据和右眼用图像数据的任一个)中表现出对象的边缘的像素群的每个像素的坐标位置数据。另外，表示视差的数据是由上面所说明的剪切出对象图像数据后的左眼用图像数据表现的左眼用图像和由右眼用图像数据表现的右眼用图像之间的对象的左右方向的位置偏移量。也就是说，对象图像数据中所附加的视差是在观看由对象图像数据表现的对象图像(立体观看)时，将对于特定的对象感知的距离感加以定量化后的信息。此后，CPU8根据在步骤SA6的处理中所取得的对象图像数据的尺寸、形状和视差， 执行背景候选检索处理(步骤SA7)。背景候选检索处理用来从存储媒体4及内置存储器 6中所存储的多个立体图像数据之中，检索并提取立体图像数据，该立体图像数据表现适合于由对象图像数据表现的对象图像之合成的背景用立体图像。图6是表示由CPU8做出的背景候选检索处理的处理过程的流程图。在背景候选检索处理中，CPU8按预先设定的顺序读出存储媒体4及内置存储器6中所存储的多个立体图像数据(步骤SBl)，以所读出的立体图像数据为对象执行视差导出处理(步骤SB2)。视差导出处理是按由立体图像数据表现的立体图像内存在的每个对象，取得构成立体图像数据的左眼用图像数据和右眼用图像数据之间存在的视差所需的处理。也就是说，CPU8按每个对象取得的视差和对象图像数据中所附加的视差相同，是在观看立体图像时(立体观看时)，将对于立体图像内的各个对象感知的距离感加以定量化后的信息。下面，根据图7所示的流程图，详细说明CPU8执行的视差导出处理的具体处理过程。在此，主要说明立体图像数据为彩色图像数据的情形。在视差导出处理中，CPU8例如使用下述的[数学式1]对左眼用图像数据和右眼用图像数据分别进行灰阶变换(步骤SC1)。[数学式1]Y(i) = 0. 298912XR(i)+0. 586611 XG(i)+0. 114478XB(i)还有，在[数学式1]中，Y(i)被四舍五入处理为整数，并且i表示出进行灰度控制的像素的坐标位置。接下来，CPU8针对灰阶变换后的左眼用图像数据和右眼用图像数据，分别实施拉普拉斯过滤处理，生成强调了图像之边缘的左眼用图像数据和右眼用图像数据(步骤 SC2)。作为拉普拉斯过滤器，例如可以使用图8A所示的那种3X3矩阵的数字过滤器，或图 8B所示的那种5X5矩阵的数字过滤器。
接下来，CPU8通过针对强调了边缘的左眼用图像数据和右眼用图像数据，以规定的灰度阈值为边界分别进行二值化处理，来生成提取了图像的边缘后的作为边缘图像数据的左眼用图像数据和右眼用图像数据(步骤SC3)。在下面的说明中，通过将根据左眼用图像数据所生成的边缘图像数据称为左眼侧边缘图像数据，将根据右眼用图像数据所生成的边缘图像数据称为右眼侧边缘图像数据，来区别双方。图9是表示通过二值化处理得到的左眼侧边缘图像数据14L和右眼侧边缘图像数据14R的例子的附图。这里，在左眼侧边缘图像数据14L和右眼侧边缘图像数据14R中，可以作为表现相互对应的对象(人物等作为独立的对象来识别的部分区域)的轮廓，分别获得框状的边缘。也就是说，如图9所示，在立体图像内存在3个对象的情况下，在左眼侧边缘图像数据14L中获得3个框状的边缘Lfa、Lfb、Lfc,且在右眼侧边缘图像数据14R中获得3个框状的边缘Rfa、Rfb、Rfc0这里，在左眼侧边缘图像数据14L和右眼侧边缘图像数据14R之间，由边缘Lfa表现的区域Lda和由边缘Rfa表现的区域Rda，与存在于立体图像中的同一对象A对应，另外， 由边缘Lfb表现的区域Ldb和由边缘Rfb表现的区域Rdb，与存在于立体图像中的同一对象 B对应，再者，由边缘Lfc表现的区域Ldc和由边缘Rfc表现的区域Rdc，与存在于立体图像中的同一对象C对应。而且，存在于相互对应的边缘Lfa和边缘Rfa之间的图像内的左右方向的位置偏移量是一个对象A的视差，同样地，存在于相互对应的边缘Lfb和边缘Rfb之间的图像内的左右方向的位置偏移量是另一个对象B的视差，同样地，存在于相互对应的边缘Lfc和边缘 Rfc之间的图像内的左右方向的位置偏移量是另一个对象C的视差。因此，在实施二值化处理之后，CPU8分别取得例如存在于左眼侧边缘图像数据 14L中的边缘Lfa、Lfb、Lfc的坐标位置，并且通过使用块匹配等方法的图案匹配处理，分别取得存在于右眼侧边缘图像数据14R中的、与边缘Lfa、Lfb、Lfc对应的边缘Rfa、Rfb、Rfc 的坐标位置(步骤SC4)。此后，CPU8根据边缘Lfa和边缘Rfa的坐标位置，运算边缘Lfa和边缘Rfa之间的左右方向的位置偏移量，导出运算结果来作为一个对象A的视差，根据边缘Lfb和边缘Rfb 的坐标位置，运算边缘Lfb和边缘Rfb之间的左右方向的位置偏移量，导出运算结果来作为另一个对象B的视差，根据边缘Lfc和边缘Rfc的坐标位置，运算边缘Lfc和边缘Rfc之间的左右方向的位置偏移量，导出运算结果来作为另一个对象C的视差(步骤SC5)。还有，在通过二值化处理得到的边缘图像数据是图9所示的那种左眼侧边缘图像数据14L和右眼侧边缘图像数据14R的情况下，对于未由框状的边缘包围的区域Lrufoi，作为没有视差的图像区域而将位置偏移量设为零。CPU8若结束了上述的视差导出处理，则返回图6的处理，接着进行下面的处理。首先，CPU8判断在视差导出处理中所导出的全部对象是否是其视差比被用户选择出的对象图像数据(下面也称为选择中的对象图像)的视差更小的第1视差对象(步骤SB!3)。换言之，CPU8判断处理对象的立体图像数据是否满足如下的第1条件，该第1条件是指处理对象的立体图像数据表现不存在如下对象的立体图像，该对象具有的视差与选择中的对象图像的视差相同、或者比该视差更大。然后，CPU8在判断为全部的对象是其视差比选择中的对象图像的视差更小的第1视差对象，处理对象的立体图像数据是满足第1条件的数据时(步骤SB3 是)，立即追加处理对象的立体图像数据来作为选择候选(步骤SB6)。若具体地说明，就是CPU8将处理对象的立体图像数据的文件名储存于RAMlO中。另外，CPU8在处理对象的立体图像数据不是满足第1条件的数据时(步骤SB3 否)，判断处理对象的立体图像数据是否满足第2条件，该第2条件是指处理对象的立体图像数据表现在除去如下第2视差对象的区域上能够配置对象图像的立体图像，该第2视差对象与对象图像数据相比视差相同、或者与该对象图像数据相比视差更大(步骤SB4)。然后，CPU8在判断为处理对象的立体图像数据满足第2条件时(步骤SB4 是)， 追加处理对象的立体图像数据来作为选择候选(步骤SB6)。具体说明满足第2条件的立体图像数据的例子。在此，说明下述情形，由处理对象的立体图像数据表现的立体图像例如前面说明视差导出处理时图9所示的那样，存在3个对象A、B、C，某一个对象是视差与选择中的对象图像相同或者视差比该对象图像更大的第 2视差对象。这种情况下，如果1个对象A是第2视差对象，且图9所示的由区域Ldb (或者区域Rdb)、区域Ldc (或者区域Rdc)和区域Ln (或者区域1 )组成的区域是收纳选择中的对象图像的像素尺寸，且是收纳该对象图像的形状，则处理对象的立体图像数据满足第2条件。另外，如果2个对象B、C是第2视差对象，且图9所示的由区域Lda (或者区域Rda)和区域Ln (或者区域1 )组成的区域是收纳选择中的对象图像的像素尺寸，且是收纳该对象图像的形状，则处理对象的立体图像数据满足第2条件。再者，CPU8在处理对象的立体图像数据不满足第1或第2条件的任一个时(步骤 SB4 否)，判断处理对象的立体图像数据是否满足第3条件，该第3条件是指处理对象的立体图像数据是表现下述立体图像的数据，该立体图像能够以不与1个或多个第2视差对象的一部分重合、且与另1个或多个第2视差对象整体重合的状态配置选择中的对象图像 (步骤SB5)。然后，CPU8在判断为处理对象的立体图像数据满足第3条件时(步骤SB5 是)， 追加处理对象的立体图像数据来作为选择候选(步骤SB6)。具体说明满足第3条件的立体图像数据例。在此，说明下述情形，由处理对象的立体图像数据表现的立体图像例如前面说明视差导出处理时图9所示的那样，存在3个对象 A、B、C，2个对象B、C是视差与选择中的对象图像相同或者视差比该对象图像更大的第2视
差对象。这种情况下，如果例如图9所示的由区域Lda (或者区域Rda)、区域Ldc (或者区域 Rdc)和区域Ln(或者区域1 )组成的区域是收纳选择中的对象图像的像素尺寸，且是收纳该对象图像的形状，同时能够以与一个对象C整体重合的方式配置该对象图像，则处理对象的立体图像数据满足第3条件。还有，虽然未图示，但是对于表现下述立体图像的立体图像数据来说也满足第3 条件，该立体图像例如存在4个以上或者只存在2个视差与选择中的对象图像相同或者视差比该对象图像更大的第2视差对象，可以以不与一个第2视差对象的一部分重合，而与剩下的第2视差对象整体重合的方式配置选择中的对象图像。随后，CPU8针对存储媒体4及内置存储器6的全部立体图像数据，确认上述步骤SB2以后的处理是否已完成(步骤SB7)。另外，在处理对象的立体图像数据不满足第1 第3条件的任一条件时(步骤SB5 否)，CPU8立即针对存储媒体4及内置存储器6的全部立体图像数据确认上述步骤SB2以后的处理是否已完成(步骤SB7)。然后，如果未完成针对全部立体图像数据的处理(步骤SB7 否)，CPU8返回步骤 SBl的处理，读出新的立体图像数据，并且以所读出的立体图像数据为对象重复上述步骤 SB2以后的处理。另外，CPU8若针对存储媒体4及内置存储器6的全部立体图像数据完成了上述步骤SB2以后的处理(步骤SB7 是)，则在该时刻，结束背景候选检索处理，并返回图4的处理。也就是说，在背景候选检索处理中，当将选择中的对象图像覆盖并合成在立体图像上时，在该立体图像中至少存在1个第2视差对象的情况下，CPU8提取满足下述某一个条件的立体图像数据来作为选择候选，上述第2视差对象是指其具有的视差与选择中的对象图像相同或者比该对象图像更大，上述条件为，能够不与全部的第2视差对象重合地进行配置，或者能够不与一个第2视差对象重合地进行配置且能够配置为与其他的第2视差对象的整体重合。这里，作为选择候选而由CPU8取得的立体图像数据之中，满足第1条件的立体图像数据为，在以由其表现的立体图像为背景，覆盖并合成选择中的对象图像的情况下，相对于合成后的立体图像来说，用户(观看者)能够对图像内的对象获得自然的距离感，而与对象图像的合成位置无关。另外，满足第2或者第3条件的立体图像数据为，在以由其表现的立体图像为背景，覆盖并合成选择中的对象图像的情况下，只要适当调整对象图像的合成位置，相对于合成后的立体图像来说，用户(观看者)就能够对图像内的对象获得自然的距离感。也就是说，在背景候选检索处理中提取的立体图像数据是表现适合于与选择中的对象图像合成的立体图像的立体图像数据。换言之，在背景候选检索处理中提取的立体图像数据是排除了下述数据以外的立体图像数据，该被排除的数据在以由其表现的立体图像为背景、覆盖并合成选择中的对象图像的情况下，即使调整对象图像的合成位置，合成后的立体图像仍为用户(观看者)对多个对象感知不自然的距离感(感觉不适)的立体图像。另一方面，在结束了上述的背景候选检索处理之后，CPU8返回图4的处理，首先使显示部2显示图5B所示的背景图像选择画面G4。背景图像选择画面G4包括“请选择背景图像”等的消息12b、表示在背景候选检索处理中检索(提取)到的立体图像数据选择候选的图像列表13b、记载为“确定”的软键Ilm和记载为“返回”的软键lln。还有，在图5B中为了方便，作为图像列表13b，表示出对存储着立体图像数据的图像文件的文件名进行列表显示的例子。但是，实际上优选的是，对下述缩略图像进行列表显示，该缩略图像由附加在立体图像数据中的缩略图像数据来表现、并作为立体图像来观看， 或者由左眼用缩略图像数据或右眼用缩略图像数据的任一个来表现、并作为二维图像来观看。这里，在图像列表13b中用图像文件名进行列表显示的立体图像数据仅仅是满足前面所说明的第1 第3条件的某一个条件的特定立体图像数据。也就是说，是表现适合于与由用户选择出的对象图像合成的背景用立体图像的立体图像数据。从而，用户不需要实施例如通过立体观看选择中的对象图像和存储媒体4及内置存储器6中所存储的各个立体图像，来按每个立体图像，确认合成后的立体图像有无不适感之类麻烦的工作。因此，可以大幅削减合成处理所需要的时间及人工。还有，CPU8在显示出背景图像选择画面G4的期间，若通过触摸面板北的触摸操作，由用户在图像列表13b中选择显示中的某一个图像文件名，则对选择出的图像文件名进行突出显示。另外，CPU8在显示出背景图像选择画面G4的期间，触摸了记载为“返回”的软键Ilo时(步骤SAlO 是)，返回步骤SA的处理，使对象图像选择画面G3再次显示于显示部2上。然后，CPU8若在由用户通过触摸面板北选择出某一个立体图像数据作为背景图像的状态下，触摸记载为“确定”的软键Ilm时(步骤SA9 是)，则首先，以用户选择出的立体图像数据为对象，执行视差导出处理(步骤SA11)。步骤SAll的视差导出处理是和在步骤SA7的背景候选检索处理中实施过的视差导出处理相同的处理(参见图7)。也就是说，CPU8按照已经说明的步骤，在由被用户选择出的立体图像数据表现的立体图像内存在的每个对象中，取得构成立体图像数据的左眼用图像数据和右眼用图像数据之间存在的视差。此后，CPU8使图5C所示的图像合成区域选择画面G5显示于显示部2上(步骤 SA12)。图像合成区域选择画面G5包括“请选择合成区域”等的消息12c、基于在背景图像选择画面G4上由用户选择出的立体图像数据的立体图像1 和记载为“返回”的软键llo。当进行图像合成区域选择画面G5的显示时，CPU8实施下面的处理。也就是说， CPU8根据在步骤SAll的视差导出处理中所取得的每个对象的视差信息，在由用户选择出的立体图像数据所表现的立体图像内，确认视差比选择中的对象图像更小的特定区域(包括不存在对象的背景的图像区域)。然后，CPU8将由用户选择出的立体图像数据所表现的立体图像14a，在能够将确认出的特定区域与其他区域相区别的状态下显示于图像合成区域选择画面G5上。关于能够将特定区域与其他区域相区别的方法是任意的，例如有使特定区域的亮度减少一定比例，或者对特定区域进行灰阶显示(只以亮度来表现)的方法。还有，图5C所示的图像合成区域选择画面G5的例子为，由用户选择出的立体图像数据所表现的立体图像Ha是图9所示的存在3个对象A、B、C的立体图像，对象A是其视差比选择中的对象图像的视差更小的第1视差对象，且对象B、C是其视差与选择中的对象图像的视差相同或者比该对象图像的视差更大的第2视差对象的情形。而且，附图中用斜线所示的由对象A和背景部分的图像区域D构成的区域是上述的特定区域。也就是说，所谓的特定区域指的是，只要在其区域内，则即便在覆盖并合成选择中的对象图像的情况下， 也没有立体观看合成后的立体图像时产生不适感的情况的区域。在显示出上面的图像合成区域选择画面G5之后，CPU8逐次确认是否由用户触摸 (指定)了立体图像14a的任意的坐标位置，以及是否触摸了记载为“返回”的软键llo (步骤 SA13、SA14)。然后，在没有由用户触摸立体图像14a的任意的坐标位置，而触摸了记载为“返回”的软键Ilo时(步骤SA14 是)，CPU8返回步骤SA8的处理，使图5B所示的背景图像选择画面G4再次显示于显示部2上。另一方面，在由用户触摸了立体图像14a的任意的坐标位置时(步骤SA13 是)，使图5D所示的图像配置调整画面G6显示于显示部2上(步骤SAM)。在图像配置调整画面G6上，例如包括“请调整图像配置”等的消息12d、在图像合成区域选择画面G5上显示出的立体图像14a上，使选择中的对象图像14b与由用户触摸后的位置重合的状态的图像、记载为“确定”的软键lip、及记载为“返回”的软键llq。接着，在显示出图像配置调整画面G6的期间，CPU8通过由用户将手指触碰在显示着对象图像14b的位置上并进行移动，以使该手指在触摸面板3上滑动，由此对应于该动作，调整对象图像14b相对于立体图像14a的配置位置。这里，因为根据上述第1至第3条件之中，立体图像1 满足哪个条件，对象图像 14b相对于立体图像14a的配置位置的调整方法不同，所以对此进行说明。在立体图像14a满足上述第1条件时，也就是在不存在如下的对象的立体图像的情况下，可以在立体图像14a的任意区域上配置对象图像14b，上述对象是指具有的视差与对象图像14b的视差相同或者比该对象图像14b的视差更大的对象。从而，对象图像14b 只要由CPU8限制该对象图像14b的配置，使之配置于立体图像14a的整个区域内就可以， 除此之外不需要由CPU8限制该对象图像14b的配置。在立体图像1 不满足上述第1条件，而满足第2条件时，也就是在立体图像Ha 中存在第2视差对象，且能够在除该第2视差对象以外的区域配置对象图像14b的情况下， 需要由CPU8限制该对象图像14b的配置，以便在除了该第2视差对象以外的区域配置对象图像14b，上述第2视差对象是视差与对象图像14b相同或者视差比该对象图像数据更大的对象。从而，当按照用户手指的动作，对象图像14b的任意的坐标位置从不与第2视差对象的任意的坐标位置重合的区域移动到与该第2视差对象的任意的坐标位置重合的区域时，在刚向与该第2视差对象的任意的坐标位置重合的区域移动之前的坐标上，固定显示对象图像14b，再者，当按照用户手指的动作，从与该第2视差对象的任意的坐标位置重合的区域移动到不与该第2视差对象的任意的坐标位置重合的区域时，可以在与该手指的接触位置相对应的位置上，重新显示对象图像14b。在立体图像1 不满足上述第1至第2条件，而满足第3条件时，也就是在立体图像1 中存在第2视差对象且能够在立体图像Ha上以与该第2视差对象的整体重合的方式配置对象图像14b的情况下，需要由CPU8限制该对象图像14b的配置，以便对象图像14b 不与第2视差对象重合，或者对象图像14b与第2视差对象整体重合，上述第2视差对象是视差与对象图像14b相同或者视差比该对象图像数据更大的对象。从而，当按照用户手指的动作，对象图像14b的任意的坐标位置从不与第2视差对象的任意的坐标位置重合的区域移动到与该第2视差对象的任意的坐标位置重合的区域时，由CPU8变更(限制)对象图像14b的配置，以使对象图像14b与第2视差对象整体重合，再者，当按照用户手指的动作，从与该第2视差对象的任意的坐标位置重合的区域移动到不与该第2视差对象的任意的坐标位置重合的区域时，可以在与该手指的接触位置相应的位置上，重新显示对象图像14b。然后，若触摸了记载为“确定”的软键Ilp (步骤SA16 是)，则CPU8通过将最终重合着对象图像14b的区域的立体图像14a内各像素的灰度值，从原来的灰度值置换处理为对象图像14b的像素的灰度值，生成表现在立体图像1 上合成对象图像14b后的新的立体图像的立体图像数据，并对所生成的立体图像数据赋予规定的文件名，使之存储于内置存储器6中(步骤SA18)。据此，CPU8结束图像合成处理，在数字相框1上，返回图3A所示的将功能选择菜单Gl显示到显示部2上的状态。还有，CPU8在图像配置调整画面G6上，操作了记载为“返回”的软键Ilq时(步骤SA17 是)，返回步骤SA8的处理，使图5B所示的背景图像选择画面G4再次显示于显示部2上。下面，根据图10所示的流程图，详细说明在图5A所示的对象图像选择画面G3上， 由用户操作了记载为“对象制作”的软键Ilj时CPU8执行的处理，也就是前面所述的步骤 SA5的对象图像制作处理的具体内容。在对象图像制作处理中，CPU8使图IlA所示的被提取图像选择画面G7立即显示于显示部2上(步骤SDl)。被提取图像选择画面G7例如包括“请选择要提取对象的图像” 等的消息15a、作为被提取图像的选择候选而表示存储媒体4中所存储的立体图像数据的图像列表16a、记载为“确定”的软键17a和记载为“返回”的软键17b。还有，在图IlA中为了方便，作为图像列表16a，表示出对存储着立体图像数据的图像文件的文件名进行列表显示的例子。但是，实际上优选的是，对下述缩略图像进行列表显示，该缩略图像由附加在立体图像数据中的缩略图像数据来表现、并作为立体图像来观看，或者由左眼用缩略图像数据或右眼用缩略图像数据的任一个来表现、并作为二维图像来观看。另外，在从上述的图像合成处理之时开始在存储媒体4中存储的立体图像数据没有变化的情况下，在被提取图像选择画面G7上显示的图像列表16a的内容与图5B所示的在背景图像选择画面G4上显示的图像列表13a的内容一致。另外，若在显示出被提取图像选择画面G7的期间，通过触摸面板北的触摸操作， 由用户在图像列表16a中选择显示中的某一个图像文件名来作为被提取图像，则CPU8对选择出的图像文件名进行突出显示。还有，在被提取图像选择画面G7上，触摸了记载为“返回”的软键17b时(步骤SD3 是)，CPU8立即结束对象图像制作处理，使对象图像选择画面 G3显示于显示部2上(步骤SAl)。然后，若在选择出图像列表16a中显示的某一个图像文件名(立体图像数据)来作为被提取图像的状态下，触摸记载为“确定”的软键17a时(步骤SD2 是)，则CPU8执行对象检测处理(步骤SD4)。对象检测处理是对如下对象进行检测的处理，该对象是存在于由立体图像数据表现的被提取图像(立体图像)中的、构成立体图像数据的左眼用图像数据和右眼用图像数据之间具有视差的对象。在对象检测处理中，CPU8首先以作为被提取图像选择出的立体图像数据为目标， 实施与已经说明的步骤SAl 1及步骤SB2相同的视差导出处理(参见图7)，由此暂且检测出被提取图像中存在的1个或多个对象，按检测到的每个对象导出视差。此后，CPU8只提取视差不为“0”的对象，最终作为对象。接下来，CPU8使图IlB所示的对象选择画面G8显示于显示部2上(步骤SD5)。 对象选择画面G8包括“请选择对象”等的消息15b、强调显示在对象检测处理中所提取的对象18a、18b的状态的被提取图像18和记载为“返回”的软键17c。还有，CPU8通过将被提取图像18中对象的强调显示，例如仅仅将对象维持彩色显示，对对象以外的图像区域进行灰阶显示，而更加易于将对象和其他图像区域区别。接着，若在对象选择画面G8上，通过触摸面板北由用户指定某一个对象时(步骤 SD6 是)，则CPU8维持与所指定的对象对应的区域的图像数据，并且生成将其他图像区域的图像数据删除后的对象图像数据，再者，还给该对象图像数据赋予规定的文件名，使之存储于内置存储器6中(步骤SD8)。据此，CPU8结束对象图像制作处理，使对象图像选择画面G3显示于显示部2上 (步骤SAl)。还有，当在步骤SD8的处理中使对象图像数据存储于内置存储器6中时，CPU8在对象图像数据中，附加分别表示该对象图像数据的尺寸、形状和视差的数据等，来作为附加 fn息ο另外，在对象选择画面G8上，操作了记载为“返回”的软键17c时(步骤SD7 是)， CPU8使被提取图像选择画面G7显示于显示部2上。这里，在上面说明的本实施方式中，当在图像合成处理中，在检索适合与被用户选择出的对象图像合成的背景用立体图像来作为选择候选时，检索了满足上述第1 第3条件的某一条件的特定的立体图像数据。但是，作为选择候选来检索的立体图像(特定的立体图像数据)既可以只设为例如满足第1条件的立体图像，也可以只设为满足第1或第2 条件的立体图像。再者，也可以采用例如能够由用户根据需要设定应当设为选择候选的立体图像的检索条件那样的结构。也就是说，至于将应当检索的立体图像只设为满足第1条件的立体图像，或设为满足第1或第2条件的立体图像，或设为满足第1 第3条件的某一个条件的立体图像，是可以由用户设定的。即便在将应当作为选择候选的立体图像的检索条件如上进行了变更时，成为选择候选的立体图像也只是成为适合于与用户选择出的对象图像合成的立体图像。从而，用户不需要实施例如通过立体观看选择中的对象图像和存储媒体4及内置存储器6中所存储的各个立体图像，来按每个立体图像确认合成后的立体图像内有无不适感之类麻烦的工作。 因此，可以大幅削减合成处理所需要的时间和人工。还有，在上述的实施方式中，进行图像合成处理或对象图像制作处理时显示于显示部2上的图像既可以使用左眼用图像数据和右眼用图像数据进行显示，以便能够立体地看见图像，也可以只使用左眼用图像数据和右眼用图像数据之中的一个进行显示，以便能够在二维平面上看见图像。更进一步，还可以构成为能够由用户选择是否立体地进行显示。另外，在上述的实施方式中，说明了在针对存储媒体4及内置存储器6中所存储的各个立体图像导出图像内存在的每个对象的视差时，对于左眼用图像数据和右眼用图像数据分别检测对象的轮廓，根据该轮廓的坐标位置的不同来导出每个对象的视差的情形，但是每个对象的视差也可以采用其他的方法加以导出。例如，还可以从左眼用图像数据和右眼用图像数据的任一个直接提取考虑了颜色信息等的特征部分，从另一个图像数据检测与该提取的特征部分对应的图像，随后，导出相互坐标位置的位置偏移量来作为视差。总之，立体图像中每个对象的视差是将观看者感知的距离感加以定量化后的信息，只要能够在与对象图像(单个的对象)之间导出能够比较的视差，则视差也可以采用其他的方法取得。还有，关于这一点，对于对象图像的视差而言也相同，对象图像的视差采用和本实施方式不同的方法导出也可以。另外，在上述实施方式中，说明了在作为背景的立体图像中合成作为前景的对象图像时，以将对象图像维持成相等倍数的原状在立体图像上进行合成的情形，但是在立体图像上，也可以合成在维持视差的同时放大或缩小图像尺寸的对象图像。另外，在上述实施方式中，说明了在作为背景的立体图像中进行合成的作为前景的对象图像(素材图像)是在数字相框1上制作出的图像的情形，但是对象图像既可以是由数字相框1以外的任意装置制作出的图像，也可以是从存在于网络上的服务器所取得的图像。再者，对象图像也可以是例如从单个图像使用图像处理技术制作出的图像。另外，对于作为背景的立体图像来说，也可以使用从存在于网络上的服务器所取得的图像。另外，在上述实施方式中，虽然说明了将本发明的图像合成装置在数字相框中实施的情形，但是本发明也可以适用于数字摄像机或移动电话等其他的电子设备。另外，本发明在通用的个人计算机中也可以实施，该情况下，只要根据规定的应用软件(程序)使个人计算机进行动作就可以。对于本领域技术人员来说，其他优点和变通是很容易联想得到的。因此，本发明就其较宽方面而言，并不限于本申请给出和描述的具体细节和说明性实施例。因此，在不偏离所附权利要求及其等同物定义的总发明构思精神或保护范围的前提下，可以做出各种修改。
权利要求
1.一种图像合成装置，其特征为， 具备取得部，取得作为对象来立体观看的素材图像中存在的视差； 检索部，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成部，在由上述检索部作为选择候选检索到的立体图像上合成上述素材图像， 上述多个立体图像各自包含至少一个对象，上述检索部从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，都是比由上述取得部所取得的上述素材图像的视差更小的第1视差对象。
2.如权利要求1所述的图像合成装置，其特征为，上述合成部在上述立体图像上合成上述素材图像时，以将上述素材图像配置在上述立体图像的整个区域内的方式，限制上述素材图像的配置。
3.一种图像合成装置，其特征为， 具备取得部，取得作为对象来立体观看的素材图像中存在的视差； 检索部，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成部，在由上述检索部作为选择候选检索到的立体图像上合成上述素材图像， 上述多个立体图像各自包含至少一个对象，上述检索部从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，是与由上述取得部所取得的上述素材图像的视差相同或者比该视差更大的第2视差对象，且该素材图像具有能够配置在除了上述第2视差对象以外的区域上的形状及尺寸。
4.如权利要求3所述的图像合成装置，其特征为，上述多个立体图像各自包含作为上述第2视差对象的多个上述对象， 上述检索部从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述素材图像具有能够配置在除了全部上述多个第2视差对象以外的区域上的形状及尺寸。
5.如权利要求4所述的图像合成装置，其特征为，上述合成部在将上述素材图像合成到上述立体图像上时，以使上述素材图像配置在除了上述第2视差对象以外的区域上的方式，限制上述素材图像的配置。
6.如权利要求3所述的图像合成装置，其特征为，上述多个立体图像各自包含作为上述第2视差对象的多个上述对象， 上述检索部从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述素材图像具有如下形状及尺寸，该形状及尺寸能够使该素材图像配置在除了多个上述第2视差对象之中的一个上述第2视差对象以外的区域上，从而使该素材图像与不同于上述一个第2视差对象的其他上述第2视差对象整体重合。
7.如权利要求6所述的图像合成装置，其特征为，上述合成部在将上述素材图像合成到上述立体图像上时，以使上述素材图像配置为与上述第2视差对象整体重合的方式，限制上述素材图像的配置。
8.一种图像合成装置，其特征为， 具备取得部，取得作为对象来立体观看的素材图像中存在的视差； 检索部，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成部，在由上述检索部作为选择候选检索到的立体图像上合成上述素材图像， 上述多个立体图像各自包含至少一个对象，上述检索部从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，是与由上述取得部所取得的上述素材图像的视差相同或者比该视差更大的第2视差对象，且该素材图像具有能够配置为与上述第2视差对象整体重合的形状及尺寸。
9.如权利要求8所述的图像合成装置，其特征为，上述合成部在将上述素材图像合成到上述立体图像上时，以使上述素材图像配置为与上述第2视差对象整体重合的方式，限制上述素材图像的配置。
10.一种图像检索方法，其特征为， 具有取得步骤，取得作为对象来立体观看的素材图像中存在的视差； 检索步骤，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成步骤，在由上述检索步骤作为选择候选检索到的立体图像上合成上述素材图像， 上述多个立体图像各自包含至少一个对象，上述检索步骤从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，都是比由上述取得步骤所取得的上述素材图像的视差更小的第1 视差对象。
11.一种图像检索方法，其特征为， 具有取得步骤，取得作为对象来立体观看的素材图像中存在的视差； 检索步骤，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成步骤，在由上述检索步骤作为选择候选检索到的立体图像上合成上述素材图像， 上述多个立体图像各自包含至少一个对象，上述检索步骤从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，是与由上述取得步骤所取得的上述素材图像的视差相同或者比该视差更大的第2视差对象，且该素材图像具有能够配置在除了上述第2视差对象以外的区域上的形状及尺寸。
12.如权利要求11所述的图像检索方法，其特征为，合成上述素材图像的上述合成步骤包括下述处理在将上述素材图像合成到上述立体图像上时，以使上述素材图像配置在除了上述第2视差对象以外的区域上的方式，限制上述素材图像的配置。
13.如权利要求11所述的图像检索方法，其特征为，合成上述素材图像的上述合成步骤包括下述处理在将上述素材图像合成到上述立体图像上时，以使上述素材图像配置为与不同于上述第2视差对象的其他第2视差对象整体重合的方式，限制上述素材图像的配置。
全文摘要
一种图像合成装置，具备取得部，取得作为对象来立体观看的素材图像中存在的视差；检索部，从分别被立体观看的多个立体图像之中，检索满足规定条件的立体图像来作为选择候选；以及合成部，在由上述检索部作为选择候选检索到的立体图像上合成上述素材图像，上述多个立体图像各自包含至少一个对象，上述检索部从上述多个立体图像之中以如下的上述规定条件检索作为上述选择候选的立体图像，该规定条件为，上述多个立体图像之中作为上述选择候选的立体图像中包含的上述至少一个对象，都是比由上述取得部所取得的上述素材图像的视差更小的第1视差对象。
文档编号H04N13/00GK102572464SQ20111030997
公开日2012年7月11日 申请日期2011年10月13日 优先权日2010年10月15日
发明者荻岛清志 申请人:卡西欧计算机株式会社