拍摄装置、方法、存储介质以及程序的制作方法

拍摄装置、方法、存储介质以及程序的制作方法
【专利摘要】无需具有复杂的机构，减小帧之间的视差量的变化，得到容易观看的立体动画。利用多个拍摄单元将同一拍摄对象一帧一帧连续地拍摄，从拍摄到的各帧的图像中检测表示被摄体的对象，在检测出多个对象的情况下，计算利用各个对象与拍摄单元的距离的最大值与最小值的差表示的被摄体距离范围。在当前帧的被摄体距离范围和前一帧的被摄体距离范围的差较大的情况下，对当前帧的被摄体距离范围进行调整，使得该差减小，基于被摄体距离范围和与被摄体距离范围对应的适当的视差量的预先确定的关系，对与计算出的范围或调整后的范围相对应的视差量进行计算，基于计算出的视差量，根据由拍摄单元各自拍摄到的多个视角图像而生成与各帧相对应的立体图像并记录。
【专利说明】拍摄装置、方法、存储介质以及程序

【技术领域】
[0001]本发明涉及一种拍摄装置、方法、存储介质以及程序。

【背景技术】
[0002]本申请主张在2012年3月20日申请的日本申请第2012-082558号的优先权，通过参照将其全文弓I入至本说明书。
[0003]当前，提出了一种双眼视差检测方法(例如，参照日本特开平2-100589号公报)，即，求出与被摄体及背景或者相距照相机的距离不同的多个被摄体相对应的双眼视差差异量，而作为左右图像上的像素位置的差异。在该方法中，在求取双眼视差时，在对左右图像进行2维傅立叶变换,并通过该相位项的移位匹配(Shift matching)计算出几个视差位移量的候补后，针对左右图像分别进行被摄体的轮廓提取以及区域确定，在这些边界点的内侧的点和外侧的数个点取得与利用2维傅立叶变换求出的位移量候补的对应，求出具有不同的视差量的被摄体和背景混合混在的立体图像的双眼视差量。
[0004]另外，提出了一种多视角图像显示方法(例如，参照日本特开平10-32840号公报)，即，使会聚角和最远距离、最近距离的位置关系变化，例如以使图像间的视差的平均值相抵消的方式使图像偏离，由此，容易均匀地观看图像整体。


【发明内容】

[0005]但是，如果将日本特开平2-100589号公报的方法应用于立体观看用的动画，针对每I帧求出双眼视差量，则在帧之间的双眼视差量的变化变大的情况下，存在成为难以立体观看的动画的问题。
[0006]另外，在日本特开平10-32840号公报的方法中，存在下述问题，即，为了得到容易立体观看的图像而需要用于使会聚角变化的机构。
[0007]本发明鉴于上述问题，其目的在于提供一种拍摄装置、方法、存储介质以及程序，该拍摄装置无需具有复杂的机构，能够减小帧之间的视差量的变化，得到容易观看的立体观看动画。
[0008]为了实现上述目的，本发明的一个方式所涉及的拍摄装置构成为，包括:多个拍摄单元，它们从多个不同视角的各个视角对同一拍摄对象一帧一帧连续地拍摄；检测单元，其从由所述多个拍摄单元的任意一个拍摄到的帧的各个图像中，对被摄体进行检测；范围计算单元，其在由所述检测单元检测出多个被摄体的情况下，针对检测出多个被摄体的各帧，计算利用与检测出的各个被摄体与所述拍摄单元的距离相关的值的最大值和最小值的差表示的范围；调整单元，其在由所述范围计算单元计算出范围的特定帧的范围、与比所述特定帧的前I个或后I个拍摄到的帧的范围的差超过预先确定的阈值的情况下，对所述特定帧的范围进行调整，以使得该差减小；视差量计算单元，其基于范围和视差量的预先确定的关系，对与由所述范围计算单元计算出的范围或者由所述调整单元调整后的范围相对应的视差量进行计算；立体图像生成单元，其基于由所述视差量计算单元计算出的视差量，根据由所述拍摄单元各自拍摄到的多个视角图像而生成与各个帧相对应的立体图像；以及记录控制单元，其进行下述控制，即，将由所述立体图像生成单元生成的立体图像记录在记录单元中。
[0009]根据本方式的拍摄装置，利用拍摄单元从多个不同视角的各个视角对同一拍摄对象一帧一帧连续地拍摄。由此，能够拍摄立体观看动画。并且，检测单元从由所述多个拍摄单元的任意一个拍摄到的帧的各个图像中，对被摄体进行检测，范围计算单元在由所述检测单元检测出多个被摄体的情况下，针对检测出多个被摄体的各帧，计算利用与检测出的各个被摄体和所述拍摄单元的距离相关的值的最大值和最小值的差表示的范围。基于该范围，利用视差量计算单元对每个帧的视差量进行计算，但在帧之间的范围的变动较大的情况下，帧之间的视差量的变动也变大，而成为难以观看的立体动画。
[0010]因此，调整单元在与比所述特定帧的前I个或后I个拍摄到的帧的范围的差超过预先确定的阈值的情况下，对所述特定帧的范围进行调整，以使该差减小，视差量计算单元基于范围和视差量的预先确定的关系，对与由所述范围计算单元计算出的范围或者由所述调整单元调整后的范围相对应的视差量进行计算。并且，立体图像生成单元基于由所述视差量计算单元计算出的视差量，根据由所述拍摄单元各自拍摄到的多个视角图像而生成与各帧相对应的立体图像，记录控制单元控制为将由所述立体图像生成单元生成的立体图像记录在记录单元。
[0011]这样，如果在基于与从特定帧中检测出的各个被摄体和拍摄单元的距离相关的值的范围、和特定帧的前I个或后I个的帧的范围的差较大的情况下，对特定帧的范围进行调整，使得该差变小，根据范围计算适当的视差量，对应于视差量校正图像并记录，因此，无需具有用于调整会聚角的复杂的机构，减小帧之间的视差量的变化，得到容易观看的立体观看动画。
[0012]此外，在本方式的拍摄装置中，可以是所述记录控制单元控制为，与所述立体图像相关联地将与由所述调整单元调整后的范围相对应的视差量，记录在所述记录单元中。由此，能够在动画文件中附加表示视差量的信息。
[0013]另外，本实施方式的拍摄装置还可以具有接收单元，该接收单元接收表示所述立体图像的显示形式的信息的输入，所述立体图像生成单元可以以与由所述接收单元接收到的信息所示的立体图像的显示形式相适合的形式生成立体图像。由此，能够以用户所希望的立体图像的显示形式记录动画文件。
[0014]另外，本实施方式的拍摄装置还可以具有输入单元，其从所连接的显示设备输入表示立体图像的显示形式的信息，所述立体图像生成单元可以以与由所述输入单元输入的信息所示的立体图像的显示形式相适合的形式生成立体图像。由此，能够以与显示设备相对应的立体图像的显示形式记录动画文件。
[0015]另外，可以在本方式的拍摄装置中，将与所述距离相关的值，作为检测出的各个被摄体与所述拍摄单元的距离、或者检测出的各个被摄体的视差。各个被摄体的视差是被摄体和拍摄单元的距离越远而越小，越近而越大，因此，可以说是与各个被摄体和拍摄单元的距离相关的值。在范围计算单元中，在计算出各个被摄体和拍摄单元的距离的情况下，对利用该距离的最大值与最小值的差表示的被摄体距离范围进行计算，在计算出各个被摄体的视差的情况下，对利用该视差的最大值与最小值的差表示的视差范围进行计算。
[0016]另外，所述调整单元可以针对未检测出被摄体的未检测帧中、在比该未检测帧的前I个或后I个拍摄到的帧中检测出被摄体的未检测帧，所述调整单元视作该未检测帧的范围与所述前I个或后I个拍摄到的帧的范围的差超过预先确定的阈值，对该未检测帧的范围进行调整。在从未检测帧中未检测出在前I个或后I个拍摄到的帧的范围的计算中使用的被摄体的情况下，范围较大地变动的可能性高，因此，能够通过调整特定帧的范围，减小帧之间的视差量的变化。
[0017]另外，所述范围计算单元能够对由所述检测单元检测出的被摄体的帧之间的移动量进行计算，将该移动量超过预先确定的规定移动量的被摄体排除后，计算所述范围。这样，通过预先将导致帧之间的范围的较大的变动的可能性较高的移动量较大的被摄体排除而不用在范围的计算中，从而能够减小帧之间的视差量的变化。
[0018]另外，所述范围计算单元也可以将所述被摄体的移动方向为所述拍摄单元的光轴方向且所述移动量超过预先确定的规定移动量的被摄体排除。由于范围是与被摄体和拍摄单元的距离相关的值的最大值与最小值的差，因此，被摄体和拍摄单元的距离变动得较大的沿光轴方向移动的被摄体作为对象。
[0019]另外，本方式的拍摄装置能够包含登记单元而构成，在该登记单元中预先登记有由所述检测单元检测的被摄体，所述范围计算单元在由所述登记单元登记的被摄体被所述检测单元检测出的情况下，可以利用该登记的被摄体，计算所述范围。由此，将特别希望关注的被摄体预先进行登记，针对希望关注的被摄体，能够减小帧之间的视差量的变化，得到容易观看的立体观看动画。
[0020]另外，本发明的拍摄装置能够包含登记单元而构成，在该登记单元中预先登记有由所述检测单元检测的被摄体，所述范围计算单元可以将所述移动量超过预先确定的规定移动量且未登记在所述登记单元中的被摄体排除后，计算所述范围，或者，也可以是如果是登记在所述登记单元中的被摄体，则即使在该被摄体的所述移动量超过预先确定的规定移动量的情况下，所述范围计算单元也不会从所述范围的计算中排除该被摄体。
[0021]另外，所述视差量计算单元可以在由所述检测单元检测出的被摄体为I个的情况下，将该被摄体作为交叉点而计算视差量，在由所述检测单元未检测出被摄体的情况下，将预先确定的规定点作为交叉点而计算视差量。
[0022]另外，本发明的其他方式所涉及的拍摄方法包含以下步骤:拍摄控制步骤，在该步骤中，以从多个不同视角的各个视角将同一拍摄对象一帧一帧连续地拍摄的方式，对多个拍摄单元的每一个进行控制；检测步骤，在该步骤中，从由所述多个拍摄单元的任意一个拍摄到的各帧的图像中，对被摄体进行检测；范围计算步骤，在该步骤中，在通过所述检测步骤检测出多个被摄体的情况下，针对检测出多个被摄体的各帧，计算利用与检测出的各个被摄体与所述拍摄单元的距离相关的值的最大值与最小值的差表示的范围；调整步骤，在该步骤中，在通过所述范围计算步骤计算出范围的特定帧的范围、与比所述特定帧的前I个或后一个拍摄到的帧的范围的差超过预先确定的阈值的情况下，对所述特定帧的范围进行调整，使得该差减小；视差量计算步骤，在该步骤中，基于范围和视差量的预先确定的关系，对与通过所述范围计算步骤计算出的范围或者通过所述调整步骤调整后的范围相对应的视差量进行计算；立体图像生成步骤，在该步骤中，基于通过所述视差量计算步骤计算出的视差量，根据由所述拍摄单元各自拍摄到的多个视角图像而生成与各个帧相对应的立体图像；以及记录控制步骤，在该步骤中，控制为将通过所述立体图像生成步骤生成的立体图像记录在记录单元中。
[0023]本发明的其他方式所涉及的存储介质，是存储有使计算机执行拍摄处理的程序的持续性的计算机可读存储介质，其中，所述拍摄处理包含以下步骤:检测步骤，在该步骤中，从由所述多个拍摄单元的任意一个拍摄到的各帧的图像中，对被摄体进行检测；范围计算步骤，在该步骤中，在通过所述检测步骤检测出多个被摄体的情况下，针对检测出多个被摄体的各帧，计算利用与检测出的各个被摄体与所述拍摄单元的距离相关的值的最大值与最小值的差表示的范围；调整步骤，在该步骤中，在通过所述范围计算步骤计算出范围的特定帧的范围、与比所述特定帧的前I个或后一个拍摄到的帧的范围的差超过预先确定的阈值的情况下，对所述特定帧的范围进行调整，使得该差减小；视差量计算步骤，在该步骤中，基于范围和视差量的预先确定的关系，对与通过所述范围计算步骤计算出的范围或者通过所述调整步骤调整后的范围相对应的视差量进行计算；立体图像生成步骤，在该步骤中，基于通过所述视差量计算步骤计算出的视差量，根据由所述拍摄单元各自拍摄到的多个视角图像而生成与各个帧相对应的立体图像；以及记录控制步骤，在该步骤中，控制为将通过所述立体图像生成步骤生成的立体图像记录在记录单元中。
[0024]另外，本发明的另一方式所涉及的拍摄程序，用于使计算机作为下述单元起作用:检测单元，其从由多个拍摄单元的任意一个拍摄到的各帧的图像中，对被摄体进行检测，其中，所述多个拍摄单元从多个不同视角的各个视角将同一拍摄对象一帧一帧连续地拍摄；范围计算单元，其在由所述检测单元检测出多个被摄体的情况下，针对检测出多个被摄体的各帧，计算利用与检测出的各个被摄体与所述拍摄单元的距离相关的值的最大值与最小值的差表示的范围；调整单元，其在由所述范围计算单元计算出范围的特定帧的范围、与比所述特定帧的前I个或后一个拍摄到的帧的范围的差超过预先确定的阈值的情况下，对所述特定帧的范围进行调整，使得该差减小；视差量计算单元，其基于范围和视差量的预先确定的关系，对与由所述范围计算单元计算出的范围或者由所述调整单元调整后的范围相对应的视差量进行计算；立体图像生成单元，其基于由所述视差量计算单元计算出的视差量，根据由所述拍摄单元各自拍摄到的多个视角图像而生成与各个帧相对应的立体图像；以及记录控制单元，其控制为将由所述立体图像生成单元生成的立体图像记录在记录单元中。
[0025]发明的效果
[0026]如以上说明所述，根据本发明的方式获得下述效果，S卩，无需具有用于调整会聚角的复杂的机构，能够减小帧之间的视差量的变化，得到容易观看的立体观看动画。

【专利附图】

【附图说明】
[0027]图1是实施方式的多眼数字相机的正面侧斜视图。
[0028]图2是实施方式的多眼数字相机的背面侧斜视图。
[0029]图3是表示实施方式的多眼数字相机的内部结构的概略框图。
[0030]图4A是在实施方式的多眼数字相机中，用于说明被摄体距离范围的计算的概念图。
[0031]图4B是在实施方式的多眼数字相机中，用于说明被摄体距离范围的计算的概念图。
[0032]图5A是表示在实施方式的多眼数字相机中用于说明视差量的被摄体和拍摄部的位置关系的概念图。
[0033]图5B是表示在实施方式的多眼数字相机中用于说明视差量的左图像及右图像的概念图。
[0034]图6是表示用于说明视差量的立体观看图像的概念图。
[0035]图7是表示视差量和被摄体距离范围的关系的曲线图的一个例子。
[0036]图8是表不视差量和被摄体距尚范围的关系的对应表的Iv例子。
[0037]图9是表示第I实施方式中的动画拍摄处理流程的内容的流程图。
[0038]图10是表示第2实施方式中的动画拍摄处理流程的内容的流程图。
[0039]图11是表示第3实施方式中的动画拍摄处理流程的内容的流程图。
[0040]图12是表示第4实施方式中的动画拍摄处理流程的内容的流程图。
[0041]图13是表示第5实施方式中的动画拍摄处理流程的内容的流程图。
[0042]图14是表示实施方式的多眼数字相机的其他例子的斜视图。
[0043]图15是表示实施方式的多眼数字相机的其他例子的内部结构的概略框图。

【具体实施方式】
[0044]以下，参照附图，对本发明的实施方式进行详细说明。此外，针对在本实施方式中将本发明的拍摄装置应用于具有动画拍摄模式的多眼数字相机的情况进行说明。
[0045]【第I实施方式】
[0046]图1是第I实施方式的多眼数字相机I的正面侧斜视图，图2是背面侧斜视图。如图1所示，在多眼数字相机I的上部具有快门按钮2、电源按钮3、以及变焦杆4。另外，在多眼数字相机I的正面配置有闪光灯5、以及2个拍摄部21A、21B的镜头。另外，在多眼数字相机I的背面配置有进行各种显示的液晶显示器7、以及各种操作按钮8。
[0047]图3是表示多眼数字相机I的内部结构的概略框图。如图3所示，多眼数字相机I具有:2个拍摄部21A、21B、拍摄控制部22、图像处理部23、压缩/展开处理部24、帧存储器25、介质控制部26、内部存储器27、显示控制部28、3维处理部30、对象检测部41、被摄体距离范围计算部42、被摄体距离范围调整部43、视差量计算部44、以及连接部45。此外，拍摄部21A、21B具有观看被摄体的会聚角，以形成预先确定的基线长度的方式进行配置。此外，会聚角及基线长度的信息存储在内部存储器27中。
[0048]拍摄控制部22由未图示的AF处理部及AE处理部构成。在选择静止画面拍摄模式的情况下，AF处理部基于通过快门按钮2的半按操作而由拍摄部21A、21B所取得的预览图像，确定合焦区域，并且，确定镜头的焦点位置，并输出至拍摄部21A、21B。AE处理部基于预览图像而确定光圈值和快门速度，并输出至拍摄部21A、21B。另外，通过快门按钮2的全按操作，向拍摄部21A、21B指示进行正式拍摄，使拍摄部21A取得左图像的正式图像，使拍摄部21B取得右图像的正式图像。
[0049]另外，拍摄控制部22在选择动画拍摄模式的情况下，通过快门按钮2的全按操作，向拍摄部21A及拍摄部21B进行指示，以使得连续地进行上述静止画面拍摄模式下的处理。此外，在静止画面拍摄模式以及动画拍摄模式中的任意情况下，在操作快门按钮2前，拍摄控制部22均向拍摄部21A、21B进行指示，使得每隔规定时间间隔(例如1/30秒间隔)依次取得与用于确认拍摄范围的正式图像相比像素数较少的通过镜头图像(through image)。
[0050]图像处理部23针对拍摄部21A、21B所取得的左图像及右图像的数字图像数据，实施调整白平衡的处理、灰度校正、锐度校正、以及颜色校正等图像处理。
[0051]压缩/展开处理部24针对表示由图像处理部23实施了处理后的左图像及右图像的图像数据，例如，按照JPEG等压缩形式进行压缩处理，生成立体观看用的图像文件。在该立体观看用的图像文件中包含左图像及右图像的图像数据，并基于Exif格式等存储基线长度、会聚角、以及拍摄时间等的附加信息、以及表示视角位置的视角信息。
[0052]帧存储器25是在针对表示拍摄部21A、21B所取得的左图像及右图像的图像数据，进行包含前述的图像处理部23所进行的处理在内的各种处理时所使用的作业用存储器。
[0053]介质控制部26访问记录介质29，进行图像文件等的写入及读取的控制。
[0054]内部存储器27对在多眼数字相机I中设定的各种常数、以及由CPU 35执行的程序等进行存储。
[0055]显示控制部28将在拍摄时根据存储于帧存储器25的左图像及右图像而生成的立体观看用图像显示在液晶显示器7中，或者将记录于记录介质29的左图像及右图像或者立体观看用图像显示在液晶显示器7中。
[0056]3维处理部30为了将左图像及右图像在显示器7中进行立体观看显示，对左图像及右图像进行3维处理而生成立体观看用图像。
[0057]对象检测部41从所取得的左图像或右图像中，检测适合的对象。对象是表示存在于拍摄对象区域中的被摄体的图像。所谓“适合的”对象，能够设为在左图像或右图像内边缘明显的(轮廓比较鲜明)的对象等。另外，也可以从左图像及右图像中分别检测出相对应的对象，并对该对象的视差的值处于规定范围内的对象进行检测。
[0058]另外，对象检测部41在从第2个帧及其以后的图像中检测对象时，利用从过去的帧的图像中检测出的对象的位置信息等，追踪相对应的对象，由此，从当前帧中检测对象。
[0059]被摄体距离范围计算部42针对从左图像或右图像中检测出的各个图像，通过三角测量等方法对表示对象的被摄体和本装置(拍摄部21A、21B)的距离进行计算，计算该距离的最大值和最小值的差而作为被摄体距离范围。例如，如图4A所示，从左图像或右图像中检测出对象Op 02、O3,与各个对象Op 02、O3相对应的被摄体Sp S2, S3和多眼数字相机I处于图4B所示的位置关系。如果将多眼数字相机I和被摄体S1的距离设为L1，将与被摄体S2的距离设为L2，将与被摄体S3的距离设为L3，则多眼数字相机I和被摄体的距离的最大值为L1,最小值为L2,因此,被摄体距离范围R通过R = L1 — L2进行计算。
[0060]被摄体距离范围调整部43判定针对前一帧的图像所计算出的被摄体距离范围、和针对当前帧的图像所计算出的被摄体距离范围的差，是否超过预先确定的阈值，在超过的情况下，以使得前一帧的被摄体距离范围和当前帧的被摄体距离范围的差变小的方式，调整当前帧的被摄体距离范围。如后述所示，由于各帧的视差量是基于被摄体距离范围进行计算的，因此，帧之间的被摄体距离范围的较大变动，会引起帧之间的视差量的较大变动。在帧之间的视差量变动得较大的情况下，会成为难以观看的动画，因此，对被摄体距离范围进行调整，使得视差量的变动不会变大。例如，如果将当前帧的被摄体距离范围设为Rm，将前I个帧的被摄体距离范围设为Rm-1，则能够作为Rm’= a XRm+(l - α ) XRm-1 (O< α < I)而求出调整后的当前帧的被摄体距离范围Rm’。此外，调整后的当前帧的被摄体距离范围Rm’的求出方法并不限定于上述方法，只要是对Rm加减规定值等而使Rm和Rm-1的差变小的调整方法即可。
[0061]视差量计算部44基于被摄体距离范围和与被摄体距离范围相对应的适当的视差量的预先确定的关系，根据计算出的被摄体距离范围或调整后的被摄体距离范围而计算当前帧的视差量。
[0062]在此，对视差量进行说明。例如，对与多眼数字相机1(拍摄部21A、21B)的位置关系如图5A所示的被摄体Sp以及被摄体S2进行拍摄，得到图5B所示的左图像50L、以及右图像50R。从左图像50L中检测与被摄体S1相对应的对象(V、以及与被摄体S2相对应的对象0%，从右图像50R中检测与被摄体S1相对应的对象01K、以及与被摄体S2相对应的对象O2ro如图6所示，通过使左图像50L和右图像50R重合，成为立体观看图像50。在图6中，以包含在左图像50L中的对象O1L和包含在右图像50R中的对象Oik —致的方式，即，对象O1成为交叉点的方式，左图像50L和右图像50R重合。对象Oa和对象O2k偏离距离P。该P为视差量，通过变更视差量P，从而能够强调或缓和立体观看图像的立体感。
[0063]下面，对视差量和被摄体距离范围的关系进行说明。在被摄体距离范围较小的情况下，位于离多眼数字相机I最远处的最远的被摄体与位于最近处的最近的被摄体的相对的视差较小。另一方面，在被摄体距离范围较大的情况下，最远的被摄体与最近的被摄体的相对的视差较大。因此，为了得到具有适当的立体感的立体观看图像，在被摄体距离范围较小的情况下增大视差量，在被摄体距离范围较大的情况下减小视差量。基于该关系，适合于在规定大小的显示画面中显示立体观看图像的视差量是对应于被摄体距离范围而决定的。例如，如图7所示，作为横轴表示被摄体距离范围，纵轴表示视差量的曲线图，能够针对显示画面的各个尺寸而确定视差量和被摄体距离范围的关系。另外，如图8所示，也可以设为使以像素为单位的视差量与被摄体距离范围相对应的对应表，确定视差量与被摄体距离范围的关系。
[0064]在视差量计算部44中，基于如图7或图8所示的视差量与被摄体距离范围的预先确定的关系，对与由被摄体距离范围计算部42计算出的被摄体距离范围、或者由被摄体距离范围调整部43调整后的被摄体距离范围相对应的视差量进行计算。例如，在图7及图8中，在显示画面尺寸为3英寸，计算出或调整后的被摄体距离范围为0.3m的情况下，视差量成为40像素。在本实施方式中，由视差量计算部44计算的视差量是针对表示最近的被摄体的对象的视差量。即，如图6所示，在使左图像与右图像重合时，表示左图像的最近的被摄体的对象和表示右图像的最近的被摄体的对象的距离，偏离计算出的视差量而重合。
[0065]另外，视差量计算部44在由对象检测部41仅检测出I个对象的情况下，将检测出的对象作为交叉点而计算视差量。另外，在由对象检测部41未检测出对象的情况下，将预先确定的规定点作为交叉点而计算视差量。
[0066]连接部45具有用于与显示设备连接的接口。如果多眼数字相机I与显示设备连接，则连接部45基于CPU 35的控制，将由拍摄部21A、21B拍摄的图像、或者记录于内部存储器27或记录介质29中的图像信息发送至该显示设备，而对该图像信息所示的图像进行显示。此外，多眼数字相机I和显示设备根据情况而按照任意的通信标准连接，连接方式可以是有线、也可以是无线。
[0067]下面，参照图9，对在第I实施方式的多眼数字相机I中执行的动画拍摄处理流程进行说明。本流程通过由用户对操作按钮8进行操作，选择动画拍摄模式而开始。
[0068]在步骤SlOO中，CPU 35判定是否存在3D设定操作。在此，3D设定是对显示时所使用的显示器的显示尺寸、3D动态图像的收录方式、以及3D强度等立体图像的显示形式的设定。收录方式是并行(side-by-side)方式、逐行(Line_by-Line)方式等。此时,CPU 35在由用户经由输入部34进行了规定的输入操作的情况下，判断为存在3D设定操作。在步骤SlOO中判断为存在3D设定操作的情况下，在步骤S102中，CPU 35将表示与设定操作相对应的3D设定的信息存储于内部存储器37。此外，在此表示存储有的3D设定的信息，在后述的步骤S130中记录动画文件时使用。
[0069]在步骤S104中，开始由拍摄部21A、21B拍摄到的通过镜头图像的读取。
[0070]然后，在步骤S106中，CPU 35判定是否存在快门按钮2被按下等、指示动态图像的记录开始的拍摄操作。在步骤S106中判定为不存在拍摄操作的情况下，转入步骤S100。另一方面，在步骤S106中判定为存在拍摄操作的情况下，CPU 35转入步骤S108，在不存在拍摄操作的情况下，直至存在拍摄操作为止重复本步骤。
[0071]在步骤S108中，CPU 35读取I个帧的由拍摄部21A及21B在正式摄影状态下所取得的左图像及右图像。然后，在步骤SllO中，CPU 35从在上述步骤S108中读取到的左图像及右图像中选择一个，并从所选择的图像(以下，称为“选择图像”)中检测适合的对象。
[0072]然后，在步骤S112中，CPU 35对在上述步骤SllO中是否检测出多个对象进行判定。在步骤S112中判定为检测出多个对象的情况下，转入步骤S114，在仅检测出I个对象的情况下，或者未检测出对象的情况下，转入步骤S122。
[0073]在步骤SI 14中，CPU 35针对从选择画面中检测出的各个对象，通过三角测量等方法对表示对象的被摄体与多眼数字相机I的距离进行计算，将该距离的最大值与最小值的差作为被摄体距离范围而计算。
[0074]然后，在步骤S116中，CPU 35通过对在步骤S114中计算出的当前帧的被摄体距离范围、和在前I帧中同样地计算出的被摄体距离范围的差是否超过预先确定的阈值进行判定，从而对帧之间的被摄体距离范围的变化是否较大进行判定。
[0075]在步骤S116中判定为帧之间的被摄体距离范围的变化较大的情况下，转入步骤S118，CPU 35对当前帧的被摄体距离范围进行调整，使得前I帧的被摄体距离范围与当前帧的被摄体距离范围的差变小，并转入步骤S120。
[0076]在步骤S116中判定为帧之间的被摄体距离范围的变化不大的情况下，跳过步骤S118而转入步骤S120。另外，在当前帧为第I帧而不存在前I帧的情况下，在本步骤中判定为否定而转入步骤S120。
[0077]在步骤S120中，CPU 35基于例如图7或图8所示的被摄体距离范围和与被摄体距离范围相对应的适当的视差量的预先确定的关系，在上述步骤S118中调整了被摄体范围的情况下，计算与调整后的被摄体距离范围相对应的当前帧的视差量，在上述步骤S118中没有调整被摄体范围的情况下，对与在上述步骤S114中计算出的被摄体距离范围相对应的当前帧的视差量进行计算，转入步骤S124。
[0078]另一方面，在上述步骤SI 12中判定为未检出多个对象而转入步骤S122的情况下，CPU 35基于交叉点而计算视差量。S卩，在步骤S122中，CPU 35在仅检测出I个对象的情况下，将该对象作为交叉点而计算视差量，另一方面，在未检出对象的情况下，将预先确定的点作为交叉点而计算视差量，转入步骤S124。
[0079]在步骤S124中，CPU 35基于在步骤S122中计算出的视差量，对选择图像进行校正。校正的方法是例如使各像素向左右方向平行移动与视差量对应的距离的方法。此外，也可以在步骤S124中，针对在步骤SllO中未选择的图像(以下，称为“非选择图像”)进行校正。在对非选择图像进行校正的情况下，使非选择图像向与校正选择图像的情况相反的方向进行平行移动。另外，也可以对选择图像及非选择图像这双方进行校正。在对选择图像及非选择图像这双方进行校正的情况下，使选择图像及非选择图像在左右方向上向相反方向分别平行移动与视差量相对应的距离的1/2。并且，在进行校正时，根据需要，对由于向上述左右方向的平行移动而在左图像及右图像中相互间相对应的区域不存在的区域(图像端部的区域)进行修整。
[0080]并且，在步骤S126中，CPU 35将在步骤S124中校正后的图像记录于内部存储器27。这样，将以与被摄体距离范围的变化对应地成为最佳的视差量的方式校正后的图像分别进行记录，在将动画文件发送至显示设备时发送校正为最佳的视差量的动画文件，由此，能够在显示设备侧减轻校正图像的负荷，并且能够再生最佳的3D动画。此外，在对校正后的图像进行记录时，也可以与在步骤S122中计算出的视差量相关联地进行记录。
[0081]在步骤S128中，CPU 35判定是否存在快门按钮2再次被按下等指示动态图像的记录停止的拍摄结束操作。在步骤S128中判定为不存在拍摄结束操作的情况下，返回步骤S108，CPU 35读取下一帧而重复从步骤S108至S126的处理。在步骤S128中判定为存在拍摄结束操作的情况下，转入步骤S130，CPU 35根据与由拍摄部21A、21B拍摄到的帧数对应的每一帧的左图像、右图像(在步骤S124中对图像进行了校正的情况下，为校正后的图像)、以及视差量的数据，生成与每一帧相对应的立体图像而作为I个文件，并作为附加有数据头信息的动画文件而记录于记录介质29中，结束处理。
[0082]此时，CPU 35记录以与对应于在步骤S102中设定的3D设定的立体图像的显示形式相适合的形式生成立体图像而得到的动画文件。例如，在动画文件中，根据所设定的显示尺寸而变更像素大小，或者根据所设定的3D强度而将表示左右图像的偏移量的信息附加在动画文件中。另外，根据3D动态图像的收录方式，例如在设定为并行方式的情况下，以将2幅图像沿左右方向排列的状态作为I个帧进行记录，在设定为逐行方式的情况下，将左右各图像的颜色变换的基础上，切分成短条状的各图像交替排列的方式进行图像变换后记录。这样，在步骤S102中基于通过用户操作而输入的信息进行3D设定，基于该3D设定而记录动画文件，由此，能够以用户所希望的任意的3D设定记录动画文件。
[0083]如以上说明所示，根据第I实施方式的多眼数字相机，针对每一帧计算被摄体距离范围，在计算出的当前帧的被摄体距离范围与前I帧的被摄体距离范围的差较大的情况下，以使前I帧的被摄体距离范围与当前帧的被摄体距离范围的差变小的方式，调整当前帧的被摄体距离范围，根据被摄体距离范围计算适当的视差量，因此，无需具有用于调整会聚角的复杂的机构，能够减小帧之间的视差量的变化，得到容易观看的立体动画。
[0084]此外，进行步骤S124及S126的处理的定时，并不限定于紧跟着在步骤S122中计算出视差量后进行的定时，也可以是在步骤S130的拍摄结束时存储动画文件的定时。在该情况下，在保存动画文件的定时对所有帧进行校正，另外，也可以与步骤S130同样地，以成为与在步骤S102中所设定的3D设定相对应的立体图像的显示形式的方式，根据各个图像生成动画文件而进行记录。
[0085]【第2实施方式】
[0086]下面，对第2实施方式进行说明。在第2实施方式中，说明在用于前I帧的被摄体距离范围的计算中的对象未从当前帧中检测出的情况下，视作前I帧的被摄体距离范围与当前帧的被摄体距离范围的差较大，调整当前帧的被摄体距离范围的情况。此外，第2实施方式的多眼数字相机的结构，由于与第I实施方式的多眼数字相机I的结构相同，因此，标注相同的标号而省略说明。
[0087]在此，参照图10，对在第2实施方式的多眼数字相机I中执行的动画拍摄处理流程进行说明。本流程通过由用户对操作按钮8进行操作，选择动画拍摄模式而开始。此外，针对与第I实施方式的动画拍摄处理相同的处理，标注相同的标号，省略详细的说明。
[0088]经过从步骤SlOO至步骤S108，CPU 35读取对应于I个帧的左图像及右图像。然后，在步骤S200中，从在上述步骤S108中所读取的左图像或右图像中检测适合的对象。另夕卜，CPU 35利用对象的位置信息等，在当前帧的左图像或右图像中，对从前I帧的左图像或右图像中检测出的对象进行追踪。
[0089]然后，在步骤S112中判定为在上述步骤S200中检测出多个对象的情况下，转入步骤S114，CPU 35将表示对象的被摄体和多眼数字相机I的距离的最大值与最小值的差作为被摄体距离范围而进行计算。
[0090]然后，在步骤S202中，CPU 35基于上述步骤S200的对象的追踪结果，对在前I帧的被摄体距离范围的计算中所使用的对象的追踪是否失败进行判定。在从前I帧中检测出的对象由于处于帧外或被其他对象遮挡等，而未能从当前帧中检测出的情况下，判定为对象的追踪失败。在步骤S202中判定为对用于前I帧的被摄体距离范围的计算的对象的追踪失败的情况下，在上述步骤SI 14中计算出的被摄体距离范围相对于在前I帧中计算出的被摄体距离范围变动较大的可能性高。因此，CPU 35在对用于前I帧的被摄体距离范围的计算的对象的追踪失败的情况下，转入步骤S118，以使前I帧的被摄体距离范围与当前帧的被摄体距离范围的差变小的方式，调整当前帧的被摄体距离范围。另一方面，在对用于前I帧的被摄体距离范围的计算的对象的追踪没有失败的情况下，跳过步骤S118，CPU 35不进行被摄体距离范围的调整，转入步骤S120，根据被摄体距离范围计算视差量。
[0091]之后，与第I实施方式相同地，CPU 35执行从步骤S120至S130的处理，结束处理。
[0092]如以上说明所示，根据第2实施方式的多眼数字相机，在对用于前I帧的被摄体距离范围的计算的对象的追踪失败的情况下，视作当前帧的被摄体距离范围与前I帧的被摄体距离范围的差较大，能够以使前I帧的被摄体距离范围与当前帧的被摄体距离范围的差变小的方式，调整当前帧的被摄体距离范围。
[0093]【第3实施方式】
[0094]下面，对第3实施方式进行说明。在第3实施方式中，对将移动量较大的对象排除而不用于被摄体距离范围的计算的情况进行说明。此外，第3实施方式的多眼数字相机的结构，由于与第I实施方式的多眼数字相机I的结构相同，因此，标注相同的标号而省略说明。
[0095]在此，参照图11，对在第3实施方式的多眼数字相机I中执行的动画拍摄处理流程进行说明。本流程通过用户对操作按钮8进行操作，选择动画拍摄模式而开始。此外，针对与第I及第2实施方式的动画拍摄处理相同的处理，标注相同的标号，省略详细的说明。
[0096]经过从步骤SlOO至步骤S108，CPU 35读取对应于I个帧的左图像及右图像。然后，在步骤S200中，CPU 35从在上述步骤S108中所读取的左图像或右图像中检测适合的对象。另外，利用对象的位置信息等，在当前帧的左图像或右图像中，对从前I帧的左图像或右图像中检测出的对象进行追踪。
[0097]然后，在步骤S300中，CPU 35基于上述步骤S200的对象的追踪结果，对追踪到的对象的移动方向是否是拍摄部的光轴方向进行判定。拍摄部的光轴方向在用于对象的检测及追踪的图像为左图像的情况下是拍摄部21A的光轴方向，在右图像的情况下是拍摄部21B的光轴方向。并且，CPU 35针对移动方向为光轴方向的对象，计算帧之间的移动量，将该移动量与预先确定的规定移动量进行比较，由此，判定是否存在移动量较大的对象。在步骤S300中判定为存在移动量较大的对象的情况下，转入步骤S302，CPU 35将移动量较大的对象从在上述步骤S200中检测及追踪到的对象排除，转入步骤S112。与移动量较大的对象相对应的被摄体由于移动速度快，因此，被摄体和多眼数字相机I的距离在帧之间变动得较大。如果将表示这种被摄体的对象用于被摄体距离范围的计算，则导致被摄体距离范围变动得较大，因此，将其排除而不用于被摄体距离范围的计算。
[0098]另一方面，在步骤S300中判定为不存在移动量较大的对象的情况下，跳过步骤S302，转入步骤S112。在步骤S112中，CPU 35将在上述步骤S302中排除的对象除外，判定是否检测出多个对象，之后，与第I实施方式相同地，执行从步骤S114至S130的处理，结束处理。
[0099]如以上说明所示，根据第3实施方式的多眼数字相机，预先将很可能导致帧之间的被摄体距离范围的较大的变动的移动量大的对象排除而不用于被摄体距离范围的计算，由此，能够减小帧之间的被摄体距离范围的变动。
[0100]【第4实施方式】
[0101]下面，对第4实施方式进行说明。在第4实施方式中，对预先选择用户特别希望关注的被摄体而登记的情况进行说明。此外，第4实施方式的多眼数字相机的结构，由于与第I实施方式的多眼数字相机I的结构相同，因此，标注相同的标号而省略说明。
[0102]在此，参照图12，对在第4实施方式的多眼数字相机I中执行的动画拍摄处理流程进行说明。本流程通过用户对操作按钮8进行操作，选择动画拍摄模式而开始。此外，针对与第I实施方式的动画拍摄处理相同的处理，标注相同的标号，省略详细的说明。
[0103]经过从步骤SlOO至步骤S102，在步骤S104中CPU 35读取通过镜头图像，然后，在步骤S400中，判定是否进行了由用户选择特别关注的对象(以下称为“选择对象”)的操作。选择对象能够通过下述方式进行选择，即，在液晶显示器7中显示的图像上，对操作按钮8进行操作而使光标移动，在移动至该对象上时按下确定按钮等。
[0104]然后，在步骤S402中，CPU 35针对在上述步骤S400中选择出的选择对象，提取轮廓、特征量等信息，登记在规定的存储区域中。选择对象也可以登记多个。
[0105]然后，经过从步骤S106至步骤S112，在步骤S112中判定为检测出多个对象的情况下，转入步骤S404，CPU 35对检测出的对象与登记在上述步骤S402中的选择对象的信息进行比较，对检测出的对象中是否包含选择对象进行判定。在步骤S404中判定为包含选择对象的情况下，转入步骤S406，在步骤S404中判定为不包含选择对象的情况下，转入步骤S114。
[0106]在步骤S406中，CPU 35利用选择对象，计算被摄体距离范围。在选择对象登记有多个，且检测出多个选择对象的情况下，能够将表示检测出的各个选择对象的被摄体、和多眼数字相机I的距离的最大值与最小值的差作为被摄体距离范围而进行计算。另外，在检测出的多个对象中仅包含I个选择对象的情况下，利用选择对象和除了选择对象以外的对象中的I个对象而计算被摄体距离范围。在除了选择对象以外的对象中能够利用下述对象:该对象所示的被摄体和多眼数字相机I的距离成为最大或最小的对象、与表示选择对象的被摄体的距离成为最大或最小的被摄体相对应的对象等。
[0107]之后，与第I实施方式相同地，CPU 35执行从步骤S116至S130的处理，结束处理。此外，在检测出的对象仅为I个选择对象的情况下，在步骤S112中判定为否定后转入步骤S122，将该选择对象作为交叉点而计算视差量。
[0108]如以上说明所示，根据第4实施方式的多眼数字相机，由于利用特别希望关注的对象计算被摄体距离范围，另外，进行调整而使得帧之间的被摄体距离范围的变动不会增大，因此，在关注特定的对象而观看时，能够得到容易观看的立体动画。
[0109]【第5实施方式】
[0110]下面，对第5实施方式进行说明。在第5实施方式中，对在多眼数字相机I连接有显示设备的情况下，输入表示该显示设备的立体图像的显示形式的信息，基于该信息而生成动画文件并进行记录的情况进行说明。此外，第5实施方式的多眼数字相机的结构，由于与第I实施方式的多眼数字相机I的结构相同，因此，标注相同的标号而省略说明。
[0111]在此，参照图13，对在第5实施方式的多眼数字相机I中执行的动画拍摄处理流程进行说明。本流程通过用户对操作按钮8进行操作，选择动画拍摄模式而开始。此外，针对与第I实施方式的动画拍摄处理相同的处理，标注相同的标号，省略详细的说明。
[0112]在步骤S500中，CPU 35对多眼数字相机I是否连接有与3D对应的显示设备进行判定。在连接有3D对应的显示设备的情况下，转入步骤S502，在未连接的情况下，转入步骤S104。在步骤S502中，CPU 35从所连接的显示设备取得设备信息。在该设备信息中包含有关于3D设定的信息。关于3D设定的信息是在显示时使用的显示器的显示尺寸、可显示的3D动态图像的收录方式、可设定的3D强度等。在步骤S504中，CPU 35将与在步骤S502中取得的设备信息相对应地表示3D设定的信息存储于内部存储器27。
[0113]经过从步骤S104至步骤S128，在步骤S130中，CPU 35根据与拍摄到的帧数对应的每一个帧的左图像、右图像、以及视差量的数据，生成与各个帧相对应的立体图像而作为I个文件，作为附加有数据头信息的动画文件记录于记录介质29中，结束处理。此时，CPU35以与对应于在步骤S504中所设定的3D设定的立体图像的显示形式相适合的形式生成立体图像，并记录所得到的动画文件。这样，基于在步骤S504中由显示设备输入的信息而进行3D设定，基于该3D设定而记录动画文件，由此，仅通过将显示设备与多眼数字相机I连接，就可以针对该显示设备以最佳的3D设定记录动画文件。
[0114]此外，也可以将上述实施方式5的从步骤S500至S504的处理，替换为第I至第4实施方式的步骤SlOO以及S102，在步骤S130中记录动画文件，以成为与在步骤S504中所设定的3D设定相对应的立体图像的显示形式。
[0115]另外，在上述第I至第5实施方式中，说明了作为与被摄体和拍摄单元的距离相关的值，计算各个被摄体和拍摄单元的距离，并计算利用该距离的最大值与最小值的差表示的被摄体距离范围的情况，但并不限定于此，也可以作为与被摄体和拍摄单元的距离相关的值，而计算各个被摄体的视差，计算利用该视差的最大值与最小值的差表示的视差范围。在该情况下，可以取代图3所示的被摄体距离范围计算部42以及被摄体距离范围调整部43，设置视差范围计算部以及视差范围调整部。
[0116]在视差范围计算部中，生成视差对应表，求出由对象检测部41检测出的针对每个对象的视差，根据视差的最大值与最小值的差计算视差范围。此外，在登记有选择对象的情况下，利用选择对象的视差而计算视差范围。关于视差对应表的生成，首先，针对左图像和右图像进行立体匹配，例如以左图像为基准，提取与左图像上的像素(xl，yl)相对应的右图像上的对应像素(x2，y2)。左图像上的像素(xl，yl)与右图像上的对应像素(x2，y2)的视差d能够按照d = x2 — xl进行计算，将该视差d存储在作为基准的左图像上的像素位置(xl，yl)处而生成。并且，使检测出的对象和视差对应表相关联，将存储于与对象的位置相对应的视差对应表上的像素位置处的视差，作为该对象的视差而求出。在与对象的位置相对应的区域内的多个像素位置处存储有不同的视差的情况下，能够将该区域内的视差的平均值、最频繁出现值等，作为该对象的视差而求出。
[0117]视差范围调整部通过与被摄体距离范围调整部43中的处理相同的处理，判定针对前I帧的图像计算出的视差范围、和针对当前帧的图像计算出的视差范围的差，是否超过预先确定的阈值，在超过的情况下，调整当前帧的视差范围，使得所述前个帧的视差范围和当前帧的视差范围的差减小。
[0118]视差量计算部44，基于视差范围和与视差范围相对应的适当的视差量之间的预先确定的关系，由计算出的视差范围或者调整后的视差范围而计算当前帧的视差量。如上述所述，关于视差量和被摄体距离范围的关系，在被摄体距离范围较小的情况下，存在于相距多眼数字相机I最远处的最远的被摄体和存在于最近处的最近的被摄体的相对的视差较小，在被摄体距离范围较大的情况下，最远的被摄体和最近的被摄体的相对的视差较大。因此，为了得到具有适当的立体感的立体观看图像，在被摄体距离范围较小的情况下增大视差量，在被摄体距离范围较大的情况下减小视差量。此处，在被摄体距离范围较小的情况下视差范围也较小，在被摄体距离较大的情况下视差范围也较大。因此，视差范围和视差量的关系能够与被摄体距离范围和视差量的关系相同地预先确定。例如，在作为图7所示的曲线图而预先确定视差范围和视差量的关系的情况下，只要将横轴作为视差范围(像素)即可。
[0119]另外，上述第I至第5实施方式能够适当地组合而执行。在将第3实施方式和第4实施方式进行组合的情况下，可以设为，如果是选择对象，则即使是移动量大的对象，也不将其排除，如果是移动量大的对象，则即使是选择对象，也可以将其排除。
[0120]另外，在上述实施方式中，说明了判定前I帧的被摄体距离范围和当前帧的被摄体距离范围的差是否较大，对当前帧的被摄体距离范围进行调整的情况，但也可以在取得规定帧数量的图像，而计算出各个帧的被摄体距离范围后，将特定帧的被摄体距离范围与该特定帧的后I个拍摄到的帧的被摄体距离范围进行比较，由此，判断能否调整特定帧的被摄体距离范围。
[0121]另外，在上述实施方式中，对求出最近的被摄体的视差量的情况进行了说明，但如第4实施方式所示，也可以在对选择对象进行选择的情况下，求出选择对象的视差量。
[0122]另外，在本实施方式中，对具有2个拍摄部的结构的多眼数字相机进行了说明，但在具有大于或等于3个拍摄部的结构中，也能够同样地应用与取得大于或等于3个图像的情况。在该情况下，只要从多个图像中任意地组合2个图像，进行与上述实施方式相同的处理即可。
[0123]另外，可以将图3所示的各个模块通过硬件构成，也可以构成为通过软件实现各个模块的功能，也可以通过硬件和软件的组合而构成。在通过软件构成的情况下，可以将本实施方式的动画拍摄处理流程程序化，通过CPU执行该程序。程序能够存储于存储介质中而提供，或者存储于服务器等存储装置中，也能够经由网络通过下载而提供。
[0124]以上，作为本发明的拍摄装置的实施方式，对数字照相机进行了说明，但拍摄装置的结构并不限定于此。作为本发明的其他实施方式，例如能够作为内置型或者外接型的PC用照相机，或者如以下说明所示的具有拍摄功能的便携终端装置。
[0125]作为本发明的一个实施方式的便携终端装置，例如可举出移动电话、智能手机、PDA (Personal Digital Assistants)、便携式游戏机。下面，以智能手机为例,参照附图而进行详细说明。
[0126]图14表示作为本发明的一个实施方式的智能手机70的外观。图14所示的智能手机70具有平板状的框体72，在框体72的一侧的面上具有将作为显示部的显示面板74A、和作为输入部的操作面板74B —体化而成的显示输入部74。另外，框图72具有扬声器76、麦克风78、操作部80、照相机部82。此外，框体72的结构并不限定于此。例如，能够采用显示部和输入部分别独立的结构，或者采用具有折叠构造、滑动机构的结构。
[0127]图15是表示图14所示的智能手机70的结构的框图。如图15所示,作为智能手机的主要结构要素，具有无线通信部84、显示输入部74、通话部86、操作部80、照相机部82、存储部88、外部输入输出部90、GPS(Global Posit1ning System)接收部92、运动传感器部94、电源部96、主控制部98。另外，作为智能手机70的主要功能，具有无线通信功能，该无线通信功能经由基站装置BS和移动通信网NW进行移动无线通信。
[0128]无线通信部84按照主控制部98的指示，相对于收容在移动通信网NW中的基站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等的各种文件数据、电子邮件数据等的接收/发送、或Web数据、流数据等的接收。
[0129]显示输入部74是通过主控制部98的控制，对图像(静止图像以及动态图像)、字符信息等进行显示而以视觉方式将信息传递至用户，并且，对针对所显示的信息的用户操作进行检测的所谓的触摸面板，具有显示面板74A和操作面板74B。
[0130]显不面板74A 将 LCD(Liquid Crystal Display)、OELD (OrganicElectro-Luminescence Display)等作为显示设备使用。操作面板74B以能够看到在显示面板74A的显示面上显示的图像的方式进行载置，是对通过用户的手指、笔尖操作的一个或多个坐标进行检测的设备。如果通过用户的手指、笔尖操作该设备，则将由操作而产生的检测信号输出至主控制部98。然后，主控制部98基于接收到的检测信号，检测显示面板74A上的操作位置(坐标)。
[0131]如图14所示，作为本发明的一个实施方式而例示出的智能手机70的显示面板74A和操作面板74B —体化而构成显示输入部74,操作面板74B配置为完全覆盖显示面板74A。在采用该配置的情况下，操作面板74B也可以具有即使在显示面板74A外的区域也能检测用户操作的功能。换言之，操作面板74B可以具有针对与显示面板74A重叠的重叠部分的检测区域(以下，称为显示区域)、和针对其以外的未与显示面板74重叠的外缘部分的检测区域(以下，称为非显示区域)。
[0132]此外，显示区域的大小和显示面板74A的大小可以完全一致，但也不是必须使两者一致。另外，操作面板74B可以具有外缘部分、和其以外的内侧部分这2个感应区域。进而，外缘部分的宽度根据框体72的大小等适当地设计。再者，作为操作面板74B所采用的位置检测方式，举出矩阵切换方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电容量方式等，能够采用任意方式。
[0133]通话部86具有扬声器76、麦克风78，通过麦克风78输入的用户的声音变换为可由主控制部98处理的声音数据而输出至主控制部98，或者对通过无线通信部84或外部输入部90接收到的声音数据进行解码而从扬声器76输出。另外，如图14所示，例如可以将扬声器76搭载于与设置有显不输入部74的面相同的面上,将麦克风78搭载于框体72的侧面上。
[0134]操作部80是利用按键开关等的硬件键，接收来自用户的指示。例如，如图14所示，操作部80是搭载于智能手机70的框体72的侧面，如果用手指按压则开启，如果手指离开则通过弹簧等的恢复力而成为关闭状态的按钮式的开关。
[0135]存储部88存储以下数据:主控制部98的控制程序和控制数据、应用软件、与通信对象的名称和电话号码等相关联的地址数据、接收/发送的电子邮件的数据、通过Web浏览而下载的Web数据、下载的内容数据，另外，对流数据等进行暂时存储。另外，存储部88由智能手机内置的内部存储部88A、和可自由拆装的具有外部存储器插槽的外部存储部88B构成。此外，构成存储部88的内部存储部88A和外部存储部88B，分别使用闪存类型(flash memory type)、硬盘类型(hard disk type)、多介质卡微型(multimedia cardmicro type)、卡式的存储器(例如，MicroSD (注册商标)存储器等)、RAM (Random AccessMemory)、ROM (Read Only Memory)等的存储介质而实现。
[0136]外部输入输出部90起到与连结于智能手机70的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或者网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID (Rad1 Frequency Identificat1n)、红外线通信(Infrared Data Associat1n:IrDA)(注册商标)> UffB (Ultra Wideband)(注册商标)、物联网(ZigBee)(注册商标)等)与其他的外部设备直接或间接地连接。
[0137]作为与智能手机70连结的外部设备，例如为有/无线头戴式受话器、有/无线外部充电器、有/无线数据端口、经由卡座连接的记忆卡(Memory card)或SIM (SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、经由音频 / 视频 I/0(lnput/0utput)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从上述外部设备传送而接收到的数据传递至智能手机70的内部的各结构要素、或将智能手机70内部的数据传送至外部设备。
[0138]GPS接收部92按照主控制部98的指示，接收从GPS卫星STl?STn发送的GPS信号，基于接收到的多个GPS信号执行测位运算处理，对该智能手机70的由纬度、经度、高度构成的位置进行检测。GPS接收部92在能够从无线通信部84、外部输入输出部90 (例如，无线LAN)取得位置信息时，也能够利用该位置信息对位置进行检测。
[0139]运动传感器部94例如具有3轴的加速度传感器等，按照主控制部98的指示，对智能手机70的物理运动进行检测。通过检测智能手机70的物理运动，检测出智能手机70的运动方向、加速度。该检测结果输出至主控制部98。
[0140]电源部96按照主控制部98的指示，将储存于电池(未图示)中的电力供给至智能手机70的各部。
[0141]主控制部98具有微处理器，按照存储部88所存储的控制程序、控制数据进行动作，综合控制智能手机70的各部。另外，主控制部98为了经由无线通信部84而进行声音通信、数字通信，具有控制通信系统的各部分的移动通信控制功能、和应用处理功能。
[0142]应用处理功能是由主控制部98按照存储部88所存储的应用软件进行动作而实现的。作为应用处理功能，包括例如控制外部输入输出部90而与相对设备进行数据通信的红夕卜线通信功能、进行电子邮件的接收/发送的电子邮件功能、阅览Web网页的Web浏览功能坐寸ο
[0143]另外，主控制部98具有基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)，将影像显示在显示输入部74中等图像处理功能。所谓图像处理功能，是指主控制部98对上述图像数据进行解码，针对该解码结果实施图像处理，将图像显示在显示输入部74中的功能。
[0144]并且，主控制部98执行针对显示面板74A的显示控制、和对经由操作部80、操作面板74B的用户操作进行检测的操作检测控制。
[0145]通过显示控制的执行，主控制部98对用于启动应用软件的图标、滚动条等软件键进行显示、或者对用于生成电子邮件的窗口进行显示。此外，所谓滚动条，是指针对未完全收容于显示面板74A的显示区域的较大的图像等，用于接受使图像的显示部分移动的指示的软件键。
[0146]另外，通过操作检测控制的执行，主控制部98对经由操作部80的用户操作进行检测，或者经由操作面板74B接受针对上述图标的操作、对上述窗口的输入栏的字符串的输入，或者接受经由滚动条的显示图像的滚动要求。
[0147]并且，通过操作检测控制的执行，主控制部98具有触摸面板控制功能，该触摸面板控制功能是判定针对操作面板74B的操作位置处于与显示面板74A重叠的重叠部分(显示区域)、还处于其以外的未与显示面板74重叠的外缘部分(非显示区域)，对操作面板74B的感应区域、软件键的显示位置进行控制的功能。
[0148]另外，主控制部98也能够检测针对操作面板74B的手势操作，根据检测出的手势操作，执行预先设定的功能。所谓手势操作，不是现有的单纯的触摸操作，而是通过手指等描绘轨迹、或同时指定多个位置，或者将上述进行组合，从多个位置中至少针对I个位置描绘轨迹的操作。
[0149]照相机部82 是利用 CMOS (Complementary Metal Oxide Semiconductor) >CCD(Charge-Coupled Device)等拍摄元件而进行电子拍摄的数字照相机。另外，照相机部82能够通过主控制部98的控制，将拍摄得到的图像数据变换为例如JPEGCJointPhotographic coding Experts Group)等压缩后的图像数据，存储于存储部88,或者经由输入输出部90、无线通信部84而输出。在图14所示的智能手机70中，照相机部82搭载在与显示输入部74相同的面上，但照相机部82的搭载位置并不限定于此，也可以搭载在显示输入部74的背面，或者，也可以搭载多个照相机部82。此外，在搭载有多个照相机部82的情况下，能够切换用于拍摄的照相机部82而单独地进行拍摄，或者同时使用多个照相机部82进行拍摄。
[0150]另外，照相机部82能够利用智能手机70的各种功能。例如，能够在显示面板74A中显示由照相机部82取得的图像、或作为操作面板74B的操作输入的I种而利用照相机部82的图像。另外，在GPS接收部92检测位置时，也能够参照来自照相机部82的图像而检测位置。进而，能够参照来自照相机部82的图像而不利用3轴加速度传感器，或者，同时使用3轴加速度传感器，判断智能手机70的照相机部82的光轴方向，还对当前的使用环境进行判断。当然，也能够在应用软件内利用来自照相机部82的图像。
[0151]除此以外，能够在静止或动态的图像数据中附加由GPS接收部92取得的位置信息、由麦克风78取得的声音信息(也可以是通过主控制部等，进行声音文本变换而成为文本信息)、由运动传感器94取得的姿态信息等，而存储于存储部88，或者经由输入输出部90、无线通信部84而输出。
【权利要求】
1.一种拍摄装置，其具有: 多个拍摄单元，它们从多个不同视角的各个视角对同一拍摄对象一帧一帧连续地拍摄; 检测单元，其从由所述多个拍摄单元的任意一个拍摄到的帧的各个图像中，对被摄体进行检测； 范围计算单元，其在由所述检测单元检测出多个被摄体的情况下，针对检测出多个被摄体的各帧，计算利用与检测出的各个被摄体和所述拍摄单元的距离相关的值的最大值与最小值的差表示的范围； 调整单元，其在由所述范围计算单元计算出范围的特定帧的范围、与所述特定帧的前I个或后I个拍摄到的帧的范围的差超过预先确定的阈值的情况下，对所述特定帧的范围进行调整，以使得该差减小； 视差量计算单元，其基于范围和视差量的预先确定的关系，对与由所述范围计算单元计算出的范围或者由所述调整单元调整后的范围相对应的视差量进行计算； 立体图像生成单元，其基于由所述视差量计算单元计算出的视差量，根据由所述拍摄单元各自拍摄到的多个视角图像而生成与各个帧相对应的立体图像；以及 记录控制单元，其进行下述控制，即，将由所述立体图像生成单元生成的立体图像记录在记录单元中。
2.根据权利要求1所述的拍摄装置，其中， 所述记录控制单元进行下述控制，即，与所述立体图像相关联地，将与由所述调整单元调整后的范围相对应的视差量，记录在所述记录单元中。
3.根据权利要求1或2所述的拍摄装置，其中， 还具有接收单元，该接收单元接收表示所述立体图像的显示形式的信息的输入， 所述立体图像生成单元以与由所述接收单元接收到的信息所示的立体图像的显示形式相适合的形式，生成立体图像。
4.根据权利要求1至3中任一项所述的拍摄装置，其中， 还具有输入单元，其从所连接的显示设备输入表示立体图像的显示形式的信息， 所述立体图像生成单元以与由所述输入单元输入的信息所示的立体图像的显示形式相适合的形式生成立体图像。
5.根据权利要求1至4中任一项所述的拍摄装置，其中， 将与所述距离相关的值，作为检测出的各个被摄体与所述拍摄单元的距离、或者检测出的各个被摄体的视差。
6.根据权利要求1至5中任一项所述的拍摄装置，其中， 针对未检测出被摄体的未检测帧中、在比该未检测帧的前I个或后I个拍摄到的帧中检测出被摄体的未检测帧，所述调整单元视作该未检测帧的范围与所述前I个或后I个拍摄到的帧的范围的差超过预先确定的阈值，对该未检测帧的范围进行调整。
7.根据权利要求1至6中任一项所述的拍摄装置，其中， 所述范围计算单元对由所述检测单元检测出的被摄体的帧之间的移动量进行计算，将该移动量超过预先确定的规定移动量的被摄体排除后，计算所述范围。
8.根据权利要求7所述的拍摄装置，其中， 所述范围计算单元将所述被摄体的移动方向为所述拍摄单元的光轴方向且所述移动量超过预先确定的规定移动量的被摄体排除。
9.根据权利要求1至6中任一项所述的拍摄装置，其中， 包含登记单元，在该登记单元中预先登记有由所述检测单元检测的被摄体， 所述范围计算单元在由所述登记单元登记的被摄体被所述检测单元检测出的情况下，利用该登记的被摄体，计算所述范围。
10.根据权利要求7或8所述的拍摄装置，其中， 包含登记单元，在该登记单元中预先登记有由所述检测单元检测的被摄体， 所述范围计算单元将所述移动量超过预先确定的规定移动量且未登记在所述登记单元中的被摄体排除后，计算所述范围。
11.根据权利要求7或8所述的拍摄装置，其中， 包含登记单元，在该登记单元中预先登记有由所述检测单元检测的被摄体， 如果是登记在所述登记单元中的被摄体，则即使在该被摄体的所述移动量超过预先确定的规定移动量的情况下，所述范围计算单元也不会从所述范围的计算中排除该被摄体。
12.根据权利要求1至11中任一项所述的拍摄装置，其中， 所述视差量计算单元在由所述检测单元检测出的被摄体为I个的情况下，将该被摄体作为交叉点而计算视差量，在由所述检测单元未检测出被摄体的情况下，将预先确定的规定点作为交叉点而计算视差量。
13.一种拍摄方法，其包含以下步骤: 拍摄控制步骤，在该步骤中，以从多个不同视角的各个视角对同一拍摄对象一帧一帧连续地拍摄的方式，对多个拍摄单元的每一个进行控制； 检测步骤，在该步骤中，从由所述多个拍摄单元的任意一个拍摄到的帧的各个图像中，对被摄体进行检测； 范围计算步骤，在该步骤中，在通过所述检测步骤检测出多个被摄体的情况下，针对检测出多个被摄体的各帧，计算利用与检测出的各个被摄体和所述拍摄单元的距离相关的值的最大值与最小值的差表示的范围； 调整步骤，在该步骤中，在通过所述范围计算步骤计算出范围的特定帧的范围、与所述特定帧的前I个或后I个拍摄到的帧的范围的差超过预先确定的阈值的情况下，对所述特定帧的范围进行调整，使得该差减小； 视差量计算步骤，在该步骤中，基于范围和视差量的预先确定的关系，对与通过所述范围计算步骤计算出的范围或者通过所述调整步骤调整后的范围相对应的视差量进行计算； 立体图像生成步骤，在该步骤中，基于通过所述视差量计算步骤计算出的视差量，根据由所述拍摄单元各自拍摄到的多个视角图像而生成与各个帧相对应的立体图像；以及记录控制步骤，在该步骤中，进行下述控制，即，将通过所述立体图像生成步骤生成的立体图像记录在记录单元中。
14.一种存储介质，其是存储有使计算机执行拍摄处理的程序的持续性的计算机可读存储介质，其中， 所述拍摄处理包含以下步骤: 检测步骤，在该步骤中，从由所述多个拍摄单元的任意一个拍摄到的帧的各个图像中，对被摄体进行检测； 范围计算步骤，在该步骤中，在通过所述检测步骤检测出多个被摄体的情况下，针对检测出多个被摄体的各帧，计算利用与检测出的各个被摄体和所述拍摄单元的距离相关的值的最大值与最小值的差表示的范围； 调整步骤，在该步骤中，在通过所述范围计算步骤计算出范围的特定帧的范围、与所述特定帧的前I个或后I个拍摄到的帧的范围的差超过预先确定的阈值的情况下，对所述特定帧的范围进行调整，使得该差减小； 视差量计算步骤，在该步骤中，基于范围和视差量的预先确定的关系，对与通过所述范围计算步骤计算出的范围或者通过所述调整步骤调整后的范围相对应的视差量进行计算； 立体图像生成步骤，在该步骤中，基于通过所述视差量计算步骤计算出的视差量，根据由所述拍摄单元各自拍摄到的多个视角图像而生成与各个帧相对应的立体图像；以及记录控制步骤，在该步骤中，进行下述控制，即，将通过所述立体图像生成步骤生成的立体图像记录在记录单元中。
15.一种程序，其用于使计算机作为下述单元起作用: 检测单元，其从由多个拍摄单元的任意一个拍摄到的帧的各个图像中，对被摄体进行检测，其中，所述多个拍摄单元从多个不同视角的各个视角将同一拍摄对象一帧一帧连续地拍摄； 范围计算单元，其在由所述检测单元检测出多个被摄体的情况下，针对检测出多个被摄体的各帧，计算利用与检测出的各个被摄体和所述拍摄单元的距离相关的值的最大值与最小值的差表示的范围； 调整单元，其在由所述范围计算单元计算出范围的特定帧的范围、与所述特定帧的前I个或后I个拍摄到的帧的范围的差超过预先确定的阈值的情况下，对所述特定帧的范围进行调整，使得该差减小； 视差量计算单元，其基于范围和视差量的预先确定的关系，对与由所述范围计算单元计算出的范围或者由所述调整单元调整后的范围相对应的视差量进行计算； 立体图像生成单元，其基于由所述视差量计算单元计算出的视差量，根据由所述拍摄单元各自拍摄到的多个视角图像而生成与各个帧相对应的立体图像；以及 记录控制单元，其进行下述控制，即，将由所述立体图像生成单元生成的立体图像记录在记录单元中。
【文档编号】G03B35/08GK104185985SQ201380013450
【公开日】2014年12月3日 申请日期:2013年1月22日 优先权日:2012年3月30日
【发明者】江乡俊太 申请人:富士胶片株式会社