摄像装置以及图像显示方法

专利名称：摄像装置以及图像显示方法
技术领域：
本发明涉及摄像装置以及图像显示方法，特别涉及能够进行全景摄像的摄像装置、以及图像合成方法记录介质。
背景技术：
一直以来，作为摄像装置所具有的一个功能，存在全景摄像功能。该功能首先通过用户操作一边维持对快门开关进行了按下操作的状态，一边使数码照相机在水平方向上移动，摄像装置在此期间执行多次摄像处理。之后，通过将摄像处理的结果所获得的多个图像数据在横方向(水平方向)进行合成，来生成全景图像的图像数据。在日本的专利文献的JP特开平06-303562号公报中，公开了如下技术数码照相机在现在正在进行摄像中的图像上重叠横长的边框来进行显示，在该横长的边框内使用在横向延伸的状态条来提示全景摄像的进展状态。但是，在上述专利文献的技术的情况下，例如，用户在摄像中无法针对在此之前的摄像的历史记录，确认从开始全景摄像后到现在为止拍摄了怎样的图像。因此，存在在全景摄像结束后，在作为图像数据而记录的全景图像中缺少必要的图像的情况，或反之混合了多余的图像的情况等，用户为了得到希望的全景图像，需要反复进行多次摄像操作。

发明内容
本发明鉴于这种状况而作，目的在于，在全景摄像中，使用户能够容易地视觉辨识到此为止的摄像的历史记录。为了达成上述目的，技术方案1的发明是一种摄像装置，其特征在于，具备摄像单元，其每隔规定时间对帧进行摄像；图像合成单元，其依次合成每隔规定时间通过所述摄像单元被摄像到的多个帧的图像数据中的、至少一部分图像数据；和显示控制单元，其按照在每隔规定时间通过所述摄像单元对所述帧的图像数据进行了摄像时，依次显示通过所述图像合成单元合成的图像数据的方式进行控制。此外，为了达成上述目的，技术方案7所述的发明是一种图像显示方法，其由摄像装置执行，其中所述摄像装置具备每隔规定时间对帧进行摄像的摄像单元，所述图像显示方法的特征在于，包含如下步骤图像合成步骤，依次合成每隔规定时间通过所述摄像单元被摄像到的多个所述帧的图像数据中的、至少一部分图像数据；和显示控制步骤，按照在每隔规定时间通过所述摄像单元对所述帧的图像数据进行了摄像时，依次显示在所述图像合成步骤中合成的图像数据的方式进行控制。


图1是表示作为本发明所涉及的摄像装置的一个实施方式的数码照相机的硬件结构的框图。图2是表示图1的数码照相机用于执行摄像处理的功能结构的功能框图。图3是说明作为图1的数码照相机的动作模式，分别选择了通常摄像模式和全景摄像模式的情况下的摄像操作的图。图4是表示通过图3所示的全景摄像模式而生成的全景图像的一例的图。图5是表示显示了全景中途图像的图1的数码照相机的外观结构的背面图。图6是说明图2的图像处理部的合成处理的图。图7是表示摄像处理的流程的一例的流程图。图8是表示图7的摄像处理中的全景摄像处理的详细流程的流程图。
具体实施例方式以下，参照附图，对本发明所涉及的实施方式进行说明。图1是表示作为本发明所涉及的摄像装置的一个实施方式的数码照相机1的硬件结构的框图。数码照相机1具备CPU (中央处理器，Central Processing Unit) 11、R0M(只读存储器，Read Only Memory) 12、RAM(随机存取存储器，Random Access Memory) 13、总线 14、 光学系统15、摄像部16、图像处理部17、存储部18、显示部19、操作部20、通信部21、角速度传感器22、和驱动器23。CPUll根据存储在R0M12中的程序、或者从存储部18下载到RAM13中的程序，来执行各种处理。R0M12还适当存储有CPUll在执行各种处理时所需要的数据等。例如，在本实施方式中，实现后述的图2的摄像控制部51或显示控制部M的各功能的程序被存储在R0M12或存储部18中。因此，CPUll通过执行依照这些程序的处理，能够实现后述的图2的摄像控制部51或显示控制部M的各功能。另外，也可以将后述的图2的摄像控制部51或显示控制部M的各功能中的至少一部分移交给图像处理部17。CPU11、R0M12、以及RAM13通过总线14相互连接。在该总线14上还连接有光学系统15、摄像部16、图像处理部17、存储部18、显示部19、操作部20、通信部21、角速度传感器22、以及驱动器23。光学系统15为了对被摄体进行摄影而由对光进行聚光的透镜、例如聚焦透镜和变焦透镜等构成。聚焦透镜是使被摄体像成像于摄像部16的摄像元件的受光面上的透镜。 变焦透镜是使焦点距离在一定范围内自由变化的透镜。在光学系统15中还根据需要而设置调整焦点、或曝光等的外围装置。摄像部16由光电变换元件和AFE(模拟前端，Analog Front End)等构成。光电变换元件由例如CCD (电荷耦合器件，Charge Coupled Device)或CMOS (互补金属氧化物半导体，Complementary Metal Oxide Semiconductor)型的光电变换元件构成。光电变换元件每隔固定时间，对在此期间入射并蓄积的被摄体像的光信号进行光电变换(摄像)，并将其结果所获得的模拟的电信号依次提供给AFE。AFE对该模拟的电信号实施A/D (模拟/数字，Analog/Digital)变换处理等各种信号处理，并将其结果所获得的数字信号作为摄像部16的输出信号而输出。另外，以下，将摄像部16的输出信号称作“摄像图像的数据”。因此，从摄像部16 输出摄像图像的数据，并适当提供给图像处理部17等。图像处理部17由DSP(数字式信号处理器，Digital Signal Processor)、和 VRAM (Video Random Access Memory)等构成。图像处理部17与CPUll协同工作，对从摄像部16输入的摄像图像的数据，实施降噪、白平衡、手抖动补偿等图像处理。在此，以下将每隔固定时间从摄像部16输入的摄像图像的数据称作“帧的图像数据”。在本实施方式中，采用该帧作为处理单位。即，图像处理部17对从摄像部16提供的帧的图像数据，实施各种图像处理后输出。存储部18由DRAM(动态随机存取存储器，Dynamic Random Access Memory)等构成，暂时存储从图像处理部17输出的帧的图像数据、和后述的全景图像的生成中途的图像数据等。此外，存储部18还存储各种图像处理所需要的各种数据等。显示部19构成为例如由LCD (Liquid Crystal Device :液晶显示装置)和LCD驱动部构成的平板显示面板。显示部19以帧为单位来显示通过从存储部18等提供的图像数据而表现的图像、例如后述的取景图像。操作部20除了具有快门开关41之外，虽未图示，但还具有电源开关、摄像模式开关、再现开关等多个开关。若这些多个开关中的规定的开关被进行了按下操作，则操作部20 将分配给该规定的开关的指令提供给CPU11。通信部21控制经由包括因特网在内的网络的、与未图示的其他装置之间的通信。角速度传感器22由陀螺仪等构成，对数码照相机1的角度位移量进行检测，并将表示检测结果的数字信号(以下，仅称作“角度位移量”)提供给CPU11。另外，角速度传感器22还具有检测地磁的方向的功能，由此根据需要也发挥方位传感器的功能。在驱动器23中适当安装由磁盘、光盘、光磁盘、或半导体存储器等构成的可移动介质31。并且，从可移动介质31读出的程序根据需要被安装在存储部18中。此外，可移动介质31还能够与存储部18同样地存储在存储部18中存储的图像数据等各种数据。图2是表示用于执行图1的数码照相机1所执行的处理中的、将被摄体的摄像图像的数据记录在可移动介质31中为止的一系列的处理(以下，称作“摄像处理”)的功能结构的功能框图。在CPUll中设有控制摄像处理的执行的摄像控制部51。摄像控制部51，例如，作为数码照相机1的动作模式，能够选择性地切换通常摄像模式、和全景摄像模式，并执行依照切换后的动作模式的处理。图3是说明作为图1的数码照相机1的动作模式，分别选择了通常摄像模式和全景摄像模式的情况下的摄像操作的图。详细来说，图3A是说明通常摄像模式下的摄像操作的图。图:3B是说明全景摄像模式下的摄像操作的图。在图3A以及图;3B的各自中，位于数码照相机1的内部的图，示出了包含数码照相机1在内的被摄体的真实世界的样子。此外，图3B所示的纵的虚线示出了数码照相机1的移动方向的各位置a、b、c。数码照相机1的移动方向是指，用户以自身的身体为轴来使数码照相机1的摄像方向(角度)变化的情况下的、数码照相机1的光轴移动的方向。通常摄像模式是指，对与数码照相机1的视角对应的尺寸(分辨率)的图像进行摄像的情况下的动作模式。在通常摄像模式中，如图3A所示，用户在使数码照相机1固定的状态下，将操作部 20的快门开关41按下至下限。另外，以下将像这样将快门开关41按下至下限的操作称作 “全按操作”或仅称作“全按”。摄像控制部51控制将进行了全按操作后立即从图像处理部17输出的帧的图像数据作为记录对象记录在可移动介质31中为止的一系列的处理的执行。以下，将像这样在通常摄像模式下通过摄像控制部51的控制而执行的一系列的处理称作“通常摄像处理”。另一方面，全景摄像模式是指，对全景图像进行摄像的情况下的动作模式。在全景摄像模式中，如图:3B所示，用户在维持快门开关41的全按操作的状态下， 使数码照相机1在该图中黑色箭头的方向上移动。摄像控制部51在维持全按操作的期间，对图像合成部52进行控制，来反复进行如下动作每当来自角速度传感器22的角度位移量达到固定值后，立即将从图像处理部17输出的帧的图像数据暂时存储在存储部18中。之后，用户通过进行解除全按操作的操作，即使手指等离开快门开关41的操作 (以下，将这种操作称作“解除操作”)，来指示全景摄像的结束。若被指示了全景摄像的结束，则摄像控制部51将到此为止存储在存储部18中的多帧的图像数据，按照存储的顺序在水平方向上进行合成，由此来生成全景图像的图像数据。并且，摄像控制部51将全景图像的图像数据，作为记录对象记录在可移动介质31 中。像这样，摄像控制部51，在全景摄像模式下，对生成全景图像的图像数据并将其作为记录对象记录在可移动介质31中为止的一系列的处理进行控制。以下，将像这样，在全景摄像模式下通过摄像控制部51的控制而执行的一系列的处理称作“全景摄像处理”。图4表示了全景摄像处理的结果所获得的全景图像的图像数据。S卩，在全景摄像模式下，若进行了图:3B所示的摄像操作，则通过摄像控制部51来控制全景摄像处理的执行。作为其结果，生成图4所示的全景图像P3的图像数据，并记录在可移动介质31中。在本实施方式中，图2的摄像控制部51还与通常摄像模式和全景摄像模式无关地，执行取景摄像处理以及取景显示处理。S卩，用户在进行全按操作之前，为了使数码照相机1执行AF(自动聚焦，Auto Focus)处理等，可以进行将操作部20的快门开关41按下至中途(不到下限的规定的位置) 的操作。另外，以下将像这样按下到快门开关41的中途(不到下限的规定的位置)的操作称作“半按操作”或仅称作“半按”。若进行了半按操作，则摄像控制部51对摄像部16和图像处理部17进行控制，使摄像部16的摄像动作持续进行。并且，摄像控制部51，在持续进行摄像部16的摄像动作的期间，使经由该摄像部16从图像处理部17依次输出的帧的图像数据暂时存储在存储器 (在本实施方式中为存储部18)中。这种摄像控制部51所进行的一系列的控制处理，是在此所说的“取景摄像处理”。此外，摄像控制部51对显示控制部M进行控制，依次读出在取景摄像时暂时存储在存储器(在本实施方式中为存储部18)中的各图像数据，并将与各个图像数据对应的帧图像依次显示在显示部19中。这种摄像控制部51所进行的一系列的控制处理是在此所说的“取景显示处理”。另外，以下将通过取景显示处理而显示在显示部19中的帧图像称作 “取景图像”。在本实施方式中，在选择了全景摄像模式的状态下进行了全按操作的情况下，还将预定生成的全景图像中的、现在为止已生成的全景图像(以下，称作“生成中途的图像”) 重叠在取景图像上来显示于显示部19。图5是表示显示了生成中途的图像的图1的数码照相机1的外观结构的背面图。图5A示出了移动到图:3B的位置a时的数码照相机1的外观结构。图5B示出了移动到图3B的位置b时的数码照相机1的外观结构。图5C示出了移动到图:3B的位置c 时的数码照相机1的外观结构。S卩，在图5A至图5C中示出了在全景摄像模式下，用户使数码照相机1依次移动到位置a至位置c的情况下的、数码照相机1的显示状态的推移。具体来说，若数码照相机1依次移动到位置a、位置b、位置c，则在显示部19中与各个位置a、b、c对应地依次显示各个取景图像PAl、PBl、PCl。在本实施方式中，还对各个这种取景图像PAl、PBl、PCl，重叠显示各个生成中途的图像PA2、PB2、PC2。用户能够一边视觉辨识这种生成中途的图像PA2、PB2、PC2 一边进行全景摄像的操作，因此能够容易且正确地视觉辨识从开始全景摄像到现在为止的摄像的历史记录。其结果，用户即使不反复进行多次摄像操作，也能够简单且容易地得到希望的全景图像。如图2所示，在数码照相机1的CPUll中，为了能够显示这种全景中途图像，除了上述的摄像控制部51之外还设置有图像合成部52、图像缩小部53、以及显示控制部M。另外，如上所述，图像合成部52、图像缩小部53、以及显示控制部M的各功能，不需要像本实施方式这样搭载于CPU11，也可以将这些各功能中的至少一部分移交给图像处理部17。图像合成部52对从图像处理部17依次提供的帧的图像数据，执行按照提供的顺序在水平方向上依次合成的处理(以下，称作“图像合成处理”)。图像合成处理的结果，得到全景中途图像的图像数据，并提供给图像缩小部53。具体来说，摄像控制部51监视角速度传感器22的检测结果，每当角度位移量的累积值达到固定值时，对图像合成部52发出取得指令。图像合成部52在接受了取得指令后立即取得从图像处理部17提供的帧的图像数据作为合成对象。即，图像合成部52从快门开关41的全按操作开始后，每当从摄像控制部51发出取得指令时，依次取得合成对象的帧的图像数据。然后，图像合成部52将从快门开关41的全按操作开始后到现在为止的期间作为合成对象而取得的多个帧的图像数据，按照取得的顺序在水平方向上依次合成。作为这种图像合成处理的结果，在图像合成部52中得到生成中途的图像数据，并提供给图像缩小部53。在此，成为图像合成处理的对象的图像数据没有特别限定，例如，也可以为从快门开关41的全按操作开始后到现在为止的期间取得的多个帧的各自的图像数据。不过，在本实施方式中，采用了在上次合成处理时生成的生成中途的数据、和刚刚不久作为合成对象而取得的帧的数据作为合成处理的对象。S卩，在本实施方式中，由图像合成部52生成的生成中途的尺寸(分辨率)，被设为与最终生成并得到的全景图像的最大尺寸相同的固定尺寸。因此，在全景摄像的中途、即数码照相机1的移动中，即使在水平方向合成在此之前取得的几个帧的图像数据，水平方向的尺寸也不满足最大尺寸，在帧的有效图像中出现没有被填满的区域。在本实施方式中，这种区域成为一律填充了规定的颜色(例如，在图5 的例子中为黑色)的区域。以下将这种区域、即像素值全部固定(例如，固定为表示黑色的 0)的区域称作“空白区域”。因此，在本实施方式中，图像合成部52使用上次的全景中途图像的图像数据、和刚刚作为合成对象而取得的帧的图像数据，来执行在上次全景中途图像的空白区域中重写 (overwrite)合成对象的帧的图像合成处理。图6是说明图2的图像合成部52的合成处理的图。在本实施方式中，假设图6所示的存储区域101设置于例如存储部18。存储区域101被划分为N个帧存储区域101-1至101-N。在此，N为2以上的任意的整数值。其中，帧存储区域101-1至101-N的水平方向(图的X轴的方向)的尺寸与生成中途的水平方向的尺寸(分辨率)、即最终生成并得到的全景图像的水平方向的最大尺寸相同。此外，N与在1次全景摄像处理中，能够作为合成对象而被图像合成部52取得的帧的图像数据的最大个数一致。S卩，在对快门开关41进行全按操作从而开始全景摄像处理之后，在发出了第K次取得指令的情况下，被图像合成部52作为合成对象而取得的帧的图像数据的至少一部分被存储在帧存储区域101-K中。在此，记述为帧的图像数据的至少一部分是因为存在帧的图像数据的尺寸大于帧存储区域101-K的尺寸的情况。在这种情况下，在帧存储区域101-K中仅存储符合帧的规定的一部分的图像数据。像这样，在本实施方式中，存储在存储区域101中的图像数据整体是生成中途的图像数据。在存储区域101中，作为初始状态，一律存储了相同的像素值(例如，表示黑色的0)。即，在初始状态下，N个帧存储区域101-1至101-N全部为空白区域。因此，在第K次合成对象的帧被图像合成部52取得的定时(timing)，在N个帧存储区域101-1至101-N中的、帧存储区域101-1至IOI-(K-I)中，含有有效图像的图像数据。 在此，有效图像是指，第1次至第(K-I)次的各个合成对象的帧(的至少一部分)按照该顺序在水平方向(图6中X轴方向)上合成的图像。另一方面，帧存储区域101-K至101-N 为空白区域。对作为该空白区域的帧存储区域101-K至101-N中的帧存储区域101-K，存储第K 次作为合成对象而取得的帧的图像数据的至少一部分。由此，存储在存储区域101中的数据整体作为全景中途图像的图像数据而被生成。
之后，图2的图像合成部52将存储在存储区域101中的数据整体作为生成中途的图像数据而读出，并提供给图像缩小部53。图像缩小部53每当从图像合成部52被提供全景图像的图像数据时，对该图像数据实施缩小尺寸(分辨率)的缩小处理。在此，缩小率可以在缩小后的全景中途图像小于取景图像(帧)的范围内任意地设定。像这样缩小了尺寸(分辨率)的全景中途图像的图像数据从图像缩小部53提供给显示控制部M。显示控制部M执行如下控制使通过暂时存储在存储部18中的图像数据而表现的帧作为取景图像显示在显示部19中。并且，在全景摄像处理中，显示控制部M执行如下控制使通过从图像缩小部53 提供的缩小后的图像数据而表现的图像、即缩小后的全景中途图像重叠在取景图像上并显示在显示部19中。此后，若用户的手指等离开快门开关41、即进行了解除操作，则摄像控制部51执行将记录对象的图像数据记录在可移动介质31中的控制。具体来说，在通常摄像模式的情况下，摄像控制部51执行如下控制将从图像处理部17输出的帧的图像数据作为记录对象的图像数据记录在可移动介质31中。另一方面，在全景摄像模式的情况下，摄像控制部51执行如下控制经由图像合成部52，将全景图像的图像数据作为记录对象的图像数据记录在可移动介质31中。例如，图像合成部52读出存储在存储区域101 (图6)的数据中的、空白区域以外的有效图像的部分的图像数据，并适当实施缩小处理或放大处理等图像处理。由此，生成记录对象的全景图像的图像数据。将像这样生成的全景图像的图像数据提供给驱动器23，并作为记录对象的图像数据记录在可移动介质31中。接下来，参照图7，对具有这种功能结构的数码照相机1所执行的摄像处理进行说明。图7是表示摄像处理的流程的一例的流程图。在本实施方式中，若数码照相机1的未图示的电源成为接通状态则摄像处理开始。在步骤Sl中，图2的摄像控制部51执行操作检测处理以及初始设定处理。操作检测处理是指对操作部20的各开关的状态进行检测的处理。摄像控制部51 通过执行操作检测处理，能够检测出作为动作模式，设定成了通常摄像模式，还是设定成了全景摄像模式。此外，作为本实施方式的初始设定处理之一，采用了设定角度位移量的固定值、和作为角度位移量的最大限度的阈值(例如，360度)的处理。具体来说，角度位移量的固定值、和作为角度位移量的最大限度的阈值(例如， 360度)预先存储在图1的R0M12中，通过从R0M12读出并写入到RAM13中来设定。另外， 角度位移量的固定值在后述的图8的步骤S35的判定处理中使用。另一方面，作为角度位移量的最大限度的阈值(例如，360度)在该图的步骤S45的判定处理中使用。此外，在本实施方式中，如后述的图8的步骤S34、S40等所示，将由角速度传感器 22检测出的角度位移量累积相加，并将作为该累积相加值的累积角度位移量和综合角度位移量(两者的区别在后面说明)保存在RAM13中。因此，采用了将这些累积角度位移量和综合角度位移量复位为0的处理作为本实施方式的初始设定处理之一。另外，累积角度位移量在后述的图8的步骤S35的判断处理中，与上述固定值进行比较。另一方面，综合角度位移量在后述的图8的步骤S45的判断处理中，与上述的固定值进行比较。并且，作为本实施方式的初始设定处理之一，采用了将错误标志复位为0的处理。 错误标志是指在全景摄像处理中发生了错误时置位为1的标志(flag)(参照后述的图8的步骤S44)。在步骤S2中，摄像控制部51对是否半按了快门开关41进行判定。在没有半按快门开关41的情况下，在步骤S2中判定为“否”，处理进入步骤S12。在步骤S12中，摄像控制部51对是否进行了处理的结束指示进行判别。处理的结束指示没有特别限定，但在本实施方式中，采用了表示数码照相机1的未图示的电源成为了断开状态的主旨的通知。因此，在本实施方式中，若电源成为断开状态并将此主旨通知给摄像控制部51，则在步骤S12中判定为“是”，摄像处理整体结束。与此相对，在电源为接通状态的情况下，不进行表示电源成为了断开状态的主旨的通知，因此在步骤S12中判定为“否”，处理返回步骤S2，并反复进行此后的处理。S卩，在本实施方式中只要电源维持接通状态，在半按快门开关41为止的期间，步骤S2 “否”以及步骤S12 “否”的循环处理被反复执行，摄像处理成为等待状态。在该等待状态中，若半按了快门开关41，则在步骤S2中判定为“是”，处理进入步
马聚S3 ο在步骤S3中，摄像控制部51开始上述取景摄像处理以及取景显示处理。由此，取景图像显示在显示部19中。另外，在本实施方式中，在后述的步骤S8的通常摄像处理或者步骤S9的全景摄像处理结束为止的期间，取景图像持续显示在显示部 19中。在步骤S4中，对摄像部16进行控制，执行所谓AF处理。在步骤S5中，摄像控制部51对是否全按了快门开关41进行判定。在没有全按快门开关41的情况下，在步骤S5中判定为“否”。在此情况下，处理返回步骤S4，并反复进行此后的处理。即，在本实施方式中，在全按快门开关41为止的期间， 反复执行步骤S4、以及步骤S5 “否”的循环处理，并在每次循环中执行AF处理。此后，若全按了快门开关41，则在步骤S5中判定为“是”，处理进入步骤S6。在步骤S6中，摄像控制部51对现在设定的摄像模式是否为全景摄像模式进行判定。在不是全景摄像模式的情况下，即现在设定了通常摄像模式的情况下，在步骤S6 中判定为“否”，处理进入步骤S7。在步骤S7中，摄像控制部51执行上述的通常摄像处理。S卩，在进行了全按操作后立即将从图像处理部17输出的1帧的图像数据作为记录对象记录在可移动介质31中。由此，步骤S8的通常摄像处理结束，处理进入步骤S12。另外，关于步骤S12以后的处理在前面进行了说明，因此在此省略其说明。与此相对，在现在设定了全景摄像模式的情况下，在步骤S6中判定为“是”，处理进入步骤S8。在步骤S8中，摄像控制部51执行上述的全景摄像处理。关于全景摄像处理的详细内容参照图8在后面说明，但作为原则，生成全景图像的图像数据，并将其作为记录对象记录在可移动介质31中。由此，步骤S8的全景摄像处理结束，处理进入步骤S9。在步骤S9中，摄像控制部51对错误标志是否为1进行判定。关于详细内容参照图8在后面说明，但若将全景图像的图像数据作为记录对象记录在可移动介质31中，步骤S8的全景摄像处理正常地结束，则错误标志为0。在这种情况下，在步骤SlO中判定为“否”，处理进入步骤S12。另外，步骤S12以后的处理在前面进行了说明，因此在此省略其说明。与此相对，若在步骤S8的全景摄像处理中发生了某种错误，则该全景摄像处理非正常地结束。在这种情况下，错误标志成为1，因此在步骤S9中判定为“是”，处理进入步骤 S10。在步骤SlO中，摄像控制部51将错误的内容显示在显示部19中。关于显示的错误的内容的具体例在后面说明。在步骤Sll中，摄像控制部51解除全景摄像模式，并将错误标志复位为0。此后，处理返回步骤Si，并反复进行此后的处理。即，摄像控制部51为用户的下一次新的摄像操作做准备。以上，参照图7，对摄像处理的流程进行了说明。接下来，参照图8，对图7的摄像处理中的、步骤S9的全景摄像处理的详细流程进行说明。图8是说明全景摄像处理的详细流程的流程图。如上所述，若在全景摄像模式的状态下全按了快门开关41，则在图7的步骤S6中判定为“是”，则处理进入步骤S8,作为全景摄像处理执行如下处理。S卩，在图8的步骤S31中，摄像控制部51从角速度传感器22取得角度位移量。在步骤S32中，摄像控制部51对在步骤S31的处理中取得的角度位移量是否大于 0进行判定。在用户没有移动数码照相机1的状态下，角度位移量成为0，因此在步骤S32中判定为“否”，处理进入步骤S33。在步骤S33中，摄像控制部51对角度位移量0的持续是否经过了规定时间进行判定。作为规定时间，例如，可以采用比从用户全按快门开关41后，到开始移动数码照相机1 为止所需的时间长的恰当的时间。在没有经过规定时间的情况下，在步骤S33中判定为“否”，处理返回步骤S31，并反复进行此后的处理。即，在用户没有移动数码照相机1的状态的持续时间比规定时间短的情况下，摄像控制部51通过反复执行步骤S31至步骤S33 “否”的循环处理，来使全景摄像处理成为等待状态。在该等待状态中，若用户移动了数码照相机1，则来自角速度传感器22的角度位移量成为大于0的值。在这种情况下，在步骤S32中判定为“是”，处理进入步骤S34。在步骤S34中，摄像控制部51针对到此为止的累积角度位移量，通过加上在步骤
11S32的处理中取得的角度位移量，来更新累积角度位移量(累积角度位移量=累积角度位移量+角度位移量)。即，更新在RAM13中作为累积角度位移量而被保存的值。累积角度位移量是像这样将角度位移量累积相加而得到的值，表示了数码照相机 1的移动量。在此，在本实施方式中，每当用户将数码照相机1移动固定量时，针对生成中途图像的1帧的图像数据(合成对象)从图像处理部17被提供给图像合成部52。为了实现该目的，与作为数码照相机1的移动量的“固定量”对应的累积角度位移量，通过图7的步骤Sl的初始设定处理，作为“固定值”而被预先提供。即，在本实施方式中，每当累积角度位移量达到固定值时，将1帧的图像数据(合成对象)从图像处理部17提供给图像合成部52，并且将累积角度位移量复位为0。这种一系列的处理作为下面的步骤S35以后的处理来执行。即，在步骤S35中，摄像控制部51对累积角度位移量是否达到了固定值进行判定。在累积角度位移量没有达到固定值的情况下，在步骤S35中判定为“否”，处理返回步骤S31，并反复进行此后的处理。即，通过由用户将数码照相机1移动固定量，只要累积角度位移量没有达到固定值，则摄像控制部51反复执行步骤S31至S35的循环处理。此后，在通过由用户将数码照相机1移动固定量，而累积角度位移量达到固定值时，在步骤S35中判定为“是”，处理进入步骤S36。在步骤S36中，图像合成部52在摄像控制部51的控制下，从图像处理部17取得 1帧图像数据。S卩，若累积角度位移量达到了固定值，从而处理进入步骤S36，则摄像控制部51对图像合成部52发出取得指令。接受了该取得指令的图像合成部52，作为步骤S36的处理，从图像处理部17取得 1帧的图像数据。在步骤S37中，图像合成部52通过将取得的1帧的图像数据(其中的至少一部分)重写在存储区域101(图6)的空白区域，来生成全景中途图像的图像数据。若全景中途图像的图像数据从图像合成部52被提供给图像缩小部53，则处理进入步骤S38。在步骤S38中，图像缩小部53缩小被提供的生成中途图像的图像数据的尺寸(分
辨率)。若缩小后的生成中途图像的图像数据从图像缩小部53被提供给显示控制部54， 则处理进入步骤S39。在步骤S39中，显示控制部M将通过从图像缩小部53提供的图像数据而表现的图像、即缩小后的全景中途图像重叠在取景图像上并显示在显示部19中。在步骤S40中，摄像控制部51通过对到此为止的综合角度位移量加上现在的角度位移量(=大致固定值)，来更新综合角度位移量(综合角度位移量=综合角度位移量+累积角度位移量)。即，更新在RAM13中作为综合角度位移量而保存的值。在步骤S41中，摄像控制部51将累积角度位移量复位为0。S卩，更新在RAM13中作为累积角度位移量而保存的值。像这样，累积角度位移量用于控制将1帧的图像数据(合成对象)从图像处理部17提供给图像合成部52的定时、即取得指令的发出定时。因此，累积角度位移量每当达到固定值从而取得指令被发出时被复位为0。因此，摄像控制部51即使使用累积角度位移量，也无法识别从全景摄像处理开始后到现在为止，数码照相机1移动到了哪里。因此，为了能够进行这种识别，在本实施方式中，与累积角度位移量分别地采用了综合角度位移量。S卩，综合角度位移量虽然是将角度位移量累积加算而得到的值，但却是即使达到固定量也不被复位为0，而在全景摄像处理结束为止的期间(详细来说，是在后述的步骤 S47的处理被执行为止的期间)持续被累积相加的值。像这样，若在步骤S40的处理中更新了综合角度位移量，并且在步骤S41的处理中将累积角度位移量复位为0，则处理进入步骤S42。在步骤S42中，摄像控制部51对是否进行了快门开关41的全按的解除操作进行判定。在没有进行解除操作的情况下、即用户持续全按快门开关41的情况下，在步骤 S42中判定为“否”，处理进入步骤S43。在步骤S43中，摄像控制部51对是否发生了图像取得的错误进行判定。关于图像取得的错误，没有特别限定，但例如，在本实施方式中，将数码照相机1 在倾斜方向、上下方向、或反方向上移动了固定量以上的情况作为错误而采用。在图像取得中没有发生错误的情况下，在步骤S43中判定为“否”，处理进入步骤 S44。在步骤S44中，摄像控制部51对综合角度位移量是否超过了阈值进行判别。如上所述，综合角度位移量是指从全景摄像处理开始后(从进行全按操作后)到执行步骤S42的处理的时间点为止的角度位移量的累积相加值。在此，在本实施方式中，预先决定了在全景摄像中用户能够将数码照相机1移动的最大移动量。与作为这种数码照相机1的移动量的“最大移动量”对应的综合角度位移量，通过图7的步骤Sl的初始设定处理而作为“阈值”被预先提供。像这样，在本实施方式中，综合角度位移量达到了阈值，意味着数码照相机1移动了最大移动量。因此，在综合角度位移量没有达到阈值的情况下、即数码照相机1的移动量没有达到最大移动量的情况下，用户还可以继续移动数码照相机1，因此在步骤S44中判定为 “否”，处理返回步骤S31，并反复进行此后的处理。S卩，若角度位移量0的持续经过规定时间的情况(数码照相机1在规定时间不移动)也属于错误之一，则在不发生错误的状态下，只要持续进行全按操作，则步骤S31至S44 的循环处理被反复执行。在此期间，参照图5，如上所述，与数码照相机1的移动相应地更新取景图像的显示，并且也不断更新生成中途图像的显示。用户可以像这样一边视觉辨识持续被更新的全景中途图像，一边进行全景摄像的操作，因此能够容易且正确地视觉辨识从全景摄像开始后到现在为止的摄像的历史记录。 其结果，用户即使不反复进行多次摄像操作也能够容易且简单地得到希望的全景图像。
13
此后，在没有发生错误的状态下，进行了解除操作(在步骤S42的处理中判定为 “是”)或者数码照相机1移动到了最大移动量(在步骤S45的处理中判定为“是”)的情况下，处理进入步骤S46。在步骤S46中，摄像控制部51通过图像合成部52，生成全景图像的图像数据，并将其作为记录对象的图像数据记录在可移动介质31中。然后，在步骤S47中，摄像控制部51将综合角度位移量复位为0。由此，全景摄像处理正常结束。S卩，图7的步骤S8的处理正常结束，并在接下来的步骤S9的处理中判定为“否”。另外，关于在步骤S9的处理中判定为“否”之后的处理在前面进行了说明，因此在此省略其说明。另外，在上述一系列的处理中发生了某种错误的情况下、即在步骤S33的处理中判定为“是”，或者在步骤S43的处理中判定为“是”的情况下，处理进入步骤S44。在步骤S44中，摄像控制部51将错误标志置位为1。在此情况下，不执行步骤S46的处理、即不记录全景图像的图像数据，全景摄像处理非正常地结束。S卩，图7的步骤S8的处理非正常地结束，在接下来的步骤S9的处理中判定为 “是”，并在步骤SlO的处理中显示错误的内容。在此情况下的错误内容的显示，如上所述没有特别限定，但例如，可以采用“图像取得失败”或“超时”等消息显示。如上所述，本实施方式的数码照相机1具备摄像部16，该摄像部16将每隔规定时间的间隔通过摄像而依次得到的图像数据分别作为帧的图像数据依次输出。本实施方式的数码照相机1还具备图像合成部52、和显示控制部M。图像合成部52每当数码照相机1移动规定量时(每当上述的累积角度位移量达到固定值时)，通过图像处理部17来取得从摄像部16输出的帧的图像数据，并保持在存储部18中。并且，图像合成部52通过合成在此之前累积保持在存储部18中的多帧的图像数据的至少一部分，来依次生成全景中途图像(合成图像)的图像数据。显示控制部M执行如下控制同时显示从摄像部16作为图像数据依次输出的帧(即取景图像)、和通过图像合成部52作为图像数据依次生成的生成中途图像(合成图像)。由此，参照图5，如上所述，与数码照相机1的移动相应地更新取景图像的显示，并且也更新全景中途图像(合成图像)的显示。用户可以像这样一边视觉辨识持续被更新的生成中途图像(合成图像)一边进行全景摄像的操作，因此能够容易且正确地视觉辨识从开始全景摄像后到现在为止的摄像的历史记录。其结果，用户即使不反复进行多次摄像操作，也能够容易且简单地得到希望的全景图像。特别是，在本实施方式的数码照相机1中，显示控制部讨执行了对取景图像重叠全景中途图像(合成图像)来显示于显示部19的控制。在此情况下，用户能够同时视觉辨识取景图像和全景中途图像，因此能够从取景图像中视觉辨识现在正在摄像的被摄体是什么，并且能够更正确地视觉辨识该被摄体包含于全景图像的哪个部分。
本实施方式的数码照相机1还具备缩小全景中途图像的图像数据的图像缩小部 53。由此，显示控制部M能够将缩小后的全景中途图像重叠于取景图像上来显示于显示部19。在此情况下，取景图像不会被全景中途图像大范围掩盖，因此用户能够从取景图像中可靠地视觉辨识下一个摄像对象的被摄体。在本实施方式的数码照相机1中，若进行了解除操作、或综合角度位移量达到阈值等规定条件被满足，则图像合成部52作为记录用的合成图像的图像数据，生成全景图像的图像数据。在此情况下，摄像控制部51执行如下控制将作为记录用而生成的全景图像的图像数据记录在可移动介质31中。这样一来，用户即使不反复进行多次摄像操作，也能够容易且简单地将希望的全景图像的图像数据记录在可移动介质31中。另外，发明不限定于上述实施方式，能够达成本发明的目的的范围内的变形、改良等也包含在本发明中。例如，在上述实施方式中，对取景图像重叠缩小后的全景中途图像来显示于显示部19，但取景图像以及全景中途图像的显示方式只要是同时显示的方式即可，而不限定于此。例如，也可以将显示部19的画面分割为上下2份，在上侧和下侧中的一方的画面中显示取景图像，在另一方的画面中显示全景中途图像。像这样，通过明确地区分取景图像和全景中途图像来进行显示，从而用户能够更清晰地视觉辨识表现全景图像的形成过程的全景图像。其结果，用户能够容易且正确地视觉辨识从开始全景摄像后到现在为止的摄像的历史记录，能够以更少的摄像操作，容易且简单地得到希望的全景图像。此外，例如，全景中途图像也可以根据需要不被缩小地进行显示。此外，在本实施方式中，图像合成部52执行使用上次的生成中途图像的图像数据、和刚刚作为合成对象而取得的帧的图像数据，来在上次的生成中途图像的空白区域中重写合成对象的帧的图像合成处理，但也可以不显示空白区域而只显示全景中途图像。此外，在上述实施方式中，图像缩小部53被设置于图像合成部52的后级，但也可以设置于图像合成部52的前级。在此情况下，图像缩小部53将从图像处理部17依次提供的帧的图像数据依次缩小。因此，图像合成部52通过合成缩小后的各帧的图像数据，来生成全景中途图像的图像数据。此外，在上述实施方式中，采用了通过角速度传感器22来检测数码照相机1的角度位移的结构，但检测角度位移量的检测的手法不限定于此。例如，也可以采用通过对取景图像进行解析的图像处理来检测数码照相机1的角度位移的手法。此外，在上述实施方式中，生成图像以及全景图像采用了横长的结构，但不限定于此，也可以采用在沿着数码照相机1的移动方向的方向上较长的结构、例如纵长的结构。此外，例如，在上述实施方式中，说明了应用本发明的摄像装置构成为数码照相机1的例子。但是，本发明不限定于此，可以普遍应用于具有能够进行全景图像的摄像的摄像功能的电子设备，例如，本发明能够广泛应用于便携式计算机、便携式导航装置、便携式游戏机等。上述的一系列处理既可以通过硬件来执行，也可以通过软件来执行。在通过软件来执行一系列处理的情况下，构成该软件的程序从网络或记录介质安装到摄像装置或控制该摄像装置的计算机等中。在此，计算机可以为嵌入到专用的硬件中的计算机。或者，计算机也可以为能够通过安装各种程序，来执行各种功能的计算机，例如通用的个人计算机。含有这种程序的记录介质不仅由为了对用户提供程序而与装置本体分别配置的可移动介质31构成，而且还由在预先嵌入到装置本体中的状态下提供给用户的记录介质等构成。可移动介质31，例如，由磁盘(包括软盘)、光盘、光磁盘等构成。此外，在预先嵌入到装置本体中的状态下提供给用户的记录介质，例如，由记录有程序的R0M12或存储部 18所包含的硬盘等构成。另外，在本说明书中，记述记录在记录介质中的程序的步骤，当然包含按照其顺序按时间序列进行的处理，而且也包含不一定按时间序列来处理，而是并列或个别地执行的处理。
权利要求
1.一种摄像装置，其特征在于，具备摄像单元，其每隔规定时间对帧进行摄像；图像合成单元，其依次合成每隔规定时间通过所述摄像单元被摄像到的多个帧的图像数据中的、至少一部分图像数据；和显示控制单元，其按照在每隔规定时间通过所述摄像单元对所述帧的图像数据进行了摄像时，依次显示通过所述图像合成单元合成的图像数据的方式进行控制。
2.根据权利要求1所述的摄像装置，其特征在于，所述显示控制单元，将通过所述摄像单元被摄像到的图像数据与所述合成后的图像数据一起依次显示。
3.根据权利要求1所述的摄像装置，其特征在于，还具备第1缩小处理单元，其对每隔规定时间由所述摄像单元被摄像到的帧的图像数据分别进行缩小处理，所述图像合成单元依次合成通过所述第1缩小处理单元分别缩小后的帧的图像数据。
4.根据权利要求1所述的摄像装置，其特征在于，还具备第2缩小处理单元，其对通过所述图像合成单元依次被合成的图像数据进行缩小处理，所述显示控制单元按照显示通过所述第2缩小处理单元缩小后的图像数据的方式进行控制。
5.根据权利要求1所述的摄像装置，其特征在于，还具备取得单元，其在满足了规定条件的情况下，取得所述依次被合成的图像数据作为记录用的图像数据；和记录控制单元，其按照记录通过所述取得单元作为记录用而取得的所述依次被合成的图像数据的方式进行控制。
6.根据权利要求1所述的摄像装置，其特征在于，所述显示控制单元按照对通过所述摄像单元被摄像到的帧的图像数据重叠所述依次被合成的图像数据来进行显示的方式进行控制。
7.一种图像显示方法，由摄像装置执行，其中所述摄像装置具备每隔规定时间对帧进行摄像的摄像单元，所述图像显示方法的特征在于，包含如下步骤图像合成步骤，依次合成每隔规定时间通过所述摄像单元被摄像到的多个所述帧的图像数据中的、至少一部分图像数据；和显示控制步骤，按照在每隔规定时间通过所述摄像单元对所述帧的图像数据进行了摄像时，依次显示在所述图像合成步骤中合成的图像数据的方式进行控制。
全文摘要
本发明“摄像装置以及图像显示方法”提供一种数码照相机(1)，该数码照相机具备摄像部(16)、图像合成部(52)、和显示控制部(54)。摄像部(16)每隔规定时间对帧进行摄像。图像合成部(52)依次合成每隔规定时间通过所述摄像部(16)被摄像到的多个帧的图像数据中的、至少一部分图像数据。显示控制部(54)按照在每隔规定时间通过所述摄像部(16)对所述帧的图像数据进行了摄像时，依次显示通过所述图像合成部(52)合成的图像数据的方式进行控制。
文档编号G03B37/02GK102420938SQ20111028349
公开日2012年4月18日 申请日期2011年9月22日 优先权日2010年9月24日
发明者宫本直知, 松本康佑, 松永和久, 西坂信仪 申请人:卡西欧计算机株式会社