专利名称：可全景摄像的摄像装置的制作方法
技术领域：
本发明涉及摄像装置、图像合成方法及记录介质，特别涉及进行全景摄像的摄像装置及图像合成方法。
背景技术：
在现有技术中，在一部分数码相机中具有拍摄全景图像的功能。在JP特开平06-303562号公报中，公开了如下技术用户在维持对快门开关进行按下操作的状态的同时，以自己的身体为轴使数码相机按照在垂直方向上大致固定且在水平方向上旋转的方式进行移动，从而在该期间内执行多次摄像处理。另外，在上述专利文献中，还公开了如下技术通过将该多次摄像处理的每一次的结果所得到的多个图像数据在横向方向(水平方向)上进行合成来生成全景图像的图像数据。
发明内容
本发明的目的在于，在进行全景摄像的情况下提高该摄像的成功率。为了达成上述目的，本发明的第1方式的特征在于，在具备每隔规定时间进行摄像的摄像单元的摄像装置中，具备图像合成单元，其通过对由所述摄像单元依次拍摄到的图像数据的至少一部分进行合成，来生成合成图像数据；和图像判断单元，其判断由所述图像摄像单元新拍摄到的图像数据作为由所述图像合成单元生成的合成图像数据的合成对象是否有效，所述图像判断单元具备控制单元，该控制单元根据由所述摄像单元最初拍摄到的图像数据和新拍摄到的所述图像数据的视角的位移量，来控制由所述图像判断单元判断所述新的图像数据作为合成对象是否有效的判断基准。此外，为了达成上述目的，本发明的第2方式的特征在于，在具备每隔规定时间进行摄像的摄像单元的摄像装置所执行的摄像方法中，具有图像合成步骤，通过对由所述摄像单元依次拍摄到的图像数据的至少一部分进行合成来生成合成图像数据；和图像判断步骤，判断由所述摄像单元新拍摄到的图像数据作为由所述图像合成步骤生成的合成图像数据的合成对象是否有效，所述图像判断步骤包含控制步骤，该控制步骤根据由所述摄像单元最初拍摄到的图像数据和新拍摄到的所述图像数据的视角的位移量来控制由所述判断步骤判断所述新的图像数据作为合成对象是否有效的判断基准。
图1是表示作为本发明涉及的摄像装置的一个实施方式的数码相机的硬件结构的框图。图2是表示图1的数码相机用于执行摄像处理的功能性结构的功能框图。图3是用于说明作为图2的数码相机的动作模式分别选择了普通摄像模式和全景摄像模式的情况下的摄像操作的图。图4是表示利用图3所示的全景摄像模式生成的全景图像的一例的图。
图5是表示选择了全景摄像模式情况下的用户进行摄像操作的样态的顶视图。图6是表示在通过图5所示的用户操作进行全景摄像的过程中，在图2的数码相机中积累保持的各图像数据所分别对应的各帧的图。图7是表示图2的数码相机所执行的摄像处理流程的一例的流程图。图8是表示图7的摄像处理中的全景摄像处理的详细流程的流程图。图9是表示图7的摄像处理中的全景摄像处理的详细流程的流程图。图10是表示图8的全景摄像处理中的图像判断处理的详细流程的流程图。
具体实施例方式下面，参照附图对本发明所涉及的实施方式进行说明。图1是表示作为本发明所涉及的摄像装置的一个实施方式的数码相机1的硬件结构的框图。数码相机1 具备CPU (Central Processing Unit) 11,ROM (Read Only Memory) 12、 RAM (Random Access Memory) 13、总线14、光学系统15、摄像部16、图像处理部17、存储部 18、显示部19、操作部20、通信部21、角速度传感器22、和驱动器23。CPUl 1按照R0M12所存储的程序或从存储部18加载到RAM13中的程序来执行各种处理。R0M12还适当地存储CPUll执行各种处理所需的数据等。例如，在本实施方式中，用于实现后述的图2的摄像控制部51至图像判断部53的各功能的程序被存储到R0M12或存储部18中。因此，CPUll按照这些程序执行处理，从而能够实现后述的图2的摄像控制部51至图像判断部53的各功能。另外，也可将后述的图2的摄像控制部51至图像判断部53的各功能中的至少一部分功能转移到图像处理部17。CPUlU ROMl2及RAM13经由总线14相互连接。该总线14还连接着光学系统15、 摄像部16、图像处理部17、存储部18、显示部19、操作部20、通信部21、角速度传感器22及驱动器23。光学系统15用于拍摄被摄体，由聚集光线的透镜例如聚焦透镜或变焦透镜等构成。聚焦透镜是使被摄体像成像于摄像部16的摄像元件的受光面上的透镜。变焦透镜是使焦点距离在一定范围内自由变化的透镜。光学系统15还根据需要而设置用于调整焦点或曝光等的外围装置。摄像部16由光电变换元件和AFE(Analog Front End)等构成。光电变换元件例如由 CCD (Charge Coupled Device)或 CMOS (Complementary Metal Oxide Semiconductor)型的光电变换元件构成。光电变换元件每隔一定时间对在该期间入射并蓄积的被摄体像的光信号进行光电变换(摄像)，并将该结果所得到的模拟电信号依次提供给 AFE。AFE对该模拟电信号实施A/D (Analog/Digital)变换处理等各种信号处理，并将该结果所得到的数字信号作为摄像部16的输出信号进行输出。另外，下面将摄像部16的输出信号称为“图像数据”。因此，从摄像部16输出图像数据并适当地提供给图像处理部17。图像处理部 17 由 DSP(Digital Signal Processor) > VRAM (Video Random AccessMemory)等构成。图像处理部17与CPUll协同工作，对从摄像部16输入的图像数据实施降噪、白平衡、手抖动校正等图像处理。这里，下面将每隔一定时间从摄像部16输入的图像数据称为“帧的图像数据”。在本实施方式中，采用该帧作为处理单位。即，图像处理部17对从摄像部16提供的帧的图像数据实施了各种图像处理之后输出。存储部18由DRAM (Dynamic Random Access Memory)等构成，暂时存储从图像处理部17输出的帧的图像数据、或后述的图像生成过程中的图像数据等。此外，存储部18也存储各种图像处理所需的各种数据等。显示部19构成为例如由LCD (Liquid Crystal Device :液晶显示装置)、LCD驱动部构成的平面显示面板。显示部19以帧为单位来显示由存储部18等提供的图像数据所表现的图像，例如后述的实时取景图像。操作部20除了快门开关41之外，虽然未图示，但是还具有电源开关、摄像模式开关、再现开关等多个开关。操作部20在这些多个开关中的规定的开关被按压操作时，将对该规定的开关分配的指令提供给CPU11。通信部21对经由包括因特网在内的网络的、与未图示的其他装置之间的通信进行控制。角速度传感器22由陀螺仪等构成，用于检测数码相机1的角度位移量，并将表示检测结果的数字信号(下面，简称为“角度位移量”)提供给CPU11。另外，角速度传感器22 具有检测地磁的方向(流向)的功能，根据需要也能发挥方位传感器的功能。在驱动器23中适当地安装由磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。并且，从可移动介质31读出的程序，根据需要被安装到存储部18中。另外，可移动介质31也能与存储部18同样地存储在存储部18中存储的图像数据等各种数据。图2是表示用于执行图1的数码相机1所执行的处理中的、将拍摄被摄体的结果所得到的摄像图像的图像数据记录到可移动介质31为止的一系列处理(下面，称为“摄像处理”)的功能性结构的功能框图。如图2所示，CPUll设有摄像控制部51、图像合成部52、和图像判断部53。另外，如上所述，摄像控制部51至图像判断部53的各功能并不需要如本实施方式那样搭载于CPU11，可将这些功能中的至少一部分转移到图像处理部17。摄像控制部51控制摄像处理的整个执行。例如，摄像控制部51能够选择性地切换普通摄像模式和全景摄像模式来数码相机1的动作模式，并执行适合切换后的动作模式的处理。当为全景摄像模式时，图像合成部52及图像判断部53在摄像控制部51的控制下进行动作。这里，为了便于理解摄像控制部51至图像判断部53，而在说明它们的功能性结构之前，适当参照图3及图4来对全景摄像模式进行详细说明。图3是用于说明作为图1的数码相机1的动作模式分别选择了普通摄像模式和全景摄像模式的情况下的摄像操作的图。详细而言，图3A是用于说明在普通摄像模式下的摄像操作的图。图:3B是用于说
5明在全景摄像模式下的摄像操作的图。在图3A及图;3B的各自中，处于数码相机1内部的图画表示包括数码相机1的被摄体在内的实际世界的样态。另外，图3B所示的纵向虚线表示数码相机1的移动方向的各位置a、b、c。数码相机1的移动方向是指用户以自己的身体为轴来改变数码相机1的摄像方向(角度)的情况下的、数码相机1的光轴移动的方向。普通摄像模式是指对与数码相机1的视角相对应的尺寸(分辨率)的图像进行摄像的情况下的动作模式。在普通摄像模式下，如图3A所示，用户在使数码相机1固定的状态下将操作部20 的快门开关41按压至下限。此外，下面将像这样将快门开关41按压至下限的操作称为“全按压操作”或者简称为“全按压”。摄像控制部51对将进行全按压操作之后立刻从图像处理部17输出的帧的图像数据作为记录对象记录到可移动介质31中为止的一系列处理的执行进行控制。下面，将像这样在普通摄像模式下通过摄像控制部51的控制而执行的一系列处理称为“普通摄像处理”。另一方面，全景摄像模式是指拍摄全景图像的情况下的动作模式。 在全景摄像模式下，如图IBB所示，用户在维持着快门开关41的全按压操作的状态下使数码相机1沿着该图中的黑色箭头方向移动。摄像控制部51在维持全按压操作的期间，控制图像合成部52等反复进行如下动作每当来自角速度传感器22的累积角度位移量达到固定值时，将在其之后立刻从图像处理部17输出的帧的图像数据暂时存储到存储部18中。另外，由角速度传感器22检测出的数码相机1的角度位移量相当于每隔规定时间由摄像部16拍摄到的图像数据的视角的位移量。即、角速度传感器22构成在每隔规定时间由摄像部16拍摄到图像数据时取得该图像数据的视角的位移量的取得单元。然后，用户通过执行解除全按压操作的操作、即手指等离开快门开关41的操作 (下面，将这种操作称为“解除操作”)，来指示全景摄像的结束。摄像控制部51控制图像合成部52等，当被指示了全景摄像结束时，通过将到此为止在存储部18中存储的多个帧的图像数据按照被存储的顺序依次在水平方向上进行合成，来生成全景图像的图像数据。之后，摄像控制部51控制图像合成部52等，将全景图像的图像数据作为记录对象记录到可移动介质31中。这样，摄像控制部51在全景摄像模式下对控制图像合成部52等生成全景图像的图像数据，并将其作为记录对象记录到可移动介质31中为止的一系列处理进行控制。下面，将像这样在全景摄像模式下通过摄像控制部51的控制而执行的一系列处理称为“全景摄像处理”。换言之，图像合成部52在摄像控制部51的控制下执行如下处理。S卩、图像合成部52每当数码相机1移动规定量时(每当角度位移量达到固定值时)，接受从摄像控制部51发出的取得指令，从图像处理部17取得1帧的图像数据，并存储到存储部18中。之后，当从摄像控制部51指示了全景摄像结束时，图像合成部52通过将到此为止在存储部18中存储的多个帧的图像数据按照被存储的顺序依次在水平方向上进行合成， 来生成全景图像的图像数据。图4表示在图3所示的全景摄像模式下由这样的图像合成部52生成的全景图像的图像数据的一例。S卩、在全景摄像模式下进行图:3B所示的摄像操作时，在摄像控制部51的控制下， 由图像合成部52生成图4所示的全景图像P3的图像数据，并记录到可移动介质31中。其中，图4的全景图像P3的图像数据是在数码相机1维持着在垂直方向上固定的状态的情况下所得到的理想数据。可是，实际上，用户很难将数码相机1在垂直方向上持续固定。特别是，当摄像范围扩大时，该困难度有逐渐增加的趋势。下面，参照图5具体说明上述问题。图5是表示选择了全景摄像模式的情况下的用户进行摄像操作的样态的俯视图。用户100例如如图5所示，在用右手臂101保持数码相机1的状态下，通过对快门开关41进行全按压操作而开始全景摄像。这里，全景摄像开始的时间点的数码相机1的光轴的方向为图5所示的实线箭头 S的方向。此时，当全景摄像开始之后，用户100以自己的身体102为旋转轴，以数码相机1 的光轴的方向成为箭头S的方向的时间点为开始点，使数码相机1沿着水平方向例如顺时针旋转。这里，假设数码相机1即便在沿着水平方向旋转的过程中其垂直方向的位置也持续固定，则可得到图4的全景图像P3那样的理想图像数据。可是，实际问题在于，对于用户100来说，将数码相机1在垂直方向上大致固定较为困难。该困难度随着摄像范围扩大、即随着数码相机1的旋转角度增大而增加。这里，作为表示全景摄像中的当前时间点的数码相机1的旋转角度的指标，而导入综合角度位移量θ。综合角度位移量θ是指，在假定数码相机1的旋转中心和身体102的旋转中心一致的情况下，在图5中箭头S的方向(全景摄像的开始时间点的数码相机1的光轴的方向)和当前时间点的数码相机1的光轴的方向所成的角度θ。在本实施方式中，如同作为图8的步骤S38的处理而说明的那样，从全景摄像的开始时间点到当前时间点，来自角速度传感器22的角度位移量的累积值作为综合角度位移量θ被采用。自全景摄像开始之后一段期间内，数码相机1的综合角度位移量θ包括在范围Dl 中。这样，在数码相机1的综合角度位移量θ包括在范围Dl中的期间内，用户100几乎不转动身体102，而通过只移动保持数码相机1的右手臂101，就能够使数码相机1沿着水平方向顺时针旋转。由此，在数码相机1的综合角度位移量θ包括在范围Dl中的期间内，数码相机1 的垂直方向的位置几乎保持固定。可是，之后若继续使数码相机1沿着水平方向顺时针旋转，则数码相机1的综合角度位移量θ包括在范围D2中。若数码相机1的综合角度位移量θ包括在范围D2中，则在此之后，用户100需要扭转身体102，使数码相机1沿着水平方向顺时针旋转。这样，当数码相机1的综合角度位移量θ包括在范围D2中时，因为用户100逐渐扭转身体102，因此保持数码相机1的右手臂101逐渐降低。由此，在数码相机1的综合角度位移量θ包括在范围D2中的期间内，数码相机1 的垂直方向的位置有逐渐向下方变化的趋势。进而，之后继续使数码相机1沿着水平方向顺时针旋转时，数码相机1的综合角度位移量θ包括在范围D3中。若数码相机1的综合角度位移量θ包括在范围D3中，则在此之后，用户100需要转动整个身体102，来使数码相机1沿着水平方向顺时针旋转。这样，当数码相机1的综合角度位移量θ包括在范围D3中时，因为用户100转动整个身体102，因此整个身体102上下振动地动作。由此，在数码相机1的综合角度位移量θ包括在范围D3中的期间内，数码相机1 的垂直方向的位置也有沿着上下方向振动地逐渐变化的趋势。另外，为了便于说明，仅仅说明了数码相机1的水平方向的旋转为顺时针的情况， 但即便是逆时针的情况也具有同样的趋势。图6表示在图5所示的范围Dl至D3中正在进行全景摄像的过程中，与从摄像部 16输出并累积保持到存储部18中的各图像数据分别对应的各帧。在图6中，帧P(k)表示自全景摄像开始之后第k个保持到存储部18中的图像数据所对应的帧。横轴表示数码相机1的综合角度位移量θ，纵轴表示数码相机1的垂直方向的位置。另外，垂直方向的位置THO ΤΗ3见后述。这里，拍摄三维空间后的结果所得到的二维像(图像)相当于该帧P (k)。因此，下面将摄入到帧P(k)中的三维空间的垂直方向的位置称为“帧P(k)的垂直方向的位置”。S卩、在垂直方向的位置较高的帧P (k)中，包含存在于三维空间较高位置处的物体等的像作为被摄体像。与此相对，在垂直方向的位置较低的帧p(k)中，包含存在于三维空间较低位置处的物体等的像作为被摄体像。帧P(I)至P(4)是在综合角度位移量θ包括在范围Dl中的时候所得到的帧。在范围Dl中，如上所述，因为数码相机1的垂直方向的位置有几乎不移动的趋势， 因此如图6所示，帧P(I)至Ρ(4)的垂直方向的位置也几乎不发生变化。帧Ρ(5)至P(i+1)是在综合角度位移量θ包括在范围D2中的时候所得到的帧。在范围D2中，如上所述，因为数码相机1的垂直方向的位置有向下方变化的趋势， 因此如图6所示，帧P (5)至P(i+1)的垂直方向的位置也向下方变化。帧P(i+2)以后的帧是在综合角度位移量θ包括在范围D3中的时候所得到的帧。在范围D3中，如上所述，因为数码相机1的垂直方向的位置有沿着上下方向振动地变化的趋势，因此如图6所示，帧P(i+》以后的垂直方向的位置也沿着上下方向振动地变化。这样，即便在一次全景摄像的范围内，根据数码相机1的综合角度位移量θ不同， 帧P(k)的垂直方向的位置的变动趋势也会不同。
因此，图2的图像判断部53在执行判断通过全景摄像而依次得到的帧的图像数据是否有效的处理之际，根据数码相机1的移动位置(综合角度位移量θ )来改变是否有效的判断基准。这里，帧P(k)的图像数据有效是指，在将截止前次所得到的帧P(I)至P(k-l)、以及作为判断对象的帧P(k)的各图像数据按照该顺序依次在水平方向上合成的情况下，作为全景图像的图像数据保持了连续性。这种情况下，作为帧P(k)的图像数据是否有效的判断方法，例如在本实施方式中采用了根据帧p(k)的垂直方向的规定位置是否在基准范围内来进行判断的判断方法。采用该垂直方向的基准范围作为判断基准的一例，在本实施方式中，该垂直方向的基准范围根据数码相机1的移动位置(综合角度位移量θ)而变化。另外，下面将这样的一系列处理称为“图像判断处理”。这里，图像判断处理本身在现有技术中有时也执行。可是，在现有技术中，却未考虑数码相机1的移动位置(综合角度位移量θ )，且判断基准固定。例如，以图6的例子来说，在现有技术中垂直方向的最上位基准位置THl及最下位基准位置THO作为判断基准一律被固定。即、在现有技术中，例如一律固定了如下判断基准在帧P(k)的垂直方向的上限位置(例如，第一行的垂直方向的位置)为最上位基准位置THl以上，帧P(k)的垂直方向的下限位置(例如，最后一行的垂直方向的位置)为最下位基准位置THO以下的情况下，帧 P(k)的图像数据有效。这种情况下，在数码相机1的综合角度位移量θ包括在范围D2中，例如得到了帧 P (5)的数据的情况下，该帧P (5)的数据被判断为无效。并且，作为由于无法得到全景图像的连续性而导致摄像失败的错误，会强制结束全景摄像。S卩、当数码相机1的综合角度位移量θ包括在范围D2中时，基于人体的特性，垂直方向的变动会变大，由此作为摄像失败的错误而强制结束全景摄像的情况变多，相应地全景摄像的成功率会下降。因此，在本实施方式中，图像判断部53根据数码相机1的综合角度位移量θ来改变判断基准，以避免因这种基于人体特性无法避免的垂直方向的变动而产生摄像失败的错误。例如，以图6的例子来说，在数码相机1的综合角度位移量θ包括在范围Dl中的情况下，图像判断部53与现有技术同样地采用了使用最上位基准位置THl及最下位基准位置THO的判断基准。另一方面，在数码相机1的综合角度位移量Θ包括在范围D2中的情况下，图像判断部53例如将最上位基准位置从范围Dl的情况下的位置THl变更为位置ΤΗ2。另外，关于最下位基准位置，既可以直接采用范围Dl的情况下的位置ΤΗ0，也可以改变范围Dl的情况下的位置THO。由此，在范围D2中，基于人体特性，垂直方向的位置具有向下方变化的趋势的帧 P(5)至P(i+1)的各图像数据被判断为有效。其结果，在数码相机1的综合角度位移量θ 包括在范围D2中的情况下，也可减少作为摄像失败的错误而强制结束全景摄像的可能性， 可持续进行全景摄像。
另外，在数码相机1的综合角度位移量θ包括在范围D3中的情况下，图像判断部 53例如将最上位基准位置从范围D2的情况下的位置ΤΗ2变更为位置ΤΗ3。此外，虽然未图示，但是图像判断部53使最下位基准位置也向提高的方向变化。由此，在范围D3中，基于人体特性，垂直方向的位置有沿着上下方向振动地变化的趋势的帧PG+幻以后的各图像数据，被判断为有效。其结果，在数码相机1的综合角度位移量θ包括在范围D3中的情况下，也可减少作为摄像失败的错误而强制结束全景摄像的可能性，可持续进行全景摄像。换言之，可知图像判断部53根据数码相机1的综合角度位移量θ来推定用户 100进行摄像操作的状态，并基于该推定结果来改变判断基准。即、在数码相机1的综合角度位移量θ包括在范围Dl中的情况下，图像判断部53 推定出用户100进行摄像操作的状态为正常状态，并基于该推定结果而采用与现有技术相同的上述判断基准。另一方面，在数码相机1的综合角度位移量θ包括在范围D2中的情况下，图像判断部53推定出用户100的摄像操作的状态为右手臂101正在降低的状态，并基于该推定结果而变更为上述的判断基准。进而，在数码相机1的综合角度位移量θ包括在范围D3中的情况下，图像判断部 53推定出用户100进行摄像操作的状态为身体102上下振动地动作的状态，并基于该推定结果而变更为上述的判断基准。图像判断部53也构成基于由角速度传感器22取得的视角的位移量来对是否合成被拍摄到的图像数据的判断基准进行控制的判断基准控制单元。另外，判断基准的变更方法并不特别限定于上述例子，可为任意的方法。其中，因为数码相机1的综合角度位移量θ越大，则基于人体特性，数码相机1的垂直方向的变动量越大的情况较多，因此优选如本实施方式那样，向扩大范围的方向、即放宽范围的方向改变判断基准。以上，参照图2至图6对应用本发明的数码相机1的功能性结构进行了说明。接下来，参照图7对具有这种功能性结构的数码相机1所执行的摄像处理进行说明。图7是表示摄像处理流程的一例的流程图。在本实施方式中，摄像处理在数码相机1的未图示的电源成为接通状态时开始。在步骤Sl中，图2的摄像控制部51执行操作检测处理及初始设定处理。操作检测处理是指检测操作部20的各开关的状态的处理。摄像控制部51通过执行操作检测处理，能够检测作为动作模式是设定了普通摄像模式还是设定了全景摄像模式。此外，作为本实施方式的初始设定处理之一，采用了设定角度位移量的固定值和作为角度位移量的最大限度的阈值(例如，360度)的处理。具体而言，角度位移量的固定值和作为角度位移量的最大限度的阈值(例如，360 度)被预先存储到图1的R0M12中，且通过从R0M12中读出并写入到RAM13中来进行设定。 另外，角度位移量的固定值被用于后述的图8的步骤S35的判断处理。另一方面，作为角度位移量的最大限度的阈值(例如，360度)被用于该图的步骤S43的判断处理。另外，在本实施方式中，如后述的图8的步骤S34、S38等所示，由角速度传感器22检测出的角度位移量被累积相加，作为该累积相加值的累积角度位移量和综合角度位移量 (两者不同之处见后述)被保存到RAM13中。因此，将这些累积角度位移量和综合角度位移量复位为0的处理，作为本实施方式的初始设定处理之一被采用。此外，累积角度位移量在后述的图8的步骤S43的判断处理中与上述阈值进行比较。另一方面，综合角度位移量在后述的图8的步骤S35的判断处理中与上述固定值进行比较。另外，作为本实施方式的初始设定处理之一，采用了将错误标志复位为0的处理。 错误标志是指，在全景摄像处理中发生了错误时被置为1的标志(参照后述的图9的步骤 S45)。在步骤S2中，摄像控制部51开始实时取景摄像处理及实时取景显示处理。S卩、摄像控制部51控制摄像部16和图像处理部17，持续进行摄像部16的摄像动作。之后，摄像控制部51使存储器(在本实施方式中为存储部18)暂时存储在持续进行摄像部16的摄像动作的期间经由该摄像部16从图像处理部17依次输出的帧的图像数据。这种由摄像控制部51进行的一系列控制处理是在此所说的“实时取景摄像处理”。此外，摄像控制部51控制未图示的显示控制部，依次读出在实时取景摄像时在存储器(在本实施方式中为存储部18)中暂时记录的各图像数据，并使显示部19依次显示与各个图像数据相对应的帧图像。这种由摄像控制部51进行的一系列控制处理是在此所说的“实时取景显示处理”。另外，下面将通过实时取景显示处理而显示于显示部19的帧图像称为“实时取景图像”。这样一来，实时取景图像被显示于显示部19。此外，在本实施方式中，在直到后述的步骤S7的普通摄像处理或步骤S8的全景摄像处理结束为止的期间内，实时取景图像持续显示于显示部19。在步骤S3中，摄像控制部51判断是否半按压了快门开关41。这里，半按压是指按压到操作部20的快门开关41的中途(未到下限的规定的位置)的操作，下面也适当地称为“半按压操作”。在未半按压快门开关41的情况下，在步骤S3中判断为“否”，处理进入到步骤S12中。在步骤S12中，摄像控制部51判断是否进行了处理的结束指示。处理的结束指示并不特别限定，在本实施方式中采用了表示数码相机1的未图示的电源成为了断开状态的通知。因此，在本实施方式中，当电源成为断开状态且将该情况通知给摄像控制部51 时，在步骤S12中判断为“是”，从而整个摄像处理结束。与之相对，在电源为接通状态的情况下，因为没有进行表示电源成为了断开状态的通知，因此在步骤S12中判断为“否”。然后，处理返回到步骤S2，并反复进行以后的处理。 即、在本实施方式中，只要电源维持接通状态，就在直到半按压开门开关41为止的期间内， 反复执行步骤S3的“否”以及步骤S12的“否”的循环处理，摄像处理成为待机状态。在该实时取景显示处理中，当半按压了快门开关41时，在步骤S3中判断为“是”， 处理进入到步骤S4。在步骤S4中，摄像控制部51控制摄像部16，执行所谓的AF (Auto Focus)处理。在步骤S5中，摄像控制部51判断是否全按压了快门开关41。
11
在未全按压快门开关41的情况下，在步骤S5中判断为“否”。这种情况下，处理返回到步骤S4，并反复进行以后的处理。即、在本实施方式中，在直到全按压快门开关41为止的期间，反复执行步骤S4及步骤S5的“否”的循环处理，且每次都执行AF处理。然后，当全按压了快门开关41时，在步骤S5中判断为“是”，处理进入到步骤S6。在步骤S6中，摄像控制部51判断当前设定的摄像模式是否为全景摄像模式。在不是全景摄像模式的情况下、即当前设定了普通摄像模式的情况下，在步骤S6 中判断为“否”，处理进入到步骤S7。在步骤S7中，摄像控制部51执行上述的普通摄像处理。S卩、在进行了全按压操作之后立刻从图像处理部17输出的1帧的图像数据作为记录对象被记录到可移动介质31中。由此，步骤S7的普通摄像处理结束，处理进入到步骤 S12。另外，因为关于步骤S12以后的处理在上面已经叙述，因此在此省略其说明。与之相对，在当前设定了全景摄像模式的情况下，在步骤S6中判断为“是”，处理进入到步骤S8。在步骤S8中，摄像控制部51执行上述的全景摄像处理。关于全景摄像处理的详细内容参照图8及图9在后面叙述，但是原则上，生成全景图像的图像数据并作为记录对象记录到可移动介质31中。由此，步骤S8的全景摄像处理结束，处理进入到步骤S9。在步骤S9中，摄像控制部51判断错误标志是否为1。关于详细内容，参照图8及图9在后面叙述，但是全景图像的图像数据作为记录对象被记录到可移动介质31中，若步骤S8的全景摄像处理正常结束，则错误标志为0。这种情况下，在步骤S9中判断为“否”，处理进入到步骤S12。另外，因为步骤S12以后的处理在上面已经叙述，因此这里省略其说明。与之相对，若在步骤S8的全景摄像处理中发生某种错误，则该全景摄像处理非正常地结束。这种情况下，错误标志变为1，因此在步骤S9中判断为“是”，处理进入到步骤 S10。在步骤S10中，摄像控制部51将错误内容显示于显示部19。关于被显示的错误内容的具体例在后面叙述。在步骤Sll中，摄像控制部51解除全景摄像模式，并将错误标志复位为0。然后，处理返回到步骤Si，反复进行以后的处理。即、摄像控制部51为用户进行下一次新的摄像操作做准备。以上，参照图7对摄像处理流程进行了说明。接下来，参照图8及图9，对图7的摄像处理中的步骤S9的全景摄像处理的详细流程进行说明。图8及图9是用于说明全景摄像处理的详细流程的流程图。如上所述，在全景摄像模式的状态下全按压快门开关41时，在图7的步骤S5及步骤S6中都判断为“是”，处理进入到步骤S8，作为全景摄像处理而执行如下处理。S卩、在图8的步骤S31中，摄像控制部51从角速度传感器22取得角度位移量。在步骤S32中，摄像控制部51判断由步骤S31的处理所取得的角度位移量是否大于0。
在用户没有移动数码相机1的状态下，角度位移量为0，因此在步骤S32中判断为 “否”，处理进入到步骤S33。在步骤S33中，摄像控制部51判断角度位移量为0的状态持续是否经过了规定时间。作为规定时间，例如可以采用比用户全按压快门开关41之后到数码相机1开始移动为止所需的时间更长的恰当时间。在未经过规定时间的情况下，在步骤S33中判断为“否”，处理返回到步骤S31，反复进行以后的处理。即、在用户未移动数码相机1的状态的持续时间比规定时间短的情况下，摄像控制部51反复执行步骤S31至步骤S33的“否”的循环处理，由此全景摄像处理处于待机状态。在该待机状态中，当用户移动数码相机1时，来自角速度传感器22的角度位移量变为比0大的值。这种情况下，在步骤S32中判断为“是”，处理进入到步骤S34。在步骤S34中，摄像控制部51通过在在此之前的累积角度位移量上加上由步骤 S31的处理所取得的角度位移量，来更新累积角度位移量(累积角度位移量=在此之前的累积角度位移量+角度位移量)。即、在RAM13中作为累积角度位移量而保存的值被更新。累积角度位移量是指像这样对角度位移量进行累积相加而得到的值，表示数码相机1的移动量。这里，在本实施方式中，每当用户使数码相机1移动固定量的时候，全景中途图像的图像数据生成用的1帧的图像数据(合成对象)就从图像处理部17提供给图像合成部 52。为了实现该动作，通过图7的步骤Sl的初始设定处理，与作为数码相机1的移动量的“固定量”相对应的累积角度位移量被作为“固定值”预先提供。S卩、在本实施方式中，每当累积角度位移量达到固定值时，1帧的图像数据(合成对象)就从图像处理部17提供给图像合成部52，并且累积角度位移量被复位为0。这样的一系列处理作为接下来的步骤S35以后的处理而被执行。S卩、在步骤S35中，摄像控制部51判断累积角度位移量是否达到了固定值。在累积角度位移量未达到固定值的情况下，在步骤S35中判断为“否”，处理返回到步骤S31，反复进行以后的处理。即、用户通过使数码相机1移动固定量，从而只要累积角度位移量未达到固定值，摄像控制部51就反复执行步骤S31至步骤S35的循环处理。然后，用户通过使数码相机1移动固定量，从而在累积角度位移量达到了固定值时，在步骤S35中判断为“是”，处理进入到步骤S36。在步骤S36中，图像合成部52在摄像控制部51的控制下从图像处理部17取得1 帧的图像数据。S卩、如果累积角度位移量达到了固定值从而处理进入到步骤S36，则摄像控制部 51向图像合成部52发出取得指令。接受到该取得指令的图像合成部52，作为步骤S36的处理而从图像处理部17取得 1帧的图像数据。在步骤S37中，摄像控制部51使由步骤S36的处理所取得的1帧的图像数据和综合角度位移量相对应地进行存储。在步骤S38中，摄像控制部51通过在在此之前的综合角度位移量上加上当前的累积角度位移量(=大致固定值)，来更新综合角度位移量(综合角度位移量=在此之前的综合角度位移量+累积角度位移量)。即、在RAM13中作为综合角度位移量而保存的值被更新。在步骤S39中，摄像控制部51将累积角度位移量复位为0。S卩、在RAM13中作为累积角度位移量而保存的值被更新为0。这样，累积角度位移量用于控制1帧的图像数据(合成对象)从图像处理部17提供给图像合成部52的时刻、即取得指令的发出时刻。由此，累积角度位移量每当达到固定值并发出取得指令的时候就被复位为0。因此，摄像控制部51即使使用累积角度位移量也无法确认从全景摄像处理开始之后到目前为止数码相机1移动到了什么位置。因此，为使摄像控制部51能够确认相机1移动到了什么位置，在本实施方式中，除了累积角度位移量之外还采用了综合角度位移量。S卩、综合角度位移量虽然是对角度位移量进行累积相加而得到的值，但却是即使达到固定量也不复位为0而在全景摄像处理结束为止的期间(详细而言，在执行后述步骤 S46的处理为止的期间)内持续累积相加的值。这样一来，在步骤S38的处理中综合角度位移量被更新，并且在步骤S39的处理中累积角度位移量被复位为0时，处理进入到步骤S40。在步骤S40中，图像判断部53执行对由步骤S36的处理所取得的帧的图像数据的有效性进行判断的图像判断处理。关于图像判断处理的详细内容参照图10在后面叙述，当判断了由步骤S36的处理所取得的帧的图像数据的有效性之后，处理进入到步骤S41。在步骤S41中，摄像控制部51判断是否进行了解除操作。在未进行解除操作的情况下、即在用户持续全按压快门开关41的情况下，在步骤 S41中判断为“否”，处理进入到步骤S42。在步骤S42中，摄像控制部51判断是否发生了图像取得的错误。关于图像取得的错误并不特别限定，例如在本实施方式中，在步骤S40的图像判断处理中判断出由步骤S36的处理所取得的帧的图像数据无效的情况被作为错误之一而采用。在步骤S40的图像判断处理中判断出由步骤S36的处理所取得的帧的图像数据有效，而且图像取得未发生错误的情况下，在步骤S42中判断为“否”，处理进入到步骤S43。在步骤S43中，摄像控制部51判断综合角度位移量是否超过了阈值。如上所述，综合角度位移量是指自全景摄像处理开始之后(进行全按压操作之后)到执行步骤S38的处理的时间点为止的角度位移量的累积相加值。这里，在本实施方式中，预先决定了在全景摄像中用户可移动数码相机1的最大移动量。通过图7的步骤Sl的初始设定处理，这种与作为数码相机1的移动量的“最大移动量”相对应的综合角度位移量被作为“阈值”预先提供。这样，在本实施方式中，综合角度位移量达到阈值意味着数码相机1移动了最大移动量。因此，在综合角度位移量未达到阈值的情况下、即在数码相机1的移动量未达到最大移动量的情况下，用户仍能够持续移动数码相机1，因此在步骤S43中判断为“否”，处理返回到步骤S31，反复进行以后的处理。S卩、若角度位移量为0的状态持续经过规定时间(数码相机1在规定时间内不移动)也作为错误的一种，则在未产生错误的状态下，只要持续进行全按压操作，就反复执行步骤S31至步骤S43的循环处理。然后，在未发生错误的状态下，进行了解除操作(在步骤S41的处理中判断为 “是”)或者数码相机1移动到了最大移动量(在步骤S43的处理中判断为“是”)的情况下， 处理进入到步骤S44。在步骤S44中，摄像控制部51通过图像合成部52生成全景图像的图像数据，并作为记录对象的图像数据记录到可移动介质31中。之后，在图9的步骤S46中，摄像控制部51将综合角度位移量复位为0。由此，全景摄像处理正常结束。S卩、图7的步骤S8的处理正常结束，在接下来的步骤S9的处理中判断为“否”。另外，关于在步骤S9的处理中判断为“否”之后的处理在上面已经叙述，因此这里省略其说明。另外，在上述一系列的处理中发生了某种错误的情况下、即在图8的步骤S33的处理中判断为“是”或者在步骤S42的处理中判断为“是”的情况下，处理进入到图9的步骤 S45。例如，在步骤S40的图像判断处理中判断出由步骤S36的处理所取得的帧的图像数据无效的情况下，在步骤S42的处理中判断为“是”，处理进入到步骤S45。在步骤S45中，摄像控制部51将错误标志置为1。这种情况下，不执行步骤S44的处理、即不记录全景图像的图像数据，全景摄像处理非正常地结束。S卩、图7的步骤S8的处理非正常地结束而在接下来的步骤S9的处理中判断为 “是”，从而在步骤SlO的处理中显示错误内容。这种情况下的错误内容的显示如上所述并不特别限定，例如也可以采用“图像取得失败”或“超时”等消息显示。上面，参照图8及图9对全景摄像处理的详细流程进行了说明。其次，参照图10对全景摄像处理中的步骤S40的图像判断处理的详细流程进行说明。图10是用于说明图像判断处理的详细流程的流程图。如上所述，在全景摄像模式的状态下全按压快门开关41时，在图7的步骤S5及步骤S6中判断为“是”，处理进入到步骤S8，作为全景摄像处理而执行如下处理。S卩、在图10的步骤S61中，图像合成部53推定在之前的图8的步骤S37的处理中存储的图像数据所对应的帧(下面，称为“判断对象的帧”)的垂直位置。这里，垂直位置的推定方法并不特别限定。例如，也可以采用基于角速度传感器22 的垂直方向的角度位移量来进行推定的方法、或基于判断对象的帧和前次取得的帧的比较结果来进行推定的方法。在步骤S62中，图像合成部53基于在之前的图8的步骤S38的处理中计算出的综合角度位移量θ来设定判断基准。
15
在步骤S63中，图像合成部53利用在步骤S62的处理中设定的判断基准，对判断对象的帧的图像数据的有效性进行判断。这样，在图10的例子的图像判断处理中，每当取得帧的图像数据(每个判断对象的帧)时，就利用基于该时间点的综合角度位移量θ所设定的判断基准，来对判断对象的帧的图像数据的有效性进行判断。因此，即便有基于人体特性而无法避免的垂直方向的变动，判断对象的帧的图像数据被判断为有效的情况也变多。这样一来，在步骤S61至步骤S63的处理中，当判断了判断对象的帧的图像数据的有效性之后，图像判断处理结束。即、图8的步骤S40的处理结束，处理进入到步骤S41。另外，关于步骤S41以后的处理在上面已经叙述，因此这里省略其说明。如以上说明，本实施方式的数码相机1具备摄像部16，该摄像部16将通过每隔规定时间进行摄像而依次得到的图像数据分别作为帧的图像数据依次输出。本实施方式的数码相机1还具备图像合成部52和图像判断部53。图像合成部52每当数码相机1移动规定量时(每当累积角度位移量成为固定值以上时)，取得从摄像部16输出的帧的图像数据并保持在存储部18等中。之后，图像合成部52通过合成到此为止累积保持的多个帧的图像数据的至少一部分，来生成合成图像的图像数据。图像判断部53每当由图像合成部52取得新的帧的图像数据时，判断新的帧作为合成对象是否有效。这里，图像判断部53根据从全景摄像的开始时间点到取得新的帧的图像数据时为止的摄像装置的移动量(在本实施方式中为综合角度位移量θ )，来设定判断基准。由此，能够进行考虑了基于人体特性而无法避免的垂直方向的变动的判断。即、随着综合角度位移量θ越大，基于人体特性，数码相机1的垂直方向的位置的变动量越大。在这种情况下，即便新的帧包括基于人体特性而无法避免的垂直方向的变动，也能够不判断为无效而是判断为有效。其结果，能够不产生不必要的错误地，持续进行全景摄像到最后。这样一来，在进行全景摄像的情况下，可提高成功率。另外，本发明并不限定于上述实施方式，本发明包括能达成本发明的目的的范围内的变形、改良等。例如，在上述实施方式中，判断基准是基于综合角度位移量θ而设定的，但该设定方法并不特别限定于此。例如，也可采用如下设定方法根据由图像判断部53进行前次判断之后到取得新的帧的图像数据为止的数码相机1的移动量来可变地设定判断基准。此外，虽然在上述实施方式中，在图像判断部53判断新的帧的图像数据的有效性时，使用了该新的帧的整个图像数据进行判断，但并不特别限定于此。例如，在生成全景图像的图像数据的情况下，图像合成部52也可以对合成对象的各帧中的一部分区域的图像数据进行修剪之后来合成。这种情况下，图像判断部53能够仅使用新的帧中的成为修剪对象的一部分区域，来判断该新的帧的有效性。这种情况下，如果采用同一判断基准，则与使用整个新的帧相比，仅使用其一部分区域来判断该新的帧的有效性的方法，更能放宽有效的判断。由此，相应地，能够不产生不必要的错误地，持续进行全景摄像直到最后。
这样一来，在进行全景摄像的情况下，能够提高该摄像的成功率。另外，判断该新的帧的有效性的一部分区域并不特别限定于修剪对象的区域，也可是任意区域。此外，在上述实施方式中，采用了由角速度传感器22来检测数码相机1的角度位移的构成，但对角度位移量进行检测的方法并不特别限定于此。例如，也可采用通过对实时取景图像进行解析的图像处理来检测图像之间的角度位移，由此来检测数码相机1的角度位移的方法。另外，在上述实施方式中，全景中途图像及全景图像采用横长结构，但是并不特别限定于此，也可采用在沿着数码相机1的移动方向的方向上变长的结构，例如纵长结构。另外，例如在上述实施方式中，以应用本发明的摄像装置构成为数码相机1的例子进行了说明。可是，本发明并不特别限定于此，能够广泛适用于具有可进行全景图像的摄像的摄像功能的电子设备，例如本发明也可广泛适用于便携式个人计算机、便携式导航装置、便携式游戏机等。上述的一系列处理既能由硬件执行，也能由软件执行。在由软件执行一系列处理的情况下，构成该软件的程序从网络或记录介质安装到摄像装置或控制该摄像装置的计算机等中。这里，计算机也可以是组装到专用硬件中的计算机。或者，计算机也可以是通过安装各种程序能够执行各种功能的计算机，例如通用个人计算机。包含这种程序的记录介质不仅由用于向用户提供程序而与装置本体分别配置的可移动介质31构成，还由在预先组装于装置本体的状态下向用户提供的记录介质等构成。 可移动介质31例如由磁盘(包括软盘)、光盘、光磁盘等构成。另外在预先组装于装置本体的状态下向用户提供的记录介质，例如由记录有程序的R0M12或存储部18中包含的硬盘等构成。另外，在本说明书中，对记录于记录介质中的程序进行记述的步骤当然包括按照其顺序在时间序列上进行的处理，而且还包括不一定在时间序列上进行处理而是并行或个别地执行的处理。
权利要求
1.一种摄像装置，其特征在于，具备摄像单元；取得单元，其在由所述摄像单元每隔规定时间拍摄到图像数据时，取得该图像数据的视角的位移量；判断基准控制单元，其基于由所述取得单元取得的视角的位移量来控制是否应该合成所拍摄到的所述图像数据的判断基准；图像判断单元，其基于由所述判断基准控制单元控制的判断基准来判断所拍摄到的所述图像数据作为合成对象是否有效；和图像合成单元，其对由所述图像判断单元判断出作为合成对象是有效的图像数据彼此进行合成。
2.根据权利要求1所述的摄像装置，其特征在于，所述判断基准控制单元按照由所述取得单元取得的视角的位移量越大则越放宽所述判断基准的方式进行控制。
3.根据权利要求1或2所述的摄像装置，其特征在于，还具备停止控制单元，该停止控制单元在由所述图像判断单元判断为所述图像数据无效的情况下停止由所述图像合成单元进行图像数据的合成。
4.根据权利要求1至3中任意一项所述的摄像装置，其特征在于，所述图像判断单元利用每隔规定时间所拍摄到的所述图像数据的一部分区域的图像数据来判断该图像数据作为合成对象是否有效。
5.根据权利要求1至4中任意一项所述的摄像装置，其特征在于，还具备角度位移量检测单元，该角度位移量检测单元检测该摄像装置本体的角度位移量，所述取得单元取得由所述角度位移量检测单元检测出的角度位移量作为所述视角的位移量。
6.一种图像合成方法，由具备摄像单元的摄像装置来执行，所述图像合成方法的特征在于，包括取得步骤，在由所述摄像单元每隔规定时间拍摄到图像数据时，取得该图像数据的视角的位移量；控制步骤，基于由所述取得步骤取得的视角的位移量来控制是否应该合成所拍摄到的所述图像数据的判断基准；图像判断步骤，基于由所述控制步骤控制的判断基准来判断所拍摄到的所述图像数据作为合成对象是否有效；和图像合成控制步骤，对由所述图像判断步骤判断出作为合成对象是有效的图像数据彼此进行合成。
全文摘要
本发明提供一种可全景摄像的摄像装置。数码相机(100)具备摄像部(16)、角速度传感器(22)、图像判断部(53)和图像合成部(52)。角速度传感器(22)，在由所述摄像单元每隔规定时间拍摄到图像数据时，取得该图像数据的视角的位移量。图像判断部(53)，基于由所述角速度传感器(22)取得的视角的位移量来控制是否合成拍摄到的所述图像数据的判断基准。此外，图像判断部(53)，基于控制的判断基准来判断拍摄到的所述图像数据作为合成对象是否有效。图像合成部(52)，对由图像判断部(53)判断为作为合成对象有效的图像数据彼此进行合成。
文档编号H04N5/225GK102420933SQ201110297319
公开日2012年4月18日 申请日期2011年9月27日 优先权日2010年9月27日
发明者宫本直知, 松本康佑 申请人:卡西欧计算机株式会社