专利名称：照相机和照相机的摄影方法
技术领域：
本发明涉及可以进行能从多个角度观察被摄体的显示的照相机和照相机的摄影方法。
背景技术：
在专利文献1中公开了用于从多个角度对被摄体进行拍摄的机构。在该专利文献 1的机构中，可以在圆柱状的框体上固定照相机。在这种结构中，一边使框体沿着包围被摄体的圆周进行移动，一边由固定在框体上的照相机依次进行拍摄，从而可以得到被摄体的三维信息。由此，例如可以使显示在显示部上的被摄体进行旋转，从多个角度观赏被摄体。专利文献1日本特开2002-374454号公报这里，在专利文献1中，需要用于以等距离从多个方向对被摄体进行拍摄的框体。 因此，不限于可适应摄影状况进行拍摄。对此，如果用户自身以手动的方式操作照相机而从多个角度拍摄被摄体，则可以进行适应摄影状况的拍摄。但是，在这种情况下，照相机发生抖动而不能从正确的角度拍摄被摄体，可能不能得到正确的三维信息。
发明内容
本发明正是鉴于上述问题而完成的，其目的在于，提供一种不需要特别的装置即可得到被摄体的正确的三维信息的照相机。为了达到上述目的，本发明的第一方面的照相机的特征在于，该照相机具有摄影部，其在包围被摄体的多个不同位置的每一个上对所述被摄体进行拍摄而得到关于所述被摄体的多个图像；位置关系检测部，其检测在所述每一个拍摄时该照相机与所述被摄体之间的位置关系；图像校正部，其根据所述检测出的位置关系来进行校正，以使由所述摄影部得到的多个图像相互成为等价位置关系；以及显示部，其显示所述校正后的各图像。根据本发明，可以提供一种不需要特别的结构也不需要特别的装置即可得到被摄体的正确的三维信息的照相机。
图1是示出本发明的一个实施方式的照相机的结构的图。图2是示出可以由动作检测部检测的照相机的并进和旋转的图。图3是用于说明对照相机的并进方向的移动进行检测的并进移动检测部的图。图4是用于说明对照相机的旋转进行检测的旋转检测部的图。图5是示出3D摄影的概要的图。图6(a)是示出可在照相机移动时发生的与圆形轨迹的偏移的一个例子的图，图6(b)是示出可在照相机移动时发生的照相机的角度变化的一个例子的图。图7是示出3D摄影后图像校正的具体例子的图。图8是示出本发明的一个实施方式的照相机的主要动作的流程图。图9是示出图像校正处理的流程图。图10是示出被摄体的大小校正处理的流程图。图11是示出3D显示处理的流程图。图12是示出3D显示时的图像旋转的图。图13是示出本发明实施方式的变形例的图。标号说明100、照相机；101、控制部；102、操作部；103、摄影部；104、图像处理部；105、显示部；106、记录部；107、动作检测部；108、通信部；200、个人计算机(PC)
具体实施例方式以下，参照
本发明的实施方式。图1是示出本发明的一个实施方式的照相机的结构的图。图1所示的照相机100 具有控制部101、操作部102、摄影部103、图像处理部104、显示部105、记录部106、动作检测部107和通信部108。此外，照相机100通过通信部108与个人计算机(PC) 200可自由通信地连接。控制部101控制照相机100的各个部分的动作。该控制部101接受用户对操作部 102进行的操作，进行与这些操作内容相应的各种序列的控制。此外，控制部101在为了得到进行三维(3D)显示(具体情况如后所述)所需的图像而进行拍摄(以下，称为3D摄影) 时，还对作为图像校正部的图像处理部进行图像校正的指示。操作部102是用于用户对照相机100进行操作的各种操作部件。该操作部102例如包括用于用户指示照相机100执行3D摄影的操作部件、用于用户进行3D显示时的各种操作的操作部件等。摄影部103构成为具有摄影镜头、摄像元件、模拟/数字(A/D)转换部等。这种结构的摄影部103使经由摄影镜头入射的摄影光作为被摄体像在摄像元件上成像，通过光电转换将该成像后的被摄体像转换成电信号(图像信号)。并且，摄影部103通过A/D转换部对由摄像元件得到的摄像信号进行数字化而获得图像。图像处理部104对由摄影部103得到的图像进行各种图像处理。该图像处理包括白平衡校正处理和灰度校正处理等。此外，图像处理部104还具有作为图像校正部的功能， 根据由摄影部103得到的图像和照相机100的动作，对由摄影部103得到的图像进行校正以使能够进行适当的3D显示。此外，图像处理部104在后述的3D摄影时还进行用于对图像中的被摄体的动作进行检测的被摄体检测。例如能够通过检测图像中的高对比度部分来检测图像中的被摄体。显示部105显示根据控制部101的控制由图像处理部104处理后的图像以及记录在记录部106的图像。该显示部105例如由液晶显示器构成。记录部106对由图像处理部 104处理后的图像进行记录。该记录部106例如是构成为可相对于照相机100自由装卸的存储器。
具有与图像处理部104—起作为位置检测部的功能的动作检测部107，为了检测在3D摄影时摄影部103与被摄体之间的位置关系，对照相机100的动作进行检测。这里， 动作检测部107的结构不被特别限定，可以使用各种方式。在此，针对其中的一个例子进行说明。在本实施方式中，作为照相机100的动作，检测图2的箭头A所示的照相机100的并进方向的移动和图2的箭头B所示的照相机100的旋转。另外，在图2中，仅示出了一个方向的并进移动和围绕该方向的旋转，但实际上还检测包含沿着箭头A的轴和与箭头A正交的轴在内的3个轴、以及围绕每个轴的旋转。图3(a)是示出对照相机100的并进方向的移动进行检测的结构的一个例子的图。 图3(a)所示的并进移动检测部构成为具有固定在照相机100上的两个电极12 ；以及相对于电极12架设的、可随着照相机100的并进移动而移动的电极11。在图3(A)中，当照相机100在箭头A方向上移动时，电极11随着该移动而产生加速度，电极11也在箭头A方向上移动。图3(b)所示的电极11的加速度的变化可以作为电极11与电极12之间的静电电容的变化进行检测。对如图3(b)所示得到的加速度进行积分，则得到图3(c)所示的电极11的移动速度。并且，对如图3(c)所示得到的移动速度进行积分，则得到图3(d)所示的电极11的移动量，即照相机100的并进方向的移动量。由此， 可以检测在后述3D摄影时各图像的摄影位置。图4 (a)是示出用于对照相机100的旋转进行检测的结构的一个例子的图。图4 (a) 所示的旋转检测部构成为具有通过施加电压而振动的一对压电元件13。当照相机100产生如图示箭头所示的角速度时，由于科里奥利力(顺时针旋转时相对于行进方向向右90度的力，逆时针旋转时相对于行进方向向左90度的力)，正在振动的压电元件对13变形。可以通过检测由该变形而产生的电压变化来检测角速度。此外，对角速度进行积分，则如图4(b)所示得到旋转量(旋转角度)。由此，可以检测在后述3D摄影时照相机100的倾斜。回到图1，通信部108是进行照相机100与PC200之间的通信的接口电路。另夕卜， 照相机100与PC200的通信方式不特别限定，可以是使用USB电缆等的有线通信，也可以是使用无线LAN等的无线通信。PC200安装有对由照相机100拍摄到的图像等进行显示或进行编辑的软件。在由照相机100进行了 3D摄影时，将作为该3D摄影结果而得到的图像组发送到PC200，从而在 PC200上也可以进行3D显示。以下，说明3D摄影。在本实施方式的3D摄影中，用户以手动的方式使照相机100 移动，在包围被摄体的多个不同位置(角度)进行摄影。图5是示出3D摄影的概要的图。 如图5所示，用户沿着被摄体300的周围使照相机100移动。此时，照相机100的控制部 101以相等的时间间隔对摄影部103进行控制来执行连续拍摄。由此，可以从多个摄影位置 (摄影角度)来对被摄体300进行拍摄。根据用户的操作将以该多个摄影角度拍摄到的图像适当显示在显示部105上，从而可以在显示部105上使被摄体300旋转而从多个角度进行观察。另外，在图5所示的3D摄影中，可以使显示在显示部105上的被摄体300在画面内的左右方向上旋转而进行观察。这里，为了进行适当的3D显示，3D图像中使用的图像需要具有等价的位置关系。 该等价的位置关系是指(1)每个图像的摄影位置是等间隔的；( 从每个图像的摄影位置到被摄体300的距离是等距离的；以及(3)在每个摄影位置照相机100正确地朝向用户希望的方向(即被摄体300的方向)。首先，对于(1)，如果用户能够勻速地使照相机100移动，则每个图像的摄影位置是等间隔的。但是，即使例如以每2°等的预定间隔进行摄影，用户的手的移动速度保持恒定也是比较困难的，其结果，摄影间隔很可能变成1°，或者变成3°。关于这种照相机100 的移动速度的变化，如上所述可以通过并进移动检测部来进行检测。该移动速度和连续拍摄的时间间隔的乘积是摄影间隔，因此事先取得比实际上在3D显示中使用的图像的张数要多的图像，从该大量的图像中只采用摄影间隔为等间隔的图像组作为3D显示中使用的图像。接下来，对于O)，如果用户能够在包围被摄体300的圆周上正确地使照相机100 移动，则能够在各摄影位置等距离地拍摄被摄体。但是，对于手动方式的移动，使照相机100 正确地圆形移动是比较困难的。因此，例如使照相机100从图2的位置A移动到位置B时， 相对于以被摄体300为中心的圆形轨迹400产生偏移401的可能性较高。图6 (a)是示出可在照相机100移动时发生的与圆形轨迹400的偏移的一个例子的图。在3D摄影时，如果能够使照相机100追随圆形轨迹400而移动，则距离差是0。但是，使照相机100完全追随圆形轨迹400而移动是比较困难的，因此通常如图6(a)所示，照相机100与被摄体300之间的距离根据摄影位置而发生变化。当产生这样的距离差时，通过拍摄得到的图像中的被摄体的大小发生变化。即，被摄体300与照相机100之间的距离近则图像中的被摄体大，被摄体300与照相机100之间的距离远则图像中的被摄体小。另外，这种与被摄体300之间的距离变化不能在上述的动作检测部107中检测出来。因此， 在本实施方式中，根据拍摄到的图像中的被摄体的大小来检测与被摄体300之间的距离变化。当检测出图像中的被摄体的大小变化时，通过放大或缩小处理对被摄体部分的图像进行校正。并且，对于(3)，照相机100的角度变化可以通过旋转检测部进行检测。图6(b) 是示出可在照相机100移动时发生的照相机100的角度变化的一个例子的图。当使照相机 100移动时照相机100仰拍，则照相机100观察被摄体300的角度发生变化。当在3D显示中采用这种图像时，得到不能使被摄体顺利旋转的图像。因此，在3D显示中不采用这种图像。取代这种方式，将在与该图像接近的摄影位置得到的至少两张图像进行合成来生成校正图像。另外，由于用户抖动的状态或移动速度的变化，被摄体可能未配置在图像的中央， 而是偏向图像内上下左右的任意一方地配置。在这种情况下，优选通过对被摄体部分的图像进行位移，从而校正成被摄体位于图像的中央。图7是示出3D摄影后的图像校正的具体例子的图。这里，图7是示出对选择成摄影位置为等间隔的5张图像进行校正时的具体例子的图。首先，在图7(a)所示的5张图像501 505中，图像501、505的被摄体部分的大小与其他图像相同(即没有距离变化)，并且是在没有照相机100的角度变化的状态下得到的。对于这些图像，不进行校正而用作3D显示用的图像。接着，在图7 (a)所示的5张图像501 505中，图像503的被摄体部分的大小小于其他图像。这意味着在图像503的摄影时，照相机100位于比轨迹400更远的位置上。对于这种图像503，对被摄体部分进行放大，将由此得到的校正图像503a用作3D显示用的图像。此外，在图7 (a)所示的5张图像501 505中，图像502、504是检测出角度变化的图像。在这种情况下，不采用图像502而根据图像501和图像503a来生成校正图像50加， 并且不采用图像504而根据图像503a和图像505来生成校正图像50 ，将这些图像50加、 50 用作3D显示用的图像。如上所述进行校正，从而可以生成如图7(b)所示能够顺利进行3D显示的图像。以下说明可进行如上所述3D摄影的照相机的控制。图8是示出本发明的一个实施方式的照相机的主要动作的流程图。这里，本实施方式的照相机假定是也能够进行普通摄影的照相机，在图8中，对于普通摄影的控制省略了图示。当照相机100启动时，控制部101根据用户对操作部102进行的操作来判定是否指示了 3D摄影的执行(步骤S211)。在步骤S211的判定中，当指示了 3D显示的执行时，控制部101对摄影部103进行控制来执行被摄体的拍摄(步骤S212)。此外，控制部101与摄影同步地进行照相机100和图像中的被摄体的动作检测(步骤S213)。照相机100的动作可以在动作检测部107中进行检测。此外，图像中的被摄体的动作可以在图像处理部104 中进行检测。步骤S213中的动作检测结果事先与由摄影部103得到的图像关联起来。在动作检测后，控制部101判定是否检测到照相机100的角度变化(照相机100的旋转)，并且判定图像中的被摄体是否从中央起超出了允许范围以上(步骤S214)。在步骤 S214的判定中，当检测到照相机100的角度变化时或者图像中的被摄体从中央起超出了允许范围以上时，控制部101对用户通过声音或发光等进行警告(步骤S215)。通过该警告， 用户能够在3D摄影时注意到照相机100的倾斜和移动速度。另一方面，在步骤S214的判定中，当照相机100没有倾斜并且图像中的被摄体没有从中央起超出允许范围以上时，控制部101跳过步骤S215的处理。接下来，控制部101判定图像中的被摄体的大小是否发生了允许范围以上的变化 (步骤S216)。在步骤S216的判定中，当图像中的被摄体的大小发生了允许范围以上的变化时，控制部101对用户通过声音或发光等进行警告(步骤S217)。通过该警告，用户能够在3D摄影时注意到照相机100与被摄体之间的距离。另一方面，在步骤S216的判定中，图像中的被摄体的大小没有发生允许范围以上的变化时，控制部101跳过步骤S217的处理。接下来，控制部101根据用户对操作部102进行的操作来判定是否指示了结束3D 摄影(步骤S218)。在步骤S218的判定中，当没有指示结束3D显示时，处理返回步骤S212， 控制部101执行下一个摄影。即，重复摄影直到根据用户对操作部102进行的操作而指示结束3D摄影为止。另外，各摄影的时间间隔为等间隔。另一方面，在步骤S218的判定中， 当指示了结束3D显示时，控制部101进行图像校正处理，使得能够使用作为3D摄影的结果而得到的图像来进行正确的3D显示(步骤S219)。对于该图像校正处理的详细情况将在后文描述。在图像校正处理后，控制部101将通过图像校正处理得到的一系列的图像组汇集在一个文件夹中并记录到记录部106(步骤S220)，之后结束图8所示的处理。此外，在步骤S211的判定中，当没有指示执行3D显示时，控制部101通过用户对操作部102进行的操作来判定是否进行了 3D显示的指示(步骤S221)。在步骤S221的判定中，当没有进行3D显示的指示时，处理返回步骤S211。另一方面，在步骤S221的判定中，当进行了 3D显示的指示时，控制部101执行3D显示处理(步骤S22》。对于该3D显示处理将在后文描述。在3D显示处理后，控制部101通过用户对操作部102进行的操作来判定是否指示了结束3D显示(步骤S223)。在步骤S223的判定中，当没有指示结束3D显示时， 处理返回步骤S222，控制部101继续3D显示处理。另一方面，在步骤S223的判定中，当指示了结束3D显示时，控制部101结束图8的处理。接下来，说明图像校正处理。图9是示出图像校正处理的流程图。在图9中，首先， 控制部101选择基准图像。在此，例如将通过图8的3D摄影而得到的一系列图像中最先拍摄到的图像作为基准图像(步骤S301)。这里，基准图像是指作为用于进行需要3D显示的图像和不需要3D显示的图像的取舍选择的基准的图像。进行校正以使该基准图像中被摄体300与照相机100之间的距离为等间隔，并且，将基准图像作为基准以摄影位置为等间隔的方式采用图像。接下来，控制部101选择相对于基准图像离开预定摄影间隔的摄影位置的图像 (步骤S302)。然后，控制部101判定是否已对需要3D显示的全部摄影位置的图像进行了判定(步骤S303)。在步骤S303的判定中，当没有对需要3D显示的全部摄影位置的图像进行判定的情况下，控制部101在步骤S302中选择出的图像的摄影时，通过照相机100是否存在允许范围以上的角度变化来判定照相机100是否已朝向用户希望的合适的摄影方向(步骤 S304)。在步骤S304的判定中，当照相机100存在允许范围以上的角度变化时，控制部101 不采用在步骤S302中选择出的图像(步骤S305)。之后，处理返回步骤S302，控制部101 进行下一个图像的选择。另一方面，在步骤S304的判定中，当照相机100没有允许范围以上的角度变化时， 控制部101相对于基准图像中被摄体的大小，判定在步骤S302中选择出的图像中被摄体的大小的变化量是否在允许范围以上(步骤S306)。在步骤S306的判定中，当被摄体的大小的变化量在允许范围以上时，控制部101进行对在步骤S302中选择出的图像中被摄体的大小进行校正的处理(步骤S307)。这里，说明步骤S307的校正处理。图10是示出被摄体的大小校正处理的流程图。 首先，控制部101检测校正对象的图像中被摄体的高度Hl (步骤S321)。接着，控制部101 检测基准图像中被摄体的高度HO (步骤S322)。另外，也可以预先检测基准图像中被摄体的高度H0。可以通过检测Hl和HO来计算图像中被摄体的高度的变化量H1/H0。因此，控制部101通过图像处理部104将校正对象的图像中的中央部分(包含被摄体的正方形区域) 的高度和宽度分别乘以H0/H1倍来进行校正(步骤S323)。之后，返回图9继续进行说明。在步骤S303的判定中，当已对需要3D显示的全部摄影位置的图像进行了判定时，控制部101识别在选择出的图像中是否存在不采用的图像 (步骤S308)。当存在不采用的图像时，除去该不采用的图像，并且通过对包含不采用的图像前后的摄影位置的至少两张图像进行合成，生成在不采用的摄影位置上应该得到的校正图像(步骤S309)。之后，控制部101结束图9的处理。接着，说明3D显示。图11是示出3D显示处理的流程图。如上所述，照相机100 和PC 200都可进行3D显示。这里，针对在照相机100的显示部105上进行3D显示的例子进行说明，但是图11所示的流程图的处理在PC 200上进行3D显示时也适用。
在3D显示时，首先，控制部101在显示部105上显示为了 3D显示而汇集在文件夹中的图像组中的基准图像(在3D摄影时最先拍摄到的图像)(步骤S401)。之后，控制部 101根据用户对操作部102进行的操作来判定是否指示了在显示部105上使被摄体300在左右方向旋转(步骤S4(^)。在步骤S402的判定中，当没有进行旋转操作指示时，控制部 101跳出图11的处理而返回图8的处理。另一方面，在步骤S402的判定中，当进行了旋转操作指示时，如图12所示，控制部101根据用户的操作方向进行显示在显示部105上的图像的切换，以使被摄体向右方向或向左方向旋转(步骤S403)。之后，控制部101跳出图11 的处理而返回图8的处理。如以上说明的那样，根据本实施方式，能够使用通过下述方式得到的图像来进行正确的3D显示，即，用户以手动的方式使照相机100移动，从而在包围被摄体300的多个位置上进行拍摄。即，考虑在用户以手动的方式使照相机100移动时产生的照相机100的角度变化和速度变化、与被摄体300之间的相对距离的变化来对图像进行校正，从而能够得到被摄体的正确的3D信息，由此，能够进行适当的3D显示。这里，在上述例子中，通过3D摄影得到的图像的校正是在照相机100中进行的。但是，只要能执行图9所示的校正处理，例如也可以是在设置于网络上的服务器等中进行校正处理。在该情况下，需要将3D摄影时各摄影位置的照相机100的角度变化、速度变化等信息与图像相关联地记录，并与图像一起发送这些信息。此外，在上述例子中，说明了在3D摄影时只在被摄体300的周围并且相对于地表平行的方向上使照相机100移动而进行拍摄的例子。与此相对，还可以是在被摄体300的周围并且相对于地表垂直的方向上使照相机100移动而进行拍摄。这样一来，在3D显示时还能够使被摄体300在画面的上下方向上旋转。并且，在上述例子中，在3D摄影时，当照相机100发生角度变化的情况下，不将此时得到的图像用于3D显示。对此，如图13所示，可以将发生了角度变化时得到的图像502和图像504进行合成，生成在上下方向上具有动作的图像50北，从而得到除了相对于地表平行的方向以外的图像。根据以上实施方式说明了本发明，当然本发明不限于上述实施方式，可在本发明的主旨范围内进行各种变形和应用。并且，在上述实施方式中包含了各种阶段的发明，通过已公开的多个构成要件的适当组合，可提取各种发明。例如，即使从实施方式所示的全部构成要件中删除几个构成要件，也能够解决上述问题并得到上述效果的情况下，可提取删除了这些构成要件的结构作为发明。
权利要求
1.一种照相机，其具有摄影部，该摄影部对被摄体进行拍摄而得到关于所述被摄体的图像，该照相机的特征在于，该照相机具有 旋转检测部，其检测所述照相机的角度； 图像处理部，其检测图像中的被摄体的动作；以及警告部，其在所述摄影部在包围所述被摄体的多个不同位置上进行摄影时、检测到所述照相机的角度变化的情况或图像中的被摄体从中央起超出了允许范围以上的情况下，进行警告。
2.根据权利要求1所述的照相机，其特征在于，该照相机还具有控制部，在指示了执行用于使所述被摄体在左右方向上旋转而进行观察的3D摄影的情况下，该控制部控制摄影部，执行被摄体的摄影。
3.根据权利要求1所述的照相机，其特征在于， 所述警告部对用户通过声音或发光等进行警告。
4.根据权利要求1所述的照相机，其特征在于，所述照相机还具有用于使所述被摄体在左右方向上旋转而进行观察的图像校正部，所述图像校正部不采用由所述旋转检测部检测到角度变化时的图像。
5.一种照相机的摄影方法，该照相机具有摄影部，该摄影部对被摄体进行拍摄而得到关于所述被摄体的图像，该摄影方法的特征在于，该摄影方法包括 旋转检测步骤，检测所述照相机的角度； 图像处理步骤，检测图像中的被摄体的动作；以及警告步骤，在所述摄影部在包围所述被摄体的多个不同位置上进行摄影时、检测到所述照相机的角度变化的情况或图像中的被摄体从中央起超出了允许范围以上的情况下，进行警告。
6.根据权利要求5所述的照相机的摄影方法，其特征在于， 该摄影方法还包括控制步骤，在指示了执行用于使所述被摄体在左右方向上旋转而进行观察的3D摄影的情况下， 控制摄影部，执行被摄体的摄影。
7.根据权利要求5所述的照相机的摄影方法，其特征在于， 在所述警告步骤中，对用户通过声音或发光等进行警告。
8.根据权利要求5所述的照相机的摄影方法，其特征在于，该摄影方法还包括用于使所述被摄体在左右方向上旋转而进行观察的图像校正步骤， 在所述图像校正步骤中不采用在所述旋转检测步骤中检测到角度变化时的图像。
全文摘要
本发明提供照相机和照相机的摄影方法。不需要特别的结构也不需要特别的装置即可得到被摄体的正确的三维信息。该照相机具有摄影部，该摄影部对被摄体进行拍摄而得到关于所述被摄体的图像，该照相机的特征在于，该照相机具有旋转检测部，其检测所述照相机的角度；图像处理部，其检测图像中的被摄体的动作；以及警告部，其在所述摄影部在包围所述被摄体的多个不同位置上进行摄影时、检测到所述照相机的角度变化的情况或图像中的被摄体从中央起超出了允许范围以上的情况下，进行警告。
文档编号H04N13/00GK102438103SQ20111034442
公开日2012年5月2日 申请日期2009年7月30日 优先权日2008年7月31日
发明者洲脇三义, 野中修 申请人:奥林巴斯映像株式会社