成像设备、拍摄图像记录方法和程序的制作方法

专利名称：成像设备、拍摄图像记录方法和程序的制作方法
技术领域：
本发明涉及成像设备，更具体而言涉及能够执行用于测量到被摄 物的距离的测距处理的成像设备，并且还涉及拍摄图像记录方法和使 计算机能够执行这种拍摄图像记录方法的程序。
背景技术：
近年来，成像设备已得到广泛的使用，例如用于对诸如市区等的 被摄物成像以生成拍摄图像并记录拍摄图像的数码照相机。已经提出 了一种全景图像生成方法，用于将由这种成像设备记录的多个拍摄图
像接合为在相对宽的范围内存在的被摄物的全景图像(panoramic image )。
为了根据所提出的全景图像生成方法生成全景图像，需要从多个 拍摄图像中提取特征点，并且叠加所提取的特征点以将拍摄图像接合 为全景图像。由于需要从拍摄图像中提取出特征点，因此所提出的全 景图像生成方法产生了为提取这些特征点所需的相对大量的图像处 理负担。
还提出了另 一种全景图像生成方法，用于从摄像机拍摄的图像数 据中采样多个切片并将这些切片接合成全景图像，其中每个切片具有 恒定的垂直长度和可变的小宽度，该可变的小宽度取决于成像器运动 的速度(例如见日本专利未审查7>开No. 2000-156818，图1)。

发明内容
根据所提出的另一种全景图像生成方法，由于不需要为了接合拍 摄的图像而从拍摄图像中提取特征点，因此减轻了图像处理负担。
然而，因为必须从拍摄的图像数据中进行切片采样，因此从拍摄
5的图像数据中丢弃的数据量很大。因此，拍摄的图像数据不能有效地 被利用，并且拍摄的图像数据被记录时的处理速率容易偏低。
本发明的实施例是为了减轻生成全景图像时的图像处理负担。
根据本发明的第一实施例，提供了一种成像设备，包括被配置为 对被摄物成像以生成该被摄物的拍摄图像的成像器、被配置为计算距 被摄物的被摄物距离的被摄物距离计算部、被配置为基于当前位置和 被摄物距离给出记录拍摄图像的记录命令的拍摄图像记录命令部、以 及被配置为基于记录命令来记录拍摄图像的记录控制器。还提供了 一 种记录拍摄图像的方法和用于使计算机能够执行该方法的程序。该成 像设备、方法和程序可以计算被摄物距离并且基于当前位置和被摄物 距离来给出记录拍摄图像的记录命令。
在本发明的第一实施例中，成像设备还可包括拍摄图像记录位置 计算部，被配置为基于被摄物距离计算拍摄图像记录位置，该位置是 在记录拍摄图像之后记录由成像器生成的第二拍摄图像的位置，其中 当成像设备到达拍摄图像记录位置时，拍摄图像记录命令部可以给出 记录第二拍摄图像的记录命令。因此，可以基于被摄物距离计算拍摄 图像记录位置，并且当成像设备到达拍摄图像记录位置时，可以给出 记录第二拍摄图像的记录命令。
在本发明的第 一 实施例中，成像设备还可包括行进距离获取部， 被配置为获取成像设备在特定方向上的行进距离，其中被摄物距离计 算部可以计算距拍摄图像中包括的被摄物在特定方向上的端部的距 离，作为被摄物距离，拍摄图像记录位置计算部可以基于被摄物距离 计算特定方向上的拍摄图像记录位置，并且拍摄图像记录命令部可以 基于所获取的行进距离来确定成像设备是否已到达该拍摄图像记录 位置，并且在成像设备到达该拍摄图像记录位置的情况下给出记录第 二拍摄图像的记录命令。因此，可以获取成像设备在特定方向上的行 进距离，可以基于所获取的行进距离来确定成像设备是否到达了拍摄 图像记录位置，并且如果成像设备到达拍摄图像记录位置，则可以发 出记录第二拍摄图像的记录命令。在本发明的第一实施例中，成像设备还可包括当前位置获取部， 被配置为获取成像设备在特定方向上的当前位置，其中被摄物距离计 算部可以计算距拍摄图像中包括的被摄物在特定方向上的端部的距 离，来作为被摄物距离，拍摄图像记录位置计算部可以基于被摄物距 离计算特定方向上的拍摄图像记录位置，并且如果所获取的当前位置 到达该拍摄图像记录位置，则拍摄图像记录命令部可以给出记录第二 拍摄图像的记录命令。可以获取成像设备在特定方向上的当前位置， 并且如果所获取的当前位置到达拍摄图像记录位置，则可以给出记录 第二拍摄图像的记录命令。
在本发明的第 一 实施例中，成像设备还可包括被配置为获取当前 位置的当前位置获取部以及被配置为检测成像设备围绕其垂直轴的 角位移的角位移检测器，其中被摄物距离计算部可以计算距拍摄图像 中包括的被摄物在特定方向上的端部的距离，来作为被摄物距离，拍 摄图像记录命令部可以基于所获取的当前位置、被摄物距离和检测到 的角位移，给出在记录拍摄图像之后记录由成像器生成的第二拍摄图 像的记录命令。因此，可以获取成像设备的当前位置，可以检测成像 设备的角位移，并且可以基于所获取的当前位置和检测到的角位移来 给出记录第二拍摄图像的记录命令。
在本发明的第 一 实施例中，拍摄图像记录命令部可以使成像角恒 定，该成像角是指定拍摄图像的记录范围的角度，并且如果所获取的 当前位置到达基于被摄物距离和检测到的角位移而确定的记录第二 拍摄图像的位置，则拍摄图像记录命令部给出记录第二拍摄图像的记 录命令。因此，可以使成像角恒定，并且如果当前位置到达基于检测 到的角位移和被摄物距离确定的拍摄图像记录位置，则可以给出记录 第二拍摄图像的记录命令。
在本发明的第 一 实施例中，拍摄图像记录命令部可以使记录第二 拍摄图像的拍摄图像记录位置恒定，并且如果所获取的当前位置到达 该拍摄图像记录位置，角指定的记录范围内的第二拍摄图像的记录命令。因此，可以使拍摄 图像记录位置恒定，可以基于检测到的角位移和被摄物距离确定成像 角，并且可以给出在由成像角指定的记录范围中记录第二拍摄图像的 记录命令。
在本发明的第 一实施例中，成像设备还可包括被配置为检测成像 设备的振动的振动检测器以及被配置为基于检测到的振动来校正拍 摄图像的垂直记录范围的校正器。因此，可以检测成像设备的振动， 并且可以基于检测到的振动来校正对拍摄图像的垂直记录范围。
在本发明的第一实施例中，成像设备还可包括显示控制器，被配 置为按记录的顺序将拍摄图像显示为全景图像。因此，可以按记录顺 序将拍摄图像显示为全景图像。
根据本发明，减轻了用于生成全景图像的处理负担。


图1是根据本发明一个实施例的成像设备的功能配置的框图2A和2B是示出在根据本实施例的成像设备的液晶面板上设 置为全景成像模式时的显示画面的示意图3A和3B是示出在根据本实施例的成像设备的液晶面板上设 置为全景成像模式时的显示画面的示意图4是示出利用根据本实施例的成像设备拍摄并记录图像以生 成全景图像的方式的示意图5A和5B是示出利用根据本实施例的成像设备来记录图像以 生成全景图像的拍摄图像记录方法的示意图，该示意图还示出了利用 该拍摄图像记录方法记录的拍摄图像；
图6是示出存储在根据本实施例的成像设备的图像存储装置中 的内容的示意图7A和7B是示出根据本实施例的成像设备的液晶面板上的显 示画面的示意图8是由根据本实施例的成像设备执行的全景图像记录处理的处理序列的流程图9是修改后的根据本实施例的成像设备的功能配置的框图io是沿曲折道路运动的车辆的示意图，该车辆上运载了根据 本实施例的成像设备；
图11是根据本发明另 一 实施例的成像设备的功能配置的框图12A和12B是示出根据另一实施例的成像设备的液晶面板上 的显示画面的示意图13是示出利用根据另一实施例的成像设备来记录图像以生成 全景图像的拍摄图像记录方法的示意图14是示出利用根据另 一 实施例的成像设备来记录图像以生成 全景图像的拍摄图像记录方法的示意图15是由根据另一实施例的成像设备执行的全景图像记录处理 的处理序列的流程图16是由根据另一实施例的成像设备执行的修改后的全景图像 记录处理的处理序列的流程图17是根据本发明又一 实施例的成像设备的功能配置的框图18是示出在根据又一实施例的成像设备围绕与其光轴交叉的 水平轴振动时要执行的拍摄图像校正处理的示意图19是示出在根据又一实施例的成像设备垂直振动时要执行的 拍摄图像校正处理的示意图20是示出在根据又一实施例的成像设备沿其光轴振动时要执 行的拍摄图像校正处理的示意图21是示出由根据又一实施例的成像设备的记录控制器校正的 拍摄图像的示意图；以及
图22是由根据又一实施例的成像设备执行的修改后的全景图像 记录处理的处理序列的流程图。
具体实施例方式
图1以框图形式示出了根据本发明一个实施例的成像设备100的功能配置。
如图l所示，成像设备100包括光学系统111、成像器112、记 录控制器113、透镜121、 122、被摄物距离计算部130、拍摄图像记 录位置计算部140、计时器150、行进距离计算部160、拍摄图像记录 命令部170、用户动作接收器180、显示控制器190、图像存储装置 200和显示器300。成像设备100可以是能够执行例如测距处理的数 码照相机的形式，测距处理用于测量在要拍摄的图像中距一给定区域 的距离。
光学系统111包括用于会聚来自被摄物的光的多个透镜，包括变 焦透镜、聚焦透镜等。来自被摄物的光通过透镜和光圏(未示出)施 加于成像器112。
成像器112用来根据给定的成像参数转换从被摄物施加的光以 生成拍摄图像，并将拍摄图像输出到记录控制器113和显示控制器 190。具体而言，成像器112包括未示出的光电换能器和信号处理器。 光电换能器将通过光学系统111从被摄物施加的光信号转换为模拟图 像信号。模拟图像信号随后被信号处理器处理以进行去噪、A/D(模 数)转换，等等。处理后的数字图像信号随后被输送到记录控制器113 和显示控制器190。成像器112还执行测距处理以聚焦在要拍摄的图 像中的给定位置上。
当记录控制器113被拍摄图像记录命令部170指示记录拍摄图像 时，记录控制器113将拍摄图像记录在图像存储装置200中，该拍摄 图像是在记录控制器113被指示记录时从成像器112输出的。
当被摄物距离计算部130计算距被摄物的距离时，要使用透镜 121、 122。透镜121、 122会聚来自被摄物的光并将会聚后的光送到 被摄物距离计算部130。
基于来自被摄物的会聚光，被摄物距离计算部130计算距被摄物 的距离。被摄物距离计算部130将计算出的距被摄物的距离(被摄物 距离)提供给拍摄图像记录位置计算部140。具体而言，被摄物距离 计算部130包括分别与透镜121、 122相关联的第一传感器阵列和第二传感器阵列(未示出)。第一传感器阵列将通过透镜121从被摄物 施加的光信号转换为模拟图像信号，第二传感器阵列将通过透镜122 从被摄物施加的光信号转换为模拟图像信号。基于由第 一和第二传感 器阵列生成的模拟图像信号，被摄物距离计算部130根据三角测量测 距处理的原理计算距坤皮摄物的距离和成像设备100相对于被摄物的角 度。在本实施例中，假定被摄物距离计算部130计算在拍摄图像的右 侧距与中央区域相对应的被摄物的距离，作为被摄物距离。
基于从被摄物距离计算部130输出的被摄物距离，拍摄图像记录 位置计算部140计算拍摄图像记录位置，该位置是在记录了前一拍摄 图像之后要记录的下一拍摄图像的位置。拍摄图像记录位置计算部 140随后将计算出的拍摄图像记录位置输出到拍摄图像记录命令部 170。计算拍摄图像记录位置的处理将在后面参考图5A-B详细描述。
计时器150向行进距离计算部160提供连续的计时器值，以供行 进距离计算部160计算距离。计时器150例如每0.1秒将其计时器值 加1。
行进距离计算部160计算成像设备100已行进的距离，并将计算 出的距离输出到拍摄图像记录命令部170。具体而言，行进距离计算 部160保存由用户动作接收器180接收的速度值，并将所保存的速度 值乘以从计时器150提供的计时器值，从而计算成像设备IOO已行进 的距离。行进距离计算部160用作权利要求中的行进距离获取部的例 子。
拍摄图像记录命令部170基于从拍摄图像记录位置计算部140 输出的拍4聂图像记录位置和从行进距离计算部160输出的行进距离来 确定记录拍摄图像的定时。然后，拍摄图像记录命令部170根据所确 定的定时向记录控制器113输出记录拍摄图像的命令。确定记录拍摄 图像的定时的处理将在后面参考5详细描述。
用户动作接收器180接收由成像设备100的用户做出的用户动 作，并将根据所接收的用户动作而形成的信号输出到行进距离计算部 160、拍摄图像记录命令部170或者显示控制器190。例如，用户动作
ii接收器180包括可手工操作的构件，例如成像设备100上的快门按钮 181(如图2A、 2B和3A、 3B所示)，该快门按钮181用于开始在全 景成像模式中记录拍摄的图像，其中全景成像模式用于记录供生成全 景图像使用的拍摄图像。在本实施例中，用户动作接收器180的一部 分和显示器300被整体组合为液晶面板310(见图2A、 2B和3A、 3B )。 液晶面板310包括用于显示选择器按钮的液晶触摸面板，选择器按钮 用于选择手指等触摸的区域。
显示控制器190基于用户动作接收器180接收到的关于显示命令 的用户动作，在显示器300上显示存储在图像存储装置200中的拍摄 图像和由成像器112生成的拍摄图像。显示控制器190还在显示器300 上显示图2A、 2B和3A、 3B中所示的各种画面。
图像存储装置200存储从记录控制器113输送来的拍摄图像。图 像存储装置200还将存储的拍摄图像提供给显示控制器190。存储在 图像存储装置200中的拍摄图像是与JPEG (联合图像专家组)格式 相符的图像数据形式。图像存储装置200可包括记录介质，诸如存储 卡、光盘、磁盘、磁带等，这些记录介质可以固定或者可移动地安装 在成傳_设备100中。
显示器300显示从显示控制器190输送来的各种拍摄图像。
图2A、 2B和3A、 3B示出了显示器300 (即，液晶面板310) 上的显示画面的例子。图2A示出了液晶面板310上用于设置成像模 式和显示模式的显示模式设置画面。模式设置画面包括"全景成像模 式"设置按钮311、"全景显示模式"设置按钮312、"肖像成像模式"设 置按钮313、"风景成像模式"设置按钮314以及返回按钮315。
"全景成像模式"设置按钮311是用户触摸来设置全景成像模式 的按钮。图2B示出了当用户触摸"全景成像^t式"设置按钮311时出 现在液晶面板310上的显示画面的例子。
"全景显示模式，，设置按钮312是用户触摸来设置全景显示模式 的按钮，全景显示模式用于将记录在全景成像模式中的拍摄图像显示 为全景图像。图7A和7B示出了当用户触摸"全景显示模式"设置按钮312时出现在液晶面板310上的显示画面的例子。
"肖像成像模式"设置按钮313是用户触摸来设置肖像成像模式 的按钮，肖像成像模式是用于对肖像成像的成像模式。"风景成像模 式，，设置按钮314是用户触摸来设置风景成像模式的按钮，风景成像 模式是用于对风景成像的成像模式。显示模式设置画面可包括用于设 置其他成像模式和显示模式的设置按钮。这些设置按钮将不在下面详 细描述。
图2B示出了当用户在图2A所示的模式设置菜单画面中触摸"全 景成像模式"设置按钮311时显示在液晶面板310上的速度设置画面。 图2B中所示的速度设置画面(被用户用来设置全景成像模式中的速 度)包括"速度"选择区域321、下拉按钮322、"确认"按钮323和返 回按钮324。
"速度"选择区域321是用于选择全景成像模式中的速度的区域。 当用户想要在"速度，，选择区域321中选择速度时，用户触摸下拉按钮 322以显示包括速度列表的下拉菜单，并且随后从所显示的速度列表 中选捧一个期望速度。在图2B中，用户已选择"50 ( km/h)"。下拉 菜单可包括以5km/h间隔的速度，例如"25"、"30"、"35"、"40"、"45"、 "50，，等等。代替从下拉菜单中选择期望速度，用户可以直接向"速度" 选择区域321中输入期望速度。
"确认"按钮323是在用户已在"速度"选择区域321中选择了一个 速度之后用户触摸来进入图3A中所示的全景成像模式开始画面的按 钮。返回按钮324是用户触摸来从图2B中所示的速度设置画面改变 到图2A中所示的模式设置画面的按钮。
图3A示出了当用户在图2B所示的速度设置画面中触摸"确认" 按钮323时所显示的全景成像模式开始画面。全景成像模式开始画面 是在全景成像模式开始之前显示的画面，其包括当前设置模式显示区 域331、全景成像才莫式描述显示区域332和"返回"按钮333。这些显 示区域和按钮的显示覆盖在由成像器112生成的拍摄图像上。
当前设置模式显示区域331是一个其中显示有"全景成像模式当前被设置"的字符的区域，向用户表明全景成像^^莫式当前被设置。
全景成像模式描述显示区域332是一个其中显示有对全景成像 模式的描述的区域。对全景成像模式的描述将在后面参考图5A-B详 细描述。
"返回"按钮333是用户触摸来从图3A中所示的全景成像模式开 始画面改变到图2B中所示的速度设置画面的按钮。
图3B示出了在根据图3A所示的全景成像模式开始画面的全景 成像模式描述显示区域332中显示的描述记录了拍摄图像之后所显示 的全景成像模式结束画面。
图3B中所示的全景成像模式结束画面(它是在全景成像模式结 束时的画面)包括当前设置模式显示区域331、下一全景成像模式引 导显示区域334、"下一全景成像模式"按钮335和"取消"按钮336。 当前设置模式显示区域331与图3A中所示的当前设置模式显示区域 331相同，并且在下面将不进4亍描述。
下一全景成像模式引导显示区域334是一个在当前全景成像模 式结束时显示有关于如何执行下一全景成像模式和如何取消全景成 像模式的描述的区域。
"下一全景成像模式"按钮335是用户触摸来执行下一全景成像 模式的按钮。当用户触摸"下一全景成像模式"按钮335时，显示了图 3A中所示的全景成像模式开始画面。
"取消"按钮336是用户触摸来取消全景成^f象模式并且返回到图 2A中所示的模式设置画面的按钮。
图4是示出利用根据本实施例的成像设备100来拍摄并记录图像 以生成全景图像的方式的示意图。在图4中，在车辆400的前乘客座 中的人420手持成像设备100来通过窗户401拍4聂图像并记录拍摄图 像。车辆400能够以恒定速度运动，并且人420以垂直于车辆400所 沿的方向410的方向指引成像设备IOO的透镜IOI(表示光学系统111 和透镜121、 122)。
图5A和5B是示出利用根据本实施例的成像设备100来记录拍摄图像以生成全景图像的拍摄图像记录方法的示意图，该示意图还示
出了由拍摄图像记录方法记录的拍摄图像。图5A以示意方式示出了 车辆400上的人420使用成^f象设备100来拍摄械j聂物表面430的图像 并将拍摄图像记录为全景图像的方式。与成像设备100面对的被摄物 表面430包含表面不规则性。
在图5A中假定用于指定用来记录每个拍摄图像(这些图像用来 生成全景图像)的记录范围的角度被称为成像角，该成像角是恒定值 e,并且载有正握持成像设备100的人420的车辆400正以恒定速度 (即，在图2B所示的速度设置画面中设置的速度)运动。当在液晶 面板310上显示了图3A中所示的全景成像模式开始画面的同时快门 按钮181被按下时，成像i殳备100记录通过按下快门按钮181而拍摄 的图像。在图5A中，假定快门按钮181在拍摄图像记录位置Pj被按 下。当按钮181被按下时拍摄图像的成像范围具有其中心与被摄物表 面430在点Xw相交的左端或左边界和其中心与祐j聂物表面430在点 Xi相交的右端或右边界，并且其水平宽度被定义在点Xw、 Xj之间的 成像范围由A表示。
当快门按钮181在拍摄图像记录位置Pi被按下时，被摄物距离 计算部130计算从拍摄图像记录位置Pi到点Xj的距离Fj。基于计算 出的距离Fi和成像角e，拍摄图像记录位置计算部140根据下式(1) 计算距下一拍摄图像记录位置的距离Lj:
Lj = 2 x Fi x sin (9 + 2)... ( 1)
拍摄图像记录命令部170监视由行进距离计算部160相继计算出 的距离是否已达到由拍摄图像记录位置计算部140计算出的距离Lj。 如果由行进距离计算部160相继计算出的距离已达到由拍摄图像记录 位置计算部140计算出的距离Li,即，成像设备IOO已到达拍摄图像 记录位置Pi+1，则拍摄图像记录命令部170向记录控制器113输出记 录拍摄图像的命令。记录控制器113现在记录拍摄图像记录位置Pi+1 中的拍摄图像。拍摄图像记录位置P^处的成像范围具有其中心与被 才聂物表面430在点Xi相交的左端或左边界和其中心与被:摄物表面430在点Xw相交的右端或右边界，并且其水平宽度被定义在点Xj、 xi+1 之间的成像范围由B表示。当成像设备100已到达拍摄图像记录位置 Pi+1时，被摄物距离计算部130计算从拍摄图像记录位置Pi+1到点Xi+1 的距离Fi+1。基于计算出的距离Fw和成像角e，拍摄图像记录位置计 算部140根据上式(1)计算距下一拍摄图像记录位置的距离Li+1。随 后，以上记录拍摄图像的处理被重复，直到用户按下快门按钮181。 例如，如图5A所示，如果用户在拍摄图像记录位置&+2中记录了拍 摄图像之后按下快门按钮181，则全景成像模式结束，并且图3B中 所示的全景成像模式结束画面被显示在液晶面板310上。
图5B示出了在图5A所示的拍摄图像记录位置Pi、 Pi+1、 Pi+2中 相继记录的拍摄图像。拍摄图像431是在拍摄图像记录位置&记录的， 其中示出了成像范围"A"。拍摄图像432是在拍摄图像记录位置Pi+1 记录的，其中示出了成像范围"B"。拍摄图像433是在拍摄图像记录 位置Pi+2记录的，其中示出了成像范围"C"。记录拍摄图像431、 432、 433的处理将在后面参考图6详细描述。
图6是示出存储在根据本实施例的成像设备100的图像存储装置 200中的内容的示意图。如图6所示，图像存储装置200存储了全景 图像ID201、成像序号202和拍摄图像203。
每个全景图像ID 201表示用于标识在全景成像模式中记录的一 系列拍摄图像的标识信息。例如，表示一组拍摄图像的"#1"、 "#2"或 "弁3"被存储作为每个全景图像ID 201。具体而言， 一个ID被指派给 在显示图3A中所示的全景成像模式开始画面的同时快门按钮181被 按下之后、直到快门按钮181被再次按下为止所记录的一组拍摄图像， 在图6中，ID"W被指派给根据图5A中所示的序列记录的拍摄图像 431、 432、 433的群组。
成像序号202表示属于在全景成像模式中记录的一个群组的拍 摄图像的序列。例如，"1"至"3"被指派为给根据图5A中所示的序列 记录的各个拍摄图像431、 432、 433的成像序号202。
拍摄图像203表示在全景成像模式中记录的一连串拍摄图像。在图6中，根据图5A中所示的序列记录的拍摄图像431、 432、 433分 別由"A"、 "B"和"C"指示。
图7A和7B是示出根据本实施例的成像设备100的液晶面板310 上的显示画面的示意图。图7A示出了显示在液晶面板310上的全景 图像显示选择画面，用于将存储在图像存储装置200中的拍摄图像显 示为全景图像。全景图像显示选择画面是在图2A所示的模式设置画 面中的"全景显示模式"设置按钮312被触摸之后显示的。全景图像显 示选择画面包括全景图像选择按钮451、 452、 453和"返回"按钮454。
全景图像选择按钮451、 452、 453是用户触摸来将存储在图像存 储装置200中的拍摄图像显示为全景图像的按钮。在图7A中，在存 储在图像存储装置200中的拍摄图像中，对应于成像序号202"1"的拍 摄图像被显示。表示成像位置、成像时间等的按钮可以被显示为全景 图像选择按钮。
"返回，，按钮454是用户触摸来从图7A中所示的全景图像显示选 择画面改变到图2A中所示的模式设置画面的按钮。
图7B示出了在图7A所示的全景图像显示选择画面中的全景图 像选择按钮451被按下之后显示的全景图像显示画面。如图7B所示， 全景图像显示画面包括存储在图像存储装置200中并且对应于全景图 像选择按钮451的拍摄图像431、 432、 433，拍摄图像431、 432、 433 是根据成像序号202排列的。如果要包括在全景图像显示画面中的拍 摄图像的数目太大而不能显示在液晶面板310上，则拍摄图像可以按 减小后的尺寸显示在液晶面板310上。或者，可以在液晶面板310上 显示左右滚动按钮，并且显示的拍摄图像可以利用左或右滚动按钮向 左或向右>衮动。
全景图像显示画面还包括"返回"按钮455。"返回"按钮455是用 户触摸来从图7B中所示的全景图像显示画面改变到图7A中所示的全 景图像显示选择画面的按钮。
如上所述，为了将在全景成像模式中记录的拍摄图像显示为全景 图像，存储在图像存储装置200中的拍摄图像不必被特殊处理，而是
17可以简单地在液晶面板310上显示为全景图像。具体而言，当存储在 图像存储装置200中的拍摄图像根据它们被记录的顺序以阵列形式显 示时，它们被显示为全景图像。
下面将描述根据本实施例的成像设备100的操作。
图8是由根据本实施例的成像设备IOO执行的全景图像记录处理 的处理序列的流程图。
首先，确定全景成像模式是否被设置(步骤S901)。如果全景 成像模式已被设置，则图3A中所示的全景成像模式开始画面被显示 在液晶面板310上。如果全景成像模式未被设置(步骤S901中的否)， 则全景图像记录处理结束。
如果全景成像模式已被设置(步骤S901中的是)，则拍摄图像 记录命令部170确定成像开始按钮是否被按下(步骤S902 )。在本实 施例中，如果在图3A中所示的全景成像模式开始画面被显示在液晶 面板310上的同时快门按钮181被按下，则判断成像开始按钮被按下。
然后，成像器112生成拍摄图像(步骤S903 )。然后，拍摄图 像记录命令部170确定当前时刻是否紧接着成像开始按钮被按下的时 刻(步骤S904 )。如果当前时刻紧接着成像开始按钮被按下的时刻(步 骤S904中的是)，则拍摄图像记录命令部170向记录控制器113输 出记录拍摄图像的命令，记录控制器113在图^f象存储装置200中记录 由成像器112生成的拍摄图像(步骤S905)。然后，被摄物距离计算 部130计算到在与成像范围的右端的中心相对应的区域中所包括的被 摄物的距离(被摄物距离)(步骤S906 )。
然后，拍摄图像记录位置计算部140基于由被摄物距离计算部 130计算出的被摄物距离来计算下一拍摄图像记录位置(步骤S907)。 然后，拍摄图像记录命令部170确定成像结束按钮是否被按下(步骤 S908 )。在本实施例中，如果在全景图像被记录的同时快门按钮181 被按下，则判断成像结束按钮被按下。如果成像结束按钮被按下(步 骤S卯8中的是)，则全景图像记录处理结束。
如果成像结束按钮未被按下(步骤S908中的否)，则控制返回到步骤S卯3，重复全景图像记录处理(步骤S卯3至S910)。
如果当前时刻并不紧接着成像开始按钮被按下的时刻(步骤 S904中的否)，则行进距离计算部160计算从前一拍摄图像记录位置 到当前位置的距离(步骤S909 )。然后，拍摄图像记录命令部170 确定由行进距离计算部160计算出的当前行进距离是否已到达由拍摄 图像记录位置计算部140计算出的下一拍摄图像记录位置(步骤 S910)。如果当前行进距离已到达下一拍摄图像记录位置(步骤S910 中的是)，则拍摄图像记录命令部170向记录控制器113输出记录拍 摄图像的命令，记录控制器113在图像存储装置200中记录由成像器 112生成的拍摄图像(步骤S905 )。如果当前行进距离还未到达下一 拍摄图像记录位置(步骤S910中的否)，则控制进行到步骤S908。
根据以上处理序列，用户手工输入速度值，并且行进距离计算部 160基于所输入的速度值来计算当前行进距离。然而，行进距离计算 部160可以基于来自加速度传感器的加速度值来计算当前行进距离。 如果速度值可以从诸如车辆等的运动装置(该装置使成像设备100运 动)获取，则行进距离计算部160可以利用从运动装置获取的速度值 来计算当前行进距离。此外，如果行进距离可以从诸如车辆等的运动
装置(该装置使成像设备100运动)获取，则从运动装置获取的行进 距离可以直接使用。例如，用于使成像设备100运动的车辆可以具有 用于输出速度或行进距离的输出端，并且成像设备IOO可以从输出端 获取速度或行进距离。
根据以上处理序列，记录拍摄图像的定时是基于当前行进距离确 定的。然而，记录拍摄图像的定时可以基于成像设备IOO的当前位置 确定。例如，如图9所示，成像设备IOO的当前位置可以从GPS (全 球定位系统)获取。
图9是根据本实施例的修改后的成像设备102的功能配置的框 图。成像设备102是对图1中所示的成像设备100的修改。成像设备 102包括GPS信号处理器460和拍摄图像记录命令部470，来替代图 1中所示的计时器150、行进距离计算部160和拍摄图像记录命令部170。成像设备102中与图1中所示的成像设备100相同的那些部分 将不在下面详细描述。下面将主要描述成像设备102中与成像设备100 不同的那些部分的细节。
如图9所示，GPS信号处理器460基于从GPS接收天线(未示 出)接收的GPS信号来计算位置信息，并将计算出的位置信息输出 到拍摄图像记录命令部470。计算出的位置信息包括关于成像设备102 的当前位置的数据，例如纬度、经度、高度等。GPS信号处理器460 用作权利要求中的当前位置获取部的例子。
拍摄图像记录命令部470基于从拍摄图像记录位置计算部140 输出的拍摄图像记录位置和从GPS信号处理器460输出的当前位置 信息来确定记录拍摄图像的定时。具体而言，当由从GPS信号处理 器460输出的位置信息表示的成像设备102的当前位置已到达从拍摄 图像记录位置计算部140输出的拍摄图像记录位置时，拍摄图像记录 命令部470确定这是记录拍摄图像的定时。
在图9中，GPS信号处理器460用作当前位置获取部。然而， 用于从无线LAN(局域网)获取位置信息的位置获取部可以用作当前 位置获取部。如果用户不手工输入速度值，则图2B中所示的速度设 置画面可以省略。
图10示出了沿曲折道路480运动的车辆490，车辆490上载有 根据本实施例的成像设备100。成像设备100拍摄与图5A中所示的 被摄物表面430相同的被摄物表面430的图像。
在图1至9中，在成像设备100直线运动时，成像设备100相继 记录包括被摄物的拍摄图像，拍摄方向面向与成像设备100运动所沿 的直线方向垂直的方向。在图10中，由于成像设备100被放置在沿 曲折道路480运动的车辆490上，因此成像设备100的光轴根据曲折 道路480的曲率而变。因此，由成像设备IOO产生的相继拍摄的图像 可能具有易于彼此重叠的左端和右端，并且/或者被摄物表面430可能 有一部分落在相继拍摄的图像外，从而所生成的全景图像可能失真。
20覆盖被摄物的拍摄图像的处理。
图11是根据本发明另 一个实施例的成像设备500的功能配置的 框图。成像设备500与图1中所示的成像设备IOO的不同之处在于其 包括记录控制器540、 GPS信号处理器510、陀螺传感器520和拍摄 图像记录命令部530,来代替记录控制器113、计时器150、行进距离 计算部160和拍摄图像记录命令部170。成像设备500没有图1中所 示的拍摄图像记录位置计算部140。成像设备500中与图1中所示的 成像设备IOO相同的那些部分将不在下面详细描述。下面将主要描述 成像设备500中与成像设备100不同的那些部分的细节。
被摄物距离计算部130将计算出的被摄物距离提供给拍摄图像 记录命令部530。
GPS信号处理器510基于从GPS接收天线(未示出)接收的 GPS信号来计算位置信息，并将计算出的位置信息输出到拍摄图像记 录命令部530。计算出的位置信息包括关于成像设备500的当前位置 的数据，例如绵度、经度、高度等。GPS信号处理器510用作权利要 求中的当前位置获取部的例子。
陀螺传感器520包括用于检测相对于彼此垂直的三个轴的角速 度的角速度传感器。陀螺传感器520将检测到的角速度输出到拍摄图 像记录命令部530。
拍摄图像记录命令部530基于从被摄物距离计算部130输出的被 摄物距离、从GPS信号处理器510输出的位置信息和从陀螺传感器 520输出的角速度来确定记录拍摄图像的定时。拍摄图像记录命令部 530根据所确定的定时向记录控制器540输出记录拍摄图像的命令。 确定记录拍摄图像的定时的处理将在后面参考图14详细描述。
当记录控制器540被拍摄图像记录命令部530命令记录拍摄图像 时，记录控制器540在图像存储装置200中记录在记录控制器540被 命令记录时从成像器112输出的拍摄图像。记录拍摄图像的处理将在 后面参考图14详细描述。
图12A和12B是示出根据另一个实施例的成像设备510的液晶面板310上的显示画面的图形。图12A示出了当用户在图2A所示的 速度设置画面中触摸"全景成像模式"设置按钮311时所显示的全景成 像模式开始画面。在本实施例中，图2B中所示的速度设置画面不被 显示。
图12A中所示的全景成像模式开始画面(它是在全景成像模式 开始之前显示的画面)包括当前设置模式显示区域331、全景成像模 式描述显示区域552和"返回"按钮333。这些显示区域和按钮被显示 覆盖在由成像器112生成的拍摄图像上。当前设置模式显示区域331 和"返回"按钮333与图3A中所示的相同，下面将不会详细描述。图 12B示出了全景成像模式结束画面。图12B中所示的全景成像模式结 束画面与图3B中所示的全景成像模式结束画面相同，下面将不会详 细描述。
全景成像模式描述显示区域552是一个显示有对全景成像模式 的描述的区域。在本实施例中，用户不需要手工输入速度值，并且成 像设备500并不直线运动。全景成像模式描述显示区域552与图3A 中所示的全景成像模式描述显示区域332的不同之处在于它没有关于 设定速度和车辆直线运动的语句。
图13和14示出了利用成像设备500记录拍摄图像以生成全景图 像的拍摄图像记录方法。图13以平面示意图示出了沿曲折道路600 运动的车辆610上的人使用成像设备500来拍摄被摄物表面620的图 像并将拍摄图像记录为全景图像的方式。面向成像设备500的被摄物 表面620包含表面不规则性。在图14中，道路600和车辆610未被 图示。
在图14中假定在记录拍摄图像记录位置Pi处用于指定拍摄图像 的记录范围的角度被称为成像角0i-"并且运载成像设备500的车辆 610正沿曲折道路运动。当在图12A中所示的全景成像模式开始画面 被显示的同时快门按钮181被按下时，成像设备500记录通过按下快 门按钮181而拍摄的图像。在图14中，假定快门按钮181在拍摄图 像记录位置Pi被按下。当按钮181被按下时拍摄图像的成像范围具有其中心与被摄物表面620在点X"相交的左端或左边界和其中心与被 摄物表面620在点Xi相交的右端或右边界，并且水平宽度被定义在点 Xw 、 Xi之间的成像范围用作第 一拍摄图像的成像范围。
假定下一拍摄图像记录位置由Pw表示，从拍摄图像记录位置 Pi到拍摄图像记录位置Pw的距离由Li表示，并且在拍摄图像记录位 置Pw处的成像角由6i表示。在拍摄图像记录位置Pw处的成像范围 具有其中心与被摄物表面620在点Xj相交的左端或左边界和其中心与 #1才聂物表面620在点Xw相交的右端或右边界，并且水平宽度纟皮定义 在点Xi、 Xw之间的成像范围用作第二拍摄图像的成像范围。
从拍摄图像记录位置Pj开始并在拍摄图像记录位置P^结束的 线段被称为具有长度Li的向量Li。从拍摄图像记录位置Pi开始并在 点Xi结束的线段被称为具有长度Fi的向量Fi。从拍摄图像记录位置 P^开始并在点Xi结束的线段被称为具有长度Ri的向量Rj。这些向 量根据下式(2)彼此相关
向量Fj-向量L「向量Ri …(2)
下面将针对xy平面坐标系描述这些向量，该xy平面坐标系具有 在拍摄图像记录位置Pi处的原点(O，O)、在与向量Fj对齐的方向上 延伸的y轴、以及在垂直于向量Fi的方向上延伸的x轴。在xy平面
坐标系上，假定在向量Lj和向量Fi之间形成的角度由cpi表示，并且 在拍摄图像记录位置Pi+1处的成像设备500的光轴和向量Fj之间形成 的角度由M/i表示。在拍摄图像记录位置Pi+1处的向量Ri和y轴之间形 成的角度由— (e"2)表示。
将这样在xy平面坐标系上定义的值代入式(2)中，下面的式(3) 得到满足
(0， Fj) — (LiSincpi， Ljcoscpi)=(國RiSin((9i/2)國vj/j)， RiCos((9i/2) - \^)) ...(3) 长度Lj可以基于从GPS信号处理器510输出的当前位置信息来 计算。角度cpi、 Vi可以由从陀螺传感器520输出的角速度来计算。长 度Fj可以由从被摄物距离计算部130输出的被摄物距离指定。在式(3 ) 中，长度Ri是未知的。通过利用关于x坐标的式子和关于y坐标的式子来从式(3)中消除长度Ri，下面的式(4)得到满足
LjSin(pi x cos(V|/i - (9乂2)) + (Fj國LjCos(pi) x sin(\|/i — (9"2)) = 0 …(4) 拍摄图像记录命令部530利用满足式(4)的距离Li和成像角0i 来确定记录拍摄图像的定时。由于式U)包括两个变量Li、 0i，因此 这些变量中的一个需要在确定记录拍摄图像的定时时是恒定的。如果 从前一拍摄图像记录位置Pj到下一拍摄图像记录位置Pw的距离Lj 是恒定的(Lw = Li)，则当当前位置已到达由恒定距离Lj表示的位 置时，拍摄图像记录命令部530将成像角6i设置为满足式(4)的值。 拍摄图像记录命令部530向记录控制器540输出记录拍摄图像的命 令，并且还输出所设置的成像角0i。如果成像角0i是恒定的(= 0i)， 则当当前位置已到达由满足式(4)的距离Lj表示的位置时，拍摄图 像记录命令部530向记录控制器540输出记录拍摄图像的命令，并且
还输出恒定的成像角6i。在后续的拍摄图像记录位置Pi+2、 Pw...处记
录拍摄图像的定时可以类似地确定。
如果成像设备500直线运动，则6i = e，化=n/2 - e/2，并且vi/i =
-6/2。通过将这些值代入式(4)中，式(4)变得等于式(1)。因此， 图14中所示的例子可适用于成像设备500直线运动的情形。
下面将参考图15描述根据本实施例的成像设备500的操作。 图15是由根据本实施例的成像设备500执行的全景图像记录处 理的处理序列的流程图。作为对图8中所示的处理序列的修改，图15 中所示的处理序列包括与图8中所示相同的步骤S901至S906、S908， 并且还包括根据本实施例的S921、 S922、 S923。那些相同步骤将不在 下面详细描述。根据图15中所示的处理序列，假定成像角是恒定的。 如果当前时刻不紧接在成像开始按钮被按下的时刻之后(步骤 S904中的否)，则拍摄图像记录命令部530基于从被摄物距离计算部 130输出的被摄物距离、从GPS信号处理器510输出的位置信息以及 从陀螺传感器520输出的角速度，来确定当前位置是否已到达满足式 (4)的位置。如果当前位置已到达满足式(4)的位置(步骤S921 中的是)，则控制进行到步骤S905。如果当前位置还未到达满足式(4 )的位置(步骤S921中的否)， 则GPS信号处理器510获取位置信息(步骤S922 )，并且陀螺传感 器520获取角速度(步骤S923 )。
图16是由根据本实施例的成像设备500执行的另一种全景图像 记录处理的处理序列的流程图。作为对图15中所示的处理序列的修 改，图16中所示的处理序列包括与图15中所示相同的步骤S901至 S904、 S卯6、 S908、 S922、 S923，并且还包括4艮据本实施例的S931、 S932、 S933。那些相同步骤将不在下面详细描述。根据图16中所示 的处理序列，假定从前一拍摄图像记录位置到下一拍摄图像记录位置 的距离是恒定的。
如果当前时刻不紧接在成像开始按钮被按下的时刻之后(步骤 S904中的否)，则拍摄图像记录命令部530基于从GPS信号处理器 510输出的位置信息来确定当前位置是否已到达由恒定距离表示的位 置。如果当前位置已到达由恒定距离表示的位置(步骤S931中的是)， 则拍摄图像记录命令部530基于从被摄物距离计算部130输出的被摄 物距离和从陀螺传感器520输出的角速度来设置满足式(4)的成像 角(步骤S932)。然后，记录控制器540基于所设置的成像角来确定 对拍摄图像的记录范围，并且将所确定的记录范围中的拍摄图像记录 在图像存储装置200中(步骤S933 )。如果当前时刻紧接在成像开始 按钮被按下的时刻之后(步骤S904中的是)，则记录控制器540基 于所设置的成像角来确定对拍摄图像的记录范围，并且将所确定的记 录范围中的拍摄图像记录在图像存储装置200中(步骤S933)。如果 当前位置还未到达由恒定距离表示的位置(步骤S931中的否)，则
控制进行到步骤S922。
如果车辆被用作使成像设备(该成像设备记录拍摄图像以生成全
景图像)运动的运动装置，则由于车辆运动的道路上的表面不规则性， 车辆易于垂直振动。另外，成像设备在被用户手持时可能沿其光轴振 动。下面将描述针对成像设备的振动或微小运动校正拍摄图像以生成 适当的全景图像的处理。
25图17是根据本发明另一个实施例的成像设备700的功能配置的 框图。作为对图11中所示的成像设备500的修改，成像设备700与 成像设备500的不同之处在于它包括记录控制器730来取代记录控制 器540，并且还具有加速度传感器710。成像设备700中与图11所示 的成像设备500相同的那些部分将不在下面详细描述。下面将主要描 述成像设备700中与成像设备500不同的那些部分的细节。
陀螺传感器520将检测到的角速度输出到拍摄图像记录命令部 530和记录控制器730。陀螺传感器520用作权利要求中的振动检测 器的例子。
加速度传感器710包括用于检测沿彼此正交的三个轴的加速度 (每单位时间的速度改变)的加速度传感器。加速度传感器710将检 测到的加速度输出到记录控制器730。加速度传感器710用作权利要 求中的振动检测器的例子。
当记录控制器730被拍摄图像记录命令部530命令记录拍摄图像 时，记录控制器730将在记录控制器730被命令记录时从成像器112 输出的拍摄图像记录在图像存储装置200中。当要记录拍摄图像时， 记录控制器730基于从陀螺传感器520输出的角速度和从加速度传感 器710输出的加速度来校正拍摄图像，并且将校正后的拍摄图像记录 在图像存储装置200中。下面将参考图18至21描述校正拍摄图像的 处理的细节。记录控制器730用作权利要求中的校正器的例子。
首先，下面将参考图18详细描述成像设备700围绕与其光轴交 叉的水平轴转动或振荡的拍摄图像校正处理。在图18至20中，成像 设备700使其右侧面对观看者，并且被摄物表面800是诸如山腰之类 的倾斜表面。
图18是示出在成像设备700围绕与其光轴交叉的水平轴转动或 振荡时要执行的拍摄图像校正处理的示意图。在图18中，假定拍摄 图像被以成像角co记录，成像角co小于表示可成像范围的视角Q。转动 之前的成像设备700由虚线表示，并且转动之后的成像设备700由实 线表示。被摄物表面800上的某一点(从成像设备700直到该点的距离被测量)被称为测距点。在成像设备700转动之后不执行拍摄图像 校正处理的情况下所预测的测距点由Si指示。
当成像设备700在由箭头810指示的方向上转动经过角度"时， 记录控制器730在抵消角度ti的方向上校正拍摄图像。角度ri可以被陀 螺传感器520检测。换句话说，即使当成像设备700在由箭头810指 示的方向上转动经过角度Ti时，通过利用校正角Ti校正拍摄图像，也可 以在与成像设备700转动之前一样的垂直记录范围中记录拍摄图像。
下面将参考图19详细描述成像设备700垂直运动时的拍摄图像 校正处理。
图19是示出在成像设备700垂直运动或振荡时要执行的拍摄图 像校正处理的示意图。在图19中，假定拍摄图像被以成像角(D记录。 运动之前的成〗象设备700由虚线表示，并且运动之后的成係^殳备700 由实线表示。成像设备700运动之前的测距点由S"指示。在成像设 备700运动之后但不执行拍摄图像校正处理的情况下所预测的测距点 由Sj指示。
如图19所示，成像设备700向下运动距离h，从位置Pw运动到 位置Pi。为了校正垂直偏移，通过基于测距点Sw校正垂直偏移，可 以确定校正角。
假定在成像设备700运动之前的位置Pw处相对于测距点Sw的 垂直角y"是预设的。在成像设备700运动之前的位置Pw处的被摄物 距离d由成像器112确定。距离h可以由加速度传感器710检测。 从测距点Sw平行于光轴延伸的直线与穿过位置Pw的垂直直线相交 的点由Qw表示。直线SwQ"和直线Q"Pi由下面的式(5) 、 (6) 确定
Si'iQi-i = fi-i x sinyw …(5 )
QwP广h + Q"P" = h-fw x cos^... ( 6 ) 由于对于三角形SwQwPi满足tan(n-Yi)-SwQw/QwPi，因此角 度yi由下式确定
yi = II - tan"(S"Qi—i/Q"Pi)=IT画taiT {(fw x siir/i—J/(h - ^ x cosyw)} 利用这样确定的角度yi，校正角T!根据下式(7)来确定
=IT - tan,(fi" x sinyw)/(h - x cosy")} -... ( 7 )
通过利用这样确定的校正角"校正拍摄图像，可以在与成像设备
700运动之前一样的垂直记录范围中记录拍摄图像。
下面将描述成像设备700沿其光轴轻微运动时的拍摄图像校正处理。
图20是示出在成像设备700沿其光轴运动或振荡时要执行的拍 摄图像校正处理的示意图。在图20中，假定成像设备700以成像角 cow记录拍摄图像。运动之前的成像设备700由虛线表示，并且运动 之后的成像设备700由实线表示。成像设备700的测距点由Sw表示。 在该拍摄图像校正处理中，校正角是利用近似公式计算的。
如图20所示，成像设备700沿光轴从位置Pw到位置Pi运动距 离L。为了校正沿光轴的偏移，通过基于测距点Sw校正沿光轴的偏 移，可以确定校正角。
假定成像设备700运动之前的位置Pw与测距点S"之间的连线 相对于光轴的角度Sw是预设的。在成像设备700运动之前的位置 处的被摄物距离d由成像器112确定。从测距点Sm向下延伸的直幾 与沿光轴延伸并且穿过位置P"、 Pi的直线相交的点由T"表示。三角 形SmTw Pj相对于5i满足下面的式(8):
tan5j = fw x sin5w + (f^ x cos5i—i - …(8 )
如果被摄物表面800的梯度接近垂直并且(Oi的改变(Aro = i -①w)和Si的改变是足够小的值，则下面的近似公式得 到满足
①i = coj—i x (5i/5j.i)
利用以上近似公式，在成1象设备700移动之后成像设备700的成 像角Q)i根据下式(9)来计算
C0i = cow x [tan-1{fi—i x sin5"i + (fui x cos5j—丄画... ( 9 )通过利用这样确定的成像角COi校正拍摄图像，可以在与成像设备
700移动之前一样的垂直记录范围中记录拍摄图像。
上面已参考图18至20描述了三种拍摄图像校正处理。这些拍摄 图像校正处理可以同时执行，并且可以与其他拍摄图像校正处理相组 合，或者其他拍摄图像校正处理可以被执行来针对成像设备700的振 动或微小运动校正拍摄图像。
图21是示出要由成像设备700的记录控制器730校正的拍摄图 像的示意图。在图21中，全景图像是利用相继记录的三幅拍摄图像 生成的。记录控制器730在小于可成像范围831的记录范围841中记 录第一拍摄图像。在下一拍摄图像记录位置中，成像设备700向下运 动，如图19所示。记录控制器730随后使由通常成像角指定的记录 范围852在可成像范围832中移动一校正距离H12，并且在记录范围 842中记录拍摄图像。在下一拍摄图像记录位置中，成像设备700向 上运动。记录控制器730随后使由通常成像角指定的记录范围853在 可成^f象范围833中移动一校正距离H13，并且在记录范围843中记录 拍摄图像。
即使当向成像设备700施加振动时，成像设备700也可以根据以 上校正处理校正拍摄图像，以在拍摄图像的上端和下端处对准区域的 接合点。
下面将参考图22描述根据本实施例的成像设备700的操作。 图22是由成像设备700执行的全景图像记录处理的处理序列的 流程图。作为对图15中所示的处理序列的修改，图22中所示的处理 序列包括与图15中所示相同的步骤S901至S906、S908、S921至S923， 并且还包括根据本实施例的步骤S941。那些相同步骤将不在下面详细 描述。
如果当前时刻紧接在成像开始按钮被按下的时刻之后(步骤 S904中的是)，或者当前位置已到达满足式(4)的位置(步骤S921 中的是)，则拍摄图像记录命令部530向记录控制器730输出记录拍 摄图像的命令。记录控制器730基于从陀螺传感器520输出的角速度
29和从加速度传感器710输出的加速度来校正由成像器112生成的拍摄 图像(步骤S941)。然后，记录控制器730在图像存储装置200中记 录校正后的拍摄图像(步骤S905)。
如上所述，根据本发明的实施例，为了生成全景图像，相继记录 没有重叠区域的拍摄图像，而无需诸如修剪之类的图像处理。因此， 可以快速地记录全景图像，而无需任何特殊的图像处理。由于全景图 像是利用所有记录的拍摄图像显示的，因此防止了图像数据的浪费。 此外，如果一系列拍摄图像要显示为全景图像，则它们可以简单地通 过按记录顺序来显示而被显示为全景图像。因此，可以简单地显示全 景图像，而无需任何特殊的图像处理。因而减轻了记录和显示全景图 像的处理负担。小尺寸数码照相机、蜂窝电话等可以生成全景图像， 而无需任何装置来执行特殊的图像处理。如果在图像存储装置200中 被记录为全景图像的拍摄图像例如要由个人计算机来显示，则个人计 算机可以简单地显示全景图像，而无需任何装置来执行特殊的图像处 理。
在本发明的实施例中，车辆被描述为用于使成像设备运动的运动 装置。然而，成像设备可以通过诸如火车等的运动装置来运动。或者， 成像设备可以通过诸如在无线控制下的无线电操控车等的运动装置 来运动。
在本发明的某些实施例中，成像设备利用GPS信号处理器作为 当前位置获取部。相反，GPS信息可以从运载成像设备的车辆所带的 车载导航系统等获取。陀螺传感器被用作用于检测成像设备的角位移 的设备。然而，诸如地磁传感器之类的传感器也可用作这种设备。
在本发明的实施例中，被摄物距离由被摄物距离计算部130根据 三角测量测距处理的原理来计算。如果成像设备运动的速度足够低， 则被摄物距离可以根据AF (自动聚焦)测距处理来测量。具体而言， 为了记录拍摄图像，成像设备根据AF处理被聚焦在拍摄图像的中心 位置，并且紧挨着拍摄图像被记录之前或之后，根据AF处理来计算 用于计算拍摄图像记录位置的被摄物距离。本发明的原理可适用于诸如可携式摄像机(相机和记录器)、具 有成像器的蜂窝电话等的成像设备。
尽管已示出并详细描述了本发明的某些优选实施例，但是应当理 解，可以进行各种改变和修改，而不脱离权利要求的范围。
根据本发明实施例的每种处理序列可以实现为用于执行该处理 序列的方法、用于使计算机能够执行该处理序列的程序、或者存储这
种程序的记录介质。记录介质可包括CD (致密盘)、MD (迷你盘)、 DVD (数字多功能盘)、存储卡、蓝光光盘(Blu-ray Disc，注册商
标)，等等。
本申请包含与在2008年4月10日向日本专利局提交的日本在先 专利申请JP 2008-102942中公开的内容有关的主题，该申请的全部内 容通过引用结合于此。
权利要求
1.一种成像设备，包括成像器，被配置为对被摄物成像以生成该被摄物的拍摄图像；被摄物距离计算部，被配置为计算距所述被摄物的被摄物距离；拍摄图像记录命令部，被配置为基于当前位置和所述被摄物距离给出记录所述拍摄图像的记录命令；以及记录控制器，被配置为基于所述记录命令来记录所述拍摄图像。
2. 如权利要求1所述的成像设备，还包括拍摄图像记录位置计算部，被配置为基于所述被摄物距离计算拍 摄图像记录位置，该位置是在记录所述拍摄图像之后记录由所述成像 器生成的第二拍摄图像的位置；其中当所述成像设备到达所述拍摄图像记录位置时，所述拍摄图 像记录命令部给出记录第二拍摄图像的记录命令。
3. 如权利要求2所述的成像设备，还包括行进距离获取部，被配置为获取所述成像设备在特定方向上的行 进距离，其中所述被摄物距离计算部计算距所述拍摄图像中包括的被摄物在 所述特定方向上的端部的距离，作为所述被摄物距离，所述拍摄图像记录位置计算部基于所述被摄物距离计算所述特 定方向上的所述拍摄图像记录位置，并且所述拍摄图像记录命令部基于所获取的行进距离来确定所述成 像设备是否到达所述拍摄图像记录位置，并且在所述成像设备到达所 述拍摄图像记录位置的情况下给出记录第二拍摄图像的记录命令。
4. 如权利要求2所述的成像设备，还包括 当前位置获取部，被配置为获取所述成像设备在特定方向上的当前位置，其中所述被摄物距离计算部计算距所述拍摄图像中包括的被摄物在 所述特定方向上的端部的距离，作为所述被摄物距离，所述拍摄图像记录位置计算部基于所述被摄物距离计算所述特 定方向上的所述拍摄图像记录位置，并且如果所获取的当前位置到达所述拍摄图像记录位置，则所述拍摄 图像记录命令部给出记录第二拍摄图像的记录命令。
5. 如权利要求l所述的成像设备，还包括 当前位置获取部，被配置为获取所述当前位置；以及角位移检测器，被配置为检测所述成像设备围绕其垂直轴的角位 移，其中所述被摄物距离计算部计算距所述拍摄图像中包括的被摄物在 特定方向上的端部的距离，作为所述被摄物距离，所述拍摄图像记录命令部基于所获取的当前位置和检测到的角 位移，给出在记录所述拍摄图像之后记录由所述成像器生成的第二拍 摄图像的记录命令。
6. 如权利要求5所述的成像设备，其中所述拍摄图像记录命令 部使成像角恒定，该成像角是指定拍摄图像的记录范围的角度，并且 如果所获取的当前位置到达基于所述被摄物距离和检测到的角位移 确定的记录所述第二拍摄图像的位置，则所述拍摄图像记录命令部给 出记录第二拍摄图像的记录命令。
7. 如权利要求5所述的成像设备，其中所述拍摄图像记录命令 部使记录所述第二拍摄图像的拍摄图像记录位置恒定，并且如果所获 取的当前位置到达所述拍摄图像记录位置，则基于所述被摄物距离和 检测到的角位移确定用于指定拍摄图像的记录角度的成像角，并且给 出在由所确定的成像角指定的记录范围中记录第二拍摄图像的记录命令。
8. 如权利要求1所述的成像设备，还包括 振动检测器，被配置为检测所述成像设备的振动；以及 校正器，被配置为基于检测到的振动来校正拍摄图像的垂直记录范围。
9. 如权利要求1所述的成像设备，还包括显示控制器，被配置为按记录的顺序将拍摄图像显示为全景图像。
10. —种记录拍摄图像的方法，包括以下步骤 对被摄物成像以生成该被摄物的拍摄图像；计算距所述被摄物的被摄物距离；基于所述被摄物距离给出记录所述拍摄图像的记录命令；以及 基于所述记录命令来记录所述拍摄图像。
11. 一种用于使计算机能够执行包括以下步骤的处理序列的程序对被摄物成像以生成该被摄物的拍摄图像； 计算距所述被摄物的被摄物距离；基于所述被摄物距离给出记录所述拍摄图像的记录命令；以及 基于所述记录命令来记录所述拍摄图像。
全文摘要
本发明公开了一种成像设备、拍摄图像记录方法和程序。该成像设备包括被配置为对被摄物成像以生成其拍摄图像的成像器、被配置为计算距被摄物的被摄物距离的被摄物距离计算部、被配置为基于当前位置和被摄物距离给出记录拍摄图像的记录命令的拍摄图像记录命令部、以及被配置为基于记录命令来记录拍摄图像的记录控制器。
文档编号G01C3/32GK101557471SQ200910133050
公开日2009年10月14日 申请日期2009年4月2日 优先权日2008年4月10日
发明者小林大善 申请人:索尼株式会社