专利名称：测量装置、测量方法、程序以及计算机可读介质的制作方法
测量装置、测量方法、程序以及计算机可读介质技术领域[OOOl]本发明涉及测量装置、测量方法、程序以及计算机可读介质。本发明尤其涉及用于对测量对象的三维位置执行测量的测量装置、测量方法、 程序以及计算机可读介质。
背景技术：
在利用安装在移动设备上的单眼摄像机来执行物体的三维位置测 量的情况下，通过推算单眼摄像机的运动以及检测图像中物体的移动来计算 所述三维位置。物体的三维位置的测量精度受到摄像机的运动推算的精度以 及图像中的移动检测精度二者的影响。
已知-一种具有控制视角以使图像中物体的尺寸变得恒定的自动视 角控制功能的摄像装置(参见公开号为9-135380的日本专利申请 (JP-A-9画135380))。
然而，需要利用具有广视角的图像来提高运动推算的精度，同时 需要利用扩大对象物体的影像的窄视角图像来提高移动检测精度。在公开号 为9-135380的日本专利申请(JP-A-9-135380)中所描述的技术中，控制视角 以使图像中物体的尺寸保持恒定。因此，即使在物体位于远处的情况下也能 够提高图像中的移动检测精度。然而，在这种情况下，视角变窄，使得运动 推算的精度劣化。因此，不能充分地提高三维位置的测量精度。发明内容
本发明提供了能够对测量对象的三维位置执行高精度测量的测量 装置、方法、程序以及计算机可读介质。
根据第一方案或示例的一种测量装置，包括摄像部，其安装在 移动设备中，所述摄像部输出以第一视角拍摄的并且包含测量对象的多个图 像以及以比所述第一视角小的第二视角拍摄的并且包含所述测量对象的多个 图像；检索部，其从由所述摄像部以所述第二视角拍摄的至少两个图像中，7检索出各为所述测量对象上的特征点并且在所述至少两个图像之间相对应的 点；位置/姿势计算部，其基于由所述摄像部以所述第一视角拍摄的多个图像，计算在对所述多个图像的各次拍摄时所述摄像部的位置及姿势的相对关系；位置/姿势推算部，其基于由所述位置/姿势计算部计算出的所述位置及姿势 的相对关系，推算在以所述第二视角拍摄所述至少两个图像时所述摄像部的位置及姿势的相对关系；以及位置测量部，其基于检索出的所述点以及由所 述位置/姿势推算部推算出的所述位置及姿势的相对关系，测量由所述检索部 检索出的所述点的三维位置。
根据本发明的第二方案或示例的一种程序或计算机可读介质为一 种包括计算机可执行代码的程序或计算机可读介质，其使得计算机从由摄像部输出的至少两个图像中，检索出各为测量对象上的特征点并且在所述至 少两个图像之间相对应的点，所述摄像部安装在移动设备中，并输出以第一 视角拍摄的并且包含所述测量对象的多个图像以及以比所述第一视角小的第二视角拍摄的并且包含所述测量对象的多个图像；基于由所述摄像部以所述 第一视角拍摄的多个图像，计算在对所述多个图像的各次拍摄时所述摄像部 的位置及姿势的相对关系；基于计算出的所述位置及姿势的相对关系，推算 在以所述第二视角拍摄所述至少两个图像时所述摄像部的位置及姿势的相对 关系；以及基于检索出的所述点以及推算出的所述位置及姿势的相对关系， 测量通过所述检索而检索出的所述点的三维位置。
根据本发明的第三方案或示例的一种用于包括安装在移动设备中 的摄像部的测量方法，该方法包括输出由所述摄像部以第一视角拍摄的并 且包含测量对象的多个图像，以及输出由所述摄像部以比所述第一视角小的 第二视角拍摄的并且包含所述测量对象的多个图像；从由所述摄像部以所述 第二视角拍摄的至少两个图像中，检索出各为所述测量对象上的特征点并且 在所述至少两个图像之间相对应的点；基于由所述摄像部以所述第一视角拍 摄的多个图像，计算在对所述多个图像的各次拍摄时所述摄像部的位置及姿 势的相对关系；基于计算出的所述位置及姿势的相对关系，推算在以所述第 二视角拍摄所述至少两个图像时所述摄像部的位置及姿势的相对关系；以及 基于检索出的所述点以及推算出的所述位置及姿势的相对关系，测量检索出 的所述点的三维位置。
根据上述第一、第二和第三方案或示例，从以相对窄的第二视角 拍摄的图像中，检索出测量对象上的特征点的对应点，并且从以相对广的第 一视角拍摄的图像中，推算摄像部的位置及姿势的相对关系，从而能够提高 摄像部的运动推算的精度以及测量对象上的对应点的检测精度。因此，能够 高精度地测量出测量对象的三维坐标。在上述方案或示例中，所述摄像部可以在从所述第一视角和所述 第二视角中的一个视角切换到所述第一视角和所述第二视角中的另一个视角 的同时连续地拍摄所述测量对象。根据所述构造，以相对广的第一视角拍摄 的图像和以相对窄的第二视角拍摄的图像均能够经由一个摄像部而获得。此外，所述摄像部可以交替地以所述第一视角拍摄和以所述第二 视角拍摄。在上述方案或示例中，所述位置/姿势计算部可以从由所述摄像部 以所述第--视角拍摄的两个图像中检索出作为特征点并且在所述两个图像之 间相对应的至少八组点，并且可以基于检索出的所述至少八组点来计算在对 所述两个图像的各次拍摄时的所述摄像部的位置及姿势的相对关系。此外， 所述位置及姿势的相对关系可以包括位移量和转动量。因此，基于在所述两 个图像之间相对应的所述至少八组点，能够以良好的精度计算出位置及姿势 的相对关系。在上述方案或示例中，所述至少八组点中的每一组可以在移动方 面与其它至少七组点不同。此外，将要对于不在以所述第二视角拍摄的任一图像中而是在以 所述第一视角拍摄的图像中的点测量三维位置，并且所述位置测量部可以从 以所述第一视角拍摄的且已由所述位置/姿势计算部检索出相对应的点的所 述两个图像中检索出作为特征点并且在所述两个图像之间相对应的点，并且 所述位置测量部可以基于检索出的所述点以及由所述位置/姿势计算部计算 出的所述位置及姿势之间的相对关系来测量检索出的所述点的三维位置。根 据所述构造，还能够测量出仅出现在具有第一视角的图像中的特征点的三维 位置。因此，能够在广角视野中测量出测量对象的三维位置。在上述方案或示例中，所述位置及姿势的相对关系可以包括三个 轴向上的位移量和关于三个轴的转动量。
在上述方案或示例中，所述检索部可以从由所述摄像部以所述第 二视角拍摄的第一图像和由所述摄像部在拍摄所述第一图像之后以所述第二 视角拍摄的第二图像中，检索出各为所述测量对象上的特征点并且在所述第 一图像和所述第二图像之间相对应的点。所述位置/姿势计算部可以计算三个 轴向上的第一位移量和关于三个轴的第一转动量，所述第一位移量和所述第 一转动量表示在由所述摄像部拍摄所述第一图像之前以所述第一视角拍摄 第三图像时所述摄像部的位置及姿势与在由所述摄像部拍摄所述第一图像与 拍摄所述第二图像之间以所述第一视角拍摄第四图像时所述摄像部的位置及 姿势之间的相对关系。所述位置/姿势计算部可以计算所述三个轴向上的第二 位移量和关于所述三个轴的第二转动量，所述第二位移量和所述第二转动量 表示在拍摄所述第四图像时所述摄像部的位置及姿势与在由所述摄像部拍 摄所述第二图像之后以所述第一视角拍摄第五图像时所述摄像部的位置及姿 势之间的相对关系。基于由所述位置/姿势计算部计算出的所述第一位移量、 所述第二位移量、所述第一转动量以及所述第二转动量，所述位置/姿势推算 部可以推算第三位移量和第三转动量，所述第三位移量和所述第三转动量表 示在拍摄所述第一图像时所述摄像部的位置及姿势与在拍摄所述第二图像 时所述摄像部的位置及姿势之间的相对关系。根据所述构造，基于根据在拍 摄具有窄的第二视角的图像之前和之后拍摄的具有较广的第一视角的图像所 计算出的位移量和转动量，能够以良好的精度推算出在拍摄具有窄的第二视 角的图像时摄像部的位移量和转动量。在上述构造或示例中，所述位置/姿势计算部可以从所述第三图像 和所述第四图像中检索出作为特征点并且在所述第三图像和所述第四图像之 间相对应的至少八组点，并且可以基于检索出的所述至少八组点来计算所述 第一位移量和所述第一转动量，所述第一位移量和所述第一转动量表示在 拍摄所述第三图像和所述第四图像时所述摄像部的位置及姿势之间的相对关 系，并且所述位置/姿势计算部可以从所述第四图像和所述第五图像中检索出 作为特征点并且在所述第四图像和所述第五图像之间相对应的至少八组点， 并且可以基于检索出的所述至少八组点来计算所述第二位移量和所述第二转 动量，所述第二位移量和所述第二转动量表示在拍摄所述第四图像和所述 第五图像时所述摄像部的位置及姿势之间的相对关系。根据上述构造，基于在第三图像和第四图像之间相对应的至少八组点以及在第四图像和第五图像 之间相对应的至少八组点，能够以良好的精度计算出位移量和转动量。根据上述构造或示例，所述位置测量部可以连续地测量所述三维 位置。而且，所述测量装置可以进一步包括视角确定部，其确定所述第二 视角，使得先前测量出的所述三维位置距所述移动设备的距离越远，所述视 角越小。根据上述构造，能够提高从以窄的第二视角拍摄的图像中检索出的 测量对象上的对应点的检测精度。在上述方案或示例中，所述测量装置可以进一步包括速度测量 部，其测量所述移动设备的移动速度；以及摄像控制部，其控制所述摄像部，
使得由所述速度测量部测量出的所述移动速度越低，所述摄像部的拍摄间隔 越长。根据所述构造，可合适地使从图像中检索出的对应点的移动变大。因 此，能够提高关于摄像部的运动推算的精度。在上述构造中，所述位置测量部可以连续地测量所述三维位置。 而且，所述测量装置可以进一步包括摄像控制部，其控制所述摄像部，使
得先前测量出的所述三维位置距所述移动设备的距离越远，所述摄像部的拍 摄间隔越长。根据所述构造，可合适地使从图像中检索出的对应点的移动变 大。因此，能够提高关于摄像部的运动推算的精度。如上所述，根据本发明的测量装置、测量方法、程序以及计算机
可读介质，从以窄的第二视角拍摄的图像中检索出测量对象上的特征点的对 应点，并且从以广的第一视角拍摄的图像中推算摄像部的位置及姿势的相对 关系，从而能够提高摄像部的运动推算的精度以及测量对象上的对应点的检 测精度。因此，能够高精度地测量出测量对象的三维坐标。应当可以清楚地看出，本发明能够提供多个有益特征和益处。应 当理解的是，在实践本发明的方面，能够将一个实施例构造为包括此处所公 开的实施例中的一个或多个特征或者益处，而非包括全部特征或益处。因此， 应当理解的是，特别是由于能够形成各种实施例以实践不包括所公开示例的 每一个特征的本发明，因此，本文所讨论的优选实施例被作为示例而并非解 释为限制。
通过结合附图对优选实施例的下列描述，本发明的上述和进一步 的目的、特征和优点将变得明显，其中，相似的附图标记用于表示相似的元 件，并且其中
图1为示出了根据本发明的第一实施例的测量装置的方框图2为示出了在本发明的第一实施例中当在窄视角与广视角之间切换视 角的同时连续地拍摄图像的状态的概念图3为用于图示在本发明的第一实施例中表示位置/姿势的变化的平移 向量和转动矩阵的图表；
图4为示出了根据本发明的第一实施例的测量装置中的测量处理程序的 流程图5为示出了根据本发明的第二实施例的测量装置的方框图；以及 图6为示出了根据本发明的第二实施例的测量装置中的测量处理程序的 流程图。
具体实施例方式以下将结合附图来详细地描述本发明的实施例或示例。如图1所示，根据一个实施例或示例的测量装置10包括摄像装 置12，其安装在车辆(未示出)中，并且通过在改变视角的同时拍摄测量对 象来生成图像；速度测量部14，其测量车辆的行驶速度；以及计算机16，其 存储了用于基于从摄像装置12获得的图像来实现测量测量对象的三维坐标 的测量处理程序的测量程序。所述测量程序包括计算机可执行代码，并且能 够被存储在诸如光盘、磁盘、ROM、 RAM等的计算机可读介质上或中。摄像装置12包括摄像部18，其由单眼摄像机构成，拍摄测量对 象并且生成图像的图像信号；A/D转换部20，其对由摄像部18生成的图像 信号进行A/D转换；图像存储器22，其用于暂时地存储经A/D转换的图像 信号；视角控制部24，其通过改变变焦放大倍率来控制视角；以及摄像控制 部26，其基于拍摄间隔来控制摄像正时，并且根据摄像正时来控制由视角控 制部24所执行的改变视角的正时。存储在计算机16中的测量程序包括计算机可执行程序代码，实施 为特征点提取部30，其从由摄像装置12获得的每个图像中，提取图像中 易于追踪的多个特征点；对应点检索部32，其从由特征点提取部30获得的两个图像的特征点中，检索出在所述两个图像之间相对应的对应点；运动计
算部34，其使用由对应点检索部32获得的对应点处的图像的图像坐标作为 输入，计算出从摄像装置12拍摄已经检索出对应点的图像中的一个图像时摄 像装置12的位置/姿势(用作基准位置姿势)到摄像装置12拍摄已经检索出 对应点的图像中的另一个图像时摄像装置12的位置/姿势的变化(也就是说， 计算两者之间的位置/姿势的相对关系)，作为摄像装置12在X、 Y和Z轴上 运动的位移量和关于X、 Y和Z轴的转动量；运动内插部36，其基于由运动 计算部34计算出的位移量和转动量，通过线性内插法，对从摄像装置12拍 摄已经检索出对应点的图像中的所述一个图像的时刻到摄像装置12拍摄已 经检索出对应点的图像中的所述另一个图像的时刻摄像装置12的位移量和 转动量进行内插；三维坐标测量部38，其测量测量对象的三维坐标；以及输 出部40，其输出来自三维坐标测量部38的结果。所述测量程序进一步包括拍摄间隔确定部42，其基于由速度测 量部14测量出的行驶速度，确定摄像装置12的拍摄间隔；以及视角确定部 44，其基于先前由三维坐标测量部38测量出的测量对象的三维坐标，确定摄 像装置12的视角。如图2所示，摄像装置12通过经由视角控制部24在广视角与窄 视角之间切换视角，来交替地拍摄具有广视角的图像和具有窄视角的图像。 而且，通过摄像控制部26，拍摄间隔时间t得到了控制，从而以拍摄间隔时 间t的间隔来连续地拍摄图像。计算机16的拍摄间隔确定部42确定这样的时间作为拍摄间隔 所述时间使得具有广视角的图像之间的对应点在图像中的移动量的预测值的 平均值或最大值变得大于或等于临界值。例如，下面将考虑在图2中的时刻
t2拍摄广角图像时的拍摄间隔的确定。这时，利用由速度测量部14测量出的行驶速度。假设从速度测量 部14推算出的在从时刻to到时刻t2 (参见图2)的时间量2t期间车辆的三维 位移量为(mx, my, mz)。在拍摄广角图像时所使用的摄像部18的校准矩阵K 由以下等式(1)来定义<formula>formula see original document page 14</formula>在以上等式中，f;为摄像部18在X方向上的焦距，fy为摄像部18 在Y方向上的焦距，而(Cu,Cv)为图像中心。顺便提及，定义图像中的图像 坐标由与X方向相对应的U方向上的坐标u和与Y方向相对应的V方向上 的坐标v来表示。然后，如果利用以下等式(2)来表示在时刻to时三维坐标测量为 (x，y,z)的对应点在时刻t2时在图像中的图像坐标，则通过利用以下等式(3) 来计算所述图像坐标。
<formula>formula see original document page 14</formula> ... (2)
<formula>formula see original document page 14</formula> ... (3)
其中
<formula>formula see original document page 14</formula>
(4)如果对应点在时刻to时的图像坐标为(u,v)，则通过以下等式(5) 来表示移动量的预测值
<formula>formula see original document page 14</formula>…(5)因此，求出三维位移量(mx，my，mz)，使得由等式(5)所表示的移 动量的预测值的平均值或最大值变得大于或等于临界值，然后，根据三维位移量和从速度测量部14获得的行驶速度来确定拍摄间隔时间t。因此，确定 拍摄间隔时间t，使得车辆的行驶速度越低，则拍摄间隔变得越长。而且，基于经由三维坐标测量部38在先前的测量正时获得的对应 点的三维坐标的分布，视角确定部44确定窄视角，使得三维坐标距车辆的距 离越远则视角变得越窄。例如，当通过上述方法来确定拍摄间隔时间t时， 设定焦距使得存在于车辆前方附近的图像中的测量对象上的对应点的移动量 的预测值的平均值或最大值变得大于或等于临界值。然后，基于设定的焦距 来确定窄视角。另外，关于广视角，能够将该角度确定为摄像部18所能够设 定的最大视角。特征点提取部30从由摄像装置12获得的、在不同的时刻以相同 视角拍摄的两个图像中分别提取特征点。所述特征点是指可与周围的点区别 开的并且使得不同图像之间的对应关系容易被发现的点。通过使用检测具有 对比密度的斜率的二维放大值的像素的方法(例如，Harris算子等)来自动 地提取所述特征点。在利用Harris算子的方法中，如下所述地提取特征点。 首先，用I(u,v)来表示图像中的点(u，v)的亮度，在等式(6)中计算矩阵M。在等式(6)中，Iu、 Iv分别表示水平方向上的微分和垂直方向上 的微分，而G。表示用标准偏差o通过Gauss分布进行的平滑。然后，利用在等式(6)中计算出的矩阵M的本征值人l、 X2，在 以下等式(7)中计算角强度(corner strength)。
A .义2 — A:. (A +义2)2 …(7)在等式中，k是预先设定的常数，并且其值通常为0.04至0.06。 在利用Harris算子的方法中，选择角强度比临界值大且为最大值的点，并且 提取所选择的点作为特征点。关于由特征点提取部30从两个图像中的每一个中提取出的特征 点，对应点检索部32使所述两个图像之间的特征点关联，从而检索出在两个 对象之间相对应的对应点。在两个图像之间的特征点的关联中，在特征点的周围设定小区域，并且选择其周围的小区域具有相似的亮度分布的一组特征 点，并且所选择的该组点被确定为对应点。对于两个特征点是否彼此相似的 判定，适于利用诸如SSD (差值的平方和)等的值。关于由特征点提取部30从两个广角图像中的每一个中提取出的特 征点，例如，对应点检索部32检索出在两个广角图像之间相对应的至少八组 对应点。通过由对应点检索部32获得的两个广角图像中的至少八组对应点 的图像坐标，运动计算部34计算在拍摄两个广角图像的时刻之间摄像装置 12的位置及姿势的变化(在X、 Y和Z轴方向上的位移量和关于X、 Y和Z 轴方向上的转动量)。如图3所示，位置/姿势的变化为由从第一图像到第二 图像的转动矩阵R (关于X轴的转动量、关于Y轴的转动量，以及关于Z 轴的转动量)和平移向量(在X轴方向上的位移量tx、在Y轴方向上的位移 量ty，以及在Z轴方向上的位移量t》这六个元素组成的运动。顺便提及， 转动矩阵R和平移向量t元素为表示两个图像之间的图像坐标变换的物理量。将对用于从第一图像到第二图像的转动矩阵R的计算方法以及用 于平移向量t的计算方法进行描述。关于第一图像中的n个对应点的图像坐 标Ii以及第二图像中的n个对应点的图像坐标V (n2 8)，如果对应点正确 且没有误差，则存在满足以下等式(8)的3x3矩阵F。<formula>formula see original document page 16</formula>(8)在等式中，Ii = (Ui,Vi, 1)T，Ii^(Ui，,Vi，， 1)T，而第二图像中的与第
一图像中的图像坐标(Ui, Vi)相对应的点的图像坐标为(Ui',Vi')。这里应当注意到的是，满足等式(8)的矩阵F具有恒定倍数的不 定性。具体地，如果Fs满足等式(8)，则oiFs也满足等式(8)(其中，(x为 实数)。因此，矩阵F可以表示为以下等式(9):<formula>formula see original document page 16</formula>」...(9)通过等式(8)和(9)，以下等式(10)成立。
<formula>formula see original document page 17</formula>
(10)这里应当注意到的是，如果存在八组或八组以上的对应点Ii、 V， 则可以通过等式(10)获得至少八个等式，从而可以求出八个变量fn到&。 顺便提及，由于所获得的八个等式需要彼此独立，所以即使在包含误差时也 能够执行稳定的计算，因此，优选的是，检索出与其它组对应点进行尽可能 不相同移动的一组特征点。如果能够如上所述地计算出矩阵F，或者已知摄像部18的校准矩 阵K，则能够通过以下等式(11)和以下等式(12)计算出转动矩阵R和平 移向量t。
F4lL'...(11)关于在拍摄两个图像的时刻之间的期间(在该期间由运动计算部 34计算出位置/姿势的变化)所拍摄的图像，运动内插部36通过对经由运动 计算部34获得的位置/姿势的变化进行线性内插来求出摄像装置12的位置/ 姿势的变化(转动矩阵和平移向量)。例如，通过对由关于图2中的时刻t0 和时刻t2的广角图像计算出的转动矩阵所表示的平移向量和转动量进行线性 内插，计算由t,时刻的窄角图像相对于时刻to的广角图像的转动矩阵所表示
的平移向量和转动量。而且，通过对关于时刻t2和t4时的广角图像计算出的
平移向量和转动矩阵进行线性内插，计算时刻t3的窄角图像相对于时刻t2的 广角图像的平移向量和转动矩阵。然后，基于时刻t,、 13时的窄角图像的转
动矩阵和平移向量，计算时刻t,的窄角图像与时刻t3的窄角图像之间的转动
矩阵和平移向量。通过利用由对应点检索部32获得的两个窄角图像之间的对应点的 图像坐标以及由运动内插部36获得的两个窄角图像之间的转动矩阵和平移
17向量，三维坐标测量部38计算测量对象上的对应点的三维坐标。能够通过以 下方法来计算对应点的三维坐标。首先，在如下情况下，在以下等式(13)和(14)中定义了矩阵P、
P，两个窄角图像的对应点的图像坐标为(U，V)和(U，，V，)，窄角图像之间的转
动矩阵为R，其间的平移向量为t，并且摄像部18的校准矩阵为K。
<formula>formula see original document page 18</formula>然后，如果pi、 p'i为矩阵P、 P'中的第一行的向: 为等式(15)的解的对应点的三维坐标X二(x，y,z， 1)T。
1 = 0 ... (15)
其中
<formula>formula see original document page 18</formula>
接下来，将对根据本实施例或示例的测量装置10的操作进行描述。 将结合以下示例进行下列描述在装备有测量装置10的车辆正在行驶的同 时，测量测量对象的三维坐标。首先，当摄像装置12指向测量对象并且摄像装置12开始连续地 拍摄测量对象时，计算机16执行如图4所示的用于测量测量对象的三维坐标 的测量处理程序。图4的测量处理程序可以实施为存储在诸如光盘、磁盘、 ROM、 RAM等的计算机可读介质中或上的计算机可执行代码。首先在步骤100中，作为初始设定，计算机16将广视角和窄视角 设定为摄像部18的预定的最大视角。随后在步骤102中，获得由速度测量部 14测量出的车辆的行驶速度。然后，在步骤104中，基于在步骤102中获得 的行驶速度来确定拍摄间隔时间t，并且控制摄像装置12的拍摄间隔，从而 以确定出的拍摄间隔时间t执行连续拍摄。因此，拍摄装置12在设定的广视 角与设定的窄视角之间切换视角，以设定的拍摄间隔时间t交替地拍摄具有 广视角的图像和具有窄视角的图像。随后在步骤106中，计算机16从摄像装置12顺次地获得具有广 视角的第一广角图像(例如，拍摄时刻to)、具有窄视角的第一窄角图像(拍 摄时刻t,二to + t)、具有广视角的第二广角图像(拍摄时刻t2二t。 + 2t)、具有 窄视角的第二窄角图像(拍摄时刻t3-to + 3t)，以及具有广视角的第三广角 图像(t4 = t0 + 4t)。然后在步骤108中，计算机16从第一广角图像和第二广角图像中 的每一个中提取特征点，并且在步骤110中，从在步骤108中提取出的特征 点中检索出在第一广角图像与第二窄角图像之间相对应的至少八组对应点。 然后，在步骤112中，基于在步骤110中检索出的至少八组对应点的图像坐 标，计算机16计算表示在拍摄第二广角图像时摄像装置12的位置/姿势相对 于在拍摄第一广角图像时摄像装置12的位置/姿势的变化的平移向量和转动 矩阵。随后在步骤114中，计算机16从第二广角图像和第三广角图像中 的每一个中提取多个特征点，并且在步骤116中，从在步骤114中提取出的 特征点中检索出在第二广角图像与第三广角图像之间相对应的至少八组对应 点。然后，在步骤118中，基于在步骤116中检索出的至少八组对应点的图 像坐标，计算机16计算表示在拍摄第三广角图像时摄像装置12的位置/姿势相对于在拍摄第二广角图像时摄像装置12的位置/姿势的变化的平移向量和 转动矩阵。然后，在步骤120中，计算机16对在步骤112中计算出的平移向 量和转动矩阵进行内插，从而计算表示在拍摄第一窄角图像时摄像装置12 的位置/姿势相对于在拍摄第一广角图像时摄像装置12的位置/姿势的变化的 平移向量和转动矩阵。随后在步骤122中，计算机16对在步骤118中计算出 的平移向量和转动矩阵进行内插，从而计算表示在拍摄第二窄角图像时摄像 装置12的位置/姿势相对于在拍摄第二广角图像时摄像装置12的位置/姿势 的变化的平移向量和转动矩阵。然后，在步骤124中，基于在步骤120、 122中计算出的平移向量 和转动矩阵，计算机16计算表示在拍摄第二窄角图像时摄像装置12的位置/ 姿势相对于在拍摄第一窄角图像时摄像装置12的位置/姿势的变化的平移向 量和转动矩阵。然后，在步骤126中，计算机16从第一窄角图像和第二窄角图像 中的每一个中提取特征点。在步骤128中，从在步骤126中提取出的特征点 中，计算机16检索出在第一窄角图像与第二窄角图像之间相对应的至少一组 对应点。随后在步骤130中，基于在步骤124中计算出的第一窄角图像与 第二窄角图像之间的平移向量和转动矩阵以及在步骤128中检索出的第一窄 角图像和第二窄角图像中的对应点的图像坐标，计算机16计算对应点指示的 测量对象上的特征点的三维坐标。在步骤132中，在计算机16的显示器中显 示所计算出的测量对象上的特征点的三维坐标。然后，在步骤134中，基于在步骤134中计算出的三维坐标来确 定窄视角，并且控制摄像装置12的窄视角，使其变得等于确定出的窄视角。 然后，所述处理返回至步骤102，其中，基于具有设定的广视角的图像和具 有新确定出的窄视角的图像，测量在下一个测量正时测量对象上的特征点的 三维坐标。如上所述，根据依照第一实施例或示例的测量装置，基于以窄视 角拍摄的两个图像，从测量对象上的特征点中检索对应点。然后，根据以广 视角拍摄的多个图像，推算表示在拍摄两个窄角图像的时刻摄像装置的位置/ 姿势的变化的平移向量和转动矩阵。因而，能够提高摄像装置的运动推算的精度和测量对象上的对应点的检测精度。因此，能够高精度地测量出测量对 象的三维坐标。此外，在拍摄的同时，测量装置在广视角与窄视角之间切换视角。 因此，由于基于从广角图像的广的区域范围检索出的多个对应点而进行的高 精度运动推算的结果以及窄角图像中特征点的移动的高精度检测的结果，能 够高精度地测量出测量对象的三维坐标。此外，由于摄像部的视角在广视角与窄视角之间切换，因此能够 经由一个摄像部来获得以广视角拍摄的图像和以窄视角拍摄的图像。此外，基于在两个广角图像之间相对应的至少八组对应点，能够 以良好的精度计算出平移向量和转动矩阵中的每一个。基于根据在拍摄具有窄视角的图像之前和之后拍摄的具有广视角 的两个图像所计算出的平移向量和转动矩阵，能够以良好的精度推算出在拍 摄窄视角的图像的时刻摄像装置的平移向量和转动矩阵。此外，由于窄视角被确定为使得先前测量出的测量对象的三维坐 标距车辆的距离越远则其越小，因此可以提高测量对象上的从以窄视角拍摄 的图像中检索出的对应点的检测精度。此外，由于用于运动推算和移动检测的图像之间的拍摄间隔被确 定为使得车辆的行驶速度变得越低则其变得越长，因此合适地使得从图像中 检索出的对应点的移动变大。因此，可以提高关于摄像部的运动推算的精度， 以及移动检测的精度。此外，利用由单眼摄像机拍摄的连续图像，能够高精度地测量出 测量对象的三维坐标。尽管在上述实施例中，从由两个图像中提取出的多个特征点中检 索出在两个图像之间相对应的点，但是也可以允许以下情况从两个图像中 的一个中提取特征点，而从图像中的另一个中检索出与提取出的特征点中的 任一个相对应的对应点。此外，尽管以上作为示例与本实施例相结合描述了仅对从窄角图 像中检索出的对应点执行三维坐标的测量的情况，但是也可以允许以下情况: 对在未由窄角图像覆盖而是出现在广角图像中的范围内的对应点也执行三维
坐标的测量。在这种情况下，满足从已检索出对应点从而计算平移向量和 转动矩阵的第一广角图像和第二广角图像中的特征点中，检索出在第一广角图像与第二广角图像之间相对应的对应点；以及基于第一广角图像和第二广 角图像中检索出的对应点的图像坐标以及在第一广角图像与第二广角图像之 间计算出的平移向量和转动矩阵，计算由对应点所指示的测量对象上的特征 点的三维坐标。因此，在通过利用窄角图像增强出现在图像的中心部(大致 沿移动设备的前方的方向)中的测量对象的距离精度的同时，还可以计算仅 在广角图像中出现的特征点的三维坐标，从而能够在广角的视野中获得测量 对象的三维坐标。此外，尽管以上作为示例描述了当拍摄图像时视角在窄视角与广
视角之间交替切换的情况，但这不是限制性的。举另一个非限制性示例，也
可以切换视角使得以窄视角或广视角接连拍摄图像。在这种情况下，满足 通过对关于在窄角图像之前和之后拍摄的广角图像的、或在窄角图像之前拍 摄的两个广角图像的、或在窄角图像之后拍摄的两个广角图像的平移向量和 转动矩阵进行线性内插，求出在拍摄窄角图像的时刻摄像装置的平移向量和 转动矩阵。此外，尽管以上所述的情况为这样一种情况其中，在求关于两
个窄角图像中的每一个的平移向量和转动矩阵时，对通过利用对于该两个图 像来说共用的一广角图像所计算出的平移向量和转动矩阵进行内插，但这不
是限制性的。举另一个非限制性示例，可以允许以下情况利用第一广角图 像和第二广角图像通过对平移向量和转动矩阵进行内插，来计算关于第一窄
角图像的平移向量和转动矩阵；并且利用第三广角图像和第四广角图像通过
对平移向量和转动矩阵进行内插，来计算关于第二窄角图像的平移向量和转
动矩阵。在这种情况下，适于确定用作基准的广角图像(例如，将第一广
角图像用作基准)；以及基于基准广角图像与第一窄角图像之间的平移向量和
转动矩阵、基准广角图像与第二窄角图像之间的平移向量和转动矩阵以及关 于第一窄角图像及第二窄角图像各自的平移向量和转动矩阵，计算第一窄角
图像与第二窄角图像之间的平移向量和转动矩阵。而且还可以允许通过对 两个广角图像之间的平移向量和转动矩阵进行线性内插，计算关于第一窄角 图像的平移向量和转动矩阵以及关于第二窄角图像的平移向量和转动矩阵。尽管以上作为示例描述了将单眼摄像机用作摄像装置的情况，但 是也可以允许使用这样一种复眼摄像机其包括用于拍摄具有广视角的图像的摄像机以及用于拍摄具有窄视角的图像的摄像机。在这种情况下，复眼摄 像机中的摄像机不适于独立移动而是在位置及姿势上一同变化。此外，尽管以上所述的情况为这样一种情况其中，例如，测量 并且输出测量对象上的对应点的三维坐标，但是也可以允许以下情况基于 测量出的三维坐标来测量从车辆到对应点的距离，并且输出所测量出的距离。另外，尽管以上所述的情况为这样一种情况其中，从两个窄角 图像中检索出对应点，但这不是限制性的。也可以允许从三个或更多个窄角 图像中检索出对应点。在从三个窄角图像中检索出对应点的情况下，通过检 索出在第一窄角图像与第二窄角图像之间相对应的对应点并且检索出在第二 窄角图像与第三窄角图像之间相对应的对应点，来检索出在第一窄角图像、 第二窄角图像与第三窄角图像之间相对应的点。然后，根据第一窄角图像和 第二窄角图像中的对应点的坐标来计算三维坐标，并且根据第一窄角图像和 第三窄角图像的坐标来计算三维坐标。在如上所述计算出的两个三维坐标之 间仅具有小偏差的情况下，根据彼此相距最远的第一窄角图像和第三窄角图 像所计算出的三维坐标可以用作校正测量值。另一方面，在计算出的两个三 维坐标具有大偏差的情况下，由于考虑到在对应点之间存在相对应的误差， 所以可以丢弃计算出的两个三维坐标。此外，尽管以上作为示例与上述实施例或示例相结合描述了计算
平移向量和转动矩阵作为表示摄像装置的位置/姿势变化的因素的情况，但这 不是限制性的。举另一个非限制性示例，还可以允许计算另一指标作为表示 摄像装置的位置/姿势变化的因素。接下来，将对第二实施例或示例进行描述。第二实施例中与第一 实施例的部分具有基本相同构造的部分由相同的附图标记来指代，并且其描 述将被省略。第二实施例与第一实施例的不同之处在于基于先前测量出的测 量对象上的对应点的三维坐标来确定拍摄间隔。如图5所示，根据第二实施例的测量装置210包括摄像装置12和 计算机216。存储在计算机216中的测量程序包括计算机可执行程序代码，
实施为特征点提取部30;对应点检索部32;运动计算部34;运动内插部
36;三维坐标测量部38;输出部40;拍摄间隔确定部242，其基于由三维坐标测量部38先前测量出的测量对象的三维坐标，确定摄像装置12的拍摄间
隔；以及视角确定部44。基于先前测量出的测量对象的三维坐标，拍摄间隔确定部242将 这样的时间确定为拍摄间隔使得具有广视角的图像之间的对应点在图像中 的移动量的预测值的平均值或最大值变得大于或等于临界值。例如，从先前 测量出的测量对象的三维坐标获得的测量对象距车辆的距离越远，移动量的 预测值越小，因此，相应地将拍摄间隔时间确定为更长以增加拍摄间隔，使 得具有广视角的图像之间的对应点的图像中的移动量的预测值的平均值或最 大值变得大于或等于临界值。接下来，将结合图6来描述根据第二实施例或示例的测量处理程 序。图6的测量处理程序可以实施为存储在诸如光盘、磁盘、ROM、 RAM 等的计算机可读介质中或上的计算机可执行代码。与第一实施例中的处理基 本相同的处理用相同的附图标记来指代，并且其详细的描述将被省略。首先，在步骤100中，作为初始设定，将广视角和窄视角设定为 摄像部18的广视角和窄视角各自的预定最大视角。然后，在步骤250中，将 拍摄间隔时间t设定为初始值，并且控制摄像装置12的拍摄间隔，从而以设 定为初始值的拍摄间隔时间t连续地拍摄图像。随后在步骤106中，从拍摄装置12顺次地获得第一广角图像、第 一窄角图像、第二广角图像、第二窄角图像以及第三广角图像。然后，在步 骤108中，从第一广角图像和第二广角图像中的每一个中提取多个特征点。 在步骤110中，检索出在第一广角图像与第二广角图像之间相对应的至少八 组对应点。随后在步骤112中，计算表示在拍摄第二广角图像的时刻摄像装 置12的位置/姿势相对于在拍摄第一广角图像的时刻摄像装置12的位置/姿 势的变化的平移向量和转动矩阵。随后在步骤114中，从第二广角图像和第三广角图像中的每一个 中提取多个特征点。在步骤116中，检索出在第二广角图像与第三广角图像 之间相对应的至少八组对应点。随后在步骤118中，计算表示在拍摄第三广 角图像的时刻摄像装置12的位置/姿势相对于在拍摄第二广角图像的时刻摄 像装置12的位置/姿势的变化的平移向量和转动矩阵。随后在步骤120中，计算表示在拍摄第一窄角图像的时刻拍摄装 置12的位置/姿势的变化的平移向量和转动矩阵。接下来，在步骤122中，计算表示在拍摄第二窄角图像的时刻拍摄装置12的位置/姿势的变化的平移 向量和转动矩阵。然后，在步骤124中，计算表示在拍摄第二窄角图像的时
刻摄像装置12的位置/姿势相对于在拍摄第一窄角图像的时刻摄像装置12的
位置/姿势的变化的平移向量和转动矩阵。接下来，在步骤126中，从第一窄角图像和第二窄角图像中的每 一个中提取多个特征点。在步骤128中，检索出在第一窄角图像与第二窄角 图像之间相对应的至少一组对应点。接下来，在步骤130中，计算由对应点 所指示的测量对象上的特征点的三维坐标。在步骤132中，在计算机16的显 示器中显示所计算出的测量对象上的特征点的三维坐标。然后，在步骤134中，基于在步骤134中计算出的三维坐标来确 定窄视角，并且控制摄像装置12的窄视角，使其变得等于确定出的窄视角。 接下来，在步骤252中，基于在步骤134中计算出的三维坐标来确定拍摄间 隔时间，并且控制摄像装置12的拍摄间隔，使其变得等于确定出的拍摄间隔 时间。因此，当视角在设定的广视角与新确定出的窄视角之间切换的同时， 以新确定出的拍摄间隔时间t交替地拍摄具有广视角的图像和具有窄视角的 图像。然后，所述处理返回至步骤106，其中，基于具有设定的广视角的图 像和具有新确定出的窄视角的图像，测量在下一个测量正时测量对象上的特 征点的三维坐标。因此，先前测量出的先前测量的三维坐标距车辆的距离越长，则 拍摄间隔越长，因而，合适地使得从图像中检索出的对应点的移动变得更大。 因此，能够提高拍摄装置的运动推算的精度。显然，根据以上教导，本发明的各种其它的改进和变化是可能的， 因此，需要理解的是，在所附权利要求的范围内，可以在与本文具体所述不 同的情况下实施本发明。
权利要求
1、一种测量装置，包括摄像部，其安装在移动设备中，所述摄像部输出以第一视角拍摄的并且包含测量对象的多个图像以及以比所述第一视角小的第二视角拍摄的并且包含所述测量对象的多个图像；检索部，其从由所述摄像部以所述第二视角拍摄的至少两个图像中，检索出各为所述测量对象上的特征点并且在所述至少两个图像之间相对应的点；位置/姿势计算部，其基于由所述摄像部以所述第一视角拍摄的多个图像，计算在对所述多个图像的各次拍摄时所述摄像部的位置及姿势的相对关系；位置/姿势推算部，其基于由所述位置/姿势计算部计算出的所述位置及姿势的相对关系，推算在以所述第二视角拍摄所述至少两个图像时所述摄像部的位置及姿势的相对关系；以及位置测量部，其基于检索出的所述点以及由所述位置/姿势推算部推算出的所述位置及姿势的相对关系，测量由所述检索部检索出的所述点的三维位置。
2、 根据权利要求l所述的测量装置，其中，在从所述第一视角和所述第 二视角中的一个视角切换到所述第一视角和所述第二视角中的另一个视角的 同时，所述摄像部连续地拍摄所述测量对象。
3、 根据权利要求2所述的测量装置，其中，所述摄像部交替地以所述第 一视角拍摄和以所述第二视角拍摄。
4、 根据权利要求1至3中任一项所述的测量装置，其中，所述位置/姿 势计算部从由所述摄像部以所述第一视角拍摄的两个图像中检索出作为特征 点并且在所述两个图像之间相对应的至少八组点，并且基于检索出的所述至 少八组点来计算在对所述两个图像的各次拍摄时的所述摄像部的位置及姿势 的相对关系。
5、 根据权利要求4所述的测量装置，其中，对于不在以所述第二视角拍 摄的任一图像中而是在以所述第一视角拍摄的图像中的点测量三维位置，并 且所述位置测量部从以所述第一视角拍摄的且已由所述位置/姿势计算部检 索出相对应的点的所述两个图像中检索出作为特征点并且在所述两个图像之间相对应的点，并且所述位置测量部基于检索出的所述点以及由所述位置/ 姿势计算部计算出的所述位置及姿势之间的相对关系来测量检索出的所述点 的三维位置。
6、 根据权利要求4所述的测量装置，其中，所述位置及姿势的相对关系 包括位移量和转动量。
7、 根据权利要求1至5中任一项所述的测量装置，其中，所述位置及姿势的相对关系包括三个轴向上的位移量和关于三个轴的转动量。
8、 根据权利要求1至7中任一项所述的测量装置，其中，所述检索部从由所述摄像部以所述第二视角拍摄的第一图像和由 所述摄像部在拍摄所述第一图像之后以所述第二视角拍摄的第二图像中，检 索出各为所述测量对象上的特征点并且在所述第一图像和所述第二图像之间 相对应的点；并且其中，所述位置/姿势计算部计算三个轴向上的第一位移量和关于三个轴 的第一转动量，所述第一位移量和所述第一转动量表示在由所述摄像部拍摄所述第一图像之前以所述第一视角拍摄第三图像时所述摄像部的位置及姿 势与在由所述摄像部拍摄所述第一图像与拍摄所述第二图像之间以所述第一 视角拍摄第四图像时所述摄像部的位置及姿势之间的相对关系，并且 其中，所述位置/姿势计算部计算所述三个轴向上的第二位移量和关于所述三个轴的第二转动量，所述第二位移量和所述第二转动量表示在拍摄所述第四图像时所述摄像部的位置及姿势与在由所述摄像部拍摄所述第二图像 之后以所述第一视角拍摄第五图像时所述摄像部的位置及姿势之间的相对关 系，并且其中，基于由所述位置/姿势计算部计算出的所述第一位移量、所述第二 位移量、所述第一转动量以及所述第二转动量，所述位置/姿势推算部推算第 三位移量和第三转动量，所述第三位移量和所述第三转动量表示在拍摄所 述第一图像时所述摄像部的位置及姿势与在拍摄所述第二图像时所述摄像部 的位置及姿势之间的相对关系。
9、 根据权利要求8所述的测量装置，其中，所述位置/姿势计算部从所述第三图像和所述第四图像中检索出作为特征点并且在所述第三图像和所述 第四图像之间相对应的至少八组点，并且基于检索出的所述至少八组点来计 算所述第一位移量和所述第一转动量，所述第一位移量和所述第一转动量表示在拍摄所述第三图像和所述第四图像时所述摄像部的位置及姿势之间的 相对关系，并且所述位置/姿势计算部从所述第四图像和所述第五图像中检索 出作为特征点并且在所述第四图像和所述第五图像之间相对应的至少八组 点，并且基于检索出的所述至少八组点来计算所述第二位移量和所述第二转 动量，所述第二位移量和所述第二转动量表示在拍摄所述第四图像和所述 第五图像时所述摄像部的位置及姿势之间的相对关系。
10、 根据权利要求1至9中任一项所述的测量装置，其中，所述位置测量部连续地测量所述三维位置，所述装置进一步包括 视角确定部，其确定所述第二视角，使得先前测量出的所述三维位置距 所述移动设备的距离越远，所述视角越小。
11、 根据权利要求1至10中任一项所述的测量装置，其中，进一步包括 速度测量部，其测量所述移动设备的移动速度；以及摄像控制部，其控制所述摄像部，使得由所述速度测量部测量出的所述 移动速度越低，所述摄像部的拍摄间隔越长。
12、 根据权利要求1至10中任一项所述的测量装置，其中，所述位置测量部连续地测量所述三维位置，所述装置进一步包括 摄像控制部，其控制所述摄像部，使得先前测量出的所述三维位置距所 述移动设备的距离越远，所述摄像部的拍摄间隔越长。
13、 根据权利要求4至12中任一项所述的测量装置，其中，所述至少八组点中的每一组在移动方面与其它至少七组点不同。
14、 一种用于包括摄像部的移动设备的测量方法，包括输出由所述摄像部以第一视角拍摄的并且包含测量对象的多个图像，以 及输出由所述摄像部以比所述第一视角小的第二视角拍摄的并且包含所述测量对象的多个图像；从由所述摄像部以所述第二视角拍摄的至少两个图像中，检索出各为所述测量对象上的特征点并且在所述至少两个图像之间相对应的点；基于由所述摄像部以所述第一视角拍摄的多个图像，计算在对所述多个图像的各次拍摄时所述摄像部的位置及姿势的相对关系；基于计算出的所述位置及姿势的相对关系，推算在以所述第二视角拍摄所述至少两个图像时所述摄像部的位置及姿势的相对关系；以及基于检索出的所述点以及推算出的所述位置及姿势的相对关系，测量检 索出的所述点的三维位置。
15、 一种使得计算机起到以下作用的程序检索器件，其用于从由摄像部输出的至少两个图像中，检索出各为测量 对象上的特征点并且在所述至少两个图像之间相对应的点，所述摄像部安装 在移动设备中且输出以第一视角拍摄的并且包含所述测量对象的多个图像以 及以比所述第一视角小的第二视角拍摄的并且包含所述测量对象的多个图 像；位置/姿势计算器件，其用于基于由所述摄像部以所述第一视角拍摄的多 个图像，计算在对所述多个图像的各次拍摄时所述摄像部的位置及姿势的相 对关系；位置/姿势推算器件，其用于基于由所述位置/姿势计算器件计算出的所 述位置及姿势的相对关系，推算在以所述第二视角拍摄所述至少两个图像时 所述摄像部的位置及姿势的相对关系；以及位置测量器件，其用于基于检索出的所述点以及由所述位置/姿势推算器 件推算出的所述位置及姿势的相对关系，测量由所述检索器件检索出的所述 点的三维位置。
16、 一种包括计算机可执行代码的计算机可读介质，使得包括摄像部的 移动设备中的计算机输出由所述摄像部以第一视角拍摄的并且包含测量对象的多个图像，以 及输出由所述摄像部以比所述第一视角小的第二视角拍摄的并且包含所述测量对象的多个图像；从由所述摄像部以所述第二视角拍摄的至少两个图像中，检索出各为所 述测量对象上的特征点并且在所述至少两个图像之间相对应的点；基于由所述摄像部以所述第一视角拍摄的多个图像，计算在对所述多个 图像的各次拍摄时所述摄像部的位置及姿势的相对关系；基于计算出的所述位置及姿势的相对关系，推算在以所述第二视角拍摄 所述至少两个图像时所述摄像部的位置及姿势的相对关系；以及基于检索出的所述点以及推算出的所述位置及姿势的相对关系，测量检 索出的所述点的三维位置。
17、 一种测量装置，包括用于输出的器件，其安装在移动设备中，用于输出以第一视角拍摄的并 且包含测量对象的多个图像以及以比所述第一视角小的第二视角拍摄的并且 包含所述测量对象的多个图像；用于检索的器件，其从由所述用于输出的器件以所述第二视角拍摄的至 少两个图像中，检索出在所述至少两个图像之间相对应的所述测量对象上的特征点；用于计算的器件，其基于由所述用于输出的器件以所述第一视角拍摄的 多个图像，计算在对所述多个图像的各次拍摄时所述用于输出的器件的位置 及姿势的相对关系；用于推算的器件，其基于由所述用于计算的器件计算出的所述位置及姿 势的相对关系，推算在以所述第二视角拍摄所述至少两个图像时所述用于输 出的器件的位置及姿势的相对关系；以及用于测量的器件，其基于检索出的所述点以及由所述用于推算的器件推 算出的所述位置及姿势的相对关系，测量由所述用于检索的器件检索出的所 述点的三维位置。
全文摘要
当在广视角与窄视角之间切换视角的同时，交替地以广视角拍摄和以窄视角拍摄。基于以窄视角拍摄的图像，检测图像中的在窄角图像之间相对应的对应点的运动。基于以广视角拍摄的图像，计算表示广角图像之间的位置/姿势变化的平移向量和转动矩阵。通过对广角图像之间的平移向量和转动矩阵进行线性内插，推算表示窄角图像之间的位置/姿势变化的平移向量和转动矩阵。基于图像中的对应点的运动以及窄角图像之间的平移向量和转动矩阵，高精度地测量出测量对象上的对应点的三维坐标。
文档编号G06T7/60GK101681519SQ200880018492
公开日2010年3月24日 申请日期2008年5月15日 优先权日2007年6月1日
发明者中条直也, 大上健一, 山口晃一郎 申请人:丰田自动车株式会社