测量数据处理装置、测量数据处理方法以及程序的制作方法

测量数据处理装置、测量数据处理方法以及程序的制作方法
【专利摘要】本发明涉及测量数据处理装置、测量数据处理方法以及程序。具备数据受理部；操作信息受理部；外部定向要素计算部，基于所述多个基准点来计算拍摄了第一静止图像和第二静止图像的摄像机的外部定向要素；坐标统一部，将未受到所述指定的位置已知的未指定基准点的坐标系和所述摄像机的位置的坐标系统一，得到在一个坐标系上记述所述基准点的位置和摄像机的位置的统一坐标系；反投影图像制作部，将所述统一坐标系中的未指定基准点反投影到特定的位置处的摄像机的位置来得到反投影图像；以及目标位置估计部，基于所述反投影图像中的未指定基准点的画面中的位置来估计所述摄像机从所述特定的位置拍摄的静止图像中的未指定基准点的位置。
【专利说明】
测量数据处理装置、测量数据处理方法从及程序
技术领域
[0001] 本发明设及测量技术。
【背景技术】
[0002] 已知有例如从上空对±木工程现场等进行照相拍摄而基于在此时得到的图像数 据来得到成为对象的地形的Ξ维模型（作为电子数据而模型化的Ξ维地形数据）（例如，参 照日本特开2013-96745号公报）。在该技术中，需要向所得到的Ξ维模型提供实际尺寸的作 业。在该作业中，需要在为几十~几百W上的静止图像中发现在各静止图像中显现的基准点 并且将其在各静止图像间对应的作业。
[0003] 也研究了通过软件处理自动检测上述的基准点的技术。在该技术中，设想为在基 准点放置目标而容易进行通过软件处理的基准点的检测。但是，来自图像中的目标的自动 检测容易产生错误检测，实际上，进行作业者手工地一边1个1个地放大缩小各静止图像一 边W目视确认来特定指定在图像中的记号的位置的作业是实情。该作业必须在为几十~几 百W上的静止图像中进行，繁杂且非效率。

【发明内容】

[0004] 在运样的背景中，本发明的目的在于提供一种能够提高对在拍摄的图像中显现的 基准点进行特别指定的作业的效率的技术。
[0005] 方案1所记载的发明是，一种测量数据处理装置，其特征在于，具备:数据受理部， 受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图像的数据和通过在 所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据;指定受理部，受理在所 述第一静止图像和所述第二静止图像中共同显现且位置已知的多个基准点的指定;外部定 向要素计算部，基于所述多个基准点来计算拍摄了所述第一静止图像的摄像机的外部定向 要素和拍摄了所述第二静止图像的摄像机的外部定向要素;坐标统一部，将未受到所述指 定的位置已知的基准点的坐标系和所述外部定向要素计算部所计算的所述摄像机的位置 的坐标系统一，得到在一个坐标系上记述所述基准点的位置和所述摄像机的位置的统一坐 标系;反投影图像制作部，将所述统一坐标系中的未受到所述指定的位置已知的基准点反 投影到特定的位置处的所述摄像机的位置来得到反投影图像；W及估计部，基于所述反投 影图像中的未受到所述指定的所述基准点的画面中的位置来估计所述摄像机从所述特定 的位置拍摄的静止图像中的未受到所述指定的所述基准点的位置。
[0006] 根据方法1所记载的发明，使用反投影图像来估计作业者(用户）未选择的基准点。 因此，与重复静止图像的放大缩小来W目视寻找基准点的情况的作业相比较，提高发现基 准点的作业的效率。
[0007] 方案2所记载的发明的特征在于，在方案1所记载的发明中，进行如下处理:在所述 第一静止图像和/或所述第二静止图像中，设定对包含由所述估计部估计的未受到所述指 定的所述基准点的位置的区域进行放大后的探索对象区域。根据方案2所记载的发明，通过 设定对静止图像的一部分进行放大的探索对象区域，从而为限定发现基准点的区域的区 域，因此，能够提高发现基准点的作业的效率。
[0008] 方案3所记载的发明的特征在于，在方案2所记载的发明中，从所述探索对象区域 进行在未受到所述指定的位置已知的基准点的位置配置的目标的检测。
[0009] 方案4所记载的发明的特征在于，在方案2或3所记载的发明中，在未正常地进行所 述检测的情况下，进行通知其意思的处理。
[0010] 方案5所记载的发明的特征在于，在方案4所记载的发明中，在未正常地进行所述 检测的情况下，进行在画面上显示成为对象的探索对象区域的控制。
[0011] 方案6所记载的发明的特征在于，在方案2~5的任一项所记载的发明中，进行如下 控制:将所述探索对象区域的多个作为缩小图像缩略图显示在画面上，并且，在指定所述多 个缩小图像的一个的情况下，在画面上显示与该缩小图像对应的所述探索对象区域的放大 图像。
[0012] 方案7所记载的发明的特征在于，在方案2~6的任一项所记载的发明中，具备判定 部，所述判定部在从所述探索对象区域检测出的目标的已知的位置数据与从不同的静止图 像利用交会法计算的该目标的位置数据的差满足特定的条件的情况下将该目标判定为错 误目标。
[0013] 根据没有任何错误、误差的理想的状况，预先取得的目标的位置信息与基于针对 同一目标的图像解析的利用交会法计算出的目标的位置信息一致。另一方面，如果在目标 的位置的特定、使用了静止图像的位置的特定处理中存在问题，则在所检测的目标的已知 的位置数据与从不同的静止图像利用交会法计算出的该目标的位置数据之间产生差。方案 7所记载的发明通过评价该差来检测错误目标。
[0014] 方案8所记载的发明的特征在于，在方案7所记载的发明中，具备错误类型判定部， 所述错误类型判定部判定所述错误目标的错误的类型。在未检测出错误目标的情况下，运 存在如下情况:想要针对与该错误目标有关的数据的消除、修正就可或者必须再次进行一 部分的信息的取得、重新研究或者存在对整体带来影响的问题而需要返回到相当W前的阶 段重新测量等情况得到推测。如在后面叙述的那样，能够对错误进行分类、类型化。此外，关 于错误的类型，通过调查在错误目标的判定中使用的参数，从而能够进行某种程度的预想。 通过判定错误的类型，作业者能够得到上述的推测。
[0015] 方案9所记载的发明的特征在于，在方案8所记载的发明中，在多个目标中调查所 述差，在所述多个目标中的所述差的不同满足特定的条件的情况下，选择预先确定的特定 的错误的类型。再有，在此，所谓的差是从探索对象区域检测出的目标的已知的位置数据与 从不同的静止图像利用交会法计算出的该目标的位置数据的差。
[0016] 方案10所记载的发明的特征在于，在方案8或9所记载的发明中，基于所述差的时 间轴上的推移，选择预先确定的特定的错误的类型。
[0017] 方案11所记载的发明的特征在于，在方案8~10的任一项所记载的发明中，进行在 画面上显示所述错误的类型的控制。
[0018] 方案12所记载的发明是，一种测量数据处理方法，其特征在于，具备:数据受理步 骤，受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图像的数据和通过 在所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据;指定受理步骤，受理 在所述第一静止图像和所述第二静止图像中共同显现且位置已知的多个基准点的指定;外 部定向要素计算步骤，基于所述多个基准点来计算拍摄了所述第一静止图像的摄像机的外 部定向要素和拍摄了所述第二静止图像的摄像机的外部定向要素;坐标统一步骤，将未受 到所述指定的位置已知的基准点的坐标系和在所述外部定向要素计算步骤中计算的所述 摄像机的位置的坐标系统一，得到在一个坐标系上记述所述基准点的位置和所述摄像机的 位置的统一坐标系；反投影图像制作步骤，将所述统一坐标系中的未受到所述指定的位置 已知的基准点反投影到特定的位置处的所述摄像机的位置来得到反投影图像；W及估计步 骤，基于所述反投影图像中的未受到所述指定的所述基准点的画面中的位置来估计所述摄 像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所述基准点的位置。
[0019] 方案13所记载的发明是，一种程序，被计算机读取并执行，其特征在于，使计算机 作为W下部分发挥作用:数据受理部，受理在移动的同时通过在第一时刻拍摄同一对象而 得到的第一静止图像的数据和通过在所述第一时刻之后的第二时刻拍摄而得到的第二静 止图像的数据；指定受理部，受理在所述第一静止图像和所述第二静止图像中共同显现且 位置已知的多个基准点的指定;外部定向要素计算部，基于所述多个基准点来计算拍摄了 所述第一静止图像的摄像机的外部定向要素和拍摄了所述第二静止图像的摄像机的外部 定向要素；坐标统一部，将未受到所述指定的位置已知的基准点的坐标系和所述外部定向 要素计算部所计算的所述摄像机的位置的坐标系统一，得到在一个坐标系上记述所述基准 点的位置和所述摄像机的位置的统一坐标系；反投影图像制作部，将所述统一坐标系中的 未受到所述指定的位置已知的基准点反投影到特定的位置处的所述摄像机的位置来得到 反投影图像；W及估计部，基于所述反投影图像中的未受到所述指定的所述基准点的画面 中的位置来估计所述摄像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所 述基准点的位置。
[0020] 根据本发明，得到能够提高对在拍摄的图像中显现的基准点进行特别指定的作业 的效率的技术。
【附图说明】
[0021] 图1是示出拍摄的状况的概念图。
[0022] 图2是实施方式的框图。
[0023] 图3是示出得到反投影图像的原理的原理图。
[0024] 图4是示出后方交会法的原理的原理图。
[00巧]图5是示出模板匹配(template matching)的原理的原理图。
[0026] 图6是示出前方交会法的原理的原理图。
[0027] 图7是示出处理的顺序的一个例子的流程图。
[0028] 图8是示出处理的顺序的一个例子的流程图。
[0029] 图9是示出错误的一个例子的说明图。
[0030] 图10是示出错误的一个例子的说明图。
[0031] 图11是示出UI图像的一个例子的附图代用照片。
[0032] 图12是示出UI图像的一个例子的附图代用照片。
[0033] 图13是示出UI图像的一个例子的附图代用照片。
[0034] 图14是示出υ?图像的一个例子的附图代用照片。
[0035] 图15是示出错误的类型判定处理的一个例子的流程图。
【具体实施方式】
[0036] 1.第一实施方式 (概要） W下，对在实施方式中进行的处理的原理简单地进行说明。在图1中概念性地示出了测 量的原理。在该例子中，使用在能够自主飞行的无人飞机(UAV(Unmanned Air Vehicle))10 装载有能够进行照相拍摄的摄像机的机械材料。UAVIO装载有GNSS装置(使用了导航卫星的 位置特定装置)和IMU(惯性导航装置），能够进行自主飞行，但是，其精度对于制作在后面叙 述的Ξ维模型不足。当然，虽然变得成本增加，但是，也可W使用具备高精度的GNSS装置和 IMU的UAV。再有，在本实施方式中的Ξ维模型的制作中，UAV的GNSS装置和IMU不是必须的。 此外，也能够使用不是UAV而是有人的飞机。
[0037] UAV10-边飞行一边连续地拍摄地表。即，一边飞行，一边连续地进行在时刻tl拍 摄第一静止图像、在时刻t2拍摄第二静止图像、在时刻t3拍摄第Ξ静止图像等处理。拍摄的 间隔只要根据需要来决定即可，例如，采用2秒间隔。再有，也能够进行活动图像拍摄而将构 成活动图像的帖图像处理为静止图像。即，活动图像由在时刻tl拍摄的第一帖图像、在时刻 t2拍摄的第二帖图像等按照时间序列排列的多个帖图像构成，但是，也能够将该帖图像用 作本实施方式中的静止图像。
[0038] 在上述的拍摄中，为在飞行的状态下的拍摄，因此，视点的位置一点儿一点儿地偏 离，此外，得到许多拍摄对象的范围一点儿一点儿地偏离的静止图像。此外，在成为拍摄的 对象的地表预先配置有多个利用全站仪(total station)等特别指定了Ξ维位置的目标。 当比较拍摄时刻在时间轴上邻接或接近的2个静止图像时，2个静止图像存在重复的部分， 此外，在该重复的部分得到多个目标显现的部分。W当改变观察方法时在上述的2个静止图 像中映入相同的多个目标的方式决定飞行计划、目标的配置状况。
[0039] 作业者从所得到的图像数据选择上述的2个静止图像，W手动操作选择在两者中 共同的多个(最少4个）目标。该作业例如对个人计算机、平板电脑(平板终端)进行操作。在 此，利用共同地显现特别指定了Ξ维位置的多个目标的情况且使用后方交会法来计算装载 于UAV10的摄像机的在该静止图像的拍摄时的外部定向要素(Ξ维位置和姿势）。
[0040] 在图4中示出了后方交会法的原理。后方交会法是指观测从未知点朝向3个W上的 已知点的方向而将未知点的位置确定为运些方向线的交点的方法。作为后方交会法，可举 出：单照片定向、DLT法(Direct Liner Transformation Method,直接线性变换法）。在基础 测量学（电气书院：2010/4发行）P. 182、184中记载有交会法。此外，在日本特开2013- 186816号公报中，关于交会法，示出了具体的计算方法的例子。
[0041] 在此，当将第一静止图像的拍摄时刻设为tl且将第二静止图像的拍摄时刻设为t2 时，计算在tl的UAV10(摄像机)的Ξ维位置和姿势W及在t2的UAV10(摄像机)的Ξ维位置和 姿势。在该处理中，将由作业者指定的目标的位置用作明确地知晓的基准点，基于该基准点 的=维坐标和静止图像中的画面坐标值且利用后方交会法来求取在拍摄该静止图像的时 刻的摄像机的Ξ维位置和姿势。
[0042] 当简单地进行说明时，图4的Pi~P3为位置明确的基准点，PI~P3为其画面坐标值。在 此，当设定连结Pi和P1、P2和P2、P3和P3的3个线时，其交点0为摄像机的位置。此外，连结点0和 画面中屯、的线的延长的方向为摄像机的光轴。像运样，能够使用拍摄了位置明确的多个基 准点的图像来求取拍摄该图像的摄像机的外部定向要素(位置和姿势）。
[0043] 另一方面，通过图像处理而从第一静止图像和第二静止图像中提取特征点来求取 在2个静止图像间的特征点的对应关系。使用模板匹配来进行在2个静止图像间的特征点彼 此的对应关系的特定。
[0044] 作为模板匹配，可举出残差逐步检定法（SSDA : Sequent ial Simi lar i ty Detection Algorithm,序贯相似检测算法）、互相关系数法等。W下，对模板匹配的一个例 子进行说明。模板匹配是将2个坐标系中的图像的坐标数据相互比较而根据两者的相关关 系来求取2个图像的对应关系的方法。在模板匹配中，求取从2个视点各自观察的图像的特 征点的对应关系。图5是说明模板匹配的原理的说明图。在该方法中，如图示的那样，使化X Ni像素的模板图像在比其大的化X化像素的输入图像内的探索范围(Mi-Ni+1)2上移动，求取 W下述数式1示出的互相关函数C(a，b)为最大的那样的（即相关的程度为最大的那样的)模 板图像的左上位置。
[0045] 数式 1
[0046] -边改变一个图像的倍率此外一边使其旋转一边进行上述的处理。然后，在相关 关系为最大的条件下求取两个图像一致的区域，进而，提取该区域中的特征点，由此，进行 对应点的检测。
[0047] 使用模板匹配，由此，能够特别指定所比较的2个图像的一致的部分，能够知晓2个 图像的对应关系。在该方法中，W使2个图像的相关关系为最大的方式确定两者的相对的位 置关系。2个图像的相关关系由两个图像的特征点决定。
[0048] 在此，首先求取在时刻tl和t2的摄像机的外部定向要素(位置和姿势），因此，能够 使用前方交会法来计算上述的位置未知的特征点的Ξ维位置。在图6中示出了前方交会法 的原理。前方交会法是指观测从已知的多个点（在图6的情况下为化和化运2点）朝向未知点P 的方向而求取未知点P的位置来作为运些方向线的交点的方法。像运样，取得第一静止图像 和第二静止图像中的目标和特征点的Ξ维坐标。
[0049] 在此，摄像机坐标系和基准点的坐标系是相同的坐标系（例如，在GNSS中利用的坐 标系），因此，能够将两者统一，在该统一后的坐标系中，能够记述在该时间点被指定或检测 的目标(基准点）的位置、作为未提取的位置已知的未确定的目标(基准点）的位置。
[0050] 当将该统一坐标系反投影到拍摄了特定的静止图像的摄像机位置时，利用图3所 示的原理而在特定的静止图像中得到能够记述未确定的目标的位置(基准点的位置）的反 投影图像。
[0051] 在该例子中，准备对反投影图像中的未确定的目标的位置进行放大显示后的放大 图像。然后，针对该放大图像，使用图像识别功能在该图像中探索未确定的目标，软件地进 行未确定目标的探索。在此，在能够探索未确定目标的情况下，从图像取得其标识码 (identification code)，取得存储于数据库的该目标的Ξ维位置的数据。
[0052] 假设在不能取得未确定目标的Ξ维坐标的情况下，作业者W目视观察放大显示后 的区域的图像，进行发现目标的作业。在该情况下，探索范围被缩小，因此，利用目视的探索 的作业与探索的范围未被缩小的情况相比变得容易。像运样，在第一静止图像和第二静止 图像中，特别指定作业者最初未指定的目标，取得其位置信息。
[0053] 接着，比较第二静止图像和第Ξ静止图像。在此，在第Ξ静止图像中选择显现有在 第二静止图像中显现的特征点和目标的部分。在该阶段中，拍摄第Ξ静止图像时的摄像机 的位置和姿势是未知的。但是，已经与第二静止图像相关联地求取在第二静止图像和第Ξ 静止图像中共同显现的已经选择的目标和特征点的Ξ维位置。因此，能够利用图4的后方交 会法来计算在拍摄第Ξ静止图像的时刻的摄像机的位置和姿势。
[0054] 只要能够计算在拍摄第Ξ静止图像的时刻的摄像机的位置和姿势，则与第一和第 二静止图像所设及的处理的情况同样地制作第Ξ静止图像所设及的反投影图像，进行第Ξ 静止图像所设及的新的未确定目标的探索。此外，另一方面，在第Ξ静止图像中进行新的特 征点的提取，并计算其Ξ维位置。
[0055] 也对第四静止图像、第五静止图像…进行W上的处理，由此，利用多个目标提供真 比例尺(r e a 1 S C a 1 e )，得到由许多特征点构成的Ξ维模型（测定对象的Ξ维模型）。W上为 在本实施方式中进行的处理的原理和概要。在此，对制作地表的Ξ维模型的情况进行说明， 但是，对象并不限定于地表，也可W为建筑物等人工构造物。
[0化6](硬件的结构） 在图2中示出了利用了发明的测量数据处理装置100的框图。测量数据处理装置100为 执行上述的处理的硬件。测量数据处理装置100具有作为计算机的功能，具备:CPU、固体电 子存储器、硬盘存储装置、各种接口、此外根据需要的运算元件。在图2中记载有作为功能掌 握的各种功能部。图示的各种功能部的一部或多个可W软件地构成，也可专用的硬件 构成。
[0057]例如，也能够W专用的硬件构成测量数据处理装置100,但是，也能够为使用通用 的计算机来软件地实现图示的功能部的功能的结构。在使用了通用的计算机的情况下，在 该计算机所具备的（或者连接于该计算机的）显示器上进行在后面叙述的缩略图显示、对目 标的估计位置附近进行放大的画面显示，使用能够通过该计算机利用的UI (user inte计ace,用户界面)来进行根据作业者的各种作业。此外，也能够通过平板电脑(平板终 端）、智能电话进行测量数据处理装置100的至少一部的功能。
[005引测量数据处理装置100具备:数据存储部10UGUI控制部102、数据受理部103、操作 信息受理部104、目标信息取得部105、外部定向要素计算部(外部定向要素取得部）106、特 征点提取部107、对应点特定部108、特征点位置计算部109、坐标统一部110、反投影图像制 作部111、目标位置估计部112、目标检测部113、目标好坏判定部114、Ξ维模型制作部115、 超分辨(super-resolution)处理部116、W及错误类型判定部117。
[0059] 在数据存储部101存储有所使用的目标的识别信息和Ξ维位置数据。此外，在数据 存储部101存储有测量数据处理装置100的工作所需要的各种数据。GUI控制部102对显示测 量数据处理装置100中的处理的结果的显示器上的GUKgra地ical user inte计ace,图形 用户界面)的工作进行控制。作业者通过对该显示器上的GUI进行操作来进行目标的W手动 的指定、确认等作业。通过GUI控制部102的工作来进行在后面叙述的各种画面显示。
[0060] 数据受理部103受理UAV所装载的摄像机所拍摄的静止图像的图像数据。在该图像 数据中，静止图像与拍摄该静止图像的时刻相关联。操作信息受理部104受理由作业者指示 的内容。例如，通过操作信息受理部104受理与使用上述的GUI的作业者的操作内容有关的 信息。
[0061] 目标信息取得部105进行作业者所指定的目标的位置信息（该位置信息被存储到 数据存储部101中）的取得、在后面叙述的目标检测部113所检测的目标的位置信息的取得。
[0062] 外部定向要素计算部（外部定向要素取得部）106利用在装载于UAV的摄像机所拍 摄的静止图像中显现的目标和/或从该静止图像提取的特征点的Ξ维坐标且使用图4的后 方交会法来计算摄像机的在该静止图像的拍摄时的Ξ维位置和姿势。再有，外部定向要素 计算部(外部定向要素取得部）1〇6也可W取得UAV所具备的GNSS装置和IMU所测量的位置数 据和姿势的数据。
[0063] 特征点提取部107从静止图像中提取特征点。特征点为能够从周围区别的点，例 如，将边缘部分、周围和彩色不同的部分提取为特征点。特征点的提取通过软件处理来进 行。在特征点的提取中使用5〇6日1、1^日91日(^日]1、？的￥；[1:1:、1?06日1'1:等微分滤波器。
[0064] 对应点特定部108对在2个静止图像中分别个别地提取的特征点的对应关系进行 特别指定。即，进行将与在一个静止图像中提取的特征点相同的特征点在另一个静止图像 中特别指定的处理。对该特征点的对应关系进行特别指定的处理例如使用图5所示的模板 匹配来进行。特征点位置计算部109使用图6的前方交会法来计算特别指定了在不同的静止 图像间的对应关系的特征点的Ξ维坐标。
[0065] 坐标统一部110将摄像机位置的坐标系和基准点（目标）的坐标系统一。在外部定 向要素计算部106中计算在各静止图像的拍摄时刻的摄像机的位置。所谓的摄像机位置的 坐标系是记述摄像机的位置的坐标系。在该摄像机位置的坐标系中也记述由特征点位置计 算部109计算出的特征点的位置、由作业者指定的目标的位置。
[0066] 所谓的基准点的坐标系是记述预先取得的多个目标各自的位置的坐标系。使用相 同的地图坐标系（处理地上的坐标的坐标系：例如，记述由GNSS取得的位置信息的坐标系） 来记述摄像机位置的坐标系和基准点的坐标系。通过将摄像机位置的坐标系和基准点（目 标的位置)的坐标系统一，从而得到在相同的坐标系(地图坐标系)上记述摄像机的位置、特 征点的位置、由作业者指定的目标的位置和未由作业者指定的目标的位置的坐标系（统一 坐标系）。
[0067] 反投影图像制作部111利用图3的原理得到反投影图像。用直线连结摄像机位置 (视点）和由坐标统一部110得到的统一坐标(实际空间(real space)坐标）中的各点的坐标 位置并且在静止图像中描绘该直线与从该摄像机位置拍摄的静止图像面交叉的点，由此， 得到反投影图像。例如，考虑在时刻tl得到静止图像L1的情况。在该情况下，用直线将上述 的统一坐标系上的基准点（目标的位置)和在时刻tl的摄像机的位置(视点)连结，将该直线 与静止图像L1的画面交叉的点赋予到静止图像L1，由此，得到在时刻tl的反投影图像。
[0068] 目标位置估计部112使用反投影图像来估计在静止图像中未被特别指定的目标的 位置。目标检测部113使用上述的估计的结果来从上述的反投影图像之中检测在该时间点 未被特别指定的目标。
[0069] 目标好坏判定部114进行由作业者指定的目标和目标检测部113所检测的目标是 否适当的判定。作为不适当的目标，可举出作业者错误指定(输入信息的输错等)的目标、在 步骤S112(图8)中错误检测的目标(检测出不同的目标的情况下）、在本来注册的位置信息 存在错误的目标、由于某种理由而位置信息的可靠性低的目标、本来不是目标而被检测出 的拟目标(与目标弄错而识别的物理、图案等)来作为不适当的目标。此外，也有可能存在由 于通过风而移动、人移动等理由在拍摄的中途目标的位置移动的情况。也将运样的目标用 作基准点，成为不适当的目标。
[0070] 目标的好坏的判定使用立体测量的目标的位置信息来进行。即，关于在装置侧在 图像中特别指定后的目标，本来确定了其位置信息，但是，另一方面，能够利用图6所示的原 理根据在时间轴上邻接或接近的2个静止图像(反投影图像)来进行其Ξ维位置的计算。目 标好坏判定部114关于目标的位置(基准位置）比较上述的计算位置和预先取得的位置，在 其差超过预先决定的阔值的情况下，判定为:判定对象的目标不适当即为错误目标。
[0071] W下，对具体的处理的一个例子进行说明。首先，考虑与第一静止图像对应的第一 反投影图像和与第二静止图像对应的第二反投影图像。在此，假设2个反投影图像为拍摄时 间接近且拍摄大致相同的对象的情况下的图像。然后，使用上述第一反投影图像和上述第 二反投影图像，利用图6的前方交会法，求取所检测的目标的Ξ维位置。接着，比较所求取的 目标的Ξ维位置和该目标的预先注册的Ξ维位置。此时，在其差超过预先确定的阔值的情 况下，将成为对象的目标判定为错误目标。
[0072] 错误的类型判定部117在检测出不适当的目标的情况下判定与预先确定的错误的 类型之中的哪一个对应。在产生错误的情况下，根据其仅仅是错误检测或者是装置整体的 问题或者在目标的位置信息中存在错误等状态，所取得的对应不同。
[0073] 例如，在图9中示出了使用图6的方法计算出的目标的位置与预先取得的目标的位 置的差偏离的情况。在该情况下，考虑在进行作业者的指定时存在失误的可能性、存在目标 的错误检测的可能性。此外，在追逐静止图像的情况的中途得到图9所示的结果的情况下， 考虑在拍摄中目标移动的可能性。
[0074] 在图10中示出了在存在多个的目标之中只有一个计算值和已知的值偏离的情况。 在该情况下，根据3个静止图像求取的目标(基准点）的Ξ维位置一致。因此，预先取得的□ 标记的目标的位置信息是错误的可能性高。目标的位置使用全站仪、得到精密的位置信息 的GNSS装置来预先取得，但是，由于设备的操作失误、来自导航卫星的导航信号不能正确地 检测等理由而存在错误测定目标的位置而取得错误的位置信息的情况。在运样的情况下， 得到图10所示的那样的结果的可能性高。
[0075] 此外，在关于多个目标而计算值与注册值不一致的情况下，考虑设备的工作不佳。 此外，在多个目标中，在计算值和注册值的差中出现不均的情况下，考虑装置的工作不佳、 在图像解析中存在问题(例如，静止图像的一部分的画质较暗而在特征点的提取中存在故 障等)的情况。
[0076] W下，对错误的类型一个例子进行说明。再有，所选择的类型并不限于为1个，也可 W为多个。
[0077] (1)输入失误 存在输错基准点的情况。关于作业者指定的目标，在图9所示的那样的只有该目标与其 他不同而在计算值与注册值之间出现偏差进而该偏差过度大的情况下，存在该目标的指定 中的作业者的输入失误的可能性。
[0078] (2)目标位置由于某种影响而在拍摄图像中移动的情况 例如，在着眼于特定的目标的情况下，在使用第N个静止图像和第N+1个静止图像来进 行计算时，在计算值和注册值中没有偏差，在使用第N+10个静止图像和第N+11个静止图像 来进行计算时而在计算值和注册值中产生偏差的情况下，存在在第N+2个W后目标移动的 可能性。
[0079] (3)基准点的测量设备的问题 在最初，目标的位置使用全站仪等来特别指定并且取得其位置数据，但是，在此时存在 在位置的特定产生失误的情况。例如，在存在设备的故障、在来自导航卫星的导航信号的接 收不稳定的情况下测量的位置信息的精度低、设备的操作的失误等问题的情况下，产生了 该问题的目标产生计算值与注册值之间的不一致。特别地，在图10所示的那样的情况下存 在其可能性。
[0080] (4)基本存在问题的情况 在整体中未出现计算值和注册值的一致的情况、计算值不收敛的情况下，设想装置的 故障、在数据中产生基本的问题的事态。
[0081 ] (5)可靠性 存在起因于所利用的数据的可靠性、所得到的静止图像的画质等而计算结果的可靠性 不稳定的情况。在该情况下，存在如下情况:在作业者侧必须进行W下等判断：是进行再次 的基准点的定位、重新拍摄还是使用可靠性高的数据来继续进行处理。
[0082]例如，在由于天气的影响等而拍摄特定的区域的静止图像的画质变暗而存在目标 的检测精度降低等问题的情况下，关于从该区域检测出的多个目标，出现容易产生计算位 置与已知的位置的差的趋势。同样的趋势也出现在特定的区域的目标的测定精度低的情况 下。例如，在某个区域中的目标的位置测量时天气差而精度不能确保的那样的情况下，有可 能存在运样的状况。
[0083] 此外，评价通过与从该区域检测出的目标有关的计算来求取的目标的位置(基准 点的位置)和预先取得的目标的位置的差的不均，考虑根据所得到的不均的程度来改变警 告的等级的处理。在该情况下，误差分为测量分辨率的0、化、30、其W上等等级，设定警告的 等级。关于测量分辨率A xy，假设f:摄像机的焦点距离、B:摄像机间距离、δρ:图像分辨率、 Η:拍摄距离或拍摄高度，W Δ巧=Η · δρ/f、Δ ζ=Η ·邮p/(f · Β)提供。
[0084] Ξ维模型制作部115制作由通过解析许多静止图像而得到的多个目标和许多特征 点构成的Ξ维模型。例如，将所得到的特征点用作点群位置数据来制作tin(不规则Ξ角形 网），进行拍摄对象物的Ξ维模型的制作。此时，提供利用多个目标而得到的Ξ维目标的实 际尺寸。关于基于点群位置数据来制作Ξ维模型的技术，例如，在日本特开2012-230594号 公报、日本特开2014-35702号公报中记载。
[0085] 超分辨处理部116进行提高静止图像的分辨率的处理。在该例子中，作为超分辨处 理进行W下的处理。首先，在选择成为对象的静止图像之后，选择与该静止图像在时间轴上 邻接或接近的之前的多个图像。例如，选择前n-1个、前n-2个、前n-3个、…等多个静止图像。
[0086] 即使为显现相同的场所的静止图像，也为通过在移动的状态下的拍摄而得到的图 像，因此，虽说在时间轴上邻接或接近，在不同的静止图像间，针对拍摄对象的光轴的角度 微妙地不同。进行用于对针对该拍摄对象的光轴的角度的偏差进行校正的正(odho)处理。 在"国±地理院技術資料A-1-No.289尹个3夕瓜才/レッ作成。公共測量作業7二二7瓜 平成16年1月国±交通省国±地理院"中记载有正处理。正处理对成为对象的多个图像进 行。在进行正处理之后，使成为对象的多个图像重合。此时，将在该时间点W已知的目标决 定的基准点作为定位记号来高精度地重叠各图像。
[0087] 在重叠的多个静止图像中，构成各静止图像的像素不会完全地重叠，像素的位置 微妙地偏离。即，在大部分的情况下，为在第一静止图像的像素间的缝隙存在第二静止图像 的像素的状态。运是起因于拍摄各静止图像的摄像机的位置偏离。关于上述的像素偏离的 状态，重叠的图像越增加而变得越显著。即，重叠的图像越增加，得到像素的缝隙越少的细 密的图像，也就是说，像素密度更高，得到高分辨率的图像。通过进行超分辨处理，从而放大 显示时的模糊的程度变低，得到高分辨率的图像。然后，通过使用高分辨率的图像，从而能 够提局目标的检测精度。
[0088] (处理的一个例子） 在图7和图8中示出了在测量数据处理装置100中进行的处理的顺序的一个例子。用于 执行图7和图8所示的顺序的处理的程序被存储在测量数据处理装置100内部或外部的适当 的存储区域中，由测量数据处理装置100的CPU读出并执行。该程序能够存储在适当的存储 介质中。在此，说明不利用UAV得到的位置数据和姿势的数据的情况。当然，也能够利用UAV 得到的位置数据和姿势的数据。
[0089] 首先，作为事前的处理，使UAV在成为测量对象的±地的上空飞行，在此时使用摄 像机W特定的时间间隔对成为测量对象的±地的静止图像进行拍摄。然后，将该拍摄数据 输入到测量数据处理装置100中。摄像机具有测量基准时间的时钟功能，在得到的拍摄数据 中，拍摄时刻与拍摄的静止图像相关联。
[0090] 当开始处理时(步骤S100)，在作业者观察的显示器上按照时间序列顺序缩略图显 示所拍摄的许多静止图像。作业者从该缩略图显示的许多静止图像之中选择在时间轴上邻 接或接近的2个静止图像(步骤S101)。例如，取得在时刻tl和t2(t2〉tl)的2个静止图像L1、 L2。在图2的操作信息受理部104中受理该操作内容，在GUI控制部102中执行所对应的处理。
[0091] 接着，在显示器上显示所选择的2个静止图像(步骤S102)。作业者W目视从该2个 静止图像找出在两个图像中共同的4个W上的目标，对它们进行指定。该作业例如通过作业 者对构成测量数据处理装置100的计算机进行操作来进行的。再有，在没有发现4个W上的 共同的目标的情况下，变更所选择的图像。
[0092] 在测量数据处理装置100侧判定是否进行成为基准点的4个W上的目标的指定(步 骤S103)，在进行4个W上的目标的指定的情况下，从图2的数据存储部101取得所指定的目 标的位置信息（步骤S104)，在不进行4个W上的目标的指定的情况下，重复步骤S103的处 理。步骤S104的处理在图2的目标信息取得部105中进行。
[0093] 在步骤S104之后，使用图4的后方交会法来计算拍摄了在步骤S101中选择的2个静 止图像的每一个的摄像机的位置和姿势(步骤S105)。该处理在图2的外部定向要素计算部 (外部定向要素取得部）1〇6中进行。即，在图4中，将由作业者指定的4个W上的目标的位置 信息设为Pi、P2、P3(在图4中为3点，但是，实际上为4点W上)并且将各目标的在静止图像中 的画面坐标位置设为P1、P2、P3(同样地，在图4中为3点，但是，实际上为4点W上），利用图4的 原理来求取拍摄了符合的静止图像的摄像机的位置0。此外，只要求取0,则根据P1、P2、P3与 静止图像的图像中屯、的位置关系来判明在拍摄该静止图像时的摄像机的光轴的方向，因 此，知晓此时的摄像机的姿势。像运样，在步骤S105中，求取在拍摄在步骤S102中选择的2个 静止图像的时刻的摄像机的外部定向要素(位置和姿势）。
[0094] 接着，从在该时间点选择的2个静止图像进行特征点的提取(步骤S106)。该处理在 图2的特征点提取部107中使用软件性地构成的5〇661、1^日口1日(^日]1、？的*;[1:1:、1?0661'1:等微分 滤波器来进行。再有，也可W在所提取的特征点中包含目标。
[00%]接着，关于在步骤S106中提取的特征点，对在成为了对象的2个静止图像之间对应 的特征点(对应点)进行特别指定(步骤S107)。该处理在图2的对应点特定部108中例如使用 模板匹配来进行。在此，也可W进行对错误对应的特征点进行检测的错误对应点的检测处 理。例如在日本特开2013-186816号公报中记载错误对应点的检测处理。
[0096] 在对在所选择的2个静止图像中对应的特征点进行特别指定之后，计算该特别指 定后的对应点的Ξ维位置(步骤S108)。该处理在图2的特征点位置计算部109中进行。例如， 假设在时刻tl拍摄静止图像L1，在时刻t2拍摄静止图像L2。此外，假设在步骤S105中求取在 时刻tl的摄像机的位置和姿势、在时刻t2的摄像机的位置和姿势。
[0097] 在该情况下，图6的点化为在时刻tl的摄像机的位置，P1为静止图像L1中的着眼的 特征点P的画面中的位置，点化为在时刻t2的摄像机的位置，P2为静止图像L2中的着眼的特 征点P的画面中的位置。在此，设定连结化和P1的线和连结化和P2的线，求取该2个线的交点 的坐标，由此，得到特征点P的坐标。该计算在成为对象的特征点的全部中进行，由此，进行 步骤S108的处理。
[0098] 在步骤S108之后，前进到步骤S109。在步骤S109中，将记述在步骤S105中取得的摄 像机的位置的坐标系（摄像机的位置的坐标系）和记述目标的位置的坐标系统一。其结果 是，在一个坐标系上记述摄像机的位置、在步骤S108中计算出的特征点的位置、在该时间点 被指定或检测的目标的位置、进而在该时间点未被指定或检测的目标的位置。使用地图坐 标系来记述摄像机的位置和特征点的位置，在地图坐标系上使用全站仪等来预先特别指定 目标的位置，因此，两者的坐标系的统一通过将目标的坐标写入到摄像机位置的坐标系中 来进行。
[0099] 例如，假设，在第一静止图像和第二静止图像中，特别指定共同的多个目标Ai(i = l、2、3…）和多个特征点Bj(j=l、2、3…），也取得它们的Ξ维位置。在此，关于未在第一静止 图像和第二静止图像中特别指定的其他的目标化(k=l、2、3…），其Ξ维位置是已知的（本 来，全部目标在特定了 Ξ维位置之上设置）。因此，设想存在上述特别指定的多个目标Ai(i= 1、2、3···)和多个特征点8^'〇'=1、2、3-〇的实际空间，能够在该实际空间中配置未被特别指 定的目标化化=1、2、3…）。在该情况下，通过将记述Ai和Bj的坐标系和记述化的坐标系统 一，从而能够在统一后的一个坐标系之中记述化。
[0100] 在统一摄像机位置的坐标系和基准点的坐标系之后，前进到步骤S110。在步骤 S110中，制作在该时间点选择的静止图像的一个或两个所对应的反投影图像。该处理在图2 的反投影图像制作部111中进行。即，在步骤S109中得到的统一坐标中，作为数据描绘在步 骤S104中未取得此外在此阶段中未检测出的目标(未特定目标）的位置。然后，当将该统一 后的坐标系反投影到得到特定的静止图像A的视点（摄像机位置)来制作反投影图像时，在 上述的静止图像A中未被认知的上述的目标化化=1、2、3…）在该反投影图像中出现。
[0101] 在步骤S110之后，进行W下处理:对使用了反投影图像的未选择目标的位置进行 估计(步骤Sill)。该处理在图2的目标位置估计部112中进行。在该处理中，将反投影图像中 出现的未特定的目标(未在步骤S104中取得位置信息且未检测的目标）的位置作为目标的 估计位置取得。即，W "根据计算，大概存在于那里"运样的意味将在反投影图像中出现的新 的目标的位置识别为估计位置的处理在步骤Sill中进行。
[0102] 在估计未特定的目标之后，进行对估计了位置的目标进行检测的处理（步骤 S112)。^下，对在步骤S112中进行的处理进行说明。在该处理中，首先，设定放大了反投影 图像的未特定目标的估计位置的附近的探索对象区域。例如，该探索对象区域选择为W未 特定的目标的位置为中屯、的几 m~10m左右方形程度的区域。该探索对象区域为将静止图像 的一部分放大后的放大图像。像运样，在静止图像中设定估计为未确定的目标应该存在的 区域。
[0103] 接着，着眼于所设定的探索对象区域，利用软件处理从其中检测成为估计的对象 的目标。关于目标，为了容易图像地识别，而例如在白的圆盘的中屯、显示圆印，此外，显示对 该位置进行特别指定的二维码(用于读取码的图案）。利用图像解析从上述的探索对象区域 中检测该目标。
[0104] 具体来说，首先，在图2的数据存储部101中存储有目标的参照图像，通过将该参照 图像用作比较图像，从而进行来自探索对象区域的新的目标的检测。该技术能够使用公知 的图像识别技术来进行。
[0105] 此外，在步骤S112中也可W进行超分辨处理。例如，作为超分辨处理进行W下的处 理。首先，选择与在步骤S112中成为对象的静止图像在时间轴上邻接或接近的之前的多个 静止图像。例如，选择前n-1个、前n-2个、前n-3个、…等静止图像。然后，对所得到的多个静 止图像实施正校正，进而将实施了正校正后的多个静止图像位置对准并重合来得到重叠静 止图像。此时，将在该时间点w已知的目标决定的基准点作为定位记号来高精度地重叠各 图像。在得到重叠静止图像之后，得到对重叠静止图像中的成为对象的未确定目标的附近 进行放大后的放大重叠静止图像。在得到放大重叠静止图像之后，W其为对象使用图像识 别处理来进行目标的检测。
[0106] 在步骤112中进行的利用图像处理的目标的检测存在对与目标相似的那样的形 状、图案进行错误检测的可能性。该可能性根据分辨率低的情况而变更。通过进行超分辨处 理，从而得到即使放大也清晰的图像，因此，能够提高目标的检测精度。其优越性在W目视 进行观察的情况也同样。因此，上述的超分辨处理在后面叙述的步骤S116中也为有效。
[0107] 步骤S112的处理由于限定了成为对象的区域，所W能够高效地进行。像运样，进行 不利用作业者的操作的来自静止图像中的目标的检测。该处理针对在反投影图像中出现的 未确定的目标的全部进行。再有，也可能存在不能在步骤S112中检测出目标的情况。在该情 况下，也能够进行忽视未找到的目标的处理，但是，也可W画面显示探索对象区域而作业者 观察其W目视进行寻找目标的作业。在该情况下，进行如下控制：显示目标的检测不能进行 的意思，显示为放大了该探索对象区域的图像进而对目标的估计位置做记号后的放大图 像。在该情况下，作业者W目视探索的区域被限定，因此，作业者的负担为比较小的负担就 可。
[0108] 在检测出新的目标之后，进行判定在所检测的目标之中是否存在不适当的目标 (错误目标）的处理(步骤S113)。在该处理中，也同时判定在被作业者指定的目标之中是否 存在不适当的目标。该处理在图2的目标好坏判定部114中进行。在该处理中，使用在该时间 点选择的（例如，在步骤S101中选择的)第一反投影图像和第二反投影图像，利用图6的前方 交会法来求取所检测的目标的Ξ维位置。接着，对W前方交会法求取的目标的Ξ维位置和 该目标的预先注册的Ξ维位置进行比较。此时，在其差超过预先确定的阔值的情况下，进行 成为对象的目标为错误目标的意思的判定。
[0109] 在没有错误目标的情况下，前进到步骤S119,从数据存储部101取得所检测的目标 的位置信息。在存在错误目标的情况下，进行前述的错误的类型的判定(步骤S115)。该处理 在错误类型判定部117中进行。
[0110] 在图15中示出对错误的类型进行判定的处理的顺序的一个例子。关于在判定中使 用的规定值(阔值），准备几阶段而能够配合现场的状态来选择。在图15的处理中，当开始判 定错误的类型的处理时，判定在使多个静止图像为对象的处理中错误发生的频度是否为规 定值W上（步骤S301)。在该处理中，例如，进行错误的频度是否为特定的百分比W上的判 定。在错误的频度多的情况下，猜测在所使用的数据自身的可靠性、精度存在问题的可能 性，设备的工作不佳的可能性。在该情况下，判定数据错误的可能性、设备的错误的可能性。
[0111] 接着，判定错误的频度与特定的静止图像相关联而是否超过规定值(步骤S302)。 在错误的频度与特定的静止图像相关联而超过规定值的情况下，猜测在对比度、分辨率存 在问题等该静止图像的问题。在该情况下，判定在该静止图像中存在错误的可能性。
[0112] 接着，如图10的情况那样，预先取得的基准位置（目标）的位置与计算值不一致而 在基于多个静止图像的计算值存在可靠性的情况下，猜测基准点的数据的可靠性，因此，判 定基准点的数据错误的可能性(步骤S303)。
[0113] 接着，判定在时间轴上是否存在成为错误的基准点（步骤S304)。例如，在着眼于特 定的目标的情况下，存在如下情况:在使用第N个静止图像和第N+1个静止图像来进行计算 时，在计算值和预先取得的值中不存在偏差，在使用第N+10个静止图像和第N+11个静止图 像来进行计算时，在计算值和预先取得的值中产生偏差。在运样的情况下，考虑在第N+2个 W后目标移动的可能性，因此，判定在拍摄中目标进行移动的可能性。
[0114] 接着，进行通知处理(步骤S116)。在通知处理中，进行存在判定为错误的目标的意 思的通知和在步骤S115中判定的错误的类型的通知。通知在作业者使用的终端的显示器上 进行。该处理在图2的GUI控制部101中进行。
[0115] 例如，在步骤S116的通知处理中，显示显示了判定为错误的目标的附近的缩略图 图像的一览表。当作业者从该缩略图图像的一览表之中选择特定的缩略图图像时，将其放 大显示。例如，探索对象区域被显示为放大图像。作业者目视放大图像来进行寻找目标的作 业。在该作业中发现目标的情况下，作业者使用GUI对其进行指定。在存在多个错误检测的 目标的情况下，对成为对象的全部目标进行该作业。此外，仅将错误检测目标的存在通知给 作业者就停止，作业者能够选择缩略图图像一览表的显示的有无也可。在未从所估计的附 近检测出目标的情况下，进行将该区域判定为检测失误区域的处理也可。在该情况下，在画 面上缩略图显示检测失误区域。运些处理在图2的GUI控制部102中进行。
[0116] 在图11中示出了判定为错误的目标显现的缩略图图像、其放大图像、显示其名单 的UI图像的一个例子。在该UI中，当作业者对特定的图像进行指定时，放大该图像，显示放 大探索对象区域后的放大图像。作业者观察该放大图像进行错误的确认、修正。此外，在图 11中也显示(未确定的显示)在目标的探索中失败的探索对象区域的信息。作业者通过观察 在目标的探索中失败的探索区域对象的图像，从而能够进行该目标的W目视的探索。在图 12中示出了显示有在基准点的坐标的测量中存在问题或基准点的错误指定的可能性的点 的一览表的UI显示的一个例子。
[0117] 在步骤S117中判定在由作业者在步骤S116中放大显示的放大图像中是否选择了 新的目标。在指定了目标的情况下，前进到步骤S118,在不是运样的情况下，重复步骤S117。 在步骤S118中，判定是否存在未进行由作业者进行的确认作业的其他的错误目标即在显示 的缩略图图像一览表之中是否存在还未被选择的目标，如果还存在成为对象的缩目标，贝U 重复步骤S116W下的处理，如果不是运样，则前进到步骤S119,取得在步骤S116之后由作业 者指定的目标的位置信息。所指定的目标的位置信息的取得从图2的数据存储部101利用目 标位置信息取得部105来进行。
[0118] 在步骤S119之后，前进到步骤S120。在步骤S120中，判定是否存在下一个静止图 像。在存在下一个静止图像的情况下，前进到步骤S121，取得下一个静止图像。在不是下一 个静止图像的情况下，基于在此阶段中得到的特定了 Ξ维坐标的特征点和目标来进行Ξ维 木星的制作（步骤S125)。步骤S125的处理在图2的Ξ维模型制作部115中进行。在制作Ξ维 模型之后，结束处理(步骤S126)。
[0119] 在步骤S121中取得了下一个静止图像的情况下，进行在步骤S121中取得的静止图 像与前一个静止图像之间共同的特征点的特别指定(步骤S122)。在该处理中，首先，从在步 骤S121中取得的静止图像提取特征点。该处理与步骤S106的处理相同。接着，进行在与前一 个静止图像之间对应的特征点的特别指定。该处理与步骤S107的处理相同。
[0120] 例如，在步骤S122中，进行W下的处理。假设，在步骤S121中取得第Ξ静止图像L3。 在该情况下，在步骤S122中，特别指定在第二静止图像L2与第Ξ静止图像L3之间共同的特 征点。在此，从静止图像L2提取出的特征点的Ξ维坐标在步骤S108中计算完毕。因此，在步 骤S122中特别指定的在静止图像L2与静止图像L3之间共同的特征点的位置在该时间点是 已知的。
[0121] 在步骤S122之后，前进到步骤S105。在此，计算拍摄了在步骤S121中取得的静止图 像的摄像机的位置和姿势(摄像机的外部定向要素）。在此阶段中，判明在前一个静止图像 与在步骤S121中取得的静止图像中对应的特征点的位置。因此，能够利用图4所示的原理来 进行在拍摄在步骤S121中取得的静止图像的时刻的摄像机的位置和姿势的计算。
[0122] 例如，假设，在步骤S121中取得第Ξ静止图像L3。在该情况下，在前进为步骤S122 ^步骤S105的处理中，计算在拍摄了静止图像L3的时刻的摄像机的位置和姿势。在W下说 明此时的处理的一个例子。首先，在图4中，将静止图像L3中的在静止图像L2之间共同的特 征点的位置设为?1、？2、？3。此外，将运些特征点的静止图像1^3中的画面坐标的位置设为口1、 Ρ2、Ρ3。在此，当设定连结Pi和ρι、Ρ2和Ρ2、Ρ沸Ρ3的3个线时，其交点0为拍摄了静止图像L3的摄 像机的位置。此外，连结点0和画面中屯、的线的延长的方向为拍摄了静止图像L3的摄像机的 光轴，根据该光轴的朝向得到在拍摄了静止图像L3的时刻的摄像机的姿势。
[0123] 再有，在针对在步骤S121中取得的静止图像的步骤S106的处理中，在该时间点提 出未提取的特征点(包含新在步骤S121中取得的静止图像中出现的特征点）。
[0124] 之后，执行步骤S107W下的处理，进行从在步骤S121中取得的静止图像新提取出 的特征点的Ξ维位置的计算(步骤S108)、将在步骤S121中取得的静止图像作为对象的目标 的检测（步骤S112)。即，步骤S107W下的处理与针对前一个静止图像同样地W在步骤S121 中取得的静止图像为对象来进行。
[0125] 像运样，一个接一个地进行针对第Ν个静止图像、第Ν+1个静止图像、第Ν+2个静止 图像…的特征点的提取和其Ξ维位置的特定，进而一个接一个地进行目标的检测。
[0126] 然后，计算多个静止图像中的特征点的Ξ维坐标，由此，得到由特征点构成的Ξ维 模型。例如，能够将±木工程现场作为Ξ维模型来得到数据化后的模型。
[0127] 在上述的处理中，能够在作业者需要的定时使所取得的目标的一览表显示。此时， 当从一览表之中选择特定的目标时，能够显示该目标的附近的放大图像。该处理通过图2的 GUI控制部102进行。图13和图14示出了所检测的目标的名单、缩略图图像的一览表、显示有 该阶段的放大图像的UI显示画面的一个例子。
[012引（优越性） 假设没有检测出错误目标，则作业者进行的作业仅为最初的第一个和第二个静止图像 中的目标的指定。然后，在检测出错误目标的情况下，接受对其意思进行通知的处理，作业 者进行确认该目标的正误的作业W及手工地指定目标的作业。该作业与W往的作业相同， 但是，由于判明了周围的特征点、与已经指定的目标的相对位置关系，所W，寻找未知的目 标的范围被限定，作业容易进行。总的来说，手工地指定目标的作业减少，作业的繁杂度较 大地减轻。
[0129](其他） 再有，在一边利用卫星测位系统等高精度地测量位置信息一边利用进行飞行的无人飞 机(UAV(Unmanned Air Vehicle)的情况下，能够在不进行求取摄像机位置的运算的情况下 使用在UAV侧得到的位置信息。当然，使用从UAV得到的位置信息和基于图像解析利用运算 而求取的位置信息运两者来得到摄像机的位置的方法也是可能的。在该情况下，采用两者 的平均值、采用进行加权的加权平均的值、采用通过条件判定为精度更高的一方等方法也 是可能的。
[0130] 此外，在上述的例子中，UAV未必需要自主飞行，也可W为W远距离操作进行飞行 的方式。根据成本、能够准备的UAV的种类、现场的状况或测定对象的规模等，有可能存在该 方式的可能性。
[0131] 此外，对步骤S111的估计的位置的区域的一览表进行缩略图图像显示，作业者从 其中选择探索对象区域并W该所选择的探索对象区域为对象进行利用作业者的目视的目 标的检测作业的方式也是可能的。在该情况下，不进行目标的自动检测，但是，作业者利用 目视探索的区域被限定，因此，与不进行缩小探索对象区域的处理的情况相比较，较大地减 轻作业者的负担。特别地，通过在放大显示的探索对象区域之中显示目标的估计位置，从而 更容易地进行利用目视的目标的检测。
[0132] W上说明了的技术能够用于从拍摄的图像中检测基准点的技术。例如，能够用于 进行车辆、飞机、船舶等移动体的移动路径的计算的技术。在该情况下，通过步骤S105的处 理按照每个静止图像得到移动体的外部定向要素，因此，能够进行在得到静止图像的时刻 的移动体的位置的计算。该处理也能够移动并实时地进行。
[0133] 作为目标，也能够利用道路标识、位置已知的建筑、铁塔、各建筑物、建造物。此外， 也能够利用公共道路、铁道的铁轨、输电线、支承输电线的铁塔等来作为位置已知的目标。
[0134] 再有，本发明也能够用于将多个摄像机的拍摄图像合成来得到1个图像的情况。
[01巧]2.第二实施方式 在本发明中，也能够并用附带摄像机的全站仪、激光扫描仪得到的Ξ维点群位置数据 (或者基于该Ξ维点群位置数据的Ξ维模型）。在该情况下，在不使用基准点的情况下利用 在第一实施方式中说明了的方法来制作第一 Ξ维模型。关于该Ξ维模型(其1)，由于未进行 第一实施方式那样的基准点的指定，所W，为对特征点间的相对的位置关系进行了特别指 定的相对模型。
[0136] 另一方面，除了激光测距装置之外，使用具备摄像机的全站仪(例如，参照日本特 开2014-173990号公报）、激光扫描仪，进行与Ξ维模型（其1)重复的地域的点群位置数据取 得，制作基于该点群位置数据的Ξ维模型(其2)。
[0137] 在此，关于Ξ维模型（其2)，在使用具备摄像机的全站仪的情况下，得到具备真比 例尺的Ξ维模型。在使用了激光扫描仪的情况下，预先特别指定扫描仪的位置，由此，得到 具备真比例尺的Ξ维模型。
[0138] 然后，使Ξ维模型（其1)与Ξ维模型（其2)匹配，求取两者的对应关系。例如，使Ξ 维模型(其1)放大、缩小、旋转和平行移动来探索与Ξ维模型其2匹配的条件。在取得两者的 匹配的阶段中，对Ξ维模型其1提供真比例尺。根据该方法，能够省略作业者指定基准点的 作业。
[0139] 3.第Ξ实施方式 在第一实施方式中，通过图像识别自动检测在最初指定的基准点的方式也是可能的。 在该情况下，彻底弄清在最初选择的2个静止图像中共同显现的多个位置(4个W上的位置） 来设置容易进行图像识别的基准目标。关于该基准目标，为了容易进行图像识别，注意成为 背景的地表的状态等来决定设置场所。再有，该基准目标W外的目标与第一实施方式的情 况同样地配置。
[0140]在该例子的情况下，从在步骤S102中选择的静止图像中利用软件处理来进行目标 的检测。之后，进行与第一实施方式同样的处理。在本实施方式中，需要将最初检测出的目 标设为容易自动检测的特殊的目标，但是，存在不需要进行在实施方式1中需要的作业者在 最初指定目标的作业的优越性。在本实施方式中，作为目标，能够利用道路标识、位置已知 的建筑、铁塔、各建筑物、建造物、公共道路、铁道的铁轨、输电线、支承输电线的铁塔等。
【主权项】
1. 一种测量数据处理装置，其特征在于，具备： 数据受理部，受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图像 的数据和通过在所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据； 指定受理部，受理在所述第一静止图像和所述第二静止图像中共同显现且位置已知的 多个基准点的指定； 外部定向要素计算部，基于所述多个基准点来计算拍摄了所述第一静止图像的摄像机 的外部定向要素和拍摄了所述第二静止图像的摄像机的外部定向要素； 坐标统一部，将未受到所述指定的位置已知的基准点的坐标系和所述外部定向要素计 算部所计算的所述摄像机的位置的坐标系统一，得到在一个坐标系上记述所述基准点的位 置和所述摄像机的位置的统一坐标系； 反投影图像制作部，将所述统一坐标系中的未受到所述指定的位置已知的基准点反投 影到特定的位置处的所述摄像机的位置来得到反投影图像;以及 估计部，基于所述反投影图像中的未受到所述指定的所述基准点的画面中的位置来估 计所述摄像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所述基准点的位 置。2. 根据权利要求1所述的测量数据处理装置，其特征在于，进行如下处理:在所述第一 静止图像和/或所述第二静止图像中，设定对包含由所述估计部估计的未受到所述指定的 所述基准点的位置的区域进行放大后的探索对象区域。3. 根据权利要求2所述的测量数据处理装置，其特征在于，从所述探索对象区域进行在 未受到所述指定的位置已知的基准点的位置配置的目标的检测。4. 根据权利要求3所述的测量数据处理装置，其特征在于，在未正常地进行所述检测的 情况下，进行通知其意思的处理。5. 根据权利要求4所述的测量数据处理装置，其特征在于，在未正常地进行所述检测的 情况下，进行在画面上显示成为对象的探索对象区域的控制。6. 根据权利要求2~5的任一项所述的测量数据处理装置，其特征在于，进行如下控制： 将所述探索对象区域的多个作为缩小图像缩略图显示在画面上，并且，在指定所述多个缩 小图像的一个的情况下，在画面上显示与该缩小图像对应的所述探索对象区域的放大图 像。7. 根据权利要求2~5的任一项所述的测量数据处理装置，其特征在于，具备判定部，所 述判定部在从所述探索对象区域检测出的目标的已知的位置数据与从不同的静止图像利 用交会法计算的该目标的位置数据的差满足特定的条件的情况下将该目标判定为错误目 标。8. 根据权利要求7所述的测量数据处理装置，其特征在于，具备错误类型判定部，所述 错误类型判定部判定所述错误目标的错误的类型。9. 根据权利要求8所述的测量数据处理装置，其特征在于， 在多个目标中调查所述差， 在所述多个目标中的所述差的不同满足特定的条件的情况下，选择预先确定的特定的 错误的类型。10. 根据权利要求8或9所述的测量数据处理装置，其特征在于，基于所述差的时间轴上 的推移，选择预先确定的特定的错误的类型。11. 根据权利要求8或9所述的测量数据处理装置，其特征在于，进行在画面上显示所述 错误的类型的控制。12. -种测量数据处理方法，其特征在于，具备： 数据受理步骤，受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图 像的数据和通过在所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据； 指定受理步骤，受理在所述第一静止图像和所述第二静止图像中共同显现且位置已知 的多个基准点的指定； 外部定向要素计算步骤，基于所述多个基准点来计算拍摄了所述第一静止图像的摄像 机的外部定向要素和拍摄了所述第二静止图像的摄像机的外部定向要素； 坐标统一步骤，将未受到所述指定的位置已知的基准点的坐标系和在所述外部定向要 素计算步骤中计算的所述摄像机的位置的坐标系统一，得到在一个坐标系上记述所述基准 点的位置和所述摄像机的位置的统一坐标系； 反投影图像制作步骤，将所述统一坐标系中的未受到所述指定的位置已知的基准点反 投影到特定的位置处的所述摄像机的位置来得到反投影图像;以及 估计步骤，基于所述反投影图像中的未受到所述指定的所述基准点的画面中的位置来 估计所述摄像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所述基准点的 位置。13. -种程序，被计算机读取并执行，其特征在于，使计算机作为以下部分发挥作用： 数据受理部，受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图像 的数据和通过在所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据； 指定受理部，受理在所述第一静止图像和所述第二静止图像中共同显现且位置已知的 多个基准点的指定； 外部定向要素计算部，基于所述多个基准点来计算拍摄了所述第一静止图像的摄像机 的外部定向要素和拍摄了所述第二静止图像的摄像机的外部定向要素； 坐标统一部，将未受到所述指定的位置已知的基准点的坐标系和所述外部定向要素计 算部所计算的所述摄像机的位置的坐标系统一，得到在一个坐标系上记述所述基准点的位 置和所述摄像机的位置的统一坐标系； 反投影图像制作部，将所述统一坐标系中的未受到所述指定的位置已知的基准点反投 影到特定的位置处的所述摄像机的位置来得到反投影图像;以及 估计部，基于所述反投影图像中的未受到所述指定的所述基准点的画面中的位置来估 计所述摄像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所述基准点的位 置。14. 根据权利要求6所述的测量数据处理装置，其特征在于，具备判定部，所述判定部在 从所述探索对象区域检测出的目标的已知的位置数据与从不同的静止图像利用交会法计 算的该目标的位置数据的差满足特定的条件的情况下将该目标判定为错误目标。15. 根据权利要求10所述的测量数据处理装置，其特征在于，进行在画面上显示所述错 误的类型的控制。
【文档编号】G06T7/00GK105825498SQ201610054191
【公开日】2016年8月3日
【申请日】2016年1月27日
【发明人】佐佐木刚, 穴井哲治, 大谷仁志, 高地伸夫
【申请人】株式会社拓普康