专利名称：地理参照图像区域的方法
技术领域：
本发明涉及依靠具有十公尺特性等级的光电子系统来地理参照区域，尤其在严重倾斜的曝光条件下。
背景技术：
图I示出了在严重倾斜的曝光条件下所遇到的测量不确定性所导致的区域点P的定位(或地理定位)误差，例如在航空-陆地应用中，其中与至对象的距离相比，光电子系统位于地面附近(空运的，对于低高度飞行或陆地应用，至对象的距离与飞行高度之比为大约5甚至更高)。图IA示出了由光电子系统的竖直位置h的测量不确定性eh导致的平面误差eP。
适用以下等式e P= e h/tan 0 = (r/h)e h/ 0例如，在比对象的高度大20kft的高度处误差e h为20m时，这将导致30km处的点P的定位的误差e p为120m。图IB示出了由从光电子系统观测点P时的定向角的测量不确定性e 0所导致的误差e p，即在照相机光轴(或LdV)的竖直平面中的取向误差。适用以下等式e P=r. e 0/sin 0 =r. e 0. (h2+r2) 1/2/h=r2. e 0 (l+(h/r)2)1/2 ^ r2. e 0/h在前述实例的相同条件下，例如误差e 0为Imrd时(对应于非常有利的情形)在150m的点P的定位上引起误差e 0。这些误差可能累计，最终导致点P的定位误差接近270m。然而，在固定在例如车辆桅杆或船桅杆的顶部的低高度陆地光电子系统(直升飞机，迷你无人驾驶飞机)中也发现了该误差。然而，大部分这些系统必须获取并且表征以十公尺效率的较大距离移动的对象的定位。已经说明了测量误差对点P的地理定位误差的影响。地理参照由成像区域的所有点而非单个点的地理定位组成。为了在上述条件下实现十公尺等级的地理参照，常规办法是使用一般由专门操作人员在地面上执行的后处理操作，所述专门操作人员对依靠地理参考(或具有优选全世界或者至少足以覆盖所表示的需求的地标)所获取的图像重新排列。然而，通常由接近竖直的曝光所采集的这些地标难于与严重倾斜的图像自动地配对，并且受信息老化影响。其中一个难点在于快速获取地球任一点上的该特性，而不需要使用难于与图像立即配对但不受信息老化影响的真实世界覆盖信息。现有技术领域中为建立数字高度模型或MNT而实施的一种方案由以下步骤组成，即在有利的获取条件下使用飞行激光执行多个光束距离和方向的测量。实际上，该应用在能够在接近竖直的条件下获取信息的低曝光约束下，在飞行高度很低的情形下执行，以使取向误差不至于损害直接位置特性。所使用的系统一般不会提供任何关联成像，并且当它们提供关联成像时，这两个系统不耦合。这些空运激光器绘制技术旨在单独使用距离测量以便重构MNT，并且在所遇到的与严重倾斜目标的远程采集条件有关的应用中不提供与图像的耦合。此外，这些方法有利地适用于更新所产生的信息并由此控制立体绘制地点，这涉及在地面站中在操作员的控制下产生成像区域上的数字地形模型(MNT)和正射图像。通常用于产生正射图像 、MNT以便最终生成地图和矢量数据库(BDD)的另一种方案是，使用基于从飞机或从卫星获取的光学或雷达图像的航空三角测量技术。卫星上的传感器通常用来基于图像获取以及位置和高度测量来覆盖大部分区域，此外，这在地域和更大的尺度上进行。基于整流后的对象景物的形状观测而对光学图像的内部一致性的所进行的控制依靠矩阵检测器来产生。这一点可利用轨迹和/或扫描技术来保证，同时保证信息的重叠和连续重构，即信息可以基于一些地标来整体地取向，以便校正其余取向偏差。当从观测或远程检测卫星获取时，也需要该空间三角测量技术。航空三角测量应用对应于具有宽测量基础(基础是检测器在两个图像之间的位移)的获取，从而与获取速率达到每3分钟将近10，000个图像的战略应用相比(几十Hz)，对应于相对低速率的获取(0. IHz的量级)。再者，图像在操作人员的控制下来处理并且用在地面站中。在生成信息的任务中，操作人员还会进行-对具有已合格的地理参照的外部参考数据进行访问-使用设备来识别对象和图像的相关细节，并且将它们与参考数据相关联，以便在图像中得到地标点，从而强化图像的地理参照。由地面上的操作人员对图像地理参照的强化，由以下处理构成即使当与待被地理参照的图像有关的信息的品质较差时，该处理对结果而言仍是有效的，同时限制了执行时间、所需参考地理数据、校正任务和所包括的时间。航空三角测量任务确定所有图像的绝对取向。必要时，可以假定它们为单个图像(或图像块)并且依靠输入类似的点和/或地标点来校正结果，以及提供手动或目视特性检查。该要求对于操作人员来说，在对图像的组装品质和由多个图像覆盖的区域的地理参照的品质进行控制的循环中，在使用尤其要求更短的执行时间——接近实际时间的应用的条件下，是不能实行的。除了与曝光条件(或CPDV)有关的该特性问题以外，还必须具有-更好的图像分辨率，以便查看细节，换句话说，强化在图像中用来表示地面距离的分辨率，或“GRD”(地面采样距离)，以及-更大的地面覆盖，换句话说，增加成像区域以利于在环境、安全、战略和战术自然条件的操作上的使用，而不用以任何方式牺牲待被地理参照的信息的获取范围。通过移动检测器或者/并且使用更大的检测器或/和更大的视野，来确保大区域覆盖。卫星装置的大区域覆盖通过沿卫星轨道的卫星移动和曝光参数之间较好的相对品质来促成，因为-定位的品质依赖于由天体力学等式限制的传导地理学的测量和参数控制。这允许在时间上其形状的简单且刚性的建模。-空间方位角通过轨迹的稳定性和相关控制装置而具有一致性。
对于陆地应用，检测器不总是可以移动，并且相对于待获取区域，检测器的尺寸有时是有限的。航空陆地的大区域覆盖更困难，因为-在空运情形中，通过操纵平台来确保轨迹，-在陆地情形中，平台固定或者移动性很小。在材料品质严格控制的情形下，所述使用大检测器首选使用阵列检测器。然而，关于很好地了解随时间的指向(在与阵列方向对应的图像的方向之间)的困难使图像的内部一致性(这允许控制图像的几何形状)劣化，从而使光电子件的强大特性中的一个劣化。此夕卜，必须减小积分时间，以便相对于成像区域来适应与检测器移动有关的涡卷效应。
使用更大的视野来覆盖大区域的可能性与GRD中给定获取距离范围的需求相冲突。为了弥补该约束，使用快速的基于扫描的获取模式诸如巾贞步进(frame-step)(或步进注视(st印staring))，并且增加同一平台上的检测器数量。对于军事应用，必须能够对分辨率较高的大量图像进行快速地理参照。
发明内容
本发明旨在，在遵守十公尺等级地理参照的约束的同时，通过适应于地面上的表面区域在严重倾斜曝光和具有足够的获取区域的条件下成像的要求，克服执行时间、需要地面操作人员和外部参考数据、图像中的景物分辨率不足的缺点。根据本发明的地理参照方法基于以下具有高准确度和精确度的两种信息的提供-在同一个图像信息单元中的多个距离测量，其中准确度为公尺，-精度为像素的角尺寸量级(10μ rad)的测距距离的像素之间的定向的角背离，取决于〇确定与距离测量相关的图像坐标所需的质量。O良好的光电子图像的内部几何一致性和使存在小于或达到像素量级的重叠的图像之间配对的能力。算法处理操作基于前述信息计算每一个图像的曝光的条件参数。从而，少数准确的距离测量和精确的角偏差(使用光电子图像的内部一致性信息和/或内部测量的精确度)可以在地面稍微不平坦的假定下或者通过具有MNT来更好地执行区域的地理参照。则成像区域的地理参照的品质在整体上因距离测量的准确度而受益，而在局部上因光电子角度测量的相对品质所具有的几何致性而受益。根据所生成的误差平衡表，与所使用信息的各自品质有关的一致性将被记录，所使用信息的各个分量具有米量级(高度为20kft的30km处的大小为10 μ rad的一些像素表示I. 5m的距离)。更具体而言，本发明的主题是依靠成像光电子系统地理参照区域的方法，该方法包括依靠检测器来获取M个连续图像的步骤，成像区分布在这M个图像之间，其中MS 1，主要特征在于，该方法还包括以下步骤-测量在系统与区域中被称为测距点的P个点之间的P个距离dpdy.. .、dP，其中P彡3，这些测距点分布在所述图像的K个图像中，其中I < K < M，-在获取M个图像的同时获取检测器的定位xm，ym,zm,
-在获取M个图像的同时测量检测器的空间方位角CfWΘ m, Ψω,-获取这K个图像中与P个测距点对应的被称为像点的点的坐标(P1,qi)、(p2, q2)、···> (pp, qP),-以及以下步骤即根据定位、空间方位角、距离和像点坐标，估计与M个图像对应的曝光条件参数xe，ye，ze，Ψε，Θ e, φ。，以便减小M个图像中的每一个图像的参数Xm, ym, Zm, ψω, 9 m,(知的误差。该方法允许以下述方式对整个成像区域进行地理定位，而不限于景物的单个点
-在十公尺等级的准确度的情形下，尤其通常在空运应用和检测器位于地面附近的情形中经常遇到的严重倾斜曝光条件下，因为特性很大程度上不受空间方位角测量误差的影响(大大减小与方位取向误差和绕LdV的旋转误差相关联的平面定位误差的敏感度)。-自主地，即不用操作人员的干涉并且不访问参考数据，-实时地，由于通常以测距仪的速率(一般为IOHz)来访问信息，并且没必要执行任何后处理或者不需要特定的信息强化装置，-不管获取范围和图像中地面分辨率(地面采样距离GRD)之间的冲突而采用最广泛且分辨率最好的景物覆盖，-离散地，因为可以对未被测距仪直接照射的对象进行地理定位，这避免不得不对待定位的敏感对象执行主动测量，从而在要求离散等级的战术操作中具有优势。根据本发明一个实施例，在M彡3的情形下，连续获取区域的M个图像，这些图像示出了两两重叠的区域，并且该方法包括提取这M个图像的重叠区域中的类似图元的步骤和基于这些类似图元两两地映射图像的步骤。根据前述实施例的特殊实现，当P=K时，测距点分别位于每一个图像的中心。优选地，当光电子系统固定时，描述定位的参数(^，ye, ze)仅被估计一次。当光电子系统包括定位装置并且其在已知的轨迹上移动时，可以基于连续位置测量和轨迹模式对定位ye, ze进行估计。当光电子系统访问(或包括)指明其定位、其速度、其加速度的测量装置时，则以参数形式的对其轨迹进行建模。然后，在进行获取(图像和测距)的同时估计位置的定位
xe，yej Ze°根据第一变型，当在同一个图像中存在多个测距点时，同时获取这些点的距离测量。根据另一个变型，当在同一个图像中存在多个测距点时，连续获取这些点的距离测量，获取每一个距离的时间小于获取这个图像的时间与图像中的这些点的数量之比。此外，本发明的主题是地理参照光电子系统，其包括检测器，其具有光轴LdV ;对该检测器进行定位的装置；对检测器的空间方位角进行测量的装置；测距仪，其与检测器的LdV协调；以及处理单元，其连接至上述元件，并且能够执行P=K时的方法。根据本发明的一个特征，发射激光束的测距仪配备有用于分裂或偏转被发射的激光束并且对所接收的信号进行分析以便依靠适于执行上述方法的处理操作来确定飞行时间(ToF)和光束相对于图像的取向的装置。
通过阅读作为非限制性实例给出的以下详细描述并且参考附图，本发明的其它特征和优点将变得明显，其中图IA和图IB示意性示出了在倾斜曝光条件下的地理定位误差；图2示意性示出了用在根据本发明的地理参照方法中图像的曝光条件参数和其它信息；图3示意性示出了在基于单个图像的本发明第一实施例的背景下使用的且具有多个测距点的示意性图像；图4示意性示出了设置有偏转装置的测距仪的操作模式；图5示意性示出了根据基于M个图像的本发明方法的第二实施例的实例，其中M=2并且每个图像中具有多个测距点；
图6A和图6B示意性示出了根据基于M个图像的本发明的方法的该第二实施例的另一个实例，其中M=4且每一个图像中具有一个或多个测距点，具有获取图像和测距点的步骤(图6A)和提取图像中的类似点的步骤(图6B)；图7A和图7B示意性示出了根据基于M个图像的本发明的方法的第三实施例的实例，其中M=4并且在这些图像中的3个的中心处具有单个测距点，具有获取图像和测距点的步骤(图7A)和提取图像中的类似点的步骤(图7B)；图8示意性示出了根据本发明的示意性光学电子系统；图9示出了从MNT网格开始以三角形式密化空间方位角的处理和结果；图10示出了景物模型的密化结果对互见度计算的影响。附图之间，相同的元件由相同的附图标记标识。
具体实施例方式区域的地理参照误差受六个外部参数的品质制约，所述六个外部参数也称为曝光参数，示出在图2中并且表示为-检测器的绝对位置，其通过定位装置来获得，并且其在局部地理坐标系统中表征为〇其平面坐标X和y，以及，O其高度坐标z，-通过诸如导航惯性系统(CNI)的惯性装置和/或惯性测量单元(UMI)获得的图像的绝对空间方位角，并且其可以表征为〇由其方位角Ψ和量化其俯角的定向角Θ限定的LdV的方向，O图像绕LdV的第三旋转角φ,也称为摆动角。检测器(或站照相机)的位置优选在以下笛卡尔地理坐标系统中使用-或者以地球为中心的全球系统(或ECEF,表示地心地固)，-或者以地面上某点为中心的局部系统(或ENU，表示东北向上)，或者等效地，因其简单地摆动轴线X和y并且反转轴线Z，因此局部地理坐标系统也称为NED (即北东向下)。该位置测量在平台上获取或者，如果传感器允许安装在平台上的话，在传感器上获取(陆地照相机实例)。为了得到很精确的位置信息，优选地使用由局部导航卫星系统(GNSS)生成并且与可用惯性信息(诸如，平台的CNI、传感器的UMI)理想混合的信息。目前，所设想的GNSS系统尤其依赖于GPS及其配件EGNOS、Galileo (当Galil6o可利用时)和GL0NASS (当其更新完成时)。6个曝光参数(xm，yffl, zffl, φ. θ ω, Ψω)被确定为具有受测量仪器和相关处理单元的品质约束的品质。假定光电子系统的内部参数(图像的焦点和光学畸变、基本像点等)的校准在其它地方进行。然而，方法也可以估计这些参数并且更精确地确定例如在传感器操作条件(温度和机械应力)下假定的光学畸变模型的参数的特定值。用于地理参照区域方法依靠图8中所示的成像光电子系统100来执行，所述成像光电子系统100包括-检测器I，诸如照相机，-测距仪2，其LdV在检测器的光电子通道上协调，
-装置3，其定位检测器，诸如GNSS器件、或可了利用诸如GPS的辅助器件来混合的UMI、恒星传感器、地平传感器等，-惯性装置4，其测量诸如惯性单元等的检测器的空间方位角，-装置5，其利用适当的科技器件(反射镜、光学纤维、特定的检测器，等)和适当的信号处理来获取与测距点对应的像点的坐标，-处理单元6，其包括用于将所获得的图像的位置和空间方位角测量与距离同步的装置，并且包括用于提取并测量像点的坐标的装置5。用于测量同步的时间戳记基准优选在具有最高的图像获取速率或距离测量速率的信息基础上进行。通常，方法包括以下步骤-依靠检测器I获取M个连续图像，在这M个图像之间分割成像区域，其中M彡1，-通过测距仪2在系统与被称为测距点的区域的P个点之间测量P个距离屯、d2、. . .、dP，其中P彡3，这些测距点分布在K个所述图像中，其中I彡K彡M，-在获取M个图像时，通过定位装置3获取检测器的定位xm，ym,zm,-在获取M个图像时，通过惯性装置4测量检测器I的空间方位角φ ,Θ m, Ψω,-通过装置5获取这K个图像中与这P个测距点对应的被称为像点的点的坐标(Pi，Qi)> (P2, %)、…、(Pp，Qp) -根据允许定位(Xm，ym，zm)的测量和检测器的空间方位角(Ψπ，θω,φβ)、Ρ个距离和P个像点坐标,通过处理单元6估计与M个图像对应的曝光条件参数cpe,Θ e, Ψ6)，以便校正M个图像的参数(X。，y0, Z0, Ψ0, θ 0, φ )上的误差。通常，表征K个图像中每一个图像的CPDV的参数的估计利用以下要素来执行-定位测量和空间方位角测量，-距离测量以及，-像点坐标，-地面的景物模型或假设。以下描述了四种应用，该应用在成像区域上应用多次距离测量以便进一步掌握与通过测量而提供的描述曝光站和图像空间方位角的照相机参数(CPDV)有关的知识，或者甚至在不需要角度测量的情形下确定这些参数。应用(I):利用3个距离来强化空间方位角和高度。使用具有3个距离测量的连续图像区域，以便精确地确定表征LdV取向(不包括最后绕LdV的旋转角(φβ)和传感器的高度Ztl的2个角度值(Wc^P (参见图2)。需要重申的是，这三个参数包括在严重倾斜的视野中(参见图I)测量误差对图像的地理参照具有最关键的影响的两个参数。基于准确度和精确度都比角度测量所提供的准确度和精确度更好的测量所进行的确定，其构成了根据本发明的方法的重点。该应用构成了启发性示例和该方法基本原理的展示。应用(2):密化成像区域上地表。使用与待估计参数数量有关的距离和图像测量的冗余。除3个所需的最小距离之外，每一个新的距离提供与至目标点处的景物的距离有关的相关测量，因此对于已经知晓的传感器位置和图像空间方位角，相关信息着眼于定位地面上的目标点。确定分散点的高度和位置以密化地面模型的初始知识。在曝光参数和景物参数的联合估计中，处理将所有测量充分考虑在内。然而，显然为了阐明其意义，可以使用一些测量去估计CPDV，并且使用剩下的测量去识别地面上作为测量主体的位置上的高度。 应用(3):采用一组图像和距离测量的航空分割测量(a6ro_lat6ration)。利用一组重叠图像、图像之间的相似图元的观测、图像上的距离测量、景物模型和近似测量，能够初始化图像的曝光参数，以便强化每一个图像的曝光参数和描述景物模型的参数。该应用重点在于外部参数的估计，而非由焦点组成的内部参数，图像主点(PPI)的坐标和光学畸变的描述也可以在该应用的背景下进行估计。使用图像上距离测量的冗余，以便密化景物模型，由此强化相应特征(MEC)与估计迭代中提取的定位之间的映射。该应用示出了在最一般尺寸的操作应用背景下处理的执行。应用(4):地标的使用。在与地理参照的参考图像数据配对的成像区域的点上使用至少3个距离测量，以便清楚地计算外部曝光参数并且强化其知识。下文中给出了执行这些应用的一些细节。应用(I):采用3个距离来强化CPDV对于远景曝光，将图像和地形坐标联系在一起的共线性等式可以写出将地面点“G”的坐标(xk，yk，zk)与图像像素相关联的位置函数，如
权利要求
1.一种依靠成像光电子系统(100)地理参照区域的方法，其包括依靠检测器(I)获取M个连续图像的步骤，成像区分布在这M个图像之间，其中M ^ 1，特征在于，所述方法还包括以下步骤 -测量在系统与所述区域中被称为测距点的P个点之间的P个距离Clpd2.....dP，其中P≥3，这些测距点分布在所述图像的K个图像中，其中I < K < M， -在获取M个图像的同时获取检测器的定位Xm，yffl, zffl, -在获取M个图像的同时测量检测器的空间方位角0ffl, ^ffl, -获取这K个图像中与P个测距点对应的被称为像点的点的坐标(P1, Q1)、(p2, q2)、…、(Pp> Qp)， -以及以下步骤根据定位、空间方位角、距离和像点坐标估计与M个图像对应的曝光条件参数xe，ye，ze，9 e, ，以便校正M个图像中的每一个图像的参数xm) y* zm) 9 III) <Pm 的差。
2.根据上述权利要求所述的地理参照区域的方法，其特征在于，M^ 3，连续获取区域的M个图像，这些图像示出了两两重叠的区域，并且该方法包括提取这M个图像的重叠区域中的类似图元的步骤和基于这些类似图元两两地映射图像的步骤。
3.根据上述权利要求所述的地理参照区域的方法，其特征在于，当P=K时，测距点分别位于每一个图像的中心。
4.根据上述权利要求所述的地理参照区域的方法，其特征在于，由于所述光电子系统固定，因此所述参数Xe、ye> Ze仅被估计一次。
5.根据权利要求3所述的地理参照区域的方法，其特征在于，所述光电子系统包括用于测量定位系统(3)的轨迹、速度、加速度并且在以参数形式建模的该轨迹上运动的运动学装置，估计与图像获取、测距对应的时刻的位置的定位x6，le, z6。
6.根据前述权利要求中任一项所述的地理参照区域的方法，其特征在于，当在同一个图像中存在多个测距点时，同时获取这些点的距离测量。
7.根据权利要求I至5中任一项所述的地理参照区域的方法，其特征在于，当在同一个图像中存在多个测距点时，连续获取这些点的距离测量，获取每一个距离的时间小于或等于获取这个图像的时间与图像中的这些点的数量之比。
8.根据权利要求I至7中任一项所述的地理参照区域的方法，其特征在于，其包括利用参考地理参照数据使动态图像的测距点与这些参考数据自动配对的步骤。
9.一种地理参照光电子系统(100)，其包括检测器(I )，其具有LdV ;装置(3)，其定位该检测器；装置(4)，其测量检测器的空间方位角；测距仪(2)，其与检测器的LdV协调；装置(5)，其获取测距点的图像坐标；以及处理单元(6)，其连接至上述元件，并且能够执行如权利要求3所述的方法。
10.根据前述权利要求所述的地理参照光电子系统(100)，其特征在于，所述测距仪(2 )发射激光束并且配备有用于分裂或偏转被发射激光束的装置，并且所述处理单元(6 )能够执行如权利要求I至8任意一项所述的方法。
全文摘要
本发明涉及使用成像光电子系统(100)来地理参照区域的方法，其包括使用检测器(1)获取M个连续图像的步骤，成像区域分布在这M个图像之间，其中M≥1。本发明还包括以下步骤测量在系统与所述区域中被称为测距点的P个点之间的P个距离d1、d2、...、dP，其中P≥3，这些测距点分布在所述图像的K个图像中，其中1≤K≤M，在获取M个图像的同时获取检测器的定位xm,ym,zm，在获取M个图像的同时测量检测器的空间方位角θm，Ψm，获取这K个图像中与P个测距点对应的被称为像点的点的坐标(p1,q1)、(p2,q2)、…、(pP,qP)，以及以下步骤根据定位、空间方位角、距离和像点坐标，估计与M个图像对应的曝光条件参数xe,ye,ze,Ψe,θe,以便校正M个图像中的每一个图像的参数xm,ym,zm,Ψm，θm,的误差。
文档编号G06T7/00GK102741706SQ201080062973
公开日2012年10月17日 申请日期2010年12月15日 优先权日2009年12月16日
发明者A·西蒙 申请人:泰勒斯公司