用于多光谱数据的几何参照的方法和系统与流程

本发明涉及例如在航空或工业成像中的图像捕获领域。更具体地，本发明涉及用于获得多光谱图像的感测系统、对应的成像系统和使用它们的方法。

发明背景

高光谱成像是光谱成像的一种形式，其中来自跨电磁频谱的信息被收集在许多窄光谱带中并被处理。被成像的对象的信息可从收集到的不同光谱图像中被导出。例如，由于某些对象在图像中留下甚至可能取决于对象的状态的独特的光谱特征，所以通过多光谱成像所获得的信息可提供关于被成像区域中的对象的存在和/或状态的信息。在选择将被成像的光谱范围之后，由于该完整的光谱范围中的光谱图像可被获取，所以不需要具有对象的具体的先验知识，并且后处理可允许获得所有可用信息。

虽然最初的高光谱遥感主要被用于采矿和地质学，但是其他应用(诸如生态、农业和监控之类)也利用成像技术。

已知其中高光谱遥感被使用的一些农业和生态应用，举例而言，用于监测农作物的发育和健康、葡萄品种检测、监测各个森林冠层、植物化学成分的检测以及疾病爆发的早期检测、监测污染和其他环境因素的影响等是一些感兴趣的农业应用。高光谱成像也被用于内陆和沿海水域的研究以检测生物物理属性。在矿物学中，有价值的矿物(诸如金或钻石)的检测可使用高光谱感测来执行，而且还设想了检测来自管道和天然井的油气泄漏。地球上或甚至在其他行星、小行星或彗星处的土壤组成的检测也是高光谱成像的可能应用。例如，在监控中，高光谱成像可被执行以用于生物的检测。

在一些应用中，多光谱数据可通过在感兴趣的一个光谱范围中收集区域的全二维图像并且随后在感兴趣的其他光谱范围中收集该区域的其他全二维图像来获得，据此，光谱滤光器在两者间切换。然而，这种数据收集方式并不总是行得通的，尤其是当感兴趣的区域和成像系统相对彼此经历大的相对移动时。

鉴于该相对移动，位置信息的精确确定对于对收集到的不同光谱数据的正确解释而言是重要的。已知的系统利用全球定位系统(GPS)和/或惯性测量单元(IMU)。

以本申请人的名义的国际专利申请公开WO 2011/073430 Al公开了一种用于获得相对于感测设备相对移动的感兴趣区域的几何参照式多光谱图像数据的感测设备。该感测设备包括第一二维传感器元件。该感测设备被适配成用于在感兴趣的区域相对于该感测设备的所述相对运动期间获得后续的多光谱图像，从而使用第一传感器的不同部分为感兴趣区域的不同部分提供光谱上有区别的信息。该感测设备还包括第二二维传感器元件，并且该感测设备被适配成用于使用该第二传感器元件来提供感兴趣区域的图像以生成要被耦合到有区别的光谱信息的几何参照信息。

已知的传感器设备以相同的帧速率(例如50帧每秒)来获取光谱数据(用第一传感器元件)和几何数据(用第二传感器元件)。

当帧速率被进一步提高时，已知的传感器设备生成大量的可能难以处理的数据，并且光谱数据与几何数据的配准变得在计算上更加苛刻。

该缺点可致使已知的传感器设备不太适合于要求大量光谱信道的应用。于是,要求非常高的帧速率以确保在所有相关的频谱带中的全空间覆盖。

技术实现要素：

本发明的实施例的目的是至少部分地克服现有技术的传感器设备的缺点。

更具体地，本发明的实施例的目的是提供一种在光谱感测元件的提高的帧速率下可被有效地使用的传感器设备。

根据本发明的一个方面，提供了一种用于获得相对于感测设备相对移动的感兴趣区域的几何参照式多光谱图像数据的感测设备，该感测设备包括：至少第一二维传感器元件，该感测设备被适配成用于在感兴趣区域相对于感测设备的所述相对运动期间获得后续的多光谱图像，从而使用第一传感器元件为感兴趣区域的不同部分提供有区别的光谱信息；第二二维传感器元件，该感测设备被适配成使用第二传感器元件来提供感兴趣区域的图像，以生成要被耦合到有区别的光谱信息的几何参照信息；该第一二维传感器元件可在第一帧速率下操作以捕获第一帧序列，并且该第二二维传感器元件可在第二帧速率下操作以捕获第二帧序列；其中第一帧速率高于第二帧速率；并且其中该感测设备还包括处理器，该处理器被配置成生成要被耦合到所述第一帧序列的帧的中间几何参照信息，其中对于所述第一帧序列的帧，来自所述第二帧序列的同步帧不可用，所述中间几何参照信息是从来自所述第二帧序列的一个或多个时间上类似的帧导出的。

本发明的优点是第二图像传感器可在降低的帧速率下操作，从而导致较少量的数据被生成。因此，该架构允许光谱传感器的帧速率的提高，进而允许使用具有更多波长信道的光谱传感器。以此方式，可提供非常有效的高光谱感测设备。

在根据本发明的感测设备的实施例中，所述第二帧速率被选择以确保由所述第二帧序列的连续帧成像的相应区域之间的预定量的重叠。

本实施例的优点是，该第二帧速率可被调整来提供必要的重叠量以允许适当的几何参照，而第一帧速率可被设置为提供所有相关波长信道的全空间覆盖所需的值。第一帧速率可使得图像与先前图像的重叠(例如具有至少10％，更有利地具有至少25％，还更有利地具有至少50％(诸如举例而言具有60％的重叠))被建立，使得关于在后续图像之间的仪器定向中的相对变化的信息可被检测到。

在根据本发明的感测设备的实施例中，光谱滤光器和第一传感器元件被布置成使用第一传感器元件的一部分来获得在第一波长或波长范围的光谱信息，并且使用第一传感器元件的另一部分来获得在第二波长或波长范围的光谱信息。

这是在根据本发明的系统中实现第一传感器元件的特别有利的方式。

在根据本发明的感测设备的实施例中，第一传感器元件和第二传感器元件被集成在同一基板上。

该实施例的优点是，第一传感器元件与第二传感器元件之间的空间关系是固定的，这有助于地理参照并且消除对感测设备频繁的重新校准的需要。该实施例的另一个优点是，在同一芯片上的集成和制造可导致至少两个传感器的类似的热性能，这对于轻型UAV(鉴于重量，其通常不能被提供对系统上的热负荷的补偿)来说可能是非常重要的。传感器的类似的热性能在其他应用中也可能是有利的，因为不要求或者只要求很少的热负荷补偿。

根据本发明的一个方面，提供了一种包括如上所描述的感测设备的成像系统。

根据本发明的一个方面，提供了一种包括如上所描述的成像系统的飞行器。

根据本发明的一个方面，提供了一种用于获得相对于感测设备相对移动的感兴趣区域的几何参照式多光谱图像数据的方法，该感测设备包括：

在感兴趣区域相对于感测设备的所述相对运动期间获得后续的多光谱图像，从而使用第一传感器元件为感兴趣区域的不同部分提供有区别的光谱信息；使用第二传感器元件提供感兴趣区域的图像，以生成要被耦合到有区别的光谱信息的几何参照信息；

第一二维传感器元件以第一帧速率捕获第一帧序列，并且第二二维传感器元件以第二帧速率捕获第二帧序列；其中第一帧速率高于第二帧速率；并且其中该方法还包括生成要被耦合到所述第一帧序列的帧的中间几何参照信息，其中对于所述第一帧序列的帧，来自所述第二帧序列的同步帧不可用，所述中间几何参照信息是从来自所述第二帧序列的一个或多个时间上相似的帧导出的。

根据本发明的一个方面，提供了一种包括被配置成使处理器执行如上所描述的方法的代码手段的计算机程序产品。

根据本发明的成像系统、飞行器、方法和计算机程序产品的实施例的技术效果和优点经必要修改与根据本发明的感测设备的对应实施例的技术效果和优点相对应。

附图简述

本发明的实施例的这些以及其他技术方面和优点现在将参考附图更具体地描述，其中：

图1示出了可在本发明的实施例中被使用的用于获得几何参照式多光谱数据的感测设备的示意图；

图2示出了如在WO 2011/073430 Al中公开的用于获得几何参照式多光谱数据的感测设备上的传感器元件的布局的示意图，其可根据本发明进行改进；

图3例示了在根据本发明的实施例的系统中可被使用的多个高光谱图像；

图4示出了根据本发明的实施例的包括用于获得几何参照式多光谱图像数据的感测设备的成像系统；

图5表示根据本发明的实施例的光谱(S)和几何(G)帧的捕获的时序图；

图6表示本发明的实施例的流程图；

图7表示在本发明的实施例中使用的算法的流程图；

图8提供了例示在本发明的实施例中所使用的滤波和插值算法的第一张曲线图；以及

图9提供了例示在本发明的实施例中所使用的滤波和插值算法的第二张曲线图。

在不同的附图中，在适用的情况下，相同的附图标记指代相同或类似的元件。

实施例的描述

为了解说的目的，将参考上述国际专利申请公开WO 2011/073430A1的感测设备来描述本发明，但这是在不失一般性的情况下完成的。如在下面的描述中更具体地描述的，本发明的表征特征可与已知的感测设备的各种实施例的特征进行组合。已知的感测设备的对于理解本发明不是必要的细节被省略；为了指导本发明的对应实施例的实现，将WO 2011/073430 A1的描述通过引用合并至此。

在本发明中，当提及二维多光谱图像时，指的是包括关于在一个波长或光谱区域成像的感兴趣区域的一部分的信息并包括关于在不同波长或光谱区域成像的感兴趣区域的至少另一部分的信息的m×n像素化图像。虽然在一个光谱区内获得的光谱信息可以是像素的线、组或子矩阵，但是整个底层像素化传感器通常是二维光谱传感器。根据本发明的实施例可应用于电磁射线的宽光谱范围。可被覆盖的具体范围是通常被认为在400nm至1000nm的范围内的可见和近IR(VNIR)、短波红外、热红外等，本发明的实施例不限于所给出的示例性范围。在本发明的实施例中，当提及多光谱图像或多光谱图像数据时，指的是包括关于至少两个不同波长或波长区域的感兴趣区域的单独信息的数据。高光谱图像或图像数据是指包括大量波长或波长区域的单独信息的数据。除非另有说明，对多光谱图像的提及包括高光谱图像。

在根据本发明的实施例中，当提到感兴趣区域中的点或对象的地理参照或几何参照时，指的是物理空间中的感兴趣区域中的点或对象的存在。它指的是根据地图投影或坐标系建立位置。后者可例如包括位置信息，举例而言，相对位置信息。这种位置信息可以是(x,y)相关的位置信息，但也可以是z相关的位置信息，诸如高度或相对高度。位置信息不仅适用于其中它通常被称为地理参照的航空摄影、航空成像或卫星成像，而且也在其他应用中适用，诸如举例而言在工业检查中。

在第一方面，本发明涉及一种用于获得几何参照式多光谱图像数据的感测设备。虽然感测设备可能尤其适合于高光谱成像，但是本发明的实施例不限于此。根据本发明的实施例的感测设备尤其适合于使用感测设备和相对于彼此相对移动的感兴趣区域来获得几何参照式多光谱图像数据，这是例如当执行从空中成像时或者当执行使用俯视图来成像时的情况。根据本发明的实施例的感测设备包括单个基板，例如单个芯片。该基板可以是任何类型的基板，诸如举例而言玻璃基板、聚合物基板、半导体基板等。在一些有利的实施例中，基板可以是半导体芯片，从而提供使用用于传感器元件的集成的半导体工艺步骤的可能性。单个芯片包括至少第一二维传感器元件，由此感测设备被适配成使用该第一二维传感器元件为感兴趣区域的不同部分提供光谱上不同的信息。单个芯片还包括第二二维传感器元件，由此感测设备被适配成使用该第二传感器元件来提供感兴趣区域的几何参照信息。几何参照信息有利地可被耦合到由感测设备获得的光谱信息。根据本发明的实施例的优点在于，在同一芯片上处理至少一个第一以及第二传感器元件。后者允许传感器元件的精确对准，使得需要很少或者不需要用于将传感器元件相对于彼此定位的后续对准。

作为解说，本发明不限于此，将参考图1至图3进一步讨论示例性感测设备以及包括这种感测设备的成像系统，本发明的实施例不限于此。

在图1中，示出了根据本发明的实施例的感测设备100，其中该感测设备100包括在同一芯片上(即在同一基板102上)被处理的至少一个第一传感器元件112以及第二传感器元件122。因此，第一传感器元件112和第二传感器元件122以及任选的另外的传感器元件可以是在同一基板102上处理的采用同构或异构工艺的传感器元件。有利地，传感器元件是在同一基板102上的采用同构工艺的传感器元件112、122。传感器元件112、122可被集成在同一基板102上，由此为使用相同工艺技术(例如但不限于CMOS工艺技术)的两个传感器元件112、122处理构成不同传感器元件的不同层。传感器元件通常可包括多个像素。虽然像素通常可以以矩阵形式被布置成多个列和行，但是本发明不限于此。由于传感器元件是包括举例而言传感器像素m×n的矩阵的二维传感器元件，所以传感器元件可被称为框架传感器元件。可选择两个传感器元件，使得一行中的像素数量或一列中的像素数量中的至少一个对于两个传感器来说是相同的。在有利的实施例中，传感器元件可包括在一个方向上的大量像素用于以相对高的空间分辨率对相对宽的感兴趣区域同时成像。例如，如果感测设备被用于使用UAV检测或监视感兴趣区域，则优选的扫描宽度可为至少1000m，更有利地为至少2000m，还更有利地为至少3000m。在考虑至少1m，更有利地至少50cm，还更有利地至少30cm的优选地面分辨率的情况下，在一些示例中，一个方向上的像素数量可为至少1000，在其他示例中为至少4000，在又一些其他示例中为10000。作为解说，本发明的实施例不限于此，在图2中示出了用于基板上的传感器元件112、122的布局的示例。传感器元件112、122有利地是表面对准的。虽然两个传感器之间的距离可以小于1mm，但是本发明的实施例不限于此。

感测设备100还包括用于驱动传感器元件112、122的驱动和读出电路。驱动和读出电路130可被适配成用来彼此不同地驱动传感器元件112、122。驱动和读出电路130可以是从现有技术中已知的驱动和读出电路，由此该驱动和读出电路130可包括诸如放大器、开关、总线等之类的组件。在一些实施例中，像素设计、列结构和总线驱动器被布置成使得跟随总线的多路复用器可被避免，从而导致更好的图像质量。驱动和读出电路还可被适配成用来读出传感器元件112、122。该读出可被优化以供有效和快速的读出。例如，在10000×1200传感器中，全分辨率下的帧速率可以是每秒至少35帧，例如每秒至少50帧。驱动和读出还可由不同的组件来执行，即单独的驱动电路和单独的读出电路可被提供。传感器可配备有快门，使得快速关闭(例如电子关闭)可被获得。可在相同的芯片或管芯上使用半导体工艺(诸如举例而言CMOS技术)来处理传感器元件以及驱动和读出电路，本发明的实施例不限于此。

根据本发明的实施例，感测设备被适配成使用第一二维传感器元件来为感兴趣区域的不同部分提供不同的光谱信息。因此，感测设备可被适配成用来生成多光谱图像。在一些实施例中，感测设备可被适配成用来生成高光谱数据(即在许多窄光谱带中)。由于根据本发明的实施例的第一传感器元件是二维传感器元件，并且由于不同的光谱信息要被捕获，所以通常传感器元件的一部分可被用来为感兴趣区域的一部分获得在第一波长下或第一波长区域中的光谱信息，并且传感器元件的至少一个其他部分可被用来为感兴趣区域的至少另一部分获得在至少第二波长下或至少第二波长区域中的光谱信息。在一些实施例中，传感器元件的不同行可被用于收集不同光谱波长下或不同光谱波长区域中的数据。在其他实施例中，举例而言，传感器元件的不同块可被用于感测不同的光谱数据，或者不同的列可被用于感测不同的光谱数据。为了捕获不同的光谱信息，可提供多光谱滤光器114(有利地可为高光谱滤光器)。多光谱滤光器114与第一传感器元件112以及驱动和读出电路或其用于控制第一传感器元件112的部分一起形成第一传感器。多光谱滤光器可被直接应用于第一传感器元件，例如，机械地起到单个元件的作用。替代地，该两个组件可彼此分开，但被配置或布置成使得适当的滤光被获得。作为解说，现在讨论多光谱传感器的一些示例。

作为解说，图3中示出了一组高光谱数据可使用根据本发明的示例性实施例的传感器来获得。虽然对高光谱数据作出引用，但是后者同样适用于多光谱数据。图3例示了被记录在m个后续时间跨度中的多个后续高光谱图像，由此针对感兴趣区域与感测或成像系统之间的相对移动来记录光谱，该相对移动对应于在后续的时间跨度的总和期间行进的距离xm-x1上的总移动。

图3例示了m个高光谱图像，每个图像由m行组成，其中行L_j包括波长λ_j或例如光谱带λ_j-λ_j-1的信息。不同的图像在m个后续时间帧内被记录。作为解说，在所有不同的高光谱图像中，指示了感兴趣区域的坐标x_p和y_q处的物理位置的成像。例如可以看出，关于感兴趣区域的不同y_q坐标的坐标x₁处的物理位置的信息在第一张高光谱图像HI₁的行1中，在第二张高光谱图像HI₂的行2中，在第三张高光谱图像HI₃的行3中……以及在第m张高光谱图像HI_m的行m中被找到。在这些高光谱图像的每一张中，该信息针对不同的波长或波长区域被成像。以替代方式来看，关于在波长λ_m下或在对应光谱带λ_m-λ_m-1中成像的感兴趣区域的信息可通过对作为相邻图像行的后续高光谱图像的行m中的信息进行组合来找到，m个高光谱图像的集合形成在波长λ_m下或在对应光谱带λ_m-λ_m-1中成像的感兴趣区域的m×n图像。类似地，m个后续高光谱图像的其他行包含关于在不同波长下或在不同光谱带中的感兴趣区域的信息。后者解说了高光谱图像如何提供关于不同光谱波长或在不同光谱带中的信息以及在感兴趣区域和感测系统的相对移动期间所记录的后续高光谱图像如何能够提供不同波长或在不同光谱带中的整个感兴趣区域的图像。将注意到，虽然针对覆盖不同波长的后续行解说了原理，但是本发明的实施例不限于此，并且各种光谱信息(举例而言，后续列的变化的光谱信息)还可在其它方向上被获得。此外，虽然针对其中每行对应于不同波长或光谱区域的传感器解说了原理，但是本发明的实施例不限于此，并且光谱图像的若干行可对应于相同的波长或光谱区域。光谱图像的特性在于，该图像包括关于至少两个不同波长或光谱区域的信息。使用上述原理的信息的捕获具有的优点在于，使用二维传感器元件，在不同波长或光谱区域记录二维图像，即得到三维信息(两个位置维度，一个光谱维度)。换句话说，在根据本发明的一些实施例中，用于光谱数据的传感器元件可被用作行或块感测子元件的集合，每个子元件记录给定波长或光谱区域中的位置信息，由此在感兴趣区域相对于传感器元件的相对移动期间随时间的记录对应于扫描感兴趣区域的不同位置。如上所述，感测设备100还包括第二二维传感器元件122，该第二二维传感器元件122与驱动和读出电路或其一部分一起形成用于驱动第二二维传感器元件122的第二传感器120。第二传感器120可被适配成用来获得可从其获得地理参照信息的感兴趣区域的图像。第二传感器120可被适配成用来提供高分辨率图像，提供关于感兴趣区域的详细的几何信息(例如地理信息)。经由第二传感器120获得的图像可允许在成像的感兴趣区域中导出联结点。

用第二传感器捕获图像的频率可使得图像与先前图像的重叠(例如具有至少10％，更有利地具有至少25％，还更有利地具有至少50％(诸如举例而言具有60％的重叠))被建立，使得关于在后续图像之间的仪器定向中的相对变化的信息可被检测到。所获得的关于旋转的信息可被用作根据本发明的实施例的几何参照信息，以便耦合到使用第一传感器110获得的多光谱数据，使得地理参照式多光谱数据可被获得。

根据本发明，用第二传感器捕获图像的频率低于用第一传感器捕获图像的频率。优选地，第二传感器的图像采集频率是第一传感器的图像采集频率的整数分之一，使得用第一传感器获取的图像与用第二传感器获取的图像在时间上周期性地重合。对于不存在第二传感器的同步图像的第一传感器的图像，必须使用经插值的几何数据。该经插值的几何数据是从在采集时间上最接近目标第一传感器图像的第二传感器图像(优选地是紧接在目标第一传感器图像之前和之后的第二传感器图像)获得的。在图5中示意性地例示出了图像采集频率的这种差异。

在本发明的实施例中，使用了尤其适合于平台姿态插值的插值算法。要被插值的参数包括描述感测设备的姿态的各种角度。因此，某些实施例至少部分地使用以角坐标表示的姿态数据的插值。

在本发明的实施例中，在考虑控制感测设备和其所安装的平台(例如飞行器)的运动的力学定律的情况下，插值算法使用一阶导数(角度和/或线速度)和二阶导数(角度和/或线加速度)来预测感测设备在所捕获的图像之间的时刻的姿态。这些一阶和二阶导数可从惯性测量单元(包括GPS、陀螺仪、加速度计等)获得。

插值算法的目的是基于(较不频繁地获取到的)第二传感器图像，针对每个第一传感器图像(光谱图像)来获得平台的位置和外部定向的精确估计。其输入可从两个独立源获得：

－经过滤的GPS/IMU(短时间隔)

使用GPS(位置)和IMU(姿态)：它们以较小的时间间隔提供“原始”测量数据。该数据通常具有噪声，并且各个测量并非非常精确。通常使用“卡尔曼滤波”(其是用于这种类型的数据的最佳滤波器)来过滤数据以在所有时间点取得平滑的“最可信”估计。该滤波在图7的图中被示为“静态校正”。

－基于图像(高精度)

使用图像数据：(高质量、高空间分辨率的第二传感器图像)。使用特征(地面控制点)来对图像中的专用点进行匹配。这可产生对存在G帧可用的时间点的位置和姿态的非常精确的估计。

所有第一传感器图像(即所有时间点)的最佳结果可通过对两个信息源进行组合来获得。我们列出三种可能的方法：

1.校正：使用经滤波的结果，并且每当基于图像的结果可用时，通过应用简单的偏移将经滤波的结果校正成基于图像的值。该偏移对下一个经滤波的结果保持不变。当下一个基于图像的结果可用时，计算所获得的结果的误差。这在循环中被反馈以设置新的偏移。该过程在图7中描述。

单个变量的示例结果被示于图8所呈现的图中。所测得的数据是点，示出了在后续的点之间的实质性噪声。底部的虚线曲线表示卡尔曼滤波结果。在点1、11和21处，还存在基于图像的结果。偏移量在点1处被设置，并且被一直应用到点10。在点11处，新的偏移被计算并且被应用直到点21。结果在实曲线中显示。在点11和21处，新的偏移被应用，这导致了曲线中的陡峭跳变。

2.插值：将经滤波的GPS/IMU结果调整成可用时间点的基于图像的结果的值。与如在先前方法中应用固定的偏移不同，偏移在可能的所有点处被计算，并且对于其间的所有点，偏移被插值。简单的线性插值可被假设。

线性插值的示例在图9所呈现的图中示出。现在，短划线示出了偏移之间的线性插值。在最终结果中，经过滤的结果的线性行为被替换为基于经插值的图像的结果。基于经插值的图像的结果在图中的实线中示出。这与基于图像的点相匹配，并且遵照中间的经滤波的曲线的形状。优点在于避免了结果中的跳变。缺点在于中间结果只能在下一个基于图像的结果可用之后来计算。

3.将基于图像的结果添加到卡尔曼滤波：基于图像的结果可被简单地添加到GPS/IMU原始数据集。当给予适当的权重以得到较高的精确度时，卡尔曼滤波将考虑这一点并且最优地使用信息。这原则上导致了更好的结果。

本发明的实施例还涉及一种成像系统。在图4中作为示例示出了包括根据本发明的实施例的感测系统的成像系统200的示意性表示。成像系统200包括如上所述的感测设备100。成像系统200还包括用于将射线引导到感测设备100的两个感测元件的光学元件。这样的光学元件可例如包括至少一个透镜210以用于捕获要被收集的射线并且将射线聚焦到传感器元件上。在一些实施例中，单个透镜210可被用于收集两个传感器元件的射线，而在其他实施例中，不同的透镜可被用于不同的传感器元件。在根据本发明的一些实施例中，可使用射线分离器(诸如举例而言，分束器220)将收集到的射线分离至两个传感器元件。替代地或者除此之外，在对使用两个传感器元件所获得的图像进行关联时，在同一基板102上被处理的传感器元件112、122的配置可允许考虑传感器元件之间的位置信息。

成像系统还可包括图像处理器230以用于对利用第一传感器110和第二传感器120所获得的图像进行关联。图像处理器可例如对利用第二传感器120所获得的几何信息(例如位置信息)与在第一传感器110中的不同光谱信道中所获得的光谱信息进行关联，从而获得精确的高光谱信息。这样的图像处理可在单个处理器中或在多个处理器中被执行。虽然在一些实施例中，一旦在两个传感器110、120中捕获关于相同感兴趣区域的所有信息，就可执行基本上直接的处理，但是可以在捕获完整的图像集之后执行该处理。根据本发明的实施例的可由处理器230执行的图像处理的更具体描述在稍后将参考图6作进一步讨论，图6例示了根据本发明的实施例的用于感测的方法的一个示例的标准和任选步骤。

成像设备还可包括用于提供GPS数据的全球定位系统和/或用于提供关于成像系统的惯性数据的惯性测量单元。这样的组件可帮助提供近似的地理参照数据，这可有助于基于用第二传感器120获得的图像来导出地理参照式光谱数据。

在一个方面，本发明因此还涉及如上所描述的包括如上所述的感测设备的成像系统。在另一方面，本发明还涉及包括这样的用于监视、成像或检查的成像系统的工业系统或无人驾驶飞行器(UAV)。因此，根据本发明的实施例的优点在于，感测设备包括在同一传感器上的两个感测元件，使得由于温度变化的热负荷或者使得环境条件对于所获得的结果具有较小的影响。在又一方面，本发明涉及一种用于获得关于感兴趣区域的图像数据的方法。因此，根据本发明的实施例的优点在于，可以以高几何精度来获得感兴趣区域的多光谱数据，该高几何精度显著高于单独使用全球定位和/或惯性测量系统所能获得的几何精度。该方法尤其适用于其中使用经历相对于感兴趣区域的相对移动的感测设备来获得感兴趣区域的多光谱数据的应用，诸如举例而言，在执行航空成像或例如在行进的产品的工业检查期间。在航空成像的情况下，该方法还尤其适用于无人驾驶飞行器(UAV)，因为该方法可使用重量较轻的组件来执行，这是如果无人驾驶飞行器将被使用或将被使用更长的时间的主要要求。更具体地，所携载的重量越低，所要求的功率消耗就越低并且用无人驾驶飞行器可获得更长的飞行时间。

为了进一步解说根据本发明的实施例的方法的标准和任选特征，图6例示了用于获得图像数据的示例性方法的具体流程图。因此，该示例性方法被适配成捕获感兴趣区域的至少一个二维图像，以用于导出几何参照信息，以及用于使用如上所述的系统来捕获高光谱图像。更具体地，在本示例中，不同的高光谱图像在感兴趣区域相对于成像系统的相对移动期间被获得。高光谱图像以比几何参照图像更高的速率被获取，该速率优选地是整数倍并且可从公共同步块405被导出。在步骤430中，使用一个传感器来执行用于获得感兴趣区域的二维图像的图像采集。如步骤432所指示的，这样的图像采集包括一组分幅图像FI₁、FI₂……FI_n的采集，由此捕获n个图像。图像有利地具有显著的重叠使得一个图像上的几何信息(例如地理信息)可被传递至后续或先前所捕获的图像，并且使得相对的定向变化可被检测到。虽然重叠通常可被选定成60％的量级，但是本发明的实施例不限于此。如步骤434所指示的，联结点可被生成自至少两个图像的重叠。这样的联结点是在图像的重叠中出现的点，并因此允许在后续图像的采集之间确定仪器定向中的变化。此外，一些地面控制点可例如经由GPS，经由先前所记录的图像的列表等来获得，从而提供指示感兴趣区域中的对象与其在二维图像中的图像之间的地理相关性的地理信息。该方法可包括校准步骤，其中如442中指示的，光束法平差基于在438中指示的所生成的联结点，基于在440中指示的全局定位坐标并且基于初始相机参数436来执行。如444中所指示的，该后处理步骤允许获得更精确的外部定向，并且如步骤460中所示的，该后处理步骤随后可被用于获得具有精确的外部定向的经校正的分幅图像。任选地，还可使用精确的对象点以及分幅相机参数。如步骤446、448、480所指示的，可获得精确的对象点和精确的校准分幅相机参数以及标准数字高程模型(DEM)产品。

另一方面，在步骤410中，使用另一个传感器来执行光谱相机图像采集(例如高光谱相机图像采集)，从而产生如步骤412所指示的光谱图像集，由此在本示例中每个光谱图像由多个行组成并且每个行包含特定光谱带的信息。如参考图3所述，关于针对给定波长或给定波长区域中的感兴趣区域的全光谱信息被分布在不同的、通常随后被成像的高光谱图像上，并且如步骤416a、416b所指示的，针对整个感兴趣区域使用如414所指示的光谱分离来获得光谱平面信息。使用在步骤460中所获得的几何参照信息，几何参照式多光谱信息可通过将包括例如定向信息的几何参照信息耦合到任选地包括如462所指示的经校准的高光谱相机参数的光谱平面数据来获得。如418a、418b所示，后者导致了几何参照式光谱信息。

上述插值步骤发生在几何参照462之前，即在阶段444。在图7的更具体的流程图中示意性地例示了插值。

如步骤420和450中所指示的，使用所获得的数据，可分别针对多光谱和常规2维图像来执行图像的正射校正，从而导致如分别在步骤422和452中所指示的多光谱和常规2维图像的正射影像。正射校正是指使用例如传感器外部定向参数、分幅相机参数(也称为内部定向)以及标准数字高程模型(DEM)产品的经地形校正的图像的几何参照。该操作的结果是正射影像。如步骤470中所指示的，对这些正射影像进行组合允许执行多光谱数据的PAN锐化，使得经PAN锐化的高光谱正射影像可被获得(如步骤472所指示)。如步骤454所指示的，常规2维图像的正射校正可产生数字表面模型。

以上的示意性概述例示了根据本发明的实施例的一些标准的和任选的特征以及优点。

发明人还发现，依赖于来自不同光谱图像的信息的处理步骤的性能可通过提供任选的初步重新归一化步骤来得到提高。该初步重新归一化步骤可包括在相同布置的区域中划分光谱图像；对于每个区域，计算跨所述图像集的预定特性；并且对于每个图像，根据所述区域的预定特性来重新归一化每个区域中的亮度值。对于所述区域，可计算亮度值的一个或多个代表性特性。区域上的平均亮度值是一个这样的特性。另一个有用的特性是亮度值的标准偏差，其给出了将被测量的对比度的指示。更一般地，亮度值的分布可在更大的特性集合中被计算并表示。每个面积的所获得的特性集合可被用作归一化系数。在使用特性应用归一化之后，这些特性的值在所得图像中的不同区域上变得均匀。

确定归一化系数的过程通过在足够大的图像集上进行平均来执行，以便平均化图像内容的效果。

之后，可使用所建立的系数在相同的图像上或者在用相同仪器以类似方式获得的其他图像上执行归一化。该过程简化了工作方式，因为不必为每个新的图像集计算新的系数。

预处理的使用尤其基于发明人的洞察，即在表示不同波长带中的物理特征的同一采集系列的不同光谱图像之间，给定物理特征的亮度差存在两个分量：(1)该物理特征可在不同波长带中具有不同的反射率，以及(2)传感器可在不同波长带中具有不同的灵敏度。第二因素可通过相对于代表每个相应部分的平均值对图像的各个部分进行重新归一化来得到补偿。虽然不可能补偿第一因素，但是发明人惊奇地发现，在单独补偿第二因素之后，配准算法等的效率已极大地改善。该效应被认为是由于真实世界的物理对象通常随大部分感兴趣的频谱上的波长而展现出缓慢变化的反射率的事实。

预定的特性可以是平均亮度，并且重新归一化可包括相对于平均亮度值来重新归一化每个区域中的亮度值。

这些区域可对应于各个像素。该实施例的优点在于，传感器在每个像素的基础上被有效地校准，使得各个像素－滤光器组合的灵敏度的变化可被纳入考虑，而不管这种变化的来源(包括制造公差或滤光器中的杂质)。这导致伪像的最大抑制。通过将光学系统添加到像素－滤光器组合，完整的成像系统被获得。可选择来包括由光学系统造成的灵敏度变化以校正那些灵敏度变化或者排除它们，使得系统对不同的光学系统保持通用。

替代地，这些区域可对应于有区别的波长带。该实施例的优点在于，可对每个像素块执行重归一化，其中块通常表示传感器的矩形带或者多个矩形区域的组合。

在本发明的实施例的示例主要涉及用于航空摄影、航空成像或卫星成像的几何参照的情况下，如上所述，本发明的实施例不限于此，并且还可例如用于工业检查等。在一个示例中，感测设备可例如用于检查传送带上的货物，举例而言，用于检测货物之间的异物或用于检测偏离的货物。这种异物或偏离的货物通常将显示出偏离预期光谱图像的光谱图像。几何参照信息可以是物体或材料的侧向位置，但也可以是高度或相对高度。物体的这种高度或相对高度可例如基于几何参照传感器相对于被成像的物体的视角的几何参照信息来确定。本领域技术人员已知基于相对于待成像的整个感兴趣区域的已知传感器位置和视角从图像数据导出高度信息。

在一个方面，本发明还涉及一种处理系统，其中用于感测或成像的方法或者如在前述方面的实施例中描述的这种方法的一部分是以基于软件的方式实现的。这样的处理系统可包括耦合到存储器子系统的至少一个可编程处理器，该存储器子系统包括至少一种形式的存储器，例如RAM、ROM等。应当注意，处理器或多个处理器可以是通用或专用处理器，并且可包含在设备中，例如具有执行其他功能的其他组件的芯片。因此，本发明实施例的一个或多个方面可实现在数字电子电路中，或计算机硬件、固件、软件中，或它们的组合中。处理系统可包括具有至少一个磁盘驱动器和/或CD-ROM驱动器和/或DVD驱动器的存储子系统。在一些实现中，可包括显示系统、键盘和定点设备作为用户接口子系统的一部分以便向用户提供手动输入信息。也可以包括用于输入和输出数据的端口。可包括更多元件，诸如网络连接、到各个设备的接口等。处理系统的各种元件可以以包括经由总线子系统的各种方式被耦合。存储器子系统的存储器可在某一时间保存当在处理系统上被执行时实现本文所描述的方法实施例的步骤的一组指令的一部分或全部。

本发明还包括当在计算设备上被执行时提供根据本发明的任何方法的功能的计算机程序产品。这样的计算机程序产品可有形地实施在承载用于由可编程处理器执行的机器可读代码的载体介质中。本发明因此涉及载有计算机程序产品的载体介质，当在计算装置上执行时其提供用于执行如前所述的任何方法的指令。术语“载体介质”是指参与向执行的处理器提供指令的任何介质。这样的介质可采取许多形式，包括但不限于非易失性介质和传输介质。非易失性介质包括诸如作为大容量存储的一部分的存储设备，例如光盘或磁盘。计算机可读介质的常见形式包括CD-ROM、DVD、柔性盘或软盘、磁带、存储器芯片或卡带、或计算机可从中作读取的任何其他介质形式。各种形式的计算机可读介质可涉及将一个或多个指令的一个或多个序列携载至处理器以供执行。计算机程序产品也可经由诸如LAN、WAN或因特网之类的网络中的载波传输。传输介质也可以采用声波或光波的形式，例如那些在无线电波和红外数据通信期间生成的波。传输介质包括同轴电缆、铜导线和光纤，包括含计算机内部总线的各类导线。

尽管已经在附图和前面的描述中具体地解说和描述了本发明，但是此类解说和描述被认为是解说性的或者示例性的而非限制性的。本发明不限于所公开的实施例。本领域技术人员在实践所要求保护的发明时，可以理解和实现所公开的实施例的其他变型。前面的描述具体说明了本发明的某些实施例。然而，应当理解，无论前述内容在文本中出现得多么具体，本发明可以以许多方式实践，并因此不限于所公开的实施例。应当注意的是，在描述本发明的某些特征或方面时，特定术语的使用不应当用来暗示术语在本文中被重定义以受限于包括与所述术语相关联的本发明的特征或方面的任何特定特性。

单个处理器或其他单元可履行权利要求书中所述的若干项的功能。在相互不同的从属权利要求中陈述某些措施的纯粹事实并不表示不能有利地使用这些措施的组合。计算机程序可被存储/分布在合适的介质(诸如与其他硬件一起或作为其他硬件的一部分提供的光学存储介质或固态介质)上，但也可以其他形式(诸如经由因特网或者其他有线或无线电信系统)来分布。权利要求中的任何引用符号不应被解释为限制范围。

虽然上文已参考特定实施例对本发明进行了描述，但是这是为了阐明而非限制本发明。技术人员将理解，在不脱离本发明的范围的情况下，所公开的特征的各种修改和不同的组合是可能的。