基于感知的飞行器自主着陆的制作方法

1.本主题公开总体涉及飞行器操作，并且特别涉及跑道和跑道标志的自主检测。


背景技术：

2.安全、可预测且可靠的着陆是有效的基于飞行器的运输系统的必要方面。在许多情况下，驾驶的飞行器只能在高能见度和晴朗的天气条件下视觉着陆。尽管在一些情境中可以使用外部导航系统，诸如仪表着陆系统(ils)和全球定位系统(gps)，但一些情况需要能见度和云层条件低于指定的决断高度，以允许飞行员视觉着陆。即使在可以使用外部系统的情况下，那些外部系统也会受到中断、不准确和干扰的影响，这给使着陆过程自动化的努力带来了技术挑战。
3.与自动着陆或在着陆期间自动生成引导以协助飞行员相关联的技术挑战因多种因素而变得复杂，该因素诸如天气和能见度条件的多样性和多变性、在不同机场处的专门装备的可用性和可行性，以及对着陆操作的算法方法所需的稳健性。


技术实现要素：

4.本主题公开的示例实施方式针对跑道和跑道标志的自主检测。本主题公开的示例实施方式通过以下方式解决并克服与飞行器中的自主进场和着陆操作相关联的技术挑战：使用机器学习模型以识别着陆环境的图像中的特征，确定飞行器相对于着陆环境的姿态，并生成着陆所需的水平、竖直和其他位置引导。一些示例实施方式至少在以下意义上是灵活的：此类示例实施方式可以适应一系列被动和主动传感器，包括但不限于例如视觉成像设备、高光谱成像设备、光雷达、雷达等，以感知着陆环境并确定飞行器相关姿态，并且可以与不同大小的各种有人和无人驾驶飞行器一起使用，以在视觉、精确和非精确跑道上着陆。一些示例实施方式也至少在以下意义上具有成本效益：此类示例实施方式不需要在给定的机场安装昂贵的地面基础设施。
5.因此，本主题公开包括但不限于以下示例实施方式。
6.一些示例实施方式提供了一种支持飞行器接近机场上的跑道的方法，该方法包括接收由接近跑道的飞行器上搭载的相机捕获的机场的图像序列；以及对于该图像序列中的至少一个图像，将该图像应用于经训练以执行物体检测和分割的机器学习模型，其中在该图像中检测到机场上的跑道或跑道上的跑道标志，并且其中产生遮罩(mask)，该遮罩包括图像中的分配给跑道或跑道标志的物体类别的像素段；将遮罩应用于角点检测器以检测遮罩上的兴趣点，并由此检测图像中的跑道或跑道标志上的兴趣点；将图像中的跑道或跑道标志上的兴趣点与跑道或跑道标志上的具有已知跑道框定的局部坐标的对应点匹配；使用兴趣点和已知跑道框定的局部坐标执行透视n点估计，以确定相机的当前姿态估计，并由此确定飞行器相对于跑道或跑道标志的当前姿态估计；以及输出当前姿态估计以用于最终进场时飞行器的引导或控制中的至少一个。
7.在任何前述示例实施方式的方法的一些示例实施方式中，或任何前述示例实施方
式的任何组合中，图像是彩色图像，并且该方法进一步包括将彩色图像转换为单色图像。
8.在任何前述示例实施方式的方法的一些示例实施方式中，或任何前述示例实施方式的任何组合中，该方法进一步包括在图像应用于机器学习模型之前，裁剪图像以减小相机的视场，并仅放大跑道或跑道标志所在的机场的一部分。
9.在任何前述示例实施方式的方法的一些示例实施方式中，或任何前述示例实施方式的任何组合中，该方法进一步包括访问图像序列中的较早图像，并且较早遮罩包括较早图像中的分配给跑道或跑道标志的物体类别的相应像素段；以及识别较早图像中的框定较早遮罩的一部分，并由此识别跑道所在的机场的部分，并且其中裁剪图像包括将图像裁剪为与较早图像的部分对应的图像的一部分。
10.在任何前述示例实施方式的方法的一些示例实施方式中，或任何前述示例实施方式的任何组合中，物体检测和分割是单类(one-class)物体检测和分割，其中在图像中仅检测到跑道或跑道标志，并且遮罩仅包括图像中的分配给跑道或跑道标志的物体类别的像素段。
11.在任何前述示例实施方式的方法的一些示例实施方式中，或任何前述示例实施方式的任何组合中，物体检测和分割是多类(multi-class)物体检测和分割，其中在图像中检测到跑道和跑道标志，并且遮罩包括图像中的分配给跑道和跑道标志的物体类别的像素段，兴趣点包括跑道和跑道标志上的兴趣点。
12.在任何前述示例实施方式的方法的一些示例实施方式中，或任何前述示例实施方式的任何组合中，该方法进一步包括确定飞行器的操作状态；以及基于操作状态，选择第一机器学习模型或第二机器学习模型作为图像被应用于的机器学习模型，第一机器学习模型被训练为执行单类物体检测和分割，并且第二机器学习模型被训练为执行多类物体检测和分割。
13.在任何前述示例实施方式的方法的一些示例实施方式中，或任何前述示例实施方式的任何组合中，机器学习模型进一步确定与跑道或跑道标志的检测相关联的置信区间，并且该方法进一步包括将遮罩应用于置信过滤器，仅在置信区间高于基于飞行器的操作状态动态地设置的阈值置信区间时，该过滤器将遮罩传递给角点检测器。
14.在任何前述示例实施方式的方法的一些示例实施方式中，或任何前述示例实施方式的任何组合中，执行透视n点估计包括以相机坐标确定相机的当前姿态估计，并将相机坐标变换为对应的跑道框定的局部坐标，该局部坐标被输出以用于飞行器的引导或控制中的至少一个。
15.在任何前述示例实施方式的方法的一些示例实施方式中，或任何前述示例实施方式的任何组合中，执行透视n点估计进一步包括确定与当前姿态估计相关联的置信区间，并且该方法进一步包括：访问一个或多个额外姿态估计和相关联的置信区间；使用置信区间和相关联的置信区间，对当前姿态估计和一个或多个额外姿态估计执行传感器融合，以生成更新的当前姿态估计；以及输出更新的当前姿态估计以用于飞行器的引导或控制中的至少一个。
16.一些示例实施方式提供了一种用于支持飞行器接近机场上的跑道的装置，该装置包括：存储器，其被配置为存储计算机可读程序代码；以及处理电路系统，其被配置为访问存储器并执行计算机可读程序代码，以使该装置至少执行任何前述示例实施方式或任何前
述示例实施方式的任何组合的方法。
17.一些示例实施方式提供了一种用于支持飞行器接近机场上的跑道的计算机可读存储介质，该计算机可读存储介质是非暂时性的并具有存储在其中的计算机可读程序代码，该程序代码响应于由处理电路系统执行，使装置至少执行任何前述示例实施方式或任何前述示例实施方式的任何组合的方法。
18.通过将下面的详细描述和附图一起阅读，本主题公开的这些和其他特征、方面和优点将是显而易见的，附图在下面简要描述。本主题公开包括本公开中阐述的两个、三个、四个或更多个特征或要素的任何组合，无论此类特征或要素是否明确地组合或以其他方式在本文中所述的特定示例实施方式中被提及。本公开旨在整体阅读，使得本公开的任何可分离的特征或要素，在其方面和示例实施方式中的任一个中，都应被视为可组合的，除非本公开的情境明确规定了其他情况。
19.因此，应理解，提供本发明内容的目的仅仅是为了总结一些示例实施方式，以便提供对本公开的一些方面的基本理解。因此，应理解，上述示例实施方式只是示例，并且不应解释为以任何方式缩小本公开的范围或精神。其他示例实施方式、方面和优点从结合附图的以下详细描述中将变得明显，附图通过举例示出了一些所描述的示例实施方式的原理。
附图说明
20.在这样概括地描述了本公开的示例实施方式之后，现在将参考附图，附图不一定按比例绘制，并且其中：
21.图1示出了可以受益于本主题公开的示例实施方式的示例飞行器；
22.图2是根据本主题公开的示例实施方式的用于支持飞行器接近机场上的跑道的系统的框图；
23.图3是根据本主题公开的示例实施方式的可以与用于支持飞行器接近机场上的跑道的系统结合使用的系统管线的框图；
24.图4a是可以与本主题公开的示例实施方式结合使用的机场的图像的框图；
25.图4b是示出了本主题公开的示例实施方式的机场的图像的框图；
26.图5是流程图，示出了根据本主题公开的示例实施方式的用于支持飞行器接近机场上的跑道的方法中的各种步骤；并且
27.图6示出了根据本主题公开的一些示例实施方式的装置。
具体实施方式
28.现在将参考附图在下文中更全面地描述本主题公开的一些实施方式，在附图中示出了本公开的一些但不是全部的实施方式。事实上，本公开的各种实施方式可以以许多不同的形式体现，并且不应理解为限于本文中阐述的实施方式；相反，提供这些示例实施方式使得本公开将彻底和完整，并将向本领域的技术人员充分传达本公开的范围。例如，除非另有指示，否则提及事物为第一、第二等不应理解为意味着特别顺序。而且，可以被描述为在其他事物上面的事物(除非另有指示)可能反而是在下面，反之亦然；并且类似地，被描述为在其他事物左侧的事物可能反而是在右侧，反之亦然。类似的附图标记贯穿全文表示类似的元素。就本文中使用的术语“包括”、“包含”、“具有”、“含有”及其变体来说，此类术语旨在
以类似于术语“包含”的方式被包括作为开放的过渡词，而不排除任何额外或其他要素。
29.本主题公开的示例实施方式针对跑道(和/或直升机场)和跑道标志的自主检测。为了解决和克服与飞行器自主进场和着陆操作相关联的技术挑战，本主题公开的示例实施方式涉及使用机器学习模型来识别着陆环境图像中的特征，并然后确定飞行器相对于着陆环境的姿态，以便生成着陆所需的水平、竖直和其他位置引导。
30.使用计算机生成的着陆操作辅助的常规方法使用资源密集的、基于规则的算法来提供有限的跑道边缘检测。这些基于规则的、资源密集的跑道检测方法缺乏对许多飞行器和机场的现实实施方式所需的稳健性。特别地，一些常规方法需要事先了解跑道特性，诸如给定跑道的位置、取向、长度、宽度、标志类型和表面材料，并且经常需要在机场安装昂贵的地面装备。此类方法不容易被推广到新跑道，而且在飞行器被重新定向到新的或不同的机场的情况下可能不那么有效。此外，即使在检测到跑道中的一部分的情况下，常规方法也缺乏利用此种检测对飞行器接近机场进行有效引导和控制的能力。
31.本主题公开的示例实施方式按以下方法将计算机视觉技术与机器学习感知技术组合：允许在广泛的能见度条件下识别不同的一组跑道、跑道标志、跑道角点、阈值标志、瞄准垫等。一些示例实施方式适应一系列被动和主动传感器，包括但不限于视觉成像设备、高光谱成像设备、光雷达、雷达等，例如，以感知着陆环境并确定飞行器相关姿态，并可以与各种不同大小的有人和无人驾驶飞行器一起使用，以在视觉、精确和非精确跑道上着陆。
32.一些示例实施方式涉及卷积神经网络，作为检测跑道和/或跑道特征的多模式方法的一部分。在一些情况下，本主题公开的示例实施方式用光雷达和/或雷达对地面和相关障碍物的距离测量来补充视觉数据。无论所使用的视觉和/或补充数据的基本来源如何，本主题公开的示例实施方式被配置为生成并提供准确和精确的姿态估计和引导，而不需要对跑道有广泛的事先了解或在给定机场安装的昂贵的地面基础设施。
33.图1示出了可以受益于本主题公开的示例实施方式的飞行器100。如图所示，该飞行器包括具有机身104、机翼106和尾翼108的机体102。该飞行器还包括多个高级系统110，诸如推进系统112、电气系统114、液压系统116和/或环境系统118。任何数量的其他系统都可以包括在飞行器上。
34.图2示出了根据本主题公开的示例实施方式的用于支持飞行器接近跑道的系统200。该系统200可以包括多个不同的子系统(每个都是单独系统)中的任一个，以用于执行一个或多个功能或操作。如图所示，在一些示例中，系统200包括一个或多个相机202(其位于飞行器上并被配置为产生图像序列204)、姿态估计系统205、图像处理系统206、第一机器学习模型208和第二机器学习模型210(它们被配置为产生可以应用于图像的一个或多个遮罩212)、角点检测器214、透视n点系统216(其被配置为生成一个或多个姿态估计218)、引导系统220和控制系统222。包括相机、图像处理系统、第一机器学习模型、第二机器学习模型、角点检测器、透视n点系统、引导系统和控制系统的子系统可以彼此共位或直接耦合到彼此，或者在一些示例中，子系统中的各种子系统可以跨一个或多个计算机网络224彼此通信。在一些示例实施方式中，子系统中的任一个可以访问一个或多个额外信息源226和/或以其他方式与其交互，该信息源中的任一个可以彼此共位或直接耦合到彼此，和/或与系统元件共位和/或直接耦合到系统元件，或可经由计算机网络和/或基于云的架构访问。
35.此外，尽管被示为系统200的一部分，但应理解的是，上述中的任一个或多个可以
作为单独系统运作或操作，而不考虑其他子系统中的任一个。还应理解的是，该系统可以包括图2所示的那些子系统以外的一个或多个额外的或可替代的子系统。
36.在本主题公开的示例实施方式中，来自系统200的一个或多个元件可以放置在飞行器上或以其他方式添加到飞行器，诸如图1所示的飞行器100。在此类示例实施方式中，系统200及其元件中的任一个可以与飞行器100的系统110中的任一个通信和/或以其他方式交互。例如，相机202可以安装到飞行器100，其配置允许相机在飞行器100的行进方向上捕获环境的图像序列204。在一些此类示例实施方式中，姿态估计系统205被配置为结合图像处理系统206和/或透视n点系统216(两者也可以结合到飞行器100中)，该姿态估计系统205向飞行器100上的引导系统220和/或飞行器100的控制系统222提供信息以协助飞行器100的着陆。
37.在一些示例实施方式中，当飞行器100接近机场处的跑道时，系统200被配置为接收机场的图像序列204。在一些此类示例实施方式中，图像序列是由搭载在接近跑道的飞行器100上的相机202捕获的。
38.相机202可以是能够捕获图像序列的任何相机，包括但不限于视觉成像设备、高光谱成像设备、光雷达成像设备、雷达成像设备等。在一些情况下，相机202安装到和/或以其他方式结合到飞行器100中，其配置允许相机在飞行器100的行进方向上捕捉飞行器100前方环境的视图。
39.在一些示例实施方式中，对于图像序列204中的至少一个图像204a，系统200被配置为将该图像应用于机器学习模型，诸如第一机器学习模型208或第二机器学习模型210，例如，该学习模型被训练为执行物体检测和分割，其中在图像中检测到机场上的跑道或跑道上的跑道标志。在一些示例实施方式中，第一机器学习模型208和/或第二机器学习模型210结合了卷积神经网络。应理解的是，任何神经网络或其他机器学习模型类型都可以在系统200的示例实施方式中使用。
40.在一些示例实施方式中，图像204a可以在将图像204a应用于一个或多个机器学习模型208、210之前、同时和/或之后，诸如由图像处理系统206处理。例如，在一些示例实施方式中，图像204a是彩色图像，并且图像处理系统206和/或系统200的另一个方面被配置为将彩色图像转换为单色图像。
41.在一些示例实施方式中，图像处理系统206和/或系统200的另一个方面被配置为进一步裁剪图像204a，以减小相机202的视场并仅放大相关跑道或相关跑道标志所在的机场的一部分。在一些此类示例实施方式中，在将图像204a应用于机器学习模型208和/或210之前，执行对图像204a的裁剪。
42.在一些示例实施方式中，第一机器学习模型208和/或第二机器学习模型210被配置为产生至少一个遮罩212。在一些示例实施方式中，产生遮罩212，使得其被配置为包括图像204a中的被分配给相关跑道或相关跑道标志的物体类别的像素段。在一些示例实施方式中，遮罩212被存储，并且可以被系统200和/或另一个系统访问，以用于与随后的图像序列一起使用。
43.在系统200的一些示例实施方式中，由第一机器学习模型208或第二机器学习模型210执行的物体检测和分割是单类物体检测和分割，其中在图像204a中仅检测到跑道或跑道标志。在一些此类示例实施方式中，产生的遮罩212仅包括图像204a中的被分配给跑道或
跑道标志的物体类别的像素段。
44.一些示例实施方式涉及实例导向(instance-wise)的多类物体检测和分割。在系统200的一些示例实施方式中，由第一机器学习模型208或第二机器学习模型210执行的物体检测和分割是多类物体检测和分割，其中在图像204a中检测到跑道和跑道标志，并且遮罩212包括图像204a中的被分配给跑道和跑道标志的物体类别的像素段。在一些此类示例实施方式中，图像中识别的兴趣点包括跑道和跑道标志上的兴趣点。
45.在一些示例实施方式中，系统200被配置为将遮罩212应用于角点检测器214。在一些此类示例实施方式中，角点检测器被配置为检测遮罩212上的兴趣点，并由此检测图像204a中的跑道或跑道标志上的兴趣点。在一些示例实施方式中，兴趣点可以与跑道本身的部分(诸如跑道的角点、边缘或其他特征)相符。在一些示例实施方式中，兴趣点可以与跑道标志的部分(诸如存在于给定跑道上的对准垫、字母、数字、几何形状等)相符。
46.这样，在一些示例实施方式中，系统200进一步被配置为将图像204a中的跑道或跑道标志上的兴趣点与跑道或跑道标志上的具有已知的跑道框定的局部坐标的对应点匹配。应理解的是，为了提供可以在着陆操作期间用于引导或控制飞行器100的准确和精确的信息，系统可能有必要确定跑道相关元件和/或跑道标志相关元件在给定图像中的外观和相对定位与那些元件在跑道本身上的实际外观和相对定位如何对应。
47.在已知跑道框定的局部坐标的示例实施方式中，可以由图像处理系统206或系统200的另一个部件将那些已知的、跑道框定的局部坐标与图像中的对应点匹配。例如，可以为给定跑道预先捕获或以其他方式确定跑道框定的局部坐标，诸如通过查明保持在相对于跑道的给定方位的各种符号、灯、装备或其他跑道标志的位置。在一些示例实施方式中，跑道框定的局部坐标存储在本地数据存储中，和/或在试图在给定跑道上着陆之前，由系统200从远程数据存储中访问。在一些示例实施方式中，来自一个或多个额外信息源226的信息可以与机器学习模型208、210和/或角点检测器214结合使用，以识别图像中的兴趣点，和/或将图像中的兴趣点与跑道上的对应点匹配。此类额外信息可以包括，例如，全球定位系统信息、复飞点(map)信息、仪表着陆系统(ils)信息等。
48.如图2所示，图像处理系统206被示为至少结合了第一机器学习模型208、第二机器学习模型210和角点检测器214，使得图像处理系统被配置为接收图像序列204，并通过将(多个)图像204应用于机器学习模型、产生遮罩212、将遮罩212应用于角点检测器214来处理所接收的图像中的至少一个，并且以其他方式处理所接收的图像204a。应理解的是，在一些示例实施方式中，图像处理系统206和/或其组成元件可以单独实施和/或以不同的分组实施，并且可以结合额外的元件。
49.无论图像处理系统206及其相关元件的精确配置如何，系统200的一些示例实施方式也被配置为执行透视n点估计。在一些此类示例实施方式中，系统200，诸如通过透视n点系统216的操作，被配置为使用兴趣点和已知的跑道框定的局部坐标来确定相机202的当前姿态估计218，并由此确定飞行器100相对于跑道或跑道标志的姿态估计。
50.在一些示例实施方式中，透视n点系统216被配置为以相机坐标确定相机202的当前姿态估计218，并将相机坐标变换为对应的跑道框定的局部坐标236，该局部坐标236被输出用于飞行器100的引导或控制中的至少一个。在一些此类示例实施方式中，跑道框定的局部坐标从透视n点系统216传递到飞行器100的引导系统220、控制系统222和/或另一个高级
系统110。
51.在一些示例实施方式中，透视n点系统216进一步被配置为确定与当前姿态估计218相关联的置信区间228。在一些示例实施方式中，置信区间可以是置信值和/或多维置信矩阵。
52.在一些此类示例实施方式中，系统200进一步被配置为访问一个或多个额外姿态估计218a和相关联的置信区间228a。然后，系统200可以使用置信区间228和相关联的置信区间，对当前姿态估计218和一个或多个额外姿态估计218a执行传感器融合，以生成更新的当前姿态估计218b。在一些此类示例实施方式中，系统进一步被配置为输出更新的当前姿态估计218b以用于飞行器100的引导或控制中的至少一个，诸如通过将更新的姿态估计提供给飞行器100的引导系统220、控制系统222或另一个高级系统110。
53.在一些此类示例实施方式中，系统200进一步被配置为输出当前姿态估计218，以用于在最终进场时飞行器100的引导或控制中的至少一个。例如，当前姿态估计由透视n点系统216传递给飞行器的引导系统220、飞行器100的控制系统222和/或飞行器100的另一个高级系统110，在那里该当前姿态估计可以用于自主着陆操作和/或支持飞行员执行着陆操作。
54.在一些示例实施方式中，系统200被配置为迭代地处理由相机202捕获的图像204。在一些此类示例实施方式中，图像处理系统206和/或系统200的另一个方面被配置为访问较早图像，诸如图像序列中的图像204b。该系统还可以访问较早遮罩，诸如遮罩212a，其包括较早图像中的分配给相关跑道或跑道标志的物体类别的相应像素段。通过访问较早图像和较早遮罩，系统200可以被配置为识别较早图像中的框定较早遮罩的一部分，并由此识别跑道所在的相关机场的部分。在涉及裁剪图像(诸如图像204a)的示例实施方式中，系统200可以被配置为将图像裁剪为与较早图像的部分对应的图像的一部分。
55.在一些示例实施方式中，系统200使用和生成额外信息，该额外信息可以与所接收的图像204、遮罩212和姿态估计218结合使用，以提供引导和或控制信息，以支持飞行器100的着陆操作。在一些此类示例实施方式中，系统被配置为确定飞行器的操作状态230，诸如推进系统112、电气系统114、液压系统116、环境系统118和/或任何一个高级系统110的状态。在一些此类示例实施方式中，图像处理系统206或系统200的其他方面被配置为基于操作状态选择第一机器学习模型208或第二机器学习模型208作为图像204a被应用于的机器学习模型。例如，第一机器学习模型208可以被配置和训练为执行单类物体检测和分割，并且第二机器学习模型208可以被配置和训练为执行多类物体检测和分割。在一些示例实施方式中，飞行器100的操作状态是基于从高级系统110中的一个或多个获得的信息确定的。
56.在系统200使用和生成额外信息的另一个示例实施方式中，给定的机器学习模型，诸如第一机器学习模型208或第二机器学习模型210，例如进一步被配置为确定与相关跑道或相关跑道标志的检测相关联的置信区间232。在一些此类示例实施方式中，图像处理系统206或系统200的另一个方面进一步被配置为将遮罩212应用于置信过滤器234，该置信过滤器234被配置为仅在置信区间232高于基于飞行器100的操作状态230动态地设置的阈值置信区间时将遮罩212传递给角点检测器214。
57.图3是根据本主题公开的示例实施方式的可以与用于支持飞行器接近机场上的跑道的系统(诸如系统200)结合使用的系统管线300的框图。如本文中所讨论和以其他方式公
开的，图像序列(诸如由(多个)相机202捕获的图像序列204)应用于一个或多个经训练的机器学习模型(诸如，例如，第一机器学习模型208和第二机器学习模型210)，并被处理以生成可以用于在着陆操作期间支持飞行器100的引导和/或控制的信息。图3所示的系统管线300提出了获取并处理用于训练机器学习模型并提供用于飞行器的引导和控制的信息的信息的示例方法。
58.如图3所示，系统管线300包括块302，其涉及构建可以用于训练一个或多个机器学习模型的数据集。在块302的一些示例实施方式中，图像304(其可以包括图像序列204的一个或多个实例)被处理以生成一组提取的帧306。在一些示例实施方式中，提取的帧306包括来自各种图像序列的帧，并且可以包括对一个或多个机器学习模型将被训练以检测的一个或多个特征的描绘。例如，提取的帧306可以包括跑道、跑道标志和/或与图像中是否存在跑道或跑道标志的检测相关的其他图像要素的各种视图。然后用一个或多个姿态标签307对提取的帧306进行注释，使得姿态标签307和与给定姿态相关联的信息被链接到提取的帧306中的对应图像。
59.如图3所示，系统管线300还包括块308，其涉及使用图像304和/或提取的帧306作为用于相关机器学习模型(例如，208、210)的深度学习和训练的数据集的一部分。适合与相关机器学习模型一起使用的深度学习的任何方法都可以与块308的示例实施方式相关地使用。在一些示例实施方式中，在块310处使用深度学习方法训练至少一个模型，以检测跑道和/或跑道的部分。在一些示例实施方式中，在块312处使用深度学习方法训练至少一个模型，以检测一个或多个跑道标志。
60.如图3所示，系统管线300还包括涉及姿态估计的块314。在块314的一些示例实施方式中，经训练的机器学习模型，诸如第一机器学习模型208和/或第二机器学习模型210，例如被配置为以定义格式生成可以用于执行姿态估计的遮罩和/或结合生成的遮罩处理的图像。例如，透视n点系统216可以接收遮罩212和/或与遮罩一起处理的图像204a的版本，并生成姿态估计218，将图像上的相关兴趣点与跑道本身上的它们的相关联点相关。在块316处，姿态估计以可以用作引导和/或其他信息的形式输出，该信息可以由飞行器100或其飞行员结合着陆操作使用。
61.图4a描绘了机场400，在该机场可以部署本主题公开的示例实施方式，并且该机场示出本主题公开的各个方面。如图4所示，机场400包括跑道402，该跑道402被配置为允许飞行器(诸如飞行器100)着陆。如图4a所示，跑道402还包括一个或多个跑道标志404。应理解的是，图4a所示的跑道标志404是可以在给定跑道上的跑道标志的非排他性示例，并且其他标志(诸如字母、数字、线条、曲线图案、几何形状等)可以用于跑道标志的实施方式。图4a还示出了代表跑道402和/或跑道标志404上的已知位置的点406。在一些示例实施方式中，点406的位置是已知的，并以跑道框定的坐标表示。
62.图4b示出了根据本主题公开的一些示例实施方式的机场400的图像408。在一些示例实施方式中，图像408可以是在接近机场400时由飞行器100上的相机202捕获的图像序列204中的一个图像204a。如图4b所示，图像408描绘了跑道402的视图和跑道标志404中的一个或多个的视图。尽管图4b中的示例图像描绘了跑道402整体的视图，但应理解的是，在一些实施方式中，图像可以提供跑道402和/或跑道标志404的部分视图，这取决于飞行器100和/或相机202的方位，以及机场周围环境的条件。
63.如图4b所示，遮罩410(例如，遮罩212)应用于图像408，识别图像408中的包括跑道402和/或一个或多个跑道标志404的区域。一组兴趣点412也存在于图像上，对应于图像408中的跑道和/或跑道标志的部分。在本主题公开的一些示例实施方式中，兴趣点412在图像408中被识别，并然后与具有已知的、跑道框定的坐标的对应点406匹配。
64.如本文中讨论和以其他方式公开的，在给定图像408中识别的兴趣点412和相关机场400处的对应的已知的、跑道框定的坐标406与透视n点估计一起使用，以确定相机202的当前姿态估计218，并由此确定飞行器100相对于跑道402或跑道标志404的当前姿态估计218。
65.透视n点估计可以用于寻找确定性解(deterministic solution)，该解将现实世界点映射到现实世界点所处环境的给定图像中的像素值位置。与给定相机(例如，诸如相机202)相关联的相机矩阵可以表示为缩放和主点矩阵a，并可以表示为下面公式1中所列的：
[0066][0067]
在公式1中，第n个点被认为具有现实世界坐标[xn,yn,zn]
t
和相机坐标[un,vn,wn]
t
。该点的存在也使得到w＝1平面的射线投射在un、vn处相交。如公式1所表示，c
x
、cy是缩放焦距并且f
x
、fy是主点。
[0068]
第n个点从相机坐标系到全局坐标系的变换可以表示为下面公式2中所列的：
[0069][0070]
在公式2中，r是相关基础旋转矩阵并且t是平移矢量。因此，相机坐标系中的点到平面w＝1的投影可以表示为下面公式3中所列的：
[0071][0072]
在公式3中，s是未知的缩放因数。为了产生从现实世界坐标到图像平面上的投影的变换，公式1、2和3可以组合并表示为下面公式4中所列的：
[0073][0074]
如公式4所表示，缩放因数s、旋转矩阵r的值和平移矢量t是未知的。然而，本主题公开的示例实施方式涉及解算公式中的未知数。例如，透视n点系统216可以使用交互式算法或程序化方法。一种此类方法涉及接收像素到现实世界坐标的四个或更多个映射，并解算未知数。在一些此类方法中，从给定的算法或程序返回的值是旋转和平移矢量，以从全局坐标移动到相机坐标。在针对估计相机202(或飞行器100)相对于所期望的现实世界着陆方位(其用全局坐标系原点表示)的方位的示例实施方式中，相机的坐标系原点必须被变换为
全局坐标点。该变换可以表示为下面公式5中所列的：
[0075][0076]
公式5可以被调整以直接确定飞行器100(配备有相机202)相对于着陆点原点的直线定位，如下面公式6所表示：
[0077][0078]
在一些示例实施方式中，构建差分矩阵，并考虑到常规飞行器欧拉角的顺序的变化，以从旋转矩阵输出中确定给定飞行器100的姿势。从相机坐标系到代表稳定水平飞行的飞机坐标系的旋转矩阵可以表示为下面公式7中所列的：
[0079][0080]
在此类示例实施方式中，solvepnp的输出和稳定水平飞行之间的差分矩阵可以表示为下面公式8中所列的：
[0081][0082]
应理解的是，差分矩阵揭示了将用于从稳定水平飞行改变为飞行器100的当前姿势的旋转矩阵。在一些示例实施方式中，该旋转矩阵仍基于相机坐标系，而飞行器姿势通常以3-2-1欧拉角的顺序应用(偏航，然后俯仰，然后滚转)。为了在本文中提出的公式中保持正确的顺序，欧拉角的顺序取为2-1-3(使得[x,y,z]映射到[w,u,v])。滚转φ、俯仰θ以及偏航ψ的组合旋转矩阵可以以相机坐标表示为下面公式9中所列的：
[0083]rdiff
＝rz(φ)r
x
(θ)ry(ψ)
ꢀꢀꢀꢀꢀ
(9)
[0084]
公式9可以展开并表示为下面公式10中所列的：
[0085][0086]
公式10中的矩阵可以一起相乘，以建立下面公式11、公式12和公式13中在下面所列的项：
[0087]
公式11：
[0088]rdiff，21
＝-sin(θ)
ꢀꢀꢀꢀꢀ
(11)
[0089]
公式12：
[0090]rdiff，20
＝sin(ψ)cos(θ)
ꢀꢀꢀꢀ
(12)
[0091]
公式13：
[0092]rdiff，01
＝sin(ψ)cos(θ)
ꢀꢀꢀꢀ
(13)
[0093]
在一些示例实施方式中，来自公式11、12和13的项用于从差分矩阵中确定飞行器100在常规飞机坐标中的姿势，这继而可以用于允许系统200生成用于在飞行器接近机场400和其上的跑道402时对该飞行器的引导和/或控制的信息。
[0094]
图5是流程图，示出了根据本主题公开的示例实施方式的支持飞行器100接近机场400上的跑道402的方法500中的各种步骤。如块502处所示，该方法包括接收由(多个)机载相机捕获的图像序列。块502的一些示例实施方式涉及接收由接近跑道的飞行器上搭载的相机捕获的机场的图像序列。在一些此类示例实施方式中，图像处理系统206接收由在接近跑道400的飞行器100上搭载的相机202捕获的图像序列204。
[0095]
如块504处所示，方法500包括，对于图像序列中的至少一个图像，将该图像应用于机器学习模型。块504的一些示例实施方式涉及将图像应用于经训练以执行物体检测和分割的机器学习模型，其中在图像中检测到机场上的跑道或跑道上的跑道标志，并且其中产生遮罩，该遮罩包括图像中的分配给跑道或跑道标志的物体类别的像素段。在一些此类示例实施方式中，图像204a由图像处理系统206或系统200的另一个方面应用于机器学习模型，诸如第一机器学习模型208或第二机器学习模型210，以执行物体检测和分割并产生遮罩212。
[0096]
如本文中关于块504所讨论的，方法500的一些示例实施方式包括检测物体和分割图像，如块504a处所示。块504a的一些示例实施方式涉及执行物体检测。例如，第一机器学习模型208或第二机器学习模型210可以被训练和配置为检测跑道402或跑道标志404，并且可以进一步识别图像204a和/或图像408中的兴趣点412。
[0097]
在一些示例实施方式中，如块504b处所示，方法500包括产生遮罩。块504b的一些示例实施方式涉及执行分割以产生遮罩。例如，第一机器学习模型208或第二机器学习模型210可以被训练和配置为产生遮罩，诸如遮罩212或遮罩410。在一些此类示例实施方式中，遮罩包括图像中的分配给相关跑道或相关跑道标志的物体类别的像素段。在一些示例实施方式中，物体检测和分割是单类物体检测和分割，其中在图像中仅检测到跑道或跑道标志，并且遮罩仅包括图像中的分配给跑道或跑道标志的物体类别的像素段。在一些示例实施方式中，物体检测和分割是多类物体检测和分割，其中在图像中检测到跑道和跑道标志，并且遮罩包括图像中的分配给跑道和跑道标志的物体类别的像素段，兴趣点包括跑道和跑道标志上的兴趣点。
[0098]
如块506处所示，方法500包括将遮罩应用于角点检测器。块506的一些示例实施方式涉及将遮罩应用于角点检测器以检测遮罩上的兴趣点，并由此检测图像中的跑道或跑道标志上的兴趣点。在一些此类示例实施方式中，图像处理系统206或系统200的另一个方面将遮罩212应用于角点检测器214以检测遮罩212上的兴趣点。参考图4b，兴趣点可以是例如遮罩410上的兴趣点412。
[0099]
如块508处所示，该方法500包括将图像中的兴趣点与对应的现实世界点匹配。块508的一些示例实施方式涉及将图像中的跑道或跑道标志上的兴趣点与具有已知的跑道框定的局部坐标的跑道或跑道标志上的对应点匹配。例如，图像处理系统206或系统200的另一个方面可以被配置为将图像408中的兴趣点412与跑道402或跑道标志404上的对应点406匹配。
[0100]
如块510处所示，方法500包括执行透视n点估计。块510的一些示例实施方式涉及
使用兴趣点和已知的跑道框定的局部坐标执行透视n点估计，以确定相机的当前姿态估计，并由此确定飞行器相对于跑道或跑道标志的当前姿态估计。例如，透视n点系统216可以通过使用兴趣点412和已知的跑道框定的局部坐标点236或406来确定相机202的当前姿态估计218，以查明飞行器100相对于跑道402或跑道标志404的姿态。
[0101]
如块512处所示，方法500包括输出当前姿态估计。块512的一些示例实施方式涉及输出当前姿态估计，以用于最终进场时飞行器的引导或控制中的至少一个。例如，系统200可以被配置为使姿态估计218被输出到引导系统220(例如，包括gui或其他显示设备)或控制系统222，其中姿态估计可以用于在最终接近机场400时引导或控制飞行器100。
[0102]
在一些示例实施方式中，方法500可以包括一个或多个附加块。例如，在一些实施方式中，该方法包括，如块514所示，将多通道图像转换为单通道图像。块514的一些示例实施方式涉及其中图像是多通道图像的情况，并且该方法进一步包括将多通道图像转换为单通道图像。例如，图像处理系统206或系统200的另一个方面可以将图像204a从彩色图像转换为单色图像。在另一个示例中，图像204a可以是由热相机捕获的图像，并且多通道热图像可以被转换为单通道图像。
[0103]
在一些示例实施方式中，该方法500包括，如块516所示，裁剪图像。块516的一些示例实施方式涉及在图像应用于机器学习模型之前，裁剪图像以减小相机的视场，并仅放大跑道或跑道标志所在的机场的一部分。例如，在图像应用于第一机器学习模型208和/或第二机器学习模型210之前，图像处理系统206或系统200的另一个方面可以裁剪图像204a以减小相机202的视场，并仅放大跑道402或跑道标志404所在的机场400的一部分。
[0104]
在涉及裁剪的一些示例实施方式中，方法500包括，如块518所示，访问较早图像和遮罩。块518的一些示例实施方式涉及访问图像序列中的较早图像，而较早遮罩包括较早图像中的分配给跑道或跑道标志的物体类别的相应像素段。例如，图像处理系统206或系统200的另一个方面可以从图像序列204中访问较早图像204b，并且访问较早遮罩212a，该较早遮罩212a包括较早图像中的分配给跑道402或跑道标志404的物体类别的相应像素段。
[0105]
在涉及裁剪的一些示例实施方式中，方法500包括，如块520所示，识别较早图像中的框定较早遮罩的一部分。块520的一些示例实施方式涉及识别较早图像中的框定较早遮罩的一部分，并由此识别跑道所在的机场的部分。例如，图像处理系统206或系统200的一些其他部分可以被配置为识别较早图像204b中的框定较早遮罩212a的一部分，并由此识别跑道402所在的机场400的一部分。
[0106]
在涉及裁剪的一些示例实施方式中，方法500包括，如块522所示，将图像裁剪为与较早图像对应的一部分。在块522的一些示例实施方式中，裁剪图像包括将图像裁剪为与较早图像的部分对应的图像的一部分。例如，图像处理系统206或系统200的另一个方面可以被配置为将图像204a裁剪为与较早图像204b的一部分(诸如框定较早遮罩212a的部分)对应的图像的一部分。
[0107]
在一些示例实施方式中，方法500包括，如块524所示，确定飞行器的操作状态。例如，系统200可以被配置为确定飞行器100的操作状态230。在一些示例实施方式中，系统可以从飞行器110的一个或多个高级系统和/或从一个或多个额外信息源226中接收与飞行器的操作状态相关联的信息。
[0108]
在一些示例实施方式中，方法500包括，如块526所示，选择第一机器学习模型或第
二机器学习模型。块526的一些示例实施方式涉及选择第一机器学习模型或第二机器学习模型作为图像被应用于的机器学习模型，第一机器学习模型被训练为执行单类物体检测和分割，并且第二机器学习模型被训练为执行多类物体检测和分割。例如，图像处理系统206或系统200的另一个方面可以被配置为选择第一机器学习模型208或第二机器学习模型210作为图像204a被应用于的机器学习模型，其中第一机器学习模型被训练为执行单类物体检测和分割，并且第二机器学习模型被训练为执行多类物体检测和分割。
[0109]
在一些示例实施方式中，方法500包括，如块528所示，确定物体检测的置信区间。块528的一些示例实施方式涉及机器学习模型进一步被配置为确定与跑道或跑道标志的检测相关联的置信区间。例如，第一机器学习模型208和/或第二机器学习模型210可以被配置为确定与跑道402或跑道标志404的检测相关联的置信区间232。
[0110]
在一些示例实施方式中，方法500包括，如块530所示，将遮罩应用于置信过滤器。块530的一些示例实施方式涉及将遮罩应用于置信过滤器，仅当置信区间高于基于飞行器的操作状态动态地设置的阈值置信区间时，该置信过滤器将遮罩传递给角点检测器。例如，图像处理系统206或系统200的另一个方面可以被配置为将遮罩212应用于置信过滤器234，该置信过滤器被配置为仅当置信区间232高于由图像处理系统或系统200的另一个方面基于飞行器100的操作状态230动态地设置的阈值置信区间时，将遮罩传递给角点检测器214。
[0111]
在一些示例实施方式中，方法500包括，如块532所示，以相机坐标确定姿态估计。块532的一些示例实施方式涉及通过至少以相机坐标确定相机的当前姿态估计来执行透视n点估计。例如，透视n点系统216或系统200的另一个方面可以被配置为确定相机202的当前姿态估计218。
[0112]
在一些示例实施方式中，方法500包括，如块534所示，将相机坐标变换为跑道框定的坐标。块534的一些示例实施方式涉及将相机坐标变换为对应的跑道框定的局部坐标，该局部坐标被输出以用于飞行器的引导或控制中的至少一个。例如，透视n点系统216或系统200的另一个方面可以被配置为将相机坐标变换为跑道框定的坐标236，该坐标236由透视n点系统或系统200的另一个方面输出，以供飞行器100的引导系统220、控制系统222或另一个高级系统110使用。
[0113]
在一些示例实施方式中，方法500包括，如块536所示，确定姿态估计的置信区间。在一些示例实施方式中，置信区间可以采取多维置信矩阵的形式。块536的一些示例实施方式涉及通过至少进一步确定与当前姿态估计相关联的置信区间来执行透视n点估计。例如，透视n点系统216或系统200的另一个方面可以被配置为确定与当前姿态估计218相关联的置信区间228。
[0114]
在一些示例实施方式中，方法500包括，如块538所示，访问额外姿态估计和置信区间。块538的一些示例实施方式涉及访问一个或多个额外姿态估计和相关联的置信区间。例如，透视n点系统216或系统200的另一个方面可以被配置为访问一个或多个额外姿态估计218a，以及一个或多个相关联的置信区间228a。
[0115]
在一些示例实施方式中，方法500包括，如块540所示，执行传感器融合。块540的一些示例实施方式涉及使用置信区间和相关联的置信区间，执行当前姿态估计和一个或多个额外姿态估计的传感器融合，以生成更新的当前姿态估计。例如，透视n点系统216或系统200的另一个方面可以被配置为执行当前姿态估计218和至少额外姿态估计218a以及置信
区间228和至少相关联的置信区间228a的传感器融合，以生成更新的姿态估计218b。
[0116]
在一些示例实施方式中，方法500包括，如块542所示，输出更新的当前姿态估计。块542的一些示例实施方式涉及输出更新的当前姿态估计，以用于飞行器的引导或控制中的至少一个。例如，透视n点系统216或系统200的另一个方面可以被配置为输出更新的姿态估计218b，以供飞行器100的引导系统220、控制系统222或另一个高级系统110使用。
[0117]
根据本主题公开的示例实施方式，系统200及其子系统(包括相机202、姿态估计系统205、图像处理系统206、第一机器学习模型208、第二机器学习模型210、角点检测器214、透视n点系统216、引导系统220、控制系统222和置信过滤器234)可以通过各种构件实施。用于实施该系统及其子系统的构件可以包括硬件，其是单独的或在来自计算机可读存储介质的一个或多个计算机程序的指导下。在一些示例中，一个或多个装置可以被配置为充当或以其他方式实施本文中所示和所描述的系统及其子系统。在涉及一个以上装置的示例中，相应装置可以以许多不同的方式彼此连接或以其他方式彼此通信，诸如直接地，或经由有线或无线网络等间接地。
[0118]
图6示出了根据本主题公开的一些示例实施方式的装置600。一般来说，本主题公开的示例性实施方式的装置可以包含、包括或被体现在一个或多个固定或便携式电子设备中。合适电子设备的示例包括智能手机、平板计算机、笔记本计算机、台式计算机、工作站计算机、服务器计算机等。该装置可以包括多个部件中的每个的一个或多个，诸如，例如连接到存储器604(例如存储设备)的处理电路系统602(例如处理器单元)。
[0119]
处理电路系统602可以由一个或多个处理器单独组成，或与一个或多个存储器组合地组成。处理电路系统通常是能够处理信息(诸如，例如数据、计算机程序和/或其他合适的电子信息)的任何计算机硬件。处理电路系统由电子电路的集合组成，其中一些电子电路可以被封装为集成电路或多个相互连接的集成电路(集成电路有时更普遍地被称为“芯片”)。处理电路系统可以被配置为执行计算机程序，该程序可以存储在处理电路系统上或以其他方式存储在(同一装置或另一装置的)存储器604中。
[0120]
处理电路系统602可以是多个处理器、多核处理器或一些其他类型的处理器，这取决于具体的实施方式。此外，处理电路系统可以使用多个异构处理器系统来实施，其中主处理器与一个或多个次处理器存在于单个芯片上。作为另一个说明性示例，处理电路系统可以是包含多个同一类型的处理器的对称多处理器系统。在又一个示例中，处理电路系统可以体现为或以其他方式包括一个或多个asic、fpga等。因此，尽管处理电路系统能够执行计算机程序以执行一个或多个功能，但各种示例的处理电路系统也能够在没有计算机程序的帮助的情况下执行一个或多个功能。在任一实例中，处理电路系统可以被适当地编程以根据本主题公开的示例实施方式执行功能或操作。
[0121]
存储器604通常是能够临时和/或永久地存储信息(诸如，例如数据、计算机程序(例如计算机可读程序代码606)和/或其他合适信息)的任何计算机硬件。存储器可以包括易失性和/或非易失性存储器，并且可以是固定的或可移除的。合适存储器的示例包括随机存取存储器(ram)、只读存储器(rom)、硬盘驱动器、闪存、拇指驱动器、可移除计算机磁盘、光盘、磁带或上述的一些组合。光盘可以包括紧凑盘-只读存储器(cd-rom)、紧凑盘-读/写(cd-r/w)、dvd等。在各种情况下，存储器可以被称为计算机可读存储介质。计算机可读存储介质是能够存储信息的非暂时性设备，并与计算机可读传输介质(诸如能够将信息从一个
位置运载到另一个位置的电子暂时性信号)相区别。如本文中所述的计算机可读介质通常可以指计算机可读存储介质或计算机可读传输介质。
[0122]
除了存储器604，处理电路系统602还可以连接到一个或多个接口，以用于显示、传输和/或接收信息。接口可以包括通信接口608(例如，通信单元)和/或一个或多个用户接口。通信接口可以被配置为传输和/或接收信息，诸如向和/或从(多个)其他装置、(多个)网络等传输和/或接收信息。通信接口可以被配置为通过物理(有线)和/或无线通信链路传输和/或接收信息。合适通信接口的示例包括网络接口控制器(nic)、无线nic(wnic)等。
[0123]
用户接口可以包括显示器610和/或一个或多个用户输入接口612(例如，输入/输出单元)。显示器可以被配置为向用户呈现或以其他方式显示信息，显示器的合适示例包括液晶显示器(lcd)、发光二极管显示器(led)、等离子显示板(pdp)等。用户输入接口可以是有线的或无线的，并且可以被配置为从用户接收信息到装置中，诸如用于处理、存储和/或显示。用户输入接口的合适示例包括麦克风、图像或视频捕获设备、键盘或小键盘、操纵杆、触敏表面(与触摸屏分开或集成到触摸屏中)、生物识别传感器等。用户接口可以进一步包括用于与外围装置(诸如打印机、扫描仪等)通信的一个或多个接口。
[0124]
如上所指示，程序代码指令可以存储在存储器中，并由由此编程的处理电路系统执行，以实施本文中所述的系统、子系统、工具及其相应元件的功能。应理解的是，任何合适的程序代码指令都可以从计算机可读存储介质加载到计算机或其他可编程装置上以产生特别机器，使得该特别机器成为用于实施本文中规定的功能的构件。这些程序代码指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机、处理电路系统或其他可编程装置以特别方式运作，由此生成特别机器或特别制品。存储在计算机可读存储介质中的指令可以产生制品，其中该制品成为用于实施本文中所述的功能的构件。程序代码指令可以从计算机可读存储介质中检索并加载到计算机、处理电路系统或其他可编程装置中，以配置计算机、处理电路系统或其他可编程装置来执行将在计算机、处理电路系统或其他可编程装置上执行或由它们执行的操作。
[0125]
程序代码指令的检索、加载和执行可以按顺序执行，使得一次检索、加载和执行一条指令。在一些实施方式中，检索、加载和/或执行可以并行执行，使得多个指令一起检索、加载和/或执行。程序代码指令的执行可以产生计算机实施的过程，使得由计算机、处理电路系统或其他可编程装置执行的指令提供用于实施本文中所述的功能的操作。
[0126]
由处理电路系统执行指令，或将指令存储在计算机可读存储介质中，支持用于执行指定功能的操作的组合。以这种方式，装置600可以包括处理电路系统602和耦合到处理电路系统的计算机可读存储介质或存储器604，其中处理电路系统被配置为执行存储在存储器中的计算机可读程序代码606。还应理解的是，一个或多个功能以及功能的组合可以由执行指定功能的基于专用硬件的计算机系统和/或处理电路系统，或专用硬件和程序代码指令的组合来实施。
[0127]
此外，本公开包括根据以下条款的实施例：
[0128]
条款1：一种用于支持飞行器接近机场上的跑道的装置，所述装置包括：存储器，其被配置为存储计算机可读程序代码；以及处理电路系统，其被配置为访问所述存储器并执行所述计算机可读程序代码以使所述装置至少：接收由接近所述跑道的所述飞行器上搭载的相机捕获的所述机场的图像序列；以及对于所述图像序列的至少一个图像，将所述图像
应用于经训练以执行物体检测和分割的机器学习模型，其中在所述图像中检测到所述机场上的所述跑道或所述跑道上的跑道标志，并且其中产生遮罩，所述遮罩包括所述图像中的分配给所述跑道或所述跑道标志的物体类别的像素段；将所述遮罩应用于角点检测器以检测所述遮罩上的兴趣点，并由此检测所述图像中的所述跑道或所述跑道标志上的兴趣点；将所述图像中的所述跑道或所述跑道标志上的所述兴趣点与所述跑道或所述跑道标志上的具有已知的跑道框定的局部坐标的对应点匹配；使用所述兴趣点和所述已知的跑道框定的局部坐标执行透视n点估计以确定所述相机的当前姿态估计，并由此确定所述飞行器相对于所述跑道或所述跑道标志的当前姿态估计；以及输出所述当前姿态估计，以用于最终进场时所述飞行器的引导或控制中的至少一个。
[0129]
条款2：根据条款1所述的装置，其中所述图像是多通道图像，并且所述处理电路系统被配置为执行所述计算机可读程序代码以使所述装置进一步将所述多通道图像转换为单通道图像。
[0130]
条款3：根据条款1至2中任一项所述的装置，其中所述处理电路系统被配置为执行所述计算机可读程序代码以使所述装置进一步在所述图像应用于所述机器学习模型之前，裁剪所述图像以减小所述相机的视场，并仅放大所述跑道或所述跑道标志所在的所述图像的一部分。
[0131]
条款4：根据条款1至3中任一项所述的装置，其中所述处理电路系统被配置为执行所述计算机可读程序代码以使所述装置进一步至少：访问所述图像序列中的较早图像，并且较早遮罩包括所述较早图像中的分配给所述跑道或所述跑道标志的所述物体类别的相应像素段；以及识别所述较早图像中的框定所述较早遮罩的部分，并且由此识别所述跑道所在的所述机场的所述部分，并且其中使所述装置裁剪所述图像包括使所述装置将所述图像裁剪为与所述较早图像的所述部分对应的所述图像的一部分。
[0132]
条款5：根据条款1至4中任一项所述的装置，其中所述物体检测和分割是至少单类物体检测和分割(an at least one-class object detection and segmentation)，其中在所述图像中仅检测到所述跑道或所述跑道标志，并且所述遮罩仅包括所述图像中的分配给所述跑道或所述跑道标志的所述物体类别的所述像素段。
[0133]
条款6：根据条款1至5中任一项所述的装置，其中所述物体检测和分割是多类物体检测和分割，其中在所述图像中检测到所述跑道和所述跑道标志，并且所述遮罩包括所述图像中的分配给所述跑道和所述跑道标志的物体类别的像素段，所述兴趣点包括所述跑道和所述跑道标志上的兴趣点。
[0134]
条款7：根据条款1至6中任一项所述的装置，其中所述处理电路系统被配置为执行所述计算机可读程序代码以使所述装置进一步至少：确定所述飞行器的操作状态；以及基于所述操作状态，选择第一机器学习模型或第二机器学习模型作为所述图像被应用于的所述机器学习模型，所述第一机器学习模型被训练为执行至少单类物体检测和分割，并且所述第二机器学习模型被训练为执行多类物体检测和分割。
[0135]
条款8：根据条款1至7中任一项所述的装置，其中所述机器学习模型进一步被配置为确定与所述跑道或所述跑道标志的检测相关联的置信区间或多维置信矩阵，并且所述处理电路系统被配置为执行所述计算机可读程序代码，以使所述装置进一步将所述遮罩应用于置信过滤器，所述置信过滤器被配置为仅当所述置信区间高于基于所述飞行器的操作状
态动态地设置的阈值置信区间时，将所述遮罩传递给所述角点检测器。
[0136]
条款9：根据条款1至8中任一项所述的装置，其中使所述装置执行所述透视n点估计包括使所述装置以相机坐标确定所述相机的所述当前姿态估计，并将所述相机坐标变换为对应的跑道框定的局部坐标，所述局部坐标被输出以用于所述飞行器的引导或控制中至少一个。
[0137]
条款10：根据条款1至9中任一项所述的装置，其中使所述装置执行所述透视n点估计进一步包括使所述装置确定与所述当前姿态估计相关联的置信区间，并且所述处理电路系统被配置为执行所述计算机可读程序代码以使所述装置进一步至少：访问一个或多个额外姿态估计和相关联的置信区间；使用所述置信区间和所述相关联的置信区间，执行所述当前姿态估计和所述一个或多个额外姿态估计的传感器融合，以生成更新的当前姿态估计；以及输出所述更新的当前姿态估计以用于所述飞行器的引导或控制中的至少一个。
[0138]
条款11：一种支持飞行器接近机场上的跑道的方法，所述方法包括：接收由接近所述跑道的所述飞行器上搭载的相机捕获的所述机场的图像序列；以及对于所述图像序列的至少一个图像，将所述图像应用于经训练以执行物体检测和分割的机器学习模型，其中在所述图像中检测到所述机场上的所述跑道或所述跑道上的跑道标志，并且其中产生遮罩，所述遮罩包括所述图像中的分配给所述跑道或所述跑道标志的物体类别的像素段；将所述遮罩应用于角点检测器以检测所述遮罩上的兴趣点，并由此检测所述图像中的所述跑道或所述跑道标志上的兴趣点；将所述图像中的所述跑道或所述跑道标志上的所述兴趣点与所述跑道或所述跑道标志上的具有已知的跑道框定的局部坐标的对应点匹配；使用所述兴趣点和所述已知的跑道框定的局部坐标执行透视n点估计，以确定所述相机的当前姿态估计，并且由此确定所述飞行器相对于所述跑道或所述跑道标志的当前姿态估计；以及输出所述当前姿态估计以用于最终进场时所述飞行器的引导或控制中的至少一个。
[0139]
条款12：根据条款11所述的方法，其中所述图像是多通道图像，并且所述方法进一步包括将所述多通道图像转换为单通道图像。
[0140]
条款13：根据条款11至12中任一项所述的方法，进一步包括在将所述图像应用于所述机器学习模型之前，裁剪所述图像以减小所述相机的视场，并仅放大所述跑道或所述跑道标志所在的所述图像的一部分。
[0141]
条款14：根据条款11至13中任一项所述的方法，进一步包括：访问所述图像序列中的较早图像，并且较早遮罩包括所述较早图像中的分配给所述跑道或所述跑道标志的物体类别的相应像素段；以及识别所述较早图像中的框定所述较早遮罩的一部分，并由此识别所述跑道所在的所述机场的所述部分，并且其中裁剪所述图像包括将所述图像裁剪为与所述较早图像的所述部分对应的所述图像的一部分。
[0142]
条款15：根据条款11至14中任一项所述的方法，其中所述物体检测和分割是至少单类物体检测和分割，其中在所述图像中仅检测到所述跑道或所述跑道标志，并且所述遮罩仅包括所述图像中的分配给所述跑道或所述跑道标志的物体类别的像素段。
[0143]
条款16：根据条款11至15中任一项所述的方法，其中所述物体检测和分割是多类物体检测和分割，其中在所述图像中检测到所述跑道和所述跑道标志，并且所述遮罩包括所述图像中的分配给跑道和跑道标志的物体类别的像素段，所述兴趣点包括所述跑道和所述跑道标志上的兴趣点。
[0144]
条款17：根据条款11至16中任一项所述的方法，进一步包括：确定所述飞行器的操作状态；以及基于所述操作状态，选择第一机器学习模型或第二机器学习模型作为所述图像被应用于的所述机器学习模型，所述第一机器学习模型被训练为执行至少单类物体检测和分割，并且所述第二机器学习模型被训练为执行多类物体检测和分割。
[0145]
条款18：根据条款11至17中任一项所述的方法，其中所述机器学习模型进一步确定与所述跑道或所述跑道标志的检测相关联的置信区间或多维置信矩阵，并且所述方法进一步包括将所述遮罩应用于置信过滤器，所述置信过滤器仅当所述置信区间高于基于所述飞行器的操作状态动态地设置的阈值置信区间时将所述遮罩传递给所述角点检测器。
[0146]
条款19：根据条款11至18中任一项所述的方法，其中执行透视n点估计包括以相机坐标确定所述相机的所述当前姿态估计，并将所述相机坐标变换为对应的跑道框定的局部坐标，所述局部坐标被输出以用于所述飞行器的引导或控制中的至少一个。
[0147]
条款20：根据条款11至19中任一项所述的方法，其中执行所述透视n点估计进一步包括确定与所述当前姿态估计相关联的置信区间，并且所述方法进一步包括：访问一个或多个额外姿态估计和相关联的置信区间；使用所述置信区间和所述相关联的置信区间，执行所述当前姿态估计和所述一个或多个额外姿态估计的传感器融合，以生成更新的当前姿态估计；以及输出所述更新的当前姿态估计以用于所述飞行器的引导或控制中的至少一个。
[0148]
具有上述描述和相关联附图中提出的教导的益处的本公开所属领域的技术人员将会想到本文中阐述的本公开的许多修改和其他实施方式。因此，应理解的是，本公开不限于所公开的特定实施方式，而且修改和其他实施方式也旨在被包括在所附权利要求的范围内。此外，尽管上述描述和相关联附图在要素和/或功能的某些示例组合的情境下描述了示例实施方式，但应理解的是，在不脱离所附权利要求的范围的情况下，可以通过可替代的实施方式提供要素和/或功能的不同组合。在这方面，例如，也考虑了与上面明确描述的那些不同的要素和/或功能的不同组合，如可以在所附权利要求中的一些中阐述的。尽管本文中采用了特定术语，但它们仅在通用和描述性的意义上使用，并且不是出于限制的目的使用。