本发明涉及无人驾驶飞行器(unmanned aerial vehicle,uav)、uav的操作、以及uav的控制。本发明的各方面涉及包括定向测距模块(directional distance measuringmodule)的uav,该定向测距模块用于检查/勘测/测量/数字化uav的环境。
背景技术:
1、uav、特别是旋翼无人机(rotary wing drone)类型的uav充斥着消费者和服务市场,并且正被开发成管理技术和非技术领域中的宽泛种类的任务:记录电影场景、货物运输、检查建筑物/技术装置、勘测/测量/数字化物理环境等。
2、uav的功能正在快速增加,可以由uav执行的任务的复杂度也同样在迅速增加。随着任务复杂度的增加,提供直观、简单且可靠的可控性可能是具有挑战性的。
3、在检查建筑物/技术装置和勘测/数字化物理环境的领域中,长期以来希望提供一种至少半自主地执行检查和勘测/数字化的uav。
4、已经进行了各种尝试来将检查/勘测/数字化设备附接至uav。尽管如此,提供一种直观、简单且可靠地可控的至少半自主地执行检查和勘测/数字化的uav仍然是具有挑战性的。
5、遥控uav通常基于使用控制系统、包括至少一个传感器模块(例如,定向测距模块)的环境传感器系统、以及运动生成系统。这些系统至少通信地互连。
6、控制系统至少控制uav的推进单元。
7、环境传感器系统通常被设置在uav上,并且感测/检查/勘测/数字化uav的环境。感测/检查/勘测/数字化通常涉及勘测环境和/或环境中的物体,以生成表示环境和/或物体的点云数据,以及检测uav的环境中的障碍物以便避免碰撞。
8、运动生成系统基于用户输入以及基于环境传感器系统的感测输出来生成控制命令,其中,这些控制命令是由控制系统接收的。用户输入通常通过具有触敏显示器的移动控制设备的图形用户界面(graphical user interface,gui)来接收,其中,gui呈现可以由用户触发的高级控制命令。触发高级控制命令通常导致控制系统执行许多复杂的控制命令,从而最终引导uav的移动。
9、为了呈现具有直观的顶层控制命令的易懂gui,gui通常以实时视图(live-view)从uav的视角示出uav的物理环境的三维视图(3d视图),例如类似三维的表示,这是由机载摄像机系统生成的。然后,gui例如在移动控制设备的触敏显示器上显示uav的物理环境的3d视图。由此,由uav的摄像机生成的简单图像表示物理环境的3d视图(因为它提供立体图并由此包括深度信息),例如就像环境的3d模型一样,其包括环境的具有3d点信息的模型点。
技术实现思路
1、本发明的目的是,提供一种具有改进的可操作性和可控性的uav。
2、本发明的另一目的是,提供用于控制uav在物理环境中的飞行的改进方法。
3、本发明的另一目的是,提供一种包括定向测距模块的uav,该定向测距模块用于感测/检查/勘测/数字化uav的环境。
4、本发明的另一目的是,提供一种直观、简单且可靠地可控的至少半自主地执行对环境的检查和勘测/数字化的uav。
5、本发明的另一目的是,提供用于在物理环境中自主导航uav的改进方法。
6、本发明的第一方面的概述
7、本发明的第一方面涉及一种用于控制uav在物理环境中的飞行的计算机实现方法,所述方法包括在下文中概述的步骤。
8、提供具有触敏显示器的移动控制设备与uav之间的通信连接的步骤。
9、移动控制设备例如可以是平板pc、移动电话、智能手表、具有触摸屏的膝上型电脑等。移动控制设备还被配置成接收触摸输入。移动控制设备还可以被实现为增强现实(augmented reality,ar)和/或虚拟现实(virtual reality,vr)系统的一部分。然后,通过与触敏控制器交互的ar和/或vr系统的显示功能来实现触敏显示器,该触敏控制器被配置成接收触摸输入。
10、通信连接涉及用于发送和接收(收发)数据的连接。数据例如可以涉及信号(特别是传感器信号)、输入(特别是控制输入)、输出(特别是传感器输出或者由控制设备或uav的处理单元生成的输出)等。
11、可以基于使用实现无线通信连接的任何已建立的技术来提供通信连接。可以基于使用例如wi-fi/wlan标准、蓝牙标准、lte标准、卫星通信标准、无线电标准、nfc标准、红外标准等来提供通信连接。而且,可以基于使用实现无线通信连接的一种或多种已建立的技术来提供通信连接。在使用多于一种已建立的技术的情况下,这些技术之一的使用可以基于与例如用于建立通信连接所需的基础设施/信号强度的可用性或者uav与移动控制设备之间的距离相关的标准。
12、从uav的至少一个传感器模块接收环境数据的步骤,其中,该uav具有至少一个定向测距模块作为传感器模块,所述至少一个定向测距模块的视场具有主观察方向(mainview direction)。
13、环境数据可以涉及基于由uav的传感器模块执行的感测动作而生成的任何种类的数据。由此,感测动作涉及感测uav的环境的至少一部分。环境数据包括用于表征/确定/定义uav的环境的信息。
14、例如,传感器模块可以是基于雷达的测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离。然后,环境数据包括用于确定到环境的物体/物体表面/表面的距离的距离信息。
15、作为另一示例,传感器模块可以是温度测量模块。然后,感测动作涉及感测环境的温度。然后,环境数据包括用于确定环境的温度的温度信息。
16、作为另一示例,传感器模块可以是气压计模块。然后,感测动作涉及感测环境的气压。然后,环境数据包括用于确定环境的气压的压力信息。
17、作为另一示例,传感器模块可以是定向测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离和方向。然后,环境数据包括用于确定到环境的物体/物体表面/表面的距离和方向的距离和方向信息。基于这样的环境信息,可以生成uav的物理环境的表示,例如,基于3d点云的表示。
18、例如,可以将定向测距模块设置在uav的前区段中,并且具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(light detection andranging,lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
19、作为另一示例,传感器模块可以是摄像机系统。然后,感测动作涉及感测环境的光。环境数据然后包括光信息/图像信息(例如,采用图像数据的形式),以用于生成环境的图像。
20、作为另一示例,传感器模块可以是惯性测量单元(inertial measurement unit,imu)。然后,感测动作涉及感测角速率和/或加速度。然后,环境数据包括用于确定例如uav在环境中的取向和/或定向加速度的角速率信息和/或加速度信息。
21、作为另一示例,传感器模块可以是全球导航卫星系统(global navigationsatellite system,gnss)接收器。然后,感测动作涉及感测/接收来自gnss卫星的信号。然后,环境数据包括gnss信息(采用例如全局位置数据的形式),以用于确定uav在本地、区域或全局参考坐标系中的位置。
22、基于环境数据来确定物体表面的至少一部分的步骤。
23、物体是uav的物理环境中的物理物体和/或处于uav的物理环境中。物体例如可以是建筑物、塔、汽车、人、树等。物体具有表面。表面可以呈不同的形式。例如,表面可以是平坦的、弯曲的、扭结的等。
24、确定物体表面的至少一部分涉及确定该表面的几何/形状特征。几何/形状特征例如涉及表面的至少一部分的曲率、表面拓扑、纹理、尺寸等。可以基于环境数据来确定几何/形状特征。例如,基于用于确定到物体表面的至少一部分的距离的距离信息、和/或基于用于确定到物体表面的至少一部分的距离和方向的距离和方向信息、和/或基于用于生成环境的图像的光信息/图像信息(采用图像数据的形式)等。
25、基于环境数据来生成uav的物理环境的视图的步骤。
26、视图涉及物理环境的至少一部分的表示。表示例如可以是物理环境的至少一部分的图像。表示例如可以是物理环境的至少一部分的基于3d点云的表示。表示例如可以是物理环境的至少一部分的3d模型。表示例如可以是物理环境的至少一部分的温度图。
27、可以基于例如图像数据、距离和方向信息、温度信息等来生成视图。由此,可以基于使用从整个可用环境数据中选择的环境数据来生成视图。
28、由触敏显示器以实时视图来显示物理环境的视图的步骤。
29、显示涉及呈现辅助显示设备/显示功能的视图,使得该视图可被例如uav的用户感知。例如,如果移动控制设备是具有触敏显示器的平板pc,则通过在触敏显示器上显示视图来显示视图。
30、实时视图涉及显示通常基于最新近环境数据的视图。它可以涉及以预定义频率/帧速率显示视图,其中,至少以预定义频率/帧速率生成视图。视图的每次生成都通常基于最新近环境数据。
31、提供恒定距离模式的步骤。
32、恒定距离模式涉及uav以恒定距离沿着物体表面移动的模式。例如,如果物体是建筑物,则物体表面可以是外立面(facade)。然后,在恒定距离模式内,uav以恒定距离(例如以3米、5米、10米等的恒定距离)沿着外立面飞行。可以预定义恒定距离。恒定距离可以取决于定向测距模块的特性。
33、在恒定距离模式内接收指示uav在物理环境中移动的触摸输入的步骤。
34、触摸输入例如可以涉及用手指或笔状装置触摸触敏显示器或触敏控制器。触摸输入例如可以涉及用手指或笔来触摸触敏显示器,并且在触摸时跨触敏显示器移动手指或笔。触摸输入例如可以涉及“双指开合(pinch)”、“双指划动(stroke)”、“单击”、“单指划动”或“双击”触摸输入。
35、触摸输入是指示uav的移动的触摸输入。例如,“单击”触摸输入可以指示uav的旋转移动,或者“双指开合”触摸输入可以指示uav的平移移动等。
36、在恒定距离模式内基于触摸输入(特别是基于接收到触摸输入)来指示uav移动的步骤。
37、指示uav移动涉及基于触摸输入、特别是基于环境数据来生成控制命令,其中,这些控制命令由uav的控制系统来接收,从而最终引导uav的移动。
38、指示步骤:在触摸输入是具有划动进展(stroke progression)的基于“划动”的触摸输入的情况下,在接收到基于“划动”的触摸输入时,uav将它本身定位并定向成使得主观察方向以预定义方式对准至物体表面的所确定的至少一部分;在移动期间维持主观察方向以预定义方式的对准、以及到物体表面的恒定距离;以及基于划动进展沿着物体表面移动。
39、基于“划动”的触摸输入涉及用至少一个手指或笔状装置触摸触敏控制器,其中,该手指或笔状装置在触敏显示器或触敏控制器上划动而不中断触摸/接触。划动进展涉及划动移动,特别是涉及至少一个手指或笔状装置从一个位置划动至另一位置的移动。
40、在接收基于“划动”的触摸输入时涉及:指示uav从接收到基于“划动”的触摸输入开始移动,直到触摸/接触被中断/基于“划动”的触摸输入完成。
41、以预定义方式对准/预定义对准可以涉及在预定义角度(特别是水平角度)下将主观察方向对准至物体表面的所确定的至少一部分。该预定义角度(特别是水平角度)可以是与主观察方向到物体表面的所确定的至少一部分的垂直对准相关的角度。预定义对准可以涉及在预定义角度(特别是水平角度)下将主观察方向对准至物体表面的所确定的至少一部分,其中,预定角度(特别是水平角度)是基于预定义标准来确定的,该预定义标准涉及关于利用定向测距模块来测量定向距离的质量标准。
42、物体表面可以包括在确定物体表面的至少一部分时不可确定的部分。尽管如此,在物体表面的至少一部分已经被确定之后,这些部分仍可以通过移动uav来确定。然后,在移动uav期间,维持主观察方向以预定义方式的对准和到物体表面的这些部分的恒定距离。这意味着关于物体表面的可在该物体表面的至少一部分已经被确定之后并且通过移动uav来确定的部分,可以应用主观察方向以预定义方式的对准以及恒定距离。
43、基于测量到物体表面的至少一部分/物体表面的定向距离,可以维持到物体表面的至少一部分/物体表面的恒定距离。
44、根据本发明的第一方面的具体实施方式,基于“划动”的触摸输入是“双指划动”触摸输入。
45、根据本发明的第一方面的实施方式,所述方法包括以下步骤:导出划动进展开始状态、划动进展结束状态、以及基于划动进展开始状态和划动进展结束状态的划动方向;以及指示uav沿着划动方向沿着物体表面移动。
46、划动进展可以包括多个划动进展开始状态和划动进展结束状态,其合计为划动进展。
47、根据本发明的第一方面的实施方式,所述方法包括以下步骤:确定划动进展开始状态的位置与划动进展结束状态的位置之间的距离;以及基于该距离来指示uav沿着物体表面移动。
48、根据本发明的第一方面的实施方式,所述方法包括以下步骤:基于该距离来确定飞行速度;以及基于飞行速度来指示uav沿着物体表面移动。
49、根据本发明的第一方面的实施方式,所述方法包括以下步骤:在触敏显示器上提供物体表面的至少一部分的可选择性,其中,提供恒定距离模式基于可选择性。
50、例如,可以通过在显示器上触摸物体表面的至少一部分来使得能够实现对至少一部分的选择,从而提供可选择性。提供可选择性还可以包括突出显示物体表面的至少一部分。
51、根据本发明的第一方面的实施方式,所述方法包括以下步骤:基于与物体表面的所确定的至少一部分相关的预定义标准,特别是连同物体表面的至少一部分的可选择性一起,在触敏显示器上提供恒定距离模式的可选择性,其中,提供恒定距离模式基于该可选择性。
52、预定义标准可以涉及表面的几何/形状特征,例如涉及表面的至少一部分的曲率、表面拓扑、纹理、尺寸等。
53、例如,可以通过在触敏显示器或触敏控制器上触摸指示恒定距离模式的指示器来使得能够实现对恒定距离模式的选择,从而提供可选择性。提供可选择性还可以包括在触敏显示器或触敏控制器上显示指示器。例如,指示器可以是覆盖到物理环境的视图的可致动符号。
54、根据本发明的第一方面的实施方式,预定义标准与物体表面的所确定的至少一部分的所确定的曲率相关,其中,与曲率阈值水平具有预定义关系的所确定的曲率触发提供恒定距离模式的可选择性。
55、预定义关系例如可以涉及所确定的曲率高于曲率阈值水平、或者可基于所确定的曲率确定的值低于曲率阈值。
56、根据本发明的第一方面的实施方式,预定义标准与物体表面的所确定的至少一部分中的不连续性相关,其中,对不连续性的标识触发提供恒定距离模式的可选择性。
57、不连续性例如可以涉及物体表面的至少一部分中的台阶、扭结、边缘、豁口等。
58、根据本发明的第一方面的实施方式,所述方法包括以下步骤:从uav的摄像机系统接收采用图像数据的形式的环境数据,摄像机系统是uav的传感器模块。
59、根据本发明的第一方面的实施方式,所述方法包括以下步骤:接收从由定向测距模块提供的定向距离信息导出的、采用3d点云数据的形式的环境数据。
60、定向距离信息例如可以包括与到物体表面/物体表面的点的距离相关的距离信息和/或与到物体表面/物体表面的点的方向相关的方向信息。
61、根据本发明的第一方面的实施方式,所述方法包括以下步骤:使图像数据和3d点云数据相关联;以及基于相关联的图像数据和3d点云数据来确定物体表面的至少一部分。
62、相关联可以涉及基于特征识别算法将图像数据指派给3d点云数据。例如,特征识别算法可以使用对3d点云数据和图像数据中的特征的识别来使图像数据与3d点云数据相关联。相关联还可以涉及将位置信息指派给图像数据,以及基于被指派给图像数据的位置信息来使图像数据与3d点云数据相关联。
63、根据本发明的第一方面的实施方式,所述方法包括以下步骤:通过向物理环境的所显示的视图中的物体表面的所确定的至少一部分覆盖可致动符号,来提供恒定距离模式的可选择性。
64、根据本发明的第一方面的实施方式,uav具有主体,该主体沿着轴线、特别是uav的侧倾轴线从前端向后端延伸;并且定向测距模块被集成在主体的前端中,使得主观察方向沿着轴线、特别是沿着uav的侧倾轴线对准。
65、根据本发明的第一方面的实施方式,定向测距模块基于光检测和测距(lidar)原理,来测量到物体表面的距离和方向。
66、由此,到物体表面的距离和方向通常涉及到物体表面的点的距离和方向。测量到物体表面的距离和方向可以涉及测量到物体表面和/或物体表面的点的水平角度、垂直角度以及距离。lidar原理涉及基于击中物体表面并被反射以由定向测距模块检测的测距辐射脉冲的飞行时间来测量距离。
67、定向测距模块例如可以是扫描器模块,该扫描器模块使用测距辐射来扫描物理环境,并且基于该扫描,来测量到物体表面的距离和方向。扫描器模块可以是激光扫描器模块,并且测距辐射可以是激光辐射。
68、根据本发明的第一方面的具体实施方式,所述方法的uav是根据本发明的第十五方面的uav。
69、本发明的第一方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与具有触敏显示器的移动控制设备和/或uav相关的处理单元执行时,使得能够根据本发明的第一方面的方法来控制uav的飞行,其中,该uav具有至少一个传感器模块以及至少作为传感器模块的定向测距模块,至少一个定向测距模块的视场具有主观察方向。
70、本发明的第一方面还涉及一种用于控制uav在物理环境中的飞行的系统,该系统包括:uav,其中,uav具有至少一个传感器模块;以及至少作为传感器模块的定向测距模块,定向测距模块的视场具有主观察方向;以及根据本发明的第一方面的计算机程序产品。
71、根据本发明的第一方面的实施方式,该系统还包括移动控制设备,该移动控制设备具有触敏显示器。
72、根据本发明的第一方面的实施方式,uav具有摄像机系统,摄像机系统包括多个摄像机,多个摄像机在外围设置在uav处,并且各个摄像机的视场皆具有与uav有关的固定取向并且远离uav定向;一个前部摄像机面向前方,一个顶部摄像机面向上方,一个底部摄像机面向下方,以及至少一个侧部摄像机面向侧方。这些摄像机被设置成使得各个视场皆与至少一个相邻视场叠加到预定义程度;并且摄像机系统提供物理环境的全向(all-round)视图。
73、各个摄像机的视场皆具有与uav有关的固定取向涉及将摄像机在uav处设置成使得对于各个摄像机,其在uav处的位置及其相对于uav的取向不是可变的而是固定的和预定义的。
74、全向视图涉及物理环境的视图,其在很大程度上覆盖包围uav的物理环境的视图。全向视图包括至少一个侧视图、前视图、上视图以及下视图。由摄像机系统提供的全向视图不依赖于使用摄像机,该全向视图可以是机械万向节化(gimbaled)的。
75、根据本发明的第一方面的实施方式,定向测距模块被配置成测量到uav的物理环境的物体表面的距离和方向,并且该物体表面的至少部分处于摄像机的至少一个视场内。
76、根据本发明的第一方面的具体实施方式,该系统的uav是根据本发明的第十五方面的uav。
77、本发明的第二方面的概要
78、本发明的第二方面涉及一种用于控制uav在物理环境中的飞行的计算机实现方法,所述方法包括在下文中概述的步骤。
79、基于来自uav的摄像机系统的图像数据,连续地生成uav的物理环境的视图的步骤。
80、视图涉及物理环境的至少一部分的表示。表示例如可以是物理环境的至少一部分的图像,图像基于来自摄像机系统的图像数据。
81、连续地生成视图涉及稳定地生成视图。由此,可以以给定频率/帧速率稳定地/连续地生成视图。频率可以是可变的。例如,该视图可以每秒钟生成50次,涉及每秒钟生成50个视图。该视图可以例如每秒钟生成50次到250次,涉及每秒钟生成50到250个视图。
82、由触敏显示器以实时视图来连续地显示物理环境的视图的步骤。
83、显示涉及呈现辅助显示设备/显示功能的视图,使得该视图可被例如uav的用户感知。例如,如果触敏显示器是作为具有触敏显示器的平板pc的移动控制设备的一部分,则通过在触敏显示器上显示视图来显示视图。触敏显示器可以是平板pc、移动电话、智能手表、膝上型电脑等的一部分。
84、触敏显示器还被配置成接收触摸输入。触敏显示器也可以被实现为增强现实(augmented reality,ar)和/或虚拟现实(virtual reality,vr)系统的一部分。然后,通过与触敏控制器交互的ar和/或vr系统的显示功能来实现触敏显示器,该触敏控制器被配置成接收触摸输入。
85、与连续地生成视图类似地执行连续地显示视图。尽管如此,仍可以以给定频率/帧速率来执行连续地显示视图。该给定频率/帧速率可以不同于连续地生成视图的频率。
86、实时视图涉及显示通常基于最新近图像数据的视图。它可以涉及以预定义频率/帧速率显示视图,其中,至少以预定义频率/帧速率生成视图。视图的每次生成都通常基于最新近图像数据。
87、接收并标识具有两个夹点(pitch point)的“双指开合”触摸输入的步骤,该触摸输入指示uav沿着开合方向在物理环境中移动。
88、“双指开合”触摸输入是指示uav的移动的触摸输入。例如,“双指开合”触摸输入指示uav的平移移动。夹点涉及接收到一个手指的触摸输入的点。夹点例如可以是触敏显示器上的两个位置,其中,两个手指在执行“双指开合”触摸输入时触摸显示器。
89、开合方向涉及基于这两个夹点导出的方向。开合方向是朝向物理环境中的一点或者远离该点的方向。
90、基于以上来指示uav移动的步骤。
91、指示uav移动涉及基于“双指开合”触摸输入、特别是基于环境数据来生成控制命令,其中,这些控制命令由uav的控制系统来接收,从而最终引导uav的移动。由此,环境数据可以涉及基于由uav的传感器模块执行的感测动作而生成的任何种类的数据。由此,感测动作涉及感测uav的环境的至少一部分。环境数据包括用于表征/确定/定义uav的环境的信息。环境数据可以包括来自uav的摄像机系统的图像数据。
92、在接收到“双指开合”触摸输入时确定夹点的夹点进展并且通过基于夹点进展数字地缩放视图来调整实时视图的步骤。
93、数字地缩放例如可以涉及数字地缩放视图,以及以实时视图连续地生成并显示经数字缩放的视图。由此,它仍然是实时视图,但是来自经数字缩放的视图。
94、导出夹点进展开始状态和夹点进展结束状态的步骤。
95、夹点进展可以包括多个夹点进展开始状态和夹点进展结束状态,合计为夹点进展。
96、基于夹点进展开始状态和结束状态,来指示uav沿着开合方向移动的步骤。
97、根据本发明的第二方面的实施方式,所述方法包括以下步骤:导出在夹点进展开始状态下两个夹点之间的第一距离、以及在夹点进展结束状态下两个夹点之间的第二距离;以及基于所导出的第一距离和第二距离,来指示uav沿着开合方向移动。
98、根据本发明的第二方面的实施方式,所述方法包括以下步骤:导出在夹点进展结束状态下两个夹点之间的结束时中点(end-midpoint);以及基于所导出的结束时中点,来指示uav沿着开合方向移动。
99、结束时中点涉及在夹点进展结束状态下位于两个夹点之间的中间位置的点。
100、根据本发明的第二方面的实施方式,所述方法包括以下步骤:导出在夹点进展开始状态下两个夹点之间的开始时中点;以及基于所导出的开始时中点,来指示uav沿着开合方向移动。
101、开始时中点涉及在夹点进展开始状态下位于两个夹点之间的中间位置的点。
102、根据本发明的第二方面的实施方式,摄像机系统包括多个摄像机,所述多个摄像机在外围设置在uav处,并且各个摄像机的视场皆具有与uav有关的固定取向并且远离uav定向;一个前部摄像机面向前方、一个顶部摄像机面向上方、一个底部摄像机面向下方,以及至少一个侧部摄像机面向侧方,其中,这些摄像机被设置成使得各个视场皆与至少一个相邻视场叠加到预定义程度;并且该摄像机系统提供物理环境的全向视图,所述方法包括以下步骤:在接收到“双指开合”触摸输入时,基于夹点进展,确定多个摄像机中的至少一个摄像机,基于至少一个摄像机的图像数据来连续地生成并显示视图。
103、各个摄像机的视场皆具有与uav有关的固定取向涉及将摄像机在uav处设置成使得对于各个摄像机,其在uav处的位置及其相对于uav的取向不是可变的而是固定的和预定义的。
104、全向视图涉及物理环境的视图,其在很大程度上覆盖包围uav的物理环境的视图。全向视图包括至少一个侧视图、前视图、上视图以及下视图。由摄像机系统提供的全向视图不依赖于使用摄像机,该全向视图可以是机械万向节化的。
105、根据本发明的第二方面的实施方式,所述方法包括以下步骤:在接收到“双指开合”触摸输入时,导出夹点进展开始状态和夹点进展结束状态;并且基于夹点进展开始状态和结束状态,来指示uav沿着开合方向移动。
106、根据本发明的第二方面的实施方式,所述方法包括以下步骤:在接收到“双指开合”触摸输入之后,基于夹点进展开始状态和结束状态,来指示uav沿着开合方向移动。
107、根据本发明的第二方面的实施方式,所述方法包括以下步骤:将视图数字地缩放成在夹点进展结束状态下的经数字缩放的结束时视图(end-view);以及在uav正沿着开合方向移动时,将视图从经数字缩放的结束时视图平滑地数字缩放成未数字缩放的视图;并且由触敏显示器以实时视图连续地显示物理环境的未数字缩放的视图。
108、平滑缩放可以涉及从一个视图到另一视图的缓慢但流畅的缩放,以产生一个视图与另一视图之间的平滑过渡的印象。
109、根据本发明的第二方面的实施方式,所述方法包括以下步骤,在uav正沿着开合方向移动时,视图是物理环境的模拟视图;并且由触敏显示器连续地显示该模拟视图。
110、模拟视图是基于先前已经记录的图像数据或环境数据而连续地生成并显示的视图。
111、根据本发明的第二方面的实施方式,所述方法包括以下步骤:在uav正沿着开合方向移动时,视图是物理环境的冻结视图;并且由触敏显示器连续地显示该冻结视图。
112、根据本发明的第二方面的实施方式,所述方法包括以下步骤:在uav正沿着开合方向移动时,视图是空白视图;并且由触敏显示器连续地显示空白视图。
113、空白视图例如可以涉及完全黑化或白化的视图,不包括环境的任何特征。
114、根据本发明的第二方面的实施方式,所述方法包括以下步骤,在uav沿着开合方向移动之后,从视图转到物理环境的未数字缩放的视图;并且由触敏显示器以实时视图连续地显示未数字缩放的视图。
115、本发明的第二方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与具有触敏显示器的移动控制设备和/或uav相关的处理单元执行时,使得能够根据本发明的第二方面的方法来控制包括摄像机系统的uav的飞行。
116、根据本发明的第二方面的具体实施方式,所述方法的uav是根据本发明的第十五方面的uav。
117、本发明的第三方面的概述
118、本发明的第三方面涉及一种用于控制具有主观察方向的uav在物理环境中的飞行的计算机实现方法,所述方法包括在下文中概述的步骤。
119、基于来自uav的摄像机系统的图像数据,连续地生成该uav的物理环境的视图的步骤。
120、视图涉及物理环境的至少一部分的表示。表示例如可以是物理环境的至少一部分的图像,图像基于来自摄像机系统的图像数据。
121、连续地生成视图涉及稳定地生成视图。由此,可以以给定频率/帧速率稳定地/连续地生成视图。频率可以是可变的。例如,该视图可以每秒钟生成50次,涉及每秒钟生成50个视图。该视图可以例如每秒钟生成50次到250次,涉及每秒钟生成50到250个视图。
122、由触敏显示器以实时视图连续地显示在第一观察方向上的物理环境的视图的步骤。
123、显示涉及呈现辅助显示设备/显示功能的视图,使得该视图可被例如uav的用户感知。例如,如果触敏显示器是作为具有触敏显示器的平板pc的移动控制设备的一部分,则通过在触敏显示器上显示视图来显示视图。触敏显示器可以是平板pc、移动电话、智能手表、膝上型电脑等的一部分。
124、第一观察方向可以不同于主观察方向。
125、触敏显示器还被配置成接收触摸输入。触敏显示器还可以被实现为增强现实(ar)和/或虚拟现实(vr)系统的一部分。然后,通过与触敏控制器交互的ar和/或vr系统的显示功能来实现触敏显示器,该触敏控制器被配置成接收触摸输入。
126、与连续地生成视图类似地执行连续地显示视图。尽管如此,仍可以以给定频率/帧速率来执行连续地显示视图。该给定频率/帧速率可以不同于连续地生成视图的频率。
127、实时视图涉及显示通常基于最新近图像数据的视图。它可以涉及以预定义频率/帧速率显示视图,其中,至少以预定义频率/帧速率生成视图。视图的每次生成都通常基于最新近图像数据。
128、接收并标识具有划动进展的“双指划动”触摸输入的步骤,该触摸输入指示uav沿着划动方向在物理环境中移动。
129、“双指划动”触摸输入是指示uav的移动的触摸输入。例如,“双指划动”触摸输入指示uav的平移移动。
130、“双指划动”触摸输入涉及用两个手指触摸触敏显示器或触敏控制器,其中,手指在触敏显示器或触敏控制器上划动而不中断触摸/接触。
131、划动进展涉及划动移动,特别是涉及两个手指从一个位置划动至另一位置的移动。
132、划动方向涉及基于划动进展导出的方向。
133、基于以上、特别是基于接收并标识“双指划动”触摸输入来指示uav移动的步骤。
134、指示uav移动涉及基于“双指划动”触摸输入、特别是基于环境数据来生成控制命令,其中,这些控制命令由uav的控制系统来接收,从而最终引导uav的移动。由此,环境数据可以涉及基于由uav的传感器模块执行的感测动作而生成的任何种类的数据。由此,感测动作涉及感测uav的环境的至少一部分。环境数据包括用于表征/确定/定义uav的环境的信息。环境数据可以包括来自uav的摄像机系统的图像数据。
135、在接收到“双指划动”触摸输入时确定划动进展的步骤。
136、导出划动进展开始状态和划动进展结束状态的步骤。
137、划动进展可以包括多个划动进展开始状态和划动进展结束状态,合计为划动进展。
138、基于划动进展开始状态和结束状态,来指示uav横向于第一观察方向并且沿着划动方向移动的步骤。
139、根据本发明的第三方面的实施方式,所述方法包括以下步骤:确定划动进展开始状态的第一位置、以及划动进展结束状态的第二位置;基于第一位置和第二位置,来确定划动方向;以及基于第一位置和第二位置,来指示uav横向于第一观察方向并且沿着划动方向移动。
140、根据本发明的第三方面的实施方式,所述方法包括以下步骤:确定第一位置与第二位置之间的距离;以及基于该距离,来指示uav横向于第一观察方向并且沿着划动方向移动。
141、根据本发明的第三方面的实施方式,所述方法包括以下步骤:基于距离来确定飞行速度;以及基于飞行速度来指示uav移动。
142、根据本发明的第三方面的实施方式,所述方法包括以下步骤:指示uav以到所标识的物体表面的恒定距离移动。
143、物体是uav的物理环境中的物理物体和/或处于uav的物理环境中。物体例如可以是建筑物、塔、汽车、人、树等。物体具有表面。表面可以呈不同的形式。例如,表面可以是平坦的、弯曲的、扭结的等。
144、例如,可以通过图像识别算法或者通过uav的传感器模块来标识物体,该传感器模块基于可以标识哪些物体来生成环境数据。以到物体表面的恒定距离的移动可以基于使用由uav的传感器模块生成的距离信息,其中,基于该距离信息,在移动uav期间可以确定并维持到所标识的物体的距离。
145、根据本发明的第三方面的实施方式,摄像机系统包括多个摄像机,所述多个摄像机在外围设置在uav处,并且各个摄像机的视场皆具有与uav有关的固定取向并且远离从uav定向;一个前部摄像机面向前方、一个顶部摄像机面向上方、一个底部摄像机面向下方,以及至少一个侧部摄像机面向侧方,其中,这些摄像机被设置成使得各个视场皆与至少一个相邻视场叠加到预定义程度;并且摄像机系统提供物理环境的全向视图,所述方法包括以下步骤:在接收到“双指划动”触摸输入时,基于划动进展,确定多个摄像机中的至少一个摄像机,基于至少一个摄像机的图像数据来连续地生成并显示视图。
146、各个摄像机的视场皆具有与uav有关的固定取向涉及将摄像机在uav处设置成使得对于各个摄像机,其在uav处的位置及其相对于uav的取向不是可变的而是固定的和预定义的。
147、全向视图涉及物理环境的视图,其在很大程度上覆盖包围uav的物理环境的视图。全向视图包括至少一个侧视图、前视图、上视图以及下视图。由摄像机系统提供的全向视图不依赖于使用摄像机,该全向视图可以是机械万向节化的。
148、根据本发明的第三方面的实施方式,所述方法包括以下步骤:在接收到“双指划动”触摸输入时,导出划动进展开始状态和划动进展结束状态;并且基于划动进展开始状态和结束状态,来指示uav横向于第一观察方向并且沿着划动方向移动。
149、在接收“双指划动”触摸输入时涉及:指示uav从接收到“双指划动”触摸输入开始移动,直到触摸/接触被中断/“双指划动”触摸输入完成。
150、根据本发明的第三方面的实施方式,所述方法包括以下步骤:在接收到“双指划动”触摸输入之后,基于划动进展开始状态和结束状态,来指示uav横向于第一观察方向并且沿着划动方向移动。
151、根据本发明的第三方面的实施方式,所述方法包括以下步骤:在uav正横向于第一观察方向并且沿着划动方向移动时,视图是物理环境的模拟视图;并且由触敏显示器连续地显示模拟视图。
152、模拟视图是基于先前已经记录的图像数据或环境数据而连续地生成并显示的视图。
153、根据本发明的第三方面的实施方式,所述方法包括以下步骤:在uav正横向于第一观察方向并且沿着划动方向移动时,视图是物理环境的冻结视图;并且由触敏显示器连续地显示该冻结视图。
154、根据本发明的第三方面的实施方式,所述方法包括以下步骤,在uav正横向于第一观察方向并且沿着划动方向移动时,视图是空白视图;并且由触敏显示器连续地显示空白视图。
155、空白视图例如可以涉及完全黑化或白化的视图,不包括环境的任何特征。
156、本发明的第三方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与具有触敏显示器的移动控制设备和/或uav相关的处理单元执行时,使得能够根据本发明的第三方面的方法来控制包括摄像机系统的uav的飞行。
157、根据本发明的第三方面的具体实施方式,所述方法的uav是根据本发明的第十五方面的uav。
158、本发明的第四方面的概要
159、本发明的第四方面涉及一种用于控制uav在物理环境中的飞行的计算机实现方法,特别是在uav的悬停状态下,所述方法包括在下文中概述的步骤。
160、基于来自uav的摄像机系统的图像数据,连续地生成该uav的物理环境的视图的步骤。
161、视图涉及物理环境的至少一部分的表示。表示例如可以是物理环境的至少一部分的图像,图像基于来自摄像机系统的图像数据。
162、连续地生成视图涉及稳定地生成视图。由此,可以以给定频率/帧速率稳定地/连续地生成视图。频率可以是可变的。例如,视图可以每秒钟生成50次,涉及每秒钟生成50个视图。视图可以例如每秒钟生成50次到250次,涉及每秒钟生成50到250个视图。
163、由触敏显示器以实时视图来连续地显示物理环境的视图的步骤。
164、显示涉及呈现辅助显示设备/显示功能的视图,使得该视图可被例如uav的用户感知。例如,如果触敏显示器是作为具有触敏显示器的平板pc的移动控制设备的一部分,则通过在触敏显示器上显示视图来显示视图。触敏显示器可以是平板pc、移动电话、智能手表、膝上型电脑等的一部分。
165、触敏显示器还被配置成接收触摸输入。触敏显示器还可以被实现为增强现实(ar)和/或虚拟现实(vr)系统的一部分。然后,通过与触敏控制器交互的ar和/或vr系统的显示功能来实现触敏显示器,该触敏控制器被配置成接收触摸输入。
166、与连续地生成视图类似地执行连续地显示视图。尽管如此,仍可以以给定频率/帧速率来执行连续地显示视图。该给定频率/帧速率可以不同于连续地生成视图的频率。
167、实时视图涉及显示通常基于最新近图像数据的视图。它可以涉及以预定义频率/帧速率显示视图,其中,至少以预定义频率/帧速率生成视图。视图的每次生成都通常基于最新近图像数据。
168、接收并标识具有敲击点(tap point)的“单击”触摸输入的步骤,该触摸输入指示通过uav围绕其主轴线(principle axis)中的一个主轴线的旋转移动来使uav在物理环境中移动,主轴线涉及uav的偏航轴线、侧倾轴线以及俯仰轴线。
169、敲击点涉及接收到手指的触摸输入的点。敲击点例如可以是触敏显示器上的、其中手指在执行“单击”触摸输入时触摸该显示器的位置。
170、基于以上来指示uav移动的步骤。
171、指示uav移动涉及基于“单击”触摸输入、特别是基于环境数据来生成控制命令,其中,这些控制命令由uav的控制系统来接收,从而最终引导uav的移动。由此,环境数据可以涉及基于由uav的传感器模块执行的感测动作而生成的任何种类的数据。由此,感测动作涉及感测uav的环境的至少一部分。环境数据包括用于表征/确定/定义uav的环境的信息。环境数据可以包括来自uav的摄像机系统的图像数据。
172、在接收到“单击”触摸输入时确定敲击点的位置并且通过围绕主轴线中的至少一个主轴线数字地旋转视图来调整实时视图以便使敲击点的位置在视图中居中的步骤。
173、数字地旋转例如可以涉及数字地旋转视图,以及以实时视图连续地生成并显示经数字旋转的视图。由此,它仍然是实时视图,但是来自经数字旋转的视图。
174、基于敲击点的位置来确定旋转运动模式的步骤。
175、旋转运动模式例如可以涉及要由uav的控制系统来接收的控制命令,从而最终根据运动模式引导uav的移动。运动模式例如可以确定uav移动所基于的飞行速度/旋转速度、加速度、减速度等。
176、基于旋转运动模式来指示uav通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线旋转移动来移动,以便使敲击点的位置在视图中居中的步骤。
177、根据本发明的第四方面的实施方式,所述方法包括以下步骤:通过触敏显示器接收“单击”触摸输入,触敏显示器包括扩展至实时视图的多个触摸区,其中,确定敲击点的位置涉及标识接收到“单击”触摸输入的触摸区。
178、触摸区可以例如以二维触摸区光栅(raster)的形式扩展至实时视图。光栅例如可以包括仅行、仅列、或者行和列。由此,触摸区例如可以是线形、矩形、圆形、椭圆形等。
179、根据本发明的第四方面的实施方式,所述方法包括以下步骤:向触摸区指派预定旋转移动信息,该预定旋转移动信息用于数字地旋转视图,和/或指示uav通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线的旋转移动来移动,以便使敲击点的位置在视图中居中。
180、由此,预定旋转移动信息可以涉及预定旋转运动模式。
181、根据本发明的第四方面的实施方式,所述方法包括以下步骤:从虚拟摄像机位置沿指派给虚拟摄像机位置的观察方向连续地显示物理环境的视图;通过相对于虚拟摄像机位置围绕主轴线中的至少一个主轴线数字地旋转观察方向来数字地旋转视图,以便使敲击点的位置在视图中居中;以及从虚拟摄像机位置起沿经数字旋转的观察方向连续地显示物理环境的视图。
182、根据本发明的第四方面的实施方式,摄像机系统包括多个摄像机,多个摄像机在外围设置在uav处,并且各个摄像机的视场皆具有与uav有关的固定取向并且远离uav定向;一个前部摄像机面向前方、一个顶部摄像机面向上方、一个底部摄像机面向下方,以及至少一个侧部摄像机面向侧方,其中,这些摄像机被设置成使得各个视场皆与至少一个相邻视场叠加到预定义程度;并且摄像机系统提供物理环境的全向视图,所述方法包括以下步骤:在接收到“单击”触摸输入时,基于敲击点的位置,确定多个摄像机中的至少一个摄像机,基于至少一个摄像机的图像数据来连续地生成并显示视图。
183、各个摄像机的视场皆具有与uav有关的固定取向涉及将摄像机在uav处设置成使得对于各个摄像机,其在uav处的位置及其相对于uav的取向不是可变的而是固定的和预定义的。
184、全向视图涉及物理环境的视图,其在很大程度上覆盖uav周围的物理环境的视图。全向视图包括至少一个侧视图、前视图、上视图以及下视图。由摄像机系统提供的全向视图不依赖于使用摄像机,该全向视图可以是机械万向节化的。
185、根据本发明的第四方面的实施方式,所述方法包括以下步骤:在通过围绕主轴线中的至少一个主轴线数字地旋转视图来调整实时视图以便使敲击点的位置在视图中居中时,基于敲击点的位置来确定旋转运动模式;以及基于旋转运动模式来指示uav通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线的旋转移动来移动,以便使敲击点的位置在视图中居中。
186、根据本发明的第四方面的实施方式,所述方法包括以下步骤:在通过围绕主轴线中的至少一个主轴线数字地旋转视图来调整实时视图以便使敲击点的位置在视图中居中之后,基于旋转运动模式来指示uav通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线的旋转移动来移动,以便使敲击点的位置在视图中居中。
187、根据本发明的第四方面的实施方式,所述方法包括以下步骤:将视图数字地旋转成经数字旋转的结束时视图,该经数字旋转的结束时视图使敲击点的位置在视图中居中;以及在uav正通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线的旋转移动来移动时,将视图从经数字旋转的结束时视图平滑地数字旋转成至少关于主轴线中的至少一个主轴线未数字旋转的视图;并且由触敏显示器以实时视图连续地显示物理环境的未数字旋转的视图。
188、平滑地旋转可以涉及从一个视图到另一视图的缓慢但流畅的旋转,以产生一个视图与另一视图之间的平滑过渡的印象。
189、根据本发明的第四方面的实施方式,所述方法包括以下步骤:在uav正通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线的旋转移动来移动时,视图是物理环境的模拟视图;并且由触敏显示器连续地显示该模拟视图。
190、模拟视图是基于先前已经记录的图像数据或环境数据而连续地生成并显示的视图。
191、根据本发明的第四方面的实施方式,所述方法包括以下步骤:在uav正通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线的旋转移动来移动时,视图是物理环境的冻结视图;并且由触敏显示器连续地显示该冻结视图。
192、根据本发明的第四方面的实施方式,所述方法包括以下步骤:在uav正通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线的旋转移动来移动时,视图是空白视图;并且由触敏显示器连续地显示该空白视图。
193、空白视图例如可以涉及完全黑化或白化的视图,不包括环境的任何特征。
194、根据本发明的第四方面的实施方式,所述方法包括以下步骤:在uav通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线的旋转移动而移动之后,从视图转到物理环境的(至少关于主轴线中的至少一个主轴线)未数字旋转的视图;并且由触敏显示器以实时视图连续地显示未数字旋转的视图。
195、本发明的第四方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与具有触敏显示器的移动控制设备和/或uav相关的处理单元执行时,使得能够根据本发明的第四方面的方法来控制包括摄像机系统的uav的飞行。
196、根据本发明的第四方面的具体实施方式,所述方法的uav是根据本发明的第十五方面的uav。
197、本发明的第五方面的概述
198、本发明的第五方面涉及一种用于控制uav在物理环境中的飞行的计算机实现方法,特别是在uav的悬停状态下,所述方法包括在下文中概述的步骤。
199、基于来自uav的摄像机系统的图像数据,连续地生成uav的物理环境的视图的步骤。
200、视图涉及物理环境的至少一部分的表示。表示例如可以是物理环境的至少一部分的图像,图像基于来自摄像机系统的图像数据。
201、连续地生成视图涉及稳定地生成视图。由此,可以以给定频率/帧速率稳定地/连续地生成视图。频率可以是可变的。例如,视图可以每秒钟生成50次,涉及每秒钟生成50个视图。视图可以例如每秒钟生成50次到250次,涉及每秒钟生成50到250个视图。
202、由触敏显示器以实时视图来连续地显示物理环境的视图的步骤。
203、显示涉及呈现辅助显示设备/显示功能的视图,使得该视图可被例如uav的用户感知。例如,如果触敏显示器是作为具有触敏显示器的平板pc的移动控制设备的一部分,则通过在触敏显示器上显示视图来显示视图。触敏显示器可以是平板pc、移动电话、智能手表、膝上型电脑等的一部分。
204、触敏显示器还被配置成接收触摸输入。触敏显示器还可以被实现为增强现实(ar)和/或虚拟现实(vr)系统的一部分。然后,通过与触敏控制器交互的ar和/或vr系统的显示功能来实现触敏显示器,该触敏控制器被配置成接收触摸输入。
205、与连续地生成视图类似地执行连续地显示视图。尽管如此,仍可以以给定频率/帧速率来执行连续地显示视图。该给定频率/帧速率可以不同于连续地生成视图的频率。
206、实时视图涉及显示通常基于最新近图像数据的视图。它可以涉及以预定义频率/帧速率显示视图,其中,至少以预定义频率/帧速率生成视图。视图的每次生成都通常基于最新近图像数据。
207、接收并标识具有划动进展的“单指划动”触摸输入的步骤,该触摸输入指示通过uav围绕其主轴线中的一个主轴线的旋转移动来使uav在物理环境中移动,主轴线涉及uav的偏航轴线、侧倾轴线以及俯仰轴线。
208、“单指划动”触摸输入是指示uav的移动的触摸输入。例如,“单指划动”触摸输入指示uav的旋转移动。
209、“单指划动”触摸输入涉及用一个手指触摸触敏显示器或触敏控制器,其中,该手指在触敏显示器或触敏控制器上划动而不中断触摸/接触。
210、划动进展涉及划动移动,特别是涉及一个手指从一个位置划动至另一位置的移动。
211、基于以上、特别是基于接收并标识“单指划动”触摸输入来指示uav移动的步骤。
212、指示uav移动涉及基于“单指划动”触摸输入、特别是基于环境数据来生成控制命令,其中,这些控制命令由uav的控制系统来接收,从而最终引导uav的移动。由此,环境数据可以涉及基于由uav的传感器模块执行的感测动作而生成的任何种类的数据。由此,感测动作涉及感测uav的环境的至少一部分。环境数据包括用于表征/确定/定义uav的环境的信息。环境数据可以包括来自uav的摄像机系统的图像数据。
213、在接收到“单指划动”触摸输入时确定划动进展并且通过围绕主轴线中的至少一个主轴线并且沿着基于划动进展的划动方向数字地旋转视图来调整实时视图的步骤。
214、数字地旋转例如可以涉及数字地旋转视图,以及以实时视图连续地生成并显示经数字旋转的视图。由此,它仍然是实时视图,但是来自经数字旋转的视图。
215、划动方向涉及基于划动进展导出的方向。
216、导出划动进展开始状态和划动进展结束状态的步骤。
217、划动进展可以包括多个划动进展开始状态和划动进展结束状态,合计为划动进展。
218、基于划动进展开始状态和结束状态,指示uav通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线并且沿着划动方向的旋转移动来移动。
219、根据本发明的第五方面的实施方式,所述方法包括以下步骤:确定划动进展开始状态的第一位置、以及划动进展结束状态的第二位置;基于第一位置和第二位置来确定划动方向;以及基于第一位置和第二位置,指示uav通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线并且沿着划动方向的旋转移动来移动。
220、根据本发明的第五方面的实施方式,所述方法包括以下步骤:确定第一位置与第二位置之间的距离;以及基于该距离来指示uav横向于第一观察方向并且沿着划动方向移动。
221、根据本发明的第五方面的实施方式,所述方法包括以下步骤:基于该距离来确定飞行速度;以及基于飞行速度来指示uav移动。
222、根据本发明的第五方面的实施方式,所述方法包括以下步骤:从虚拟摄像机位置沿被指派给虚拟摄像机位置的观察方向连续地显示物理环境的视图;通过关于虚拟摄像机位置围绕主轴线中的至少一个主轴线并且沿着基于划动进展的划动方向数字地旋转观察方向来数字地旋转视图;以及从虚拟摄像机位置起沿经数字旋转的观察方向连续地显示物理环境的视图。
223、根据本发明的第五方面的实施方式,摄像机系统包括多个摄像机,多个摄像机在外围设置在uav处,并且各个摄像机的视场皆具有与uav有关的固定取向并且远离uav定向;一个前部摄像机面向前方、一个顶部摄像机面向上方、一个底部摄像机面向下方,以及至少一个侧部摄像机面向侧方,其中,这些摄像机被设置成使得各个视场皆与至少一个相邻视场叠加到预定义程度;并且该摄像机系统提供物理环境的全向视图,所述方法包括以下步骤:在接收到“单指划动”触摸输入时,基于划动进展,确定多个摄像机中的至少一个摄像机,基于至少一个摄像机的图像数据来连续地生成并显示视图。
224、各个摄像机的视场皆具有与uav有关的固定取向涉及将摄像机在uav处设置成使得对于各个摄像机,其在uav处的位置及其相对于uav的取向不是可变的而是固定的和预定义的。
225、全向视图涉及物理环境的视图,其在很大程度上覆盖包围uav的物理环境的视图。全向视图包括至少一个侧视图、前视图、上视图以及下视图。由摄像机系统提供的全向视图不依赖于使用摄像机,该全向视图可以是机械万向节化的。
226、根据本发明的第五方面的实施方式,所述方法包括以下步骤:在接收到“单指划动”触摸输入时,导出划动进展开始状态和划动进展结束状态;并且基于划动进展开始状态和结束状态,指示uav通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线并且沿着划动方向的旋转移动来移动。
227、在接收“单指划动”触摸输入时涉及:指示uav从接收到“单指划动”触摸输入开始移动,直到触摸/接触被中断/“单指划动”触摸输入完成。
228、根据本发明的第五方面的实施方式,所述方法包括以下步骤:在接收到“单指划动”触摸输入之后,基于划动进展开始状态和结束状态,指示uav通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线并且沿着划动方向的旋转移动来移动。
229、根据本发明的第五方面的实施方式,所述方法包括以下步骤:将视图数字地旋转成在划动进展结束状态下的经数字旋转的结束时视图;以及在uav正通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线并且沿着划动方向的旋转移动来移动时,将视图从经数字旋转的结束时视图平滑地数字旋转成(至少关于主轴线中的至少一个主轴线)未数字旋转的视图;并且由触敏显示器以实时视图连续地显示物理环境的未数字旋转的视图。
230、平滑旋转可以涉及从一个视图到另一视图的缓慢但流畅的旋转,以产生一个视图与另一视图之间的平滑过渡的印象。
231、根据本发明的第五方面的实施方式,所述方法包括以下步骤:在uav正通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线并且沿着划动方向的旋转移动来移动时,视图是物理环境的模拟视图;并且由触敏显示器连续地显示该模拟视图。
232、模拟视图是基于先前已经记录的图像数据或环境数据而连续地生成并显示的视图。
233、根据本发明的第五方面的实施方式,所述方法包括以下步骤:在uav正通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线并且沿着划动方向的旋转移动来移动时,视图是物理环境的冻结视图;并且由触敏显示器连续地显示该冻结视图。
234、根据本发明的第五方面的实施方式,所述方法包括以下步骤:在uav正通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线并且沿着划动方向的旋转移动来移动时,视图是空白视图;并且由触敏显示器连续地显示空白视图。
235、空白视图例如可以涉及完全黑化或白化的视图,不包括环境的任何特征。
236、根据本发明的第五方面的实施方式,所述方法包括以下步骤:在通过围绕主轴线中的至少一个主轴线、特别是围绕uav的偏航轴线并且沿着划动方向的旋转移动之后,从视图转到物理环境的(至少关于于主轴线中的至少一个主轴线)未数字旋转的视图;并且由触敏显示器以实时视图连续地显示未数字旋转的视图。
237、本发明的第五方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与具有触敏显示器的移动控制设备和/或uav相关的处理单元执行时,使得能够根据本发明的第五方面的方法来控制包括摄像机系统的uav的飞行。
238、根据本发明的第五方面的具体实施方式,所述方法的uav是根据本发明的第十五方面的uav。
239、本发明的第六方面的概要
240、本发明的第六方面涉及一种用于控制uav在物理环境中的飞行的计算机实现方法,特别是在uav的悬停状态下,所述方法包括在下文中概述的步骤。
241、基于来自uav的摄像机系统的图像数据,连续地生成该uav的物理环境的视图的步骤。
242、视图涉及物理环境的至少一部分的表示。表示例如可以是物理环境的至少一部分的图像,图像基于来自摄像机系统的图像数据。
243、连续地生成视图涉及稳定地生成视图。由此,可以以给定频率/帧速率稳定地/连续地生成视图。频率可以是可变的。例如,该视图可以每秒钟生成50次,涉及每秒钟生成50个视图。该视图可以例如每秒钟生成50次到250次,涉及每秒钟生成50到250个视图。
244、由触敏显示器以实时视图来连续地显示物理环境的视图的步骤。
245、显示涉及呈现辅助显示设备/显示功能的视图,使得该视图可被例如uav的用户感知。例如,如果触敏显示器是作为具有触敏显示器的平板pc的移动控制设备的一部分,则通过在触敏显示器上显示视图来显示视图。触敏显示器可以是平板pc、移动电话、智能手表、膝上型电脑等的一部分。
246、触敏显示器还被配置成接收触摸输入。触敏显示器还可以被实现为增强现实(ar)和/或虚拟现实(vr)系统的一部分。然后,通过与触敏控制器交互的ar和/或vr系统的显示功能来实现触敏显示器,该触敏控制器被配置成接收触摸输入。
247、与连续地生成视图类似地执行连续地显示视图。尽管如此,仍可以以给定频率/帧速率来执行连续地显示视图。该给定频率/帧速率可以不同于连续地生成视图的频率。
248、实时视图涉及显示通常基于最新近图像数据的视图。它可以涉及以预定义频率/帧速率显示视图,其中,至少以预定义频率/帧速率生成视图。视图的每次生成都通常基于最新近图像数据。
249、接收并标识具有敲击点的“双击”触摸输入的步骤,该触摸输入指示uav在物理环境中移动。
250、敲击点涉及接收到手指的触摸输入的点。敲击点例如可以是触敏显示器上的、其中手指在执行“单击”触摸输入时触摸该显示器的位置。
251、基于以上、特别是基于接收并标识“双击”触摸输入来指示uav移动的步骤。
252、指示uav移动涉及基于“双击”触摸输入、特别是基于环境数据来生成控制命令,其中,这些控制命令由uav的控制系统来接收,从而最终引导uav的移动。由此,环境数据可以涉及基于由uav的传感器模块执行的感测动作而生成的任何种类的数据。由此,感测动作涉及感测uav的环境的至少一部分。环境数据包括用于表征/确定/定义uav的环境的信息。环境数据可以包括来自uav的摄像机系统的图像数据。
253、在接收到“双击”触摸输入时确定敲击点的位置并且基于该位置来确定敲击方向,通过以下项来调整实时视图的步骤:围绕主轴线中的至少一个主轴线数字地旋转视图,以便使敲击点的位置在视图中居中;和/或将视图数字地缩放到预定缩放水平。
254、敲击方向涉及与敲击点/敲击点的位置相关联的方向。例如,敲击方向可以是可通过使敲击点/敲击点的位置与参考点相互关联来导出的方向。例如,敲击方向可以是被预先指派给可能的敲击点候选的方向。
255、数字地旋转例如可以涉及数字地旋转视图,以及以实时视图连续地生成并显示经数字旋转的视图。由此,它仍然是实时视图,但是来自经数字旋转的视图。
256、数字地缩放例如可以涉及数字地缩放视图,以及以实时视图连续地生成并显示经数字缩放的视图。由此,它仍然是实时视图,但是来自经数字缩放的视图。
257、预定缩放水平可以涉及与例如放大视图或缩小视图相关的缩放水平。
258、基于敲击点的位置来确定运动模式的步骤。
259、运动模式例如可以涉及要由uav的控制系统来接收的控制命令,从而最终根据运动模式引导uav的移动。运动模式例如可以确定uav移动所基于的飞行速度/旋转速度、加速度、减速度等。
260、基于运动模式来指示uav通过围绕其主轴线中的至少一个主轴线的旋转移动来移动,主轴线涉及uav的偏航轴线、侧倾轴线以及俯仰轴线,以便使敲击点的位置在视图中居中;并且以沿着敲击方向的预定量移动。
261、预定量例如可以涉及10米、5米或3米的距离。
262、根据本发明的第六方面的实施方式,所述方法包括以下步骤,通过触敏显示器接收“双击”触摸输入,触敏显示器包括扩展至实时视图的多个触摸区,其中,确定敲击点的位置涉及标识接收到“双击”触摸输入的触摸区。
263、触摸区可以以例如二维触摸区光栅的形式扩展至实时视图。光栅例如可以包括仅行、仅列、或者行和列。由此,触摸区例如可以是线形、矩形、圆形、椭圆形等。
264、根据本发明的第六方面的实施方式,所述方法包括以下步骤:向触摸区指派预定移动信息,所述预定移动信息用于特别是数字地旋转和缩放视图和/或指示uav通过围绕主轴线中的至少一个主轴线的数字旋转来移动,以便使敲击点的位置在视图中居中。
265、由此,预定移动信息可以涉及预定运动模式。
266、触摸区可以被指派有预定敲击方向。
267、根据本发明的第六方面的实施方式,所述方法包括以下步骤:从虚拟摄像机位置沿被指派给虚拟摄像机位置的观察方向连续地显示物理环境的视图;通过关于虚拟摄像机位置围绕主轴线中的至少一个主轴线数字地旋转观察方向来数字地旋转视图,以便使敲击点的位置在视图中居中;以及从虚拟摄像机位置起沿经数字旋转的观察方向连续地显示物理环境的视图。
268、根据本发明的第六方面的实施方式,摄像机系统包括多个摄像机,多个摄像机在外围设置在uav处,并且各个摄像机的视场皆具有与uav有关的固定取向并且远离uav定向;一个前部摄像机面向前方、一个顶部摄像机面向上方、一个底部摄像机面向下方,以及至少一个侧部摄像机面向侧方,其中,这些摄像机被设置成使得各个视场皆与至少一个相邻视场叠加到预定义程度;并且该摄像机系统提供物理环境的全向视图,所述方法包括以下步骤:在接收到“双击”触摸输入时,基于敲击点的位置,确定多个摄像机中的至少一个摄像机,基于至少一个摄像机的图像数据来连续地生成并显示视图。
269、各个摄像机的视场皆具有与uav有关的固定取向涉及将摄像机在uav处设置成使得对于各个摄像机,其在uav处的位置及其相对于uav的取向不是可变的而是固定的和预定义的。
270、全向视图涉及物理环境的视图,其在很大程度上覆盖包围uav的物理环境的视图。全向视图包括至少一个侧视图、前视图、上视图以及下视图。由摄像机系统提供的全向视图不依赖于使用摄像机,该全向视图可以是机械万向节化的。
271、根据本发明的第六方面的实施方式,所述方法包括以下步骤:基于敲击点的位置来确定运动模式;以及在通过围绕主轴线中的至少一个主轴线数字地旋转视图以便使敲击点的位置在视图中居中,并且将视图数字地缩放到预定缩放水平来调整实时视图时,指示uav基于该运动模式通过围绕主轴线中的至少一个主轴线的旋转移动来移动以便使敲击点的位置在视图中居中,并且沿着基于敲击点的位置导出的敲击方向以预定量移动。
272、根据本发明的第六方面的实施方式,所述方法包括以下步骤:在通过围绕主轴线中的至少一个主轴线数字地旋转视图以便使敲击点的位置在视图中居中,并且将视图数字地缩放到预定缩放水平来调整实时视图之后,指示uav基于该运动模式通过围绕主轴线中的至少一个主轴线的旋转移动来移动以便使敲击点的位置在视图中居中,并且沿着基于敲击点的位置导出的敲击方向以预定量移动。
273、根据本发明的第六方面的实施方式,所述方法包括以下步骤:将视图数字地旋转并且缩放成经数字旋转并且经数字缩放的结束时视图,该经数字旋转并且经数字缩放的结束时视图使敲击点的位置在视图中居中并且被缩放到预定缩放水平;以及在uav正通过围绕主轴线中的至少一个主轴线的旋转移动来移动,并且以沿着敲击方向的预定量移动时,将视图从经数字旋转并且缩放的结束时视图平滑地数字旋转成(至少关于主轴线中的至少一个主轴线)未数字旋转并且未数字缩放的视图;并且由触敏显示器以实时视图连续地显示物理环境的未数字旋转并且未数字缩放的视图。
274、平滑旋转可以涉及从一个视图到另一视图的缓慢但流畅的旋转,以产生一个视图与另一视图之间的平滑过渡的印象。
275、根据本发明的第六方面的实施方式,所述方法包括以下步骤:在uav正通过围绕主轴线中的至少一个主轴线的旋转移动来移动,并且以沿着敲击方向的预定量移动时,视图是物理环境的模拟视图;并且由触敏显示器连续地显示模拟视图。
276、模拟视图是基于先前已经记录的图像数据或环境数据而连续地生成并显示的视图。
277、根据本发明的第六方面的实施方式,所述方法包括以下步骤:在uav正通过围绕主轴线中的至少一个主轴线旋转移动来移动,并且以沿着敲击方向的预定量移动时,视图是物理环境的冻结视图;并且由触敏显示器连续地显示冻结视图。
278、根据本发明的第六方面的实施方式,所述方法包括以下步骤:在uav正通过围绕主轴线中的至少一个主轴线的旋转移动来移动,并且以沿着敲击方向的预定量移动时,视图是空白视图;并且由触敏显示器连续地显示空白视图。
279、空白视图例如可以涉及完全黑化或白化的视图,不包括环境的任何特征。
280、根据本发明的第六方面的实施方式,所述方法包括以下步骤:在uav通过围绕主轴线中的至少一个主轴线的旋转移动来移动,并且以沿着敲击方向的预定量移动之后,从视图转到物理环境的(至少关于主轴线中的至少一个主轴线)未数字旋转并且未数字缩放的视图;并且由触敏显示器以实时视图连续地显示未数字旋转并且未数字缩放的视图。
281、根据本发明的第六方面的实施方式,所述方法包括以下步骤:从uav的传感器模块接收环境数据,并且基于环境数据修正uav沿着敲击方向的移动。
282、环境数据可以涉及基于由uav的传感器模块执行的感测动作而生成的任何种类的数据。由此,感测动作涉及感测uav的环境的至少一部分。环境数据包括用于表征/确定/定义uav的环境的信息。
283、例如,传感器模块可以是基于雷达的测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离。然后,环境数据包括用于确定到环境的物体/物体表面/表面的距离的距离信息。
284、作为另一示例,传感器模块可以是温度测量模块。然后,感测动作涉及感测环境的温度。然后,环境数据包括用于确定环境的温度的温度信息。
285、作为另一示例,传感器模块可以是气压计模块。然后,感测动作涉及感测环境的气压。然后,环境数据包括用于确定环境的气压的压力信息。
286、作为另一示例,传感器模块可以是定向测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离和方向。然后,环境数据包括用于确定到环境的物体/物体表面/表面的距离和方向的距离和方向信息。基于这样的环境信息,可以生成uav的物理环境的表示,例如,基于3d点云的表示。
287、例如,定向测距模块可以被设置在uav的前区段中,并且具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
288、作为另一示例,传感器模块可以是摄像机系统。然后,感测动作涉及感测环境的光。环境数据然后包括光信息/图像信息(例如,采用图像数据的形式),以用于生成环境的图像。
289、作为另一示例,传感器模块可以是惯性测量单元(imu)。然后,感测动作涉及感测角速率和/或加速度。然后,环境数据包括用于确定例如uav在环境中的取向和/或定向加速度的角速率信息和/或加速度信息。
290、作为另一示例,传感器模块可以是全球导航卫星系统(gnss)接收器。然后,感测动作涉及感测/接收来自gnss卫星的信号。然后,环境数据包括gnss信息(采用例如全局位置数据的形式),以用于确定uav在本地、区域或全局参考坐标系中的位置。
291、根据本发明的第六方面的实施方式,所述方法包括以下步骤:传感器模块具有视场,其中,修正uav的移动是基于由传感器模块感测视场内的物体并且沿着敲击方向的。
292、物体是uav的物理环境中的物理物体和/或处于uav的物理环境中。物体例如可以是建筑物、塔、汽车、人、树等。物体具有表面。表面可以呈不同的形式。例如,表面可以是平坦的、弯曲的、扭结的等。
293、沿着敲击方向感测物体涉及在uav正在移动的方向上感测物体。
294、根据本发明的第六方面的实施方式,所述方法包括以下步骤:传感器模块是定向测距模块,该定向测距模块测量到视场内的物体的定向距离。
295、本发明的第六方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与具有触敏显示器的移动控制设备和/或uav相关的处理单元执行时,使得能够根据本发明的第六方面的方法来控制包括摄像机系统的uav的飞行。
296、根据本发明的第六方面的具体实施方式,所述方法的uav是根据本发明的第十五方面的uav。
297、本发明的第七方面的概述
298、本发明的第七方面涉及一种用于控制uav在物理环境中的飞行的系统,其中,该系统包括:uav,该uav具有摄像机系统,该摄像机系统提供图像数据,摄像机系统包括多个摄像机,多个摄像机在外围设置在uav处,并且各个摄像机的视场皆具有与uav有关的固定取向并且远离uav定向;一个前部摄像机面向前方、一个顶部摄像机面向上方、一个底部摄像机面向下方,以及至少一个侧部摄像机面向侧方,其中,这些摄像机被设置成使得各个视场皆与至少一个相邻视场叠加到预定义程度;并且该摄像机系统提供物理环境的全向视图;以及根据本发明的第二、第三、第四、第五、或第六方面的计算机程序产品。
299、各个摄像机的视场皆具有与uav有关的固定取向涉及将摄像机在uav处设置成使得对于各个摄像机,其在uav处的位置及其相对于uav的取向不是可变的而是固定的和预定义的。
300、全向视图涉及物理环境的视图,其在很大程度上覆盖包围uav的物理环境的视图。全向视图包括至少一个侧视图、前视图、上视图以及下视图。由摄像机系统提供的全向视图不依赖于使用摄像机,该全向视图可以是机械万向节化的。
301、根据本发明的第七方面的实施方式,该系统还包括移动控制设备,该移动控制设备具有触敏显示器。
302、根据本发明的第七方面的具体实施方式,uav是根据本发明的第十五方面的uav。
303、根据本发明的第七方面的另一具体实施方式,该系统包括根据本发明的第十一方面的系统。
304、本发明的第八方面的概要
305、本发明的第八方面涉及一种用于控制在物理环境中飞行的电池供电uav的电力供应的计算机实现方法,所述方法包括在下文中概述的步骤。
306、提供向uav供电的电池的电池电量(battery charge)水平信息的步骤。
307、电池电量水平信息例如可以涉及所测量的电池电压。电池电量水平信息例如可以涉及所测量的电池电流,其中,电池电流是在电池正被放电时测量的。
308、基于电池电量水平信息来确定电池电量水平的步骤。
309、电池电量水平例如可以涉及百分比。该百分比例如可以是100%、75%、50%、25%、5%、0%。电池电量水平可以涉及满电量、中等电量、低电量等中的一者。
310、由具有触敏显示器的移动控制设备显示基于电池电量水平的电量水平通知的步骤。
311、电量水平通知通常使uav的用户知道实际电池电量水平。电量水平通知例如可以是视觉和/或听觉通知。
312、基于电池电量水平来指示uav移动到更换电池的位置的步骤。
313、指示uav移动涉及基于电池电量水平、特别是基于环境数据来生成控制命令,其中,这些控制命令由uav的控制系统来接收,从而最终引导uav的移动。由此,环境数据可以涉及基于由uav的传感器模块执行的感测动作而生成的任何种类的数据。由此,感测动作涉及感测uav的环境的至少一部分。环境数据包括用于表征/确定/定义uav的环境的信息。环境数据可以包括来自uav的摄像机系统的图像数据。
314、指示uav恢复飞行的步骤。
315、指示uav在该位置着陆由此使得能够在预定时间窗内更换电池,以及当在预定时间窗内更换电池时在电池供电模式与电容器供电模式之间切换,并且选择性地停用uav的预定耗电单元,使得在更换电池时、特别是当在电池供电模式与电容器供电模式之间切换时提供不间断供电的步骤。
316、预定时间窗例如可以是0.5分钟、1分钟、2分钟、3分钟等。该预定时间窗可以是预定义时间窗,并且通常取决于uav可以单独由电容器电力来供电的时间量。
317、根据本发明的第八方面的实施方式,电池供电uav由单个电池供电。
318、根据本发明的第八方面的实施方式,所述方法包括以下步骤:在更换电池之后提供uav的可操作性,其中,uav的可操作性涉及恢复飞行以及发送所记录的飞行数据中的至少一者。
319、发送所记录的飞行数据可以涉及将所记录的飞行数据发送至例如移动控制设备、基于云的存储装置等。
320、恢复飞行可以涉及使uav自主移动回到这样的位置,即,在位置已经指示uav移动到更换电池的位置。
321、提供可操作性可以涉及提供用于选择恢复飞行或者选择发送所记录的飞行数据或者选择二者的选择。
322、根据本发明的第八方面的实施方式,所述位置是uav已经起飞的起飞点以及由移动控制设备控制uav的位置中的一者。
323、根据本发明的第八方面的实施方式,电量水平通知是在电池电量水平低于阈值的情况下显示的。
324、根据本发明的第八方面的实施方式,在电池电量水平低于另一阈值的情况下指示uav移动到所述位置,另一阈值等于所述阈值或者不同于所述阈值。
325、例如,在电量水平低于25%的情况下,可以显示电量水平通知,并且在电池电量水平低于5%的情况下,指示uav移动到所述位置。
326、根据本发明的第八方面的实施方式,电池供电uav具有至少一个传感器模块、至少一个摄像机以及至少一个推进单元,其中,预定耗电单元涉及传感器模块、至少一个摄像机以及至少一个推进单元中的至少一者。
327、根据本发明的第八方面的实施方式,至少一个传感器模块是定向测距模块。
328、例如,定向测距模块可以被设置在uav的前区段中,并且具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
329、根据本发明的第八方面的具体实施方式,该uav是根据本发明的第十五方面的uav。
330、本发明的第八方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与具有触敏显示器的移动控制设备和/或uav相关的处理单元执行时,使得能够根据本发明的第八方面的方法来控制电池供电uav的电力供应。
331、本发明的第八方面还涉及一种用于控制在物理环境中飞行的电池供电uav的电力供应的系统,该系统包括:uav,该uav具有uav供电系统,该uav供电系统向uav供电,该uav供电系统包括电容器和电池电量水平信息生成器,其中,该供电系统被配置成提供向uav供电的电池的电池电量水平信息、在电池供电模式与电容器供电模式之间的可切换性、以及选择性地停用uav的预定耗电单元的可选择停用性;以及由电池电力或者由电容器电力两者另选地向uav供电,使得在更换电池时,特别是当在电池供电模式与电容器供电模式之间切换时,提供不间断供电;以及根据本发明的第八方面的计算机程序产品。
332、电池电量水平信息生成器例如可以是测量电池电压或电池电流的设置,其中,电池电流是在电池正被放电时测量的。
333、电容器例如可以包括多个电容器。
334、根据本发明的第八方面的具体实施方式,该uav是根据本发明的第十五方面的uav。
335、本发明的第九方面的概要
336、本发明的第九方面涉及一种用于在物理环境中飞行的uav,该uav包括:主体;推进系统,该推进系统包括被机械地联接至主体并且位于主体的左侧的第一多个推进单元、以及被机械地联接至主体并且位于主体的右侧的第二多个推进单元;第一保护框架,该第一保护框架被机械地联接至主体,并且至少部分地围绕第一多个推进单元的外边缘的一部分延伸弯曲;第二保护框架,该第二保护框架被机械地联接至主体,并且至少部分地围绕第二多个推进单元的外边缘的一部分延伸弯曲;以及uav指示灯系统,其中,第一保护框架形成左前拐角区段和左后拐角区段,并且第二保护框架形成右前拐角区段和右后拐角区段;其中,该uav指示灯系统包括:第一线性指示器,该第一线性指示器用于发射光以及围绕第一多个推进单元中的一个推进单元的外边缘的一部分并且沿着第一保护框架在左前拐角区段中延伸弯曲;第二线性指示器,该第二线性指示器用于发射光以及围绕第一多个推进单元中的另一推进单元的外边缘的一部分并且沿着第一保护框架在左后拐角区段中延伸弯曲;第三线性指示器,该第三线性指示器用于发射光以及围绕第二多个推进单元中的一个推进单元的外边缘的一部分并且沿着第二保护框架在右前拐角区段中延伸弯曲;以及第四线性指示器,该第四线性指示器用于发射光以及围绕第二多个推进单元中的另一推进单元的外边缘的一部分并且沿着第二保护框架在右后拐角区段中延伸弯曲;其中,各个线性指示器皆被设置成在uav处于飞行状态的情况下远离该uav并且朝向地面发射光到限定发射扇区;并且使得能够实现光的可变发射,从而使得能够实现uav的取向特定用户感知,以及向用户指示uav状态。
337、推进单元例如可以包括旋翼,并且被配置成驱动旋翼。推进单元例如可以是螺旋桨(propeller)单元。
338、第一多个推进单元例如可以涉及两个推进单元。第二多个推进单元例如可以涉及另外两个推进单元。
339、保护框架通常用于至少保护推进单元至少部分地不与物体碰撞。
340、沿着保护框架延伸弯曲例如可以涉及被附接至或至少部分地集成到保护框架中。
341、使得能够实现光的可变发射例如涉及使得能够实现具有可变光特性的光的发射。
342、uav的取向特定用户感知涉及用户能够标识辅助uav指示灯系统的飞行uav的取向。
343、根据本发明的第九方面的实施方式,uav具有第五线性指示器,该第五线性指示器用于发射光以及围绕主体的外区段延伸弯曲。
344、例如,如果主体具有圆柱形区段,则第五线性指示器可以围绕该圆柱形区段、特别是在圆周方向上延伸弯曲。
345、根据本发明的第九方面的实施方式,各个保护框架皆呈带状,并且在横向于其延伸方向的第一方向上鼓出(bulged)。
346、根据本发明的第九方面的实施方式,各个线性指示器皆被至少部分集成到保护框架的这样的位置处,即,所述位置在横向于保护框架的延伸方向并且横向于第一方向的第二方向上相对于保护框架的最大鼓出部(bulging)偏移。
347、根据本发明的第九方面的实施方式,第一线性指示器和第三线性指示器被配置成发射具有第一光特性的光;并且第二线性指示器和第四线性指示器被配置成发射具有第二光特性的光,该第二光特性不同于第一光特性。
348、根据本发明的第九方面的实施方式,光特性涉及颜色、亮度以及发射模式中的至少一者,该发射模式涉及连续发射模式或者脉冲发射模式。
349、根据本发明的第九方面的实施方式,线性指示器包括至少一个光源,其中,该线性指示器被配置成线性地引导由至少一个光源发射的光围绕多个推进单元中的一个推进单元的外边缘的一部分并且沿着保护框架在拐角区段中弯曲,或者围绕主体的外区段弯曲。
350、根据本发明的第九方面的实施方式,线性指示器包括多个光源,其中,多个光源被设置成围绕多个推进单元中的一个推进单元的外边缘的一部分并且沿着保护框架在拐角区段中线性地延伸弯曲,或者围绕主体的外区段线性地延伸弯曲。
351、根据本发明的第九方面的实施方式,包括多个光源的线性指示器通过使得能够实现通过多个光源中的至少一个光源的可变发射而使得能够实现光的可变发射。
352、根据本发明的第九方面的实施方式,uav包括光控制单元,该光控制单元被配置用于控制光的可变发射以及所发射的光的光特性,以使得能够实现uav的取向特定用户感知,以及向用户指示uav状态。
353、根据本发明的第九方面的实施方式,光控制单元被配置用于基于从用户接收的光控制指令,来控制光的可变发射以及所发射的光的光特性。
354、根据本发明的第九方面的具体实施方式,该uav是根据本发明的第十五方面的uav。
355、本发明的第九方面还涉及一种用于控制根据本发明的第九方面的uav的飞行的计算机实现方法,该uav具有:指示灯系统,该指示灯系统具有线性指示器,该线性指示器用于使得能够实现光的可变发射;以及光控制单元,该光控制单元被配置用于控制光的可变发射以及所发射的光的光特性,所述方法包括以下步骤:基于由uav的至少一个传感器模块生成的传感器数据来确定uav状态,其中,基于uav状态和/或从用户接收的光控制指令来确定光控制数据;由光控制单元接收光控制数据;以及基于该光控制数据,来控制光的可变发射以及所发射的光的光特性,用于提供uav的取向特定用户感知;以及向用户指示uav状态。
356、例如,传感器模块可以是基于雷达的测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离。然后,传感器数据包括用于确定到环境的物体/物体表面/表面的距离的距离信息。
357、作为另一示例,传感器模块可以是温度测量模块。然后,感测动作涉及感测环境的温度。然后,传感器数据包括用于确定环境的温度的温度信息。
358、作为另一示例,传感器模块可以是气压计模块。然后,感测动作涉及感测环境的气压。然后,传感器数据包括用于确定环境的气压的压力信息。
359、作为另一示例,传感器模块可以是定向测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离和方向。然后,传感器数据包括用于确定到环境的物体/物体表面/表面的距离和方向的距离和方向信息。基于这样的环境信息,可以生成uav的物理环境的表示,例如,基于3d点云的表示。
360、例如,定向测距模块可以被设置在uav的前区段中,并且具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
361、作为另一示例,传感器模块可以是摄像机系统。然后,感测动作涉及感测环境的光。传感器数据然后包括光信息/图像信息(例如,采用图像数据的形式),以用于生成环境的图像。
362、作为另一示例,传感器模块可以是惯性测量单元(imu)。然后,感测动作涉及感测角速率和/或加速度。然后,传感器数据包括用于确定例如uav的取向和/或定向加速度的角速率信息和/或加速度信息。
363、作为另一示例,传感器模块可以是全球导航卫星系统(gnss)接收器。然后,感测动作涉及感测/接收来自gnss卫星的信号。然后,传感器数据包括gnss信息(采用例如全局位置数据的形式),以用于确定uav在本地、区域或全局参考坐标系中的位置。
364、根据本发明的第九方面的实施方式,uav状态涉及以下中的至少一者:“低电池”状态、“故障”状态、“接近障碍物”状态、“飞行模式”状态、“任务状态”状态、以及“配对状态”状态。
365、“低电池”状态通常指示uav的电池具有低电量水平的状态。“故障”状态通常指示uav的故障。“接近障碍物”状态通常指示uav接近物体/障碍物的状态。“飞行模式”状态通常指示uav正在其内飞行的飞行模式。飞行模式例如可以涉及手动飞行模式、自主飞行模式、测量飞行模式等。“任务状态”状态通常指示必须由uav完成的任务(例如测量任务)的进展。“配对状态”通常指示与uav建立通信连接的状态。
366、本发明的第九方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由本发明的第九方面的uav执行时,使得能够根据本发明的第九方面的方法来控制uav的飞行,该uav具有:指示灯系统,该指示灯系统具有线性指示器,该线性指示器用于使得能够实现光的可变发射;以及光控制单元,该光控制单元被配置用于控制光的可变发射以及所发射的光的光特性。
367、本发明的第九方面还涉及一种用于控制uav在物理环境中的飞行的系统,该系统包括根据本发明的第九方面的uav、以及根据本发明的第九方面的计算机程序产品,该uav具有:指示灯系统,该指示灯系统具有线性指示器,该线性指示器用于使得能够实现光的可变发射;以及光控制单元,该光控制单元被配置用于控制光的可变发射以及所发射的光的光特性。
368、本发明的第十方面的概要
369、本发明的第十方面涉及一种用于在物理环境自主导航uav的计算机实现方法,所述方法包括在下文中概述的步骤。
370、由uav的自主导航控制单元连续地接收以下的步骤:来自uav的全球导航卫星系统(gnss)接收器模块的gnss定位信号;来自uav的至少一个传感器模块的环境数据,该环境数据提供关于物理环境中的物体的空间外观的信息;以及来自uav的本地导航传感器模块的本地导航传感器信号。
371、连续地接收信号和数据涉及稳定地接收信号和数据。由此,可以以给定频率稳定地/连续地接收信号和数据。频率可以是可变的。例如,信号和数据可以每秒钟接收10次、20次、50次、100次等。
372、gnss定位信号由gnss接收器模块接收,其中,gnss定位信号可以被指派给从其接收gnss定位信号的gnss卫星。
373、环境数据可以涉及基于由uav的传感器模块执行的感测动作而生成的任何种类的数据。由此,感测动作涉及感测uav的环境的至少一部分。环境数据包括用于表征/确定/定义uav的环境的信息。
374、物体是uav的物理环境中的物理物体和/或处于uav的物理环境中。物体例如可以是建筑物、塔、汽车、人、树等。物体具有表面。表面可以呈不同的形式。例如,表面可以是平坦的、弯曲的、扭结的等。
375、物体的空间外观例如可以涉及物体的几何形状,包括物体表面的几何形状。
376、例如,传感器模块可以是基于雷达的测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离。然后,环境数据包括用于确定到环境的物体/物体表面/表面的距离的距离信息。
377、作为另一示例,传感器模块可以是温度测量模块。然后,感测动作涉及感测环境的温度。然后,环境数据包括用于确定环境的温度的温度信息。
378、作为另一示例,传感器模块可以是气压计模块。然后,感测动作涉及感测环境的气压。然后,环境数据包括用于确定环境的气压的压力信息。
379、作为另一示例,传感器模块可以是定向测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离和方向。然后,环境数据包括用于确定到环境的物体/物体表面/表面的距离和方向的距离和方向信息。基于这样的环境信息,可以生成uav的物理环境的表示,例如,基于3d点云的表示。
380、例如,可以将定向测距模块设置在uav的前区段中,并且具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
381、作为另一示例,传感器模块可以是摄像机系统。然后,感测动作涉及感测环境的光。环境数据然后包括光信息/图像信息(例如,采用图像数据的形式),以用于生成环境的图像。
382、作为另一示例,传感器模块可以是惯性测量单元(imu)。然后,感测动作涉及感测角速率和/或加速度。然后,环境数据包括用于确定例如uav在环境中的取向和/或定向加速度的角速率信息和/或加速度信息。
383、作为另一示例,传感器模块可以是全球导航卫星系统(gnss)接收器。然后,感测动作涉及感测/接收来自gnss卫星的信号。然后,环境数据包括gnss信息(采用例如全局位置数据的形式),以用于确定uav在本地、区域或全局参考坐标系中的位置。
384、由自主导航控制单元基于具有权重、环境数据以及本地导航传感器信号的gnss定位信号来关于参考坐标系连续地确定uav的位置、飞行速度以及取向的步骤。
385、gnss定位信号的权重例如可以涉及权重因子,其中,权重因子的范围例如可以从0到1、从0到2等变动。
386、参考坐标系例如可以是本地、区域或全局坐标系,其可以被用于地理定位。
387、基于以上、特别是基于连续地接收数据和信号并且连续地确定位置、速度以及取向,由自主导航控制单元在物理环境中自主地导航uav的步骤。
388、基于环境数据在确定uav的位置、飞行速度以及取向时调整gnss定位信号的权重的步骤。
389、例如,gnss定位信号的权重可以通过减少或增加权重来调整。作为另一示例,gnss定位信号的权重可以通过将权重减小至零来进行调整,这意味着在确定uav的位置、飞行速度以及取向方面不包括gnss定位信号。
390、根据本发明的第十方面的实施方式,所述方法包括以下步骤:在确定uav的位置、飞行速度以及取向时忽略所选择的gnss卫星的gnss定位信号,其中,该gnss卫星是基于环境数据来选择的。
391、忽略的步骤例如可以涉及将gnss定位信号的权重调整成零。
392、根据本发明的第十方面的实施方式,所述方法包括以下步骤:基于环境数据,在确定uav的位置、飞行速度以及取向时忽略所有gnss定位信号。
393、根据本发明的第十方面的实施方式,环境数据包括与到物理环境中的物体的所测量的距离和方向相关的定向距离信息,并且所述方法包括以下步骤:确定物体的几何外观,其中,调整权重和/或忽略gnss定位信号是基于物体的几何外观的。
394、由此,到物体的距离和方向通常涉及到物体表面的点的距离和方向。测量到物体表面的距离和方向可以涉及测量到物体表面和/或物体表面的点的水平角度、垂直角度以及距离。
395、根据本发明的第十方面的实施方式,环境数据是从定向测距模块和基于雷达的测距模块中的至少一者接收的。
396、例如,定向测距模块可以被设置在uav的前区段中,并且具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
397、lidar原理涉及基于击中物体表面并被反射以由定向测距模块检测的测距辐射脉冲的飞行时间来测量距离。
398、例如,基于雷达的测距模块可以包括雷达传感器。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离。然后,环境数据包括用于确定到环境的物体/物体表面/表面的距离的距离信息。
399、根据本发明的第十方面的实施方式,本地导航传感器模块包括惯性测量单元(imu)、气压计、磁力计、以及视觉惯性系统(visual inertial system,vis)中的至少一者,其中,该本地导航传感器信号涉及imu信号、气压计信号、磁力计信号以及vis信号。
400、vis使用uav的摄像机系统的图像数据,来基于跟踪该图像数据中的预定特征导出与uav的移动/运动相关的运动数据。
401、根据本发明的第十方面的具体实施方式,uav是根据本发明的第十五方面的uav。
402、本发明的第十方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与uav相关的处理单元执行时,使得能够根据本发明的第十方面的方法在物理环境中自主导航uav,该uav具有自主导航控制单元、gnss接收器模块、传感器模块以及本地导航传感器模块。
403、本发明的第十方面还涉及一种用于在物理环境中自主导航的系统,该系统包括uav、以及根据本发明的第十方面的计算机程序产品,该uav具有:gnss接收器模块,该gnss接收器模块用于接收gnss定位信号;至少一个传感器模块,至少一个传感器模块生成环境数据;本地导航传感器模块,该本地导航传感器模块生成本地导航传感器信号;以及自主导航控制单元,该自主导航控制单元被通信地连接至gnss接收器模块、至少一个传感器模块以及本地导航传感器模块,并且被配置成连续地接收gnss定位信号、环境数据、以及本地导航传感器信号;以及基于以上自主地导航uav。
404、根据本发明的第十方面的具体实施方式,该uav是根据本发明的第十五方面的uav。
405、本发明的第十一方面的概述
406、本发明的第十一方面涉及一种用于提供uav的物理环境的实时视图的计算机实现方法,所述方法包括在下文中概述的步骤。
407、基于来自uav的摄像机系统的图像数据连续地生成该uav的物理环境的视图的步骤,摄像机系统包括多个摄像机,多个摄像机在外围设置在uav处,摄像机的视场具有与uav有关的固定取向并且远离uav定向,并且该摄像机系统提供多个摄像机的可用图像数据,以用于生成物理环境的全向视图。
408、视图涉及物理环境的至少一部分的表示。所述表示例如可以是物理环境的至少一部分的图像,图像基于来自摄像机系统的图像数据。
409、连续地生成视图涉及稳定地生成视图。由此,可以以给定频率/帧速率稳定地/连续地生成视图。频率可以是可变的。例如,该视图可以每秒钟生成50次,涉及每秒钟生成50个视图。该视图可以例如每秒钟生成50次到250次,涉及每秒钟生成50到250个视图。
410、这些摄像机的视场具有与uav有关的固定取向涉及将摄像机在uav处设置成使得对于各个摄像机,其在uav处的位置及其相对于uav的取向不是可变的而是固定的和预定义的。
411、全向视图涉及物理环境的视图,其在很大程度上覆盖包围uav的物理环境的视图。全向视图包括至少一个侧视图、前视图、上视图以及下视图。由摄像机系统提供的全向视图不依赖于使用摄像机,该全向视图可以是机械万向节化的。
412、由触敏显示器以实时视图来连续地显示物理环境的视图的步骤。
413、显示涉及呈现辅助显示设备/显示功能的视图,使得该视图可被例如uav的用户感知。例如,如果触敏显示器是作为具有触敏显示器的平板pc的移动控制设备的一部分,则通过在触敏显示器上显示视图来显示视图。触敏显示器可以是平板pc、移动电话、智能手表、膝上型电脑等的一部分。
414、触敏显示器还被配置成接收触摸输入。触敏显示器还可以被实现为增强现实(ar)和/或虚拟现实(vr)系统的一部分。然后,通过与触敏控制器交互的ar和/或vr系统的显示功能来实现触敏显示器,该触敏控制器被配置成接收触摸输入。
415、触敏显示器例如可以是平板pc、移动电话、智能手表、膝上型电脑等的一部分。
416、与连续地生成视图类似地执行连续地显示视图。尽管如此,仍可以以给定频率/帧速率来执行连续地显示视图。该给定频率/帧速率可以不同于连续地生成视图的频率。
417、实时视图涉及显示通常基于最新近图像数据的视图。它可以涉及以预定义频率/帧速率显示视图,其中,至少以预定义频率/帧速率生成视图。视图的每次生成都通常基于最新近图像数据。
418、接收并标识指示期望观察方向的触摸输入,在期望观察方向上将生成物理环境的视图。
419、触摸输入是指示生成并显示物理环境的视图的期望观察方向的触摸输入。
420、触摸输入例如可以涉及“双指开合”触摸输入、基于“划动”的触摸输入、“双指划动”触摸输入、“单指划动”触摸输入、“单击”触摸输入、“双击”触摸输入等。
421、期望观察方向可基于触摸输入导出。
422、基于以上来生成并以实时视图显示在期望观察方向上的物理环境的视图的步骤。
423、基于期望观察方向从可用图像数据中选择图像数据的步骤。
424、由此,可用图像数据是由多个摄像机提供的图像数据。可以将该可用图像数据用于生成物理环境的全向视图。为了生成期望观察方向上的视图,基于期望观察方向从可用图像数据中选择图像数据,其中,所选择的图像数据可以是由多个摄像机中的一个以上摄像机提供的图像数据。
425、基于所选择的图像数据来生成并以实时视图显示期望物理环境在观察方向上的视图的步骤。
426、根据本发明的第十一方面的实施方式,所述方法包括以下步骤:通过触敏显示器接收触摸输入,触敏显示器包括扩展至实时视图的多个触摸区,其中,期望观察方向是基于标识出接收到触摸输入的触摸区来确定的;并且向触摸区指派预定图像数据选择信息,基于该预定图像数据选择信息,从可用图像数据中选择图像数据。
427、触摸区可以例如以二维触摸区光栅的形式扩展至实时视图。光栅例如可以包括仅行、仅列、或者行和列。由此,触摸区例如可以是线形、矩形、圆形、椭圆形等。
428、根据本发明的第十一方面的实施方式,所述方法包括以下步骤:使用图像拼接算法来拼接所选择的图像数据;并且基于经拼接的图像数据,来生成并以实时视图显示物理环境在期望观察方向上的视图。
429、例如,如果所选择的图像数据是由多个摄像机中的一个以上摄像机提供的图像数据,则为了提供无缝的所选择的图像数据而对该图像数据进行拼接。
430、根据本发明的第十一方面的实施方式,所述方法包括以下步骤:使由uav的定向测距模块通过测量物理环境记录的定向距离信息与所选择的图像数据相互关联,使得生成具有深度信息的所选择的图像数据,其中,该图像拼接算法正在基于深度信息拼接所选择的图像数据。
431、例如,可以将定向测距模块设置在uav的前区段中,并且具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
432、根据本发明的第十一方面的实施方式,所述方法包括以下步骤:基于深度信息来校正摄像机系统中的摄像机之间的视差偏移,并且基于以上,来生成并以实时视图显示物理环境在期望观察方向上的视图。
433、根据本发明的第十一方面的实施方式,所述方法包括以下步骤:通过基于期望观察方向,从可用图像数据中选择图像数据,并且基于所选择的图像数据,生成并以实时视图显示物理环境在期望观察方向上的视图,来通过触摸输入提供虚拟万向节(gimbal)功能,该虚拟万向节功能使得能够虚拟地万向节化视图,其中,虚拟地万向节化视图是与uav的移动分离的。
434、虚拟万向节涉及提供与由具有机械万向节的摄像机提供的功能类似的功能,但不包括机械万向节。
435、根据本发明的第十一方面的实施方式,根据本发明的第十一方面的方法提供了本发明的第一、第二、第三、第四、第五以及第六方面中的任一方面的方法中的实时视图。
436、根据本发明的第十一方面的具体实施方式,该uav是根据本发明的第十五方面的uav。
437、本发明的第十一方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与具有触敏显示器的移动控制设备和/或uav相关的处理单元执行时,使得能够根据本发明的第十一方面的方法来提供uav的物理环境的实时视图。
438、本发明的第十一方面还涉及一种用于控制uav在物理环境中的飞行的系统,该系统包括:uav,该uav具有摄像机系统,该摄像机系统包括多个摄像机,多个摄像机在外围设置在uav处,摄像机的视场具有与uav有关的固定取向并且远离该uav定向,并且该摄像机系统提供多个摄像机的可用图像数据,以用于生成物理环境的全向视图;以及根据本发明的第十一方面的计算机程序产品。
439、根据本发明的第十一方面的实施方式,uav具有定向测距模块,该定向测距模块通过测量物理环境来记录定向距离信息。
440、根据本发明的第十一方面的实施方式,该系统还包括移动控制设备,该移动控制设备具有触敏显示器。
441、移动控制设备例如可以是平板pc、移动电话、智能手表、具有触摸屏的膝上型电脑等。移动控制设备还可以被配置成接收触摸输入。移动控制设备还可以被实现为增强现实(ar)和/或虚拟现实(vr)系统的一部分。然后,通过与触敏控制器交互的ar和/或vr系统的显示功能来实现触敏显示器,该触敏控制器被配置成接收触摸输入。
442、根据本发明的第十一方面的实施方式,摄像机系统包括多个摄像机,多个摄像机在外围设置在uav处,并且各个摄像机的视场皆具有与uav有关的固定取向并且远离uav定向;一个前部摄像机面向前方,一个顶部摄像机面向上方,一个底部摄像机面向下方,以及至少一个侧部摄像机面向侧方,其中,这些摄像机被设置成使得各个视场皆与至少一个相邻视场叠加到预定义程度;并且该摄像机系统提供物理环境的全向视图;以及该摄像机系统提供多个摄像机的可用图像数据,以用于生成物理环境的全向视图。
443、本发明的第十二方面的概要
444、本发明的第十二方面涉及一种用于调节由在物理环境中飞行的uav的多用途传感器系统生成的传感器原始数据的计算机实现方法,所述方法包括在下文中概述的步骤。
445、由多用途传感器系统生成采用以下形式的传感器原始数据的步骤:来自uav的摄像机系统的图像数据、来自uav的惯性测量单元(imu)的运动数据、来自uav的定向测距模块的测量数据(特别是3d点数据)、以及来自uav的全球导航卫星系统(gnss)接收器模块的全局位置数据,特别是其中,定向测距模块基于光检测和测距(lidar)原理,来测量到物体表面的距离和方向。
446、多用途传感器系统可以包括多个传感器模块。
447、例如,传感器模块可以是基于雷达的测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离。然后,传感器原始数据包括用于确定到环境的物体/物体表面/表面的距离的距离信息。
448、作为另一示例,传感器模块可以是温度测量模块。然后,感测动作涉及感测环境的温度。然后,传感器原始数据包括用于确定环境的温度的温度信息。
449、作为另一示例,传感器模块可以是气压计模块。然后,感测动作涉及感测环境的气压。然后,传感器原始数据包括用于确定环境的气压的压力信息。
450、作为另一示例,传感器模块可以是定向测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离和方向。然后,传感器原始数据包括用于确定到环境的物体/物体表面/表面的距离和方向的距离和方向信息。基于这样的环境信息,可以生成uav的物理环境的表示,例如,基于3d点云的表示。
451、例如,定向测距模块可以被设置在uav的前区段中,并且具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
452、由此,到物体表面的距离和方向通常涉及到物体表面的点的距离和方向。测量到物体表面的距离和方向可以涉及测量到物体表面和/或物体表面的点的水平角度、垂直角度以及距离。
453、lidar原理涉及基于击中物体表面并被反射以由定向测距模块检测的测距辐射脉冲的飞行时间来测量距离。
454、作为另一示例,传感器模块可以是摄像机系统。然后,感测动作涉及感测环境的光。传感器原始数据然后包括光信息/图像信息(例如,采用图像数据的形式),以用于生成环境的图像。
455、作为另一示例,传感器模块可以是惯性测量单元(imu)。然后,感测动作涉及感测角速率和/或加速度。然后,传感器原始数据包括用于确定例如uav的取向和/或定向加速度的角速率信息和/或加速度信息。
456、作为另一示例,传感器模块可以是全球导航卫星系统(gnss)接收器。然后,感测动作涉及感测/接收来自gnss卫星的信号。然后,传感器原始数据包括gnss信息(采用例如全局位置数据的形式),以用于确定uav在本地、区域或全局参考坐标系中的位置。
457、提供使用支持数据来支持飞行控制的飞行控制支持功能、以及用于记录传感器数据的传感器数据记录功能的步骤,该传感器数据使得能够生成uav的物理环境的表示。
458、uav的物理环境的表示例如可以涉及基于点云的表示、基于图像数据的表示、或两者的组合。可以例如在后处理步骤中基于所记录的传感器数据来生成该表示。而且,所记录的传感器数据例如可以使得能够生成并显示uav的环境的视图,该视图可以以实时视图向uav的用户显示。而且,所记录的传感器数据例如可以使得能够重建uav的物理环境,以用于生成物理环境的经勘测/测量的模型。
459、由此,所记录的传感器数据使得能够生成uav的物理环境的表示,该表示例如可以是用户在控制该uav时所感知的,或者可以是与环境的经勘测/测量的模型相关的。
460、支持uav的飞行例如可以涉及自主地避免碰撞/避开障碍物、稳定uav的飞行等。
461、由飞行控制支持功能自主支持对uav的飞行的控制的步骤。
462、由传感器数据记录功能记录传感器数据的步骤,该传感器数据使得能够生成uav的物理环境的表示。
463、由uav的传感器原始数据调节单元接收传感器原始数据的步骤。
464、由传感器原始数据调节单元调节传感器原始数据,以生成支持数据和传感器数据的步骤,其中,图像数据、运动数据、测量数据、以及全局位置数据中的至少一者既被用于生成支持数据又被用于生成传感器数据。
465、传感器原始数据调节单元基于数据是由飞行控制支持功能使用还是由传感器数据记录功能使用,来调节传感器原始数据。而且,传感器原始数据调节单元基于支持数据或者传感器数据的预期用途,来调节传感器原始数据。
466、由此,传感器原始数据用于双重目的,例如,图像数据、运动数据、测量数据以及全局位置数据可以被用于生成支持数据以及被用于生成传感器数据。根据图像数据、运动数据、测量数据以及全局位置数据是被用于生成支持数据还是被用于生成传感器数据,对数据进行特别调节。
467、根据本发明的第十二方面的实施方式,飞行控制支持功能包括视觉惯性系统(vis),该视觉惯性系统使用采用经调节的图像数据的形式的支持数据,来基于跟踪图像数据中的预定特征导出与uav的移动/运动相关的运动数据。
468、根据本发明的第十二方面的实施方式,调节步骤包括:基于与由ivs使用图像数据相关的标准来调节图像数据。
469、该标准是必须满足以便可以由vis高效地使用图像数据/经调节的图像数据的标准。该标准例如可以涉及图像数据的分辨率、图像数据的亮度、图像数据的颜色信息、图像数据被提供给vis的频率等。
470、根据本发明的第十二方面的实施方式,传感器数据使得能够生成uav的物理环境的视图并向用户显示该视图;并且该生成和显示是基于采用经调节的图像数据的形式的传感器数据的。
471、根据本发明的第十二方面的实施方式,调节步骤包括:基于与基于图像数据生成传感器数据相关的标准来调节图像数据,以使得能够生成uav的物理环境的视图并向用户显示该视图。
472、该标准是必须满足以便可以高效地使用图像数据/经调节的图像数据来生成uav的物理环境的视图并向用户显示该视图的标准。该标准例如可以涉及图像数据的分辨率、图像数据的亮度、图像数据的颜色信息、图像数据被提供给传感器数据记录功能的频率等。
473、根据本发明的第十二方面的实施方式,飞行控制支持功能包括避碰/避障(collision/obstacle avoidance)功能,该避碰功能使用采用经调节的测量数据的形式的支持数据,来检测物理环境中的障碍物并且避开障碍物。
474、根据本发明的第十二方面的实施方式,调节步骤包括:基于与由避碰/避障功能使用测量数据相关的标准来该调节测量数据。
475、该标准是必须满足以便可以由避碰/避障功能高效地使用测量数据/经调节的测量数据的标准。该标准例如可以涉及测量数据的分辨率、测量数据被提供给避碰/避障功能的频率等。
476、根据本发明的第十二方面的实施方式,传感器数据使得能够生成uav的物理环境的视图并向用户显示该视图;并且生成和显示是基于采用经调节的测量数据的形式的传感器数据的。
477、根据本发明的第十二方面的实施方式,将该经调节的测量数据用于支持对经调节的图像数据的拼接。
478、根据本发明的第十二方面的实施方式,调节的步骤包括:基于与基于测量数据生成传感器数据相关的标准来调节测量数据,以使得能够生成uav的物理环境的视图并向用户显示该视图。
479、该标准是必须满足以便可以高效地使用测量数据/经调节的测量数据来生成uav的物理环境的视图并向用户显示该视图的标准。该标准例如可以涉及测量数据的分辨率、测量数据被提供给传感器数据记录功能的频率等。
480、根据本发明的第十二方面的实施方式,传感器数据使得能够向用户显示uav的物理环境的表示,并且该显示是基于采用经调节的测量数据的形式的传感器数据的。
481、根据本发明的第十二方面的实施方式,该经调节的测量数据包括3d点数据。
482、根据本发明的第十二方面的实施方式,调节的步骤包括:基于与基于测量数据生成传感器数据相关的标准来调节测量数据,以使得能够向用户显示uav的物理环境的表示,特别是采用3d点云的形式。
483、该标准是必须满足以便可以高效地使用测量数据/经调节的测量数据来向用户显示uav的物理环境的视图(特别是采用3d点云的形式)的标准。该标准例如可以涉及测量数据的分辨率。
484、根据本发明的第十二方面的实施方式,飞行控制支持功能使用采用经调节的全局位置数据的形式的支持数据,来控制uav在物理环境中的飞行。
485、根据本发明的第十二方面的实施方式,调节的步骤包括:基于与由飞行控制支持功能使用全局位置数据相关的标准来调节全局位置数据。
486、该标准是必须满足以便全局位置数据/经调节的全局位置数据可以被高效地用于控制uav在物理环境中的飞行的标准。该标准例如可以涉及全局位置数据的分辨率、将全局位置数据提供给飞行控制支持功能的频率等。
487、根据本发明的第十二方面的实施方式,传感器数据使得能够向用户显示uav的物理环境的表示,并且该显示是基于采用经调节的全局位置数据的形式的传感器数据通过使用该经调节的全局位置数据向所述表示指派全局位置的。
488、根据本发明的第十二方面的实施方式,调节的步骤包括:基于与基于全局位置数据生成传感器数据相关的标准来调节全局位置数据,以使得能够向用户显示uav的物理环境的表示,并且已经向所述表示指派了全局位置。
489、该标准是必须满足以便可以高效地使用全局位置数据/经调节的全局位置数据以向用户显示uav的物理环境的表示并且已经向所述表示指派了全局位置的标准。该标准例如可以涉及全局位置数据的分辨率、将全局位置数据提供给传感器数据记录功能的频率等。
490、根据本发明的第十二方面的实施方式,支持数据和传感器数据各自包括图像数据、运动数据、测量数据、以及全局位置数据中的至少两者的组合。
491、根据本发明的第十二方面的实施方式,传感器原始数据是以预定义最大速率并且以预定义最大分辨率来生成的,其中,调节传感器原始数据的步骤包括:基于与从传感器原始数据生成支持数据和/或传感器数据相关的标准,来以预定义分辨率和/或以预定义速率提供传感器原始数据。
492、根据本发明的第十二方面的具体实施方式,该uav是根据本发明的第十五方面的uav。
493、本发明的第十二方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与具有触敏显示器的移动控制设备和/或uav相关的处理单元执行时,使得能够根据本发明的第十二方面的方法来调节传感器原始数据。
494、本发明的第十三方面的概要
495、本发明的第十三方面涉及一种用于跟踪uav在物理环境中的位置和取向的计算机实现方法,所述方法包括在下文中概述的步骤。
496、从uav的多用途传感器系统接收传感器数据的步骤,该多用途传感器系统被配置成生成采用以下形式的传感器数据:来自uav的摄像机系统的图像数据、来自uav的惯性测量单元(imu)的运动数据、来自uav的定向测距模块的测量数据(特别是3d点数据)、以及来自uav的全球导航卫星系统(gnss)接收器模块的全局位置数据,特别是其中,定向测距模块基于光检测和测距(lidar)原理,来测量到物体表面的距离和方向。
497、多用途传感器系统可以包括多个传感器模块。
498、例如,传感器模块可以是基于雷达的测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离。然后,传感器数据包括用于确定到环境的物体/物体表面/表面的距离的距离信息。
499、作为另一示例,传感器模块可以是温度测量模块。然后,感测动作涉及感测环境的温度。然后,传感器数据包括用于确定环境的温度的温度信息。
500、作为另一示例,传感器模块可以是气压计模块。然后,感测动作涉及感测环境的气压。然后,传感器数据包括用于确定环境的气压的压力信息。
501、作为另一示例,传感器模块可以是定向测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离和方向。然后,传感器数据包括用于确定到环境的物体/物体表面/表面的距离和方向的距离和方向信息。基于这样的环境信息,可以生成uav的物理环境的表示,例如,基于3d点云的表示。
502、例如,定向测距模块可以被设置在uav的前区段中,并且具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
503、由此,到物体表面的距离和方向通常涉及到物体表面的点的距离和方向。测量到物体表面的距离和方向可以涉及测量到物体表面和/或物体表面的点的水平角度、垂直角度以及距离。lidar原理涉及基于击中物体表面并被反射以由定向测距模块检测的测距辐射脉冲的飞行时间来测量距离。
504、作为另一示例,传感器模块可以是摄像机系统。然后,感测动作涉及感测环境的光。传感器数据然后包括光信息/图像信息(例如,采用图像数据的形式),以用于生成环境的图像。
505、作为另一示例,传感器模块可以是惯性测量单元(imu)。然后,感测动作涉及感测角速率和/或加速度。然后,传感器数据包括用于确定例如uav的取向和/或定向加速度的角速率信息和/或加速度信息。
506、作为另一示例,传感器模块可以是全球导航卫星系统(gnss)接收器。然后,感测动作涉及感测/接收来自gnss卫星的信号。然后,传感器数据包括gnss信息(采用例如全局位置数据的形式),以用于确定uav在本地、区域或全局参考坐标系中的位置。
507、使用基于以下中的至少一者的数据作为用于参考和跟踪uav的位置和取向的输入数据来提供参考和跟踪功能的步骤:图像数据、运动数据、测量数据、以及全局位置数据。
508、跟踪uav在物理环境中的位置和取向的步骤。
509、参考和跟踪功能针对参考坐标系来参考uav的位置和取向的步骤。
510、参考坐标系例如可以是本地、区域或全局坐标系,其可以被用于地理定位。
511、参考和跟踪功能的步骤,在第一模式下并且当uav正在飞行时,使用基于图像数据、运动数据、测量数据、全局位置数据中的至少一者的数据作为输入数据在参考坐标系中跟踪uav。
512、参考和跟踪功能的步骤,在第二模式下并且当uav无推进(propulsion-free)时,使用基于运动数据的数据作为输入数据,在参考坐标系中跟踪uav。
513、该方法例如允许当uav在飞行时基于使用特定数据作为输入数据,来跟踪处于第一模式的uav,其中,该特定数据是基于预定标准来选择的。预定标准例如可以涉及跟踪精度。该方法还允许当uav无推进/没有飞行时,基于使用特定数据作为输入数据,来跟踪处于第二模式的uav,其中,该特定数据是基于另一预定标准来选择的。该另一预定标准例如可以涉及被用作输入数据的数据的数据可靠性。
514、根据本发明的第十三方面的实施方式,所述方法包括以下步骤:在第二模式下并且当uav无推进时,使用基于图像数据、测量数据、以及全局位置数据中的至少一者的数据作为输入数据,在参考坐标系中跟踪uav。
515、根据本发明的第十三方面的实施方式,第二模式是根据推进单元的关闭而触发的。
516、根据本发明的第十三方面的实施方式,多用途传感器系统被配置成生成采用来自uav的气压计的气压计数据和来自uav的磁力计的磁力计数据的形式的传感器数据。
517、根据本发明的第十三方面的实施方式,参考和跟踪功能使用基于气压计数据和磁力计数据中的至少一者的数据。
518、根据本发明的第十三方面的实施方式,所述方法包括以下步骤:在第二模式下并且当uav无推进时,在参考坐标系中跟踪uav,使得可基于相关的跟踪数据来生成测量数据,其中,如此生成的测量数据适合当uav正在飞行时生成的测量数据。
519、根据本发明的第十三方面的实施方式,所述方法包括以下步骤:基于所生成的测量数据来生成3d点云。
520、根据本发明的第十三方面的具体实施方式,该uav是根据本发明的第十五方面的uav。
521、本发明的第十三方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与移动控制设备和/或uav相关的处理单元执行时,使得能够根据本发明的第十三方面的方法来跟踪uav的位置和取向。
522、本发明的第十四方面的概述
523、本发明的第十四方面涉及一种用于管理被用于向uav供电的一组uav电池的系统,该系统包括:移动电池充电器单元;以及具有显示功能的电池管理终端,该移动电池充电器单元被设计用于接纳至少一个uav电池,并且具有收发器单元,该收发器单元被配置用于通信连接至电池管理终端并且收发与uav电池相关的电池管理数据;其中,该电池管理终端被配置成:还另选地通信连接至移动电池充电器单元、uav、以及移动电池充电器单元和uav;从移动电池充电器单元和uav接收电池管理数据;使电池管理数据同步;基于电池管理数据来确定uav电池的电量状态;以及显示所确定的电量状态。
524、收发涉及发送和接收的动作。
525、通信地连接涉及用于发送和接收(收发)数据的通信连接。
526、可以基于使用实现无线通信连接的任何已建立的技术来提供通信连接。可以基于使用例如wi-fi/wlan标准、蓝牙标准、lte标准、卫星通信标准、无线电标准、nfc标准、红外标准等来提供通信连接。而且,可以基于使用实现无线通信连接的一种或多种已建立的技术来提供通信连接。在使用多于一种已建立的技术的情况下,这些技术之一的使用可以基于与例如用于建立通信连接所需的基础设施/信号强度的可用性或者电池管理终端与移动电池充电器单元和/或uav之间的距离相关的标准。
527、电池管理终端例如可以是提供图形用户界面的软件。可以将该软件和/或图形用户界面实现为web应用、移动设备(特别是移动控制设备)的应用(app)。
528、移动设备(特别是移动控制设备)例如可以是平板pc、移动电话、智能手表、具有触摸屏的膝上型电脑等。移动设备(特别是移动控制设备)还可以被配置成接收触摸输入。移动设备(特别是移动控制设备)还可以被实现为增强现实(ar)和/或虚拟现实(vr)系统的一部分。
529、同步可以涉及使用电池管理数据来生成uav电池的最新近电量状态。
530、电池电量状态例如可以涉及百分比。该百分比例如可以是100%、75%、50%、25%、5%、0%。电池电量状态可以涉及满电量、中等电量、低电量等中的一者。
531、根据本发明的第十四方面的实施方式,电池管理终端被配置成基于电池管理数据,以所定义的时间点来估计uav电池的电量状态;以及显示所估计的电量状态。
532、所定义的时间点例如可以是将来的时间点。由此,可以显示该uav电池在将来的时间点的所估计的电量状态。
533、根据本发明的第十四方面的实施方式,电池管理终端被配置成从飞行任务规划器模块接收飞行任务数据,并且基于飞行任务数据和电池管理数据和/或所确定的电量状态和/或所估计的电量状态,来确定和/或估计uav电池的电量状态。
534、飞行任务规划器模块可以是例如飞行任务规划器软件的模块。飞行任务规划器软件可以被用于规划飞行任务。规划飞行任务可以涉及定义飞行任务正在发生的位置,确定uav的飞行的持续时间,要由uav在飞行任务期间执行的任务等。基于此,可以生成表征飞行任务的飞行任务数据。然后,这样的飞行任务数据可以由电池管理终端用来确定和/或估计uav电池的电量状态。
535、根据本发明的第十四方面的实施方式,移动电池充电器单元具有控制单元,该控制单元被配置用于控制对uav电池的充电和放电,并且该系统包括电池管理终端,该电池管理终端被配置成基于电池管理数据和/或所确定的电量状态和/或所估计的电量状态,来启动充电和/或放电。
536、由此,可以使得能够在给定时间点提供uav电池的特定电量状态。而且,能够实现自动维护uav电池以延长其使用寿命。
537、根据本发明的第十四方面的实施方式,该系统包括uav,该uav被配置成通信地连接至电池管理终端,以及向电池管理终端发送电池管理数据,该电池管理数据与uav机载的uav电池相关。
538、根据本发明的第十四方面的具体实施方式,该uav是根据本发明的第十五方面的uav。
539、本发明的第十四方面还涉及一种用于管理被用于向uav供电的一组uav电池的计算机实现方法,所述方法包括在下文中概述的步骤。
540、提供电池管理终端的步骤。
541、将电池管理终端还另选地通信连接至移动电池充电器单元、uav、以及移动电池充电器单元和uav的步骤。
542、从移动电池充电器单元和uav接收电池管理数据的步骤。
543、使uav电池的电池管理数据同步的步骤。
544、基于电池管理数据来确定uav电池的电量状态的步骤。
545、显示所确定的电量状态的步骤。
546、根据本发明的第十四方面的实施方式,所述方法包括以下步骤:基于电池管理数据,来估计uav电池在所定义时间点的电量状态,以及显示所估计的电量状态。
547、根据本发明的第十四方面的实施方式,所述方法包括以下步骤:从飞行任务规划器模块接收飞行任务数据;以及基于该飞行任务数据和电池管理数据和/或所确定的电量状态和/或所估计的电量状态,来确定和/或估计uav电池的电量状态。
548、根据本发明的第十四方面的实施方式,所述方法包括以下步骤:基于电池管理数据和/或所确定的电量状态和/或所估计的电量状态,来启动对uav电池的充电和/或放电。
549、根据本发明的第十四方面的具体实施方式,该uav是根据本发明的第十五方面的uav。
550、本发明的第十四方面还涉及一种包括机器可读程序代码的计算机程序产品,该机器可读程序代码在由与具有显示功能的电池管理终端和/或uav相关的处理单元执行时,使得能够根据本发明的第十四方面的方法来管理被用于向uav供电的一组uav电池。
551、本发明的第十五方面的概述
552、本发明的第十五方面涉及一种用于在物理环境中飞行的uav,该uav包括:主体,该主体沿着从前端到后端的轴线延伸,并且具有壳体(housing);第一安装结构,该第一安装结构被附接至主体并且在所述轴线的左侧的方向上远离主体延伸;第二安装结构,该第二安装结构被附接至主体并且在所述轴线的右侧的方向上远离主体延伸,所述右侧的方向是与所述左侧的方向相反的方向;四个推进单元,特别是旋翼组件,其中两个推进单元被安装至第一安装结构,并且其中两个推进单元被安装至第二安装结构;定向测距模块,该定向测距模块包括:具有主观察方向的测量视场,在该测量视场内,可以通过将测距辐射定向发射到视场中来测量到物理环境中的表面的测量视场方向和距离;检测器单元,该检测器单元用于检测从表面反射的测距辐射;以及测距辐射源;其中,定向测距模块被集成在壳体内部的主体的前端中;并且测距辐射可由定向测距模块定向发射穿过壳体到主体的前端之外。
553、推进单元例如可以包括旋翼,并且被配置成驱动旋翼。推进单元例如可以是螺旋桨单元。
554、定向测距模块可以具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
555、测距辐射源例如可以是光辐射源、激光辐射源等。
556、壳体的、测距辐射发射穿过的部分可以包括与壳体的其它部分不同的材料。该部分例如可以包括对测距辐射透明但至少在很大程度上对可见光不透明的材料。
557、根据本发明的第十五方面的实施方式,定向测距模块具有偏转器单元,该偏转器单元使来自测距辐射源的测距辐射偏转穿过壳体到视场中。
558、例如,偏转器单元可以被设置成使得沿着第一方向来自测距辐射源的测距辐射被偏转到第二方向,该第二方向横向于(例如正交于)第一方向。
559、偏转器单元可以包括作为光学部件的反射镜,该反射镜使测距辐射偏转。
560、根据本发明的第十五方面的实施方式,偏转器单元使从表面反射穿过壳体的测距辐射向检测器单元偏转。
561、由此,偏转器单元使来自测距辐射源的测距辐射偏转到视场中,并且使从环境表面朝向偏转单元反射的测距辐射朝向检测器单元偏转。
562、根据本发明的第十五方面的实施方式,偏转器单元被安装成围绕第一旋转轴线和第二旋转轴线旋转,该第二旋转轴线横向于第一旋转轴线。
563、根据本发明的第十五方面的实施方式,使第一旋转轴线对准于、特别是平行于主体沿着其延伸的所述轴线。
564、根据本发明的第十五方面的实施方式,辐射源包括单发射辐射源的阵列。
565、根据本发明的第十五方面的实施方式,辐射源被配置成由单发射辐射源发射根据相控阵原理组合成测距辐射的辐射。
566、根据本发明的第十五方面的实施方式,uav包括至少一个传感器模块,至少一个传感器模块生成和/或提供环境数据,和/或定向测距模块被配置成提供与到物理环境中的物体的所测量的距离和方向相关的定向距离信息。
567、环境数据可以涉及基于由uav的传感器模块执行的感测动作而生成的任何种类的数据。由此,感测动作涉及感测uav的环境的至少一部分。环境数据包括用于表征/确定/定义uav的环境的信息。
568、例如,传感器模块可以是基于雷达的测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离。然后,环境数据包括用于确定到环境的物体/物体表面/表面的距离的距离信息。
569、作为另一示例,传感器模块可以是温度测量模块。然后,感测动作涉及感测环境的温度。然后,环境数据包括用于确定环境的温度的温度信息。
570、作为另一示例,传感器模块可以是气压计模块。然后,感测动作涉及感测环境的气压。然后,环境数据包括用于确定环境的气压的压力信息。
571、作为另一示例,传感器模块可以是定向测距模块。然后,感测动作涉及感测到环境的物体/物体表面/表面的距离和方向。然后,环境数据包括用于确定到环境的物体/物体表面/表面的距离和方向的距离和方向信息。基于这样的环境信息,可以生成uav的物理环境的表示,例如,基于3d点云的表示。
572、例如,定向测距模块可以被设置在uav的前区段中,并且具有感测/检查/勘测/数字化uav的物理环境的任务。定向测距模块可以是光检测和测距(lidar)模块,并且使得能够通过确定到物理环境的多个点的距离和方向,来测量被用于确定这些点中的一点在坐标系中的位置的点信息,例如,3d点信息。测距模块例如可以是激光扫描器模块。
573、由此,到物体表面的距离和方向通常涉及到物体表面的点的距离和方向。测量到物体表面的距离和方向可以涉及测量到物体表面和/或物体表面的点的水平角度、垂直角度以及距离。lidar原理涉及基于击中物体表面并被反射以由定向测距模块检测的测距辐射脉冲的飞行时间来测量距离。
574、作为另一示例,传感器模块可以是摄像机系统。然后,感测动作涉及感测环境的光。环境数据然后包括光信息/图像信息(例如,采用图像数据的形式),以用于生成环境的图像。
575、作为另一示例,传感器模块可以是惯性测量单元(imu)。然后,感测动作涉及感测角速率和/或加速度。然后,环境数据包括用于确定例如uav在环境中的取向和/或定向加速度的角速率信息和/或加速度信息。
576、作为另一示例,传感器模块可以是全球导航卫星系统(gnss)接收器。然后,感测动作涉及感测/接收来自gnss卫星的信号。然后,环境数据包括gnss信息(采用例如全局位置数据的形式),以用于确定uav在本地、区域或全局参考坐标系中的位置。
577、根据本发明的第十五方面的实施方式,定向测距模块基于光检测和测距(lidar)原理,来测量距离和方向。
578、根据本发明的第十五方面的实施方式,第一安装结构包括安装部分,推进单元、特别是旋翼组件被安装至该安装部分;第一保护框架,该第一保护框架至少部分地围绕推进单元的、特别是旋翼组件的外边缘的一部分延伸弯曲,该第一保护框架被附接至第一安装结构;第二安装结构包括安装部分,推进单元、特别是旋翼组件被安装至该安装部分;以及第二保护框架,该第二保护框架至少部分地围绕推进单元的、特别是旋翼组件的外边缘的一部分延伸弯曲,该第二保护框架被附接至第二安装结构。
579、保护框架通常用于至少防止推进单元至少部分地与物体碰撞。
580、根据本发明的第十五方面的实施方式,安装部分包括至少一个撑杆(strut)部件,所述至少一个撑杆部件具有中空内部,其中,该中空内部形成从推进单元到主体的隐藏线缆布线。
581、根据本发明的第十五方面的实施方式,推进单元、特别是旋翼组件中的每一者皆被安装至连接着三个撑杆部件的安装结构。
582、根据本发明的第十五方面的实施方式,保护框架包括由纤维增强外壳(shell)包围的泡沫芯体。
583、根据本发明的第十五方面的实施方式,所述保护框架中的至少一个保护框架包括被集成于其中的天线,其中,天线被嵌入泡沫芯体与纤维增强外壳之间。
584、根据本发明的第十五方面的实施方式,所述保护框架中的至少一个保护框架包括被集成于其中的雷达传感器,特别是其中,雷达传感器与纤维增强外壳接合。
585、根据本发明的第十五方面的实施方式,保护框架通过在泡沫芯体中嵌入线缆而在该保护框架内部提供隐藏线缆布线。
586、根据本发明的第十五方面的实施方式,安装结构包括形成安装结构的外表面的外壳,其中,该外壳被形成为单块部分。
587、根据本发明的第十五方面的实施方式,外壳由纤维增强聚合物、特别是碳纤维增强聚合物形成。
588、根据本发明的第十五方面的实施方式,所述安装结构中的各个安装结构被附接至主体,使得该安装结构可围绕主体沿着其延伸的所述轴线从第一卡扣位置旋转到第二位置、特别是第二卡扣位置。
589、卡扣位置涉及安装结构可锁定的位置,使得需要施加释放转矩,以将安装结构从第一卡扣位置旋转到另一位置。
590、根据本发明的第十五方面的实施方式,在安装结构处于第一卡扣位置的情况下,第一安装结构在所述轴线的左侧的方向上远离主体延伸;第二安装结构在轴线的右侧的方向上远离主体延伸,所述右侧的方向是与所述左侧的方向相反的方向;以及在安装结构处于第二位置、特别是第二卡扣位置的情况下,两个安装结构都在相同的方向上远离主体延伸。
591、根据本发明的第十五方面的实施方式,着陆支承结构位于安装结构和/或保护框架处;并且在横向于安装结构在其中主要延伸的平面的方向上,从该安装结构和/或保护框架突出,其中,该着陆支承结构被定位成使得在安装结构处于第二位置的情况下,这些着陆支承结构缠结(intertwine)。
592、着陆支承结构被设计和定位成使得uav可放置在地面上,同时仅支承结构接触地面并且保持uav的其它部分远离地面。
593、缠结涉及着陆支承结构的放置,使得安装结构可以彼此接近,而着陆支承结构不会妨碍安装结构接近到特定接近度以下。该特定接近度例如涉及着陆支承结构沿其主延伸方向的尺寸的一倍或两倍。
594、根据本发明的第十五方面的实施方式,uav包括摄像机系统。
595、根据本发明的第十五方面的实施方式,摄像机系统包括多个摄像机,所述多个摄像机在外围设置在uav处,并且各个摄像机的视场皆具有与uav有关的固定取向并且远离uav定向;一个前部摄像机面向前方,一个顶部摄像机面向上方,一个底部摄像机面向下方,以及至少一个侧部摄像机面向侧方,其中,这些摄像机被设置成使得各个视场皆与至少一个相邻视场叠加到预定义程度;并且该摄像机系统提供物理环境的全向视图。
596、各个摄像机的视场皆具有与uav有关的固定取向涉及将摄像机在uav处设置成使得对于各个摄像机,其在uav处的位置及其相对于uav的取向不是可变的而是固定的和预定义的。
597、全向视图涉及物理环境的视图,其在很大程度上覆盖包围uav的物理环境的视图。全向视图包括至少一个侧视图、前视图、上视图以及下视图。由摄像机系统提供的全向视图不依赖于使用摄像机,该全向视图可以是机械万向节化的。
598、根据本发明的第十五方面的实施方式,前部摄像机被安装至安装结构中的一个安装结构,并且所述至少一个侧部摄像机被安装至uav的安装结构中的一个安装结构。
599、根据本发明的第十五方面的实施方式,摄像机中的至少一个摄像机被安装在安装结构和保护框架的、将该保护框架附接至该安装结构的位置处。
600、根据本发明的第十五方面的实施方式,定向测距模块被配置成测量到uav的物理环境的物体表面的距离和方向,并且所述物体表面的至少部分处于摄像机的至少一个视场内。
601、根据本发明的第十五方面的实施方式,uav包括uav供电系统,该uav供电系统向uav供电,该uav供电系统被配置成:提供向uav供电的电池的电池电量水平信息、在电池供电模式与电容器供电模式之间的可切换性、以及选择性地停用uav的预定耗电单元的可选择停用性,以及由电池电力或者由电容器电力两者另选地向uav供电,使得在更换电池时,特别是当在电池供电模式与电容器供电模式之间切换时,提供不间断供电,并且该uav供电系统包括:电容器,该电容器用于使得能够实现由电池电力或者由电容器电力两者另选地向uav供电;以及电池电量水平信息生成器。
602、电池电量水平信息生成器例如可以是测量电池电压或电池电流的设置,其中,电池电流是在电池正被放电时测量的。
603、电容器例如可以包括多个电容器。
604、根据本发明的第十五方面的实施方式,uav包括uav指示灯系统,其中,第一保护框架形成左前拐角区段和左后拐角区段,并且第二保护框架形成右前拐角区段和右后拐角区段,其中,该指示灯系统包括:第一线性指示器,该第一线性指示器用于发射光,以及围绕推进单元的外边缘的一部分并且沿着第一保护框架在左前拐角区段中延伸弯曲;第二线性指示器,该第二线性指示器用于发射光,以及围绕推进单元的外边缘的一部分并且沿着第一保护框架在左后拐角区段中延伸弯曲;第三线性指示器,该第三线性指示器用于发射光,以及围绕推进单元的外边缘的一部分并且沿着第二保护框架在右前拐角区段中延伸弯曲;以及第四线性指示器,该第四线性指示器用于发射光,以及围绕推进单元的外边缘的一部分并且沿着第二保护框架在右后拐角区段中延伸弯曲,其中,各个线性指示器皆被设置成在uav处于飞行状态的情况下,远离该uav并且朝向地面发射光到限定发射扇区,并且使得能够实现光的可变发射,从而使得能够实现uav的取向特定用户感知,以及向用户指示uav状态。
605、沿着保护框架延伸弯曲例如可以涉及被附接至或至少部分地集成到保护框架中。
606、使得能够实现光的可变发射例如涉及使得能够实现具有可变光特性的光的发射。
607、uav的取向特定用户感知涉及用户能够标识飞行uav的辅助uav指示灯系统的取向。
608、根据本发明的第十五方面的实施方式,uav包括:gnss接收器模块,该gnss接收器模块用于接收gnss定位信号;本地导航传感器模块,该本地导航传感器模块生成本地导航传感器信号;以及自主导航控制单元,该自主导航控制单元被通信地连接至gnss接收器模块、至少一个传感器模块以及本地导航传感器模块,并且被配置成连续地接收gnss定位信号、环境数据、以及本地导航传感器信号;以及基于此,自主导航uav。
609、gnss定位信号由gnss接收器模块接收,其中,gnss定位信号可以被指派给从其接收gnss定位信号的gnss卫星。
610、本地导航传感器模块例如包括惯性测量单元(imu)、气压计、磁力计、以及视觉惯性系统(vis)中的至少一者,其中,该本地导航传感器信号涉及imu信号、气压计信号、磁力计信号以及vis信号。
611、vis使用uav的摄像机系统的图像数据,以基于跟踪该图像数据中的预定特征来导出与该uav的移动/运动相关的运动数据。
612、根据本发明的第十五方面的实施方式,摄像机系统被配置成提供图像数据,并且定向测距模块被配置成提供定向距离信息。
613、定向距离信息例如可以包括与到物体表面/物体表面的点的距离相关的距离信息和/或与到物体表面/物体表面的点的方向相关的方向信息。
614、根据本发明的第十五方面的实施方式,uav包括多用途传感器系统,该多用途传感器系统包括:摄像机系统、惯性测量单元(imu)、以及gnss接收器模块,其中,该多用途传感器系统被配置成生成采用以下形式的传感器原始数据:来自摄像机系统的图像数据、来自惯性测量单元的运动数据、来自uav的定向测距模块的测量数据(特别是3d点数据)、以及来自uav的gnss接收器模块的全局位置数据,特别是其中,定向测距模块基于光检测和测距(lidar)原理来测量到物体表面的距离和方向。
615、多用途传感器系统可以包括多个传感器模块。
616、根据本发明的第十五方面的实施方式,uav被配置成通信地连接至电池管理终端,以及向电池管理终端发送与uav机载的uav电池相关的电池管理数据。
617、根据本发明的第十五方面的实施方式,uav被配置成接收与执行测量任务相关的指令;基于该指令在物理环境中进行由自主导航控制单元支持的自主飞行;在自主飞行时由定向测距模块进行扫描并由此测量物理环境;生成采用3d点数据的形式的测量数据;由摄像机系统观察物理环境并生成图像数据;由uav的至少一个传感器模块和/或多用途传感器系统感测物理环境并生成传感器数据;以及提供测量数据、图像数据以及传感器数据,以用于生成表示uav的物理环境的3d点云数据;以及将其提供给自主导航控制单元以用于支持uav的自主飞行。
618、根据本发明的第十五方面的实施方式,uav是旋转机翼无人机。
619、如本领域技术人员可以理解的,尽管本发明的十五个方面各自都是可单独实现的,但是它们可以涉及并且可以在一个常见的uav中实现。因此,本发明的各方面在可应用的情况下一起工作,并且可以累积地和彼此组合地实现,以使所述各方面的组合可以构成本发明的其它方面。