一种无人机控制方法、装置及电子设备与流程

文档序号:23050991发布日期:2020-11-25 17:25阅读:154来源:国知局
一种无人机控制方法、装置及电子设备与流程

本发明涉及无人机技术领域,特别是涉及一种无人机控制方法、装置及电子设备。



背景技术:

相关技术中,用户可以在地图中查找表示任务场景的地图区域,并将该地图区域规划为任务区域,以控制无人机执行区域任务。示例性的,可以在地图上规划一个巡航区域,以使得无人机在所规划的巡航区域内进行巡航,也可以在地图上规划一个禁止进入区域,以使得无人机在规划路径时,避免经过该禁止进入区域。

但是,在一些应用场景中,无人机工作场景的地图可能不够准确(如地图老旧、丢失、精度较低等),导致用户查找到的地图区域实际所表示的空间区域与任务场景存在偏差,导致规划得到的任务区域不够准确,造成用户无法准确控制无人机执行区域任务。



技术实现要素:

本发明实施例的目的在于提供一种无人机控制方法、装置及电子设备,以实现避免因地图的不准确性,导致无法准确地控制无人机执行区域任务。具体技术方案如下:

在本发明实施例的第一方面,提供了一种无人机控制方法,所述方法包括:

显示无人机拍摄得到的航拍图像;

接收针对所述航拍图像输入的闭合区域信息,所述闭合区域信息用于表示所述航拍图像中的闭合区域;

将所述闭合区域信息所表示的闭合区域映射至地图,得到所述闭合区域在所述地图中对应的地图区域;

向所述无人机发送任务指令,所述任务指令用于控制所述无人机在所述地图区域执行区域任务。

结合第一方面,在第一种可能的实现方式中,所述将所述闭合区域信息所表示的闭合区域映射至地图,得到所述闭合区域在所述地图中对应的地图区域,包括:

基于所述无人机拍摄所述航拍图像所使用的相机的成像参数、所述相机距离地面的高度、俯仰角,将所述闭合区域信息所表示的闭合区域映射至世界坐标系,得到所述闭合区域在所述世界坐标系中对应的坐标区域,作为第一坐标区域,所述世界坐标系为基于所述相机预先建立的坐标系;

在所述世界坐标系中,确定所述第一坐标区域相对所述相机的相对位置;

基于所述无人机在地图中的位置、航向、所述相机的偏航角以及所述相对位置,将所述第一坐标区域映射至所述地图,得到所述第一坐标区域在所述地图中对应的地图区域,作为所述闭合区域在所述地图中对应的地图区域。

结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述基于所述无人机拍摄所述航拍图像所使用的相机的成像参数、所述相机距离地面的高度、俯仰角,将所述闭合区域信息所表示的闭合区域映射至世界坐标系,得到所述闭合区域在所述世界坐标系中对应的坐标区域,作为第一坐标区域,包括:

按照以下坐标映射公式将所述闭合区域信息所表示的闭合区域由图像坐标系映射至相机坐标系,得到所述闭合区域在所述相机坐标系中对应的坐标区域,作为第二坐标区域:

其中,xc为所述第二坐标区域在所述相机坐标系的横坐标,yc为所述第二坐标区域在所述相机坐标系的纵坐标,x为所述闭合区域在所述图像坐标系的横坐标,y为所述闭合区域在所述图像坐标系的纵坐标,zc为所述无人机拍摄所述航拍图像所使用的相机的景深因子,f为所述相机的焦距;

按照以下坐标映射公式将所述第二坐标区域由相机坐标系映射至世界坐标系,得到所述闭合区域在所述世界坐标系中的对应的坐标区域,作为第一坐标区域:

其中,xw为所述第一坐标区域在所述世界坐标系的水平面横坐标,yw为所述第一坐标区域在所述世界坐标系的水平面纵坐标,zw为所述第一坐标区域在所述世界坐标系的竖直坐标,θ为所述相机的俯仰角,h为所述相机的高度。

结合第一方面的第一种可能的实现方式,在第三种可能的实现方式中,所述在所述世界坐标系中,确定所述第一坐标区域相对所述相机的相对位置,包括:

基于所述相机的畸变参数,对所述第一坐标区域进行反畸变计算,以校正所述第一坐标区域;

确定校正后的所述第一坐标区域相对所述相机的相对位置。

结合第一方面,在第四种可能的实现方式中,所述将所述闭合区域信息所表示的闭合区域映射至地图,得到所述闭合区域在所述地图中对应的地图区域,包括:

将所述闭合区域信息所表示的闭合区域边界上的顶点映射至地图,得到每个顶点在所述地图中对应的映射点;

将以每两个相邻的顶点的映射点连线所围成的区域,作为所述闭合区域在所述地图中对应的地图区域。

结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,在将所述闭合区域信息所表示的闭合区域边界上的顶点映射至地图,得到每个顶点在所述地图中对应的映射点之后,所述方法还包括:

获取障碍物区域的三维空间分布;

针对每个映射点,确定所述无人机在所述地图中的位置与该映射点的连线是否与所述障碍物区域相交;

如果该映射点的所述连线与所述障碍物区域相交,将所述连线与所述障碍物区域的交点中距离所述无人机在所述地图中的位置最近的交点,作为纠偏后的该映射点;

如果该映射点的所述连线与所述障碍物区域不相交,将该映射点作为纠偏后的该映射点;

所述将以每两个相邻的顶点的映射点连线所围成的区域,作为所述闭合区域在所述地图中对应的地图区域,包括:

将以每两个相邻的顶点的纠偏后的映射点连线所围成的区域,作为所述闭合区域在所述地图中对应的地图区域。

在本发明实施例的第二方面,提供了一种无人机控制装置,所述装置包括:

图像显示模块,用于显示无人机拍摄得到的航拍图像;

信息接收模块,用于接收针对所述航拍图像输入的闭合区域信息,所述闭合区域信息用于表示所述航拍图像中的闭合区域;

区域映射模块,用于将所述闭合区域信息所表示的闭合区域映射至地图,得到所述闭合区域在所述地图中对应的地图区域;

指令发布模块,用于向所述无人机发送任务指令,所述任务指令用于控制所述无人机在所述地图区域执行区域任务。

结合第二方面,在第一种可能的实现方式中,所述区域映射模块,具体用于基于所述无人机拍摄所述航拍图像所使用的相机的成像参数、所述相机距离地面的高度、俯仰角,将所述闭合区域信息所表示的闭合区域映射至世界坐标系,得到所述闭合区域在所述世界坐标系中对应的坐标区域,作为第一坐标区域,所述世界坐标系为基于所述相机预先建立的坐标系;

在所述世界坐标系中,确定所述第一坐标区域相对所述相机的相对位置;

基于所述无人机在地图中的位置、航向、所述相机的偏航角以及所述相对位置,将所述第一坐标区域映射至所述地图,得到所述第一坐标区域在所述地图中对应的地图区域,作为所述闭合区域在所述地图中对应的地图区域。

结合第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述区域映射模块,具体用于按照以下坐标映射公式将所述闭合区域信息所表示的闭合区域由图像坐标系映射至相机坐标系,得到所述闭合区域在所述相机坐标系中对应的坐标区域,作为第二坐标区域:

其中,xc为所述第二坐标区域在所述相机坐标系的横坐标,yc为所述第二坐标区域在所述相机坐标系的纵坐标,x为所述闭合区域在所述图像坐标系的横坐标,y为所述闭合区域在所述图像坐标系的纵坐标,zc为所述无人机拍摄所述航拍图像所使用的相机的景深因子,f为所述相机的焦距;

按照以下坐标映射公式将所述第二坐标区域由相机坐标系映射至世界坐标系,得到所述闭合区域在所述世界坐标系中的对应的坐标区域,作为第一坐标区域:

其中,xw为所述第一坐标区域在所述世界坐标系的水平面横坐标,yw为所述第一坐标区域在所述世界坐标系的水平面纵坐标,zw为所述第一坐标区域在所述世界坐标系的竖直坐标,θ为所述相机的俯仰角,h为所述相机的高度。

结合第二方面的第一种可能的实现方式,在第三种可能的实现方式中,所述区域映射模块,具体用于基于所述相机的畸变参数,对所述第一坐标区域进行反畸变计算,以校正所述第一坐标区域;

确定校正后的所述第一坐标区域相对所述相机的相对位置。

结合第二方面,在第四种可能的实现方式中,所述区域映射模块,具体用于将所述闭合区域信息所表示的闭合区域边界上的顶点映射至地图,得到每个顶点在所述地图中对应的映射点;

将以每两个相邻的顶点的映射点连线所围成的区域,作为所述闭合区域在所述地图中对应的地图区域。

结合第二方面的第四种可能的实现方式,在第五种可能的实现方式中,所述区域映射模块,还用于在将所述闭合区域信息所表示的闭合区域边界上的顶点映射至地图,得到每个顶点在所述地图中对应的映射点之后,获取障碍物区域的空间分布;

获取障碍物区域的三维空间分布;

针对每个映射点,确定所述无人机在所述地图中的位置与该映射点的连线是否与所述障碍物区域相交;

如果该映射点的所述连线与所述障碍物区域相交,将所述连线与所述障碍物区域的交点中距离所述无人机在所述地图中的位置最近的交点,作为纠偏后的该映射点;

如果该映射点的所述连线与所述障碍物区域不相交,将该映射点作为纠偏后的该映射点;

将以每两个相邻的顶点的纠偏后的映射点连线所围成的区域,作为所述闭合区域在所述地图中对应的地图区域。

在本发明实施例的第三方面,提供了一种电子设备,包括:

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法步骤;

显示屏,用于在所述处理器的控制下,显示无人机拍摄得到的航拍图像;

输入设备,用于在所述处理器的控制下,接收针对所述航拍图像输入的闭合区域信息,所述闭合区域信息用于表示所述航拍图像中的闭合区域;

输出设备,用于在所述处理器的控制下,向所述无人机发送任务指令。

在本发明实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。

本发明实施例提供的无人机控制方法、装置及电子设备,可以通过将航拍图像中的闭合区域映射至地图中,因此得到的地图区域是与航拍图像中的闭合区域对应的地图区域,不会受到地图自身不准确性的影响,进而可以在地图准确性较低的应用场景中,准确控制无人机执行区域任务。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的无人机控制方法的一种流程示意图;

图2为本发明实施例提供的映射方法的一种流程示意图;

图3为本发明实施例提供的映射方法的另一种流程示意图;

图4为本发明实施例提供的映射点纠偏的一种原理示意图;

图5为本发明实施例提供的映射点纠偏的一种流程示意图;

图6为本发明实施例提供的无人机区域任务执行方法的一种流程示意图;

图7为本发明实施例提供的无人机控制装置的一种结构示意图;

图8为本发明实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

假设用户希望控制无人机在某工作区域上空进行巡航,则可以在地图中选中表示该工作区域的地图区域,并将该区域规划为任务区域,并输入巡航指令,以控制无人机在该任务区域进行巡航。

但是,地图可能因为版本过于老旧、数据丢失、精度较低等原因不够准确,示例性的,用户可能希望无人机在一工厂上空执行区域飞行任务,但是地图不够准确,地图中该工厂所在区域与该工厂实际所在区域存在一定偏差,导致用户通过地图规划出的区域飞行任务所针对的区域,与工厂实际所在区域存在一定偏差,因此无人机所执行的飞行任务所针对的区域并非用户所希望的区域,即用户根据不够准确的地图无法准确控制无人机执行区域任务。

有鉴于此,本发明实施例提供了一种无人机控制方法,可以参见图1,图1所示为本发明实施例提供的无人机控制方法的一种流程示意图,该方法可以应用于与无人机通信连接的电子设备(如无人机的用户终端设备、后端服务器等),方法可以包括:

s101,显示无人机拍摄得到的航拍图像。

其中,航拍图像可以是无人机拍摄包括任务场景在内的监控场景得到的。根据应用场景的不同,任务场景可以不同,本实施例对此不做限制。

s102,接收针对航拍图像输入的闭合区域信息。

闭合区域信息可以是用户通过预设的输入设备输入的,示例性的,可以是用户在观看航拍图像后,利用预设的绘图工具在航拍图像中绘制一闭合图形,以生成用于表示该闭合图形所包围的闭合区域的闭合区域信息。

s103,将闭合区域信息所表示的闭合区域映射至地图,得到闭合区域在地图中对应的地图区域。

该闭合区域,可以视为一个空间区域在无人机拍摄监控场景所使用的相机的像平面上的投影。根据高斯成像原理可知,当无人机的相机的成像参数、无人机的位置,相机的俯仰角、偏航角不发生改变,并且忽略仪器自身性能的随机涨落、空气折射率的变化等干扰信号的影响的情况下,可以认为一个空间区域在航拍图像中所在的闭合区域理论上是唯一的,而一个空间区域在地图中所在的地图区域理论上也是唯一的(地图上不同的点表示实际空间中不同的空间点)。因此,理论上可以将闭合区域映射至地图,以得到闭合区域在地图中对应的地图区域。

闭合区域与地图区域之间的映射关系,根据实际应用场景的不同,可能不同。关于该映射关系,将在本发明实施例提供的映射方法中进行详细描述,在此不作过多讨论。

s104,向无人机发送任务指令,该任务指令用于控制无人机在该地图区域执行区域任务。

根据应用场景的不同,所执行的区域任务可以不同,示例性的,该任务指令可以是用于控制无人机在该地图区域执行区域飞行任务,也可以用于控制无人机在该地图区域执行区域测量任务,本实施例对此不做限制。该区域任务可以是根据用户输入的控制指令确定的,也可以是按照预设规则或算法确定得到的。

在一种可能的实施例中,该任务指令可以包括区域位置信息和任务类型信息,其中,区域位置信息用于表示该地图区域在地图中的位置,任务类型信息用于表示无人机需要执行的任务类型,无人机在接收到任务指令后,在区域位置信息所表示的地图区域,执行任务类型信息所表示的区域任务。

本发明实施例提供的无人机控制方法,可以通过将航拍图像中的闭合区域映射至地图中,因此得到的地图区域是与航拍图像中的闭合区域对应的地图区域,不会受到地图自身不准确性的影响,进而可以在地图准确性较低的应用场景中,准确控制无人机执行区域任务。

假设无人机拍摄监控场景所使用的相机为云台相机,并且可以在水平方向和竖直方向旋转,则在一种可能的实施例中,将闭合区域映射至地图的方法可以参见图2,图2所示为本发明实施例提供的映射方法的一种流程示意图,该方法可以包括:

s201,基于无人机拍摄航拍图像所使用的相机的成像参数、相机距离地面的高度、俯仰角,将闭合区域映射至世界坐标系,得到闭合区域在世界坐标系中对应坐标区域,作为第一坐标区域。

其中,成像参数可以包括相机的焦距和景深因子,相机距离地面的高度可以近似使用无人机的飞行高度,也可以是基于无人机的飞行高度以及相机的安装位置计算得到的,示例性的,假设无人机的飞行高度为300m,相机镜头的光学中心位于无人机下方0.1m处,则可以计算得到相机距离地面的高度为299.9m。

世界坐标系为基于相机预先建立的坐标系,为描述方便,下面将世界坐标系定义为,以相机在地平面的投影点为坐标原点,竖直方向为z方向,同时与相机的法向和z方向正交的方向为x方向,同时与z方向和x方向正交的方向为y方向的坐标系。在其他可能的实施例中,世界坐标系也可以根据实际需求的不同而不同。

在一种可能的实施例中,可以是先将闭合区域从航拍图像的图像坐标系,映射至相机坐标系。其中,图像坐标系可以是以航拍图像中像素行的方向为x方向,像素列的方向为y方向的二维坐标系,相机坐标系可以是以相机镜头的光学中心为坐标原点,相机的法向为z方向,同时与竖直方向和z方向正交的方向为x方向,同时与z方向和x方向正交的方向为y方向的坐标系。可以是按照以下坐标映射公式,将闭合区域映射至相机坐标系,得到闭合区域在相机坐标系中对应的坐标区域,作为第二坐标区域:

其中,xc为第二坐标区域在相机坐标系的横坐标,yc为第二坐标区域在相机坐标系的纵坐标,x为闭合区域在图像坐标系的横坐标,y为闭合区域在图像坐标系的纵坐标,zc为相机的景深因子,f为相机的焦距。

再将第二坐标区域由相机坐标系映射至世界坐标系,示例性的,可以是按照以下坐标映射公式将第二坐标区域由相机坐标系映射至世界坐标系,得到第二坐标区域在世界坐标系中对应坐标区域,作为第一坐标区域:

其中,xw为世界坐标系水平面横坐标(即x方向的坐标),yw为世界坐标水平面纵坐标(即y方向的坐标),zw为世界坐标系的竖直坐标(即z方向的坐标),θ为相机的俯仰角,h为相机的高度。进一步的,可以近似认为闭合区域在地图中对应的地图区域的空间点均处于同一等高面,并假设该等高面的高度为0(在其他实施例中,也可以根据实际需求假设该等高面的高度为其他数值),因此可以将zw=0代入相机坐标系-世界坐标系之间的坐标映射公式,以得到景深因子zc。

s202,在世界坐标系中,确定第一坐标区域相对于相机的相对位置。

由于世界坐标系是基于相机预先建立的,因此相机在世界坐标系中的坐标是已知的,示例性的,本实施例中,世界坐标系的坐标原点可以为相机镜头的光学中心,因此第一坐标区域的坐标即可以表示坐标区域相对相机的相对位置。

在一些应用场景中,相机在成像过程中,可能受到畸变的影响,导致航拍图像失真,因此空间区域在航拍图像中对应的图像区域可能准确性较低(例如,理论上一个空间区域在航拍图像中所在的图像区域可能为16*16的图像区域,由于航拍图像失真,导致该空间区域在航拍图像中所在的图像区域变形为15*17的图像区域),导致映射得到的第一坐标区域存在误差。因此在这些实施例中,可以基于相机的畸变参数,对第一坐标区域进行反畸变计算,以校正第一坐标区域,并在世界坐标系中,确定校正后的第一坐标区域相对于相机的相对位置。

在另一些应用场景中,相机在成像过程中可能受到畸变的影响较小(也可能是航拍图像中的闭合区域受到畸变的影响较小),则也可以不通过反畸变计算,对第一坐标区域进行校正。

s203,基于无人机在无人机地图中的位置、航向、相机的偏航角以及相对位置,将第一坐标区域映射至地图,得到第一坐区域在地图中对应的地图区域,作为闭合区域在地图中对应的地图区域。

示例性的,假设无人机在无人机地图中的位置为(xa,ya),航向为y轴正方向,相机的偏航角为则世界坐标系中任一坐标点(xw,yw,zw)映射至地图中的空间点(xm,xm)可以通过下式计算得到:

根据各个坐标系坐标轴正方向定义的不同,上述映射公式中的运算符号可能发生变化。

图2所示为本发明实施例提供的映射方法的一种可能的流程图,在其他可能的实施例中,也可以通过其他方式将闭合区域映射至地图。示例性的,在其他可能的实施例中,如果无人机安装有测距装置,也可以闭合区域在航拍图像中的位置,直接利用测距装置测量,以得到闭合区域在在世界坐标系中对应的坐标区域,作为第一坐标区域,并执行s202、s203,以得到闭合区域在地图中对应的地图区域。还可以是预先直接建立图像坐标系到地图的地图坐标系之间的映射关系,并基于该映射关系,将闭合区域直接映射至地图。

闭合区域可以视为航拍图像中像素点的集合(以下称点集),可以是利用点集内所包括的所有像素点的集合表示该闭合区域,例如{(1,1),(1,2),(1,3),(2,1),(2,2),(2,3),(3,1),(3,2),(3,3)}可以表示由该集合所包括的九个像素点构成的3*3的闭合区域,也可以是利用该闭合区域的边界上的顶点,表示该闭合区域,例如{(1,1),(1,3),(3,1),(3,3)}可以表示闭合区域为该集合所包括的4个像素点为顶点的四边形所包围的区域。如果闭合区域的边界为圆锥曲线,则也可以是利用该圆锥曲线的圆锥曲线方程表示该闭合区域,例如{x2+y2=4}可以表示闭合区域为以(0,0)为圆心,2为半径的圆所包围的区域。同理,上述坐标区域也可以根据实际需求选用不同的表示方式,本实施例对此不做限制。

因此,在一些可能的实施例中,将闭合区域映射至地图,可以是将闭合区域所包括的所有像素点映射至地图,也可以是将闭合区域中的部分像素点映射至地图,并根据这部分像素点在地图中的映射点,确定任务场景在地图中所在的地图区域。

示例性的,闭合区域信息中可以包括,该闭合区域信息所表示的闭合区域边界上的多个顶点的顶点信息,可以参见图3,图3所示为本发明实施例提供的映射方法的另一种流程示意图,可以包括:

s301,将每个顶点信息所表示的顶点映射至地图,得到多个顶点在地图中对应的映射点。

将顶点映射至地图,和将闭合区域映射至地图,均可以视为在两个不同的坐标系之间进行坐标转换,原理是相同的,因此可以参见前述s102和s201-s203中的相关描述,在此不再赘述。

s302,将以每两个相邻的顶点的映射点连线所围成的区域,作为闭合区域在地图中对应的地图区域。

在忽略镜头的非线性作用(如枕形畸变、桶形畸变等)的情况下,根据高斯成像原理可知,空间中位于同一直线上的空间点,在航拍图像中所处的像素点仍然位于同一直线。而地图往往和实际空间之间是线性关系,因此理论上闭合区域所在的图像坐标系,和地图的地图坐标系之间是线性转换关系,即可以认为图像坐标系中的直线,在映射到地图坐标系中后仍为直线。

由于在航拍图像中,闭合区域的两个相邻的顶点的连线为闭合区域的一条边界,而图像坐标系与地图坐标系之间为线性转换关系,因此,每两个相邻的顶点的映射点的连线,为闭合区域在地图中对应的地图区域的一条边界。所以每两个相邻的顶点的映射点连线所围成的区域,可以作为闭合区域在地图中对应的地图区域。

在本实施例中,航拍图像为二维图像,而现实空间为三维空间,即现实空间中位于不同平面的空间点,在航拍图像中对应的像素点位于同一平面。因此,闭合区域边界上的每个顶点对应于现实空间中的多个空间点。可以参见图4,其中410为无人机的相机,420为障碍物区域(可以是山丘、建筑物等),障碍物区域420不透光,430为某个顶点在地图中的映射点所表示的实际空间中的空间点,则相机410与空间点430连线上的空间点,均对应于航拍图像中的该顶点。

可以理解的是,在不考虑障碍物区域遮挡的情况下,航拍图像中该顶点理论上所呈现的为空间点430的影像。而在图4所示的应用场景中,相机410与空间点430连线上与障碍物区域420相交,这表明空间点430被障碍物所遮挡,因此航拍图像中该顶点实际所呈现的为该连线与障碍物区域420的交点中与相机410最近的交点440。

因此为了提高得到的地图区域的准确性,可以对顶点的映射点进行纠偏,再基于纠偏后的映射点,确定闭合区域在地图中对应的地图区域。示例性的,可以是参见图5,图5所示为本发明实施例提供的映射点纠偏方法的一种流程示意图,可以包括:

s501,获取障碍物区域的三维空间分布。

可以是基于无人机的位置,获取无人机所在位置附近的障碍物区域的空间分布,也可以是基于映射点所在的位置,获取映射点所在位置附近的障碍物区域的空间分布。

其中,障碍物区域的空间分布可以是通过dem(digitialelevationmodel,数字高程模型)和/或第三方提供的建筑物高度数据得到的。dem为用一组有序数值阵列的形式表示地面高程的一种实体地面模型。在其他可能的是实施例中,障碍物区域的空间分布也可以是通过其他方式获取得到的,本实施例对此不做限制。

s502,针对每个映射点,确定无人机在地图中的位置与该映射点的连线是否与障碍物区域相交,如果无人机在地图中的位置与该映射点的连线与障碍物区域不相交,执行s503,如果无人机在地图中的位置与该映射点的连线与障碍物区域相交,执行s504。

可以是连接无人机在地图中的位置与该映射点,得到两点之间的连线,并遍历该连线上的每个点,确定该点的高度是否高于该点所处位置的障碍物区域的高度,如果每个点的高度均高于该点所处位置的障碍物区域的高度,则确定无人机在地图中的位置与该映射点的连线与障碍物区域不相交,如果至少存在一个点的高度不高于该点所处位置的障碍物区域的高度,则确定无人机在地图中的位置与该映射点的连线与障碍物区域相交,并且高度不高于该点所处位置的障碍物区域的高度的点为交点。

s503,将连线与障碍物区域的交点中距离无人机在地图中的位置最近的交点,作为纠偏后的该映射点。

原理可以参见图4的相关描述,在此不再赘述。

s504,将该映射点作为纠偏后的该映射点。

即该映射点进行纠偏后位置不变。

为更清楚的对本发明实施例提供的无人机控制方法,下面以用户希望控制无人机在某工作区域上空执行区域飞行任务为应用场景,对本发明实施例提供的无人机控制方法进行说明,方法可以参见图6,包括:

s601,无人机拍摄监控场景得到航拍图像,并将航拍图像发送至用户终端。

该航拍图像中包括工作区域的影像。

s602,用户终端显示该航拍图像。

s603,用户终端接收针对航拍图像输入的闭合区域信息。

s604,用户终端该闭合区域信息所表示的闭合区域边界上的顶点从图像坐标系,映射至相机坐标系。

如前述关于区域的表示方式,这些顶点在相机坐标系中的映射点,可以表示工作区域在相机坐标系中所在的像区域。

s605,用户终端将每个顶点从相机坐标系,映射至世界坐标系。

s606,用户终端对每个顶点在世界坐标系中对应的映射点进行反畸变计算,得到该顶点校正后的映射点。

s607,用户终端对每个校正后的映射点进行纠偏,得到纠偏后的该映射点。

关于纠偏可以参见前述s501-s504中的相关描述,在此不再赘述。

s608,用户终端将以每个两个相邻的顶点的纠偏后的映射点连线所围成的区域,作为闭合区域在地图中对应的地图区域。

s609,用户终端向无人机发送任务指令,任务指令中包括该地图区域的区域位置信息。

其中,根据实际需求的不同,任务区域的信息可以为任务区域所包括的所有点,也可以是部分点。示例性的,如果执行任务的为巡航任务,则任务区域的信息可以为任务区域边界上所有或部分的点。

s610,无人机根据区域位置信息,计算飞行轨迹,并基于飞行轨迹在该地图区域中执行区域飞行任务。

参见图7,图7所示为本发明实施例提供的无人机控制装置的一种结构示意图,可以包括:

图像显示模块701,用于显示无人机拍摄得到的航拍图像;

信息接收模块702,用于接收针对航拍图像输入的闭合区域信息,闭合区域信息用于表示航拍图像中的闭合区域;

区域映射模块703,用于将闭合区域信息所表示的闭合区域映射至地图,得到闭合区域在地图中对应的地图区域;

指令发布模块704,用于向无人机发送任务指令,任务指令用于控制无人机在地图区域执行区域任务。

在一种可能的实施例中,区域映射模块702,具体用于基于无人机拍摄航拍图像所使用的相机的成像参数、相机距离地面的高度、俯仰角,将闭合区域信息所表示的闭合区域映射至世界坐标系,得到闭合区域在世界坐标系中对应的坐标区域,作为第一坐标区域,世界坐标系为基于相机预先建立的坐标系;

在世界坐标系中,确定第一坐标区域相对相机的相对位置;

基于无人机在地图中的位置、航向、相机的偏航角以及相对位置,将第一坐标区域映射至地图,得到第一坐标区域在地图中对应的地图区域,作为闭合区域在地图中对应的地图区域。

在一种可能的实施例中,区域映射模块702,具体用于按照以下坐标映射公式将闭合区域信息所表示的闭合区域由图像坐标系映射至相机坐标系,得到闭合区域在相机坐标系中对应的坐标区域,作为第二坐标区域:

其中,xc为第二坐标区域在相机坐标系的横坐标,yc为第二坐标区域在相机坐标系的纵坐标,x为闭合区域在图像坐标系的横坐标,y为闭合区域在图像坐标系的纵坐标,zc为无人机拍摄航拍图像所使用的相机的景深因子,f为相机的焦距;

按照以下坐标映射公式将第二坐标区域由相机坐标系映射至世界坐标系,得到闭合区域在世界坐标系中的对应的坐标区域,作为第一坐标区域:

其中,xw为第一坐标区域在世界坐标系的水平面横坐标,yw为第一坐标区域在世界坐标系的水平面纵坐标,zw为第一坐标区域在世界坐标系的竖直坐标,θ为相机的俯仰角,h为相机的高度。

在一种可能的实施例中,区域映射模块702,具体用于具体用于基于相机的畸变参数,对第一坐标区域进行反畸变计算,以校正第一坐标区域;

确定校正后的第一坐标区域相对相机的相对位置。

在一种可能的实施例中,区域映射模块702,具体用于将闭合区域信息所表示的闭合区域边界上的顶点映射至地图,得到每个顶点在地图中对应的映射点;

将以每两个相邻的顶点的映射点连线所围成的区域,作为闭合区域在地图中对应的地图区域。

在一种可能的实施例中,区域映射模块702,还用于在将闭合区域信息所表示的闭合区域边界上的顶点映射至地图,得到每个顶点在地图中对应的映射点之后,获取障碍物区域的空间分布;

获取障碍物区域的三维空间分布;

针对每个映射点,确定无人机在地图中的位置与该映射点的连线是否与障碍物区域相交;

如果该映射点的连线与障碍物区域相交,将连线与障碍物区域的交点中距离无人机在地图中的位置最近的交点,作为纠偏后的该映射点;

如果该映射点的连线与障碍物区域不相交,将该映射点作为纠偏后的该映射点;

将以每两个相邻的顶点的纠偏后的映射点连线所围成的区域,作为闭合区域在地图中对应的地图区域。

本发明实施例还提供了一种电子设备,如图8所示,包括:存储器801、处理器802、显示屏803、输入设备804、输出设备805;

其中,显示屏803,用于在所述处理器802的控制下,显示无人机拍摄得到的航拍图像,显示屏803可以是集成于该电子设备上的,也可以是外接于该电子设备上的。

输入设备804,用于在所述处理器802的控制下,接收针对所述航拍图像输入的闭合区域信息,所述闭合区域信息用于表示所述航拍图像中的闭合区域,输入设备804可以是人体学输入设备,如鼠标、键盘等,用于使得用户通过输入设备804向该电子设备输入操作指令。

输出设备805,用于在所述处理器的控制下,向所述无人机发送任务指令。在可能的应用场景中,输出设备805也可以用于向无人机发送任务指令以外的其他信息。

存储器801,用于存放计算机程序;

处理器802,用于执行存储器801上所存放的程序时,实现如下步骤:

控制显示屏801显示无人机拍摄得到的航拍图像;

通过输入设备804接收针对航拍图像输入的闭合区域信息,闭合区域信息用于表示航拍图像中的闭合区域;

将闭合区域信息所表示的闭合区域映射至地图,得到闭合区域在地图中对应的地图区域;

通过输出设备805向无人机发送任务指令,任务指令用于控制无人机在地图区域执行区域任务。

在一种可能的实施例中,将闭合区域信息所表示的闭合区域映射至地图,得到闭合区域在地图中对应的地图区域,包括:

基于无人机拍摄航拍图像所使用的相机的成像参数、相机距离地面的高度、俯仰角,将闭合区域信息所表示的闭合区域映射至世界坐标系,得到闭合区域在世界坐标系中对应的坐标区域,作为第一坐标区域,世界坐标系为基于相机预先建立的坐标系;

在世界坐标系中,确定第一坐标区域相对相机的相对位置;

基于无人机在地图中的位置、航向、相机的偏航角以及相对位置,将第一坐标区域映射至地图,得到第一坐标区域在地图中对应的地图区域,作为闭合区域在地图中对应的地图区域。

在一种可能的实施例中,基于无人机拍摄航拍图像所使用的相机的成像参数、相机距离地面的高度、俯仰角,将闭合区域信息所表示的闭合区域映射至世界坐标系,得到闭合区域在世界坐标系中对应的坐标区域,作为第一坐标区域,包括:

按照以下坐标映射公式将闭合区域信息所表示的闭合区域由图像坐标系映射至相机坐标系,得到闭合区域在相机坐标系中对应的坐标区域,作为第二坐标区域:

其中,xc为第二坐标区域在相机坐标系的横坐标,yc为第二坐标区域在相机坐标系的纵坐标,x为闭合区域在图像坐标系的横坐标,y为闭合区域在图像坐标系的纵坐标,zc为无人机拍摄航拍图像所使用的相机的景深因子,f为相机的焦距;

按照以下坐标映射公式将第二坐标区域由相机坐标系映射至世界坐标系,得到闭合区域在世界坐标系中的对应的坐标区域,作为第一坐标区域:

其中,xw为第一坐标区域在世界坐标系的水平面横坐标,yw为第一坐标区域在世界坐标系的水平面纵坐标,zw为第一坐标区域在世界坐标系的竖直坐标,θ为相机的俯仰角,h为相机的高度。

在一种可能的实施例中,在世界坐标系中,确定第一坐标区域相对相机的相对位置,包括:

基于相机的畸变参数,对第一坐标区域进行反畸变计算,以校正第一坐标区域;

确定校正后的第一坐标区域相对相机的相对位置。

在一种可能的实施例中,将闭合区域信息所表示的闭合区域映射至地图,得到闭合区域在地图中对应的地图区域,包括:

将闭合区域信息所表示的闭合区域边界上的顶点映射至地图,得到每个顶点在地图中对应的映射点;

将以每两个相邻的顶点的映射点连线所围成的区域,作为闭合区域在地图中对应的地图区域。

在一种可能的实施例中,在将闭合区域信息所表示的闭合区域边界上的顶点映射至地图,得到每个顶点在地图中对应的映射点之后,方法还包括:

获取障碍物区域的三维空间分布;

针对每个映射点,确定无人机在地图中的位置与该映射点的连线是否与障碍物区域相交;

如果该映射点的连线与障碍物区域相交,将连线与障碍物区域的交点中距离无人机在地图中的位置最近的交点,作为纠偏后的该映射点;

如果该映射点的连线与障碍物区域不相交,将该映射点作为纠偏后的该映射点;

将以每两个相邻的顶点的映射点连线所围成的区域,作为闭合区域在地图中对应的地图区域,包括:

将以每两个相邻的顶点的纠偏后的映射点连线所围成的区域,作为闭合区域在地图中对应的地图区域。

上述电子设备提到的存储器可以包括随机存取存储器(randomaccessmemory,ram),也可以包括非易失性存储器(non-volatilememory,nvm),例如至少一个磁盘存储器。可能的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessing,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一无人机控制方法。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一无人机控制方法。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质、计算机程序产品的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1