基于云计算和图像识别检测的无人机精准降落方法和系统与流程

1.本发明涉及无人机技术领域，特别是涉及一种基于云计算和图像识别检测的无人机精准降落方法和系统。


背景技术：

2.无人机的应用在多个领域且越来越广泛，无人机的飞行一般依靠专业的操纵者使用控制设备来操控，但在一些存在危险的应用领域，比如进行某些大型化工厂、储存仓的某些气体或者液体泄露的检测，需要无人机自动起飞、执行采集或收集图像任务、自动降落来完成任务。目前，自动飞行无人机降落不能精确控制，寻找底面基站困难，降落位置判断精度差。
3.为了解决无人机降落位置精度差的问题，公开号为cn110244758a的中国发明专利公开了一种无人机精准降落控制方法，包括：采集机巢中用于指示目标降落点的目标图像；当所述无人机开始降落时，根据所述无人机相较于所述目标图像的水平距离生成对所述无人机进行水平距离控制的控制指令；当所述无人机开始降落，根据所述生成的控制指令对所述无人机进行水平距离控制；在降落过程中，实时根据所述无人机相较于所述目标图像的水平距离更新所述控制指令，以及实时根据更新后控制指令对所述无人机进行水平距离控制；在降落过程中，获取所述无人机的实际高度且当在相应高度所述无人机相较于所述目标图像的水平距离在设定的距离误差范围内，控制所述无人机以与所述高度匹配的速度降落。公开号为cn111142546a的中国发明专利公开了一种多旋翼无人机精准降落引导系统，所述引导系统包括多旋翼无人机、停机坪和地面控制站；所述地面控制站通过无线测控与所述多旋翼无人机通信连接，用于对所述多旋翼无人机进行干预控制；所述停机坪设于多旋翼无人机待降落的位置，用于引导多旋翼无人机进行降落；所述多旋翼无人机包括：图像处理器，用于对设于所述多旋翼无人机机体下方的可见光/红外传感器拍摄的停机坪图像进行处理和计算，以获得多旋翼无人机相对于停机坪的偏移量、高度和/或相对速度差；飞行控制器，用于根据图像处理器获得的多旋翼无人机相对于停机坪的偏移量、高度和/或相对速度差，控制多旋翼无人机进行精准降落；差分rtk系统，用于实现多旋翼无人机的精确定位。
4.现有技术中的无人机精准降落方法大多仅支持无人机和停机坪一对一的对应关系，无法支持多个无人机同时降落到停机坪。


技术实现要素：

5.针对现有技术中存在的缺陷，本发明的目的在于提供一种基于云计算和图像识别检测的无人机精准降落方法和系统，解决了现有技术中无人机精准降落方法大多仅支持无人机和停机坪一对一的对应关系，无法支持多个无人机同时降落到停机坪的问题。
6.为了达到上述目的，本发明所采用的具体技术方案如下：
7.一种基于云计算和图像识别检测的无人机精准降落方法，包括云端处理器、若干
无人机、无人机控制器，所述无人机的硬件部分包括机载摄像机、机载cpu处理器、机载飞行控制器、机载通信器，所述机载cpu处理器分别与所述机载摄像机、机载飞行控制器、机载通信器连接，用于控制机载摄像机、机载飞行控制器、机载通信器的运行，所述机载通信器包括移动通信单元和近距离通信单元，所述无人机通过移动通信单元与云端处理器进行数据交互，所述无人机通过近距离通信单元与其他无人机进行数据交互，所述云端处理器预先封装有无人机动作指令，用于向无人机发送动作指令、流程处理和坐标系转换；无人机精准降落方法具体包括以下步骤：
8.s1，选择一个无人机作为主机，其他无人机作为从机，主机通过移动通信单元与云端处理器建立数据连接，通过近距离通信单元与从机建立近距离通信链路，构建多无人机协同飞行架构；
9.s2，主机通过机载摄像机获取实时图像，并通过机载cpu处理器和移动通信单元将数据传输给所述云端处理器；
10.s3，所述云端处理器通过检测识别算法和跟踪算法确定降落位置，计算主机与降落位置坐标系相对位置，得到主机位姿参数及其对应的动作指令，将动作指令传输给主机；
11.s4，主机将修正后的动作指令传输给从机；
12.s5，重复步骤s2
‑
s4直至无人机完成降落。
13.优选的，所述无人机的硬件部分还包括机载定位器，所述机载定位器与所述机载cpu处理器连接，用于确定无人机的地理位置和水平位置。
14.优选的，步骤s1中，选择一个无人机作为主机，其他无人机作为从机，主机通过移动通信单元与云端处理器建立数据连接，通过近距离通信单元与从机建立近距离通信链路，构建多无人机协同飞行架构，完成架构后，从机将地理位置信息和高度位置信息传输给主机，所述主机将自身和从机的地理位置信息和高度位置信息传输给云端处理器，所述云端处理器建立降落过程中从机的动作指令与主机的动作指令之间的修正系数，在步骤s4中，修改后的动作指令根据修正系数获得。
15.优选的，所述近距离通信单元为蓝牙通信单元或zigbee通信单元。
16.一种基于云计算和图像识别检测的无人机精准降落系统，包括云端处理器、若干无人机、无人机控制器，所述无人机的硬件部分包括机载摄像机、机载cpu处理器、机载飞行控制器、机载通信器，所述机载cpu处理器分别与所述机载摄像机、机载飞行控制器、机载通信器连接，用于控制机载摄像机、机载飞行控制器、机载通信器的运行，所述机载通信器包括移动通信单元和近距离通信单元，所述无人机通过移动通信单元与云端处理器进行数据交互，所述无人机通过近距离通信单元与其他无人机进行数据交互，所述云端处理器预先封装有无人机动作指令，用于向无人机发送动作指令、流程处理和坐标系转换；
17.所有无人机在降落过程中有一个无人机作为主机，其他无人机作为从机，主机通过移动通信单元与云端处理器建立数据连接，通过近距离通信单元与从机建立近距离通信链路，构建多无人机协同飞行架构；主机通过机载摄像机获取实时图像，并通过机载cpu处理器和移动通信单元将数据传输给所述云端处理器；所述云端处理器通过检测识别算法和跟踪算法确定降落位置，计算主机与降落位置坐标系相对位置，得到主机位姿参数及其对应的动作指令，将动作指令传输给主机；主机将修正后的动作指令传输给从机。
18.优选的，所述无人机的硬件部分还包括机载定位器，所述机载定位器与所述机载
cpu处理器连接，用于确定无人机的地理位置和水平位置。
19.优选的，完成构建多无人机协同飞行架构后，从机将地理位置信息和高度位置信息传输给主机，所述主机将自身和从机的地理位置信息和高度位置信息传输给云端处理器，所述云端处理器建立降落过程中从机的动作指令与主机的动作指令之间的修正系数，修改后的动作指令根据修正系数获得。
20.优选的，所述近距离通信单元为蓝牙通信单元或zigbee通信单元。
21.本发明的有益效果在于：通过云计算和图像识别检测技术实现多个无人机的精准降落，解决了现有技术中无人机精准降落方法大多仅支持无人机和停机坪一对一的对应关系，无法支持多个无人机同时降落到停机坪的问题。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本发明实施例提供的基于云计算和图像识别检测的无人机精准降落方法的流程图；
24.图2是本发明实施例提供的基于云计算和图像识别检测的无人机精准降落系统的原理框图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
26.在本发明的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
27.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
28.如图1所示，本发明提出了一种基于云计算和图像识别检测的无人机精准降落方法，包括云端处理器、若干无人机、无人机控制器，所述无人机的硬件部分包括机载摄像机、机载cpu处理器、机载飞行控制器、机载通信器，所述机载cpu处理器分别与所述机载摄像机、机载飞行控制器、机载通信器连接，用于控制机载摄像机、机载飞行控制器、机载通信器的运行，所述机载通信器包括移动通信单元和近距离通信单元，所述无人机通过移动通信
单元与云端处理器进行数据交互，所述无人机通过近距离通信单元与其他无人机进行数据交互，所述云端处理器预先封装有无人机动作指令，用于向无人机发送动作指令、流程处理和坐标系转换；无人机精准降落方法具体包括以下步骤：
29.s1，当无人机飞到降落目标附近开始降落的过程中，选择一个无人机作为主机，其他无人机作为从机，主机通过移动通信单元与云端处理器建立数据连接，通过近距离通信单元与从机建立近距离通信链路，构建多无人机协同飞行架构；
30.从所有无人机中选择主机的方法为设定m个主机选择因素，比如宽带、无人机在无人机群中的位置、无人机是否之前与其他无人机数据链接良好、是否有无人机作为主机过等等，为每个主机选择因素设定系数，每个因素乘系数求和的数值依次排列，取最高值对应的无人机为主机。
31.具体的，降落目标采用aruco标记，方便后续的目标检测与识别。
32.s2，主机通过机载摄像机获取实时图像，并通过机载cpu处理器和移动通信单元将数据传输给所述云端处理器；通过图像识别检测技术能够确定无人机与降落目标之间的相对位置。
33.s3，所述云端处理器通过检测识别算法和跟踪算法确定降落位置，计算主机与降落位置坐标系相对位置，得到主机位姿参数及其对应的动作指令，将动作指令传输给主机；云端处理器接收到图像数据后标记接收到的时间t1，计算出主机拍摄图像的时间t2，计算时间间隔δt＝t1
‑
t2，设主机降落过程中的速度为v，无人机与降落目标之间的相对位置的修正值为v*δt。
34.云端处理器通过检测识别算法和跟踪算法确定降落位置具体包括以下步骤：
35.云端处理器对接收到的图像数据进行图像预处理，包括图像灰度化、基于高斯滤波的图像去噪处理以及直方图均衡处理；
36.将预处理后的图像输入到tld检测模块计算检测结果；
37.通过跟踪算法模块计算tld检测模块中每个检测器的跟踪结果；
38.根据检测结果和跟踪结果最终形成目标位置，目标位置为降落位置。
39.计算主机与降落位置坐标系相对位置，得到主机位姿参数及其对应的动作指令，具体指的是，计算主机与降落位置坐标系相对位置，将其分解为x、y方向的位置偏差，分段式调整主机的飞行速度，云端处理器预先存储有无人机飞行速度和飞行方向所对应的位姿参数及其对应的动作指令。
40.s4，主机将修正后的动作指令传输给从机，主机和从机会根据动作指令和修正后的动作指令实现无人机的飞行控制；
41.s5，重复步骤s2
‑
s4直至无人机完成降落。
42.优选的，所述无人机的硬件部分还包括机载定位器，所述机载定位器与所述机载cpu处理器连接，用于确定无人机的地理位置和水平位置。
43.优选的，步骤s1中，选择一个无人机作为主机，其他无人机作为从机，主机通过移动通信单元与云端处理器建立数据连接，通过近距离通信单元与从机建立近距离通信链路，构建多无人机协同飞行架构，完成架构后，从机将地理位置信息和高度位置信息传输给主机，所述主机将自身和从机的地理位置信息和高度位置信息传输给云端处理器，所述云端处理器建立降落过程中从机的动作指令与主机的动作指令之间的修正系数，在步骤s4
中，修改后的动作指令根据修正系数获得。重复从机将地理位置信息和高度位置信息传输给主机的动作，直至主机和从机之间高度位置信息相同，主机和从机之间的地理位置差达到设定值。本发明中的无人机降落只需要主机识别降落位置，其他的从机跟主机之间保持一定的距离，主机精准降落，从机降落在主机周边即可完成降落目标。
44.所述云端处理器建立降落过程中从机的动作指令与主机的动作指令之间的修正系数，具体指的是
45.所述云端处理器根据主机和从机之间的地理位置的差值和高度位置的差值，以主机的地理位置和高度位置为基准，将位置控制参数转换为速度控制参数，根据δs＝δv*t的原则，主机的速度为分段式调整的飞行速度，其他从机为飞行速度
±
δv，修正系数为δv。
46.优选的，所述近距离通信单元为蓝牙通信单元或zigbee通信单元。
47.具体的，本发明中的无人机可采用多旋翼无人机。
48.如图2所示，本发明还提出了一种基于云计算和图像识别检测的无人机精准降落系统，包括云端处理器、若干无人机、无人机控制器，无人机控制器是用户控制无人机的设备，所述无人机的硬件部分包括机载摄像机、机载cpu处理器、机载飞行控制器、机载通信器，所述机载cpu处理器分别与所述机载摄像机、机载飞行控制器、机载通信器连接，用于控制机载摄像机、机载飞行控制器、机载通信器的运行，所述机载通信器包括移动通信单元和近距离通信单元，所述无人机通过移动通信单元与云端处理器进行数据交互，所述无人机通过近距离通信单元与其他无人机进行数据交互，所述云端处理器预先封装有无人机动作指令，用于向无人机发送动作指令、流程处理和坐标系转换；
49.所有无人机在降落过程中有一个无人机作为主机，其他无人机作为从机，从所有无人机中选择主机的方法为设定m个主机选择因素，比如宽带、无人机在无人机群中的位置、无人机是否之前与其他无人机数据链接良好、是否有无人机作为主机过等等，为每个主机选择因素设定系数，每个因素乘系数求和的数值依次排列，取最高值对应的无人机为主机。主机通过移动通信单元与云端处理器建立数据连接，通过近距离通信单元与从机建立近距离通信链路，构建多无人机协同飞行架构；具体的，降落目标采用aruco标记，方便后续的目标检测与识别。主机通过机载摄像机获取实时图像，并通过机载cpu处理器和移动通信单元将数据传输给所述云端处理器；通过图像识别检测技术能够确定无人机与降落目标之间的相对位置。所述云端处理器通过检测识别算法和跟踪算法确定降落位置，计算主机与降落位置坐标系相对位置，得到主机位姿参数及其对应的动作指令，将动作指令传输给主机；主机将修正后的动作指令传输给从机。
50.云端处理器接收到图像数据后标记接收到的时间t1，计算出主机拍摄图像的时间t2，计算时间间隔δt＝t1
‑
t2，设主机降落过程中的速度为v，无人机与降落目标之间的相对位置的修正值为v*δt。
51.云端处理器通过检测识别算法和跟踪算法确定降落位置具体包括以下步骤：
52.云端处理器对接收到的图像数据进行图像预处理，包括图像灰度化、基于高斯滤波的图像去噪处理以及直方图均衡处理；
53.将预处理后的图像输入到tld检测模块计算检测结果；
54.通过跟踪算法模块计算tld检测模块中每个检测器的跟踪结果；
55.根据检测结果和跟踪结果最终形成目标位置，目标位置为降落位置。
56.优选的，所述无人机的硬件部分还包括机载定位器，所述机载定位器与所述机载cpu处理器连接，用于确定无人机的地理位置和水平位置。
57.优选的，完成构建多无人机协同飞行架构后，从机将地理位置信息和高度位置信息传输给主机，所述主机将自身和从机的地理位置信息和高度位置信息传输给云端处理器，所述云端处理器建立降落过程中从机的动作指令与主机的动作指令之间的修正系数，修改后的动作指令根据修正系数获得。重复从机将地理位置信息和高度位置信息传输给主机的动作，直至主机和从机之间高度位置信息相同。本发明中的无人机降落只需要主机识别降落位置，其他的从机跟主机之间保持一定的距离，主机精准降落，从机降落在主机周边即可完成降落目标。
58.优选的，所述近距离通信单元为蓝牙通信单元或zigbee通信单元。
59.本发明的有益效果在于：通过云计算和图像识别检测技术实现多个无人机的精准降落，解决了现有技术中无人机精准降落方法大多仅支持无人机和停机坪一对一的对应关系，无法支持多个无人机同时降落到停机坪的问题。
60.以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。