基于视觉的旋翼无人机巡线控制方法、装置和存储介质

本发明涉及无人机控制，具体涉及一种基于视觉的旋翼无人机巡线控制方法、装置及存储介质。

背景技术：

1、随着无人机的发展，涉及各行各业，可以利用无人机监控道路状态以及车流状态，巡视监控仓库货架上货物的状态，以及农业中自动化施肥、喷洒农药和灌溉。因此，需要对无人机的控制岩既定的路径飞行。目前，随着近几年计算机视觉技术的快速发展，利用计算机视觉(computer vision,cv)的目标检测技术已然成为无人机应用领域最为核心的技术之一。传统线检测技术主要基于边缘检测和图像分割来实现。在常见背景下，通过目标线明显区别于周围环境的灰度或梯度边缘特征进行识别，再利用识别信息进行图像分割，从而将图像中的目标线信息检测出来。目标线可以是城市道路路面上条状的车道线，高速公路面上车道线，识别定位农作物行间的引导线以及仓库里地面上的引导线等。然而，其研究对象大都是图像数据集，很少将其应用于无人机系统平台上；而应用到无人机系统平台上的实现方案并没有将无人机传感器的信息与图像处理的结果充分结合起来，计算目标的绝对位置信息，并根据这些信息进行自主导航。此外，图像处理也分为两种方式：一种是利用地面站离线处理，然后通过无线数传发回飞控，适用于复杂的数据计算但实时性差；另一种则是利用机载处理器在线计算，结果直接输入飞控，实时性强。

2、为了实现上述目的，本领域技术人员，通常技术现有的导航系统来控制无人机的飞行，但是由于城市道路的地形复杂、电磁环境复杂场景下，对卫星导航系统(globalnavigation satellite system,gnss)易受干扰，很难控制无人机的飞行。比如，比如建筑物附近(城市道路)、植被茂密的地方(山路)、房屋内(仓库、室内农场)，gnss信号可能受到干扰，导致定位精度无法达到稳定控制无人机沿着目标线飞行的要求。再就是无人机飞行精度受限：低成本gnss模块在位置变化较小时输出定位结果的精度差，而巡线任务需要在一定的局部范围内执行，在这个范围内，控制策略需要得到精度较高的定位结果。

技术实现思路

1、为了解决上述技术问题：gnss信号可能受到干扰，导致定位精度无法达到稳定控制无人机沿着目标线飞行的要求；低成本gnss模块在位置变化较小时输出定位结果的精度差的问题。本发明提供一种基于视觉的旋翼无人机巡线控制方法，该方法利用固连于无人机上的下视相机采集彩色图像和深度图像，将原始彩色图像通过预处理、轮廓查找和像素位姿定义等检测步骤得到目标线在像素坐标系下的相关位置和姿态，然后结合深度图像提取出的深度信息以及相机安装关系，通过坐标系转换定位算法得到目标线在相机坐标系下，以及进一步在世界坐标系下的相关位置和姿态，最后利用该位姿计算出角度环、水平速度环、高度环的控制量输入飞控。所提方法精度较高、实时性好，具有一定的鲁棒性，因此具有一定的可行性。

2、本发明第一个目的是提供一种基于视觉的旋翼无人机巡线控制方法，用于无人机飞行控制，包括：

3、获取无人机飞行方向正下方含有目标线的rgb图像；并获取无人机飞行方向正下方的深度图像；

4、根据rgb图像获取hsv图像；对hsv图像进行二值化处理，并进行形态学腐蚀膨胀处理获取二值图；通过对二值图进行轮廓提取获取二值图中所有的轮廓；并获取最大轮廓外接的最小闭包矩形；

5、对所述最小闭包矩形的四个角点、中心点以及二值图中心点的坐标进行去畸变处理获取对应的去畸变坐标；

6、根据所述最小闭包矩形的中心点和二值图中心点分别对应于所述深度图像中的深度，对所述最小闭包矩形中心点和二值图中心点分别对应的去畸变坐标进行转换获取最小闭包矩形中心点以及二值图中心点对应的世界坐标；

7、根据最小闭包矩形中心点以及二值图中心点对应的世界坐标获取无人机与目标线之间的横向位置；

8、根据所述最小闭包矩形的四个角点对应的去畸变坐标获取四个去畸变坐标对应于像素坐标系中的四个畸变点；

9、获取四个畸变点的最小外接矩形；

10、根据最小外接矩形所处的位置获取无人机飞行的航向角；

11、根据无人机与目标线之间的横向位置，以及无人机飞行的航向角，获取无人机的飞行控制量；

12、根据无人机的飞行控制量来控制无人机的飞行。

13、在一实施例中，所述最小闭包矩形中心点以及二值图中心点对应的世界坐标，包括：

14、根据所述最小闭包矩形中心点以及二值图中心点分别对应于所述深度图像中的深度，对所述最小闭包矩形中心点以及二值图中心点分别对应的去畸变坐标，进行归一化处理，并转换至相机坐标后，再结合相机安装关系和飞行姿态，将其转换至世界坐标系中获取最小闭包矩形中心点以及二值图中心点对应的世界坐标。

15、在一实施例中，所述相机安装关系表示相机在无人机上的安装角度和安装位置；所述飞行姿态表示无人机的姿态角。

16、在一实施例中，所述无人机飞行的航向角是按照以下步骤获取：

17、获取最小外接矩形在像素坐标系中最低的角点；

18、将最小外接矩形在像素坐标系中平移至所述最低的角点与所述像素坐标系的原点重合；

19、根据平移后的最小外接矩形在像素坐标系中所处的位置获取最小外接矩形在像素坐标系中的旋转角度、宽度以及高度；

20、根据最小外接矩形在像素坐标系中的旋转角度、宽度以及高度获取无人机飞行的航向角。

21、在一实施例中，所述最小外接矩形在像素坐标系中的旋转角度、宽度以及高度，包括：

22、将像素坐标系中的水平轴进行逆时针旋转时，与首次碰到所述最小外接矩形的一条边的夹角作为最小外接矩形在像素坐标系中的旋转角度；

23、将首次碰到所述最小外接矩形的一条边的边长作为宽度，并将相邻的一条边的边长作为高度。

24、在一实施例中，所述根据最小外接矩形在像素坐标系中的旋转角度、宽度以及高度获取无人机飞行的航向角，包括：

25、当宽度小于高度时，所述航向角为旋转角度；

26、当宽度大于高度时，所述航向角为90与旋转角度的加合值；

27、当宽度等于高度时，所述航向角为0度。

28、在一实施例中，所述无人机的飞行控制量包括：角度控制量、侧向速度控制量、前向速度控制量、高度控制量。

29、在一实施例中，所述最大轮廓是轮廓内面积最大的轮廓。

30、本发明第二个目的是提供一种基于视觉的旋翼无人机巡线控制装置，包括：

31、数据采集模块，用于获取无人机飞行方向正下方含有目标线的rgb图像；并获取无人机飞行方向正下方的深度图像；根据rgb图像获取hsv图像；对hsv图像进行二值化处理，并进行形态学腐蚀膨胀处理获取二值图；

32、数据处理模块，用于通过对二值图进行轮廓提取获取二值图中所有的轮廓；并获取最大轮廓外接的最小闭包矩形；对所述最小闭包矩形的四个角点、中心点以及二值图中心点的坐标进行去畸变处理获取对应的去畸变坐标；根据所述最小闭包矩形的中心点和二值图中心点分别对应于所述深度图像中的深度，对所述最小闭包矩形中心点和二值图中心点分别对应的去畸变坐标进行转换获取最小闭包矩形中心点以及二值图中心点对应的世界坐标；根据最小闭包矩形中心点以及二值图中心点对应的世界坐标获取无人机与目标线之间的横向位置；根据所述最小闭包矩形的四个角点对应的去畸变坐标获取四个去畸变坐标对应于像素坐标系中的四个畸变点；获取四个畸变点的最小外接矩形；根据最小外接矩形所处的位置获取无人机飞行的航向角；根据无人机与目标线之间的横向位置，以及无人机飞行的航向角，获取无人机的飞行控制量；

33、飞行控制模块，用于根据无人机的飞行控制量来控制无人机的飞行。

34、本发明第三个目的是提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算程序，该计算机程序被处理器运行时执行上述的方法。

35、本发明至少具有如下有益效果：

36、本发明提供了一种基于视觉的旋翼无人机巡线控制方法，该方法利用固连于无人机上的下视相机采集彩色图像和深度图像，将原始彩色图像通过预处理、轮廓查找和像素位姿定义等检测步骤得到目标线在像素坐标系下的相关位置和姿态，然后结合深度图像提取出的深度信息以及相机安装关系，通过坐标系转换定位算法得到目标线在相机坐标系下，以及进一步在世界坐标系下的相关位置和姿态，最后利用该位姿计算出角度环、水平速度环、高度环的控制量输入飞控。所提方法精度较高、实时性好，具有一定的鲁棒性，因此具有一定的可行性。