飞行装置、飞行控制系统及方法

飞行装置、飞行控制系统及方法
【专利说明】飞行装置、飞行控制系统及方法 【技术领域】
[0001] 本发明设及一种方法，尤其设及一种用于控制飞行装置的飞行控制方法、飞行控 制系统及飞行装置。 【【背景技术】】
[0002] 目前，无人机等飞行装置由于其便捷性和安全性，已经广泛应用于农业生产、地质 勘测、气象监测、电力线巡查、抢险救灾辅助、视频拍摄、地图绘建等领域。在无人机的控制 中，对无人机进行速度侦测及/或定位控制，是一个关键的技术。目前对无人机进行速度侦 测及/或定位控制大都通过GPS(global positioning system，全球定位系统)进行定位，然 而，当无人机处于GPS信号较弱或GPS信号未覆盖的区域时，将无法对无人机进行速度侦测 及/或定位控制。此外，目前对无人机进行速度侦测及/或定位控制大都通过基于一通用场 景的算法进行，然而，当无人机实际处于场景与该通用场景差别较大时，基于通用场景的算 法往往导致无法准确地定位。 【
【发明内容】
】
[0003] 有鉴于此，本发明提供一种飞行装置及飞行控制方法，不依赖GPS即可对飞行装置 进行速度侦测及定位控制。
[0004 ]为解决上述技术问题，本发明提供W下技术方案。
[000引一方面，本发明提供一种飞行控制系统，用于控制一飞行装置，该飞行控制系统包 括获取模块，用于获取飞行装置的相机模组采集的图像W及获取飞行装置的距离传感器感 测到的飞行装置的高度;场景确定模块，用于确定飞行装置当前所处的场景；图像偏移量确 定模块，用于根据相机模组采集的两帖相邻图像W及飞行装置当前所处的场景，计算该两 帖相邻图像中的第二帖图像相对于第一帖图像的图像X偏移量及图像Y偏移量;偏移量校准 模块，用于获取飞行装置的加速度传感器侦测到的飞行装置在Ξ维方向上的加速度及角速 度，并根据该飞行装置的加速度及角速度对该图像Χ、γ偏移量进行补偿而得到包括校正后 的图像X偏移量和图像Υ偏移量的图像校正偏移量；W及速度计算模块，用于通过相机模组 的镜头焦距、飞行装置的高度W及该图像校正偏移量计算该图像校正偏移量对应的世界坐 标的Χ、γ偏移量，并根据该两帖相邻图像采集的时间间隔W及该世界坐标的Χ、γ偏移量求出 该飞行装置的速度。
[0006] 在一些实施例中，所述飞行控制系统还包括一运行控制模块，用于至少基于该飞 行装置的速度对飞行装置进行定位及/或悬停控制。
[0007] 在一些实施例中，所述场景确定模块根据相机模组采集的图像中的至少一个参数 确定飞行装置所处的场景，所述图像偏移量确定模块根据飞行装置所处场景对应的算法分 析该两帖图像中的参数的变化而计算该两帖相邻图像中的第二帖图像相对于第一帖图像 的图像Χ、γ偏移量。
[0008] 在一些实施例中，所述至少一个参数包括纹理，所述场景确定模块采用sobel梯度 算法对图像进行处理，得到梯度矩阵，统计梯度矩阵中梯度大于第一预定阔值的像素的个 数，并判断所统计像素的个数大于第二阔值时，当前场景为纹理丰富的场景，W及在判断所 统计的像素的个数小于或等于第二阀值认为纹理比较少，当前场景为纹理较少的场景;所 述图像偏移量确定模块并在当前场景为纹理丰富的场景时采用灰度模板匹配算法分析该 两帖图像中的参数的变化而计算该两帖相邻图像中的第二帖图像相对于第一帖图像的图 像Χ、γ偏移量，W及在当前场景为纹理较少的场景时采用sobel梯度模板匹配算法分析该两 帖图像中的参数的变化而计算该两帖相邻图像中的第二帖图像相对于第一帖图像的图像 Χ、Υ偏移量。
[0009] 在一些实施例中，所述至少一个参数还包括倒影，所述场景确定模块根据连续多 帖图像进行阴影统计，判断是否有倒影，从而确定该场景为有倒影的场景或无倒影的场景， 所述图像偏移量确定模块在飞行装置当前所处的场景为有倒影场景时，去除图像中的阴 影，并去除阴影后，判断是否为纹理丰富的场景，并在当前场景为纹理丰富的场景时采用灰 度模板匹配算法分析该两帖图像中的参数的变化而计算该两帖相邻图像中的第二帖图像 相对于第一帖图像的图像Χ、Υ偏移量，W及在当前场景为纹理较少的场景时采用sobel梯度 模板匹配算法分析该两帖图像中的参数的变化而计算该两帖相邻图像中的第二帖图像相 对于第一帖图像的图像Χ、Υ偏移量。
[0010] 在一些实施例中，所述至少一个参数还包括灰度，所述场景确定模块根据图像的 灰度值将图像转换为灰度直方图并进行统计得到统计值，并将统计值与相应的阔值进行比 较，检测出场景是否属于偏暗、普通亮度、或者偏亮的场景，所述图像偏移量确定模块在飞 行装置当前所处的场景为光照偏亮或者偏暗的场景时，对图像进行直方图均衡化，将图像 亮度调为均匀，然后判断是否为纹理丰富的场景，并在当前场景为纹理丰富的场景时采用 灰度模板匹配算法分析该两帖图像中的参数的变化而计算该两帖相邻图像中的第二帖图 像相对于第一帖图像的图像Χ、Υ偏移量，W及在当前场景为纹理较少的场景时采用sobel梯 度模板匹配算法分析该两帖图像中的参数的变化而计算该两帖相邻图像中的第二帖图像 相对于第一帖图像的图像Χ、Υ偏移量。
[0011] 在一些实施例中，所述至少一个参数还包括线条，所述场景确定模块对图像做梯 度检测，进行二值化处理，然后使用hou曲直线检测，判断是否有直线，如果判断有至少一条 直线且直线长度占图像宽度至少1/2的，则判断所述场景为线条丰富场景;所述图像偏移量 确定模块在飞行装置当前所处的场景为线条丰富的场景时，划分直线为水平方向的直线和 垂直方向的直线，在上一帖图像中找一条和当前图像检测到的水平方向的直线角度差最小 的直线，计算两条角度差最小的直线的距离得到第一距离，当第一距离不在[-R，R]时设置 为0,其中R是设定的移动范围，在上一帖图像中找一条和当前图像检测到的垂直方向的直 线的角度差最小的直线，计算所述两条角度差最小的直线的距离得到第二距离，当第二距 离不在[-R，R]时设置为0,直线定位得到的第一距离、第二距离就是相邻两帖图像的图像X、 Y偏移量。
[0012] 在一些实施例中，所述图像偏移量确定模块在当前场景为纹理丰富的场景时采用 灰度模板匹配算法分析该两帖图像中的参数的变化而计算该两帖相邻图像中的第二帖图 像相对于第一帖图像的图像Χ、γ偏移量包括:所述图像偏移量确定模块设当前图像宽高分 另IJ为W和Η，设定一模板图Τ大小为Μχ X My，Μχ = W-8，My = Η-8，模板图Τ从当前帖图像[4，4 ]的 位置获得;设定匹配图s大小为NxXNy，其中Nx=W，Ny = H，匹配图S从上一帖图像获得，所述 图像偏移量确定模块在匹配时将模板图叠放在匹配图上平移，模板图覆盖下的那炔基准图 中的捜索子图为S(i，j)，i，j为运块子图的左上角像点在匹配图S中的位置，i和j在[-4,4] 范围内取值，S(0,0)对应A的[4,4]位置，所述图像偏移量确定模块并在匹配时通过计算相 关函数SAD来找到与模板图尽可能相似的捜索子图W及它的坐标位置i和j，T和S(i，j)的 SAD最小的值为相邻两帖图像的图像Χ、Υ偏移量，其中，SAD是指将两幅图像每个位置对应像 素差值的绝对值进行累加求和的过程。
[0013] 在一些实施例中，所述图像偏移量确定模块在当前场景为纹理较少的场景时采用 sobel梯度模板匹配算法分析该两帖图像中的参数的变化而计算该两帖相邻图像中的第二 帖图像相对于第一帖图像的图像Χ、Υ偏移量包括:所述图像偏移量确定模块通过Sobel算子 进行边缘检测，并使用二维模板进行计算，二维模板包括用于水平方向差分运算的水平模 板和用于垂直方向差分运算的垂直模板;所述图像偏移量确定模块使用水平模板和垂直末 班进行平面卷积运算，分别计算水平方向卷积fx和垂直方向卷积fy，求其梯度值G为fx的平 方与fy的平方和的平方根，然后，分别对相邻两幅图像做梯度运算得到梯度值矩阵A和B，其 中A为上帖图像的Sobel梯度矩阵，B为当前帖图像的Sobel梯度矩阵;所述图像偏移量确定 模块并设定模板图T小为Mx X My，Mx=W-8，My = H-8，模板图T从B的[4，4 ]位置获得;所述图 像偏移量确定模块并设定匹配图S大小为NxXNy，其中Nx=W，Ny = H，匹配图S从A获得;所述 图像偏移量确定模块在匹配时将模板图叠放在匹配图上平移，模板图覆盖下的那炔基准图 中的捜索子图为S(i，j)，i，j为运块子图的左上角像点在匹配图S中的位置，i和j在[-4,4] 范围内取值，S(0,0)对应A的[4,4]位置，对梯度值矩阵T和S(i，j)做差运算法，得到矩阵差 值矩阵C，将C矩阵中符合下面条件1和条件2的每个元素绝对值进行累加，得到和SS(i，j)， 其中，条件1为A[r，c]〉T、条件2为B[r，c]〉T;其中，A[r，c]是梯度值矩阵A中r，c位置的梯度 值，[r，c]是梯度值矩阵B中r、c位置的梯度值，'〉=0且六17，(3〉= 0且六版，1'是梯度阔值，其 中SS( i，j)最小的值对应的（i，j)位置为相邻两帖图像的图像X、Y偏移量。
[0014] 在一些实施例中，所述速度计算模块根据公式l:xl/Xl = f/的十算所述世界坐标的 X偏移量，W及根据公式2:yl/Yl = f/H计算所述世界坐标的Y偏移量，其中，XI为校正后的图 像X偏移量，yl为校正后的图像Y偏移量，f为镜头焦距，Η为飞行装置的高度，XI为世界坐标 的X偏移量，Υ1为世界坐标的Υ偏移量;所述速度计算模块并根据该相机模组采集该两帖相 邻图像的时间间隔为W及该世界坐标的Χ、Υ偏移量计算得出飞行装置在X方向上的速率W 及在Υ方向上的速率。
[0015] 另一方面，本发明提供一种飞行控制方法，用于控制飞行装置，所述飞行控制方法 包括:获取飞行装置的相机模组采集的图像W及获取飞行装置的距离传感器感测到的飞行 装置的高度;确定飞行装置当前所处的场景;根据相机模组采集的两帖相邻图像W及飞行 装置当前所处的场景，计算所述两帖相邻图像中的第二帖图像相对于第一帖图像的图像X 偏移量和图像Υ偏移量;获取飞行装置的加速度传感器侦测到的飞行装置在Ξ维方向上的 加速度及角速度，并根据所述飞行装置的加速度及角速度对所述图像X偏移量和图像Υ偏移 量进行补偿而得到包括校正后的图像X偏移量和图像Υ偏移量的图像校正偏移量；W及通过 相机模组的镜头焦距、飞行装置的高度W及所述图像校正偏移量计算所述图像校正偏移量 对应的世界坐标的Χ、Υ偏移量，并根据所述两帖相邻图像采集的时间间隔W及所述世界坐 标的Χ、γ偏移量求出所述飞行装置的速度。
[0016] 在一些实施例中，所述方法还包括步骤:至少基于所述飞行装置的速度对飞行装 置进行定位及/或悬停控制。
[0017] 在一些实施例中，所述步骤"确定飞行装置当前所处的场景所述场景"包括:根据 相机模组采