基于视觉的飞艇定点鲁棒控制方法

专利名称：基于视觉的飞艇定点鲁棒控制方法
技术领域：
本发明属于飞艇飞行控制领域，特别是一种基于视觉的飞艇定点鲁棒控制方法。
背景技术：
目前，飞艇引起了人们的重视，并且被广泛应用于货运、广告、监测以及军事任务等各种不同的领域中。飞艇是一种可操纵的轻于空气的飞行器，依靠气囊封闭的轻质气体产生的浮力在空中浮起，并可以依靠发动机的动力在空中飞行。飞艇作为一种飞行器其最大的优势就是在于它具有无与伦比的滞空时间，其滞空时间可以天来计算。同时飞艇还可以悄无声息的在空中稳定飞行，这一特点在军事上也具有重要的应用。目前军用飞艇一般都使用氦气保持浮力，因此能安静并且平稳地完成升降和飞行，这对其携带现代化高科技监视与侦察设备来说至关重要。其次飞艇可以在其气囊中方便携带形状和尺寸几乎不受限制的大型雷达天线，对完成重要的军事侦察具有重要的作用。同时飞艇与飞机相比，军用飞艇可降低约30%左右的能耗和飞行费用，制造成本也很低，其雷达反射面积也要比现代飞机小许多。因而飞艇在现代军事发展中具有重要的地位。另一方面，当今社会是一个人口密集、高度复杂的社会，人类的活动范围越来越大，面临的突发事件和异常事件越来越多，监控的重要性和难度也就越来越突出。飞艇作为一种新型监控手段，有其独特的优点，飞艇可以在一千多米高空，且其有效覆盖面积达20 平方公里。同时可以利用其在目标地域上空悬停很长一段时间，使其上搭载的侦察仪器可以既精确又高效率的探测目标。结合我国的实际情况，我国有绵长的海岸线和陆地边境线， 预警飞艇系统可用于为中空域内作战飞机提供情报和电子战支援，为地面防空系统提供早期预警。而在民用上，由于我国地广山多，许多地方自然灾害频繁发生，对人民的生命财产造成严重的威胁，因此在灾害发生前进行预测预防，在灾害发生后能第一时间掌握现场信息、开展迅速准确的救援十分必要。此时可以用无人飞艇低空遥感平台，一方面对环境信息进行监视采集为研究灾害的发生提供数据，另一方面能够及时监测灾害的发生，通过GPS 定位系统，可准确探测出火源发生地，并且第一时间通知地面人员进行救援工作，而在城市中，无人飞艇可运用于城市交通监控、市政建设航拍、高空大气采样、城市火警监视等突发任务。特别的是，在国家开展重要性国际会议或展览时，若利用飞艇在空中监控，在其监控范围内，能及早预防突发事情的发生。因此，飞艇监控研究具有重大的意义。采用飞艇作为监控平台有很有优势。相比其他飞行器而言，飞艇的有效载荷更加大；能够垂直起降，对起飞跑道没有要求，能够在任何地方起飞；能够在空中悬停；起飞和回收容易；用户掌握和使用比较方便、可行。民用无人驾驶飞艇成本较低，易于推广应用。同时采用飞艇作为载体，在一定程度上能降低其飞行控制系统技术，能够降低成本。文献(飞行力学，26 :28-31)采用变结构模型参考自适应控制方法设计了飞艇的定点控制器，但没有考虑到应用图像视觉实现智能自主定点控制。在飞艇监控过程中，飞艇的定点控制是一个关键问题，利用视觉图像设计高精度的飞艇定点控制技术具有重要的现实意义。摄像头可以用于现场监控，同时又可应用与控制，这就提出了基于视觉的飞艇定点控制问题。随着计算机视觉算法性能和可靠性的提高，非线性估计和识别技术的进步，计算机硬件技术的发展，以及完善的实时算法的应用，基于视觉的控制成为可能，并将成为研究的一个热
点ο综上所述，基于视觉的飞艇定点控制技术是一个极其有价值的研究课题。其中需要解决的两个关键的问题是一、飞艇位置和姿态的估计。二、控制器设计和图像和控制技术的结合。目前，国内外对位置和姿态的估计主要是针对无人机，我们可以参考无人机的位置和姿态估计算法来估计飞艇的位置和姿态。(1)基于投影关系的方法基于投影关系的方法通常要在飞艇定点视场内设置一个人工制作的监控图标，监控图标的尺寸以及在视场坐标系中的方向、位置参数一般都是已知的，从预先校准好的机载摄像机实时拍摄的图像中提取图标中某些特征元素的像面参数，利用投影前后的几何关系，首先求解出摄像机与监控图标的相对位置和姿态关系，然后经相应的坐标变换，将位姿关系转换到飞艇坐标系中，根据利用特征元素的不同，基于投影关系的方法又可以分为基于点信息的方法、基于平行线信息的方法、基于区域信息的方法和基于圆信息的方法。(2)基于几何关系的方法基于几何关系的方法也使用定点图标，但并不通过图标上的特征元素的像面投影获取位姿参数，而是借助多种机载传感器的信息，通过简单的立体几何关系来求解。(3)基于模式识别的方法飞艇位置和姿态的估计有时也可以理解为分类问题，从拍摄的场景图像中提取某些特征量，形成当前特定的一个模式，通过传统的模式识别方法或人工神经网络将此模式与某一预先定义好的标准模式对应起来，从而得出相应的位姿参数。而把图像加载入控制系统进行实时仿真，目前暂还没有相关研究。

发明内容
本发明的目的在于提供一种基于视觉的飞艇定点鲁棒控制方法，解决了基于视觉伺服的飞艇自主定点控制的两大难点一是飞艇位置和姿态的估计算法的有效性和精确性；二是控制器设计以及图像和控制的结合。实现本发明目的的技术方案为一种基于视觉的飞艇定点鲁棒控制方法，步骤如下步骤一，定义地面坐标系、艇体坐标系、速度坐标系和图像坐标系，在此基础上确定机载摄像机安装方式；步骤二，根据射影几何学原理，提取飞艇的姿态角；步骤三，根据双目视觉视差原理，得到包含飞艇的姿态和位置的非线性方程组，把步骤二中得到的姿态角代入非线性方程组中，得到飞艇位置；步骤四，采用Backst印ping方法设计飞艇的鲁棒自适应定点控制方案，通过分析证明所提出的Backst印ping控制方案能有效地保证闭环系统有界稳定，并把基于图像得到的姿态角和位置信息与控制相结合，实现闭环控制。本发明与现有技术相比，其显著优点为(1)给出了基于视觉的定点监控飞艇用的位置和姿态估计算法，同时基于Backstepping方法为飞艇设计定点飞行鲁棒控制，把通过位置和姿态估计算法提取的位置和姿态信息加载入飞艇定点控制技术中，实现了基于视觉的飞艇定点的控制。基于视觉的飞艇定点控制技术的原理是通过安装在飞艇上的摄像机，获取监控区域的图像，使用计算机视觉方法，估计出飞艇的飞行状态和相对位置，结合其他艇载传感器，实现飞艇的自主监视控制。(2)分析坐标系系统包括地面坐标系、艇体坐标系(摄像机坐标系)、速度坐标系和图像坐标系，在此基础上确定机载摄像机安装方式。 为了确定是由俯仰角变化引起还是飞艇在(X，1，ζ)方向移动而引起的特征在图像中位置的变化，本发明采用双目CCD摄像机的特殊安装来解决此问题。(3)选用的H型作为监控图像特征，根据图像特征在图像中的位置和角度的变化来估算姿态角。基于图像估计出姿态角后，应用双目视觉视差原理得到飞艇的双目测量模型，飞艇的双目视差模型是关于飞艇位置和姿态的非线性模型，把姿态角代入非线性模型中，从而把非线性方程简化为线性方程，估计出位置。该方法提取出精确的俯仰角估计方案、得到了基于双目视觉视差原理的双目测量模型，把姿态和双目测量模型结合起来，把测量模型由非线性简化为线性，系统的计算量大大减少，且能提高系统的实时性。(4)图像和控制的结合采用Backstepping设计方法，该方法的优点在于不要求非线性系统中的非线性必须满足增长性约束条件，仅要求系统的非线性能保证非线性系统转化为参数纯反馈的形式即可。同时反推设计方法使控制器设计过程系统化，结构化，且可以保证闭环系统的全局有界稳定性。所发展的基于视觉的飞艇定点控制技术可以指导基于视觉的直升机的定点飞行控制与基于视觉的自主机器人控制技术开发。下面结合附图对本发明作进一步详细描述。


图1是飞艇控制总框图。
图2是飞艇坐标系示意图。图3(a)是安装双目摄像机的飞艇主视图；图3(b)是安装双目摄像机的飞艇右视图。图4是本发明采用的特征图像。图5是飞艇俯仰角估计示意图。图6是飞艇偏航角估计示意图。图7是基于视觉的飞艇运动控制框图，其中(a)是偏航姿态控制系统图，(b)俯仰姿态控制系统图。图中的标号含义为1、氦气囊，2、氦气囊闸阀，3、螺旋桨，4、升降舵，5、方向舵，6、 位于飞艇Y。轴方向的摄像机，7、位于飞艇质心的摄像机，8、空气囊
具体实施例方式图1是飞艇的控制总框图，其系统分为艇载部分和地面控制站部分，具体的工作原理为首先由艇载摄像机拍摄地面标志物的序列图像，通过艇载天线发射出去，由地面站接收设备接收，并传输到地面站控制计算机。地面计算机对其进行快速处理，获取标志物特征，通过这些特征完成飞艇姿态和位置的估计。然后由地面的发射天线将所得到的飞艇姿态和位置估计值发射出去，由飞艇上的接收设备接受，并传输到艇载计算机，由其完成估计值与艇载传感器所测得信号按比例组合的方式进行融合形成控制反馈信号，最后按 Backstepping方法设计相应的控制器，达到对飞艇德鲁棒稳定控制。飞行控制系统是飞艇的核心部分，它在飞艇上的功能主要有两个一是飞行控制，当飞艇在飞行的过程中受到外界环境的干扰时，能够做出实时的反应，保持飞艇的姿态和航迹不变，同时能够从地面站或艇载计算机中接受指令改变飞艇的飞行状态。二是飞行管理，能够进行导航计算和无线数据传输，在出现故障的情况下采取应急措施等等。本发明基于视觉的飞艇定点鲁棒控制方法实现第一个功能，利用视觉图像得到飞艇受干扰后的位姿信息，并设计控制器保持飞艇的姿态和位置不变，包括以下具体步骤1、坐标系系统和机载摄像机安装方式的确定图2是飞艇的坐标系系统，包括地面坐标系、艇体坐标系(摄像机坐标系)和速度坐标系。具体的坐标系定义如下(1)地面坐标系 Sg-ojgygzg地面坐标系\-0gXgygZg，在地面上选一点Og，使\轴在水平面内并指向某一方向， Zg轴垂直于地面并指向地心，yg轴也在水平面内并垂直于\轴，其指向按照右手定则确定。 本发明把地面坐标系设为惯性参考系简称惯性系。(2)艇体坐标系(摄像机坐标系)Sci-OcIcTc^原点0取在飞艇体积中心，坐标系与飞艇固连，X。轴在飞艇对称平面内并平行于飞艇的设计轴线指向艇头，Y。轴垂直于飞艇的对称平面指向艇体右方，4轴在飞艇对称平面内，与X。轴垂直并指向艇体下方。摄像机与飞艇固连，不另外取坐标系。(3)速度坐标系 Sc_c ayaza速度坐标系也称气流坐标系，原点ο取在飞艇的体积中心，0 轴与飞行速度向量 V的方向一致，不一定在飞艇纵剖面内；Oza轴在飞艇纵剖面内垂直于c a轴指向艇腹部；oya 轴垂直于^CaOZa平面指向右侧。(4)图像坐标系Oxy图像坐标系(固联摄像头)位于图像平面内，原点0为光轴与图像平面的交点，χ 轴和y轴分别平行于X。轴和Y。轴。图3是飞艇的结构图，该飞艇包括氦气囊1，氦气囊闸阀2，螺旋桨3，升降舵4，方向舵5，空气囊8，位于飞艇y轴方向设置一个固连摄像机6，位于飞艇质心设置另一个悬挂摄像机7，该图包含双目摄像机的安装方案。双目视觉基本原理是从两个视点观察同一景物，以获取在不同视角下的感知图像，通过成像几何原理计算图像像素间的位置偏差，来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类似的。本发明采用的双摄像机安装方案为一个摄像头固定安装于飞艇的质心，其光心与艇体轴系ζ轴重合；另一个摄像头悬挂于飞艇的y轴上，其光心始终垂直地心，如图3所示。 首先，在监控区域选取H型特征，假设其始终在成像平面。当飞艇在X。轴位置或飞艇俯仰角发生改变时，特征在图像坐标系X方向位置也会改变，因此可以认为飞艇\轴位置和俯仰角与特征在图像坐标系X方向位置存在某种关系。因为只要飞艇的形状不发生改变，则飞艇的定点高度变化不大，所以由高度引起的特征位置变化忽略不计。而飞艇在机体坐标系γ。(即为艇体坐标系的y轴)方向的位置变化会只引起图像特征在图像坐标系y方向的位置变化，但是特征在图像坐标系χ方向的位置变化，却有可能是由飞艇)(。轴位置变化或飞艇俯仰角变化而引起。为了区分出特征在图像坐标系X方向位置变化原因，本文采用悬挂式摄像机和固联式摄像机相结合的安装方案。假设悬挂式摄像头拍摄图片1，固联式摄像头拍摄图片2。首先将飞艇X。轴位置变化和俯仰角变化引起的图像特征位置变化统一认为由俯仰引起，然后再解算由纯飞艇X。轴位置变化引起的特征位置变化，结合二者就可以求得完全由俯仰运动引起的特征在图像位置的变化关系。其中飞艇运动变化对应的图像特征位置变化关系如表1所示。其中假设飞艇俯仰时头部指向+X。方向。图4是研究本发明选取的H型图像特征，H型图像包含面积、矩、质心、主轴方向等各种丰富的信息，有利于飞艇的位姿估计。如图所示，在基准状态下，O1为特征中心，X1与 Y1分别平行于图像坐标系X轴与y轴，P1到P8为特征的边缘点。2、飞艇姿态估计图5是飞艇的俯仰角提取示意图，对于位于飞艇质心的摄像机(即固联式摄像机)，假设基准状态即当飞艇平飞时，H特征中心水平线Oiyi略低于像平面1的y轴，且距离为d，这是因为考虑了飞艇的平衡性，飞艇初始具有俯仰角α (—般说来，飞艇初始状态下 α较小)。f是焦距，则有α =arctan(d/f)0当飞艇的俯仰角变为θ ‘时，像平面和Oj1 的位置发生了改变，Oiyi移动到ο' y工，设ο' y工与像平面2的y轴的距离为d'，则有θ c = θ ‘ -α = arctan(d' /f)-a(1)对于位于飞艇y轴方向的摄像机(即悬挂式摄像机)，我们可以将飞艇X。轴位置变化引起的特征位置的改变视为飞艇俯仰角所引起的特征位置的改变。设定飞艇平飞时的 OcYc和Oiyi重合。当飞艇X。(即为艇体坐标系的χ轴)轴位置变化时，图像中Oiyi相距像平面的中心线的距离为d' i，则同理可到θ χ = arctan(d' ,/f)(2)这里的Q1是由于飞艇X。轴位置的变化产生的等价俯仰角，θ ε是包含了飞艇X。 轴位置变化产生的等价俯仰角和飞艇本身的俯仰角。综上所述就可以得到飞艇的实际俯仰角θ = Oe-O1(3)图6是飞艇的偏航角提取图。当飞艇发生偏航时，对应图像特征在图像坐标系中也会偏转一定角度。如图6所示，根据射影几何关系，H特征的左边缘线P1P5和图像坐标系 χ轴正方向的夹角即为偏航角，其中，0' P1与图像坐标系Oy平行，0' P1 = (11；0' P5和图像坐标系Ox平行，0' p5 = d2。这样就可以得到飞艇的偏航角
权利要求
1.一种基于视觉的飞艇定点鲁棒控制方法，其特征在于步骤如下步骤一，定义地面坐标系、艇体坐标系、速度坐标系和图像坐标系，在此基础上确定机载摄像机安装方式；步骤二，根据射影几何学原理，提取飞艇的姿态角；步骤三，根据双目视觉视差原理，得到包含飞艇的姿态和位置的非线性方程组，把步骤二中得到的姿态角代入非线性方程组中，得到飞艇位置；步骤四，采用Backstepping方法设计飞艇的鲁棒自适应定点控制方案，通过分析证明所提出的Backstepping控制方案能有效地保证闭环系统有界稳定，并把基于图像得到的姿态角和位置信息与控制相结合，实现闭环控制。
2.根据权利要求1所述的基于视觉的飞艇定点鲁棒控制方法，其特征在于坐标系的定义如下第一步，将地面坐标系设为惯性参考系\_ogXgygZg，在地面上选一点0g，使Xg轴在水平面内并指向某一方向，Zg轴垂直于地面并指向地心，yg轴在水平面内并垂直于Xg轴；第二步，确定艇体坐标系，即摄像机坐标系S。-0。X。Y。Z。，原点0。取在飞艇体积中心，坐标系与飞艇固连，X。轴在飞艇对称平面内并平行于飞艇的设计轴线指向艇头，Y。轴垂直于飞艇的对称平面指向艇体右方，Zc轴在飞艇对称平面内，与χ轴垂直并指向艇体下方；位于飞艇质心的摄像机与飞艇固连，即为艇体坐标系；第三步，确定速度坐标系Sa-Cwvi,原点ο取在飞艇的体积中心，c a轴与飞行速度向量V的方向一致；Oza轴在飞艇纵剖面内垂直于c a轴指向艇腹部；oya轴垂直于^caOZa平面指向右侧；第四步，图像坐标系Oxy，图像坐标系位于图像平面内，原点O为光轴与图像平面的交点，χ轴和y轴分别平行于\轴和Y。轴。
3.根据权利要求1所述的基于视觉的飞艇定点鲁棒控制方法，其特征在于摄像机安装方式为一个摄像头固定安装于飞艇的质心，其光心与艇体轴系&轴重合；另一个摄像头悬挂于飞艇的Y。轴方向上，其光心始终垂直地心。
4.根据权利要求1所述的基于视觉的飞艇定点鲁棒控制方法，其特征在于在步骤二中，选用H型图像作为特征图像，先对所获取的图像采用常规算法进行预处理包括中值滤波和增强处理，根据图像特征在图像中的位置和角度的变化来提取飞艇的姿态角。
5.根据权利要求4所述的基于视觉的飞艇定点鲁棒控制方法，其特征在于提取飞艇的姿态角的方法为对于位于飞艇质心的摄像机，假设基准状态即当飞艇平飞时，H特征中心水平线Oiyi 略低于像平面1的y轴，且距离为d，飞艇初始具有俯仰角α，则有α = arctan(d/f)，其中f是焦距，当飞艇的俯仰角变为Θ'时，像平面和Oiyi的位置发生了改变，Oiyi移动到 O1' y/，设O/ Y1 ‘与像平面2的y轴的距离为d'，则有 θ e = θ ‘ -α = arctan(d' /f)-a对于位于飞艇y轴方向的摄像机，将飞艇X。轴位置变化引起的特征位置的改变视为飞艇俯仰角所引起的特征位置的改变，设定飞艇平飞时的0。Y。和Oiyi重合；当飞艇X。轴位置变化时，图像中O1Y1相距像平面的中心线的距离为d/，则同理可到 θ x = arctan(d1' /f)该Q1是由于飞艇X。轴位置的变化产生的等价俯仰角，Θ ε是包含了飞艇χ。轴位置变化产生的等价俯仰角和飞艇本身的俯仰角，飞艇的实际俯仰角为
6.根据权利要求1所述的基于视觉的飞艇定点鲁棒控制方法，其特征在于步骤三中的飞艇位置估计，即假设目标区域有已知点P，在地面坐标系中用坐标Xg，yg，zg表示；它在两个图像平面上的投影点分别为P1和P2，其图像坐标分别为(Xl，Y1)和U2，y2) ；P点在两个摄像机坐标系统的坐标分别为\、’ Yb, Zb和X。，Yc, Zc ；在两个摄像机坐标系统中，都采用小孔成像投影模型，设两摄像机的焦距为f，光心距离为1，每个模型得到两个透视投影公式
7.根据权利要求1所述的基于视觉的飞艇定点鲁棒控制方法，其特征在于步骤四中， 采用Backstepping方法设计飞艇的鲁棒自适应定点控制方案的步骤为 假设飞艇被控对象为
8.根据权利要求1所述的基于视觉的飞艇定点鲁棒控制方法，其特征在于步骤四中的图像和控制的结合，即将第二步和第三步得到的飞艇姿态和位置与艇载传感器所测得相应信号进行按线性比例组合的方式进行融合，从而形成控制的反馈信号，代入按 Backstepping方法设计的鲁棒自适应定点控制方案，进而达到鲁棒稳定控制。
全文摘要
本发明涉及一种基于视觉的飞艇定点鲁棒控制方法，首先定义地面坐标系、艇体坐标系、速度坐标系和图像坐标系，在此基础上确定机载摄像机安装方式；根据射影几何学原理，提取飞艇的姿态角；根据双目视觉视差原理，得到包含飞艇的姿态和位置的非线性方程组，把步骤二中得到的姿态角代入非线性方程组中，得到飞艇位置；采用Backstepping方法设计飞艇的鲁棒自适应定点控制方案，通过分析证明所提出的Backstepping控制方案能有效地保证闭环系统有界稳定，并把基于图像得到的姿态角和位置信息与控制相结合，实现闭环控制。本发明给把通过位置和姿态估计算法提取的位置和姿态信息加载入飞艇定点控制技术中，实现了基于视觉的飞艇定点的控制。
文档编号B64B1/00GK102190081SQ20101011716
公开日2011年9月21日 申请日期2010年3月4日 优先权日2010年3月4日
发明者姜长生, 尹卫平, 江驹, 陈谋 申请人:南京航空航天大学