基于事件相机的飞机落点位置姿态测量方法

本发明涉及位置姿态测量，特别涉及应用事件相机的飞机落点位置姿态测量技术，尤指一种基于事件相机的飞机落点位置姿态测量方法。

背景技术：

1、飞机落点位置姿态测量是为了更好控制其下一步运动、悬停或降落，而通过落点测量的方式获取其姿态是为其提供精准的位置数据，是当下实现降落智能化的有效解决方案。飞机的位置姿态估计是飞机飞行过程中最重要的一步，因此针对飞机的位置姿态测量成为研究热点。姿态位置能够反映飞机运行时的状态信息，对飞机自身的故障分析、运动状况分析、优化设计等安全性能有着极其重要的作用，所以保证着陆过程中高精度的姿态角测量是飞机安全着陆的关键。传统的导航系统利用安装于飞机控制系统内部的惯性器件如高精度陀螺仪、加速度计等组成惯性导航系统来获取飞机的姿态参数、角度和位置等信息，但由于飞机在降落过程中会存在一些不可抗的干扰因素，比如机体自身结构产生震动、周围建筑物遮挡、高速移动以及电磁干扰等，使得利用加速度计、陀螺仪、gps等机载电子设备对飞机的姿态及位置进行测量与分析中存在严重的测量噪声，无法达到精确测量的要求。且飞机想要在动着陆平台下进行降落时，gps和惯性导航、陀螺仪等电子元件，不能有效进行位置和姿态的输出。

2、在当前，尽管使用机器视觉求取落点位置姿态已经普遍应用，但由于常用的传统数码相机其自身成像原理的限制，它们仍然存在一些固有的不足。传统数码相机是基于帧成像的，所有像素信息是同步完成回传的，受限制于曝光机制，每一帧图像中会累积一段时间内的所有光线信息，而当飞机高速运动时可能会出现运动模糊；同时，由于感光元件的感光度不能及时调整等原因，在极端光照条件下传统相机拍摄的图像会出现曝光过度或不足，画面不清晰等问题，从而导致特征点缺失。

技术实现思路

1、本发明的目的在于提供一种基于事件相机的飞机落点位置姿态测量方法，解决了现有技术存在的传统数码相机在视觉位置姿态测量中，在高速运动情况下不能有效运作如产生运动模糊不能有效检测或不具备高时间精度等问题。本发明利用与传统数码相机不同的事件相机，结合其特性完成飞机落点位置测量工作。事件相机异步的回传事件信息，延迟可低至微秒级，动态范围可达120db。通过事件相机，可以立刻感知外界环境的变化，使其特别适合于飞机在空间中的高速运动，从而间接提高飞机在高速运动情况下计算落点位置姿态的精度和可靠性。

2、本发明的上述目的通过以下技术方案实现：

3、基于事件相机的飞机落点位置姿态测量方法，包括以下步骤：

4、步骤1)、事件相机内参数标定；

5、步骤2)、将事件相机安装到飞机上；

6、步骤3)、事件相机与飞机外参数标定；

7、步骤4)、结合镜头电机变焦控制系统进行落点目标检测；

8、步骤5)、事件相机识别落点位置靶标定位图以及进行位置姿态估计。

9、步骤1)所述的事件相机内参数标定的方法是：

10、根据事件相机的特性，整个事件相机在一段时间内输出的事件信息集数据是由无数个事件组成的事件流e，用公式(1)表示

11、

12、其中像素点位置信息x，y、光强变强还是变弱的极性信息p以及数据产生的时间戳信息t，单个像素输出的信息数据在某一时刻被称为事件e(xi,yi,pi,ti)；

13、利用闪烁的棋盘格或是网格点的方式采集到的事件信息进行时空数据流图像重建，利用公式(2)或(3)进行图像重建

14、

15、其中τ、n，均为凭经验获取的固定值，t为事件流中所有事件的时间戳均值，再使用传统数码相机的内参数标定方法对重建后的图像进行内参数标定，如张正友相机标定方法，其中通过标定求解得到的内参数包括：主点u0，v0、焦距f、径向畸变系数k1和k2；对于主点和焦距是必须参数，而光学系统径向畸变系数可根据需求考虑是否需要求取；

16、步骤2)所述的将事件相机安装到飞机上，具体是：

17、飞机可以分为固定翼飞机和旋翼飞机等，其中固定翼飞机可以考虑将事件相机垂直或倾斜安装在飞机前半部分的下方，例如飞机头的下面、飞机控制仓下方或飞机起落架下方，其中旋翼飞机，如四旋翼飞机、六旋翼飞机可以将其垂直安装在飞机重心正下方。

18、步骤3)所述的事件相机与飞机外参数标定的方法是：

19、分别针对带有惯性导航的飞机、不带有惯性导航的飞机设计两种外参标定方式：

20、带有惯性导航飞机的事件相机安装参数标定方法是：将事件相机安装固定到飞机上再对其进行外参数的标定，其中外参数包含姿态矩阵r和平移向量t，再利用标定得到的外参数和飞机惯性导航提供的姿态角进行比较计算安装的姿态角差值；

21、不带有惯性导航飞机的事件相机安装参数标定方法是：控制飞机进行正确的降落并其位置姿态进行事件相机的外参数标定，从而将标定得到的姿态矩阵和平移向量或转化后的世界坐标位置作为正确的落点姿态参考结果。

22、步骤4)所述的结合镜头电机变焦控制系统进行落点目标检测是：

23、进行检测图像中飞机降落位置目标，并且计算降落目标在视场中的位置和大小，根据降落目标在视场中的位置和大小，计算所需焦距并利用电机变焦调整焦距，寻找落点位置特殊靶标，当飞机靠近落点时，再次通过电机变焦系统调整变焦，确保落点处靶标不超出视场或在视场中目标太小，大小在视场中三分之二左右，根据大小在视场中三分之二左右，变焦镜头的计算公式是：变焦倍数＝最长焦距:最短焦距；例如，一个变焦范围为8-16mm的镜头它的变焦倍数为:变焦倍数＝8:16＝2，当事件相机距离靶标3-4米时可以使用16mm的焦距，而当飞机逐渐靠近距离靶标1-2米时，可以利用电机变焦为8mm的焦距进行飞机位置姿态测量，其中特殊靶标包含四个定位圆环和一个方位圆环，但是不限于这个样式，特殊靶标可根据需要自由更改，可以自行设计但定位圆环要保证3个以上，方位圆环可以是其他图形以便和定位圆环进行区分；

24、步骤5)所述的事件相机识别落点位置靶标定位图以及进行位置姿态估计，具体是：对上一步骤重建的落点靶标图像，进行传统图像方法的特征检测，比如圆环的检测求得圆心在图像像素坐标系下大概的位置，利用事件相机的时间特性和方位圆环表示飞机飞入方位。根据时空数据流输出的绝对时间信息，前一时刻和后一时刻的表示位置轨迹即可表示飞入方向，而方位圆环用来确定图像中定位标识圆环和世界坐标系定位标识圆环的对应顺序关系，再使用极性匹配的方法提高圆心质心精度，利用标定和经过变焦重新计算后求得的事件相机内参数和重新定位到的定位圆环圆心质心在图像中的坐标和已知定位圆环圆心在世界坐标系中的坐标，结合几种坐标转化关系和如下公式(4)-(10)epnp姿态求解模型求得飞机相对落点定位图的位置姿态，其中的姿态信息包括旋转矩阵和飞机相对落点位置的平移向量t；

25、由于定位圆只有四个，故此3d参考点也只有四个，在本实施例中，4个3d参考点在世界坐标系下的坐标分别为在相机坐标系下的坐标分别为选择的4个控制点，在世界坐标系下的坐标分别为在相机坐标系下的坐标分别为

26、epnp将4个参考点中的每一个表示为4个控制点的加权和：

27、

28、同理相机坐标系下也有：

29、

30、4个参考点的世界坐标是已知的，四个参考点是人为选择的，世界坐标认为是已知的，齐次重心坐标aij利用参考点和控制点的世界坐标计算出来；那么唯一需要计算的未知量就是4个控制点在相机坐标系下的坐标，下一步就利用相机的投影模型和相关的像素2d点建立相关的状态线性方程组，求解四个控制点在相机坐标系下的位置坐标；

31、接下来在控制点参考框架中构造一个线性系统：

32、

33、设a为相机内参数,ui为pi的2d参考点，wi为标量投影参数，[ui,vi]为2d坐标，为特定3d控制点，其中公式(7)中的fu和fv是焦距，uc、vc为主点；

34、

35、由上式可知这其中包含了两个独立的线性方程：

36、

37、对n个参考点中的每一个都使用这两个方程，得到下面的线性方程组：

38、

39、上面的方程中，x是四个控制点在相机坐标系下的坐标总共12个未知变量，m为2n×12的矩阵，那么求解mx＝0，就可以得到相机坐标系下的四个控制点坐标；

40、已知自己选择的世界坐标系下的控制点坐标已知世界坐标系下提取到的3d点坐标已知图像坐标系下的2d坐标u和v，还已知权重α，以及求解到的相机坐标系下的四个控制点坐标可以发现，和都是3d点，遵从旋转矩阵r和平移向量t的变换；同样，根据和α，同样也能求得的坐标；那么和同样构成一对3d-3d的匹配关系；那么知道了3d-3d点的关系了，那这个问题就变成了求解3d-3d匹配点问题，构建3d-3d的求解问题，该问题用迭代最近点算法(icp)来求解即可求得旋转矩阵r和平移向量t。

41、所述的使用极性匹配的方法提高圆心质心精度，具体是：

42、通过事件相机的时空数据流真实重建的圆环是一个由离散像素点构成的圆，圆环的圆心不是一个图像意义上的圆心而是一段极短的轨迹，且圆环由于移动过程中正负极性的不同，利用事件相机的极性信息重新定位圆环质心从而提高质心的精度；已知生成的时空数据流是离散的，只是重建后由于堆叠形成了连续的弧线，故利用离散性和事件相机的极性建立一种极性匹配寻找质心的算法，将离散的时空数据流分为正极性和负极性，用其中一个负极性点a1匹配每一个正极性点，并进行连线记连线为l1,l2,l3,……，根据每根连线的绝对距离选取一条最远的直线并记该直线为lmax1；对每一个负极性点重复上述操作，即可得到无数条匹配绝对距离最远的直线lmax1,lmax2,lmax3,…，通过直线连接的交点判断质心位置，也就是所交直线最多的点为质心，其余交点认为是干扰点。

43、本发明的有益效果在于：本发明通过对传统视觉飞机落点位置姿态测量进行简单的改造，用事件相机替换传统数码相机，使其变成应用事件相机的飞机落点位置测量系统。针对搭载惯性导航的飞机和不搭载惯性导航的飞机设计两种安装标定方式，利用事件相机特有的极性信息结合极性匹配方法以提高在飞机高速运动下定位点检测的精度和利用其高时空连续特性的时间信息，使检测的定位点和落点位置测量结果具有相对时间精度。所述测量方法适用于各种飞机的落点位置姿态测量，并可以应用在动着陆平台中，仅需要一台搭载事件相机即可实现，简单方便、标定成本低、通用性强，且包含极高的时间信息，测量算法可以以程序化形式自动完成，耗时短、自动化程度较高。