一种面向空间机器人的异步事件连续时间状态估计方法

本发明属于于空间机器人状态估计领域，涉及一种面向空间机器人的异步事件连续时间状态估计方法，具体涉及基于高斯过程的回归连续时间状态估计理论和插值方法，所发明方法还包括一种面向事件相机的异步数据关联方法。

背景技术：

1、在空间机器人领域中，通常利用相机捕获的二维图像信息来恢复环境三维结构并估计相机的运动状态，进而实现空间机器人在三维空间中的自主定位和导航。但是，由于空间环境照明度条件较差，传统相机的动态范围较小，往往难以满足要求。而且，传统相机产生的图像数据量较大，处理计算量大，难以满足空间机器人对能耗的严格要求。近年来，事件相机被广泛研究用来代替传统相机完成类似的任务，事件相机是一种受生物启发的神经形态视觉传感器，具有低延迟，事件触发，低数据量，高动态范围，不受运动模糊影响等诸多优于传统相机的特性。然而，由于事件相机和传统相机的底层测量原理具有显著不同，因而，基于事件相机的状态估计方法仍具有以下问题：一方面，事件相机的状态估计理论还远未成熟，另一方面，将传统相机的状态估计方法直接应用于事件相机并不能充分发掘事件相机的优良特性。因此，发展基于事件相机的状态估计理论对于开发事件相机的优良特性，提高空间机器人自主定位导航效果具有重要意义。

2、“event-based vision:a survey”一文，简述了事件相机的原理和其优于传统相机的特点，并列举了关于事件相机的多种应用和研究。文中列举了多种基于事件相机的数据关联方法，以及事件相机用于三维位姿估计的方法。但是尚不存在直接使用高斯过程回归方法的连续时间估计方法，也不存在基于事件轨迹追踪的异步视觉前端。

3、“asynchronous optimisation for event-based visual odometry”一文，介绍了一种基于事件相机的视觉里程计的异步后端优化方法，其中首次提到利用高斯过程回归方法来进行事件相机的状态估计，但是文中仅关注后端优化方法，而未给出视觉前端的具体方案，且所提方法不具有实时性。

4、“haste:multi-hypothesis asynchronous speeded-up tracking of events”一文中，提出了一种多假设的异步事件流追踪方法，但是需要事先给出特征点位置，而且无法自动维护数据关联的过程。因此，仅是一种特征追踪方法，而不是一个完成的视觉前端。

5、目前已有的特征追踪方法以及后端优化方法尚不完善，现存方案要么没有实现前端的异步事件特征轨迹追踪，要么借助于传统相机的辅助和传统离散时间后端估计方法，无法精确表征测量发生的时间，无法充分展示事件相机相对于传统相机的优良特性，造成计算量偏大、估计不实时、估计不精确等缺陷。总言之，尚不存在一种面向空间机器人的异步事件连续时间状态估计方案。

技术实现思路

1、要解决的技术问题

2、为了避免现有技术的不足之处，本发明提出一种面向空间机器人的异步事件连续时间状态估计方法，解决现有技术对事件相机测量的异步性追踪和估计研究不足的缺陷。

3、技术方案

4、一种面向空间机器人的异步事件连续时间状态估计方法，其特征在于步骤如下：

5、步骤1：设置状态轨迹的采样时间间隔δt，设置滑动窗口大小n，在滑动窗口中的状态轨迹采样点为χi＝{xi-n+1,xi-n+2,...,xi}；

6、步骤2：启动异步特征轨迹追踪前端，每当事件相机传感器输出事件流时，将事件流输入到前端，进行特征轨迹的追踪；

7、步骤3：当前端追踪的时间满足滑动窗口设定的阈值时，进行系统初始化，得到三维路标点，将三维路标点重新投影至图像平面，同时剔除重新投影误差大于像素阈值的特征轨迹；

8、步骤4：根据采样点的位姿估计值，利用高斯过程插值的方法，得到特征轨迹测量点处的状态量；进而对滑动窗口内的特征轨迹进行三角化，标记三角化成功的特征轨迹为已完成三角化，并得到三维路标点，对三角化后重投影误差大于阈值的特征轨迹予以剔除；

9、步骤5：继续获取事件流测量，并用前端进行特征轨迹的追踪和维护，直到当前的测量时间与滑动窗口最新的采样点时间差大于等于状态轨迹的采样时间间隔δt；

10、步骤6：边缘化滑动窗口最老的一个状态轨迹采样点，然后对滑动窗口内现有的状态轨迹采样点利用高斯过程先验模型生成一个最新的状态轨迹采样点，加入到滑动窗口中；

11、步骤7：查询当前滑窗内跟踪到且已完成三角化的特征轨迹和其对应的三维路标点构建重投影误差，与步骤6运动先验生成的最新的状态轨迹采样点一起，加入到高斯过程回归连续时间后端优化器，迭代优化得到最新状态轨迹采样点的位姿估计值；

12、步骤8：利用步骤7的最新位姿估计值对滑窗内还未完成三角化的特征轨迹进行三角化，标记三角化成功的特征轨迹为已完成三角化，并得到新的三维路标点；

13、步骤9：计算每条特征轨迹的重投影误差，并将重投影误差大于阈值的特征轨迹予以删除，重复执行步骤5。

14、所述步骤3中窗口设定的阈值为δt×n。

15、所述步骤3的初始化过程为：

16、步骤31：得到滑动窗口内每个状态轨迹采样点的位姿估计值；

17、步骤32：对状态轨迹采样点的位姿估计值进行高斯过程插值计算，得到滑动窗口内的特征轨迹测量点处的状态量；

18、步骤33：进而根据特征轨迹测量点处的状态量，对滑动窗口内的特征轨迹进行三角化，标记三角化成功的特征轨迹为已完成三角化，并得到三维路标点。

19、所述步骤3中大于像素阈值是1～2像素。

20、一种空间机器人，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述状态估计方法的步骤。

21、一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述状态估计方法的步骤。

22、有益效果

23、本发明提出的一种面向空间机器人的异步事件连续时间状态估计方法，将事件相机采集的异步事件测量数据通过异步特征检测追踪前端来实现数据关联，生成异步的特征轨迹，并将多条异步特征轨迹利用基于高斯过程回归的连续时间估计方法进行优化估计，从而得到空间机器人在的实时位置和姿态。

24、由于事件相机具有低功耗、高动态范围、事件触发等优点，因此非常适合空间机器人对能耗和工作环境照明度的要求，故本发明采用事件相机来估计空间机器人的运动状态。

25、由于事件相机的测量是异步事件触发的，因此会随机在时间域产生大量的测量，考虑到空间机器人具备的计算资源有限，采用se(3)局部线性正切空间的高斯过程先验插值方法来减少优化变量的维数，提高计算效率。

26、由于设计了异步特征追踪前端，更好的保留了事件相机固有的异步特性，更加精确地表征了测量产生的时刻，在理论上可以得到更加精确的估计结果。异步特征追踪前端摒弃了许多与估计问题无关的测量，大大减小了计算量。

27、由于在本发明中每条特征轨迹被单独跟踪，因此前端特征追踪具有更加优良的并行性，可以利用并行处理单元进一步提升计算效率。

28、本发明提出的一种面向空间机器人的异步事件连续时间状态估计方法，能够将事件相机的异步事件测量跟踪为特征轨迹，并利用高斯过程回归来进行迭代优化估计，得到精确的机器人位姿。此方法能够更加精确的表征测量真实发生的时间信息，充分考虑了事件相机固有的异步特性。所发明方法可用于空间机器人在动态范围较高的三维空间作业过程中的实时运动状态估计，具有重大应用价值。