基于事件相机和地形特征匹配的高精度着陆定位方法

本发明主要涉及一种面向月球或其他星体的基于事件相机和地形特征匹配的高精度着陆定位方法，属于视觉导航领域，特别是月球等星体的降落阶段的基于事件相机和脉冲神经网络的定位导航方法。

背景技术

0、
背景技术：

1、近些年来，一些国家在探测深空方面投入很多精力，其中着陆器在星体表面的着陆的问题尤为重要，需要高精度的定位和地形导航，以此确保人员和探测设备的安全。

2、事件相机，是一种反应时间为微秒级别的模拟生物神经元的神经形态传感器，可以记录每个像素点亮度变化的异步流，也称为“事件”。它打破了帧的概念，通过改变信息获取与处理的方式，保证了一定的时间分辨率和动态范围，并且具有低功耗和计算效率高的特点。除此之外，事件相机在高动态和高速度的环境下仍可以正常使用，在高动态下其拥有高时间分辨率，在高速度下拥有无运动模糊的优势。事件相机相较于传统的相机，在较黑暗的环境下，也可以很好地捕捉运动的物体，相机使用环境不再受限。除此之外，事件相机还具有低延时和无运动模糊的优势，相邻事件之间的时间间隔可以小于1毫秒，对运动模糊、低延迟和高动态范围有很好的鲁棒性。

3、无论是cmos、ccd还是rgbd传感器的传统相机，都有一定的延迟问题，该问题是由于他们只能以恒定的频率获取图像，受到帧率这个参数限制。而本发明用到的事件相机可以很好地解决这些问题。事件相机的特征是：速度快、数据量少、功耗低和动态范围大。其可以获取目标降落区域中各个像素点的光学散射信号，通过时间脉冲序列进行记录，储存着有用的信息。事件相机的工作方式是有光子运动就会有输出，否则输出为零，其对应的输出是时间脉冲序列，记录的是仅含有0和1的已传数组，记录方式为一个时间步长内放出一个时间脉冲，且拍摄的脉冲事件图像中每个像素点都独立且异步地运行。事件相机当前已经在很多领域有很广泛的应用，得到了很好的效果且有很好的发展空间，例如超快视觉驱动控制领域、跟踪电力线领域、飞行器动态避障领域、低延迟高带宽控制领域、高速高动态范围领域、连续时间视觉惯性里程计领域等。

4、snn网络即第三代神经网络，应用的脉冲神经元模型是根据生物神经元模型进行设计的，具有强大的计算能力和时序处理能力。脉冲神经元点位力学数学模型最常用的是漏电积分-放电模型，这个模型类似于生物神经元的充电、漏电、放电过程。在判断脉冲神经元的输出时，仅正确的神经元以最高频率发放，其他神经元均保持静默。脉冲神经网络的神经元是任务驱动的，无需随时都在运行，这样可以降低能耗，还可以充分利用时空信息，实现高效的脉冲神经网络框架。将事件相机拍摄到的时间脉冲序列构成的脉冲事件图像作为snn网络的输入，输入到提前训练好的snn网络中，再对snn网络模型中输出的神经元脉冲进行解码操作。snn网络的训练采用的是有监督学习的方法，利用突触可塑性规则的仿生学习算法，根据神经元激发的先后顺序，调整神经元之间连接的强弱以完成训练。整个snn网络模型实际上就是通过一个个编码-解码的结构构成的，使用最拟合生物神经元机制的模型来进行计算分析。snn网络的输出从第二代网络的连续输出改变成二进制输出，这种脉冲训练增强了处理数据的联系，拥有更强大的计算单元和计算能力。

5、为了实现星体的高精度降落导航，还需要建立地形特征数据库，具体包括陨石坑特征库和阴影边缘轮廓线特征库两个数据库。根据现有的数据发现，区域内存在大量不同大小的陨石坑和各种阴影边缘轮廓线，由于陨石坑位置在很长时间内不会发生变化，非常适合用作导航地图信标，因此本专利进一步根据所选择的目标降落区域的脉冲事件图像进行陨石坑特征和阴影边缘轮廓线特征的标定，以建立地形特征数据库。

6、特征匹配应用基于阴影边缘轮廓线特征和基于陨石坑特征的两种匹配方法，对着陆器的位置姿态进行解算和定位。用事件相机拍摄脉冲事件图像，利用snn网络提取出陨石坑特征以及周围的阴影轮廓特征特征，与提前建立的地形特征数据库中进行匹配，实现位姿解算与导航。

7、地形特征匹配和着陆器位姿解算的过程是，首先设定目标降落区域，在着陆器下降着陆过程中，针对太阳高度角形成的阴影，通过提取阴影边缘轮廓线，与地形特征数据库中的阴影边缘轮廓线进行匹配，同时结合提取到的陨石坑的形态及其分布特征进行匹配的结果，通过信息融合提高相机位姿的定位精度，以实现高精度导航的目标。除此之外，由于拍摄时的高度和视角不同，在不同拍摄时刻对相同陨石坑的拍摄结果可能不同，但不同时刻的脉冲事件图像间的差异可以用仿射变换去调整，陨石坑的脉冲事件图像具有仿射不变性，这也是用其进行特征匹配的重要匹配依据。在特征匹配时用到基于阴影边缘轮廓线特征和基于陨石坑特征的方法。阴影边缘轮廓线匹配算法是一种基础的特征匹配方法，主要思想是将脉冲事件图像的阴影轮廓提取出来再与地形特征数据库中的阴影边缘轮廓线进行匹配。除此之外，陨石坑是月球表面的一种显著的地形特征，利用陨石坑特征进行导航和着陆有助于提高精度。具体来说，是应用光学导航和惯性导航，结合陨石坑的检测与匹配的一种基于陨石坑特征的特征匹配方法。最后利用匹配的结果，利用最小二乘法计算出坐标变换的矩阵，应用事件相机已知的内参矩阵，解算出着陆器的位姿，寻找到合适的降落位置。

技术实现思路

1、本发明提出了一种基于事件相机和地形特征匹配的高精度着陆定位方法。首先运用在高速度下无运动模糊的事件相机对星体表面进行拍摄，得到含有星体表面时间脉冲信息的脉冲事件图像；对脉冲事件图像进行一定的预处理后输入进提前训练好的提取阴影边缘轮廓线特征的和提取陨石坑特征的snn网络，分别提取出匹配所需的地形特征信息；再分别对两种特征进行与地形特征数据库的特征匹配，并对匹配结果进行融合处理；最后进行着陆器位姿的解算。本发明中使用两种特征，一种是基于脉冲事件图像中存在的阴影边缘轮廓线的特征，一种是基于检测出的陨石坑的形态及其分布的特征。运用上述两种特征完成特征匹配的工作。最后通过匹配的结果对着陆器的着陆位置及姿态进行分析与计算，定位出最佳的着陆地点以完成最终的安全着陆任务。

2、本发明主要基于事件相机的脉冲事件图像获取与高精度的特征匹配，运用提取阴影边缘轮廓线特征的和提取陨石坑特征的snn网络和基于不同特征的特征匹配算法进行高精度着陆定位，最后保证着陆器安全降落到适宜位置，具体采用如下技术方案：

3、本发明提出的基于事件相机和地形特征匹配的高精度着陆定位方法，其流程如图1所示，其特征是：1)所述的事件相机获取脉冲事件图像的方法，不同于传统相机用帧做单位的拍摄方法，每个光子为一个光子时间，输出的是一个个的时间脉冲序列，记录方式也只是简单的0、1信号。事件相机的反应时间极短，其响应时间仅受限于光电探测器，因此拥有极高的时间分辨率和良好的动态范围，可轻松完成对高速运动目标的捕捉和拍摄，且拍摄效果清晰。除此之外，在光线不好的黑暗环境下，事件相机也可以捕捉到运动的物体，拥有很高的感知能力。2)所用的snn网络是一种新型网络，其与事件相机有着天然的联系，事件相机的输出刚好可以被脉冲神经网络输入并学习。这种网络的计算能力强，时序处理能力强，能耗较低，有丰富的网络学习方法，这种网络也十分适用于事件相机输出的数据形式。3)发明中的特征匹配算法是基于阴影边缘轮廓线特征和基于陨石坑特征的，本质上是基于特征匹配的地形导航。根据已知的星体光照模型，可以提前绘制出渲染图，可以计算任何时刻目标降落区域的仿真渲染图像，这样即可拥有丰富的数据。

4、在本发明中，系统中各个部分说明如下：

5、1.专利所述的事件相机，其特征是：事件相机中的各像素探测器之间异步工作，事件相机的工作方式如图3所示。对输入其中的光学散射信号进行累积，在一个累积周期内，累积结果达到阈值条件就立即输出一个高电平脉冲，并同时将累积结果清零，然后重新开始一个新的周期的累积操作；如果一个累积周期内，累积结果没有达到阈值条件，则持续输出低电平；事件相机的每个像素探测器按照上述方法分别获取目标降落区域的光学散射信号并形成相应的时间脉冲序列，最终形成脉冲事件图像。

6、2.专利所述的预处理操作，是指在输入进snn网络之前先对脉冲事件图像进行预处理，具体包括：去噪处理、细节增强处理、几何校正处理、滤波处理和平滑处理。

7、3.专利所述的提取阴影边缘轮廓线特征的脉冲神经网络和提取陨石坑特征的脉冲神经网络，是指一种源于生物启发的新一代人工神经网络模型，其使用事件驱动的脉冲时间序列来传递信息，处理的是事件相机输出的脉冲事件图像；所述的提前训练好的特征提取脉冲神经网络，是指本发明提前制作了训练集对特征提取脉冲神经网络进行了多轮训练，其中训练采用的是有监督学习的方法，利用突触可塑性规则的仿生学习算法，根据神经元激发的先后顺序，调整神经元之间连接的强弱以完成训练。训练后的特征提取脉冲神经网络可以起到对输入的脉冲事件图像进行地形特征的提取的作用。整个特征提取脉冲神经网络模型实际上就是通过一个个编码-解码的结构构成的，使用最拟合生物神经元机制的模型来进行计算分析。

8、4.专利所述的地形特征，包括脉冲事件图像中的阴影边缘轮廓线特征和陨石坑形态及其分布特征两种，用提取到的上述特征与地形特征数据库中进行特征匹配。

9、5.专利所述的特征匹配，共有两个步骤：第一步是分别基于阴影边缘轮廓线特征和基于陨石坑特征进行特征匹配；第二步是将这两种特征匹配的结果进行融合得到最终的特征匹配结果。所述的基于阴影边缘轮廓线特征的特征匹配，是指利用地形阴影边缘轮廓线匹配找到事件相机坐标系与真实地理数据坐标系之间的配准；所述的基于陨石坑特征的特征匹配，是指将检测到的陨石坑特征与地形特征数据库中的陨石坑特征信息进行匹配。

10、6.专利所述的地形特征数据库，包括陨石坑特征库和阴影边缘轮廓线特征库：陨石坑特征库是目标降落区域内所有陨石坑形态和分布的数据的集合，用于与提取到的陨石坑特征进行特征匹配；阴影边缘轮廓线特征库是目标降落区域内不同时间受到光照产生的亮暗分界曲线组成的集合，用于与提取到的阴影边缘轮廓线特征进行特征匹配。

11、7.专利所述的位姿解算，是根据特征匹配结果所建立的一定的对应关系，再利用最小二乘法，计算出坐标变换矩阵。然后根据已知的事件相机内参矩阵，解算出着陆器的位姿，得到着陆器在目标降落区域中的位置和姿态。

12、本发明的主要特色：本发明运用事件相机获取脉冲事件图像，对其进行预处理后输入进提前训练好的提取阴影边缘轮廓线特征的脉冲神经网络和提取陨石坑特征的snn网络进行陨石坑识别与地形特征的提取，通过两个snn网络分别提取到阴影边缘轮廓线特征和陨石坑形态及其分布特征，再分别与两个地形特征数据库进行特征匹配并将结果进行融合，最后利用匹配结果对着陆器进行位姿解算，以实现导航的功能，完成高精度着陆定位。

13、本发明的效益与应用前景：可应用于星体表面探测时，着陆器的高精度着陆与定位的目的。