一种基于无人机前视图像的目标距离测量方法及装置

1.本发明涉及光学测距技术领域，尤其是一种基于无人机前视图像的目标距离测量方法及装置。


背景技术：

2.近年来，无人机在军事和民用领域取得了广泛的应用，例如情报、监视和侦察，以及电力线检查、资源调查和精准农业等。但无论是多变的战场环境还是普通的野外环境中，都存在一些威胁飞行安全的障碍物，如楼房、线塔、树木等。因此，这些任务要求无人机具备较强的自主避障能力。
3.无人机实现自主避障的一般过程是：首先，通过机载传感器对无人机所处的场景和周围环境进行感知，确定对飞行安全有潜在威胁的障碍物目标；其次，获取场景中障碍物目标的具体信息，包括大小、方位、运动轨迹、距离等；最后，基于以上信息，依靠飞行器的制导与控制系统完成轨迹规划和规避机动。其中，依靠机载传感器来获取障碍物目标信息是无人机实现自主避障的关键。
4.当前，无人机能够装备的用于场景和目标感知的传感器大致分为主动式和被动式两类。主动式传感器通过发射电磁波并接收回波来实现对周围环境的感知，例如超声波探测器、合成孔径雷达、激光雷达等。这类传感器的缺点在于体积大、能耗高，易受室外阳光敏感性的限制，且容易被敌方探测设备追踪。相比之下，机载光学相机等被动式视觉传感器在尺寸、重量、成本和响应速度等方面具有明显的优势，适合部署在不同尺寸和种类的无人机上。此外，得益于计算机视觉技术的发展，视觉传感器已经可以胜任大多数的二维视觉任务，即通过机载光学图像实现目标的检测、识别和跟踪，获取其大小、种类、方位、运动轨迹等信息。但对于无人机的制导与控制系统而言，要实现有效的避障，障碍物目标的距离信息不可或缺。在当前的技术水平下，借助图像本身的信息来进行目标距离测量仍然极具挑战。
5.在这方面，研究者们会借助前视图像序列中各帧之间所包含的运动视差信息。当使用单目相机在不同视图下拍摄同一静态物体的两张或多张图像时，相机与场景之间的相对运动所产生的视差信息便可用于求解目标距离。这一思想类似于立体视觉中的三角测量。除此之外，一些人工设计的特征也被用于提取图像中的目标信息。这样，借助多视图几何的原理，便可显式地求解图像中某点在真实世界中的三维坐标。这类基于人工特征和多视图几何的目标距离测量方法已被应用于许多三维视觉任务，例如从运动中恢复结构、即时定位与地图构建等。
6.然而，将这类方法应用于无人机自主避障过程中的目标距离测量依然存在以下难点：(1)特征匹配是在两张图像的特征点之间建立联系的关键步骤，因此特征匹配误差会对目标测量结果的准确度造成不利影响。(2)无人机飞行过程中高度和姿态不断变化，现有的测量方法及装置难以满足这一场景下的应用需求。(3)目标距离测量结果序列可能存在振荡和跳变，不能直接用于避障制导和飞行控制。


技术实现要素：

7.本发明所要解决的技术问题在于，提供一种基于无人机前视图像的目标距离测量方法及装置，方法简明，装置易于部署，结果准确度高，且适用于室外飞行场景。
8.为解决上述技术问题，本发明提供一种基于无人机前视图像的目标距离测量方法，包括如下步骤：
9.(1)从当前飞行阶段的图像序列中选取某特定时刻的图像作为参考帧；
10.(2)对于参考帧和当前帧图像，在给定的目标区域中提取sift特征点，并给出对应的sift描述子；
11.(3)基于特征提取结果，将特征点对应的描述子之间的欧氏距离作为相似性度量来进行特征匹配，并根据上述度量来剔除误匹配；
12.(4)借助机载导航设备所提供的位姿信息，根据所设计的基于特征线段的距离计算模型来计算各对特征线段所对应的距离；
13.(5)获得包含所有特征线段对距离计算结果的集合，通过取中位数的方式计算目标距离；
14.(6)采用离散扩展kalman滤波算法，对前视图像序列对应的目标距离计算结果序列进行滤波，给出平滑且准确度更高的目标距离测量结果。
15.优选的，步骤(1)中，参考帧的选取依靠飞行过程中机载导航设备记录的各时刻的位置信息来实现，选取的标准是使得参考帧与当前帧之间的水平距离与前一时刻目标距离测量结果之间的比值保持恒定。
16.优选的，步骤(3)中，特征匹配所选用的相似性度量是特征点对应的描述子之间的欧氏距离；剔除误匹配根据相似性度量筛选并剔除弱匹配和模糊匹配。
17.优选的，步骤(4)中，根据所设计的基于特征线段的距离计算模型来计算各对特征线段所对应的距离，具体为：特征线段构造，在参考帧和当前帧中连结任意两个匹配特征点来构造出一条特征线段；特征线段变换及长度计算，在无人机飞行过程的纵向平面内对特征线段进行变换，以满足距离计算的需要；特征线段对应的距离计算，根据几何成像关系，计算各对特征线段所对应的当前帧下的距离。
18.优选的，步骤(5)中，为了准确且鲁棒地表征目标距离，对包含所有特征线段对距离计算结果的集合取中位数，以此作为目标距离计算结果。
19.优选的，步骤(6)中，采用离散扩展kalman滤波算法对目标距离计算结果进行滤波具体为：扩展kalman滤波模型构建，根据基于特征线段的距离计算模型选取合适的状态量和观测量，构建系统状态方程和观测方程；扩展kalman滤波器设计与应用，根据扩展kalman滤波的原理，推导得到滤波器的预测和更新方程并加以应用。
20.相应的，一种基于无人机前视图像的目标距离测量装置，包括：参考帧选取模块，从当前飞行阶段的图像序列中选取某特定时刻的图像作为参考帧；特征点提取模块，在参考帧和当前帧图像中给定的目标区域中提取sift特征点，并给出对应的sift描述子；特征点匹配模块，将特征点对应的描述子之间的欧氏距离作为相似性度量来进行特征匹配和剔除误匹配；基于特征线段的距离计算模块，借助机载导航设备所提供的位姿信息，根据所设计的基于特征线段的距离计算模型来计算各对特征线段对应的距离；目标距离计算模块，对包含所有特征线段对距离计算结果的集合取中位数，以此作为目标距离计算结果；目标
距离序列滤波模块，采用离散kalman滤波算法，对前视图像序列对应的目标距离计算结果序列进行滤波，给出平滑且准确度更高的目标距离测量结果。
21.优选的，特征点匹配模块包括：特征匹配度量计算单元，用于计算参考帧和当前帧中特征点的128维描述子之间的差方和并以此作为特征匹配度量；剔除弱匹配单元，用于剔除特征点误匹配中的弱匹配；剔除模糊匹配单元，用于剔除特征点误匹配中的模糊匹配。
22.优选的，基于特征线段的距离计算模块包括：特征线段构造单元，用于根据特征匹配结果在参考帧和当前帧中构造特征线段；特征线段变换及长度计算单元，用于在无人机飞行过程的纵向平面内对特征线段进行变换，并计算变换后的特征线段长度，从而满足距离计算的需要；特征线段对应的距离计算单元，用于计算各对特征线段对应的距离值并组成集合。
23.优选的，目标距离序列滤波模块包括：扩展kalman滤波模型构建单元，用于确定扩展kalman滤波模型的状态量和观测量，并构建系统状态方程和观测方程；扩展kalman滤波器设计与应用单元，用于对模块输出的前视图像序列对应的目标深度计算结果进行滤波，从而得到更加平滑且准确的目标距离测量结果序列。
24.本发明的有益效果为：本发明通过利用特征线段长度而非特征点像素位置来进行距离计算，减小了特征匹配误差造成的不利影响；在距离计算模型中引入了机载导航信息，使本发明能够适用于高度和姿态不断变化的无人机飞行场景；通过设计并应用离散扩展kalman滤波器，进一步改善了目标距离计算结果的准确度和输出序列的平滑性；本发明方法流程简明，装置易于部署，实施过程中借助了机载导航设备提供的位姿数据而不需要进行相机标定或获取目标先验信息，目标距离测量结果准确度高，适用于无人机飞行场景，且计算量小、计算速度快。
附图说明
25.图1为本发明提供的一种基于无人机前视图像的目标距离测量方法的流程示意图。
26.图2为本发明实施例1提供的特征点匹配的流程示意图。
27.图3为本发明实施例1提供的参考帧和当前帧的示例图及特征提取与匹配结果示意图。
28.图4为本发明实施例1提供的基于特征线段的距离计算的流程示意图。
29.图5为本发明实施例1提供的目标距离序列滤波的流程示意图。
30.图6为本发明实施例1提供的滤波前后的目标距离计算和目标距离测量结果对比示意图。
31.图7为本发明提供的一种基于无人机前视图像的目标距离测量装置的结构示意图。
32.图8为本发明实施例2提供的特征点匹配模块的结构示意图。
33.图9为本发明实施例2提供的基于特征线段的距离计算模块的结构示意图。
34.图10为本发明实施例2提供的目标距离序列滤波模块的结构示意图。
具体实施方式
35.如图1所示，一种基于无人机前视图像的目标距离测量方法，包括如下步骤：
36.(1)从当前飞行阶段的图像序列中选取某特定时刻的图像作为参考帧；
37.(2)对于参考帧和当前帧图像，在给定的目标区域中提取sift特征点，并给出对应的sift描述子；
38.(3)基于特征提取结果，将特征点对应的描述子之间的欧氏距离作为相似性度量来进行特征匹配，并根据上述度量来剔除误匹配；
39.(4)借助机载导航设备所提供的位姿信息，根据所设计的基于特征线段的距离计算模型来计算各对特征线段所对应的距离；
40.(5)获得包含所有特征线段对距离计算结果的集合，通过取中位数的方式计算目标距离；
41.(6)采用离散扩展kalman滤波算法，对前视图像序列对应的目标距离计算结果序列进行滤波，给出平滑且准确度更高的目标距离测量结果。
42.实施例1：
43.本发明的实施例1针对无人机飞行过程中拍摄的前视光学图像的特点，设计了一种基于无人机前视图像的目标距离测量方法，如图1所示，包括：
44.步骤s100：参考帧选取。
45.具体地，在飞行过程中使用机载光学相机拍摄前视图像，并使用机载导航设备记录对应时刻的位置信息。在当前时刻t，以当前拍摄到的图像作为当前帧，并从过往拍摄的图像序列中选取参考帧，选取的标准是使得参考帧与当前帧之间的水平距离(基线长度b)与前一时刻目标距离测量结果z
t-1
之比保持在0.25，即b＝0.25z
t-1
。
46.步骤s110：特征点提取。
47.具体地，对于参考帧和当前帧图像，在给定的目标区域中提取sift特征点，并给出对应的sift描述子。由于本方法只需要使用特征点的像素位置信息，所以如果有两个或两个以上特征点的像素坐标相同但尺度和主方向不同，那么只需保留其中一个点及其描述子。
48.步骤s120：特征点匹配。
49.具体地，基于特征点提取结果，将特征点对应的描述子之间的欧氏距离作为相似性度量来进行特征匹配，并根据上述度量来剔除误匹配。进一步地，如图2所示，在步骤s120中，可以包括：
50.步骤s121：特征匹配度量计算。
51.具体地，假设从参考帧和当前帧中的目标区域中各提取到n和m个sift特征点，则参考帧中任意一个特征点fi(i＝1,
…
,n)和当前帧中任意一个特征点gj(j＝1,
…
,m)的128维特征描述子之间的差方和(ssd)由下式计算：
[0052][0053]
对所有n
×
m个特征点对进行上述计算，以此作为特征匹配度量。
[0054]
步骤s122：剔除弱匹配。
[0055]
具体地，在上述n
×
m个特征点对中，将不满足下式条件的匹配视为弱匹配并剔除：
[0056][0057]
其中，mt为匹配阈值，一般取为10。
[0058]
步骤s123：剔除模糊匹配。
[0059]
具体地，在上述n
×
m个特征点对中，将不满足下式条件的匹配视为模糊匹配并剔除：
[0060][0061][0062][0063]
其中，mr为最大比值，一般取为0.6。经过上述步骤，完成特征匹配和剔除误匹配，得到特征匹配结果，特征匹配点之间的对应关系如图3中横跨两帧图像的细线所示。
[0064]
步骤s130：基于特征线段的距离计算。
[0065]
具体地，根据特征匹配结果以及机载导航设备所记录的参考帧和当前帧的位置和姿态信息，使用基于特征线段的距离计算模型来计算各对特征线段所对应的距离。进一步地，如图4所示，在步骤s130中，可以包括：
[0066]
步骤s131：特征线段构造。
[0067]
具体地，假设在特征匹配结果中，参考帧和当前帧之间共包含p对匹配点。在当前帧中，连结图像中的任意两个特征点可构造出一条线段。在参考帧中，连结对应的匹配特征点也可构造出对应的特征线段。两帧之间共可构造出q＝p(p-1)/2对特征线段。对于任意一对特征线段，将参考帧和当前帧中的原始线段长度分别记为l1和l2。相应地，在拍摄参考帧和当前帧的时刻，无人机的俯仰角分别为θ1和θ2。
[0068]
步骤s132：特征线段变换及长度计算。
[0069]
具体地，在无人机飞行过程的纵向平面内对特征线段进行变换，以满足距离计算的需要。变换方式是根据两个特征点的视线los将特征线段向经过图像中心的铅垂面进行投影。为了计算变换后的特征线段长度，对于参考帧和当前帧，执行同样的操作如下：
[0070]
记特征点(即特征线段的端点)a和b的像素坐标分别为(xa,ya)和(xb,yb)，计算其视线角：
[0071][0072][0073]
其中，fy是相机的纵向焦距，cy是图像中心点的像素纵坐标，即图像高度的一半。
[0074]
计算变换后的特征线段长度：
[0075]
[0076]
步骤s133：特征线段对应的距离计算。
[0077]
具体地，根据几何成像关系，计算当前帧下第k(k＝1,
…
,q)对特征线段对应的距离值zk：
[0078][0079]
对所有q对特征线段都执行上述步骤，得到包含q个距离值的集合{zk|k＝1,
…
,q}。
[0080]
步骤s140：目标距离计算。
[0081]
具体地，对包含所有特征线段对距离计算结果的集合取中位数，以此作为目标距离计算结果：
[0082][0083]
步骤s150：目标距离序列滤波。
[0084]
具体地，采用离散扩展kalman滤波算法，对前视图像序列对应的目标距离计算结果序列进行滤波，给出平滑且准确度更高的目标距离测量结果。进一步地，如图5所示，在步骤s150中，可以包括：
[0085]
步骤s151：扩展kalman滤波模型构建。
[0086]
具体地，确定扩展kalman滤波模型的状态量为观测量为当前目标距离z，建立当前时刻t下系统状态方程和观测方程：
[0087][0088][0089]
其中，b
t
是t-1时刻到t时刻的无人机水平位移，w和v分别是过程噪声和观测噪声。
[0090]
步骤s152：扩展kalman滤波器设计与应用。
[0091]
具体地，设计扩展kalman滤波器的预测和更新方程如下：
[0092][0093][0094][0095][0096]
p
t|t
＝(i-k
tht
)p
t|t-1
[0097]
其中，p和q分别是过程噪声协方差和观测噪声协方差，k是滤波器增益，
和分别是状态方程和观测方程的一阶偏导数。
[0098]
将步骤s140后得到的前视图像序列对应的目标距离计算结果序列作为滤波器的输入，能够输出得到更加平滑且准确的目标距离测量结果序列。滤波前后的目标距离计算和目标距离测量结果的对比如图6所示。
[0099]
实施例2：
[0100]
本发明的实施例2提供了一种基于无人机前视图像的目标距离测量装置，如图7所示，包括以下模块：参考帧选取模块200，从当前飞行阶段的图像序列中选取某特定时刻的图像作为参考帧；特征点提取模块210，在参考帧和当前帧图像中给定的目标区域中提取sift特征点，并给出对应的sift描述子；特征点匹配模块220，将特征点对应的描述子之间的欧氏距离作为相似性度量来进行特征匹配和剔除误匹配；基于特征线段的距离计算模块230，借助机载导航设备所提供的位姿信息，根据所设计的基于特征线段的距离计算模型来计算各对特征线段对应的距离；目标距离计算模块240，对包含所有特征线段对距离计算结果的集合取中位数，以此作为目标距离计算结果；目标距离序列滤波模块250，采用离散kalman滤波算法，对前视图像序列对应的目标距离计算结果序列进行滤波，给出平滑且准确度更高的目标距离测量结果。
[0101]
在本实施例中，进一步地，如图8所示，特征点匹配模块220包括：特征匹配度量计算单元221，用于计算参考帧和当前帧中特征点的128维描述子之间的差方和并以此作为特征匹配度量；剔除弱匹配单元222，用于剔除特征点误匹配中的弱匹配；剔除模糊匹配单元223，用于剔除特征点误匹配中的模糊匹配。
[0102]
在本实施例中，进一步地，如图9所示，基于特征线段的距离计算模块230包括：特征线段构造单元231，用于根据特征匹配结果在参考帧和当前帧中构造特征线段；特征线段变换及长度计算单元232，用于在无人机飞行过程的纵向平面内对特征线段进行变换，并计算变换后的特征线段长度，从而满足距离计算的需要；特征线段对应的距离计算单元233，用于计算各对特征线段对应的距离值并组成集合。
[0103]
在本实施例中，进一步地，如图10所示，目标距离序列滤波模块250包括：扩展kalman滤波模型构建单元251，用于确定扩展kalman滤波模型的状态量和观测量，并构建系统状态方程和观测方程；扩展kalman滤波器设计与应用单元252，用于对模块240输出的前视图像序列对应的目标深度计算结果进行滤波，从而得到更加平滑且准确的目标距离测量结果序列。