一种面向硬式空中加油的视觉测量方法

一种面向硬式空中加油的视觉测量方法
【专利摘要】本发明提出了一种面向硬式空中加油的视觉测量方法，一种面向硬式空中加油的视觉测量方法，该方法的步骤如下：步骤一：基于发光二极管(LED)的受油口目标识别；步骤二：LED标志点中心点匹配；步骤三：利用高斯最小二乘微分校正算法对受油口相对相机的平移矩阵和旋转矩阵进行求解。本方法利用视觉传感器，对受油口位姿进行测量，利用测量得到的位姿关系对受油机以及加油杆实现精确控制，实现加油对接。本方法鲁棒性好，精确性高，可大大提高硬式空中加油的安全性和可靠性。
【专利说明】-种面向硬式空中加油的视觉测量方法 【技术领域】
[0001] 本发明是一种面向硬式空中加油的视觉测量方法，属于计算机视觉测量技术领 域。 【【背景技术】】
[0002] 空中加油是指在飞行过程中一架飞机向另一架或多架飞机(或直升机)传输燃油 的活动。空中加油自出现起，就W其在军事行动中的重要作用而日益受到各国的广泛重视。 长航时无人机进行一次空中加油，其续航时间能增加80% W上，运也为携带更多任务载荷 提供了可能;无人机进行一次空中加油，航时可提高30%~40%，从而为解决燃油与武器装 载之间的矛盾提供了有效途径。
[0003] 空中加油技术是提高飞机远程作战效能的关键技术之一，是增强战斗力的放大 器。空中加油不仅改变了 W往的作战模式，而且还可W提高战绩的综合作战效能，已成为先 进军用飞机完成作战任务不可缺少的保障措施。相对于软管式加油，硬管式空中加油因为 加油量大、受油机操作负担轻、受油机受油设备简单等特点而具有明显的优势，因而成为未 来空中加油技术的发展方向。
[0004] 目前，空中加油技术中发展比较成熟并被广泛采用的空中加油系统可分为下属四 种:一种是插头-锥套式(软管)加油系统，另一种是飞巧式(硬管)加油系统，还有两种方式 是将上述两种系统结合起来的混合式及多系统式。
[0005] 自上世纪五十年代，人工操纵的空中加油技术已经比较成熟，但人工操纵的空中 加油技术效率较低、对飞行员的驾驶技术要求很高，易受到驾驶员屯、理和生理W及技术战 术状态的影响。因此开展自主空中加油技术的研究具有重要的意义。20世纪80年代W来，伴 随着神经科学、计算神经科学、解剖学的发展，人类对脑科学有了更加深入的了解。在所感 知的外部世界信息中，大约80%的部分来自视觉，运种客观的事实使得科学家对视觉信息 的各种处理机制进行了非常深入的研究，并取得了一系列的视觉信息处理理论成果。运些 成果的取得，使得计算机视觉科研人员有条件从事模拟生物视觉功能的研究，也为改善目 前的机器视觉识别性能提供了生物学上的依据。机器(计算机)视觉是指用计算机实现类生 物的视觉功能，即对客观世界Ξ维场景的感知、识别、理解。因此，机器视觉是计算机科学和 智能科学交叉而形成的学科，是W模拟生物视觉功能或信息处理机制为主要研究内容，构 建仿生视觉的计算模型，利用计算机对描述自然景物的图像数据进行处理，W实现类似于 生物视觉感知功能为目标。
[0006] 相对于其它导航方式，视觉传感器具有轻便、低功耗、体积小、重量轻等优点，同时 能够提供丰富的周围环境信息。 【
【发明内容】
】
[0007] 1、发明目的：
[000引本发明提出了一种面向硬式空中加油的视觉测量方法，其目的是提供一种更具实 用价值的硬式空中加油测量方法，为自主空中加油系统提供精确可靠的测量信息，革新当 前的人工操纵加油技术，提高空中加油效率，最大程度避免因操作员误操作造成的机毁人 亡的重大事故。
[0009] 2、技术方案：
[0010] 本发明针对硬式空中加油需求，提出了一种鲁棒性强、精确度高的视觉测量方法， 前期工作需要对相机的参数进行确定和对空中硬式加油视觉测量图像的获取。该方法通过 对图像序列进行图像处理操作解算受油口相对相机的平移矩阵和旋转矩阵。图像序列是通 过可见光相机拍摄获取的，相机的内参是解算位姿关系时的必备参数，相机参数可W通过 张正友标定法确定。测量方法步骤构成见附图1所示。
[0011] -种面向硬式空中加油的视觉测量方法，该方法的步骤如下：
[001^ 步骤一:基于发光二极管(L邸)的受油口目标识别
[0013] 在视觉测量时，需要对受油口进行识别，在受油口附近设置7个红色Lm)光标记点 的方法，利用计算机视觉实现对光标记点的检测识别。
[0014] (1)将图像序列进行彩色空间(RGB)到色相、饱和度和明度化SV)化处理：
[0015] 通过相机获取光标记点的位图像，将光标记点设置成红色，利用运个颜色特征信 息进行点提取。首先，将相机采集到的RGB图像变换到HSV空间。对于H、S、VS个通道的图像， 选取其中光标记点最明显的S通道图像进行中值滤波，并由给定阔值进行分割，得到二值化 图像。该二值化图像可能存在噪声，可W用腐蚀，膨胀等形态处理，将该噪声去掉，检测到光 斑区域，但光斑的数目及光斑中屯、点（光标记点）的坐标位置需要精确求解。根据均值平移 (meanshift)的聚类思想，采用mean shift聚类算法求解运些光标记点的图像坐标，为最后 受油口与相机相对位置测量做准备。
[0016] 色调Η表示颜色的色相，用角度来度量，取值范围为0°~360°，从红色才是按逆时 针方向计算，红色为0°，绿色为120°，蓝色为240%饱和度S表示颜色的纯度，其取值范围为 0.0~1.0;亮度V表示颜色的亮度，取值范围为0.0(黑色)~1.0(白色），圆锥的顶面对应于V =1，代表的颜色最亮。令max为R、G、B^个分量的最大值，min为Ξ个分量的最小值，r、g、b分 别表示Ξ个分量的值，RGB到HSV的变换的数学公式如下所示：
[0017]
[001 引
（2)
[0019] V=max (3)
[0020] (2)对颜色空间变换后的图像分别在H、S、V通道进行阔值分割：
[0021] 由于检测对象是受油口附近红色光标记点，通过RGB颜色空间到HSV空间的变换得 到Ξ个通道H、S、V通道图像，其中S通道光标记点最为明显，选择S通道的图像进行特定阔值 分割，即可检测到目标光斑。分割得到的二值图可能存在噪声点，可W通过中值滤波及形态 学的腐蚀膨胀算子进行处理。
[0022] (3)光标记点中屯、定位：
[0023] 在经过W上操作之后，能够获取Lm)标志点在图像中的区域，在运一基础上，还需 要确定每个区域的中屯、位置，也就是确定光标记点的中屯、。不同于背景像素有很多相似块 区域分布在图像各处，显著点往往是聚集在一起。所W可W认为像素块Pi和与其相似的块 距离都很近，则Pi是显著的，当相似块都分布在较远区域，则Pi的显著性不高。因此用 dp〇sition(Pi ,Pj)来度重像素块Pi和Pj之间的距罔，良P :
[0024]
(4)
[002引式中，dp0sition(Pi加）是像素块Pi和像素块W之间的距离，和巧表 示分别是像素块Pi和像素块W的图像坐标。
[0026] 结合上面两个特征，对于两个像素块，采用一个相异度计算方法：
[0027]
(5)
[002引式中C为系数，(^1*山。如瓜)含义与上式相同，山。1。如1加)表示像素块口滿像素 块W在颜色空间上的距离。
[0029] 在计算像素块Pi的显著程度时，选择K个与它最相似的像素块作为参考 集，如果它与参考集的差异度很大，则可认为它与图像其他像素块的相异度都很大。因此定 义显著性
[0030]
脯
[0031] 式中r为尺度。
[0032] 1)多尺度显著度增强
[0033] 由于背景像素块在多尺度上有很多相似的块，而显著像素块只在几个尺度上有类 似的块，故引入多尺度方法来加强显著区域与非显著区域的对比度。因此修正如下：
[0034]
巧
[0035] 其中rme {R|R={ri，r2. . .rM}}，rm为尺度，Μ为尺度的数目。
[0036] 可得出像素 Pi的显著度为它在不同尺度上的均值：
[0037]
做
[0038] 2)区域显著值修正
[0039] 根据Ξ分法(Rule of thirds)特性，可W认为在全局视角上，像素离交点的距离 越近，它的显著度越高，所W显著度公式修正为
[0040]
觀
[0041] 其中df DC1 (i)表示像素块Pi离交点的距离。
[0042] 由上述方法可W找到显著度最大的像素块，取其中屯、作为光标记点中屯、。
[00创步骤二:L邸标志点中屯、点匹配
[0044] 将块拟合之后的点与标志点的世界坐标进行拟合，计算每个提到的点的图像坐标 与所有标志点的世界坐标转换成图像坐标之后的图像坐标之间的欧式距离，与哪个标志点 最近，就认为提到的某点为该标志点，从而可W赋予其世界坐标进行后面的计算。
[0045] 特征点匹配(Point Fea化re Matching)，即匹配标记连续帖图像对应特征点的位 置。因为已经给出了光标记点門在图像上的投影方程，假定从摄像机采集图像提取特征点 得到的检测点集为山，口2，。'口。}，其中^ =(化乂^)是图像坐标，而投影点集为(^，0,.);同 时设对应的投影点集为城，矣，…袭J，其中二的.，^)是利用针孔投影成像模型计 算得到的在像素坐标系中的坐标。
[0046] 当检测特征点与投影特征点匹配上时，两个点集的欧式距离最小。检测点集{pi， P2，...Pn巧日投影点集{クl，Λ，...成}之间的欧式距离矩阵化r如下，其矩阵的维数为mXn。
[0047]
(化）
[0048] 点集间对应点的匹配问题可W用经典的数学指派问题来描述，可描述为：
[0049] 假设有两个点集A，B，Sik表示集合A中的点i与集合B中的点k之间的欧式距离，求解 两个点集的最小欧式距离，即可表示为如下公式：
[(Κ)加]
(II)
[0051] S={sy I sij = dist(ai,bj) ,aieA,bjeB,i = l...N, j = (12)
[0化2] sik、sij和dist(ai，bj)表示点之间的欧氏距离，xik为示性函数，当点匹配上时值为 1，否则为〇。
[0053] 求解上述最小欧式距离的解，可利用匈牙利算法化ngarian，限于求解方阵即点数 相同的两个点集，W及改进算法Munkres，求解非方阵，即两个点数不一样多的点集。
[0054] 步骤Ξ:利用高斯最小二乘微分校正算法对受油口相对相机的平移矩阵和旋转矩 阵进行求解
[0055] (1)相机成像模型及各个坐标系定义说明：
[0056] 针对硬管式空中加油问题，假定相机放置在加油机机身尾部下方伸缩管附近某一 特定位置，并事先已标定好。为了获取受油机相对加油机的位置和姿态信息，可在受油口附 近设置多个光标记点，用于对受油机机背上受油口的识别和定位，并由事先标定好的光标 记点的相对几何位置关系及摄像机成像系统模型来求解上述位置和姿态信息。
[0057] 基于视觉的导航系统为加油机和受油机的引导控制系统提供受油机相对加油机 的位置和姿态信息，对运些信息的求解首先需要定义加油机机体坐标系、受油机机体坐标 系、摄像机成像系统坐标系，及受油机坐标系，通过各个坐标系之间的关系来描述其相对几 何位姿关系。各个坐标系的定义如下：
[005引Ob广Xbiybizbi:受油机机体坐标系；
[0059] Ob广乱2yb2Zb2:加油机机体坐标系
[0060] Oc-xcyczc:安装在加油机上的摄像机(伸缩管附近)成像坐标系 [0061 ] Od-xdydZd:受油口（目标）坐标系
[00创 Oe-XeyeZe:大地坐标系
[0063] 视觉测量的主要功能就是求解受油机上的受油口坐标系Od-xdydZd的中屯、Od到加油 机伸缩管附近摄像机坐标系中屯、Oc的距离dD，最后转换为受油机和加油机质屯、间的相对距 离和姿态。
[0064] 加油机上的相机成像原理可采用针孔摄像机数学模型来描述。为了从代数上描述 上述几何投影关系，需要建立摄像机坐标系和图像平面坐标系。空间中某一Ξ维空间点成 像到图像平面之间的成像过程如附图2所示。
[0065] 图中摄像机坐标表示为Oc-xcyczc，摄像机的焦距为f。空间点Pc在摄像机坐标系中 的欧氏坐标记为(x。，y。，z。），它的像点p在图像坐标系中的坐标记为(x，y)，根据Ξ角关系， 得到下述关系：
[0069] 而图像坐标系与图像物理坐标系的关系如附图3所示。
[0070] 图像物理坐标系W摄像机光轴与像平面的交点为原点，W毫米为单位。假设每一 个像素在X轴与y轴方向的物理尺寸为dx.dy，图像物理坐标系原点在图像坐标系中坐标为 (U0，V0)，则在图像坐标系上的点(U，V)与图像物理坐标系中对应点(X，y)的转换关系可表示 为：
[007U
(巧)
[0072] 为了使用方便，用齐次坐标与矩形形式来表示：
[0073]
姐:）
[0074] 而摄像机坐标(X。，y。，Z。）同受油口坐标(xd，yd，zd)的坐标转换是两个Ξ维坐标系 之间的变换，可W用一个旋转矩阵R与一个位移矩阵t来描述，转换关系的数学表达式如下：
[0075]
(1巧
[0076] (2)基于高斯最小二乘微分校正算法的位姿测量
[0077] 高斯最小二乘微分校正算法将高斯-牛顿法应用于表示估计点与检测点之间偏差 非线性代价函数的最小化上。选择运种算法是因为它代表了一类广泛用于摄影测量的算 法。高斯最小二乘微分校正算法结构简单，实时性好，已经被应用于多种场景下的位姿估计 问题。
[0078]设图像序列在k时刻检测、标记的特征点j的坐标是[Uj vj 1]τ，旋转矩阵R和位移 矩阵t均为未知向量X化)的估计值玄(&)的函数，利用义(/〇将第j个坐标点投影到成像平面， 记作权,，V, 。重新安排特征点坐标，得到：
[00 巧]G(玄 w)=防，巧，......，兩，?7", ] (15)
[0080] 式中克二反云[，訂，刖.一.个参数分别是偏航角、俯仰角、滚转角，后S个参 数为相对位移在x，y，z方向上的投影。
[0081] k时刻处理算法提取达到的像素点集记为Go化），视觉估计误差AG化)定义为：
[0082] Δ(7(7()二G；i(/()-G(丈'(/()) (16)
[0083] Go(k) = [ui,vi,......Vm] (17)
[0084] 高斯最小二乘微分校正算法迭代更新玄作），迭代公式为：
[0085] 一
(18)
[0086] 其中，i为迭代次数，W化)为控制矩阵，矿(/〇为Ri化)的逆，年W为Ai化)的转置。 Ri化)和Ai化)定义如下：
[0089] 目为偏导数符号。
[0090] 迭代过程结束后，即估计点和检测点的位置偏差充分小时，可得出估计值 文二反云去石。I的最优解，即解算出旋转矩阵R和位移矩阵t，从而估计出飞机的位 姿。
[0091] 3、优点及效果：
[0092] 本发明提出了一种面向硬式空中加油的视觉测量方法，提出了从目标识别，到特 征点匹配，再到位姿测量的一整套测量方案，其目的是提供一种具有实用价值的硬式空中 加油测量方法。本方法利用视觉传感器，对受油口位姿进行测量，利用测量得到的位姿关系 对受油机W及加油杆实现精确控制，实现加油对接。本方法鲁棒性好，精确性高，可大大提 高硬式空中加油的安全性和可靠性。 【【附图说明】】
[0093] 图1为面向硬式空中加油的视觉测量系统示意图。
[0094] 图2为摄像机成像模型示意图。
[00M]图3为图像坐标系与图像物理坐标系关系图。
[0096] 图4为硬式空中加油受油口示意图。
[0097] 图5(a)、图5(b)和图5(c)为姿态角变化曲线。
[0098] 图6(a)、图6(b)和图6(c)为位移变化曲线。
[0099] 图7为重投影误差曲线。
[0100] 图中标号及符号说明如下：
[0101] R一一旋转矩阵.
[0102] t--位移矩阵；
[0103] Y一一满足条件(是）；
[01 04] OwXwYwZw--世界坐标系;OcXcYcZc-摄像机坐标系；
[01化]OoUV--图像坐标系;0XY--图像物理坐标系。 【【具体实施方式】】
[0106] 下面通过一个具体的视觉测量实例来验证本发明所提出的设计方法的有效性。本 实例中使用两架无人机做测试试验，一架无人机作为加油机，一架作为受油机。受油机上安 装如图4所示的3D打印受油口模型作为测量对象，受油口周围的7个凸台涂上红色作为测量 标志点，在加油机上安装工业相机作为视觉传感器获取受油口的可见光图像，使用机载微 型电脑搭建的视觉测量系统对获取图像序列进行处理。实例选取任意一帖图像作为说明。 实验计算机配置为巧-4210M处理器，2.60Ghz主频，4G内存，软件为visual studio 2010版 本。
[0107] 本实例的具体实现步骤如下：
[0108] 前期工作:相机的参数确定和空中硬式加油视觉测量图像获取
[0109] 通过张正友标定法确定公式（1 6 )中的相机参数矩阵为
[0110] 然后用标定好的相机拍摄，获取加油相机序列，进行下一步图像处理。
[0111] 步骤一:基于发光二极管(LED)的受油口目标识别
[0112] 本实例中，采用在受油口附近设置7个光标记点的方法，利用计算机视觉实现对光 标记点的检测识别。
[0113] 通过摄像机获取光标记点图像，利用红色标记点的颜色特征信息进行点的提取。 首先，进行颜色空间变换，摄像头采集图像进行彩色空间(RGB)到色相、饱和度和明度化SV) 化处理，得到H、S、VS个通道的图像。RGB到HSV的变换数学公式见公式（1)-(3)。
[0114] 然后对变换之后的图像进行阔值分割处理。选取其中光标记点最明显的S通道图 像进行中值滤波，并由给定阔值进行分割，得到二值化图像。
[0115] 该二值化图像可能存在噪声，可W用腐蚀，膨胀等形态处理，将该噪声去掉，检测 到光斑区域，但光斑的数目及光斑中屯、点（光标记点）的坐标位置需要精确求解。根据mean shift的聚类思想，采用mean shift聚类算法求解运些光标记点的图像坐标，为最后受油口 与摄像机相对位置测量做准备。
[0116] 最后，由公式(4)-(9)计算出光标记点区域每个像素在不同尺度上的显著度均值， 由此得到每个光标记点区域的中屯、位置。每个标记点中屯、的图像坐标为：
[0117]
[011引步骤二:L邸标志点中屯、点匹配
[0119] 在得到每个光标记点区域的中屯、坐标之后，需要将其与标志点的世界坐标进行拟 合才可W进行位姿的解算。
[0120] 利用公式（10)计算检测点集{pi，化，…口。}和投影点集!A，知，之间的欧式距 离矩阵化r，利用公式（11)得到两点集的欧式距离。再利用munkres算法，求解匹配结果。匹 配矩阵为：assi即=[1，2,3,4,5,6,7]τ。
[0121] 步骤Ξ:利用高斯最小二乘微分校正算法对受油口相对相机的平移矩阵和旋转矩 阵进行求解
[0122] 要得到图像坐标与摄像机坐标系的关系，首先需要知道相机参数，根据选用的相 机型号，公式16中的相机内参矩阵夫
[0123] 从公式（17)可W看出，对受油口位姿进行精确测量，实际上就是求解公式中的R和 Τ矩阵，设图像序列在k时刻检测、标记的特征点j的坐标是山vj UT，参数矩阵R和Τ为未知 向量X(k)的估计值ΧΟΗ的函数，利用克作)将第j个坐标点投影到成像平面，记作 咳；^ 利用公式（15)-(20),设置迭代最小偏差为IX 10-5,最大迭代次数为50,迭代 求解出受油口位姿。求解出该帖的位移矩阵为
利用计算得到的位姿关系，对7个标志点进行重投影，与Pi矩阵做差，得到重投影误差为 0.07。
[0124] 接下来对连续图像序列中的多幅图像进行位姿求解，求解出的Ξ个姿态角变化曲 线见附图5(a)、图5(b)和图5(c)所示，Ξ个方向的位移见附图6(a)、图6(b)和图6(c)所示， 根据解算的结果通过重投影反解回标志点得到的中屯、点象素与步骤一得到的象素做差，可 计算得到重投影误差，误差曲线见附图7。通过试验结果可W发现，本发明能够对硬式空中 加油模拟受油口的位姿进行精确测量。
【主权项】
1. 一种面向硬式空中加油的视觉测量方法，其特征在于，该方法的步骤如下： 步骤一:基于发光二极管LED的受油口目标识别 在视觉测量时，需要对受油口进行识别，在受油口附近设置7个红色LED光标记点，利用 计算机视觉实现对光标记点的检测识别； 1.1将图像序列进行彩色空间RGB到色相、饱和度和明度HSV化处理： 通过相机获取光标记点的位图像，将光标记点设置成红色，利用这个颜色特征信息进 行点提取;首先，将相机采集到的RGB图像变换到HSV空间；对于Η、S、V三个通道的图像，选取 其中光标记点最明显的S通道图像进行中值滤波，并由给定阈值进行分割，得到二值化图 像;该二值化图像存在噪声，用腐蚀、膨胀的形态处理，将该噪声去掉，检测到光斑区域，但 光斑的数目及光斑中心点的坐标位置需要精确求解;根据均值平移mean shift的聚类思 想，采用mean shift聚类算法求解这些光标记点的图像坐标，为最后受油口与相机相对位 置测量做准备； 色调Η表示颜色的色相，用角度来度量，取值范围为0°~360°，从红色才是按逆时针方 向计算，红色为0°，绿色为120°，蓝色为240° ;饱和度S表示颜色的纯度，其取值范围为0.0~ 1. 〇;亮度V表示颜色的亮度，取值范围为0.0黑色~1.0白色，圆锥的顶面对应于V= 1，代表 的颜色最亮;令max为R、G、B三个分量的最大值，min为三个分量的最小值，r、g、b分别表示三 个分量的值，RGB到HSV的变换的数学公式如下所示：1.2对颜色空间变换后的图像分别在H、S、V通道进行阈值分割： 由于检测对象是受油口附近红色光标记点，通过RGB颜色空间到HSV空间的变换得到三 个通道H、S、V通道图像，其中S通道光标记点最为明显，选择S通道的图像进行特定阈值分 害J，即检测到目标光斑;分割得到的二值图存在噪声点，通过中值滤波及形态学的腐蚀膨胀 算子进行处理； 1.3光标记点中心定位： 在经过以上操作之后，能够获取LED标志点在图像中的区域，在这一基础上，还需要确 定每个区域的中心位置，也就是确定光标记点的中心；不同于背景像素有很多相似块区域 分布在图像各处，显著点往往是聚集在一起;所以认为像素块口:和与其相似的块距离都很 近，则？1是显著的，当相似块都分布在较远区域，则 ?1的显著性不高；因此用cUmc^PuPj) 来度量像素块pdPw之间的距离，即：式中，(^。^也心^^是像素块口雨像素块仍之间的距离^^&^和声^^^表示分 别是像素块Pi和像素块Pj的图像坐标； 结合上面两个特征，对于两个像素块，采用一个相异度计算方法：式中c为系数，dpositiorXpi，Pj )含义与上式相同，cUlor (Pi，Pj )表示像素块Pi和像素块Pj在 颜色空间上的距离； 在计算像素块Pl的显著程度时，选择K个与它最相似的像素块作为参考集，如 果它与参考集的差异度很大，则认为它与图像其他像素块的相异度都很大；因此定义显著 性式中r为尺度； 1.31多尺度显著度增强 由于背景像素块在多尺度上有很多相似的块，而显著像素块只在几个尺度上有类似的 块，故引入多尺度方法来加强显著区域与非显著区域的对比度；因此修正如下：其中rme {R|R={ri，r2. . .γμ}}，rm为尺度，Μ为尺度的数目； 得出像素口:的显著度为它在不同尺度上的均值：1.32区域显著值修正 根据三分法的特性，认为在全局视角上，像素离交点的距离越近，它的显著度越高，所 以显著度公式修正为其中df _ (i)表示像素块?1离交点的距离； 因此能找到显著度最大的像素块，取其中心作为光标记点中心； 步骤二:LED标志点中心点匹配 将块拟合之后的点与标志点的世界坐标进行拟合，计算每个提到的点的图像坐标与所 有标志点的世界坐标转换成图像坐标之后的图像坐标之间的欧式距离，与哪个标志点最 近，就认为提到的某点为该标志点，从而赋予其世界坐标进行后面的计算； 特征点匹配即匹配标记连续帧图像对应特征点的位置；因为已经给出了光标记点匕在 图像上的投影方程，假定从摄像机采集图像提取特征点得到的检测点集为 中P』=(UhU)是图像坐标，而投影点集为同时设对应的投影点集为 …兔j，其中為:= (?·},為)是利用针孔投影成像模型计算得到的在像素坐标系中 的坐标； 当检测特征点与投影特征点匹配上时，两个点集的欧式距离最小;检测点集{Pl，p2，··· pn}和投影点免?/?,丨之间的欧式距离矩阵Err如下，其矩阵的维数为m Xη;点集间对应点的匹配问题用数学指派问题来描述，描述为： 假设有两个点集A，Β，Slk表示集合Α中的点i与集合Β中的点k之间的欧式距离，求解两个 点集的最小欧式距离，即表示为如下公式：S = {sij | sij = dist(ai,bj) ,aieA,bj eB, i = 1···Ν, j = 1···Μ} (12) Sik、Sij和dist(ai,bj)表示点之间的欧氏距离，Xik为示性函数，当点匹配上时值为1，否 则为〇; 求解上述最小欧式距离的解，利用匈牙利算法Hungarian，限于求解方阵即点数相同的 两个点集，以及改进算法Munkres，求解非方阵，即两个点数不一样多的点集； 步骤三:利用高斯最小二乘微分校正算法对受油口相对相机的平移矩阵和旋转矩阵进 行求解 3.1相机成像模型及各个坐标系定义说明： 针对硬管式空中加油问题，假定相机放置在加油机机身尾部下方伸缩管附近某一特定 位置，并事先已标定好;为了获取受油机相对加油机的位置和姿态信息，在受油口附近设置 多个光标记点，用于对受油机机背上受油口的识别和定位，并由事先标定好的光标记点的 相对几何位置关系及摄像机成像系统模型来求解上述位置和姿态信息； 基于视觉的导航系统为加油机和受油机的引导控制系统提供受油机相对加油机的位 置和姿态信息，对这些信息的求解首先需要定义加油机机体坐标系、受油机机体坐标系、摄 像机成像系统坐标系，及受油机坐标系，通过各个坐标系之间的关系来描述其相对几何位 姿关系;各个坐标系的定义如下： Obi-xbiybizbi:受油机机体坐标系； Obl_Xb2yb2Zb2 :加油机机体坐标系； Oc-Xc^Z。:安装在加油机上的摄像机成像坐标系； Od-xdydZd:受油口坐标系； Oe-xeyeze:大地坐标系； 视觉测量的功能就是求解受油机上的受油口坐标系Od-xdydZd的中心Od到加油机伸缩管 附近摄像机坐标系中心0。的距离dD，最后转换为受油机和加油机质心间的相对距离和姿态； 加油机上的相机成像原理采用针孔摄像机数学模型来描述;为了从代数上描述上述几 何投影关系，需要建立摄像机坐标系和图像平面坐标系； 设摄像机坐标表示为〇c-Xcyczc，摄像机的焦距为f;空间点P c在摄像机坐标系中的欧氏 坐标记为(Mc^z。），它的像点p在图像坐标系中的坐标记为(x，y)，根据三角关系，得到下 述关系：上式表述为：图像物理坐标系以摄像机光轴与像平面的交点为原点，以毫米为单位;假设每一个像 素在X轴与y轴方向的物理尺寸为dx.dy，图像物理坐标系原点在图像坐标系中坐标为(u〇， vo)，则在图像坐标系上的点(u，v)与图像物理坐标系中对应点(X，y)的转换关系表示为：为了使用方便，用齐次坐标与矩形形式来表示：而摄像机坐标(^。，2。）同受油口坐标(^，7<!，2(1)的坐标转换是两个三维坐标系之间 的变换，用一个旋转矩阵R与一个位移矩阵t来描述，转换关系的数学表达式如下：3.2基于高斯最小二乘微分校正算法的位姿测量 高斯最小二乘微分校正算法将高斯-牛顿法应用于表示估计点与检测点之间偏差非线 性代价函数的最小化上； 设图像序列在k时刻检测、标记的特征点j的坐标是[uj Vj 1]τ，旋转矩阵R和位移矩阵t 均为未知向量X(k)的估计值叉沐)的函数，利用无沃)将第j个坐标点投影到成像平面，记作 [W,巧1]%重新安排特征点坐标，得到：式1111 =[及外y，I.乂，^ 前三个参数分别是偏航角、俯仰角、滚转角，后三个参数为 相对位移在X，y，z方向上的投影； k时刻处理算法提取达到的像素点集记为G〇(k)，视觉估计误差AG(k)定义为：G〇(k) = [Ul，Vl，......Vm] (17) 高斯最小二乘微分校正算法迭代更新，迭代公式为：其中，i为迭代次数，W(k)为控制矩阵，矿⑷为心⑴的逆，的转置^(k) 和Ai(k)定义如下：为偏导数符号； 迭代过程结束后，即估计点和检测点的位置偏差充分小时，得出估计值 最优解，即解算出旋转矩阵r和位移矩阵t，从而估计出飞机的位 姿。
【文档编号】G06T7/00GK105825505SQ201610143150
【公开日】2016年8月3日
【申请日】2016年3月14日
【发明人】段海滨, 张聪, 李聪
【申请人】北京航空航天大学