专利名称：一种用于飞行器的目标跟踪与定位方法和装置的制作方法
技术领域：
本发明涉及计算机视觉和飞行器目标跟踪领域，特别涉及一种基于记载双目视觉的用于飞行器的目标跟踪与定位方法和装置。
背景技术：
随着微电子技术和计算机视觉技术的不断发展，使得目标跟踪得以实时实现，尤其是将目标跟踪装置安装到飞行器上，可以实现对目标的灵活动态跟踪，在军事和民用领域具有较高的使用价值。传统飞行器的目标跟踪技术中，通常使用激光、雷达和超声等主动环境感知方法，其缺点为并不能直接获得目标的未知信息，并且多个飞行器检测时会相互干扰，更为弊端 的是在战场环境中隐蔽性差，被敌方发现的概率大的增加。目前，双目视觉技术在飞行器中的应用主要集中在与惯导数据融合进行导航、自主着陆、目标检测等。其中，双目视觉技术与惯导数据融合进行导航主要应用于飞行器自主控制，并不涉及对环境进行感知；基于双目视觉技术的自主着陆、目标检测虽然涉及环境的感知，但是针对的目标往往是人工、静止的目标，并且其定位方法大多还要依赖其它传感器的数据。
发明内容
本发明g在至少解决上述技术问题之一。为此，本发明的ー个目的在于提出ー种追踪效果好、可获得目标位置的用于飞行器的目标跟踪与定位方法。本发明的另一目的在于提出ー种追踪效果好、可获得目标位置的用于飞行器的目标跟踪与定位装置。为了实现上述目的，根据本发明第一方面的用于飞行器的目标跟踪与定位方法包括以下步骤对所述飞行器机载的第一相机和第二相机进行标定以获得所述第一相机和第二相机的标定參数；指定需要跟踪与定位的目标的特征信息；根据所述标定參数，对所述第一相机和所述第二相机获得的第一相机图像和第二相机图像进行校正，得到第一相机校正图像和第二相机校正图像；根据所述第一相机校正图像和第二相机校正图像，并生成以所述第一相机校正图像为基准的视差图像；參照所述特征信息，利用所述第一相机校正图像和所述视差图像，对所述目标进行跟踪以获取所述目标所在的目标区域；以及在所述第一相机校正图像中提取所述目标区域的特征点，并与所述第二相机校正图像进行匹配，根据匹配成功的所述特征点计算所述目标的位置信息。在本发明的一个实施例中，所述标定參数包括所述第一相机的内參矩阵、所述第二相机的内參矩阵、所述第二相机相对所述第一相机的位置关系矩阵。在本发明的一个实施例中，所述特征信息包括所述目标的顔色、纹理、几何特征信
O在本发明的一个实施例中，根据OpenCV提供的求取视差图的SGBM方法求取所述视差图像。
在本发明的一个实施例中，根据重要性重采样粒子滤波算法跟踪所述目标。 在本发明的一个实施例中，使用尺度不变特征转换算法提取所述特征点。根据本发明实施例的方法具有如下优点I.跟踪效果好，在传统的目标跟踪算法中利用的目标特征信息仅包含目标点的ニ维图像信息，而本发明的方法跟踪时利用了视 差图的信息，从而在跟踪过程中利用了目标的深度信息，可以达到更好的跟踪效果。2.可以获取跟踪目标的位置信息，与传统的目标跟踪和识别方法相比，该方法可以获取目标的位置信息，为进ー步对目标进行观测提供了信息。3.隐蔽性好，该方法采用双目视觉的被动检测方法，不需要接收外部信息亦不主动向外界发射信息，在特殊应用场景如战场环境下具有很好的隐蔽性。为了实现上述目的，根据本发明第二方面的用于飞行器的目标跟踪与定位装置，包括第一相机和第二相机，分别用于获取第一相机图像和第二相机图像；參数标定模块，用于对所述第一相机和第二相机进行标定，以获得并保存所述第一相机和第二相机的标定參数；目标特征输入模块，用于指定需要追踪与定位的目标的特征信息；图像校正模块，用于根据所述标定參数，对所述第一相机图像和第二相机图像进行校正，获得第一相机校正图像和第二相机校正图像；视差图像生成模块，用于根据所述第一相机校正图像和第二相机校正图像，生成以所述第一相机校正图像为基准的视差图像；目标区域跟踪模块，用于參照所述特征信息，利用所述第一相机校正图像和所述视差图像，对所述目标进行跟踪，获取所述目标所在的目标区域；目标位置计算模块，用于提取所述目标区域的特征点，并对所述第二相机校正图像进行匹配，根据匹配成功的所述特征点计算所述目标的位置信息。在本发明的一个实施例中，所述标定參数包括所述第一相机的内參矩阵、所述第二相机的内參矩阵、所述第二相机相对所述第一相机的位置关系矩阵。在本发明的一个实施例中，所述特征信息包括所述目标的顔色、纹理、几何特征信
O在本发明的一个实施例中，根据OpenCV提供的求取视差图的SGBM方法求取所述视差图像。在本发明的一个实施例中，根据重要性重采样粒子滤波算法跟踪所述目标。在本发明的一个实施例中，使用尺度不变特征转换算法提取所述特征点。根据本发明实施例的装置，具有如下优点I.跟踪效果好，在传统的目标跟踪算法中利用的目标特征信息仅包含目标点的ニ维图像信息，而本发明的方法跟踪时利用了视差图的信息，从而在跟踪过程中利用了目标的深度信息，可以达到更好的跟踪效果。2.可以获取跟踪目标的位置信息，与传统的目标跟踪和识别方法相比，该方法可以获取目标的位置信息，为进ー步对目标进行观测提供了信息。3.隐蔽性好，该方法采用双目视觉的被动检测方法，不需要接收外部信息亦不主动向外界发射信息，在特殊应用场景如战场环境下具有很好的隐蔽性。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，图I是根据本发明ー个实施例的用于飞行器的目标跟踪与定位方法的流程图；图2是根据本发明ー个实施例的机载的第一相机和第二相机的不意图；以及图3是根据本发明ー个实施例的用于飞行器的目标跟踪与定位装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过參考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。下面參考附图描述根据本发明实施例的用于飞行器的目标跟踪与定位方法及装置。图I是根据本发明ー个实施例的用于飞行器的目标跟踪与定位方法的流程图。如图I所示，根据本发明的用于飞行器的目标跟踪与定位方法包括下述步骤步骤S101.对飞行器机载的第一相机和第二相机进行标定以获得第一相机和第二相机的标定參数。在本发明的一个实施例中，如图2所示，飞行器装载了左侧的第一相机与右侧的第二相机。该第一相机与第二相机并列平行放置，且二者的朝向取决于目标出现的方位。需要说明的是，第一相机和第二相机的相对左右位置可以灵活设置，在另ー些实施例中也可以将双目视觉系统中的右侧的相机定义为第一相机、左侧的相机定义为第二相机。对该第一相机和第二相机进行标定，获得标定參数。标定的意义主要在于确定第一相机和第二相机之间的位置关系，其数学表述为ー个位置变换矩阵，即以第一相机的坐标系和第二相机的坐标系之间的转换关系。具体地，标定參数是指第一相机的内參矩阵、第二相机的内參矩阵，以及第二相机相对第一相机的位置关系矩阵(包括旋转矩阵和平移向量)。步骤S102.指定需要跟踪与定位的目标的特征信息。在本发明的一个实施例中，指定目标的方法可为在线或离线人工指定，具体操作为，在显示窗ロ上用矩形框框住所要跟踪的目标。人工框选完目标后，图像软件会自动分析出该目标的特征信息。特征信息包括需要追踪与定位的目标的颜色、纹理、几何特征信息，需要指出的是，此处的特征信息都属于ニ维图像特征信息，可为后续例子中的滤波跟踪算法提供一部分特征向量。步骤S103.根据标定參数，对第一相机和第二相机获得的第一相机图像和第二相机图像进行校正，得到第一相机校正图像和第二相机校正图像。在本发明的一个实施例中，根据步骤SlOl中标定后得到的两架相机各自的内參矩阵和两架相机之间的位置关系矩阵，结合相机自身物理參数(包括焦距、成像原点、畸变系数等)，分别对第一相机图像和第二相机图像进行消除镜头畸变和行对准，使得原来两幅图像的成像原点坐标一致、光轴平行、两个相机的成像平面共面、以及对极线行对齐，即获得了第一相机校正图像和第二相机校正图像。步骤S104.根据第一相机校正图像和第二相机校正图像，并生成以第一相机校正图像为基准的视差图像。在本发明的一个实施例中，可以用OpenCV软件提供的SGBM方法来求取视差图像。SGBM方法能兼顾处理效率和处理效 果，是本领域较常用的求取视差图像的方法之一。步骤S105.參照特征信息，利用第一相机校正图像和视差图像，对目标进行跟踪以获取目标所在的目标区域。具体地首先，将第一相机校正图像和视差图像进行融合，形成具有深度值通道的混合图像。例如，当第一相机校正图像为RGB色彩模式吋，与包含深度值D的视差图融合，得到四维的RGBD混合图像；同理，当第一相机校正图像为YUV色彩模式吋，与包含深度值D的视差图融合，得到四维的YUVD混合图像。其次，根据步骤S102中指定的目标，找到该目标在混合图像中对应的位置，记录下该目标的ニ维图像特征信息和深度特征信息，然后进行滤波追踪。在本发明的一个优选实施例中，根据重要性重采样粒子滤波算法跟踪目标。在该滤波算法中，选取该RGB色调空间(或YUV色调空间)的直方图向量fVl以及视差图深度值的直方图向量作为特征向量fV2。按公式fvKfv/，fv2T)T计算得到综合特征向量fv。第i个粒子所在区域得到的目标特征向量fVi的相似度为两向量的差的I1范数I |fVi_fV|し其它粒子滤波步骤不变。由此可以追踪得到目标区域。步骤S106.在第一相机校正图像中提取目标区域的特征点，并与第二相机校正图像进行匹配，根据匹配成功的特征点计算目标的位置信息。具体地，提取第一相机校正图像的目标区域中的特征点，并在第二相机校正图像中进行匹配，得到若干个匹配成功的特征点。优选地，采用尺度不变特征转换算法(SIFT)进行特征点匹配。随后计算所有成功匹配的特征点的均值，并将该均值对应作为目标的中心位置。然后利用双目测距原理求取机载坐标系下该中心位置的坐标，并以此作为目标的位置信息。根据本发明实施例的用于飞行器的目标跟踪与定位方法具有如下优点I.跟踪效果好，在传统的目标跟踪算法中利用的目标特征信息仅包含目标点的ニ维图像信息，而本发明的方法跟踪时利用了视差图的信息，从而在跟踪过程中利用了目标的深度信息，可以达到更好的跟踪效果。2.可以获取跟踪目标的位置信息，与传统的目标跟踪和识别方法相比，该方法可以获取目标的位置信息，为进ー步对目标进行观测提供了信息。3.隐蔽性好，该方法采用双目视觉的被动检测方法，不需要接收外部信息亦不主动向外界发射信息，在特殊应用场景如战场环境下具有很好的隐蔽性。图3是根据本发明ー个实施例的用于飞行器的目标跟踪与定位装置的结构框图。如图3所示，用于飞行器的目标跟踪与定位装置包括下述部分第一相机100A和第二相机100B、參数标定模块200、目标特征输入模块300、图像校正模块400、视差图像生成模块500、目标区域跟踪模块600和目标位置计算模块700。其中第一相机100A和第二相机100B分别用于获取第一相机图像和第二相机图像。具体地，在某个飞行器上装载了左侧的第一相机100A与右侧的第二相机100B。该第一相机100A与第二相机100B并列平行放置，且二者的朝向取决于目标出现的方位。需要说明的是，第一相机和第二相机的相对左右位置可以灵活设置，在另ー些实施例中也可以将双目视觉系统中的右侧的相机定义为第一相机、左侧的相机定义为第二相机。參数标定模块200用于对第一相机100A和第二相机100B进行标定，以获得并保存第一相机100A和第二相机100B的标定參数。具体地，參数标定模块200对该第一相机100A和第二相机100B进行标定，获得标定參数。标定的意义主要在于确定第一相机和第二相机之间的位置关系，其数学表述为ー个位置变换矩阵，即以第一相机的坐标系和第二相机的坐标系之间的转换关系。在本发明的一个实施例中，标定參数是指第一相机100A的内參矩阵、第二相机100B的内參矩阵，以及第二相机相对第一相机的位置关系矩阵(包括旋转矩阵和平移向量)。目标特征输入模块300用于指定需要追踪与定位的目标的特征信息。在本发明的一个实施例中，目标特征输入模块300中指定目标的方法可为在线或离线人工指定，具体操作为，在显示窗口上用矩形框框住所要跟踪的目标。人工框选完目标 后，图像软件会自动分析出该目标的特征信息。特征信息包括需要追踪与定位的目标的颜色、纹理、几何特征信息，需要指出的是，此处的特征信息都属于ニ维图像特征信息，可为后续例子中的滤波跟踪算法提供一部分特征向量。图像校正模块400用于根据标定參数，对第一相机图像和第二相机图像进行校正，获得第一相机校正图像和第二相机校正图像。在本发明的一个实施例中，图像校正模块400根据參数标定模块200得到的两架相机各自的内參矩阵和两架相机之间的位置关系矩阵，结合相机自身物理參数(包括焦距、成像原点、畸变系数等)，分别对第一相机图像和第二相机图像进行消除镜头畸变和行对准，使得原来两幅图像的成像原点坐标一致、光轴平行、两个相机的成像平面共面、以及对极线行对齐，即获得了第一相机校正图像和第二相机校正图像。视差图像生成模块500用于根据第一相机校正图像和第二相机校正图像，生成以第一相机校正图像为基准的视差图像。在本发明的一个实施例中，视差图像生成模块500可以用OpenCV软件提供的SGBM方法来求取视差图像。SGBM方法能兼顾处理效率和处理效果，是本领域较常用的求取视差图像的方法之一。目标区域跟踪模块600用于參照特征信息，利用第一相机校正图像和视差图像，对目标进行跟踪，获取目标所在的目标区域。具体地，目标区域跟踪模块600中，首先将第一相机校正图像和视差图像进行融合，形成具有深度值通道的混合图像。例如，当第一相机校正图像为RGB色彩模式时，与包含深度值D的视差图融合，得到四维的RGBD混合图像；同理，当第一相机校正图像为YUV色彩模式时，与包含深度值D的视差图融合，得到四维的YUVD混合图像。其次根据指定的目标，找到该目标在混合图像中对应的位置，记录下该目标的ニ维图像特征信息和深度特征信息，然后进行滤波追踪。在本发明的一个优选实施例中，根据重要性重采样粒子滤波算法跟踪目标。在该滤波算法中，选取该RGB色调空间(或YUV色调空间)的直方图向量fVl以及视差图深度值的直方图向量作为特征向量fv2。按公式fV=(fVlT，fv2T)T计算得到综合特征向量fv。第i个粒子所在区域得到的目标特征向量fVi的相似度为两向量的差的I1范数I |fVi-fV|し其它粒子滤波步骤不变。由此可以追踪得到目标区域。
目标位置计算模块700用于提取目标区域的特征点，并对第二相机校正图像进行匹配，根据匹配成功的特征点计算目标的位置信息。具体地，目标位置计算模块700中，提取第一相机校正图像的目标区域中的特征点，并在第二相机校正图像中进行匹配，得到若干个匹配成功的特征点。优选地，采用尺度不变特征转换算法(SIFT)进行特征点匹配。随后计算所有成功匹配的特征点的均值，并将该均值对应作为目标的中心位置。然后利用双目测距原理求取机载坐标系下该中心位置的坐标，并以此做为目标的位置信息。在本说明书的描述中，參考术语“ー个实施例”、“ー些实施例”、“示例”、“具体示例”、或“ 一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少ー个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
1.一种用于飞行器的目标跟踪与定位方法，其特征在于，包括以下步骤 A.对所述飞行器机载的第一相机和第二相机进行标定以获得所述第一相机和第二相机的标定參数； B.指定需要跟踪与定位的目标的特征信息； C.根据所述标定參数，对所述第一相机和所述第二相机获得的第一相机图像和第二相机图像进行校正，得到第一相机校正图像和第二相机校正图像； D.根据所述第一相机校正图像和第二相机校正图像，并生成以所述第一相机校正图像为基准的视差图像； E.參照所述特征信息，利用所述第一相机校正图像和所述视差图像，对所述目标进行跟踪以获取所述目标所在的目标区域；以及 F.在所述第一相机校正图像中提取所述目标区域的特征点，并与所述第二相机校正图像进行匹配，根据匹配成功的所述特征点计算所述目标的位置信息。
2.如权利要求I所述的用于飞行器的目标跟踪与定位方法，其特征在于，所述标定參数包括所述第一相机的内參矩阵、所述第二相机的内參矩阵、所述第二相机相对所述第一相机的位置关系矩阵。
3.如权利要求I所述的用于飞行器的目标跟踪与定位方法，其特征在于，所述特征信息包括所述目标的颜色、纹理、几何特征信息。
4.如权利要求I所述的用于飞行器的目标跟踪与定位方法，其特征在于，根据OpenCV提供的求取视差图的SGBM方法求取所述视差图像。
5.如权利要求I所述的用于飞行器的目标跟踪与定位方法，其特征在于，根据重要性重采样粒子滤波算法跟踪所述目标。
6.如权利要求I所述的用于飞行器的目标跟踪与定位方法，其特征在于，使用尺度不变特征转换算法提取所述特征点。
7.一种用于飞行器的用于飞行器的目标跟踪与定位装置，其特征在于，包括以下部分 第一相机和第二相机，分别用于获取第一相机图像和第二相机图像； 參数标定模块，用于对所述第一相机和第二相机进行标定，以获得并保存所述第一相机和第二相机的标定參数； 目标特征输入模块，用于指定需要追踪与定位的目标的特征信息； 图像校正模块，用于根据所述标定參数，对所述第一相机图像和第二相机图像进行校正，获得第一相机校正图像和第二相机校正图像； 视差图像生成模块，用于根据所述第一相机校正图像和第二相机校正图像，生成以所述第一相机校正图像为基准的视差图像； 目标区域跟踪模块，用于參照所述特征信息，利用所述第一相机校正图像和所述视差图像，对所述目标进行跟踪，获取所述目标所在的目标区域；以及 目标位置计算模块，用于提取所述目标区域的特征点，并对所述第二相机校正图像进行匹配，根据匹配成功的所述特征点计算所述目标的位置信息。
8.如权利要求7所述的用于飞行器的目标跟踪与定位装置，其特征在于，所述标定參数包括所述第一相机的内參矩阵、所述第二相机的内參矩阵、所述第二相机相对所述第一相机的位置关系矩阵。
9.如权利要求7所述的用于飞行器的目标跟踪与定位装置，其特征在于，所述特征信息包括所述目标的顔色、纹理、几何特征信息。
10.如权利要求7所述的用于飞行器的目标跟踪与定位装置，其特征在于，根据OpenCV提供的求取视差图的SGBM方法求取所述视差图像。
11.如权利要求7所述的用于飞行器的目标跟踪与定位装置，其特征在于，根据重要性重采样粒子滤波算法跟踪所述目标。
12.如权利要求7所述的用于飞行器的目标跟踪与定位装置，其特征在于，使用尺度不变特征转换算法提取所述特征点。
全文摘要
本发明提出一种用于飞行器的目标跟踪与定位方法及装置，该方法包括步骤对机载的第一相机和第二相机进行标定以获得标定参数；指定需要跟踪与定位的目标的特征信息；根据标定参数，对第一相机和第二相机获得的第一相机图像和第二相机图像进行校正；根据第一相机校正图像和第二相机校正图像，并生成以第一相机校正图像为基准的视差图像；参照特征信息，利用第一相机校正图像和视差图像，对目标进行跟踪以获取目标所在的目标区域；以及在第一相机校正图像中提取目标区域的特征点，并与第二相机校正图像进行匹配，根据匹配成功的特征点计算目标的位置信息。根据本发明的方法，可以更好地追踪目标、并可以获得目标的位置信息。
文档编号G06T7/20GK102779347SQ20121019943
公开日2012年11月14日 申请日期2012年6月14日 优先权日2012年6月14日
发明者戴琼海, 李一鹏, 王玉旺 申请人:清华大学