一种图像获取方法及装置、自主定位导航系统、计算设备与流程

本发明涉及导航技术领域，尤其涉及一种图像获取方法及装置、自主定位导航系统、计算设备。

背景技术：

导航系统根据采用硬件的不同，可分为视觉导航系统和非视觉导航系统，其中，非视觉导航系统主要包括gps导航，声音导航以及电磁导航。由于gps导航存在定位精度低、可靠性不高、定位区域限制等问题，而且视觉导航系统具有很高的空间分辨率，探测范围广、精度高，能够获取场景中的大部分信息等特点，因此，视觉导航系统得到越来越多的业界关注。

基于视觉导航系统的特性，通过搭载可见光摄像头，使其能在复杂未知环境中实时获得场景信息，不依赖任何外部定位设备进行自主定位及自主视觉避障、跟踪及返航等功能，从而实现无人机的自主定位及导航。

然而，目前常见的视觉导航系统包括：单目视觉系统以及双目视觉导航系统，其中，双目视觉导航系统通常使用两个平行设置的呈固定夹角的摄像头，并以摄像头拍摄的共同区域的图像为处理对象，其视场角一般为60度左右，导致可获取的场景信息较少；而单目视觉系统中为获取较多的场景信息，使用特殊的光学镜片获得较大的视场角，但同时也使获取的图像畸变严重，影响后期测算的准确性和精准度。

综上所述，双目视觉导航系统中，在不改变摄像装置的光学器件的基础上，如何获得较大视场角。

技术实现要素：

本发明实施例提供的一种图像获取方法，应用于包括多目摄像装置的无人机，该方法包括：

接收图像采集指令，并根据所述图像采集指令，利用所述多目摄像装置采集原始图像；

对所述原始图像进行调整，得到行对准图像；

利用所述行对准图像，生成拼接后的视场图像。

本发明实施例通过利用多目摄像装置采集原始图像，并将原始图像进行拼接的方法，获得大视场角的图像，从而为后期测算运动轨迹提供了更多的场景信息；而且由于并未改变摄像装置的镜头，也就避免了采集到的图像的畸变的问题，为后期测算运动轨迹提供了高分辨率的图像，从而提高了测算的准确性。

较佳地，在利用所述多目摄像装置采集原始图像之前，该方法还包括：

调整所述多目摄像装置中的光学器件的相对位置。

较佳地，所述光学器件的相对位置包括，所述光学器件的光心的距离和光轴的夹角；或者，所述光学器件的相对位置包括，所述多目摄像装置中任一光学器件相对于所述多目摄像装置中另一光学器件的相对位置坐标。

较佳地，对所述原始图像进行调整，得到行对准图像，包括：

根据调整后的所述光学器件的相对位置，分别计算出每两个光学器件之间的旋转矩阵和平移矩阵；

根据所述旋转矩阵和平移矩阵，对所述原始图像进行旋转变换。

较佳地，根据调整后的所述光学器件的相对位置，分别计算出每两个光学器件之间的旋转矩阵和平移矩阵，包括：

根据所述采集装置的相对位置关系，采用旋转矩阵算法，确定所述原始图像的旋转矩阵和平移矩阵。

较佳地，所述原始图像包括，多幅采集到的图像；其中，

利用所述行对准图像，生成拼接后的视场图像，包括：

在多幅行对准图像中任选一幅行对准图像，并确定选取的行对准图像中的最优搜索区域；

基于图像配准算法，以确定的最优搜索区域为基准区域，从除选取的行对准图像以外的任一行对准图像中，确定相似度最高的区域为最佳匹配区域；

根据确定的最佳匹配区域，采用图像拼接算法，生成拼接后的视场图像。

较佳地，在生成拼接后的视场图像之后，该方法还包括：

采用加权平滑算法，对拼接后的视场图像进行图像融合处理。

本发明实施例提供的一种图像获取装置，应用于包括多目摄像装置的无人机，该装置包括：

图像采集模块，用于接收图像采集指令，并根据所述图像采集指令，利用所述多目摄像装置采集原始图像；

行对准模块，用于对所述原始图像进行调整，得到行对准图像；

图像拼接模块，用于利用所述行对准图像，生成拼接后的视场图像。

本发明中的实施例利用多目摄像装置采集原始图像，并将原始图像进行拼接的方法，获得大视场角的图像，从而为后期测算运动轨迹提供了更多的场景信息；而且由于并未改变摄像装置的镜头，也就避免了采集到的图像的畸变的问题，为后期测算运动轨迹提供了高分辨率的图像，从而提高了测算的准确性。

较佳地，所述图像采集模块，还用于：

调整所述多目摄像装置中的光学器件的相对位置。

较佳地，所述光学器件的相对位置包括，所述光学器件的光心的距离和光轴的夹角；或者，所述光学器件的相对位置包括，所述多目摄像装置中任一光学器件相对于所述多目摄像装置中另一光学器件的相对位置坐标。

较佳地，所述行对准模块，具体用于：

根据调整后的所述光学器件的相对位置，分别计算出每两个光学器件之间的旋转矩阵和平移矩阵；

根据所述旋转矩阵和平移矩阵，对所述原始图像进行旋转变换。

较佳地，所述原始图像包括，多幅采集到的图像；其中，

所述图像拼接模块，具体用于：

在多幅行对准图像中任选一幅行对准图像，并确定选取的行对准图像中的最优搜索区域；

以确定的最优搜索区域为基准区域，从除选取的行对准图像以外的任一行对准图像中，确定相似度最高的区域为最佳匹配区域；

根据确定的最佳匹配区域，采用图像拼接算法，生成拼接后的视场图像。

较佳地，所述图像拼接模块，还用于：

采用加权平滑算法，对拼接后的视场图像进行图像融合处理。

本发明实施例提供的一种计算设备，所述计算设置包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：

接收图像采集指令，并根据所述图像采集指令，利用所述多目摄像装置采集原始图像；对所述原始图像进行调整，得到行对准图像；利用所述行对准图像，生成拼接后的视场图像。

本发明中的实施例利用多目摄像装置采集原始图像，并将原始图像进行拼接的方法，获得大视场角的图像，从而为后期测算运动轨迹提供了更多的场景信息；而且由于并未改变摄像装置的镜头，也就避免了采集到的图像的畸变的问题，为后期测算运动轨迹提供了高分辨率的图像，从而提高了测算的准确性。

较佳地，在利用所述多目摄像装置采集原始图像之前，所述处理器还用于：

调整所述多目摄像装置中的光学器件的相对位置。

较佳地，所述光学器件的相对位置包括，所述光学器件的光心的距离和光轴的夹角。

较佳地，所述光学器件的相对位置包括，所述多目摄像装置中任一光学器件相对于所述多目摄像装置中另一光学器件的相对位置坐标。

较佳地，对所述原始图像进行调整，得到行对准图像，所述处理器具体用于：

根据调整后的所述光学器件的相对位置，分别计算出每两个光学器件之间的旋转矩阵和平移矩阵；

根据所述旋转矩阵和平移矩阵，对所述原始图像进行旋转变换。

较佳地，所述原始图像包括，多幅采集到的图像；其中，

利用所述行对准图像，生成拼接后的视场图像，所述处理器具体用于：

在多幅行对准图像中任选一幅行对准图像，并确定选取的行对准图像中的最优搜索区域；

以确定的最优搜索区域为基准区域，从除选取的行对准图像以外的任一行对准图像中，确定相似度最高的区域为最佳匹配区域；

根据确定的最佳匹配区域，采用图像拼接算法，生成拼接后的视场图像。

较佳地，在生成拼接后的视场图像之后，所述处理器还用于：

采用加权平滑算法，对拼接后的视场图像进行图像融合处理。

本发明实施例提供的一种自主定位导航系统，该系统包括，上述的图像获取装置、多目摄像装置以及控制装置；其中，

所述控制装置向所述图像获取装置发送图像采集指令；

所述图像获取装置根据接收到的所述图像采集指令，利用所述多目摄像装置采集原始图像；对所述原始图像进行调整，得到行对准图像；利用所述行对准图像，生成拼接后的视场图像；从两幅时间连续的拼接后的视场图像中，分别提取位置相对应的特征点，得到特征点对，并判断所述特征点对是否满足预设匹配条件；若是，则根据满足预设匹配条件的特征点对的相关信息，确定用于自主导航的移动信息；并将确定的移动信息反馈给所述控制装置；

所述控制装置根据接收到的移动信息，确定移动路线。

本发明中的实施例利用多目摄像装置采集原始图像，并将原始图像进行拼接的方法，获得大视场角的图像，从而为后期测算运动轨迹提供了更多的场景信息；而且由于并未改变摄像装置的镜头，也就避免了采集到的图像的畸变的问题，为后期测算运动轨迹提供了高分辨率的图像，从而提高了测算的准确性。

较佳地，该系统还包括，用于测量与目标点的距离的测距装置；

在所述多目摄像装置采集原始图像之前，所述控制装置向所述测距装置发送用于测量与所述目标点的距离的测量指令；

所述测距装置向所述图像获取装置发送测量结果；

所述图像获取装置根据接收到的测量结果，调整所述多目摄像装置中的光学器件的相对位置；并根据调整后的所述光学器件的相对位置，对所述原始图像进行调整，得到行对准图像。

本发明实施例首先对原始图像进行采集，而后进行图像校正、拼接，得到大视场角的图像，并从拼接后的图像中选取两帧连续的图像，并根据同时出现在这两帧图像中的目标点，确定特征点对，在根据特征点对的坐标确定该特征点对的运动轨迹。本发明实施例中拼接得到的图像，相比现有技术中采集到的原始图像的视场角更大，同时也避免了单目视觉系统的采集到的图像的畸变的问题，提升了运动轨迹的准确性。

附图说明

图1为本发明实施例一提供的一种图像获取方法的流程示意图；

图2为本发明实施例一提供的多目摄像装置中光学器件的相对位置的示意图；

图3为本发明实施例二提供的一种图像获取装置的结构示意图；

图4为本发明实施例三提供的一种计算设备的结构示意图；

图5为本发明实施例四提供的一种自主定位导航系统的结构示意图；

图6为本发明实施例五提供的一种确定移动信息的方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

参见图1，本发明实施例一提供了一种图像获取方法，该方法应用于多目摄像装置的无人机上，该方法包括：

s101、接收图像采集指令，并根据所述图像采集指令，利用所述多目摄像装置采集原始图像；

s102、对所述原始图像进行调整，得到行对准图像；

s103、利用所述行对准图像，生成拼接后的视场图像。

在利用所述多目摄像装置采集原始图像之前，步骤s101还包括：调整所述多目摄像装置中的光学器件的相对位置。具体为，根据与预设的目标点的距离，调整多目摄像装置中的光学器件的相对位置。

步骤s102中对原始图像进行调整的方法，具体包括：

根据调整后的多目摄像装置中的光学器件的相对位置，利用三维重建理论，采用旋转矩阵算法，确定一幅原始图像相对于另一幅原始图像的第一旋转矩阵和第一平移矩阵；

按照确定的第一旋转矩阵和第一平移矩阵，对该原始图像进行旋转，从而得到旋转后的图像，此时，旋转后的图像与另一幅原始图像的像素行实现一一对应，即得到两幅行对准的图像。

其中，所述光学器件的相对位置包括：所述光学器件的光心的水平距离以及光轴的夹角；为便于理解，若多目摄像装置为双目相机时，光学器件的光心之间的水平距离d，光轴的夹角θ，可参见图2。或者，所述光学器件的相对位置包括：一光学器件相对于另一光学器件的相对位置坐标点。

本发明中的光学器件的相对位置并不仅限于实施例一中列举的这两种参数，其它能够确定多目摄像装置采集到的图像的范围的位置关系的参数也包含在本申请保护的范围内。

具体地，确定一光学器件相对于另一光学器件的相对位置坐标点的方法，包括：以一光学器件所在的坐标系为参考坐标系，其中，所述参考坐标系的垂直坐标轴为该光学器件的光轴；采用棋盘格标定法确定，确定两个光学器件分别在参考坐标系中的坐标，从而确定该光学器件相对于另一光学器件的相对位置坐标点。

此外，对原始图像的旋转的方法，既可以为以某一原始图像为参考位置，将另一图像进行旋转和/或平移，或者为同时对两个原始图像同时旋转和/或平移。只要两幅原始图像最终达到共面且行对准即可，并不局限于上述两种旋转的方法。

由于利用多目摄像装置采集到的原始图像为多幅图像，即在同一时间采集到多幅不同的图像，且任一采集到的图像与采集到的其他图像有相同区域，因此，步骤s103中对行对准的图像的拼接方法，具体包括：

基于图像配准算法，在行对准的图像的共同区域的范围内，确定匹配度最高的区域为最佳匹配区域；根据确定的最佳匹配区域，对所述行对准的图像进行拼接。

其中，确定最佳匹配区域的方法，具体包括：

在多幅行对准图像中任选一幅，并确定选取的行对准图像中的最优搜索区域；以确定的最优搜索区域为基准区域，从除选取的行对准图像以外的任一行对准图像中，确定相似度最高的区域为最佳匹配区域。

然而，由于环境光、设备等因素的影响，即使是同一时间、相同型号、相同参数的两个光学器件分别采集到的原始图像，只简单的提取像素特征点对的均值进行拼接，在两张原始图像的结合区域仍然会产生拼接缝隙，因此，在对行对准的图像进行拼接之后，该方法还包括：对拼接后的图像进行图像融合处理。

具体地，采用加权平滑算法对拼接后的图像进行处理，从而消除拼接后的图像中拼接处亮度强弱不均一或色彩的不连续性的问题。

实施例二：

参见图3，本发明实施例二提供的一种图像获取装置，应用在多目摄像装置的无人机上，该装置包括：

图像采集模块301，用于接收图像采集指令，并根据所述图像采集指令，利用所述多目摄像装置采集原始图像；

行对准模块302，用于对所述原始图像进行调整，得到行对准图像；

图像拼接模块303，用于利用所述行对准图像，生成拼接后的视场图像。

具体地，在利用所述多目摄像装置采集原始图像之前，所述图像采集模块301，还用于：

调整所述多目摄像装置中的光学器件的相对位置。

具体地，所述光学器件的相对位置包括，所述光学器件的光心的距离和光轴的夹角。或者，所述光学器件的相对位置包括，所述多目摄像装置中任一光学器件相对于所述多目摄像装置中另一光学器件的相对位置坐标。

具体地，所述行对准模块302，具体用于：

根据调整后的所述光学器件的相对位置，分别计算出每两个光学器件之间的旋转矩阵和平移矩阵；

根据所述旋转矩阵和平移矩阵，对所述原始图像进行旋转变换。

具体地，所述原始图像包括，多幅采集到的图像；其中，

所述图像拼接模块303，具体用于：

在多幅行对准图像中任选一幅行对准图像，并确定选取的行对准图像中的最优搜索区域；

以确定的最优搜索区域为基准区域，从除选取的行对准图像以外的任一行对准图像中，确定相似度最高的区域为最佳匹配区域；

根据确定的最佳匹配区域，采用图像拼接算法，生成拼接后的视场图像。

具体地，所述图像拼接模块303，还用于：

采用加权平滑算法，对拼接后的视场图像进行图像融合处理。

实施例三：

参见图4，本发明实施例三提供的一种计算设备，所述计算设置包括：

存储器401，用于存储程序指令；

处理器402，用于调用所述存储器中存储的程序指令，按照获得的程序执行：接收图像采集指令，并根据所述图像采集指令，利用所述多目摄像装置采集原始图像；对所述原始图像进行调整，得到行对准图像；利用所述行对准图像，生成拼接后的视场图像。

具体地，在利用所述多目摄像装置采集原始图像之前，所述处理器402还用于：调整所述多目摄像装置中的光学器件的相对位置。

具体地，所述光学器件的相对位置包括，所述光学器件的光心的距离和光轴的夹角。或者，所述光学器件的相对位置包括，所述多目摄像装置中任一光学器件相对于所述多目摄像装置中另一光学器件的相对位置坐标。

具体地，对所述原始图像进行调整，得到行对准图像，所述处理器402具体用于：

根据调整后的所述光学器件的相对位置，分别计算出每两个光学器件之间的旋转矩阵和平移矩阵；

根据所述旋转矩阵和平移矩阵，对所述原始图像进行旋转变换。

具体地，所述原始图像包括，多幅采集到的图像；其中，

利用所述行对准图像，生成拼接后的视场图像，所述处理器402具体用于：

在多幅行对准图像中任选一幅行对准图像，并确定选取的行对准图像中的最优搜索区域；

以确定的最优搜索区域为基准区域，从除选取的行对准图像以外的任一行对准图像中，确定相似度最高的区域为最佳匹配区域；

根据确定的最佳匹配区域，采用图像拼接算法，生成拼接后的视场图像。

具体地，在生成拼接后的视场图像之后，所述处理器402还用于：

采用加权平滑算法，对拼接后的视场图像进行图像融合处理。

实施例四：

参见图5，本发明实施例四提供的一种自主定位导航系统，该系统包括，图像获取装置501、多目摄像装置502以及控制装置503；其中，

所述控制装置503向所述图像获取装置501发送图像采集指令

所述图像获取装置501根据接收到的所述图像采集指令，利用所述多目摄像装置502采集原始图像；所述图像获取装置501对所述原始图像进行调整，得到行对准图像；所述图像获取装置501利用所述行对准图像，生成拼接后的视场图像；所述图像获取装置501从两幅时间连续的拼接后的视场图像中，分别提取位置相对应的特征点，得到特征点对，并判断所述特征点对是否满足预设匹配条件；若是，则根据满足预设匹配条件的特征点对的相关信息，确定用于自主导航的移动信息；并将确定的移动信息反馈给所述控制装置503；

所述控制装置503根据接收到的移动信息，确定移动路线；进一步通过移动路线确定返航路线。

具体地，所述图像获取装置501两帧连续的拼接后的视场图像中提取满足预设匹配条件，包括：

以选取的两帧时间连续的拼接后的视场图像为处理对象，采用orb角点检测算法进行特征点的提取；

根据汉明距离，确定提取到的特征点的匹配程度；

若两个特征点的匹配程度满足预设门限值，则确定所述两个特征点为一特征点对。

具体地，参见图6，确定用于自主导航的移动信息的方法，即所述特征点对的运动轨迹的方法，包括：

s601、根据所述特征点对在拼接后的视场图像中的相对位置，采用归一化八点算法，确定所述特征点对对应的基础矩阵。

s602、根据所述特征点对对应的基础矩阵以及所述多目摄像装置中光学器件的焦距和采集到的原始图像的中心点坐标，确定所述特征点对对应的本征矩阵；所述本征矩阵为用于表征特征点对在前后两帧的坐标位置映射在物理空间的坐标关系。

其中，所述光学器件的参数可通过棋盘格标定法进行标定得到，所述棋盘格标定法可采用张正友棋盘格标定法对光学器件进行标定。

s603、对所述特征点对对应的本征矩阵进行奇异值分解，得到所述拼接后的图像的位姿，即一帧图像相对于另一帧图像的第二旋转矩阵和第二平移矩阵；

s604、根据所述第二旋转矩阵和第二平移矩阵，即可确定采集所述拼接后的图像的无人机的运动轨迹，即用于自主导航的移动信息，即可以以此为依据规划返程航程；而且，根据步骤s604中得到的特征点对的运动轨迹，可以确定拼接后的视场图像的深度信息，辅助性规划飞行，避免撞击到障碍物实现避障。

进一步，根据步骤s604中得到的特征点对的运动轨迹，确定拼接后的视场图像的深度信息以及三维信息的方法，包括：

根据一帧图像p2(m2,n2)相对于另一帧图像p1(m1,n1)的第二旋转矩阵和第二平移矩阵，对所述前后两帧图像进行旋转，得到两幅行对准的图像；

对前后两帧行对准的图像通过三角测量法进行计算，得到前后两帧图像的视差图；

根据所述前后两帧图像的视差图、所述光学器件的焦距以及基线距离，采用投影模型技术，确定所述拼接后的图像的深度信息以及三维信息，其中，所述三维信息为所述特征点在三维空间中对应点p(x,y,z)的位置；所述深度信息为该对应点p的深度信息即z轴上的坐标。

具体地，可通过公式一，确定所述拼接后的图像的深度信息；其中，

其中，disp为前后两帧图像的视差，f为所述光学器件的焦距，t为所述光学器件的基线距离，z为所述特征点在三维空间中对应点的深度信息。

具体地，通过公式二，确定所述特征点在三维空间中对应点的水平坐标x；其中，

其中，m2为后一帧图像的特征点的水平坐标，z为所述特征点在三维空间中对应点的深度信息，f为所述光学器件的焦距，x为所述特征点在三维空间中对应点的水平坐标。

具体地，通过公式三，确定所述特征点在三维空间中对应点的垂直坐标y；其中，

其中，n2为后一帧图像的特征点的垂直坐标，t为所述光学器件的基线距离，f为所述光学器件的焦距，y为所述特征点在三维空间中对应点的垂直坐标。

具体地，所述多目摄像装置中的光学器件为可调节可移动的双目摄像相机；且该系统还包括，用于测量与目标点的距离的测距装置504；

在所述多目摄像装置502采集原始图像之前，所述控制装置503向所述测距装置504发送用于测量与所述目标点的距离的测量指令；

所述测距装置504向所述图像获取装置501发送测量结果；

所述图像获取装置501根据接收到的测量结果，调整所述多目摄像装置中的光学器件的相对位置；并根据调整后的所述光学器件的相对位置，对所述原始图像进行调整，得到行对准图像。

本发明中的实施例通过测距装置测量得到的与目标点的距离，调整光学器件的拍摄角度，从而进一步提升拍摄图像的质量，提高了测算运动轨迹的准确性。

具体地，所述多目摄像装置为双目摄像装置；所述测距装置为距传感器。

综上所述，本发明实施例提供了一种图像获取方法及装置、自主定位导航装置系统、计算设备，用以利用多目摄像装置采集原始图像，并将原始图像进行拼接的方法，获得大视场角的图像，从而为后期测算运动轨迹提供了更多的场景信息；而且由于并未改变摄像装置的镜头，也就避免了采集到的图像的畸变的问题，为后期测算运动轨迹提供了高分辨率的图像，从而提高了测算的准确性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。