一种基于无人机视角的地面导航地图构建方法

本发明涉及一种基于无人机视角的地面导航地图构建方法，属于机器人，尤其是基于无人机俯瞰视角的多机器人协同探索。主要是利用无人机获取环境信息，然后通过图像处理技术将这些信息转化为地面机器人能够直接使用的地图。

背景技术：

1、近年来，由于机器人协同探索系统在复杂环境重构、恶劣环境探索与未知环境搜救等各类场景中的广泛应用，关于如何实现更加鲁棒的探索系统相关研究得到了学术界与工业界的极大关注。在探索过程中，机器人协同系统的实现需要使用各类传感器与其他相关通信工具，来实现各自信息的实时交换与更新，如视野信息、惯性传感器中的加速度与速度信息、定位模块的位置信息等，但在实际应用场景中，由于环境复杂且多变，传感器信息容易产生累计误差，想实现精准的实时信息传递需要面对相当大的挑战。

技术实现思路

1、本发明的技术解决问题是：克服现有技术的不足，提出一种基于无人机视角的地面导航地图构建方法，该方法提供了无人机与地面机器人协同导航地图生成的设计与实现，用以解决无人机与地面机器人在未知环境中的协同探索与导航的稳定性问题，实现高效、鲁棒性强的环境信息获取及导航。

2、本发明的技术解决方案是：

3、一种基于无人机视角的地面导航地图构建方法，该方法的步骤包括：

4、第一步，获取原始环境信息；

5、第二步，根据第一步获取的原始环境信息生成主色图像；

6、第三步，根据第二步生成的主色图像生成地面导航地图。

7、所述第一步中，获取原始环境信息的方法为：利用无人机进行俯瞰式拍摄，确保一次性捕获较为完整的环境信息并为后续图像处理提供原始数据；

8、所述生成主色图像的方法为：通过颜色聚类技术，将原始环境信息转换成仅由数种主色构成的图像，即提取原始环境信息的主色；

9、所述提取原始环境信息的主色的方法为：采用颜色二叉树进行遍历聚类，相对于传统颜色比例算法进行了改进，提出了一种高效的、更加具有全局特性的主色提取算法，步骤如下：

10、步骤s21，初始化颜色树的根节点，每个根节点包含该颜色类别的信息，如均值、协方差、类别id以及左右子节点的指针，使用该根节点实现颜色二叉树的使用，能够辅助后续主色提取以及可视化流程更快地实现；

11、步骤s22，获取每个颜色类别的均值和协方差，对所有属于指定类别的像素进行循环并累加其颜色值，然后再除以像素总数来获得均值，对于每个属于指定类别的像素，计算颜色向量的外积并累加，从累加的结果中得到协方差，从而量化颜色分量与颜色分布；

12、步骤s23，分割颜色类别，使用pca方法，将指定的颜色类别进一步分割为两个子类别，每次分割都会为子类别创建新的节点，并为它们分配新的类别id，遍历颜色树以找到当前最大的类别id，并返回下一个可用的类别id；

13、步骤s24，使用广度优先搜索遍历颜色树的每个节点并返回所有叶子节点，并从每个叶子节点中获取其代表的主要颜色(即平均颜色)，生成颜色调色板与可视化图像，将图像中的类别id转换为预定义的颜色以便可视化；

14、所述步骤s21中还包括，主色提取过程中，需要创建一个灰度图像用于存储每个像素的类别id，通过层次聚类得到主要颜色，再根据每个像素的类别id进行信息替换；

15、所述第三步中，根据生成的主色图像生成地面导航地图的方法为：

16、基于hsv色域与ycbcr色域分布，对主色图像的感兴趣区域进行划分，对划分出的感兴趣区域进行双颜色空间鲁棒筛选，并通过降噪去斑技术，最终得到适用于地面机器人的导航地图，并利用ros平台进行地图话题传输；具体为：

17、步骤s31，根据原始环境信息创建图像矩阵，图像矩阵包括hsv空间图像、ycbcr空间图像、备用掩膜以及变换结果图像；

18、步骤s32，将主色图像转换到hsv颜色空间形成hsv空间图像，并筛选出与预设颜色相近的像素，这一步的目标是消除与目标无关的颜色，其依据为hsv空间下的h色域分配；

19、步骤s33，基于s32筛选出的像素与原始环境信息进行映射，提取出感兴趣区域并存储于备用掩膜中；

20、步骤s34，将感兴趣区域转换至hsv颜色空间形成hsv空间图像，使用形态学开运算对图像进行预处理，并进行阈值化；

21、步骤s35，将主色图像转换到ycbcr颜色空间形成ycbcr空间图像，筛选出与预设颜色相近的像素，由于ycbcr颜色空间的敏感颜色与hsv空间不同，筛选结果会与s32呈现差异性。

22、步骤s36，基于s35筛选出的像素与原始环境信息进行映射，提取出感兴趣区域并存储于备用掩膜中；

23、步骤s37，将感兴趣区域转换至ycbcr颜色空间形成ycbcr空间图像，使用形态学开运算对图像进行预处理，并进行阈值化；

24、步骤s38，将s34与s37阈值化结果进行对比，提取出其中最为鲁棒部分并输出为二值图像；

25、步骤s39，基于s38二值图像进行去斑降噪，并将结果作为ros话题进行发布，由地面机器人接收并作为导航地图使用。

26、所述步骤33还包括，筛选过程需要确定hsv空间下目标颜色的粗略阈值，将超出阈值范围的主色区域置为黑色，用剩余主色区域与原始图像像素进行对照，将原始像素替换主色像素后可实现感兴趣区域划分；

27、所述步骤s34中，直接对原图像中的目标区域进行处理能够最大限度保留原始环境信息，在hsv空间筛选的基础上进一步引入ycbcr空间，结果仅保留最鲁棒部分，筛选结果需要进一步进行降噪与连通域计算，将面积较小部分去除，实现去斑效果，获得具有高鲁棒性的导航地图；

28、所述步骤s35中，地面机器人(无人车)与无人机之间的通讯基于ros平台进行，所有机器人均处于同一局域网中，导航地图通过ros节点进行通讯。

29、有益效果

30、(1)本发明针对多机器人协同探索未知环境的问题，提出了一种使用无人机获得先验地图，辅助地面机器人进行鲁棒环境探索的方法。该发明主要通过无人机在空中获取俯瞰视角图像，一次性捕获大部分环境信息。在获取图像后，采用独特的视觉处理技术，提取环境主要颜色，引入多层次的颜色阈值，划分出包含探索障目标的感兴趣区域。进一步，经过hsv颜色空间与ycbcr颜色空间鲁棒筛选与降噪去斑后，得到适用于地面机器人导航的黑白环境小地图。该处理方法不仅提高了图像的清晰度，还确保了算法在不同的环境和光线条件下都具有很好的鲁棒性。最后，使用ros平台将地图发布给地面机器人，实现自主导航。此发明采用的视觉处理技术，尤其是多阶段颜色空间筛选和主色提取，为机器人探索未知环境提供了一个有效的方法，适用于需要精确地图信息的场景。

31、(2)本发明的方法运行基于图像中实际颜色分布进行，颜色二叉树的应该使算法能够适应各种类型的图像，确保在颜色限制的情况下获得最佳的图像重构，并且由于二叉树结构本身是空间效率的，只需要存储颜色和节点信息。对于具有大量颜色的图像，本算法能够有效地处理并量化到一个有限的颜色集。可以根据需要调整算法的参数，如树的深度或目标颜色数量，以满足特定的图像质量或存储需求。由于它根据图像的颜色分布来工作，能够减少某些图像处理方法中常见的色带效应。通过控制树的大小和深度，可以实现存储需求和输出图像的质量之间的平衡。一旦完成颜色二叉树的构建，对于相似的图像集，其量化过程可以快速地应用，这使其适合于实时应用，如视频流处理。颜色的分布和重要性决定了算法结果，它可以确保最重要的颜色被保留在量化的图像中，从而保留图像的视觉特征。

32、(3)本发明的双颜色空间下的阈值筛选方法具有以下优点：

33、1)通过结合两个颜色空间的筛选结果，可以降低因一个单一颜色空间的局限性或噪声导致的误检和漏检。可以根据具体的应用或图像内容调整两个颜色空间的阈值，例如肤色检测、特定物体颜色检测等，双通道筛选可以适应不同的需求，提供更好的筛选效果。

34、2)某些颜色可能在一个颜色空间内不容易区分，但在另一个颜色空间内可以清晰地区分，利用这两个颜色空间的优点，实现更精确的颜色分割，得到更鲜明的边界和对比度。可以减少因单一颜色空间筛选导致的假阳性和假阴性。

35、(4)本发明的方法使用预构建地图的方法，实现信息权重的变化，无人机的俯瞰视角能够帮助地面机器人进入环境探索之前就获得鲁棒的探索地图，使协同系统对地面机器人的定位要求大大降低，并且由于无人机具有相当的机动能力，固定目标的提前搜索也能够基于预构地图实现，能够在很大程度上降低地面机器人搜索压力。