一种基于语义理解与学习的非结构化环境认知方法与流程

本发明涉及一种基于语义理解与学习的非结构化环境认知方法，属于图像识别、图像分割等计算机视觉。

背景技术：

1、月面环境具有极端光照、纹理贫瘠、起伏颠簸的非结构化特点，月面机器人需要对一定邻域范围内的环境进行完全感知与安全评估，才能可靠地执行探测任务。传统的环境认知方法大多针对目标几何特性进行视觉层上的识别，根据地形的典型几何构型进行特征聚类。然而，地形聚类或者特征工程方法在复杂场景下难以获取目标对象层和概念层的语义信息，存在障碍检测和理解局限性。

2、近年来，基于深度神经网络的图像感知方法在场景识别、语义分割等任务中表现优异，经典的图像分类任务top-5错误率降低至5％以下。加州伯克利大学的long等人提出了全卷积神经网络(fcn)，将典型卷积神经网络(cnn)结构末端的全连接层用1×1的卷积层代替，得到低分辨率预测结果，再利用上采样恢复到原来的分辨率，首次实现端到端的语义分割。在此基础上，yu等人提出了空洞卷积理论，提取到更大尺度上的语义信息。但是fcn网络结构也存在一定的局限和不足，再复杂环境中容易丢失细节信息，像素间上下文信息考虑不充分，分割结果缺乏空间一致性。

3、结构性明显路标特征缺失和多样异构物体特征建模困难是制约非结构化复杂环境认知的关键技术瓶颈。如何在月面非结构化复杂环境中进行准确性强、可靠性高、实时性好的环境认知成为一个重要的研究课题。阿波罗系列月球车没有携带视觉相机、激光雷达等主动传感器，对月面环境无法分类识别；玉兔系列月球车携带了视觉相机主动传感器，但只能对部分典型障碍识别，无法对周围地貌进行语义分类与表征。这种月面非结构化环境认知能力不能满足未来月球载人探测、月球大范围无人探测、月球人机/多机协同探测、月球科研站建设等任务需求。

技术实现思路

1、本发明解决的技术问题是：克服现有技术的不足，提供了一种基于语义理解与学习的非结构化环境认知方法，通过构建级联立体匹配模型与语义分割骨干网络模型，对月面环境进行分类识别与语义表征，提高月面环境认知的精准性、适应性与实时性。

2、本发明的技术解决方案是：一种基于语义理解与学习的非结构化环境认知方法，包括：

3、构建瀑布式语义分割骨干网络模型，并部署于月面环境认知单元；

4、月面环境认知单元位于月面时，实时通过所述瀑布式语义分割骨干网络模型获取用于描述月面环境认知单元所处月面位置处月面地貌的地貌几何特性描述子以及用于描述全部月面地貌的地貌语义属性描述子；

5、根据地貌几何特征描述子和地貌语义属性描述子获取月面地貌参数化描述符，通过月面地貌参数化描述符解析出月面环境认知单元所处月面环境。

6、进一步地，所述地貌几何特征描述子为g＝[h,w,s,d]；其中，h为物体高度，w为障碍目标的宽度，s为斜坡地貌的坡度，d为障碍物体与月面环境认知单元距离。

7、进一步地，所述地貌语义属性描述子为ei，分别代表山坡、阶梯、岩石、沟壑、平地五种不同的地貌，i＝1,…,5。

8、进一步地，所述月面地貌参数化描述符为f＝[g,ei]；其中，g为地貌几何特征描述子；ei为地貌语义特征描述子。

9、进一步地，获取地貌语义属性描述子包括：

10、获取月面环境认知单元邻域范围内的双眼相机图像；

11、将双眼相机图像分别输入两个共享权值的特征提取网络模型进行卷积、池化、特征融合计算，并将输出的两个图形特征进行级联代价卷积计算，获得视场计算层特征，实现深度和视差计算；

12、将任一特征提取网络模型输出的视场计算层特征与另一特征提取网络模型输出的图形特征融合后进行卷积和上采样，通过激活函数获得地貌语义属性描述子。

13、进一步地，获取地貌几何特性描述子包括：通过回归函数从所述视场计算层特征中获取地貌几何特性描述子。

14、进一步地，通过地貌几何特征描述子和地貌语义属性描述子获取月面地貌参数化描述符f，并将f值赋予该物体的所有像素点，形成环境认知和信息特征立方体，并作为重构优化模型的环境先验信息。

15、一种计算机可读存储介质，所述的计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现所述一种基于语义理解与学习的非结构化环境认知方法的步骤。

16、一种基于语义理解与学习的非结构化环境认知设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时实现所述一种基于语义理解与学习的非结构化环境认知方法的步骤。

17、本发明与现有技术相比的优点在于：

18、(1)本发明从几何特征提取和地貌语义信息获取两个方面构建环境信息参数化描述，将其作为机器人构型优化与人机协作的环境认知基础；

19、(2)考虑到算法实时性要求，本发明将采用级联立体匹配代价函数，增强匹配算法鲁棒性，提升匹配效率；

20、(3)本发明以简洁、高效的瀑布式分割网络框架为语义分割骨干网络，增强匹配实时性；

21、(4)本发明对非结构化复杂环境的分割种类优于5类，能够对全地形进行有效表征。

技术特征：

1.一种基于语义理解与学习的非结构化环境认知方法，其特征在于，包括：

2.根据权利要求1所述的一种基于语义理解与学习的非结构化环境认知方法，其特征在于，所述地貌几何特征描述子为g＝[h,w,s,d]；其中，h为物体高度，w为障碍目标的宽度，s为斜坡地貌的坡度，d为障碍物体与月面环境认知单元距离。

3.根据权利要求1所述的一种基于语义理解与学习的非结构化环境认知方法，其特征在于，所述地貌语义属性描述子为ei，分别代表山坡、阶梯、岩石、沟壑、平地五种不同的地貌，i＝1,…,5。

4.根据权利要求1所述的一种基于语义理解与学习的非结构化环境认知方法，其特征在于，所述月面地貌参数化描述符为f＝[g,ei]；其中，g为地貌几何特征描述子；ei为地貌语义特征描述子。

5.根据权利要求1所述的一种基于语义理解与学习的非结构化环境认知方法，其特征在于，获取地貌语义属性描述子包括：

6.根据权利要求5所述的一种基于语义理解与学习的非结构化环境认知方法，其特征在于，获取地貌几何特性描述子包括：通过回归函数从所述视场计算层特征中获取地貌几何特性描述子。

7.根据权利要求6所述的一种基于语义理解与学习的非结构化环境认知方法，其特征在于，通过地貌几何特征描述子和地貌语义属性描述子获取月面地貌参数化描述符f，并将f值赋予该物体的所有像素点，形成环境认知和信息特征立方体，并作为重构优化模型的环境先验信息。

8.一种计算机可读存储介质，所述的计算机可读存储介质存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时实现如权利要求1～权利要求7任一所述方法的步骤。

9.一种基于语义理解与学习的非结构化环境认知设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述的处理器执行所述的计算机程序时实现如权利要求1～权利要求7任一所述方法的步骤。

技术总结
一种基于语义理解与学习的非结构化环境认知方法，属于计算机视觉技术领域，涉及地外行星表面巡视探测任务中机器人对非结构化地貌认知理解与语义表征领域，构建简洁高效的瀑布式语义分割骨干网络模型，旨在提高地外星地貌分割的准确性与实效性。所述方法包括以下步骤：针对地貌几何形态，建立基于学习的双目立体匹配模型，参数化描述几何特性；针对地貌语义属性，建立基于学习的语义分割网络模型，分类确定地貌语义属性；采用级联立体匹配代价函数，提升匹配效率；采用瀑布式分割网络框架为语义分割骨干网络，增强匹配实时性。

技术研发人员：郑博,曹涛,姚美宝,胡涛,钱洲元,王诗笋
受保护的技术使用者：上海航天控制技术研究所
技术研发日：
技术公布日：2025/1/23