基于双目视觉融合惯性导航的机器人空间定位与地图重建系统的制作方法

本发明涉及机器人，具体是基于双目视觉融合惯性导航的机器人空间定位与地图重建系统。

背景技术：

1、机器人空间定位与地图重建系统，通常被称为slam (simultaneouslocalization and mapping) 系统，是指机器人在未知环境中移动时，同时完成自身位置的确定（定位）和周围环境地图的构建（建图）的技术，slam 是机器人学中的一个关键问题，对于自主导航、环境探索等应用至关重要，但是，现有的基于双目视觉和imu的机器人空间定位与地图重建系统在环境适应性、长期运行稳定性、能耗管理和自主学习能力方面存在不足，在不同的光照条件下，双目视觉系统无法有效提取特征点，导致定位和地图重建失败，且随着时间的推移，imu的漂移误差会逐渐累积，导致定位精度下降。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、为实现上述目的，本发明提供如下技术方案：

3、基于双目视觉融合惯性导航的机器人空间定位与地图重建系统，其系统包括：

4、双目相机模块，用于获取周围环境的立体图像；

5、惯性测量单元，用于提供加速度和角速度信息；

6、数据处理单元，用于处理来自双目相机和imu的数据；

7、存储单元，用于存储处理后的数据和构建的地图；

8、电源管理模块，用于供电和能效管理；

9、无线通信模块，用于与其他设备或云平台进行数据交换；

10、所述数据处理单元进一步包括特征提取子模块，采用深度学习算法自动识别并提取环境中的关键特征点；

11、所述数据处理单元还包括特征匹配子模块，通过优化的算法将不同视角下的特征点进行匹配；

12、所述数据处理单元还包括融合定位子模块，结合视觉特征点和imu数据，利用扩展卡尔曼滤波器实现精准定位；

13、所述数据处理单元还包括自适应学习子模块，利用强化学习技术调整系统参数，以适应不同的环境条件。

14、作为本发明再进一步的方案：所述数据处理单元进一步包括：

15、特征提取子模块，采用深度学习算法自动识别并提取环境中的关键特征点，具体步骤如下：

16、使用卷积神经网络对双目相机获取的图像进行特征点检测；

17、通过非极大值抑制算法筛选出最显著的特征点；

18、利用尺度不变特征变换算法生成特征点的描述子；

19、特征匹配子模块，通过优化的算法将不同视角下的特征点进行匹配，具体步骤包括：

20、使用随机样本一致性算法剔除误匹配的特征点；

21、通过单应性矩阵计算特征点之间的对应关系；

22、融合定位子模块，结合视觉特征点和imu数据，利用扩展卡尔曼滤波器实现精准定位，具体步骤包括：

23、初始化状态向量和协方差矩阵；

24、预测步骤：根据imu数据预测下一时刻的状态；

25、更新步骤：根据视觉特征点观测值校正预测结果；

26、地图构建子模块，根据定位结果动态更新环境地图，具体步骤包括：

27、将定位结果转换为地图坐标系中的点；

28、使用八叉树结构存储和管理地图数据；

29、定期优化地图，去除冗余点和噪声；

30、自适应学习子模块，利用强化学习技术调整系统参数，以适应不同的环境条件，具体步骤包括：

31、定义奖励函数，根据定位精度和地图质量给予奖励或惩罚；

32、使用q-learning算法更新策略；

33、动态调整特征提取和匹配的参数。

34、作为本发明再进一步的方案：所述系统还包括一环境感知增强模块，该模块集成多种传感器，包括红外以及超声波，用于辅助双目视觉系统在低光照或无纹理区域中工作，具体步骤包括：

35、使用红外传感器检测低光照区域；

36、使用超声波传感器检测无纹理区域；

37、将传感器数据与双目视觉数据融合，提高特征点的检测和匹配精度。

38、作为本发明再进一步的方案：所述电源管理模块采用能量回收技术，包括太阳能板以及运动发电装置，以延长系统的续航能力，具体步骤包括：

39、安装太阳能板，利用太阳能为系统供电；

40、安装运动发电装置，利用机器人移动时的机械能转化为电能；

41、通过电源管理系统动态分配和管理电能，优化能效。

42、作为本发明再进一步的方案：所述系统还包括一安全机制，该机制能够在检测到异常情况时自动采取措施保护系统，具体步骤包括：

43、监测系统温度，当温度超过预设阈值时，启动散热风扇或降低系统负载；

44、监测电池电量，当电量低于预设阈值时，自动进入低功耗模式或返回充电站；

45、在发生严重故障时，自动停止所有操作并发送警报。

46、作为本发明再进一步的方案：所述特征提取子模块中 使用卷积神经网络进行特征点检测，其具体如下：

47、输入图像：双目相机获取的左右图像分别记为il和ir；

48、特征提取：使用预训练的卷积神经网络提取图像的特征图fl和fr；

49、自适应注意力机制：通过aam模块增强关键区域的特征表示；

50、注意力权重计算：；

51、其中，w1和 w2是可学习的权重矩阵，b1和 b2是偏置项，σ是sigmoid激活函数；

52、特征加权：；

53、其中，⊙表示逐元素乘法；

54、特征点检测：在加权后的特征图 fl′和 fr′上使用特征点检测算法提取特征点。

55、作为本发明再进一步的方案：所述通过非极大值抑制算法筛选出最显著的特征点的具体过程如下：

56、响应值计算：对于每个特征点p，计算其响应值r(p)；

57、局部最大值检测：在3×3或5×5的邻域内，如果r(p）是局部最大值，则保留该特征点；

58、阈值过滤：设置一个阈值t，仅保留响应值大于t的特征点。

59、作为本发明再进一步的方案：所述利用尺度不变特征变换算法生成特征点的描述子具体过程如下：

60、尺度空间构建：构建图像的尺度空间l(x,y,σ)；

61、关键点检测：在尺度空间中检测极值点作为关键点；

62、关键点定位：通过拟合二次函数精确定位关键点的位置和尺度；

63、方向赋值：计算关键点周围的梯度方向直方图，为每个关键点赋予主方向；

64、描述子生成：在关键点周围提取16×16的区域，划分为4×4的子区域，每个子区域计算8个方向的梯度直方图，最终生成128维的描述子。

65、作为本发明再进一步的方案：所述融合定位子模块，结合视觉特征点和imu数据，利用扩展卡尔曼滤波器实现精准定位的具体过程如下：

66、状态向量：初始状态向量x0包括位置、速度和姿态；

67、协方差矩阵：初始协方差矩阵p0反映初始状态的不确定性；

68、预测步骤：根据imu数据预测下一时刻的状态：

69、状态转移方程：；

70、其中，uk是imu测量值，wk是过程噪声；

71、协方差预测：；

72、其中，fk是状态转移矩阵，qk是过程噪声协方差矩阵；

73、更新步骤：根据视觉特征点观测值校正预测结果；

74、观测方程：；

75、其中，zk是视觉特征点观测值，vk是观测噪声；

76、卡尔曼增益：；

77、其中，hk是观测矩阵，rk是观测噪声协方差矩阵；

78、状态更新：；

79、协方差更新：。

80、作为本发明再进一步的方案：所述自适应学习子模块中，定义奖励函数，根据定位精度和地图质量给予奖励或惩罚，具体如下：

81、奖励函数：；

82、其中，w1,w2,w3是权重系数；

83、使用q-learning算法更新策略：

84、状态表示：将系统状态表示为s，包括当前的定位精度、地图质量和计算成本；

85、动作表示：定义动作集合a，包括调整特征提取和匹配的参数；

86、q值更新：；

87、其中，α是学习率，γ是折扣因子；

88、动态调整特征提取和匹配的参数：

89、参数选择：根据q值选择最优的动作a；

90、参数更新：调整特征提取和匹配的参数。

91、与现有技术相比，本发明的有益效果是：

92、1、本发明通过双目相机和imu的融合，提高了系统定位的精度和鲁棒性，且系统采用了深度学习算法和优化的特征匹配算法，提高了特征提取和匹配的准确性和可靠性，结合视觉特征点和imu数据，实现了高精度的定位，同时通过强化学习技术调整系统参数，提高了系统的智能性和适应性，通过无线通信模块实现了数据的远程传输和共享，提高了系统的可管理性和可维护性，存储单元提供了完整的数据管理和地图构建功能，提高了系统的可靠性。