基于视觉SLAM的轮椅室内导航系统

基于视觉slam的轮椅室内导航系统
技术领域
1.本发明涉及一种基于视觉slam的轮椅室内导航系统。


背景技术：

2.2000年11月我国研制出第一台多模态交互式智能轮椅样机，此项样机采用非计算机传感器的移动机器人定位技术，采用超声波传感器、红外传感器、ccd图像传感器进行环境的感知。近年来，世界上包括我国最近开发出了更先进的“智能”轮椅平台，如中科院自动化所的多模态交互智能轮椅、嵌入式智能轮椅等，采用arm+dsp+fpga的方式分别构建智能轮椅的中央控制系统、传感器系统和运动控制系统。但这些“智能”轮椅都没有实现真正意义上的智能，如缺乏对环境的感知和自适导航，特别是对于四肢残障人士而言，也不能无障碍地操控轮椅；对于重度残障或四肢残障人士的无障碍智能轮椅目前市面上几乎没有。目前市场上已有的轮椅存在两大问题：(1)智能轮椅不具备真正的智能控制；(2)智能轮椅无法实现室内自主导航。


技术实现要素：

3.为了解决上述问题，本发明提供一种在室内未知地图情况下，进行自主定位和构建地图，实现自主导航，具有智能控制、自主导航、可靠性高的特点的基于视觉slam的轮椅室内导航系统。
4.一种基于视觉slam的轮椅室内导航系统，它包括环境信息采集处理模块、环境地图构建模块、imu模块、控制系统和导航模块，
5.环境信息采集处理模块包括realsense d435深度相机和图像处理单元，相机图像通过图像处理单元处理后输入到视觉slam系统中；
6.环境地图构建模块，视觉slam系统的前端视觉里程计使用光流法，从相机获取到的环境的深度信息和2d图片信息中计算真实世界中物体的具体位置和自身的位姿；后端根据imu反馈的加速度信息对计算后的位姿和轨迹进行优化；并使用回环检测判断是否回到之前经过的场景，修正地图和轨迹，从而恢复环境的三维结构，构建三维稠密点云地图；
7.imu模块安装在轮椅上，与上位机通信连接，上位机通过串口实时获取imu的加速度和角速度信息，从而得到轮椅实时的速度信息；
8.控制系统包括stm32和驱动模块，驱动模块与电机连接，stm32和驱动模块通过串口连接，控制轮椅移动；
9.导航模块，上位机将建好的环境地图读取出来显示在屏幕上，用户点击屏幕上地图中的目标点后轮椅运动到目标点时停止，完成导航。
10.进一步的，图像处理单元使用opencv对深度相机传入的rgb图像进行灰度和去噪处理，使用fgs算法平滑图像去除过度曝光，使用lime算法进行图像增强；将增强后的图像。
11.进一步的，所述导航模块上位机会通过a*算法进行路径规划，然后将规划后的速度、角度、运动方向发送给stm32模块，stm32模块将信息处理后发送给驱动模块从而驱动电
机，同时上位机会实时获取轮椅上imu模块的数据，计算得到轮椅在地图中的位姿信息，通过位姿信息重新进行路径规划。
12.进一步的，stm32模块可以调节pwm波在一个周期中的峰谷波占比来给驱动模块发送转速信息，给驱动模块不同的串口发送信息控制电机正反转。
13.进一步的，它包括语音识别模块，可以根据用户语音获取动作指令完成导航。
14.进一步的，在环境地图构建模块，将构建好的稠密点云地图通过八叉树模块转换成二维的栅格地图，并将地图进行保存，方便后续读取环境地图进行导航。
15.本发明的有益效果：
16.利用深度学习的神经网络进行场景的理解，采用视觉技术采集环境信息，使用视觉slam的室内地图重构技术进行未知环境中的定位并构建环境地图，从而实现室内轮椅实时自主定位。将构建的环境地图呈现到显示器上，并将地图中的物体进行标号，使用者可以在显示器上点击目标物体或者语音输入物体标号，实现轮椅的自主导航。
附图说明
17.图1为本发明系统架构图；
18.图2为本发明流程图；
具体实施方式
19.下面结合附图1-2对本发明做详细介绍：
20.发明以视觉slam智能轮椅为研究对象，以视觉slam技术原理和深度学习识别算法为研究基础，系统研究视觉slam智能轮椅在室内复杂环境中的自动实时规划前进路线，智能自主的在室内行走。相对于室外定位和导航，在室内环境下缺乏精确的gps等导航信号，且定位精度要求又比较高。同时室内环境比较复杂，没有在室外道路上常用的交通指示线及路沿等参照物辅助导航，给室内定位与导航系统的设计带来了不小的挑战本文从环境感知、室内定位和路径规划这三个方面设计了智能轮椅机器人的环境，通过摄像头识别室内环境，再经过图像处理得到室内环境结构图。最终实现视觉slam智能轮椅在复杂环境中的空间定位、路径规划、智能识别物体分析，以实现轮椅智能化代替原来电动的轮椅和普通的轮椅。
21.发明以视觉slam和imu(惯性测量单元)融合为主要研究内容，轮椅自动导航系统使用构建的环境地图和imu模块实现轮椅的自主导航。其本质为利用传感器提供的信息，对自身在地图上的位姿不断进行更新并导航的循环过程。该智能轮椅实现的技术路线，系统总体设计如图1所示，系统流程图如图2所示。
22.本发明包括环境信息采集处理模块、环境地图构建模块、imu模块、控制系统和导航模块，下面对各模块进行详细说明。
23.环境信息采集处理模块：发明使用realsense d435深度相机作为环境信息输入，通过该相机采集环境信息。使用opencv对深度相机传入的rgb图像进行灰度和去噪处理，计算图像的光照图，利用光照图对图像进行色调矫正和对比度增强处理。使用fgs算法平滑图像去除过度曝光，使用lime算法进行图像增强。将增强后的图像输入到视觉slam系统中，提取优质的特征点，匹配更多准确的特征点对，提高视觉slam系统建图的精度，增强系统鲁棒
性。
24.环境地图构建模块：视觉slam系统的前端视觉里程计使用光流法，从相机获取到的环境的深度信息和2d图片信息中计算真实世界中物体的具体位置和自身的位姿；后端根据imu反馈的加速度信息对计算后的位姿和轨迹进行优化；并使用回环检测判断是否回到之前经过的场景，修正地图和轨迹，从而恢复环境的三维结构，构建三维稠密点云地图。将构建好的稠密点云地图通过八叉树模块转换成二维的栅格地图，并将地图进行保存，方便后续读取环境地图进行导航。
25.imu模块：将imu模块装在智能轮椅上，上位机通过串口实时获取imu的加速度和角速度信息，使用预积分将imu返回的加速度和角速度转换为速度，从而得到轮椅实时的速度信息。在视觉slam系统中使用返回的速度信息可以计算出轮椅自身在地图中的位姿，一方面可以优化建图，还有一方面可以在进行导航时反馈轮椅自身的位姿从而修正导航的路径。
26.控制系统包括stm32和驱动模块，驱动模块与电机连接，主要作用是控制电机，有正转和反转两个串口。stm32和驱动模块通过串口连接，stm32可以调节pwm波在一个周期中的峰谷波占比来给驱动模块发送转速信息，给驱动模块不同的串口发送信息就可以达到控制电机正反转的目的。在stm32中编写了一系列对驱动模块的控制程序，上位机给stm32发送速度、角度和方向信息后，stm32将这些信息转换为相应的pwm波发送到驱动模块相应的串口上，控制轮椅移动。
27.导航模块：上位机是一台工控电脑，将建好的环境地图读取出来显示在屏幕上，用户点击屏幕上地图中的目标点时，上位机会通过a*算法进行路径规划。然后将规划后的速度、角度、运动方向发送给stm32模块，stm32模块将信息处理后发送给驱动模块从而驱动电机。同时上位机会实时获取轮椅上imu模块的数据，计算得到轮椅在地图中的位姿信息，通过位姿信息重新进行路径规划，直到轮椅运动到目标点时停止，完成导航。
28.本发明通过实验验证可行性分析如下：
29.1)首先建立ros环境下基于kinect深度相机双目视觉slam硬件系统，建立简单的实验环境，测试slam智能轮椅对实验环境的建模，反复调整建模算法优化轮椅对环境地图的构建；
30.2)在室内测试智能轮椅的空间定位能力，误差分析；
31.3)最后验测试环境对视觉slam智能轮椅做实地测试，得到更加真实可靠的实验数据，以优化改进整个系统。
32.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
33.对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的
范围。
34.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。