专利名称：一种复合式视觉导航方法与装置的制作方法
技术领域：
本发明涉及一种机器人视觉导航领域，尤其涉及一种复合式视觉导航方法 和装置。
背景技术：
随着自主机器人技术的快速发展以及其应用领域的不断拓展，人们对机器 人感知环境的能力提出了更高的要求。早期的机器人以声纳、激光测距仪和红 外传感器为主要的外部传感器，而近些年来视觉传感器以其探测范围宽、信息 容量大和成本逐步下降等优势，在机器人导引/导航中受到了越来越高的重视。应用于机器人导航/导引的视觉传感器有两种常见形式结构光视觉传感器 和立体视觉传感器。结构光视觉传感器釆用一种主动式的传感方法，不存在立 体匹配问题，适合应用在近距离的障碍物探测，速度快而且精度高。相反，立 体视觉传感器是一种被动式的传感方法，具有更深更广的探测范围，但由于遮 挡和缺乏紋理等问题带来的立体匹配难题，至今未能很好地解决。而且运算量 较大，实现实时性的难度较大。这两种视觉传感器均可应用于移动机器人视觉导航。结构光视觉传感器尽 管优势明显，但由于只能探测到小范围的环境，因而机器人只能根据传感器信 息做出避障运动规划，也就是局部规划。由美国运输研究会(TRC)研制的 Helpmate机器人是一个自主式运送系统，主要在医院等场所完成传递医疗记录、 诊断样品等任务，该系统釆用结构光视觉方式，实现躲避行人和障碍物。局部 规划常见的问题是容易陷入"死锁"，甚至不能到达目标；立体视觉传感器所观 测的范围较广，因而在此基础上的全局路径规划成为可能。但得到的环境信息 是以观察者为中心的2.5-D信息，而且难免出现视觉遮挡和立体误匹配问题。
因此，由基于立体视觉的单次离线规划是不可靠的，在机器人运动过程中，必 须根据探测的新信息做出重新规划，而这又受到立体视觉实时性的制约。立体 视觉已经应用于美国的火星车"机遇号"和"勇气号"，但是某些情况下还需要 地球上地面指挥人员的遥控操作。国外的学者相继提出一些组合式的导航策略。常规的"感知-建模-规划 -行为"是一种"慎思"式的导航方法，该方法经过了自上而下的推理，能够 实现高层次的智能行为，但是对环境的变化反应不够灵敏。与之截然不同的是， Brooks在他的包容式体系结构中提出了一种"行为"式的方法，它将机器人的 行为划分为若干小的功能模块，如"停车、跟踪、漫游、避障"等，每个模块 实现传感器信息与机器人动作间的一种映射，机器人的最终行为由各行为模块 之间的竟争实现。但是，这种单纯的"反应式行为"很难达到最佳的导航效果， 而且极易陷入"死锁"。在"Global and regional path planners for integrated planning and navigation(A.Howard, 2005 )等文献中报道了将两种方式相结合的导航方法。卡耐基-梅隆大学提出了一种全局和局部规划组合式的导航方法，但是仅 以激光测距仪这一种昂贵的外部传感器探测环境，无法广泛应用，具体报道可参考文献 "Complete navigation system for goal acquisition in unknown environments" (A. Stentz, 1995)。有鉴于此，本发明的主要目的在于提供一种复合式视觉导航方法，可以实 现移动机器人更可靠地导航，简单实用，易于实现。本发明的另一目的在于提供一种复合式视觉导航装置，结构简单，费用低廉。为达到上述目的，本发明的技术方案是这样实现的一种复合式视觉导航装置，由CCD摄像机、激光器、机械支架等组成，整 个装置由两部分结合而成 一个CCD摄像机和一个激光器构成结构光视觉传感
发明内容
器，用以进行局部路径规划；三个CCD摄像机构成三目立体视觉传感器，用以 进行全局路径规划。较佳地，该装置中CCD摄像机和激光器具有偏航和俯仰两个方向的旋转自 由度，用以调节视觉传感器的位姿。较佳地，在结构光传感器的CCD摄像机前安装一中心波长与激光器相对应 的干涉滤光片。较佳地，所述干涉滤光片为窄带通干涉滤光片。一种复合式视觉导航方法，基于上述的装置，该方法包括以下步骤a、 启动立体视觉传感器，进行全局规划规划出从当前点到目标点的最优 路径；b、 启动结构光视觉传感器，在跟踪全局路径或向当前子目标运动的过程中， 探测是否存在与全局规划不 一 致的环境信息，若没探测到，则继续按全局路径前进，若探测到，利用局部规划进行避障， 避障过程仍以全局规划中的当前子目标为目标点，在两种视觉方法探测到严重不一致的情况致使不能达到当前子目标点时， 返回步骤a:启动立体视觉传感器重新进行全局路径规划，做出从当前位置到 目标点的最优路径规划；c、 判断到达的当前子目标是否是全局目标， 若到达的当前子目标是全局目标，导航流程结東，若到达的当前子目标不是全局目标，返回步骤b:将下一个子目标确定为 当前子目标，继续向子目标运动并探测是否存在与全局规划不一致的环境信息。 较佳地，步骤a进一步包括，建立环境的可视图模型进行全局规划。 较佳地，所述的环境的可视图模型为环境的栅格一可视图模型。 本发明提供的复合式视觉导航方法和装置具有如下优点和特点1、 由结构光传感器和立体视觉传感器结合构成，结构简单，费用低廉。2、 充分利用了两种视觉传感器的优点，将全局路径规划和局部路径规划结 合起来，相得益彰，更好地解决了机器人的视觉导航问题，实现移动机器人更
可靠地导航，引导机器人在未知环境下准确地从起始出发点自主运动至目标点， 方法简单，易于实现。
图1为本发明一种复合式视觉导航装置的示意图；图2为本发明 一种复合式视觉导航方法的总体流程图；图3为机器人导航场景示意图；图4为全局路径规划示意图；图5为全局指导下的机器人实际运动路径图；图6为未经全局指导下的机器人实际运动路径图。
具体实施方式
下面结合附图对本发明再作进 一 步详细的说明。本发明一种复合式视觉导航装置，如图l所示，左侧虛线框内为CCD摄像 机23和激光器22组成的结构光视觉传感器10，用以进行局部路径规划；为突 出激光光条的视觉特征，提高信噪比，在CCD摄像机23前安装有一中心波长 与激光器相对应的干涉滤光片25，干涉滤光片25可为窄带通干涉滤光片；右 侧虛线框内为三个相同的CCD摄像机构成的三目立体视觉传感器11，用以进 行全局路径规划；上述各个CCD摄像机和激光器具有偏航和俯仰两个方向的旋 转自由度，用以调节视觉传感器的位姿。结构光传感器10和三目立体视觉传感 器11安放在机械支架21上。结构光传感器10和三目立体视觉传感器11组合 构成本装置。本发明一种复合式视觉导航方法，如图2所示，该方法包括以下步骤 步骤301:启动三目立体视觉传感器；步骤302:立体视觉传感器获取场景的三目图像，根据立体匹配方法，得 到场景的深度图像，继而根据已标定的数学模型重构出三维场景；如何得到场景的深度图像，并重构三维场景，现有技术中已有多种解决方
案，在此不再赘述。步骤303:机器人根据重构的结果，建立环境的可视图模型，从而进行全 局路径规划根据八*最优搜索方法规划出从当前点到目标点的最优路径，这里 的最优路径是一系列顺次联结的直线段，其首末端点成为路径上的关键路点 (waypoint)或称子目标点(subgoal)。 A,法可参考"Path planning for a mobile robot" ( C. Alexopoulos， 1992 ),在此不再详述。上述的环境的可视图模型可以是环境的栅格一可视图模型。在该模型上， 所有栅格划归两类属性， 一类是被障碍物占有的栅格，另一类是自由的、未被 占有的栅格。对于步骤302中立体视觉的重构数据，通过一种形态学方法(参 考《图像理解与计算机视觉》，章毓晋，2000)在栅格地图上生成各个障碍物区 域的最小多边形凸包，在此基础上得到环境的栅格-可视图模型，各凸多边形 顶点组成八*算法的搜索空间，全局路径规划的结果就是联结一系列多边形顶点 的直线段序列。有关栅格地图的创建方法可参考"High resolution maps from wide angle sonar" ( H. P. Moravec， 1985 ),关于可视图的概念参考"Path planning for a mobile robot" ( C. Alexopoulos, 1992 ),在此不再赘述。步骤304:启动结构光视觉传感器。步骤305:确定当前子目标，并向所确定的当前子目标运动，这里所述的 当前子目标为在全局路径规划中，当前所要到达的子目标。步骤306:判断结构光视觉传感器是否探测到新的障碍物如探测到新的 障碍物，则执行步骤307,如未探测到新的障碍物，则继续跟踪全局路径向当 前子目标运动，执行步骤309。这里判断是否探测到新的障碍物的方法为结构光视觉传感器继续对周围 的环境进行探测，并将当前时刻、当前位置局部坐标系下的三维数据映射到栅 格地图上。若此时映射到的栅格单元对应可视图中的"占有"部分，说明两视 觉传感器探测到的环境信息一致，此栅格单元保持原有"被占有"的属性；反 之，若映射到的栅格单元对应可视图中的"自由"部分，说明两视觉传感器探 测到的环境信息不一致(产生这种不一致的原因有立体遮挡，误匹配，最新 出现的动态障碍物等)，此栅格单元更改原有属性。步骤307:进行局部规划避障采用矢量场直方图法(VFH， Vector Field Histogram)进行有效避障，避障过程仍以全局规划的下一个目标点为当前子目 标向前运动，VFH算法可参考"The vector field histogram-fast obstacle avoidance for mobile robots" (J. Borenstein, 1991),在此不再赘述。步骤308:根据局部路径规划的结果，判断是否确认不能够到达当前子目 标点。当两种视觉方法探测到严重不一致的情况，确认不能到达当前子目标点时， 返回步骤301:启动立体视觉传感器重新进行全局路径规划，做出从当前位置 到全局目标点的最优路径规划。如未确认不能到达子目标，则返回步骤306，按照局部路径规划继续向当 前子目标运动且结构光传感器继续对周围环境进行探测。步骤309:判断是否到达当前子目标，如达到当前子目标，执行步骤310, 如未到达当前子目标，返回步骤306，结构光传感器继续对周围环境进行探测。步骤310:判断所达到的当前子目标是否为全局目标，如到达全局目标， 流程结東；如未到达全局目标，返回步骤305:重新确定当前子目标，即将下 一子目标确定为当前子目标，并向所确定的当前子目标运动。这里判断是否到达当前子目标、判断所到达的当前子目标是否为全局目标， 可根据前述建立的环境的可视图模型中包括的目标点信息进行判断。下面再以 一 具体实施例来说明本发明。在如图3所示的场景下对机器人的导航性能进行了测试，场地范围约为 10mx4m，共有A、 B、 C、 D、 E、 F六个固定障碍物，G为机器人出发后在其 运动轨迹上另外放置的一个障碍物。如图4所示，以机器人出发点为坐标原点， 建立环境坐标系。在该位置处由立体视觉三维数据构建栅格-可视图，并进行 全局路径规划。注意到，障碍物F被障碍物C完全遮挡，因而立体视觉感知的 环境信息并不充分，全局路径也并非完全可靠。
机器人将上述规划结果传递至局部运动模块，接下来机器人跟踪此全局路 径，并启动结构光视觉传感器探测环境。在从出发点到子目标点的运动过程中， 如图5所示，在机器人的运动轨迹上放置另外一个障碍物G,该障碍物被结构 光视觉所感知，因此机器人修正原有的路径，绕开障碍物G并到达子目标点。在穿越障碍物A E的过程中，没有出现新的障碍物，结构光视觉探测到与全局规划下的栅格-可视图一致的环境信息，因而机器人简单地跟踪路径。此后，结构光视觉探测到由于遮挡而未被立体视觉所探测的障碍物F，因此机器人再 次修改路径，并最终到达目标点。若省去全局路径规划，仅启动结构光视觉传 感器和局部规划模块，机器人也能躲避障碍物并到达目标，运动轨迹如图6所 示。对实验结果进行比较可以看出，全局指导下的路径规划明显优于未经全局 指导的单纯局部运动规划的结果。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
权利要求
1、 一种复合式视觉导航装置，由CCD摄像机、激光器、机械支架等组成， 其特征在于，整个装置由两部分结合而成 一个CCD摄像机和一个激光器构成 结构光视觉传感器，用以进行局部路径规划；三个CCD摄像机构成三目立体视 觉传感器，用以进行全局路径规划。
2、 根据权利要求l所述的装置，其特征在于，其中CCD摄像机和激光器 具有偏航和俯仰两个方向的旋转自由度，用以调节视觉传感器的位姿。
3、 根据权利要求1或2所述的装置，其特征在于，在结构光传感器的CCD 摄像机前安装 一 中心波长与激光器相对应的干涉滤光片。
4、 根据权利要求3所述的装置，其特征在于，所述干涉滤光片为窄带通干 涉滤光片。
5、 一种复合式视觉导航方法，基于权利要求l所述的装置，其特征在于， 该方法包括以下步骤a、 启动立体视觉传感器，进行全局规划规划出从当前点到目标点的最优 路径；b、 启动结构光视觉传感器，在跟踪全局路径或向当前子目标运动的过程中， 探测是否存在与全局规划不一致的环境信息，若没探测到，则继续按全局路径前进，若探测到，利用局部规划进行避障， 避障过程仍以全局规划中的当前子目标为目标点，在两种视觉方法探测到严重不一致的情况致使不能达到当前子目标点时， 返回步骤a:启动立体视觉传感器重新进行全局路径规划，做出从当前位置到 目标点的最优路径规划；c、 判断到达的当前子目标是否是全局目标， 若到达的当前子目标是全局目标，导航流程结東，若到达的当前子目标不是全局目标，返回步骤b:将下一个子目标确定为 当前子目标，继续向子目标运动并探测是否存在与全局规划不一致的环境信息。
6、 根据权利要求5所述的方法，其特征在于，步骤a进一步包括，建立环境的可视图模型进行全局规划。
7、 根据权力要求6所述的方法，其特征在于，所述的环境的可视图模型为环境的栅格一可视图模型。
全文摘要
本发明提出一种复合式的传感器装置，将结构光传感器和立体视觉传感器这两类性能不同的传感器相结合，结构简单，费用低廉。本发明同时公开了一种复合式视觉导航方法，将全局和局部功能模块有机地结合，充分利用了两种视觉方法的长处，各自构成独立的路径规划系统模块，实现移动机器人更可靠地导航，引导机器人在未知环境下从起始出发点自主运动至目标点。
文档编号G05D1/00GK101122800SQ20071012073
公开日2008年2月13日 申请日期2007年8月24日 优先权日2007年8月24日
发明者张广军, 李秀智, 魏振忠 申请人:北京航空航天大学