专利名称：一种无人驾驶车的自动环境感知系统及其工作方法
技术领域：
本发明涉及一种无人驾驶车的环境感知技术，包括用于检测、定位、测量和识别感兴趣目标的技术，特别是一种无人驾驶车的自动环境感知系统及其工作方法。
背景技术：
无人驾驶车及其环境感知技术等在各领域的应用前景日益广阔，这包括军事方面的避免人员损伤、搜救突破、反击阻击、执行侦察等任务；工业制造方面的自动取放料和运输等；交通方面作为自主和驾驶辅助系统提高行车安全；民用方面的家庭“保姆”或生活“保安”等角色；科学研究领域的高危环境或者外太空环境探险等等。地理信息系统(GIS)和GPS曾以经济适用的优势在交通、工业制造等领域得到推广，但也显示出环境数据采集和处理过程中精度不足的劣势。视觉和激光方法获取数据实时性强并分别应用于车辆前方车道 标识线、前方车辆或障碍物检测，但其单独使用时也存在着易受环境影响的弊端。无人驾驶车的工作环境中目标种类繁多，为了完成指定任务其必须具有自主检测、定位、测量和识别目标物体的能力，包括准确识别不可逾越的障碍物和道路标识符等。如何高效综合利用激光、视觉、微波雷达、超声雷达、全球定位系统(GPS)和惯性导航系统(IMU)等多种传感器设备，实时正确地获取环境数据信息，使无人驾驶车具有对行驶区域目标物体形状位置、身份状态的识别与分类的能力，是推广应用无人驾驶车的核心问题。
发明内容
为解决现有技术存在的上述问题，本发明要设计一种能综合利用激光、视觉、全球定位系统和惯性导航系统等多种传感器获取的数据，对行驶环境中的数据进行实时处理，使无人驾驶车具备自主获取前方行驶感兴趣区域中目标的形状位置身份以及状态并加以分类的能力的无人驾驶车的自动环境感知系统及其工作方法。为了实现上述目的，本发明的技术方案如下一种无人驾驶车自动环境感知系统，包括工业彩色数字CXD相机A、二维激光扫描仪A、惯性导航系统、GPS接收天线、工业彩色数字CXD相机B、二维激光扫描仪B和工业控制计算机，所述的工业彩色数字CXD相机A和工业彩色数字CCD相机B分别以不同俯角安装在无人驾驶车顶平台前段左右两侧；所述的二维激光扫描仪A安装于无人驾驶车前保险杠的中心位置，所述的二维激光扫描仪B安装于无人驾驶车顶部平台处中心位置；所述的惯性导航系统安装于无人驾驶车的顶部；所述的GPS接收天线安装于无人驾驶车的车顶后端；所述的工业控制计算机安装于无人驾驶车内尾部。所述的工业控制计算机通过数据线分别与工业彩色数字CXD相机A、二维激光扫描仪A、惯性导航系统、GPS接收天线、工业彩色数字CCD相机B和二维激光扫描仪B连接。一种无人驾驶车的自动环境感知系统的工作方法，包括以下步骤A、工业控制计算机获取传感器信息并进行系统标定工业控制计算机通过工业彩色数字CXD相机A和工业彩色数字CXD相机B获取视觉图像信息，通过二维激光扫描仪A和二维激光扫描仪B获取距离、扫描角度信息，通过惯性导航系统和GPS接收天线获取定位信息；同时基于定位信息获得视觉、激光以及位置姿态传感器数据信息与世界坐标的对应关系;B、工业控制计算机获取二维激光扫描仪A和二维激光扫描仪B采集到的无人驾驶车前方行驶环境激光点云数据，使用滤波器滤除干扰，并依据具体目标的形状空间位置特征，通过模式聚类分析的方法进行目标检测；通过调整距离阈值的方法，将聚类分成的子群重新合并，确定新的聚类中心实现目标定位；C、工业控制计算机计算聚类物体外接矩形大小，结合激光发射频率和发射角这些激光固有参数计算聚类物体位置和空间范围；再依据已知的工业彩色数字CCD相机A和工业彩色数字CCD相机B的视场角和方位角信息数据关联相机图像锁定包含被检测出的感兴趣目标的当前帧图像，经透视变换将三维世界坐标X、Y、Z映射到二维的图像坐标中，进一步确定工业彩色数字CCD相机A和工业彩色数字CCD相机B的的图像中被检测目标的物体位置和空间范围，完成目标测量； D、融合激光和图像信息分类识别目标工业控制计算机基于以下激光数据和图像信息中反映出的不同目标类别的属性特征对已经检测出的目标进行分类回复反射材料特性、形态学形状特性、绵延尺寸及离地高度特性；对归类后的对象使用模版匹配的方法，确定其在每类中的具体身份；所述的回复反射材料特性包括道路标识，所述的形态学形状特性包括树干、电线杆、行人或前方车辆，所述的绵延尺寸及离地高度特性包括马路边缘。与现有技术相比，本发明具有以下有益效果I、本发明采用双工业彩色数字CXD相机水平布置形成的双目视觉系统，经校正后可显著减轻相机镜头畸变等情况造成的采集图像失真，从而提高了目标识别的可靠性。2、本发明能够在无人驾驶车前行时自动采集和处理视觉和激光数据，从多个不同目标中基于一个或多个特征自动检测感兴趣目标；通过惯性导航系统和GPS获得车辆姿态位置数据。分析视觉图像信息、目标激光数据的三维坐标值以及当前车体姿态位置信息可以定位并测量出感兴趣目标的尺寸位置以及空间范围。3、本发明建立道路环境中出现的目标(交通标志标线、道路边缘和行驶区域内的行人和车辆)身份模型，根据激光点云数据和视觉图像数据特征提取的结果，将出现的目标分类，将目标与之前建立好的身份模型进行匹配，以确定目标的具体身份，能够提高分类判断的可靠性。
本发明共有附图4张，其中图I是本发明的组成示意图。图2是本发明的电路连接以及数据传递示意图。图3是本发明的目标识别流程图。图4是本发明的道路标识符自动检测流程图。图中1、无人驾驶车，2、工业彩色数字C⑶相机A，3、二维激光扫描仪A，4、惯性导航系统，5、GPS接收天线，6、二维激光扫描仪B，7、障碍物，8、道路标识符，9、工业控制计算机，10、工业彩色数字CXD相机B。
具体实施例方式下面结合附图对本发明进行进一步地描述。如图1、2所示，一种无人驾驶车自动环境感知系统，包括工业彩色数字C⑶相机A2、二维激光扫描仪A3、惯性导航系统4、GPS接收天线5、工业彩色数字CXD相机B10、二维激光扫描仪B6和工业控制计算机9，所述的工业彩色数字CXD相机A2和工业彩色数字CXD相机BlO分别以不同俯角安装在无人驾驶车I顶平台前段左右两侧；所述的二维激光扫描仪A3安装于无人驾驶车I前保险杠的中心位置，所述的二维激光扫描仪B6安装于无人驾驶车I顶部平台处中心位置；所述的惯性导航系统4安装于无人驾驶车I的顶部；所述的GPS接收天线5安装于无人驾驶车I的车顶后端；所述的工业控制计算机9安装于无人驾驶车I内尾部。 所述的工业控制计算机9通过数据线分别与工业彩色数字CXD相机A2、二维激光扫描仪A3、惯性导航系统4、GPS接收天线5、工业彩色数字CCD相机BlO和二维激光扫描仪B6连接。如图3、4所示，一种无人驾驶车的自动环境感知系统的工作方法，包括以下步骤A、工业控制计算机9获取传感器信息并进行系统标定工业控制计算机9通过工业彩色数字CXD相机A2和工业彩色数字CXD相机BlO获取视觉图像信息，通过二维激光扫描仪A3和二维激光扫描仪B6获取距离、扫描角度信息，通过惯性导航系统4和GPS接收天线5获取定位信息；同时基于定位信息获得视觉、激光以及位置姿态传感器数据信息与世界坐标的对应关系；B、工业控制计算机9获取二维激光扫描仪A3和二维激光扫描仪B6采集到的无人驾驶车I前方行驶环境激光点云数据，使用滤波器滤除干扰，并依据具体目标的形状空间位置特征，通过模式聚类分析的方法进行目标检测；通过调整距离阈值的方法，将聚类分成的子群重新合并，确定新的聚类中心实现目标定位；C、工业控制计算机9计算聚类物体外接矩形大小，结合激光发射频率和发射角这些激光固有参数计算聚类物体位置和空间范围；再依据已知的工业彩色数字CCD相机A2和工业彩色数字CCD相机BlO的视场角和方位角信息数据关联相机图像锁定包含被检测出的感兴趣目标的当前帧图像，经透视变换将三维世界坐标X、Y、Z映射到二维的图像坐标中，进一步确定工业彩色数字CXD相机A2和工业彩色数字CXD相机BlO的的图像中被检测目标的物体位置和空间范围，完成目标测量；D、融合激光和图像信息分类识别目标工业控制计算机9基于以下激光数据和图像信息中反映出的不同目标类别的属性特征对已经检测出的目标进行分类回复反射材料特性、形态学形状特性、绵延尺寸及离地高度特性；对归类后的对象使用模版匹配的方法，确定其在每类中的具体身份；所述的回复反射材料特性包括道路标识，所述的形态学形状特性包括树干、电线杆、行人或前方车辆，所述的绵延尺寸及离地高度特性包括马路边缘。如图I所示，本发明可应用于工业制造方面的自动取放料和运输等，也可应用于公共民用事业的通信或配电等行业，在交通方面可作为自主和驾驶辅助系统提高行车安全性，如在市区或高速公路上通过检测和识别行车标识符或行人等路障减少交通事故的发生。
本发明数据采集分为两步进行，第一步为已标定的视觉图像或激光数据的在线或离线采集，第二步为在线或离线进行的数据提取过程。这两步的具体实施方式
可基于视觉、激光、GPS、惯性导航系统传感器的设备软件，亦可基于本发明的环境感知系统进行。自动提取过程的输出包含一个数据库，该数据库存储在地理信息系统GIS层，而该层又与另一个障碍物7种类数据库关联且可直接与环境感知系统自动提取模块相连并在自动提取过程实时操作。本发明的工作原理如下无人驾驶车I可以一定速度行驶并同时采集其周围数据信息，工业彩色数字CXD相机A2和工业彩色数字CXD相机BlO以一定俯角安装于无人驾驶车I顶部平台两侧，可单独或构成立体视觉拍摄行驶前方视觉图像信息；二维激光扫描仪A3和二维激光扫描仪B6分别安装于无人驾驶车I前保险杠和顶部平台处中心位置，可测量探测区域的距离和角度信息，同时也可选择性输出亮度和颜色信息值，向前扫描行驶前方100度视场范围，分别用来检测行人、马路边沿、树干或电线杆、前方车辆等障碍物7和道路标识符8 ;惯性导航系统4安装于无人驾驶车I顶部，可输出车体当前俯仰角、侧倾角和翻滚角等姿态信息；GPS接收天线安装于无人驾驶车I上，实时获取无人驾驶车I的世界坐标信息，工业控制计算机9位于车内尾部，运行自编的环境感知系 统软件用来实现工业彩色数字CXD相机A2、二维激光扫描仪A3、惯性导航系统4、GPS接收天线5、工业彩色数字CXD相机BlO和二维激光扫描仪B6之间的同步。环境感知系统标定用来注册各传感器数据信息的对应关系。在两个工业彩色数字CCD相机安装于无人驾驶车I之前进行其内部参数标定，包括工业彩色数字CCD相机采集图像的快门速度和增益，再选用已知控制点方法进行工业彩色数字CCD相机的外部参数标定，包括工业彩色数字CCD相机安装的俯角和视场角；对于二维激光扫描仪A3和二维激光扫描仪B6联合使用回复反射材料制作的障碍物7和已知控制点进行外部标定。图2为环境感知系统各传感器与工业控制计算机9之间的数据交互以及各部分之间的电路连接示意图。本发明环境感知系统软件包括多个模块，用于采集、提取处理各种传感器信息，具体包括工业彩色数字CCD相机模块、二维激光扫描仪模块、姿态感知系统模块惯性导航系统4、位置感知系统模块GPS，分别获取和处理来自前方行驶环境的视觉信息、距离角度以及亮度色彩信息、车体当前姿态信息俯仰角、侧倾角、横摆角以及车体位于世界坐标系中的位置信息，交由工业控制计算机9融合处理。本发明环境感知系统硬件还包括可移动硬盘用于实时具有记录空间参考位置的图像数据和电力供应系统分别为二维激光扫描仪、工业彩色数字CCD相机、姿态感知和位置感知系统模块以及工业控制计算机9等模块提供电源多个模块。图3为本发明依据具体实施方式
的目标识别流程图。首先，无人驾驶车I获取两种传感器信息工业彩色数字CCD相机获取视觉图像，二维激光扫描仪获取距离、扫描角度等信息，同时基于定位信息获得视觉、激光以及位置姿态传感器数据信息与世界坐标的对应关系；其次，对于激光数据使用滤波器检测感兴趣目标，并对被检测出的感兴趣目标进行定位和测量；再依据已知的相机视场角和方位角信息数据关联相机图像锁定包含被检测出的感兴趣目标的当前帧图像，经透视变换将三维世界坐标X、Y、Z映射到二维的图像坐标中，进一步确定相机图像中被检测目标的感兴趣区域；最终融合激光和图像信息分类识别目标。
图4为道路标识符8自动检测的具体方法流程图。首先，采集激光数据和相机图像信息，并分配给各数据点地理坐标值。选择亮度值滤波逐点扫描激光数据，因为道路标识符8制作材料具有回复反射特性，其上的激光数据点的亮度值将使明显高于其他目标或道路上各激光数据点的亮度值，标识符上各点的X、Y、Z坐标值基于激光扫描角度、空间距离和全局定位信息计算得出。其次，基于激光数据点离地高度值再次滤波，选用K均值滤波器对数据点重新归类，找出属于同一目标的激光数据点，进而定位各目标中心坐标并测量障碍目标的尺寸。最后，基于目标尺寸阈值去除小目标噪声，并基于图像信息分类识别道路标识。根据目标定位和尺寸信息，使用照相测量方法可在图像中锁定感兴趣区域，利用已知的摄像机角度和视场角能够确定显示道路标识的最近一帧图像，在感兴趣区域中选用模板匹配算法自动分类识别道路标识的具体身份属性停车符、左转向、禁行等。·
权利要求
1.一种无人驾驶车自动环境感知系统，其特征在于包括工业彩色数字CCD相机A(2)、二维激光扫描仪A(3)、惯性导航系统(4)、GPS接收天线(5)、工业彩色数字C⑶相机B( 10)、二维激光扫描仪B (6)和工业控制计算机(9)，所述的工业彩色数字C⑶相机A (2)和工业彩色数字CCD相机B (10)分别以不同俯角安装在无人驾驶车(I)顶平台前段左右两侧；所述的二维激光扫描仪A (3)安装于无人驾驶车(I)前保险杠的中心位置，所述的二维激光扫描仪B (6)安装于无人驾驶车(I)顶部平台处中心位置；所述的惯性导航系统(4)安装于无人驾驶车(I)的顶部；所述的GPS接收天线(5)安装于无人驾驶车(I)的车顶后端；所述的工业控制计算机(9)安装于无人驾驶车(I)内尾部； 所述的工业控制计算机(9)通过数据线分别与工业彩色数字C⑶相机A (2)、二维激光扫描仪A (3)、惯性导航系统(4)、GPS接收天线(5)、工业彩色数字C⑶相机B (10)和二维激光扫描仪B (6)连接。
2.一种无人驾驶车的自动环境感知系统的工作方法，其特征在于包括以下步骤 A、工业控制计算机(9)获取传感器信息并进行系统标定工业控制计算机(9)通过工业彩色数字C⑶相机A (2)和工业彩色数字C⑶相机B (10)获取视觉图像信息，通过二维激光扫描仪A (3)和二维激光扫描仪B (6)获取距离、扫描角度信息，通过惯性导航系统(4)和GPS接收天线(5)获取定位信息；同时基于定位信息获得视觉、激光以及位置姿态传感器数据信息与世界坐标的对应关系； B、工业控制计算机(9)获取二维激光扫描仪A(3)和二维激光扫描仪B (6)采集到的无人驾驶车(I)前方行驶环境激光点云数据，使用滤波器滤除干扰，并依据具体目标的形状空间位置特征，通过模式聚类分析的方法进行目标检测；通过调整距离阈值的方法，将聚类分成的子群重新合并，确定新的聚类中心实现目标定位； C、工业控制计算机(9)计算聚类物体外接矩形大小，结合激光发射频率和发射角这些激光固有参数计算聚类物体位置和空间范围；再依据已知的工业彩色数字CCD相机A (2)和工业彩色数字CCD相机B (10)的视场角和方位角信息数据关联相机图像锁定包含被检测出的感兴趣目标的当前帧图像，经透视变换将三维世界坐标X、Y、Z映射到二维的图像坐标中，进一步确定工业彩色数字C⑶相机A (2)和工业彩色数字C⑶相机B (10)的的图像中被检测目标的物体位置和空间范围，完成目标测量； D、融合激光和图像信息分类识别目标工业控制计算机(9)基于以下激光数据和图像信息中反映出的不同目标类别的属性特征对已经检测出的目标进行分类回复反射材料特性、形态学形状特性、绵延尺寸及离地高度特性；对归类后的对象使用模版匹配的方法，确定其在每类中的具体身份；所述的回复反射材料特性包括道路标识，所述的形态学形状特性包括树干、电线杆、行人或前方车辆，所述的绵延尺寸及离地高度特性包括马路边缘。
全文摘要
本发明公开了一种无人驾驶车自动环境感知系统及其工作方法，所述系统包括双工业彩色数字CCD相机、双二维激光扫描仪、惯性导航系统、GPS接收天线和工业控制计算机，工业控制计算机通过数据线分别与工业彩色数字CCD相机、二维激光扫描仪、惯性导航系统和GPS接收天线连接。本发明采用双工业彩色数字CCD相机布置形成的双目视觉系统，提高了目标识别的可靠性。本发明能够在无人驾驶车前行时自动采集和处理视觉和激光数据，从多个不同目标中自动检测感兴趣目标；通过惯性导航系统和GPS获得车辆姿态位置数据。分析视觉图像信息、目标激光数据的三维坐标值以及当前车体姿态位置信息定位并测量出感兴趣目标的尺寸位置以及空间范围。
文档编号G01C11/00GK102944224SQ20121044848
公开日2013年2月27日 申请日期2012年11月9日 优先权日2012年11月9日
发明者赵一兵, 郭烈, 李琳辉, 张明恒, 邓云翔, 徐红宾 申请人:大连理工大学