一种基于多传感器的车载环境识别系统及全方位视觉模块的制作方法

文档序号:12730627阅读:来源:国知局

技术特征:

1.一种全方位视觉模块,其特征在于,包括:基座,图像处理模块,多组双目摄像头,与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架;多组双目摄像头在水平方向均匀布置,每组双目摄像头通过一个摄像头支架固定在基座外周上,每个步进电机通过对应的俯仰电机支架固定在基座上,每个摄像头支架与对应的步进电机输出轴固定连接,通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像;图像处理模块固定安装在基座上,实时采集并处理各组双目摄像头获取的场景图像。

2.如权利要求1所述的一种全方位视觉模块,其特征在于,所述图像处理模块包括图像采集单元、图像拼接单元、双目匹配单元、目标识别单元;图像采集单元实时采集所述各组双目摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元、双目匹配单元和目标识别单元;图像拼接单元将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像;双目匹配单元计算双目摄像头每帧获取的两幅图像的视差,结合双目视觉中的三角测量原理得到对应的深度图像;目标识别单元通过训练样本对分类器进行训练,再利用训练好的分类器检测所观测场景中的样本目标。

3.如权利要求2所述的一种全方位视觉模块,其特征在于,所述图像拼接单元的工作过程包括:

摄像头标定:预先校准由于安装设计产生的物理差异及摄相头之间的物理差异,得到一致性好的图像;

图像畸变校正:对导致图像内直线变弯曲的径向畸变进行校正操作;

图像投影变换:将不同角度拍摄的图像进行投影变换至同一投影面以便于拼接;

匹配点选取:在图像序列中寻找具有缩放不变性的SIFT特征点;

图像拼接:包括配准与融合,将各个方向的场景图像按一定规则拼接为一幅展开的全景图;

后处理:进行图像对亮度与颜色的均衡处理,以保证全景图在整体上达到亮度与颜色的一致性。

4.如权利要求2所述的一种全方位视觉模块,其特征在于,所述双目匹配单元的工作过程包括:

摄像头标定:通过摄像头标定获取摄像头的内部参数与外部参数;

代价计算以及图像分割:通过互信息计算初始匹配代价,解决了由于光照变化引起的误匹配现象;图像分割使同一分割块内的视差具有平滑变化的特点,改善弱纹理区域和深度不连续区域出现的匹配精度问题;

构造全局能量函数:将代价计算以及图像分割的信息融合起来提出全局能量函数;

多方向代价聚合:从8或16个方向的一维路径进行动态规划得到总的匹配代价;

视差选择:通过选择使总的匹配代价最小的视差为每个像素点的视差,从而得到整幅图像的初步视差图;

视差优化:通过亚像素插值、中值滤波、左右一致性检验进行优化处理得到视差图,再经过双目视觉中的三角测量原理得到深度图像。

5.如权利要求2所述的一种全方位视觉模块,其特征在于,所述目标识别单元的工作过程包括:

通过训练样本来训练分类器:对正样本和负样本进行特征选择和提取从而对原始数据进行变换得到最能反映分类本质的特征,进而得到训练好的分类器;

利用训练好的分类器进行目标检测:用一个扫描子窗口在待检测的图像中不断的移位滑动计算窗口区域的特征,并且通过训练好的分类器对该特征进行筛选,最终得到所要的分类结果。

6.一种基于多传感器的车载环境识别系统,其特征在于,包括全方位视觉模块、IMU模块、GPS模块、雷达模块和数据融合模块,全方位视觉模块、IMU模块、GPS模块、雷达模块分别与数据融合模块通讯连接;全方位视觉模块用于获取车辆周围360度范围内的环境三维信息;IMU模块用于获取车辆的加速度与角速度信息;GPS模块与IMU模块联合工作,获取车辆的位置和姿态信息;雷达模块用于获取车辆前方的目标位置信息,并且具有全天候、全天时的特点;数据融合模块用于对各传感器模块所获取的环境信息进行融合,实现对车辆行驶环境更加准确的识别。

7.如权利要求6所述的一种基于多传感器的车载环境识别系统,其特征在于,所述数据融合模块包括数据采集单元、数据存储单元、硬件处理器,数据采集单元采集上述各个传感器模块传输过来的数据并传输给数据存储单元;数据存储单元对数据进行存储并将数据实时传输给硬件处理器;硬件处理器以并行的方式计算处理传输过来的数据信息,以保证系统的实时性。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1