专利名称：多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
技术领域：
本发明涉及一种多视觉信息融合的车辆安全行驶实时立体感知装置及方法，属于
智能图象处理领域。
背景技术：
随着经济的发展，有车的人越来越多，车位也越来越多，与此同时，车子可转动的 空间却越来越少，驾驶员倒车难的问题也就越来越突出，稍有不慎很容易碰触到其它车辆 或建筑物。因此，市场上出现了多种行车和倒车安全辅助装置，如倒车雷达，倒车可视系统 装置等等，但是这些装置提供的是语音提醒以及图像显示后视场景，有的仅仅可以显示车 尾距离车辆后面障碍物距离信息，有的只是用摄像头把车尾的视频图像拍摄下来传送到显 示器上，虽然可在一定程度上帮助驾驶员完成倒车，但是，由于摄像头监视范围所限，会出 现监视盲区，不够直观，针对这一 问题，有的采用车身周围前后左右设置4路摄像头，将各 路摄像头获取的场景视频直接输出于驾驶室的显示装置，以平面展示监视车身周围环境， 能够在显示器上4分屏实时显示车身周围前后左右场景，属于2D显示方式，让驾驶员实时 掌握车身周围驾驶环境状况，其缺点是需要驾驶员通过不停扫视显示器上4副场景图像 来判断车身周围状况，但驾驶员在驾驶车辆、特别是倒车的关键时刻，没有更多时间和机会 依据4路实时图象判断车身周围环境，况且人工判断会有误判和误差，精度不够，同时，由 于4路摄像头分别设置在车身前、后、左、右四个方向，虽然可选广角摄像头，但是4路摄像 头获取车身周围环境视频图像信息时，同样存在监视盲区，因此这种方式仍不够直观，使用 效率低、精度不够且存在安全隐患。
发明内容
本发明的目的是要解决现有车载可视监视装置对4路车身周围摄像头获取的图 像视频信息不加处理地以2D输出于显示器上、使用效率低、精确度不够、存在监视盲区、不 直观等问题，提供了一种多视觉信息融合的车辆安全驾驶实时立体感知装置及方法，采用 智能图象处理技术，对获取的多路车身周围环境图象视频信息实时三维重建，形成实时的 车辆行驶环境三维立体环境。 本发明的车辆安全驾驶实时立体感知装置采用的技术方案是包括与硬件处理 器平台的输入相连接的视频图像采集装置、输出相连的液晶显示器，视频图像采集装置上 具有6个摄像头，硬件处理器平台的主处理器内包含一个DSP子系统和一个ARM子系统， SDRAM存储器单元与主处理器和FPGA控制器相连，6个视频AD单元与FPGA控制器连接，主 处理器分别连接DDR存储单元、Flash存储单元、JTAG调试单元、RS232接口单元、音频接口 单元、CAN总线接口单元和车载雷达接口单元。 本发明的车辆安全驾驶实时立体感知方法采用的技术方案是首先，硬件处理器 平台的FPGA控制器控制视频图像采集装置采集车辆周围图像并做好图像的预处理，存放 在SDRAM存储器单元中；其次，主处理器的DSP子系统从SDRAM存储器单元中读取图像，对帧图像进行匹配、拼接和三维场景的重建；再次，主处理器的ARM子系统同时从CAN总线接 口单元和车载雷达接口单元读取相关数据，对倒车轨迹进行预测，并根据雷达数据计算出 车尾距离后面障碍物的距离，送至DSP子系统；最后，DSP子系统将预测的倒车轨迹数据与 三维重建的图像综合处理送到液晶显示器进行显示， 本发明的有益效果是驾驶员在行车或倒车的时候不用费力地向后看，可以在车
内的液晶显示器上直观地看到车身后方及车身周围各个方向的立体环境信息，同时显示器
上还描绘出经过计算预测出来的倒车轨迹及车尾距离后面障碍物的距离，当车辆与障碍物
距离小于安全距离的时候，就会语音报警，提示驾驶员注意。因此司机可以直观、准确的将 车倒入车库或车位，具有身临其境之感觉，完全避免了普通倒车装置中常出现的盲区误报
等现象，适用于各类汽车，如货车、小车辆、特种车辆等。
以下结合附图和具体实施方式
对本发明装置及方法进一步详细说明。
图l是本发明装置组成示意图。图2是
图1中硬件处理器平台2的组成方框图。图3是图1中视频图像采集装置1的结构示意图。图4是图3中视频图像采集装置1中单个摄像头的结构及光源分布结构示意图。图5是图1中视频图像采集装置1中底板上电路原理的示意图。图6是图2中主处理器4中的ARM子系统6的控制流程图。图7是图2中FPGA控制器7内的控制流程图。图8是图2中DSP子系统5内的软件流程图。图9是图2中SDRAM存储单元11的操作示意图。图10是图1中液晶显示器3上菜单示意图。图11是车辆正常行驶时液晶显示器3上显示图像布局示意图。图12是车辆倒车行驶时液晶显示器3上显示图像布局示意图。
具体实施例方式
如图l，本发明整个装置包括硬件处理器平台2、与硬件处理器平台2的输入相连 接的视频图像采集装置1、以及与硬件处理器平台2的输出相连的液晶显示器3。硬件处理 器平台2是本发明的最重要的部分，完成图像的处理、车辆倒车轨迹预测、车尾安全距离的 计算和整个装置的控制等工作，此部分安装在车辆内部。视频图像采集装置1安装在车辆 外面的车顶位置，视频图像采集装置1上具有6个摄像头，主要完成车辆周围环境的图像信 息采集工作。液晶显示器3负责在倒车档位的时候将硬件处理器平台2发来的图像显示到 车载液晶显示器上，让驾驶员能直观地看到行车途中或倒车时车辆周围各个方向的立体环 境信息，可以使用车载导航的液晶显示器。 如图2，硬件处理器平台2主要由主处理器4、FPGA控制器7、电源单元8、6个视频 AD单元9、视频DA单元10、 SDRAM存储单元11、 DDR存储单元12、 Flash存储单元13、 JTAG 调试单元14、RS232接口单元15、音频接口单元16、网络接口单元17、蓝牙接口单元18、CAN 总线接口单元19、 USB接口单元20和车载雷达接口单元21组成，其中，主处理器4内包含一个DSP子系统5和一个ARM子系统6。电源单元8为整个硬件系统提供电源，6个视频AD 单元9与FPGA控制器7连接，SDRAM存储器单元11与主处理器4和FPGA控制器7相连， DDR存储单元12与主处理器4相连，为主处理器4提供存储器，Flash存储单元13与主处 理4相连，用于存储程序代码。JTAG调试单元14、RS232接口单元15、音频接口单元16、网 络接口单元17、蓝牙接口单元18、 CAN总线接口单元19、USB接口单元20、车载雷达接口单 元21和视频DA单元10均与主处理器4连接，在这些与主处理器4相连的接口单元中，本 发明主要用到了 RS232接口单元15、CAN总线接口单元19、音频接口单元16和车载雷达接 口单元21 ，其余接口单元主要是为了方便与车载GPS导航系统等其它车载电子设备进行扩 展。 如图3，视频图像采集装置1内集成了 6个高精度CCD摄像头。视频图像采集装置 1下部为圆台状，顶部是一个与圆台侧面相切的半球形透明罩27。视频图像采集装置1放置 于车辆外面的顶部，用来采集车辆外各个方向的图像。图3上的5个摄像头22、23、24、25、 28均匀嵌在装置的圆台侧面上，每相邻两个摄像头中轴线的的夹角度数为72度，在装置顶 部的半球形透明罩27下部设置第6个摄像头26，此摄像头是可控制的，能够进行前后左右 的运动，控制电路在此装置的底板电路上。为了使摄像头与摄像头之间的死角区域更小以 方便三维图像的拼接重建，且使装置美观大方，选取圆台侧面与水平面的夹角a为60度。
如图4所示，本发明的摄像头中单个摄像头由一个高精度CCD摄像头29和若干个 红外发光二极管30组成。其中高精度CCD摄像头29在中间位置，若干个红外发光二极管 30均匀嵌在CCD摄像头29的周围，本发明使用了 21个红外发光二极管30，这样夜间的时 候，红外发光二极管30发出红外光，可使CCD摄像头29在夜间依然能够采集到车辆周围清 晰的图像。因此，本发明装置可以再全天候使用，无论是白天还是黑夜，是晴天还是下雨都 可使用。 如图5所示，视频图像采集装置1中底板为圆形，面积与图3所示摄像头装置底面 面积相当，其上具有5个孔31、32、33、34和35，其中孔32、33、34、35为4个螺丝孔，用于固 定摄像头，孔31略大，用于通过信号线。U1、U2、U3为底板上电路单元，其中Ul为RS232的 电路，U2为一个简单的微处理器，U3为底板上的电源电路，为底板上各个单元和摄像头供 电。Jl、 J2是底板上的两个接插件，连接本发明的视频图像采集装置1和硬件处理器平台 2。 Jl的第1、12脚为接地脚，第2脚为12V的电源引脚，第3、4、5、6、7、8引脚分别为6个摄 像头的信号线，与硬件处理器平台2上的6个视频AD单元9相连，第9、10、11引脚与视频 图像采集装置中摄像头23的控制引脚相连。J2的第1脚为TXD引脚，与硬件处理器平台2 的RS232接口单元15电路中的TXD信号线相连，第2脚接地，第3脚为RXD引脚，与硬件处 理器平台2的RS232接口单元15电路中的RXD信号线相连。 本发明实时立体感知装置方法是首先，硬件处理器平台2的FPGA控制器7控制 视频图像采集装置1采集车辆周围图像并做好图像的预处理，存放在SDRAM存储器单元11 中；其次，主处理器4的DSP子系统5从SDRAM存储器单元11中读取图像，对帧图像进行匹 配、拼接和三维场景的重建；再次，主处理器4的ARM子系统6同时从CAN总线接口单元19 和车载雷达接口单元21读取相关数据，对倒车轨迹进行预测，并根据雷达数据计算出车尾 距离后面障碍物的距离，送至DSP子系统5 ;最后，DSP子系统5将预测的倒车轨迹数据与三 维重建的图像综合处理送到液晶显示器3进行显示，其具体为
如图6所示，硬件处理器平台2上电完成初始化之后，液晶显示器显示菜单Sl，用 手点击如图11、 12的显示器上按扭Me皿菜单41之后，显示如图IO所示菜单36，选智能倒 车按钮43，进入智能倒车参数设置菜单37，距离信息显示按钮46如果被按下，车身周围距 离障碍物距离信息39将显示在显示器3的左下角，否则不显示这些数据；语音安全报警按 钮47如果被按下，当车身距离障碍物距离很近的时候将进行语言报警提示，否则不进行语 言报警提示，此外如果车辆是倒车档位，这个按钮将不会起作用，倒车时将一直开启语音报 警提示。当驾驶员通过这些菜单设置好后，ARM子系统6判断是否为智能倒车模式S2，如果 是，ARM子系统6读取显示器信息S4，若不是，进行其它工作S3，包括对网络接口单元17、 USB接口单元20和蓝牙接口单元18等其它单元进行控制，然后通过CAN总线接口单元19 读取车辆行驶时的实时参数S5，包括车辆的行驶速度，方向盘转过的角度，汽车档位等，然 后发送消息通知DSP子系统5的S6，车辆当前是否为倒车档位S7，若是，ARM子系统6将利 用这些参数和相关知识预测车辆的倒车轨迹S8，通过车载雷达接口 21获取倒车雷达的数 据，经过处理，计算出车辆车尾距车后障碍物的距离S9，判断距离是否小于预先设定车尾距 障碍物的安全距离S10，如果小于，系统将通过音频接口单元16进行语音报警提示S11，然 后ARM子系统6等待接收DSP子系统5消息S12， ARM子系统6将把刚才预测好的倒车轨迹 和车尾距障碍物距离等数据发送给DSP子系统S13，若不是将直接结束。
如图7所示，装置上电初始化完成后，FPGA控制器7开始采集视频图像S1 ，为了降 低主处理器4中DSP子系统5的计算量，图像采集完后，FPGA控制器7对采集的图像进行图 像预处理操作S2，包括图像滤波、归一化等，然后等待接收DSP子系统5发送来的消息S3， 检测此时的SDRAM存储单元11是否可以进行写入操作S4，如果不可以就继续接收DSP子 系统5送来的消息S3，否则将预处理完毕的图像帧存入SDRAM存储单元11中去S5，这里对 SDRAM的存取操作采用乒乓操作的方式，具体见图9。图像帧存储完后发送消息给DSP子系 统5，通知SDRAM存储单元11中已经存有预处理完毕的图像，可以进行下一步图像处理工作 了 S6。 如图8所示，主处理器4上电初始化完成后，等待接收FPGA控制器7发来的消息 Sl，此消息通知DSP子系统5，SDRAM存储单元11中的图像是否已经可读了 S2，如果消息表 明SDRAM存储单元11不可读，则继续接收FPGA控制器7发来的消息Sl，否则DSP子系统 5从SDRAM存储单元11中读取已经预处理过的图像数据S3，并通知FPGA控制器7可以继 续向SDRAM存储单元11中写入数据S4，然后对读取的图像进行立体匹配、拼接、三维重建 等图像处理S5，接下来DSP子系统5接收ARM子系统6发送来的消息S6，判断车辆当前是 否是倒车档S7，如果是倒车档位，DSP子系统5将发送消息通知ARM子系统6发送汽车倒车 的预测轨迹等S8，当接收了预测的倒车轨迹和车尾距离障碍物距离等信息后S9， DSP子系 统5将倒车预测的轨迹等数据叠加到已处理好的图像上S 10， DSP子系统5通过读取驾驶 员设置的参数，判断显示器上是否显示距离信息Sll，如果驾驶员选择了显示距离信息，DSP 子系统5将车身周围距离障碍物的距离也叠加到图像上S12，然后送液晶显示S16，显示效 果如图12所示，如果驾驶员没有选择显示距离信息，DSP子系统5将直接把图像送液晶进 行显示S12，显示效果如图12所示，但是距离信息39不能显示出来。如果不是倒车档位， 而是正常前进行驶的时候，DSP子系统5将判断驾驶员是否选择了语音报警功能，如果选择 了将判读车身距离周围障碍物的距离S14，如果车身距离周围障碍物距离小于预定安全距离，将进行语音报警S15，此系统中将警告等级分为三级，第一级的安全距离小于0. 80m，第 二级的安全距离小于0. 50m，第三级的安全距离小于0. 30m。报警的声音一级比一级急促， 然后进入是否显示距离信息的判断SIO，如果驾驶员没有选择语音报警功能，DSP子系统5 将直接跳到步骤SIO。 本发明的硬件系统中对SDRAM存储器11采用的是乒乓操作，如图9所示，首先在 SDRAM存储器11中开辟2块存储区SDRAM A和SDRAM B，每块大小约为6MB，用来存储FPGA 控制器7每次预处理的6帧图像。在第一个缓冲周期，将FPGA控制器7预处理后的图像缓 存到SDRAM A中；在第2个缓冲周期，通过输入图像数据流选择单元的切换，将输入的图像 流缓存到SDRAM B中，同时将SDRAM A缓存的第1个周期图像数据通过输出图像数据流选 择单元的选择，送到DSP子系统5进行运算处理；在第3个缓冲周期通过输入图像数据流选 择单元的再次切换，将输入的图像数据流缓存到SDRAM存储器11中，同时将SDRAM B缓存 的第2个周期的数据通过输出图像数据流选择单元的切换，送到DSP子系统5进行运算处 理，如此循环。这样操作可以实现数据的无缝缓冲与处理，提高系统的效率。
当驾驶员按下液晶显示器3上如图11或12中的Me皿按钮41的时候，液晶显示 器3上弹出如图10所示的菜单36，里边有三个按钮分别是智能倒车43、GPS导航44和DVD 多媒体播放按钮45，当按下智能倒车按钮43的时候，液晶显示器3上会继续弹出本发明装 置的一些参数设置菜单37，如距离信息显示46和语音安全报警按钮47。当距离信息显示 按钮46被按下的时候，液晶显示器3左下角上将会显示车身周围距离障碍物的实时距离信 息(见图11或12的39)，否则不显示；如果语音安全报警按钮47被按下，当车身周围距障 碍物的距离小于预设的安全距离时将发出语音报警提示，若没有按下此按钮，车辆在正常 前进行驶时，语音报警功能将被屏蔽，但是倒车时仍然会进行语言报警提示的，菜单36中 按钮GPS导航44或DVD多媒体播放45被按下时，液晶显示器3上将会出现相应画面，而不 会显示本发明装置中的相应图像。 图11所示的是车辆正常行驶的时候，如果驾驶员选择了菜单36中的智能倒车按 钮43的时候，液晶显示器3上显示图像的布局示意图。液晶显示器3共分四个显示部分 包括按钮41Me皿，距离信息显示区域39，语音报警状态显示区域40和三维重建图像显示区 域38，其中当驾驶员在菜单37中如果没有按下距离信息显示按钮46，距离信息显示区域39 将不进行显示。 图12所示的是车辆倒车的时候，液晶显示器3上显示图像的布局示意图。在倒车 时，无论此时液晶显示器3上显示的是GPS导航地图还是DVD的多媒体画面，都将直接切换 到智能倒车模式下进行显示，倒车结束后，返回原来的显示状态。倒车时显示器共分五个显 示部分包括按钮41Me皿，距离信息显示区域39，语音报警状态显示区域40，三维重建图像 显示区域38和倒车轨迹显示区域42，其中当驾驶员在菜单37中如果没有按下距离信息显 示按钮46，距离信息显示区域39将不进行显示。
权利要求
一种多视觉信息融合的车辆安全驾驶实时立体感知装置，包括与硬件处理器平台(2)的输入相连接的视频图像采集装置(1)、输出相连的液晶显示器(3)，其特征是视频图像采集装置(1)上具有6个摄像头，硬件处理器平台(2)的主处理器(4)内包含一个DSP子系统(5)和一个ARM子系统(6)，SDRAM存储器单元(11)分别与主处理器(4)和FPGA控制器(7)相连，6个视频AD单元(9)与FPGA控制器(7)连接，主处理器(4)分别连接DDR存储单元(12)、Flash存储单元(13)、JTAG调试单元(14)、RS232接口单元(15)、音频接口单元(16)、CAN总线接口单元(19)和车载雷达接口单元(21)。
2. 根据权利要求1所述的多视觉信息融合的车辆安全驾驶实时立体感知装置，其特征 是所述视频图像采集装置(1)放置于车辆外面的顶部，其下部为圆台状，顶部为一个与圆 台侧面相切的半球形透明罩(27)，视频图像采集装置(1)上的5个摄像头(22、23、24、25、 28)均匀嵌于圆台侧面上，第6个摄像头(26)位于所述半球形透明罩(27)下部。
3. 根据权利要求1所述的多视觉信息融合的车辆安全驾驶实时立体感知装置，其特征 是单个所述摄像头由一个CCD摄像头(29)和若干个红外发光二极管(30)组成，CCD摄像 头(29)位于中间位置，若干个红外发光二极管(30)均匀嵌于其周围。
4.根据权利要求2所述的多视觉信息融合的车辆安全驾驶实时立体感知装置，其特征 是所视频图像采集装置(1)中的底板上设置电路单元U1、U2、U3，其中U1为RS232的电 路，U2为一个简易的微处理器，U3为底板上的电源电路，Jl、 J2是底板上的两个接插件。
5. —种多视觉信息融合的车辆安全驾驶实时立体感知方法，其特征是采用如下步骤1) 对硬件处理器平台(2)上电完成初始化，FPGA控制器(7)控制视频图像采集装置 (1)采集车辆周围图像并做好图像的预处理，存放在SDRAM存储器单元(11)中；2) 主处理器(4)的DSP子系统(5)从SDRAM存储器单元(11)中读取图像，对帧图像进 行匹配、拼接和三维场景的重建；3) 主处理器(4)的ARM子系统(6)同时从CAN总线接口单元(19)和车载雷达接口单 元(21)读取相关数据，对倒车轨迹进行预测，并根据雷达数据计算出车尾距离后面障碍物 的距离，送至DSP子系统(5);4) DSP子系统(5)将预测的倒车轨迹数据与三维重建的图像综合处理送到液晶显示器(3) 进行显示。
6. 根据权利要求5所述的多视觉信息融合的车辆安全驾驶实时立体感知方法，其特征 是FPGA控制器(7)采集视频图像并对图像预处理操作后等待接收DSP子系统(5)发送来 的消息，检测SDRAM存储单元(11)是否可进行写入操作，将预处理完毕的图像帧存入SDRAM 存储单元(11)中，通知SDRAM存储单元(11)已经存有预处理完毕的图像。
7. 根据权利要求5所述的多视觉信息融合的车辆安全驾驶实时立体感知方法，其特征 是对SDRAM的存取操作是在SDRAM存储器(11)中设2块存储区SDRAM A和SDRAM B，将 FPGA控制器(7)预处理后的图像缓存到SDRAM A中；将输入的图像流缓存到SDRAMB中，同 时将SDRAM A缓存的第1个周期图像数据通过输出图像数据流选择单元的选择送到DSP子 系统(5)进行运算处理；在第3个缓冲周期通过输入图像数据流选择单元的再次切换，将输 入的图像数据流缓存到SDRAM存储器(11)中，同时将SDRAM B缓存的第2个周期的数据通 过输出图像数据流选择单元的切换送到DSP子系统(5)运算处理。
8. 根据权利要求5所述的多视觉信息融合的车辆安全驾驶实时立体感知方法，其特征是DSP子系统(5)接收ARM子系统(6)发送来的消息判断车辆当前是否是倒车档，如果是 倒车档位，DSP子系统(5)发送消息通知ARM子系统(6)发送汽车倒车的预测轨迹，DSP子 系统(5)将倒车预测的轨迹数据叠加到已处理好的图像上，DSP子系统(5)通过读取已设 置的参数判断显示器上是否显示距离信息。
全文摘要
本发明公开了一种多视觉信息融合的车辆安全驾驶实时立体感知装置及方法，视频图像采集装置上具有6个摄像头，主处理器内包含一个DSP子系统和一个ARM子系统，SDRAM存储器单元与主处理器和FPGA控制器相连，FPGA控制器控制采集车辆周围图像并做好图像的预处理后存放在SDRAM存储器单元中；DSP子系统从SDRAM存储器单元中读取图像，对帧图像进行匹配、拼接和三维场景的重建；ARM子系统同时从CAN总线接口单元和车载雷达接口单元读取相关数据，DSP子系统将预测的倒车轨迹数据与三维重建的图像综合处理送到液晶显示器进行显示，驾驶员在行车或倒车时完全避免了普通倒车装置中常出现的盲区误报等现象。
文档编号H04N7/18GK101739843SQ20091023268
公开日2010年6月16日 申请日期2009年12月4日 优先权日2009年12月4日
发明者丁燕琼, 奚吉, 张卓, 张学武, 徐立中, 李庆武, 林善明, 梁瑞宇, 段敦勤, 范新南 申请人:河海大学常州校区