一种自动驾驶对象探测和定位系统及方法与流程

文档序号:22926043发布日期:2020-11-13 16:20阅读:217来源:国知局
一种自动驾驶对象探测和定位系统及方法与流程

本发明涉及计算机应用技术领域,特别涉及一种自动驾驶对象探测和定位系统及方法。



背景技术:

近年来,随着人们对汽车安全意识的增强以尽信息技术的发展,自动驾驶领域越来越受关注,世界上许多公司和科研机构都开始投入研发自动驾驶相关产品,预计2021年自动驾驶车辆将进入市场,给汽车行业带来巨大的变革。相关研究表明自动驾驶技术的发展将会在多种领域带来颠覆性的发展,例如其发展可以增强公路的交通安全、缓解交通拥堵状况和减少环境污染等方面,同时自动驾驶技术也是衡量一个国家科研实力和工业水平的一个重要标志,在国防和国民经济领域具有广阔的应用前景。

自动驾驶是指汽车通过车载传感系统来对道路环境进行感知,并根据感知所获得的道路、车辆位置和障碍物信息等控制车辆的转向和速度,进而自动规划行车路线并控制车辆到达预定目标的技术。

如今在自动驾驶方面,各大公司都有自己的技术方向,现有技术已有双目直接方法的视觉系统和惯性导航模块的组合系统,但是组合系统中视觉系统和惯性导航模块产生的误差不能有效限制,组合系统在长时间无图像梯度情况下误差会无限制增长,导致组合系统感知失败。

现有技术也有单目特征点方法的视觉系统、惯性导航模块及卫星导航的紧耦合自动驾驶感知系统,但是单目摄像头无法探测到无特征障碍物,比如高速路的隔离护栏、自行车或动物等。而现有视觉系统也有采用双目立体视觉系统进行耦合,但是仍然采用特征点法,计算量大,且对硬件性能要求高。目前最先进的双目立体视觉环境检测方法,也只使用了双目视觉中的视觉差信息,并没有使用摄像头在不同时间、位置采集到的图像来实现环境的三维建模。



技术实现要素:

本发明的目的在于提供一种自动驾驶对象探测和定位系统及方法,具有最大限度地提高自动驾驶感知系统的定位精度、提高计算效率和可靠性的优点,以解决上述背景技术中提出的问题。

为实现上述目的,本发明提供如下技术方案:

一种自动驾驶对象探测和定位系统,包括立体视觉图像处理模块、卫星导航模块、惯性导航模块及系统紧耦合模块,其中:

立体视觉图像处理模块,采用或者多目摄像头获取立体视觉模块的图像数据;

卫星导航模块,用于通过接收机获取卫星导航原始测量数据;

惯性导航模块,用于采用惯性传感器获取惯性导航模块的测量数据;

系统紧耦合模块,用于将所述惯性导航模块测量数据、所述立体视觉模块的图像数据及所述卫星导航原始测量数据进行紧耦合处理,并建立三维环境信息,最后利用深度神经网络模块检测环境中的目标和障碍物;

所述深度神经网络由三维稀疏卷积神经网络、点网神经网络和二者的组合构成;

所述立体视觉图像处理模块、所述卫星导航模块及所述惯性导航模块均与所述系统紧耦合模块连接。

进一步地,所述立体视觉图像处理模块包含双目或者多目摄像头。

本发明要解决的另一种技术方案:一种自动驾驶对象探测和定位的方法,包括以下步骤:

s1:获取立体视觉模块的图像数据、惯性导航模块的测量数据及卫星导航原始测量数据;

s2:将立体视觉模块的图像数据、卫星导航原始测量数据及所述惯性导航模块的测量数据进行紧耦合,对惯性导航模块的漂移误差进行修正;

s3:将立体视觉模块的图像数据、卫星导航原始测量数据及所述惯性导航模块的测量数据进行紧耦合,建立三维环境信息,再使用深度神经网络模块判断和分类环境中的目标和障碍物;

s4:深度神经网络使用三维稀疏卷积神经网络、点网神经网络或者是二者的组合。

进一步地,所述立体视觉模块采用多目,包括双目摄像头直接方法进行处理,所述图像数据包括在同一时刻多目或者双目立体视觉摄像头之间的视觉差和每一个摄像头在不同时间、位置拍摄到的图像信息来建立环境的三维信息。

进一步地,所述紧耦合由立体视觉的加权重投影误差、卫星导航误差和来自惯性导航的状态误差构成成本函数。

进一步地,所述s1具体包括如下步骤:

s11:采用多目或者是双目摄像头获取立体视觉模块的图像数据、图像数据包括在同一时刻多目或者双目立体视觉摄像头之间的视觉差和每一个摄像头在不同时间、位置拍摄到的图像信息;

s12:采用惯性传感器获取惯性导航模块的测量数据;

s13:通过接收机获取卫星导航原始测量数据;

s14:将所述惯性导航模块测量数据、所述图像数据及所述卫星导航原始测量数据进行紧耦合处理。

进一步地,所述s11具体包括如下步骤:

s111:用多目或者双目摄像头采集环境图像信号;

s112:组合多个不同摄像头在同一个时刻拍摄到的视觉差和每一个摄像头在不同时间、位置拍摄到的图像,形成立体视觉观测的直接方法;

s113:并组合惯性导航、卫星导航的测量数据,建立三维环境信息,最后使用深度神经网络模块分类和判断环境中的目标和障碍物。

进一步地,所述s12具体包括如下步骤:

s121:利用惯性传感器测量自动驾驶车辆在固定坐标系下的3轴加速度和3轴角速度;

s122:将所述加速度和所述角速度转动到导航坐标系下,求解惯性导航机械编排方程并计算出自动驾驶车辆的位置和姿态角;

s123:图像数据、惯性导航数据和卫星导航数据组合,建立三维环境信息,再利用深度神经网络模块,分类和判断环境中的目标和障碍物。

进一步地,所述s14具体包括:通过所述卫星导航原始测量数据结合所述立体视觉模块的图像数据对所述惯性导航模块的漂移误差进行校正。

与现有技术相比,本发明的有益效果是:本发明将惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据三者进行紧耦合,对惯性导航模块测量数据的误差进行修正,从而提高了定位精度,再利用立体视觉直接方法实现的三维环境建模数据和深度神经网络,识别和判断环境中的物体。被系统借助高精度的三维稀疏卷积神经网络、点网神经网络或者是它们的组合,提高障碍物判断的准确度,不再借助于昂贵的激光扫描雷达,从而降低自动驾驶汽车的成本。

附图说明

图1为本发明实施例自动驾驶定位和对象探测方法的流程图;

图2为本发明实施例自动驾驶对象探测和定位系统的三维稀疏卷积神经网络的结构图;

图3为本发明实施例自动驾驶对象探测和定位系统的点网神经网络的结构图;

图4为本发明实施例自动驾驶对象探测和定位系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

一种基于立体视觉模块、惯性导航模块及卫星导航模块紧耦合的自动驾驶对象探测和定位系统及方法,惯性导航可连续提供信息,短时间精度高,但是定位误差会随时间积累;卫星导航长期稳定性好,但易受到干扰,数据更新频率低;通常的立体视觉使用特征点方法,首先在图像中挑选多个特征点,再利用左右眼拍到的这些特征点的视觉差,进行匹配。最后使用三角方法确定这些特征点的到照相机的距离信息,从而首先三维环境探测和定位。基于特征点的立体视觉方法需要在每一帧图像中挑选很多特征点,花费大量的计算资源,而且在很多情况下,图像中并没有合适的特征点。比如图像强度只有一个固定梯度的情况下,特征点方法就会完全失败。基于特征点的立体视觉方法,也没有利用摄像头在不同位置拍摄到的图像来实现距离测量,浪费了宝贵的测量数据,导致环境建模精度误差和定位误差。

更好的算法是使用立体视觉直接方法,它不需要挑选特征点,节约计算资源,而且只要有梯度的图像就可以实现环境建模和定位。再加上它不仅利用不同摄像头在同一时刻拍摄到的图像数据,它还利用摄像头在不同时间、位置拍摄到的图像信息进行三维建模和定位,立体视觉根据不同照相机的视差,计算障碍物到照相机的距离,但视觉系统在图像缺乏梯度的环境下,不能有效定位和探测障碍物距离。将立体视觉直接方法、惯性导航及卫星导航构成组合导航系统,从而可相互协助感知车辆的状态和环境状态,在不同环境下互补,提高了可靠性和导航精度,能精确提取距离,可以替代现有的激光扫描雷达,降低成本。

图1为本发明实施例紧耦合的自动驾驶感知方法的流程图,如图1所示,该紧耦合的自动驾驶感知方法具体包括:

s1、获取自动驾驶车辆的惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据;s2、在紧耦合过程中,将立体视觉模块的图像数据及卫星导航原始测量数据与惯性导航模块测量数据进行紧耦合,对惯性导航模块测量数据的误差进行修正,从而感知车辆的状态和环境的状态。下面对具体的自动驾驶感知方法的过程进行详细描述:

(1)立体视觉模块的图像数据通过双目直接方法的立体视觉图像处理模块获取,下面对采用双目摄像头获取立体视觉模块的图像数据的详细过程进行描述:

直接方法是基于灰度不变假设的,同一个空间点的像素灰度,在各个图像中是固定不变的,直接方法不需要提取特征,同时在缺乏角点和边缘或光线变化不明显的环境,也有较好效果;且直接方法需处理的数据较少,可实现高计算效率。

采用双目直接方法处理摄像头立体视觉拍摄到的图像具体过程如下:

1.利用双目摄像头从不同位置获取被测物体的两幅或多幅图像的灰度图像(彩色的图可以使用红、绿、兰的强度,分别使用本方法),记录双目摄像头在t和t+1时刻获得的图像为ii和ij。

2.通过matlab或者opencv进行相机标定,获得相机的内参。

3.根据相机内参对获得的图像进行畸变矫正处理。

4.将上述的图像数据输入到系统紧耦合模块中,根据拍摄图像的计算出光度测量能量,再计算误差能量函数,通过最小化误差函数,实现照相机本体的定位和环境三维感知。具体的,图像ii中的空间点pi出现在另一帧图像ij中,其中ii和ij为同一个照相机在不同位置和姿态下拍摄到的图像,选取图像ii和ij中出现的一个空间点pi,根据同一空间三维点在各个视角下测到的灰度值不变假设原理,图像ii中的点p在图像ij的投影p’由下式计算:

其中,πk和是相机图像帧点的投影和反投影函数,dp是p点的逆深度,tji是图像帧之间的转换关系:

其中,rji是一个3*3的旋转矩阵,t是平移向量。

其光度误差能量函数为:

其中,||·||γ是huber范数,是为了防止误差能量函数随光度误差增长过快;ωp是权值,为了将图像中梯度大的像素点对应的权值缩小,这样最终的能量函数能够反映大多数像素点的光度误差,而不是个别梯度大的像素点的误差;ii[p]和ij[p']分别为pi在图像对应点的灰度值。

通过最小化光度误差能量进行优化从而得到相机位置和姿态角,当光度误差能量为最小值,求解得到立体视觉模块相机位姿和环境信息的图像数据。得到目标函数为:

上述的公式(1-3,1-4)是单目摄像头的光度误差能量函数。当摄像头为双目或者多目摄像头时,直接方法的立体视觉模块,组合图像数据包括双目摄像头同时采集到的视觉静态差数据和每一个摄像头在不同时间、位置采集到的动态时间序列数据。双目直接法通过引入耦合因子λ来平衡运动中相机每个图像帧和静态立体视觉的相对权重,其误差能量函数为:

其中,obs(p)表示所有可以观察到p点的图像帧,epjs是静态立体视觉中的误差能量函数,i属于为不同图像帧,p属于同一帧的多个点,j为可以观察到p点的所有帧。则根据公式(1-4)及公式(1-5)可以得出新的双目摄像头的目标函数。上述两个图像帧之间的转换中出现的rji和t,即是相机的位姿,通过采用梯度下降法或者高斯牛顿法求解目标函数,从而得到相机的位姿以及和空间点pi的三维坐标。进而通过该相机位姿对惯性导航中自动驾驶车辆的惯性导航模块测量数据的误差进行修正,该双目直接方法获取的相机位姿不需要提取特征,对道路和环境变化反应能力显著提高。很多空间点pi的三维坐标的集合就成为环境的三维点云。

(2)惯性导航模块测量数据通过惯性测量单元获取,惯性导航模块测量数据包括自动驾驶车辆的加速度矢量及转动角速率矢量,下面对获取惯性导航模块测量数据的详细过程进行描述:

首先,利用惯性传感器测量自动驾驶车辆在固定坐标系下的3轴加速度和3轴角速度。安装在车辆上的惯性测量单元为为加速度计和陀螺仪,其中,加速度计用于测量车辆加速度,陀螺仪用于测量车辆角速度。测量传感器存在零飘等测量误差,这些测量误差使得定位误差以时间平方增长、姿态角误差以时间成比例增长,如果不加以限制,导航系统很快失去能力,则,通过建模进行误差补偿,可减小确定性误差和随机漂移误差。

将加速度和角速度转动到导航坐标系下,求解惯性导航机械编排方程并计算出自动驾驶车辆的位置和姿态角。具体的,进行位姿数值更新和误差补偿时所选用的导航系均为n系,通常是东北天。

在东北天坐标系下,车辆的位置更新公式如下:

在上述公式中,为载体速度在n系中的投影;λ、l和h分别表示载体的经度、纬度和高度;a表示wgs-84坐标系下基本大地参数-椭球体的长半轴长,e为椭球体的偏心率。最终得到关于λ、l、h的微分方程,根据求解可以得到λ、l、h的值,从而可以计算出自动驾驶车辆的位置,rn为卯酉面曲率,rm为子午圈曲率半径。

在东北天坐标系下,车辆的速度更新公式如下:

在上述公式中,为四元数方向余弦矩阵的转置;vn为载体的速度在n系中的投影;为通过载体的相对速度计算得到的位移角速率;表示的是地球的自转角速率在n下的投影;gn为当地的重力加速度在n上的投影;fb为加速度计的测量输出值。符号“×”代表向量叉乘。最终得到关于vn的微分方程,根据求解可以得到vn的值,从而可以计算出自动驾驶车辆的速度及位移角速率。

再者,将惯性导航运动学与简单的动态偏差模型结合起来,得到如下方程组:

其中,的元素是每个不相关的零均值高斯白噪声过程。是加速度计测量,gw是地球的重力加速度矢量,是自动驾驶车辆三维位置,qws是代表车辆姿态角的4元素,是车辆的速度矢量,ba,bg分别是加速度和角速度偏差矢量。与作为随机游走建模的陀螺仪偏差相比,使用时间常数τ>0来将加速度计偏差建模为有界随机游走。矩阵ω由估计的伴随着陀螺仪测量的角速率组成:

最后得出来组合导航中惯性导航部分的预测误差es,es为惯性导航的状态误差项:

其中右边中间三项为四元数的1、2、3分量,是在时间k的惯性导航的速度矢量,惯性测量单元加速度和角速度的偏差矢量。

(3)通常的卫星导航模块输出安装在车辆上的卫星接收天线的三维位置、速度和当地时间。本发明的紧耦合方法需要卫星导航原始测量数据,包括可见卫星的伪距离测量、多普勒频飘测量及载波相位测量,并使用卫星的导航数据流协助本发明的惯性测量和立体视觉系统,综合决定自动驾驶车辆的位置、姿态角和环境三维信息,下面对获取卫星导航原始测量数据的详细过程进行描述:

全球导航卫星系统(gnss)使用无线广播信号为大众提供导航定位和时间同步服务。搞定在自动驾驶车辆上的卫星天线接收机接收导航卫星的信号;根据接收的卫星信号解析出每个卫星的星历信息,根据所述星历信息计算出每个所述卫星的卫星位置和卫星速度。同时,卫星接送机利用卫星发送的无线电信号,计算卫星的到本地接收机的伪距离、多普勒频飘及载波相位。

具体的,卫星导航接收机使用单点定位方法来测定伪距离,伪距离即是某颗卫星与用户天线的的飞行时间,乘以光速。卫星导航中,伪距ρ(n)(t)的计算是用n号卫星信号被接收的时间tu(t)与发射时间ts(n)(t-τ)之间的时间差与真空中无线电波的速度c相乘,表达式如下:

其中,符号τ代表gnss信号从发射到被用户接收的实际时间间隔。但由于gnss卫星与用户接收机的时钟通常不会与gnss时间t同步,将卫星时间超前gnss时间用表示,将接收机时间超前gnss时间用δtu(t)表示,即:

tu(t)=t+δtu(t)(3-3)

电离层、对流层等结构会对电磁波的传播造成一定程度上的延时,因此τ需要减去电离层延时i(n)(t)和对流层延时t(n)(t)才是卫星信号从卫星位置到接收机位置的几何距离r(n)的传播时间,即:

dtrop=ct(n)(t)

diono=ci(n)(t)

其中,为卫星钟差、diono电离层延迟和dtrop对流层延迟均为已知量,ε(n)表示的是未知的伪距测量噪声,r(n)是物理空间中接收机(x,y,z)到第n颗卫星(x(n),y(n),z(n))的几何距离,各个卫星位置的坐标(x(n),y(n),z(n))均可从各个卫星播发的星历解算得到。

类似地,卫星导航中的载波相位的观测方程如下:

φλ=ρ(ts,tr)+c(dtr-dts)+dtrop-diono+drel+dsa+dmulti+nλ+ε(3-5)

其中,为载波相位观测值,λ为载波波长,n为整周模糊度,ts为卫星发射信号时刻,tr为接收机接受信号时刻,dts和dtr分别为卫星和接收机的钟差,c为光速,diono为电离层延迟,dtrop为对流层延迟,dsa为sa影响,dmulti为多路径效应,ε为载波观测噪声,ρ(ts,tr)为ts时刻卫星和tr时刻接收机天线之间的几何距离,它含有测站坐标、卫星轨道和地球自转参数等。

由于多普勒频移观测量是载波相位率的瞬时观测值,忽略电离层、对流层延迟对时间的变化。对载波相位观测方程进行微分:

其中,则,可得多普勒频移测量方程为:

其中,λ是载波l1(f1=1575.42mhz)对应的波长,fu(i)是用户u相对卫星i的多普勒频移,v(i)是卫星i的移动速度,是用户u的移动速度,au(i)是用户u指向卫星i的单位向量,c是真空中的光速,δfu是用户u的时钟钟漂,δf(i)是卫星i的时钟钟漂,是用户u相对卫星i的多普勒频率测量噪声。由方程3-4,3-5和3-7可见,每一颗导航卫星可以提供2个独立测量结果(伪距离和载波相位)、这些测量方程可以用来校准惯性导航和立体视觉的定位偏差。

(4)将立体视觉图像处理模块、惯性导航模块及卫星导航模块三部分的数据输入进行紧耦合,数据包括惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据,通过卫星导航原始测量数据结合立体视觉模块的图像数据对惯性导航模块的漂移误差进行校正,从而可辅助惯性导航模块限制漂移误差,图2为系统紧耦合模块的具体流程图。在该图中,惯性传感器用于获取车辆在固定坐标系下的3轴加速度和3轴角速度输入到惯性导航模块中;双目摄像头采集图片用于直接方法的输入;gps接收机用于获取卫星的原始测量数据。将双目摄像头直接方法的重投影误差,根据卫星原始测量数据得到的卫星导航误差和惯性导航的时间误差结合,进行总体的最优化估计来校正惯性导航模块的漂移误差,最后输出最优的位姿。

当进行紧耦合时,紧耦合由立体视觉的加权重投影误差、卫星导航误差和来自惯性导航的时间误差构成成本函数来进行表达,表达式如下:

其中,er为立体视觉的加权重投影误差,eg为卫星导航误差,es为惯性导航的时间误差项,i表示相机的标号,k表示摄像机帧标号,j表示地标标号。在第k帧和第i个相机中可见的地标标号被写为集合j(i,k)。此外,wri,j,k表示相应下标测量的信息矩阵,并且表示对应第k帧图片时惯性导航误差信息,表示对应t时刻的第s颗卫星时,卫星对应的误差信息矩阵。

再者,er为立体视觉的加权重投影误差,立体视觉的重投影误差的表现形式为:

其中,hi表示相机的投影模型,zi,j,k表示特征的图像坐标。表示优化系统的姿态,表示惯性导航和相机的外参,表示特征坐标。

eg为卫星导航误差,每一个时刻t每一颗导航卫星s的误差包含三个部分的误差,表现形式为:

其中,ep表示伪距误差,ed表示多普勒误差,ec表示载波相位误差。

再者,相应的误差信息矩阵wg的形式就变成了如下的形式:

通过线性或非线性优化的方法使得成本函数j(x)的值达到最小,从而完成立体视觉图像处理模块、惯性导航模块及卫星导航模块三者之间的紧耦合,通过卫星导航原始测量数据结合立体视觉模块的图像数据对惯性导航模块的漂移误差进行校正。当卫星数小于设定数量时,无法对接收机进行定位,通过卫星导航原始测量数据结合立体视觉模块的图像数据对惯性导航模块的系统误差进行校正,从而提高了导航的精度,大大增强了导航系统的鲁棒性。

在给车辆定位的同时,以上步骤还通过立体视觉直接方法,实现了环境三维点云描述,而不需要昂贵的激光扫描雷达。本环境感知系统再通过深度学习神经网络判断环境中的目标和障碍物。对象探测的中心问题是把不一样的物体在环境三维点云的信息中分割出来,并判断物体的性质。这个问题交语义分割。本系统产生三维环境信息是在图像中有强度变化的点构成的稀疏点云。而且在彩色摄像头下,每个点还带有黄绿蓝强度信息。能够处理三维点云、实现语义分割,目标检测的深度神经网络模块通常分为三维稀疏卷积神经网络(3dcnn)、点网神经网络(pointnet)或者是两者的组合构成。三维稀疏卷积神经网络可以高效处理格点近似下的三维点云,和通常的二维卷积神经网络一样,它由多个卷积层和池化层工程。图2为三维卷积神经网络的卷积层,它由一个3x3x3的卷积核以步长为1对3维数据进行卷积运算。图2显示了对于一个3x3x3的三维卷积核,当它的输入为9x9x9它输出一个新的7x7x7的3维数据。更多情况下,以0填充输入数据边沿,可以使得输入和输出有同样的尺度。

完整的三维卷积神经网络由多个三维卷积层和多个三维池化层构成(图3),它有多个卷积内核,产生出不一样的特征。然后最大池化层取池化单元中的最大值作为单元的输出,如果以2x2x2作为池化单元大小,步长为2,池化处理后的三维数据将减小在每个方向减少一半。经过多级卷积层、池化层后数据在经过多层全连接层,最后把分类判断的结果从输出层,通常为归一化指数函数(softmax)输出。

尽管三维卷积神经网络可以高效地处理格点化以后的三维点云数据,格点化丢失了部分细微位置信息,造成误差。点网(pointnet)方法并不需要格点化三维数据,它可以直接在使用三维点云,作为输入,实现三维环境点云的语义分割。

点网的基本单元称为集合抽象(setabstraction)。它由抽样结合层和点网层构成。抽样结合层使用迭代最远点抽样(iterativefarthestpointsampling)方法,把三维空间的点的点分割成n个质心区域附件的点的结合,然后再使用多层感知器网络提取点云特征。点网一般由多层结合抽象单元,形成多级结合抽象功能,最后在使用全连接层和输出层。输出层使用归一化指数(softmax)全连接输出分类结果(图4)。

该紧耦合的自动驾驶感知系统可以帮助对环境提供高精度测量和建立地图,不再借助于昂贵的激光扫描雷达,降低了自动驾驶汽车的成本。

基于上述紧耦合的自动驾驶感知方法,本发明还提供了一种自动驾驶对象探测和定位系统100,图3为本发明实施例的自动驾驶对象探测和定位系统100的结构示意图,如图5所示,该自动驾驶对象探测和定位系统100包含双目直接方法的立体视觉图像处理模块10、卫星导航模块20、惯性导航模块30、系统紧耦合模块40及深度神经网络模块50,判断环境中的目标和障碍物。

具体的,惯性导航模块30用于采用惯性传感器获取惯性导航模块测量数据;具体如上。立体视觉图像处理模块10采用双目直接方法获取立体视觉模块的图像数据;具体如上。卫星导航模块20用于通过接收机获取导航卫星的卫星导航原始测量数据;具体如上。系统紧耦合模块40用于将惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据进行紧耦合处理;具体如上。各个模块之间的连接关系为:立体视觉图像处理模块10、卫星导航模块20及惯性导航模块30均与系统紧耦合模块40连接。

其中,立体视觉图像处理模块10包含双目摄像头,双目摄像头安装于自动驾驶车辆上;具体如上所述。再者,惯性导航模块30包含惯性传感器,惯性传感器固定于自动驾驶车辆上;具体如上所述。

其中,深度神经网络模块使用三维卷积神经网络或者是三维点网实现对象探测和语义分割。具体如上所述。

本发明将惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据三者进行紧耦合,对惯性导航模块测量数据的误差进行修正,从而提高了定位精度,不再借助于昂贵的激光扫描雷达,从而降低自动驾驶汽车的成本。

以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1