一种单目视觉里程计的真实尺度获取方法
【专利摘要】本发明涉及一种单目视觉里程计的真实尺度获取方法，包括以下步骤：1)获取单目摄像头拍摄的每帧图像中每一个像素点属于路面的概率；2)获取单目摄像头拍摄的相邻两帧图像间相机运动的旋转矩阵R和相机相对位移向量；3)构建近似为平面的路面模型，采用单应性方法获取后一帧图像中属于路面上的点在前一帧图像中的位置；4)计算相邻两帧图像中对应像素点的像素值之差的加权平均，并求出使像素值之差的加权平均最小时对应的路面模型参数；5)根据摄像头的真实高度和路面模型中的高度获取绝对尺度，并计算相机真实位移向量。与现有技术相比，本发明具有成本低，操作简单、准确性高、鲁棒性高、效率高等优点。
【专利说明】
一种单目视觉里程计的真实尺度获取方法
技术领域
[0001] 本发明涉及一种尺度获取方法，尤其是涉及一种单目视觉里程计的真实尺度获取 方法。
【背景技术】
[0002] 视觉里程计可以仅根据视觉图像信息获取智能车的运动轨迹，在智能车自主定位 和导航具有十分重大的价值。相比于误差较大的GPS，惯导和码盘，视觉里程计可以有更高 的精度;相比于价格昂贵体积较大的激光传感器，视觉信息可以方便低成本获得。单目视觉 里程计相比于双目视觉里程计更适合于在室外等大尺度场景。但由于单目视觉里程计损失 了深度信息，无法直接得到尺度信息。
[0003] 目前恢复单目视觉尺度一般都需要附加传感器，如视觉和惯导配合的VI0,但最理 想最方便的方式自然是用纯视觉的方法来恢复，纯视觉的方法一般是基于路面信息来做 的，目前有两种做法，一种是假设图像下部中间的一部分区域是路面，然后用这块区域实现 单应性方法求出路面模型，但这种假设是不一定都一直成立，当车辆在转弯或前方有车辆 遮挡时，这块区域可能大部分都不是路面，此时估计的模型必然是错的。另外一种方法是在 得到不带尺度的R，t之后，用三角测量方法计算所匹配的特征点的空间位置，然后使用 Ransac方法估计路面模型，在估计好初始模型之后可以根据路面的颜色训练一个分类器用 以估计之后像素点是路面的概率，选用大概率的点去求路面模型，这种方法的弊端是，一般 路面区域由于是平面，特征点会比较少，Ransac估计路面模型是可能无法得到准确的结果， 而且过程中特征点匹配跟踪，三角测量，Ransac模型估计，算法会比较慢，很难达到实时性。
【发明内容】
[0004] 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种成本低，操作简 单、准确性高、鲁棒性高、效率高的单目视觉里程计的真实尺度获取方法。
[0005] 本发明的目的可以通过以下技术方案来实现：
[0006] -种单目视觉里程计的真实尺度获取方法，用以获取路面行驶车辆的真实位移， 包括以下步骤：
[0007] 1)获取单目摄像头拍摄的每帧图像中每一个像素点属于路面的概率；
[0008] 2)获取单目摄像头拍摄的相邻两帧图像间相机运动的旋转矩阵R和相机相对位移 向量t%
[0009] 3)构建近似为平面的路面模型ηΧ+Ρ = 0,并根据旋转矩阵R和相机相对位移向量 t'采用单应性方法获取后一帧图像中属于路面上的点在前一帧图像中的位置；
[0010] 4)计算相邻两帧图像中对应像素点的像素值之差的加权平均，权重为对应像素点 属于路面的概率，并求出使像素值之差的加权平均最小时对应的路面模型参数η和h%
[0011] 5)根据摄像头的真实高度h和路面模型中的高度P获取绝对尺度s，并计算相机真 实位移向量t。
[0012] 所述的步骤1)具体包括以下步骤：
[0013] 11)对单目摄像头获取的图像进行主成分分析，并将图像映射到特征空间，在特征 空间中对图像进行聚类；
[0014] 12)根据先验信息和聚类结果，获取聚类所得到的类别中最有可能属于路面的一 类和最不可能属于路面的一类；
[0015] 13)将聚类结果的两种类别分别作为正负样本训练并更新分类器；
[0016] 14)根据分类器的结果和先验信息获取图像中的每一点属于路面的概率。
[0017] 所述的步骤12)和步骤14)中，先验信息为单目摄像头获取的图像下部是路面的概 率较大，图像上部是路面概率较小。
[0018] 所述的步骤4)中，像素值之差的加权平均的目标函数为：
[0019]
[0020] 其中，PiS相邻的两幅图像中对应的第i个像素点属于路面的概率，K为投影矩阵， 为前一幅图像对应的像素点的色彩信息，为后一幅图像对应的像素点的色彩 信息，α为归一因子。
[0021 ]所述的步骤5)中绝对尺度s的计算式为： j
[0022] s =去
[0023] 所述的相机真实位移向量t的计算式为：
[0024] t = st*。
[0025] 与现有技术相比，本发明具有以下优点：
[0026]本文提出的方法既保证了路面区域的实时更新，保证不受异常情况的影响，同时 采用概率模型增加鲁棒性，另外不需要特征点匹配和三角测量以及Ransac模型估计等，可 以保证了算法的效率。
[0027] -、成本低:本方法所基于的视觉里程计方案为单目视觉里程计，其成本较双目视 觉里程计减少一半，相比激光雷达减少更多，在实施过程中，无需惯导等其他传感器，也不 需要提前设定路面区域，实时方案也比较简单等。
[0028] 二、准确性高:本发明采用的路面颜色模型不是一直不变的，而是一个不断在线学 习更新的过程，主成分分析和聚类方法会给分类器提供最新的训练数据，路面颜色模型实 时更新，避免不同道路情况以及车前方有遮挡时路面区域的判断失误，导致路面几何模型 的求解错误。
[0029] 三、鲁棒性高:本发明中没有使用绝对区域作为路面，而是将图像中的每个点都根 据分类器的结果和一些先验信息赋予一定的属于路面的概率，使用概率模型对路面进行表 示，增加了方法的鲁棒性。
[0030] 四、效率高:我们使用单应性的方法进行路面模型估计，既充分利用了路面区域的 所有点，又无需特征点匹配，相比于基于Ransac的方法，算法效率高。
【附图说明】
[0031] 图1为本发明的基本方法原理图。
[0032] 图2为路面模型示意图。
[0033] 图3为相机在拍摄相邻两帧图像时的位姿示意图。
[0034]图4为本发明的整体算法流程图。
【具体实施方式】
[0035]下面结合附图和具体实施例对本发明进行详细说明。
[0036] 实施例：
[0037] 如图4所示，本发明的主要步骤如下：
[0038] 1.对图像进行主成分分析，并将图像映射到新的特征空间，在新的特征空间对图 像进行聚类；
[0039] 2.根据摄像头所获取图像的下部是路面的概率较大，图像上部是路面概率较小这 一先验信息，确定聚类所得到的类别中最优可能属于路面和最不可能属于路面的一类；
[0040] 3.使用2中得到的数据分别作为正负样本训练或更新分类器；
[0041] 4.根据分类器结果和先验信息确定图像中每一点属于路面的概率；
[0042] 5.在第二帧图像之后计算两帧图像间相机运动的旋转矩阵R，和位移向量t'这里 的f没有绝对尺度；
[0043] 6 .假设路面为近似为平面，数学模型为ηΧ+Ρ = 0，η和P未知。根据R，tlP路面模 型，使用单应性方法计算后一帧图像中路面上的点在前一帧图像中的位置。
[0044] 7.考虑路面概率信息，计算两帧图像对应像素点像素值之差的加权平均，权重为 这一点属于路面的概率，并通过优化的方法求出使像素平均差最小时的路面模型参数η和 h*〇
[0045] 8.根据摄像头的真实高度h和用所计算出路面数学模型中的高度P获取绝对尺度 s = h/h'具有真实尺度的相机位移向量为t = st'
[0046] 本方法的详细说明如下：
[0047] 单目视觉里程计由于缺少深度信息，无法直接获取绝对的智能车运动位移尺度， 而这个绝对尺度对于智能车是十分必要的。对每一辆车而言，车上所安装的摄像头到路面 上的高度(h)是固定而且已知的，这个高度可以当做一个先验信息用以恢复尺度，基本方法 如图1所示：
[0048] 图1中，P为求出的路面模型中的摄像头高度，h是真实的高度，二者的比值就是我 们所要恢复的尺度。其中路面模型（如图2所示)为我们根据所求出的两帧图像之间的旋转 矩阵R和不带绝对尺度的f以及路面概率模型所求出不带绝对尺度的模型
[0049] 路面模型在相机坐标系中的表示为nTX+t$ = 0,本文所做主要工作之一就是求出P 进而恢复绝对尺度。
[0050] 图3中，Ci和C2分别是相机在拍摄相邻两帧图像时的位姿，如果相机从Ci运动到C2 的旋转和位移分别是R和t*，即和庐分别是世界中的一点P在两个相机坐标 系中的坐标，可知/Λ = β/Λ +如果P在路面上，那么在C2坐标系中+ Y = 〇，也就是 =1，所以，如果P在路面上，P在两个相机坐标系中的坐标应该满足以下关系：
[0051]
[0052] 考虑投影矩阵K可得：
[0053]
[0054] 其中α为根据等式左侧算出的结果的最后一项，假设两帧之间世界中同一点的色 彩信息不变，即/,卜(1 p /2(心)，那么如果路面模型n，h是准确的，应该满足：
[0055]
[0056] 考虎路而概率樟型可以得剞审优的目标函数：
[0057]
[0058]其中PiS某个像素点属于路面的概率。上述优化方程有四个参数需要优化，其中h 是我们最需要的。考虑到，路面在相机坐标系下的法线方向是基本不变的，可以初始标定事 求出，进而减小在线优化的运算量。即时没有在初始标定时求出也没有必要没一帧都优化， 可以在前面优化得出之后，后面的运算假设其基本不变。
[0059] 前面提到了路面概率模型，下面将介绍如果获取路面概率模型，首先使用主成分 分析方法分析图像主成分，并将图像映射到新的特征空间，然后在新的特征空间使用聚类 方法对图像进行聚类。
[0060] -般情况，图像下部是路面区域的概率较大，上部是路面的概率较小，根据这一先 验信息，我们可以确定各个区域是路面的可能性。然后取可能性最大的区域和可能性最小 的区域分别作为正负样本，训练或更新分类器，然后使用分类器确定各个像素点属于路面 的概率。
【主权项】
1. 一种单目视觉里程计的真实尺度获取方法，用W获取路面行驶车辆的真实位移，其 特征在于，包括W下步骤： 1) 获取单目摄像头拍摄的每帖图像中每一个像素点属于路面的概率； 2) 获取单目摄像头拍摄的相邻两帖图像间相机运动的旋转矩阵R和相机相对位移向量 t*; 3) 构建近似为平面的路面模型11乂+}1^ = 0，并根据旋转矩阵1?和相机相对位移向量*^采 用单应性方法获取后一帖图像中属于路面上的点在前一帖图像中的位置； 4) 计算相邻两帖图像中对应像素点的像素值之差的加权平均，权重为对应像素点属于 路面的概率，并求出使像素值之差的加权平均最小时对应的路面模型参数η和h% 5) 根据摄像头的真实高度11和路面模型中的高度}1^获取绝对尺度3，并计算相机真实位 移向量t。2. 根据权利要求1所述的一种单目视觉里程计的真实尺度获取方法，其特征在于，所述 的步骤1)具体包括W下步骤： 11) 对单目摄像头获取的图像进行主成分分析，并将图像映射到特征空间，在特征空间 中对图像进行聚类； 12) 根据先验信息和聚类结果，获取聚类所得到的类别中最有可能属于路面的一类和 最不可能属于路面的一类； 13) 将聚类结果的两种类别分别作为正负样本训练并更新分类器； 14) 根据分类器的结果和先验信息获取图像中的每一点属于路面的概率。3. 根据权利要求2所述的一种单目视觉里程计的真实尺度获取方法，其特征在于，所述 的步骤12)和步骤14)中，先验信息为单目摄像头获取的图像下部是路面的概率较大，图像 上部是路面概率较小。4. 根据权利要求1所述的一种单目视觉里程计的真实尺度获取方法，其特征在于，所述 的步骤4)中，像素值之差的加权平均的目标函数为：其中，Pi为相邻的两幅图像中对应的第i个像素点属于路面的概率，K为投影矩阵， /,(<'）为前一幅图像对应的像素点的色彩信息，4和巧为后一幅图像对应的像素点的色彩 信息，α为归一因子。5. 根据权利要求1所述的一种单目视觉里程计的真实尺度获取方法，其特征在于，所述 的步骤5)中绝对尺度S的计算式为：所述的相机真实位移向量t的计算式为： t = st*〇
【文档编号】G06T7/20GK105976402SQ201610361313
【公开日】2016年9月28日
【申请日】2016年5月26日
【发明人】陈启军, 王香伟
【申请人】同济大学