一种实时恢复车辆三维真实模型的系统及方法
【专利摘要】本发明涉及一种实时恢复车辆三维真实模型的系统及方法，属于智能交通领域，可应用于车辆信息管理以及涉及车辆的交通案件中。其中，该系统包含一个一维激光传感器和一个单目摄像头。整个建模过程分为两个部分：线下部分和线上部分。线下过程包括相机的自标定和激光器-相机的互标定。线上过程为：1)激光信息和车辆视频信息的采集，2)信息间的同步，3)信息间的融合，4)生成车辆的三维模型点云，5)进行三角化连接和纹理映射。本发明方法生成的车辆三维模型相比传统的车辆三维建模方法具有实时性和逼真性，传统的车辆三维建模只是恢复了其简单的骨架模型，不包含丰富的纹理信息。
【专利说明】一种实时恢复车辆三维真实模型的系统及方法
【技术领域】
[0001]本发明属于计算机视觉，计算机图形学方面和自动化等【技术领域】，具体涉及一种车辆三维建模的方法以及该方法中使用到的装置。
【背景技术】
[0002]现实世界中的任何物体都是三维的，在计算机中对车辆进行三维模型恢复具有现实意义。在智能交通领域，三维电子地图已经越来越多的出现在人们的视野中，那么三维车辆的模型也可以在地图中以其独特的风格更真实的展示给人们，其次，现在的交通事故频发，利用三维车辆的模型能够将交通事故的发生过程更真实的展示给人们，便于事故的调查取证。
[0003]传统的车辆三维建模主要是手工提取车辆的特征点，然后建立车辆的骨架模型；或者是通过建立车辆的通用模型，然后通过计算实际车量的参数加权通用模型，从而得到车辆的真实三维模型。这些方法都是简单的建立了车辆的骨架模型，精度不高、实时性不强且缺失真实的车辆纹理信息。
【发明内容】
[0004]针对现有车辆三维建模技术存在精度不高、实时性不强且缺失真实的车辆纹理信息的问题，本发明的目的在于提供一种能够在车辆行驶过程中恢复其三维模型的方案，并具有非常好的具有实时性和逼真性。
[0005]为了达到上述目的，本发明采用如下的技术方案:
[0006]方案之一，一种实时恢复车辆三维真实模型的系统，该系统包括:
[0007]车辆信息采集装置，所述车辆信息采集装置标定采集到的数据，建立高度-图像坐标的映射关系，并实时采集通过车辆的高度以及车辆视频信息；
[0008]图像信息配准模块，所述图像信息配准模块对车辆信息采集装置采集的平面图像进行配准，将不同时刻扫描到的点配准到一幅图像；
[0009]车辆三维点云生成模块，所述车辆三维点云生成模块根据图像信息配准模块的配准结果采样得到车辆的三维点云；
[0010]车辆纹理映射模块，所说车辆纹理映射模块根据车辆三维点云生成模块确定的三维点云与纹理之间的映射关系，进行纹理贴图，完成三维建模；
[0011]三维车辆模型显示模块，所述三维车辆模型显示模块显示车辆三维模型。
[0012]该系统的优选方案中，所述车辆信息采集装置包括采集的车辆高度数据的一维激光距离传感器和采集的车辆顶部平面图像的摄像头以及龙门架，所述龙门架容车辆通过，所述一维激光距离传感器和摄像头两者平行于地面水平安置在龙门架上，且垂直于龙门架。
[0013]进一步的，所述车辆信息采集装置中还包括用于标定激光器采集的车辆高度数据和摄像头采集的平面图像坐标的立体标定板，所述立体标定板的侧面为45度三角形，斜面为矩形，由正方形的棋盘格填充，棋盘格的边长一定。
[0014]方案之一，一种实时恢复车辆三维真实模型的方法，所述方法包括如下步骤:
[0015](I)由经过标定的车辆信息采集装置获取通过车辆的高度数据以及同时间段的车辆视频信息；
[0016](2)对采集到的车辆图像之间进行配准，将不同时刻扫描到的点配准到一幅图像；
[0017](3)根据图像信息配准的结果采样得到车辆的三维点云；
[0018](4)根据车辆三维点云生成模块确定的三维点云与纹理之间的映射关系，进行纹理贴图，完成三维建模并进行显示。
[0019]该方法的优选方案中，所述车辆信息采集装置的标定过程如下:
[0020]首先，利用立体标定板确定车辆信息采集装置中激光距离传感器扫描到的高度数据所对应的位置，以及确定该位置在车辆信息采集装置中摄像头捕捉到的图像中的坐标；
[0021]接着，通过摄像机的投影关系矩阵，建立高度和坐标之间的关系矩阵方程，完成对激光距离传感器和摄像头采集的数据之间进行标定，建立一个建立高度-图像坐标的映射关系。
[0022]进一步，所说步骤⑵中进行图像配准的过程如下:
[0023](21)进行采集信息的时钟同步；
[0024](22)确定参考图像，并通过SIFT特征提取和RANSAC滤波，得到待配准图像和参考图像之间的特征点对；
[0025](23)通过这组点对建立RBF插值方程；
[0026](24)通过该方程将激光扫描点在待配准图像中保存的对应位置投影到参考图像中的相对位置。
[0027]进一步的，所述步骤(3)中采样得到车辆的三维点云过程如下:
[0028](31)将配准过激光扫描点的参考图像，通过张氏平面图像标定，将二维图像和世界坐标系之间建立对应关系；
[0029](32)将配准好的参考图像中的激光扫描点对应到世界坐标系下，将参考图像按照实际的长宽比，进行坐标变换，采样出车辆的三维点云。
[0030]进一步的，所述步骤⑷中进行纹理映射的过程如下:
[0031](41)对车辆的三维点云进行快速三角化；
[0032](42)根据三维点云与纹理之间的映射关系，直接进行的纹理贴图并进行显示。
[0033]本发明方法生成的车辆三维模型相比传统的车辆三维建模方法具有实时性和逼真性，传统的车辆三维建模只是恢复了其简单的骨架模型，不包含丰富的纹理信息。本发明属于智能交通领域，可应用于车辆信息管理以及涉及车辆的交通案件中。
【专利附图】
【附图说明】
[0034]以下结合附图和【具体实施方式】来进一步说明本发明。
[0035]图1为本发明中实时恢复车辆三维真实模型的系统的框图；
[0036]图2为本发明中标定板进行数据标定的原理图；
[0037]图3为本发明方法的流程图；[0038]图4为本发明线下过程中激光高度数据和图像平面坐标信息之间互标定的原理图；
[0039]图5为本发明中采集通过车辆信息的原理图；
[0040]图6为本发明的实验结果图。
【具体实施方式】
[0041]为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
[0042]参见图1，其所示为本发明提供的用于实时恢复车辆三维真实模型的系统的框图。由图可知，该系统100主要由车辆信息采集装置101，图像信息配准模块102，车辆三维点云生成模块103，车辆纹理映射模块104以及三维车辆模型显示模块105组成。
[0043]其中，车辆信息采集装置101通过标定采集到的数据，建立高度-图像坐标的映射关系，并实时采集通过车辆的高度以及车辆视频信息。
[0044]该车辆信息采集装置101主要由一个一维激光器IOla和一个单目摄像头IOlb以及龙门架IOlc组成，龙门架IOlc为整个采集装置的支架，其垂直于地面设置，且能够容车辆通过。
[0045]一维激光距离传感器101a(以下简称激光器)和单目摄像头IOlb为整个装置的信息采集部件，激光器点的频率一般会高于图像视频的采集频率。一维激光器IOla用于扫描采集车辆的高度轮廓信息；单目摄像头IOlb用于采集车辆顶部的平面图像信息
[0046]—维激光器IOla和摄像头IOlb两者平行于地面水平安置在龙门架IOlc上，且垂直于龙门架。
[0047]传感器和摄像头采集的数据可以通过有线和无线两种方式传输到工作电脑中。
[0048]再者，该车辆信息采集装置101中还包括一立体标定板101d，该立体标定板IOld用于实现激光器采集的车辆高度数据和摄像头采集的平面图像坐标之间的互标定。
[0049]参加图2，该立体标定板IOld为45度三角形立体标定板，其侧面为45度三角形，斜面为矩形，由正方形的棋盘格填充，棋盘格的边长一定。
[0050]由此，形成的三角形立体标定板，其底边具有45度的角，当激光器扫描到一个高度数据时可以方便的确定该高度所对应的标定板斜面的某一条线。
[0051]再者，该三角立体标定板的斜面为正方形的黑白棋盘格，其边界和角点在图像中可以清晰地提取出来。
[0052]本系统中的图像信息配准模块102，其用于对车辆信息采集装置采集的平面图像进行配准，将不同时刻扫描到的点配准到一幅图像。
[0053]车辆三维点云生成模块103，用于根据图像信息配准模块的配准结果采样得到车辆的三维点云。
[0054]车辆纹理映射模块104,其用于根据车辆三维点云生成模块确定的三维点云与纹理之间的映射关系，进行纹理贴图，完成三维建模。
[0055]三维车辆模型显示模块105，用于显示模块显示车辆三维模型。
[0056]基于上述的实时恢复车辆三维真实模型的系统，实现车辆行驶过程中恢复其三维模型的过程主要包括一维激光器和摄像头之间采集的数据之间的互标定、通过车辆的高度数据以及同时间段车辆视频信息的采集、车辆视频序列之间的配准(即车辆图像之间的配准)、三维点云的生成、及纹理映射和显示。
[0057]据此，整个具体实施过程可分为两个部分，线下过程和线上过程，其中线下过程是指在装置正式投入使用前事先做好的准备工作，这部分工作只需要进行一次；线上过程是指车辆经过该装置时生成三维模型的过程(参见图3)。
[0058]线下过程:
[0059]该过程在整个系统具体工作前进行，实现对激光传感器采集到的高度数据和摄像头采集的平面图像数据之间进行标定，从而建立一个高度-图像坐标(h_(x，y))的映射关
系ο
[0060]参见图4，根据摄像机和激光器之间的位置关系可以通过投影关系方程确定:
【权利要求】
1.一种实时恢复车辆三维真实模型的系统，其特征在于，该系统包括: 车辆信息采集装置，所述车辆信息采集装置标定采集到的数据，建立高度-图像坐标的映射关系，并实时采集通过车辆的高度以及车辆视频信息； 图像信息配准模块，所述图像信息配准模块对车辆信息采集装置采集的平面图像进行配准，将不同时刻扫描到的点配准到一幅图像； 车辆三维点云生成模块，所述车辆三维点云生成模块根据图像信息配准模块的配准结果采样得到车辆的三维点云； 车辆纹理映射模块，所说车辆纹理映射模块根据车辆三维点云生成模块确定的三维点云与纹理之间的映射关系，进行纹理贴图，完成三维建模； 三维车辆模型显示模块，所述三维车辆模型显示模块显示车辆三维模型。
2.根据权利要求1所述的一种实时恢复车辆三维真实模型的系统，其特征在于，所述车辆信息采集装置包括采集的车辆高度数据的一维激光距离传感器和采集的车辆顶部平面图像的摄像头以及龙门架，所述龙门架容车辆通过，所述一维激光距离传感器和摄像头两者平行于地面水平安置在龙门架上，且垂直于龙门架。
3.根据权利要求2所述的一种实时恢复车辆三维真实模型的系统，其特征在于，所述车辆信息采集装置中还包括用于标定激光器采集的车辆高度数据和摄像头采集的平面图像坐标的立体标定板，所述立体标定板的侧面为45度三角形，斜面为矩形，由正方形的棋盘格填充，棋盘格的边长一定。
4.一种实时恢复车辆三维真实模型的方法，其特征在于，所述方法包括如下步骤: (1)由经过标定的车辆信息采集装置获取通过车辆的高度数据以及同时间段的车辆视频信息； (2)对采集到的车辆图像之间进行配准，将不同时刻扫描到的点配准到一幅图像； (3)根据图像信息配准的结果采样得到车辆的三维点云； (4)根据车辆三维点云生成模块确定的三维点云与纹理之间的映射关系，进行纹理贴图，完成三维建模并进行显示。
5.根据权利要求4所述的一种实时恢复车辆三维真实模型的方法，其特征在于，所述车辆信息采集装置的标定过程如下: 首先，利用立体标定板确定车辆信息采集装置中激光距离传感器扫描到的高度数据所对应的位置，以及确定该位置在车辆信息采集装置中摄像头捕捉到的图像中的坐标； 接着，通过摄像机的投影关系矩阵，建立高度和坐标之间的关系矩阵方程，完成对激光距离传感器和摄像头采集的数据之间进行标定，建立一个建立高度-图像坐标的映射关系O
6.根据权利要求4所述的一种实 时恢复车辆三维真实模型的方法，其特征在于，所说步骤(2)中进行图像配准的过程如下: (21)进行采集信息的时钟同步； (22)确定参考图像，并通过SIFT特征提取和RANSAC滤波，得到待配准图像和参考图像之间的特征点对； (23)通过这组点对建立RBF插值方程； (24)通过该方程将激光扫描点在待配准图像中保存的对应位置投影到参考图像中的相对位置。
7.根据权利要求4所述的一种实时恢复车辆三维真实模型的方法，其特征在于，所述步骤(3)中采样得到车辆的三维点云过程如下: (31)将配准过激光扫描点的参考图像，通过张氏平面图像标定，将二维图像和世界坐标系之间建立对应关系； (32)将配准好的参考图像中的激光扫描点对应到世界坐标系下，将参考图像按照实际的长宽比，进行坐标变换，采样出车辆的三维点云。
8.根据权利要求4所述的一种实时恢复车辆三维真实模型的方法，其特征在于，所述步骤(4)中进行纹理映射的过程如下: (41)对车辆的三维点云进行快速三角化； (42)根据三维点云 与纹理之间的映射关系，直接进行的纹理贴图并进行显示。
【文档编号】G06T17/00GK104021588SQ201410273197
【公开日】2014年9月3日 申请日期:2014年6月18日 优先权日:2014年6月18日
【发明者】王文斐, 李滇博, 颜志国, 刘云淮, 吴轶轩, 梅林
申请人:公安部第三研究所