专利名称：基于鱼眼镜头的车载移动摄影测量系统的制作方法
技术领域：
本发明涉及一种车载移动摄影测量系统，尤其涉及利用鱼眼镜头快速采集影像数据，通过立体视觉校正，对所获取的影像数据进行实时测量和三维建模的系统。
背景技术：
随着城市化进程的加快，城市规模越来越大，变化日新月异，城市规划和管理变得越来越复杂，对于交通、能源、市政管理、基础设施建设等各个领域，信息的采集和更新显得尤为重要，特别是具有带有GIS信息的测量，成为这些领域信息获取不可或缺的一部分。比如，城市管理部门采集和统计城市各类资产数据，如区域内建筑的信息，广告牌位置、数量、 长宽高等数据；道路交通部门统计道路资产数据；能源部门统计变电站的位置、数量等信息。这些数据通常都有数据量大，统计复杂的特点。如果使用人工实地测量统计的方式，工作量大，效率低，危险性高，并且容易出错。目前市场存在的测量系统包括激光测量和立体视觉测量。激光测量，通常没有图像的色彩信息，分辨率低，数据量大，采集范围有限，后处理复杂耗时。而现有的立体视觉测量设备，都基于普通的相机，视野范围小，城市环境中高楼大厦鳞次栉比，比如拍摄城市中的高楼大厦，当距离很近时，只能拍到楼的一部分，如果要拍摄到整个大楼，则需要距离目标很远，这样影响目标物体的成像精度，如果要做基于图像的测量，则会影响到测量的精度，造成很大的误差。因此传统相机立体视觉测量系统受到极大挑战。随着摄影器材的发展，出现一种具有超大视野范围的超广角镜头，鱼眼镜头，能在单张的鱼眼图像中实现视野范围达到甚至超过180度。同样是拍摄城市中的高楼大厦，鱼眼镜头能够同时保证目标物体的视野范围和精度，可以很好地解决大范围大视角的拍摄和测量的问题。不过鱼眼镜头在获得很大的视野范围的同时，也给图像带来了很大的畸变，一般来说，视野范围越大，畸变也越大。传统的立体视觉测量是基于微小畸变的普通相机进行测量的，无法用大畸变的鱼眼相机进行测量。对配备普通镜头的相机来说，其成像原理类似于通常所说的针孔成像。在针孔成像中，光线是沿直线(线性)传播的。其优点是成像畸变很小甚至可以忽略，但其缺点也很明显，即视野范围(FOV)很小。对于大场景尤其是180度的无限场景来说，要通过基于光线直线传播的普通镜头在感光器件上成像的话，必须要求感光器件无限大，这在实际中显然是不可能实现的。因此只有改变光线的传播方向，让其进入镜头后不再沿直线传播，而是沿曲线(非线性)投射到感光器件上，这样就可以在有限的感光器件上容纳无限的场景，鱼眼镜头就是这样做的。但光线的曲线传播同时也带来几个问题首先，由于光线是沿曲线传播的，这给确定其传播路径带来很大的困难。其次，虽然都是沿曲线传播，但不同视角范围内的光线其传播路径的曲率是不一样的，视角越大，曲率越大。表现在图像中，就是越靠近镜头中心图像畸变越小，越靠近镜头边缘图像畸变越大。因此给所有视角范围内的光线确定一个统一的传播模型就变得更加困难。再次，由于镜头边缘的畸变太大，图像边缘上的几个像素所包含的内容相当于图像中心处数十个甚至上百个像素所包含的内容。因此在图像边缘上一个像素的偏差相当于图像中心处数十上百个像素的偏差，这给模型的精确性带来了非常大的挑战。综上所述，鱼眼镜头目前只应用于安防监控等单纯需要大视角信息的场合，却很少用于测量或者三维建模等对精度要求高的场合。通过对鱼眼相机进行精确数学建模来获取鱼眼相机的精确成像参数(光线的传播路径)，进一步地获取鱼眼相机立体视觉对的参数(鱼眼相机间的旋转和平移)，就可以运用大畸变的鱼眼相机来实现立体视觉测量。这个获取鱼眼相机的成像参数以及鱼眼相机立体视觉对参数的过程称之为鱼眼相机立体视觉对的标定。普通相机的标定已有非常成熟的解决方案，比如张正友、Tsai的方法。然而因为成像原理不同，这些方法不能用于标定鱼眼镜头，必须找到新的数学模型来描述鱼眼镜头的成像过程。近来出现一种基于多项式拟合的技术较好地解决了这一问题。如果能解决上述问题，提供一个基于鱼眼镜头的立体视觉的测量系统解决方案， 即可以解决现有测量系统视野范围小、无法在测量的同时获取全面的彩色影像等问题，将为城市管理、能源、统计、勘测等各部门的数据采集和测量提供一种全新而简便的集成化解决方案，为城市的数字化建设提供新的解决方案。
发明内容
本发明的目的在于解决上述问题，提供了一种基于鱼眼镜头的车载移动摄影测量系统，能克服上述不足，达到测量范围大、影像色彩信息丰富完整的特点。本发明的技术方案为本发明揭示了一种基于鱼眼镜头的车载移动摄影测量系统，包括数据采集装置、数据存储装置和数据处理装置，其中数据采集装置，用于采集影像和数据，其包括鱼眼相机立体视觉模块，用于采集鱼眼图像信息，鱼眼相机立体视觉模块包括鱼眼镜头、相机以及标定装置，其中鱼眼镜头，与相机连接，获取鱼眼影像；相机，与鱼眼镜头连接，接收鱼眼镜头获取的鱼眼影像并进行影像采集；标定装置，获取鱼眼镜头的成像参数以及鱼眼镜头立体视觉对参数；数据存储装置，耦接数据采集装置，用于存储采集到的影像数据；数据处理装置，耦接数据存储装置，用于处理所采集到的数据，实现对鱼眼影像的测量。根据本发明的基于鱼眼镜头的车载移动摄影测量系统的一实施例，数据采集装置还包括车辆位姿获取模块，用于获取车辆的位置、姿态、运行距离的信息；数据存储装置还存储车辆位姿获取模块得到的车辆的位置、姿态、运行距离的信肩、ο根据本发明的基于鱼眼镜头的车载移动摄影测量系统的一实施例，数据采集装置还包括全景采集模块，用于采集连续的道路全景影像。根据本发明的基于鱼眼镜头的车载移动摄影测量系统的一实施例，鱼眼相机立体视觉模块至少包括两台鱼眼相机。根据本发明的基于鱼眼镜头的车载移动摄影测量系统的一实施例，标定装置包括鱼眼成像关系建立模块，建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系；初始化内参模块，耦接鱼眼成像关系建立模块，初始化内参，其中内参是鱼眼相机自身的参数，与外部环境无关；单应矩阵计算模块，耦接初始化内参模块，计算单应矩阵；初始化外参模块，耦接单应矩阵计算模块，初始化外参，其中外参是鱼眼相机与外部环境之间的参数；迭代优化模块，耦接初始化外参模块，LM迭代最小化重投影误差，得到优化后的内
参与外参。根据本发明的基于鱼眼镜头的车载移动摄影测量系统的一实施例，鱼眼成像关系建立模块的处理如下记空间中某一点χ在鱼眼图像上的成像点为(u，ν)，空间点χ指向单位球球心的入射角度为…#)，其中θ是入射光线与单位球Z轴正方向的夹角，P是入射光线在单位球XY 平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度…到鱼眼图像上的
成像点(U，ν)的鱼眼成像模型由以下方程描述r( θ ) = ki θ +k2 θ 2+k3 θ 3+k4 θ 4+k5 θ 5+· · · kn θ n(1)r表示图像上的某个像素点到图像主点的距离，k1; . . . kn是鱼眼镜头的成像参数；
Ar {θ,φ) = {Ιχθ + 12θ2 + I3O3 + ...)(/； cos φ + i2 sin φ + Z3 cos2φ + Z4 sin( 2 )Δ ^表示鱼眼镜头的径向畸变，I1,... In, I1,... i4为径向畸变参数；
At (汐，φ) = {η\θ + m202 + m303 +...)(_/; cos φ + j2 sin φ + _/3 cos2φ + j4 sin2φ) ( 3 )At表示鱼眼镜头的切向畸变，Hi1,... mn, J1, . . . J4为切向畸变参数；
Xd = r(Θ)Hr ㈦ + Ar (θ,φ)Iir ㈦ + Ai (θ,φ)ηψ{φ) ( 4 )xd为像素点的位置向量，即(xd，yd)，Ur为径向单位向量，％为切向单位向量；
(u\ (m 0 VχΛ ηΛ
\VJ
ν 0 mvj
M0
(5)(u0, v0)为图像的主点坐标，(mu，mv)分别为CXD水平与垂直方向上单位距离上的像素数，(k” k2, k3, k4, k5, I1, I2, I3, i1 i2, i3, i4, Hi1, m2, m3, J1, j2, j3, j4, mu, mv, u0, v0)为待
标定的鱼眼镜头的参数。根据本发明的基于鱼眼镜头的车载移动摄影测量系统的一实施例，初始化内参模块的处理如下读取镜头参数，镜头参数包括焦距f和最大视角θ_;令Ic1 = f，rfflax = f θ max ；检测鱼眼图像边界，对边界点进行椭圆拟合+ ^Ι =1,求得Utl, V0, 13，则％=^~凡=^~，其中(a，b)为椭圆的长短半轴，(Utl, Vtl)为椭圆圆心；
maxmax其它的参数设置为0。根据本发明的基于鱼眼镜头的车载移动摄影测量系统的一实施例，单应矩阵计算模块包括棋盘格图像读取单元，读取标定板上的棋盘格图像；交叉点选取单元，耦接棋盘格图像读取单元，在每张棋盘格图像上依次选取棋盘格顶点处的4个交叉点；反投影单元，耦接交叉点选取单元，利用初始化内参，将交叉点反投影到单位球上得到单位向量,其中j为第j幅图像，i为第i个棋盘格交叉点；单应矩阵估计单元，耦接反投影单元，估计单应矩阵&，将单位向量(《,<)表示为巧=(则<则巧,(^<5111巧,(；05巧)，单位向量与标定板上的空间点？之间存在单应变换 Hj,通过线性算法估计单应变换Hp得到标定板上的空间点Xi在单应变换％下的对应点 K = Η,χ； /||η7χ;|| ,其中Xpi是第j幅棋盘格图像上第i个交叉点的空间坐标；单应矩阵优化单元，耦接单应矩阵估计单元，通过LM迭代最小化误差函数 Σ,sin2 <以优化单应矩阵Hj，其中<是向量力和^之间的夹角；交叉点映射单元，耦接单应矩阵优化单元，将标定板上的所有交叉点通过优化后的单应矩阵&映射到单位球上得到对应点sH^^/IH^^I;交叉点图像坐标获取单元，耦接交叉点映射单元，将单位向量变换到图像上
(^i \ U
J
V Jj
m
ο YxO
ν 0 mvj
K^J J
,在投影点“， ,、的邻域寻找交叉点的图像坐标,，，、
VvO,根据本发明的基于鱼眼镜头的车载移动摄影测量系统的一实施例，单应矩阵计算模块包括棋盘格图像读取单元，读取标定板上的棋盘格图像；交叉点选取单元，耦接棋盘格图像读取单元，在每张棋盘格图像上依次选取所有的棋盘格交叉点；反投影单元，耦接交叉点选取单元，利用初始化内参，将交叉点反投影到单位球上得到单位向量(《,<),其中j为第j幅图像，i为第i个棋盘格交叉点；单应矩阵估计单元，耦接反投影单元，估计单应矩阵Hj,将单位向量(巧,《)表示为 x;=(sin^sin^,cos^sin^;,cos^),单位向量与标定板上的空间点Xi之间存在单应变换 Hj,通过线性算法估计单应变换Hp得到标定板上的空间点Xi在单应变换％下的对应点 K = H x； /||Ηχ||，其中‘是第j幅棋盘格图像上第i个交叉点的空间坐标；单应矩阵优化单元，耦接单应矩阵估计单元，通过LM迭代最小化误差函数 <以优化单应矩阵&，其中<是向量力和<之间的夹角。根据本发明的基于鱼眼镜头的车载移动摄影测量系统的一实施例，初始化外参模块的处理如下 外参[ ；] = [ 乂力]由单应矩阵Hj初始化如下其中，I7 = Sign(HY)l\h)\ , Rj为旋转参数，Tj为位移参数，为第j个单应矩阵Hj 的第i个列向量。根据本发明的基于鱼眼镜头的车载移动摄影测量系统的一实施例，迭代优化模块的处理如下
N MLM迭代最小化重投影误差ΣΣ#(<>0，得到优化后的内参和外参，其中
；=1 ^=I
4叫>丨)为图像点( )之间的像素距离，M为每幅棋盘格图像上的交叉点数量，N为棋盘格图像数量。本发明对比现有技术有如下的有益效果本发明的主要特点是将鱼眼相机立体视觉模块应用于车载测量系统，利用鱼眼镜头视野范围大的特点，实现大范围的测量。通过车辆位姿获取单元，可以得到所采集图像的位置及距离信息，包括经纬度、姿态、以及车辆运行的距离等，加上全景采集模块，同时获取具有丰富色彩信息的全景影像数据。从而解决了现有测量系统测量范围小，图像色彩少或信息不完全的问题，可让用户快速获取所需要的信息，尤其针对城市环境，大大提升了测量的效率和精准度，为数据统计和更新，特别是城市建设、规划、勘测提供了更加简易和全面的方法。
图1示例性的示出了本发明的基于鱼眼镜头的车载移动摄影测量系统的第一实施例的原理图。图2示例性的示出了本发明的基于鱼眼镜头的车载移动摄影测量系统的第二实施例的原理图。图3示例性的示出了本发明的基于鱼眼镜头的车载移动摄影测量系统的第三实施例的原理图。图4示例性的示出了本发明的标定装置的实施例的原理图。图5示例性的示出了本发明的标定装置中的单应矩阵计算模块的一种示例的细化原理图。图6示例性的示出了本发明的标定装置中的单应矩阵计算模块的另一种示例的细化原理图。图7示例性的示出了本发明的半单位球面模型的示意图。
具体实施例方式下面结合附图和实施例对本发明作进一步的描述。在介绍本发明的各个实施例之前，还要对鱼眼图像(影像)作一个说明鱼眼影像是指通过鱼眼镜头汇聚光线透射到感光成像元件上并存储获得的影像，由于是通过鱼眼镜头获取的，则称这类照片为鱼眼影像。
介绍本发明的各个实施例之前，还要对鱼眼相机做一个说明将相机与鱼眼镜头连接，所生成的影像能获得超广角的视野范围，则称这类相机为鱼眼相机。在介绍本发明的各个实施例之前，首先对全景或者全景图像(影像)作一个说明 若将图像放在一个球空间、或立方体空间、或柱形空间、或锥形空间、或椭球空间中，通过上述空间中固定一点作为观察点，通过该观察点采用单点透视该图像所获得的影像的过程即为全景播放，则该图像被对应的称为球形全景、或立方体全景、或柱形全景、或锥形全景、或椭球全景，并且统称该图像为全景或全景图像(影像)。胃〒仓图1示出了本发明的基于鱼眼镜头的车载移动摄影测量系统的第一实施例。请参见图1。本实施例的基于鱼眼镜头的车载移动摄影测量系统包括数据采集装置10a、数据存储装置20a、数据处理单元装置30a。这三个装置之间的连接关系是数据采集装置IOa的输出端连接数据存储装置 20a，数据存储装置20a的输出端连接数据处理装置30a。数据采集装置IOa包括鱼眼相机立体视觉模块102a，由至少一个立体视觉对组成，即两台鱼眼相机。鱼眼立体相机立体视觉模块10 包括鱼眼镜头102h，C⑶相机102 和标定装置l(^6a。鱼眼镜头102 连接到C⑶相机102 上，组成可以生成超广角视野的鱼眼影像。标定装置1026a用于获取鱼眼相机的成像参数以及鱼眼相机立体视觉对参数。标定装置1026a是采用基于多项式拟合的技术来建立数学模型并描述鱼眼镜头的成像过程。标定装置1026a的细化原理如图4所示，鱼眼成像关系建立模块40、初始化内参模块50、单应矩阵计算模块60、初始化外参模块70、迭代优化模块80。这些模块之间的连接关系是鱼眼成像关系建立模块40的输出端耦接初始化内参模块50，初始化内参模块50的输出端连接单应矩阵计算模块60，单应矩阵计算模块60 的输出端耦接初始化外参模块70，初始化外参模块70的输出端耦接迭代优化模块80。以下是标定装置的其中一种示例的实施情况。鱼眼成像关系建立模块40用于建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系。半单位球面模型的示意如图7所示，记空间中一点X，其在鱼眼图像上的成像点为 (U，ν)，其指向单位球球心的入射光线的入射角度为(代0，其中θ是入射光线与单位球Z轴正方向的夹角，P是入射光线在单位球XY平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度…身)到鱼眼图像上的成像点(U，ν)的鱼眼成像模型由以下方程描述r( θ ) = ki θ +k2 θ 2+k3 θ 3+k4 θ 4+k5 θ 5+· · · kn θ n(1)r表示图像上的某个像素点到图像主点的距离，k1; . . . kn是鱼眼镜头的成像参数。
Ar [θ, φ) = (I1O + 12θ2 + Ιβ3 +...)(/! cos φ + Z2 sin φ + Z3 cos 2φ + Z4 sin 2φ)(2)Δ ^表示鱼眼镜头的径向畸变，I1,... In, I1,... i4为径向畸变参数。
At [θ, φ) = QnlO + τη2θ2 + ηιβ3 +...)(义 cos ρ + j2 sin φ + j3 cos 2φ + j4 sin 2φ) (3)At表示鱼眼镜头的切向畸变，Hi1,... mn, J1, . . . J4为切向畸变参数。
权利要求
1.一种基于鱼眼镜头的车载移动摄影测量系统，包括数据采集装置、数据存储装置和数据处理装置，其中数据采集装置，用于采集影像和数据，其包括鱼眼相机立体视觉模块，用于采集鱼眼图像信息，鱼眼相机立体视觉模块包括鱼眼镜头、相机以及标定装置，其中 鱼眼镜头，与相机连接，获取鱼眼影像；相机，与鱼眼镜头连接，接收鱼眼镜头获取的鱼眼影像并进行影像采集； 标定装置，获取鱼眼镜头的成像参数以及鱼眼镜头立体视觉对参数； 数据存储装置，耦接数据采集装置，用于存储采集到的影像数据； 数据处理装置，耦接数据存储装置，用于处理所采集到的数据，实现对鱼眼影像的测量。
2.根据权利要求1所述的基于鱼眼镜头的车载移动摄影测量系统，其特征在于，数据采集装置还包括车辆位姿获取模块，用于获取车辆的位置、姿态、运行距离的信息； 数据存储装置还存储车辆位姿获取模块得到的车辆的位置、姿态、运行距离的信息。
3.根据权利要求1所述的基于鱼眼镜头的车载移动摄影测量系统，其特征在于，数据采集装置还包括 全景采集模块，用于采集连续的道路全景影像。
4.根据权利要求1所述的基于鱼眼镜头的车载移动摄影测量系统，其特征在于，鱼眼相机立体视觉模块至少包括两台鱼眼相机。
5.根据权利要求1所述的基于鱼眼镜头的车载移动摄影测量系统，其特征在于，标定装置包括鱼眼成像关系建立模块，建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系；初始化内参模块，耦接鱼眼成像关系建立模块，初始化内参，其中内参是鱼眼相机自身的参数，与外部环境无关；单应矩阵计算模块，耦接初始化内参模块，计算单应矩阵；初始化外参模块，耦接单应矩阵计算模块，初始化外参，其中外参是鱼眼相机与外部环境之间的参数；迭代优化模块，耦接初始化外参模块，LM迭代最小化重投影误差，得到优化后的内参与外参。
6.根据权利要求5所述的基于鱼眼镜头的车载移动摄影测量系统，其特征在于，鱼眼成像关系建立模块的处理如下记空间中某一点X在鱼眼图像上的成像点为(U，V)，空间点X指向单位球球心的入射角度为…#)，其中θ是入射光线与单位球Z轴正方向的夹角，P是入射光线在单位球XY平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度…到鱼眼图像上的成像点(u，ν)的鱼眼成像模型由以下方程描述 r表示图像上的某个像素点到图像主点的距离，k1; . . . kn是鱼眼镜头的成像参数；
7.根据权利要求5所述的基于鱼眼镜头的车载移动摄影测量系统，其特征在于，初始化内参模块的处理如下读取镜头参数，镜头参数包括焦距f和最大视角θ_ ； ^ — f, rmas — f θ mas ；检测鱼眼图像边界，对边界点进行椭圆拟合
8.根据权利要求7所述的基于鱼眼镜头的车载移动摄影测量系统，其特征在于，单应矩阵计算模块包括棋盘格图像读取单元，读取标定板上的棋盘格图像；交叉点选取单元，耦接棋盘格图像读取单元，在每张棋盘格图像上依次选取棋盘格顶点处的4个交叉点；反投影单元，耦接交叉点选取单元，利用初始化内参，将交叉点(<，<)反投影到单位球上得到单位向量^X),其中j为第j幅图像，i为第i个棋盘格交叉点；单应矩阵估计单元，耦接反投影单元，估计单应矩阵知将单位向量表示为冗.=(5111<5111巧,(05<5111巧,(0叫)，单位向量与标定板上的空间点？之间存在单应变换 Hj,通过线性算法估计单应变换Hp得到标定板上的空间点Xi在单应变换％下的对应点
9.根据权利要求7所述的基于鱼眼镜头的车载移动摄影测量系统，其特征在于，单应矩阵计算模块包括棋盘格图像读取单元，读取标定板上的棋盘格图像；交叉点选取单元，耦接棋盘格图像读取单元，在每张棋盘格图像上依次选取所有的棋盘格交叉点；反投影单元，耦接交叉点选取单元，利用初始化内参，将交叉点(<，<)反投影到单位球上得到单位向量(《,<)，其中j为第j幅图像，i为第i个棋盘格交叉点；单应矩阵估计单元，耦接反投影单元，估计单应矩阵知将单位向量
10.根据权利要求8或9所述的基于鱼眼镜头的车载移动摄影测量系统，其特征在于， 初始化外参模块的处理如下外参
11.根据权利要求10所述的基于鱼眼镜头的车载移动摄影测量系统，其特征在于，迭代优化模块的处理如下 LM迭代最小化重投影误差得到优化后的内参和外参，其中+丨,O为图像点( )之间的像素距离，M为每幅棋盘格图像上的交叉点数量，N为棋盘格图像数量。
全文摘要
本发明公开了基于鱼眼镜头的车载移动摄影测量系统，达到测量范围大、影像色彩信息丰富完整的特点。其技术方案为系统包括数据采集装置、数据存储装置和数据处理装置，其中数据采集装置采集影像和数据，其中的鱼眼相机立体视觉模块包括鱼眼镜头、相机以及标定装置。数据存储装置存储采集到的影像数据。数据处理装置处理所采集到的数据，实现对鱼眼影像的测量。
文档编号G01C11/02GK102175221SQ20111002356
公开日2011年9月7日 申请日期2011年1月20日 优先权日2011年1月20日
发明者刘玉亭, 张海威, 杨欣 申请人:上海杰图软件技术有限公司