一种基于主动双目视觉的黑暗环境下车辆高度的测量方法

1.本发明属于机器视觉识别技术领域，特别是涉及到一种基于主动双目视觉的黑暗环境下车辆高度的测量方法。


背景技术：

2.由于近些年来运输市场的无序竞争，部分运输企业和个体在利益的驱使下超限运输货物。超限运输造成路面损坏、桥梁断裂，正常使用年限大大缩短，全国公路每年因车辆超限超载对公路的破坏造成的损失超过300亿元；超限运输极易引发道路交通事故，从而危及人民群众的生命安全，超限运输已成为道路交通安全的“第一杀手”，尤其是超高运输。
3.车辆外廓尺寸检测是超限运输检测过程中关键的一环，由于传统技术检测精度不高，耗时较长，极易造成车主和检测人员的矛盾和冲突，已成为超限治理工作中迫切需要解决的关键问题。
4.作为人工智能理论和技术的重要分支，图像识别技术发展迅速，其应用领域不断扩大，以卷积神经网络为代表深度学习理论为图像识别技术提供了新的模式分析方法，解决了机器视觉领域诸多难题，如三维物体检测，深度特征提取等，为便携式车辆外廓尺寸检测技术提供了有力的支撑。
5.近几年，无人机越来越多的进入了公众的视野，安防监控、地理测绘、影视拍摄、物流运输等等领域发挥了越来越大的作用。
6.传统的双目立体视觉尺寸测量技术在黑暗环境或者光线较暗的环境下拍照，采集到的图像上会产生很多的噪点。给图像匹配带来非常大的困难，部分情况下会找不到特征点，无法获取测量结果。
7.因此现有技术当中亟需要一种新型的技术方案来解决这一问题。


技术实现要素：

8.本发明所要解决的技术问题是：提供一种基于主动双目视觉的黑暗环境下车辆高度的测量方法用于解决传统的双目立体视觉尺寸测量技术在黑暗环境或者光线较暗的环境下拍照，采集到的图像上会产生很多的噪点，无法精确测量车辆高度的技术问题。
9.一种基于主动双目视觉的黑暗环境下车辆高度的测量方法，利用无人机搭载双目相机和线激光器悬停在车辆顶部上空对车辆高度进行测量，包括以下步骤，并且以下步骤顺次进行，
10.步骤一、利用matlab中的相机标定工具箱(stereo camera calibration toolbox)，对无人机搭载的双目相机进行标定，通过标定分别得到双目相机的左右两个摄像机的内部参数和外部参数，
11.其中，所述内部参数包括摄像机在图像像素坐标系中u轴方向归一化焦距α
x
、摄像机在图像像素坐标系中v轴方向归一化焦距α
y
、摄像机的光心在图像像素坐标系中的坐标(u0，v0)，所述外部参数包括3
×
3的旋转矩阵r和3
×
1 的平移向量t；
12.利用标定的双目相机的左右两个摄像机的内部参数和外部参数以及图像像素坐标系与世界坐标系之间的转换矩阵分别获得左右两个摄像机的图像像素坐标系中任意像素点的坐标；
13.步骤二、利用无人机搭载的线激光器发射激光平面投射到车辆顶部，在车辆顶部产生一条与车辆横轴平行的明亮光线，光线照亮部分车辆顶部的场景得以显现；
14.步骤三、保持无人机在车辆顶部上空悬停，使行进中的车辆位于双目相机的可视范围内，无人机搭载的标定完成的双目相机在车辆行进过程中连续采集从车头至车尾的多张车辆光条图像并获得各图像中各像素点的坐标；
15.步骤四、对步骤三得到的多张图像进行预处理，所述图像预处理包括双边滤波、图像分割以及灰度变换；
16.步骤五、以激光光条作为一维特征，提取左摄像头图像中激光光条的中心点，采用外极线几何约束筛选激光光条中心点在右摄像头图像中的匹配点，计算并获得中心点和匹配点在左摄像头图像和右摄像头图像中的坐标差值，即视差值；
17.步骤六、根据平行双目视觉的三角测量原理，利用步骤五所得到的视差值并根据深度计算公式计算激光光条中心所在的车辆顶部场景点与双目相机(2) 之间的距离，取多张图像中双目相机与车辆顶部的最短距离作为双目相机与车辆顶部之间的距离；
18.步骤七、利用无人机在采集图像时的悬停高度与步骤六得到的双目相机与车辆顶部之间的距离，根据车辆高度的计算公式计算并获得车辆的高度。
19.所述步骤一中，图像像素坐标系与世界坐标系之间的转换矩阵为:
[0020][0021]
式(ⅰ)中，(u,v)为图像像素坐标系中任意像素点的坐标；α
x
＝f/dx, α
y
＝f/dy，f为相机的焦距，dx与dy为图像物理坐标系中任意像素点在x轴与 y轴方向上的物理尺寸；(x，y，z)为(u，v)在世界坐标系中的坐标。
[0022]
所述步骤二中，选用的线激光器为红光线激光器。
[0023]
所述步骤四中双边滤波的双边滤波器模型如下：
[0024][0025]
式(ⅱ)中，f(i,j)为噪声图像f在坐标(i,j)处的灰度值，为滤波后图像
在坐标(i,j)处的灰度值,r为滤波窗口半径,ω
r,i,j
为以(i,j)为中心、边长为 (2r+1)的正方形区域内像素点的坐标集合,f(m,n)为噪声图像f在坐标(m,n)处的灰度值，ω
s
(m,n)为坐标(m,n)处的空间权重，ω
g
(m,n)为坐标(m,n)处的灰度相似度权重,σ
s
空间标准差，σ
g
为灰度标准差。
[0026]
所述步骤四中的图像分割采用差影法分割，差影法处理后的激光光条图像如式(ⅲ)所示：
[0027]
i
l
(x,y)＝i
m
(x,y)
‑
i
b
(x,y)
ꢀꢀꢀ
(ⅲ)
[0028]
式(ⅲ)中，i
l
(x,y)为差影法处理后的激光光条图像，i
m
(x,y)为激光投射到汽车车身时拍摄的目标图像，i
b
(x,y)为背景图像。
[0029]
所述步骤四中的灰度变换是指将彩色图像转换为灰度图像，转换公式如式 (ⅳ)所示：
[0030]
gray＝0.3r+0.59g+0.11b
ꢀꢀꢀ
(ⅳ)
[0031]
式(ⅳ)中，gray代表灰度值，r，g，b分别代表彩色图像中三通道的值。
[0032]
所述步骤五中提取激光光条中心采用的方法为hessian矩阵法，hessian矩阵表达式如式(
ⅴ
)所示：
[0033][0034]
式(
ⅴ
)中g(x,y)为二维高斯卷积模板,i(x,y)是以图像点(x,y)为中心、大小与二维高斯卷积模板相等的图像矩阵。
[0035]
所述步骤六中，深度计算公式如式(
ⅵ
)所示：
[0036][0037]
式(
ⅵ
)中z为双目相机与车辆顶部的距离；b为左右两个摄像头光心之间的距离；f为相机的焦距；d为视差值。
[0038]
所述步骤七中车辆高度的计算公式如式(
ⅶ
)所示：
[0039]
h＝d
h
‑
z
ꢀꢀꢀ
(
ⅶ
)
[0040]
式(
ⅶ
)中，h为车辆高度，d
h
为无人机采集图像时的悬停高度，z为双目相机与车辆顶部的距离。
[0041]
通过上述设计方案，本发明可以带来如下有益效果：
[0042]
本发明用无人机搭载双目相机和线激光器实现了对黑暗环境下对车辆高度的自动检测，有效解决了传统双目立体视觉在黑暗环境下测量误差大甚至无法测量的问题。
[0043]
本发明用无人机搭载双目相机和线激光器进行车辆高度测量，可以降低场地占
用，可以随时随地对车辆高度进行测量，填补全国超限治理的便携式外廓尺寸检测技术空白，实用性极强。
附图说明
[0044]
以下结合附图和具体实施方式对本发明作进一步的说明：
[0045]
图1为本发明一种基于主动双目视觉的黑暗环境下车辆高度的测量方法中无人机搭载双目相机和线激光器从车辆上方采集车辆场景图像的示意图。
[0046]
图2为本发明一种基于主动双目视觉的黑暗环境下车辆高度的测量方法的流程框图。
[0047]
图3为本发明一种基于主动双目视觉的黑暗环境下车辆高度的测量方法中双目相机的标定过程图。
[0048]
图中1
‑
无人机、2
‑
双目相机、3
‑
线激光器。
具体实施方式
[0049]
下面结合附图和实施例对本发明做进一步描述。
[0050]
如图所示，一种基于主动双目视觉的黑暗环境下车辆高度的测量方法，利用无人机1搭载双目相机2和线激光器3悬停在车辆顶部上空对车辆高度进行测量，具体步骤包括：
[0051]
步骤一、利用matlab中的相机标定工具箱“stereo camera calibration toolbox”，对双目相机2进行标定，通过标定得到双目相机2的左右两个摄像机的内部参数α
x
、α
y
、u0、v0以及外部参数r、t，其中，α
x
为摄像机在图像像素坐标系中u轴方向上的归一化焦距，α
y
为摄像机在图像像素坐标系中v轴方向上的归一化焦距，(u0，v0)为摄像机的光心在图像像素坐标系中的坐标，r 为3
×
3的旋转矩阵，t为3
×
1的平移向量；由双目相机2的内部参数以及平移向量、旋转矩阵可以组成投影矩阵，投影矩阵为将二维图像坐标点与三维几何空间点一一对应的转换系数矩阵，相机标定过程如图3所示；利用标定的双目相机2的左右两个摄像机的内部参数和外部参数以及图像像素坐标系与世界坐标系之间的转换矩阵分别获得左右两个摄像机的图像像素坐标系中任意像素点的坐标；
[0052]
所述图像像素坐标系与世界坐标系之间的转换矩阵如式(ⅰ)所示:
[0053][0054]
式(ⅰ)中，(u,v)为图像像素坐标系中任意像素点的坐标；α
x
＝f/dx, α
y
＝f/dy，f为相机的焦距，dx与dy为图像物理坐标系中任意像素点在x轴与y 轴方向上的物理尺寸；(x，y，z)为(u，v)在世界坐标系中的坐标。
[0055]
步骤二、利用无人机1搭载线激光器3，所述线激光器3为红光线激光器3，其线宽可调，投射出的光条稳定，激光光条在垂直方向上的截面像素点灰度值近似呈高斯曲线分布；激光光条的亮度直接影响图像处理的质量，选用亮度较高的线激光器3会使目标的特征与背景有明显区别，减少噪声干扰，使图像处理结果更加可靠。由线激光器3发射激光平面，调整无人机1飞行方向，在车辆上表面产生一条与车辆横轴平行的明亮的光线，光线照亮部分
车辆顶部的场景得以显现，从而在车辆顶部产生主动特征信息，如图1所示；
[0056]
步骤三、保持无人机1在车辆顶部上空悬停，悬停高度以能使行进中的车辆位于双目相机2的可视范围内为宜，利用无人机1搭载步骤一标定完成的双目相机2在车辆行进过程中从激光光条位于车头开始，到光条位于车尾为止，连续采集多张车辆光条图像；
[0057]
步骤四、对步骤三得到的多张图像进行预处理，所述图像预处理包括双边滤波、图像分割以及灰度变换；双边滤波处理可以去除图像中的噪点，使图像变得更为平滑；图像分割的目的是仅对分割出的信息区域进行后续处理，提高图像处理的速度；灰度变换的目的是将彩色图像转换成灰度图后就会使后续的图像处理时的计算量变得相对很少，使得处理光条图像的速度变快；
[0058]
所述步骤四中的双边滤波是指利用双边滤波器对图像进行处理，滤除图像中的噪声，双边滤波器在滤除噪声的同时保护了图像边界信息，双边滤波器模型如式(ⅱ)所示：
[0059][0060]
式(ⅱ)中，f(i,j)为噪声图像f在坐标(i,j)处的灰度值，为滤波后图像在坐标(i,j)处的灰度值,r为滤波窗口半径,ω
r,i,j
为以(i,j)为中心、边长为 (2r+1)的正方形区域内像素点的坐标集合,f(m,n)为噪声图像f在坐标(m,n)处的灰度值，ω
s
(m,n)为坐标(m,n)处的空间权重，ω
g
(m,n)为坐标(m,n)处的灰度相似度权重,σ
s
空间标准差，σ
g
为灰度标准差。
[0061]
所述步骤四中的图像分割采用差影法分割，提取激光光条图像，如式(ⅲ) 所示：
[0062]
i
l
(x,y)＝i
m
(x,y)
‑
i
b
(x,y)
ꢀꢀꢀ
(ⅲ)
[0063]
式(ⅲ)中i
l
(x,y)为差影法处理后的激光光条图像，i
m
(x,y)为激光投射到汽车车身时拍摄的目标图像，i
b
(x,y)为背景图像。
[0064]
所述步骤四中的灰度变换是指将彩色图像转换为灰度图像，转换公式如式 (ⅳ)所示：
[0065]
gray＝0.3r+0.59g+0.11b
ꢀꢀꢀ
(ⅳ)
[0066]
式(ⅳ)中，gray代表灰度值，r，g，b分别代表彩色图像中三通道的值。
[0067]
步骤五、提取左摄像头图像中激光光条的中心，光条作为一维特征搜索范围较小，采用外极线几何约束筛选激光光条中心点在右摄像头图像中的匹配点，计算相对应的特征点在左摄像头图像和右摄像头图像中的坐标差值，即视差值；
[0068]
所述步骤五中，提取激光光条中心采用的方法为hessian矩阵法，hessian 矩阵法抗噪声能力强，对光条提取的方向性较准确，综合鲁棒性好，对环境复杂、精度要求高的情况下，hessian矩阵法的优势很明显，hessian矩阵表达式如式(
ⅴ
)所示：
[0069][0070]
式(
ⅴ
)中g(x,y)为二维高斯卷积模板,i(x,y)是以图像点(x,y)为中心、大小与二维高斯卷积模板相等的图像矩阵。
[0071]
步骤六、根据平行双目视觉的三角测量原理，利用步骤五所得到的视差值并根据深度计算公式计算激光光条中心所在的车辆顶部场景点与双目相机(2) 之间的距离，取多张图像中双目相机2与车辆顶部的最短距离作为双目相机2 与车辆顶部之间的距离；
[0072]
所述深度计算公式如式(
ⅵ
)所示：
[0073][0074]
式(
ⅵ
)中z为双目相机与车辆顶部的距离；b为左右两个摄像头光心之间的距离；f为相机的焦距；d为视差值。
[0075]
步骤七、利用无人机1在采集图像时的悬停高度与步骤六得到的双目相机2 与车辆顶部之间的距离，根据车辆高度的计算公式计算出车辆的高度。
[0076]
所述车辆高度的计算公式如式(
ⅶ
)所示：
[0077]
h＝d
h
‑
z
ꢀꢀꢀ
(
ⅶ
)
[0078]
式(
ⅶ
)中，h为车辆高度，d
h
为无人机采集图像时的悬停高度，z为双目相机与车辆顶部的距离。
[0079]
最后说明的是，以上实施例仅用以说明本发明的技术方案及思路而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，但是不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。