一种基于特征物体和光流法的运动相机测速方法与流程

1.本发明属于智能测量领域，涉及针对视频的运动相机测速方法，具体为一种基于特征物体和光流法的运动相机测速方法。


背景技术：

2.随着智能手机的兴起，大量的移动设备都带有摄像头可以随时录制视频，因此产生了很多可供分析的视频数据，对于这些普通单目平面视频，视觉情报分析人员往往只能通过肉眼观察的方式进行分析，制约了情报分析的效率，而从视频图像中提取视物体的速度是视觉情报分析工作的重要内容之一。
3.早期的物体测速主要使用雷达、激光、红外线、超声波等方式，这些测量方法对于设备的要求较高，且容易受到环境的影响，而且这些设备通常本身是静止状态，因此测速范围具有着一定的指向性，导致灵活性不足。而且有时我们感兴趣的是设备持有者的运动状态，这无法通过上述方法进行分析。近年来，计算机视觉理论与方法的长足发展，使得通过视频来对运动相机的速度进行检测成为了可能。
4.目前，大部分的研究工作都集中在使用双目或多目视觉系统或者特殊配置的单目视觉系统获取视觉信息，无论是单目视觉还是双目视觉系统，都需要标定相机的内外参数。并且，对于单目视觉系统，为了提高测速准确率，依赖于场景内的测速线感应装置，需要在特定的场景下，如高速公路、赛道等，才能发挥作用，且自身的速度信息无法获取。双目视觉系统可以通过双目镜头产生的深度信息获取物体移动的距离，能够通过对静止物体的相对位移距离的测量，获取自身的速度，但是存在着设备成本高，视频来源单一的问题。因此在很多情况下，视觉情报分析人员所能利用的，大多还是是普通的单目相机得到的图像或视频。
5.本发明所涉及的基于特征物体和光流法的运动相机测速方法，提供了一种解决在普通单目的平面视频中，提取运动相机的速度信息的方案，实现了在相机高速运动的情况下，精确获取相机运动的速度信息。


技术实现要素：

6.本发明要解决的问题是：解决如何在普通单目的平面视频时，在较大速度范围内精确提取运动相机速度信息的问题，精确测量高速运动下相机的速度。
7.本发明的技术方案为：一种基于特征物体和光流法的运动相机测速方法，对单目相机的平面视频，先进行畸变矫正，再用光流法对视频中静止的特征物体进行跟踪，结合特征物体的信息，获得高速运动相机的速度。
8.作为优选方式，本发明包括以下步骤：
9.1)对于输入的视频，获取视频的帧率dt；
10.2)对于输入的视频提取关键帧，选出具有特征物体的相邻两帧视频帧，特征物体相机运动方向上的实际长度l
real
已知，对特征物体的关键点进行畸变矫正；再测量矫正后
特征物体的在相机运动方向上的像素长度l
pixel
，利用光流法跟踪特征物体的矫正后的关键点，获取关键点像素在水平和竖直方向上的速度u和v；
11.3)计算相邻帧中运动相机的速度v
p
：
[0012][0013]
4)重复步骤2)和3)，取n组相邻帧，得到n组v
p
，计算n组v
p
的平均值作为运动相机的速度v
camera
。
[0014]
本发明的有效利益是：提供了一种解决在普通单目镜头的平面视频中，提取运动相机的速度信息的方案，现有的一些方法大多关注于测量视频中运动物体的速度，而没有关注相机本身的测速，即使考虑以静止物体为前提反向推导相机速度，现有技术方案在与特征物的距离超过2m或运动速度超过100km/h时，就会产生较大误差。由于相机镜头拍摄的物体会发生畸变，且在高速运动情况下，畸变会加重，本发明利用畸变矫正以及特征物体的信息实现远距离测高速，在与特征物体的距离不超过100m且运动速度不超过300km/h时，误差可控制在1％以内。本发明方法具有良好的广泛性与实用性。
附图说明
[0015]
图1为本发明的实施流程。
[0016]
图2为光流跟踪的效果展示。
具体实施方式
[0017]
本发明提出了一种基于特征物体和光流法的运动相机测速方法，针对单目相机的平面视频，先进行畸变矫正，再用光流法对视频中静止的特征物体进行跟踪，结合特征物体的信息，获得高速运动相机的速度。
[0018]
如图1所示，说明本发明的实施，包括以下步骤。
[0019]
1)对于输入的视频，利用opencv获取视频的帧率dt。
[0020]
2)对于输入的视频提取关键帧，挑选出具有特征物体的相邻两帧，利用光流法跟踪特征物体的关键点，获取关键点像素在水平和竖直方向上的速度u和v：
[0021]
2.1)利用opencv对输入的视频提取关键帧，挑选具有特征物体的相邻两帧，测得特征物体的在相机运动方向上的像素长度为l
pixel
，特征物体选择标准为：
[0022]
2.1.1)物体平面与相机运动平面平行，即物体与相机运动平面的垂直距离固定。
[0023]
2.1.2)相机运动方向上实际长度l
real
已知且常见的静止物体，如垃圾箱、静止的小轿车等。
[0024]
2.2)在t时刻取特征物体的一个像素i(x，y，t)作为关键点，其中，x和y分别为该像素点在视频帧中的坐标，该像素点在下一帧中经历时间dt，在x和y方向上分别移动了dx和dy，因为前后帧的两像素是同一像素，因此可以得到两像素的关系为：
[0025]
i(x，y，t)＝i(x+dx，y+dy，t+dt)
[0026]
2.3)由于相机镜头通常存在着畸变的问题，因此需要对关键点进行畸变矫正，通过对相机标定可以获得相机内参(f
u
，f
v
，u0，v0)和畸变系数(k1,k2,k3,p1,p2)。因此对于关键点(x,y)，可以得到相机坐标系下的关键点(x’，y’)为：
[0027][0028][0029]
假设r＝(x
′2+y
′2)，相机坐标系下矫正后的点(x”,y”)为：
[0030]
x
″
＝x
′
*(1+k1*r+k2*r2+k3*r3)+2*p1*x
′
*y
′
+p2*(r+2*x
′2)
[0031]
y
″
＝y
′
*(1+k1*r+k2*r2+k3*r3)+2*p2*x
′
*y
′
+p1*(r+2*y
′2)
[0032]
矫正后的点(x
”’
,y
”’
)为：
[0033]
x
″′
＝x
″
*f
u
+u0[0034]
y
″′
＝y
″
*f
v
+v0[0035]
其中，f
u
和f
v
为焦距，u0和v0为光学中心，k1为1阶径向畸变系数，k2为2阶径向畸变系数，k3为3阶径向畸变系数，p1为1阶切向畸变系数，p2为2阶切向畸变系数。
[0036]
因此步骤2.2)中的像素关系公式在畸变矫正后转变为：
[0037]
i(x
″′1，y
″′1，t)＝i(x
″′2，y
″′2，t+dt)
[0038]
2.4)对步骤2.3)中的矫正后的像素点进行泰勒展开，可以得到光流方程：
[0039]
f
x
u+f
y
v+ft＝0
[0040]
其中，f
x
和f
y
是图像的梯度，f
t
是时间的梯度，
[0041]
2.5)通过lucas-kanade方法利用最小二乘法反解出u，v：
[0042][0043]
3)计算该相邻帧中运动相机的速度v
p
：
[0044][0045]
4)重复步骤2)和3)，尽可能多的取n组相邻视频帧的帧对，计算速度的平均值作为运动相机的速度v
camera
：
[0046][0047]
表示第i组相邻视频帧得到的运动相机的速度v
p
，i＝1,2,
…
n。
[0048]
本发明进行了实际实施测试，拍摄视频的相机内外参信息未知，且没有明确的距离信息，通过对视频中出现的静止小车，如图2所示，进行光流法跟踪，利用本发明的方法测得相机运动速度为304.56千米/小时，与正确答案303千米/小时相比误差较小，误差在1％以内，表明本发明能较好地估计相机运动的速度。