一种基于夜间灯光追踪的相机像主点快速定标方法和系统与流程

本发明属于相机标定领域，具体涉及一种基于夜间灯光追踪的相机像主点快速定标方法和系统。

背景技术：

1、目前全国大部分地区、道路都安装有监控相机，当需要对这些已经安装好，且不宜拆卸的相机实现测量任务时，就要对相机进行标定，而现有通过靶标标定的方式不好较准此类相机。目前，对于室外不宜拆卸的相机定标方法主要依赖人工标定，需在相机放置定标参照物，精准测定定标物的地理空间坐标与图像坐标，以此确定两者间的成像几何模型，通过优化方法确定相机内外参数，但相机内外参数众多，会由于标定过程中机械原因、光学原因、测量原因等因素出现各种误差。因此现有的方法存在耗时耗力、易受环境影响选点精度等问题。

技术实现思路

1、为降低标定的复杂度、提升定标精度与可操作性、减少标定过程中误差因素的引入，并有效利用监管范围内准确度高的定标参照物，本发明提出了一种基于夜间灯光检测追踪的监控相机像主点的定标方法。

2、本发明克服现有技术的缺陷和不足，基于夜间场景下的监控视频影像，利用监控相机中像主点的特性以及夜间光斑的特点，实时计算并提取影像内灯光光斑位置与拟合轮廓中心，并基于光斑在不同焦距下的跟踪结果，进行相机像主点内参的快速确定，提出了实现流程及方法；所述监控视频影像通过已户外已安装相机实时采集。其中，中央服务器需要采集每个视频摄像头视野范围内的图像。

3、本发明的技术方案为一种基于夜间灯光追踪的相机像主点快速定标方法，包括如下步骤：

4、步骤1，通过配置摄像头巡航策略实时采集夜间场景下监控视频图像，获得图像信息，并将画面中心作为像主点的初始值；

5、步骤2，控制监控摄像头在焦距最小时获取图像画面，挑选一个光斑作为待监测对象，利用阈值分割筛选图像内光斑边缘与轮廓信息，进一步提取出夜间场景内的灯光亮点的位置信息；

6、步骤3，根据步骤2所获取的光斑轮廓生成结果，进行椭圆拟合操作，准确描述光斑位置与中心定位；

7、步骤4，根据步骤3获取的光斑中心调大焦距，同时调整相机的旋转角和俯仰角，将光斑中心置于像主点的初始位置；

8、步骤5，判断此时相机的焦距是否最大，如果不是，则重复步骤2-4；否则将像主点起始位置的光斑作为待监测目标；

9、步骤6，根据步骤5选定待监测目标后，保持摄像头旋转角p与俯仰角t不变，由近及远逐步变焦缩小；在此过程中，逐帧执行步骤2和步骤3，提取光斑位置，并结合卡尔曼滤波算法，对焦距变小时画面范围中的其他光斑干扰进行滤除；当调整至最小焦距时，结合跟踪结果所确定的灯光光斑中心的图像坐标，利用灯光光斑中心的图像坐标更新像主点初始位置；

10、步骤7，重复步骤2-6多次，将迭代后的灯光光斑中心坐标作为一组待定内存像主点坐标(ui，vi)；

11、步骤8，重复步骤2-7，获取多个待定内参像主点坐标，计算初始聚类质心，并根据距离阈值筛选出误差大于一定阈值的离散点后，将筛选后的坐标组质心作为最终内参像主点坐标。

12、进一步的，步骤2中对光斑图像利用最大类间方差法进行阈值分割，具体实现方式如下：

13、首先设定一个阈值k将图像按灰度值分为两个区域，两个区域灰度值的类间方差越大，则前景和背景差异越大，阈值就越佳，类间方差计算公式定义为：

14、

15、其中，m1与m2为两个区域内的灰度均值，mg为全局的灰度均值，p1与p2分别为两个区域占整体的比例，通过迭代遍历算法求得类间方差最大的k值。

16、进一步的，步骤3中利用基于最小二乘法进行椭圆拟合，椭圆的参数方程为：

17、ax2+bxy+cy2+dx+ey+1＝0

18、其中，a、b、c、d、e为系数，设pi(xi，yi)为椭圆轮廓上的n个轮廓点，轮廓点越多，拟合效果更好，i＝1，2，...，n；依据最小二乘原理，拟合的目标函数表示为：

19、

20、欲使目标函数f最小，采用极值定理，可得：

21、

22、求解上述线性方程组可得a、b、c、d、e的值；根据椭圆几何原理，可进一步计算椭圆中心坐标(x0，y0)、长半轴a、短半轴b以及长轴倾角θ：

23、

24、

25、

26、

27、

28、进一步的，步骤4的具体实现方式如下：

29、以像主点的初始位置为原点，建立平面直角坐标系，其中水平方向为一轴，与相机旋转角度方向平行，并定义水平轴的正方向与相机旋转角增加的方向一致，另外，垂直方向为另一轴，与相机俯仰角方向平行，并定义垂直轴的正方向与相机俯仰角增加的方向一致；以水平轴为界，可将图像画面分成上下两部分，以垂直轴为界，可将图像画面分成左右两部分；

30、当光斑中心位于图像左侧时，通过减小相机的旋转角p，使画面向左侧移动的同时，光斑中心向右移动；当光斑中心位于图像右侧时，则控制增大相机的旋转角p，使画面向右侧移动的同时，光斑中心向左移动；当光斑中心位于图像上侧时，通过增大相机的俯仰角t，使画面向上侧移动的同时，光斑中心向下移动；当光斑中心位于图像下侧时，通过减小相机的俯仰角t，使画面向下侧移动的同时，光斑中心向上移动。

31、进一步的，步骤6中卡尔曼滤波算法的具体实现方法如下：

32、首先，定义一个随机离散时间过程的状态向量，该过程可用一个离散随机差分方程式表述：

33、xk＝axk-1+buk-1+ωk-1

34、其中，xk表示k时刻系统状态变量，xk-1为k-1时刻系统状态变量，a表示状态转义矩阵，即将k时刻与k-1时刻状态联系起来，b表示控制矩阵，用来衡量控制量u如何作用于系统当前状态，ωk-1表示噪声；

35、然后，定义观测变量：

36、zk＝hxk+vk

37、其中，zk表示观测值，xk为前式定义的状态变量，h为xk对zk的增益，vk表示观测噪声。

38、在预测阶段，根据前一刻后验估计值估计当前时刻的状态，从而得到当前时刻的先验估计值：

39、

40、其中，为k时刻的先验状态估计值，即根据k-1时刻最优估计预测的k时刻的结果；a为状态转移矩阵；b为控制矩阵，即控制量u如何作用于当前状态；为k-1时刻的后验状态估计值，滤波后的结果；pk-1为k-1时刻的后验估计协方差矩阵，用来衡量状态不确定度，是滤波结果；为k时刻的先验估计协方差矩阵；q为噪声协方差矩阵；

41、在测量更新阶段，通过当前时刻的观测值更正预测阶段的估计值，即通过先验估计值得到当前的后验估计值，其中卡尔曼滤波器状态的更新方程式如下所示：

42、

43、其中，为k时刻的先验状态估计值；为k时刻的先验估计协方差矩阵；pk为k时刻的后验估计协方差矩阵；h为状态变量到观测量的转换矩阵；r为测量噪声协方差；vk为卡尔曼系数；为k时刻的后验状态估计值；zk为观测值，是滤波的输入值；为实际观测与预测值的残差，利用卡尔曼系数进行修正先验，最终得到后验。

44、进一步的，步骤6在实际镜头缩放的过程中，首先利用缩放过程中的前一帧图像的中心光斑位置作为k-1时刻下的观测值，计算k时刻下估计值，并结合k时刻下的实际观测值，计算卡尔曼系数，更新后验估计值与后验协方差矩阵，从第二帧开始，首先计算当前时刻下先验状态估计值，并在图像范围内将当前光斑中心一定范围内的检测出的所有光斑中心位置与先验状态估计值间测算两者间的欧式距离，将距离最近的光斑作为当前时刻的观测值，后进行滤波器的状态更新，当焦距调至最小的时刻，不再进行状态的更新。

45、进一步的，步骤8的具体实现方式如下：

46、步骤8.1，根据步骤2-7获取多个待定内参像主点坐标{pi＝(ui，vi)，i＝1，2，...，n}，并将这多个像主点坐标视为一组，基于坐标组中n个像主点坐标，计算该组坐标在二维图像坐标下的质心，质心坐标由各维度坐标的均值得出，表示为μu，μv，计算公式是：

47、

48、其中u，v分别表示像主点坐标的横轴、纵轴坐标，j表示像主点序号；

49、步骤8.2，计算质心坐标与各待定像主点间的欧式距离，计算公式是：

50、

51、其中，p表示待定像主点坐标，μ表示质心坐标，u，v分别表示图像坐标系的横纵轴，d表示质心坐标与待定像主点p之间的欧式距离；

52、步骤8.3，计算该簇内所有待定像主点到当前质心的平均距离，计算公式是：

53、

54、式中m表示待定像主点数量，μ为质心坐标，d表示第j个像主点与质心的距离，mdist表示各待定像主点与质心的平均距离；

55、步骤8.4，将mdist与既定阈值t比较，如果mdist大于t，则从待定像主点{pi＝(ui，vi)，i＝1，2，...，n}中删掉距离质心最远的一个像主点，公式是：del(max{d(pj，μ)，j＝1，2，...m})，重复步骤8.1至8.4，直至mdist不大于既定阈值t；

56、步骤8.5，将经过8.1～8.4迭代后得到质心(μu，μv)作为相机的内参像主点坐标输出。

57、进一步的，步骤1中图像信息为vptz，

58、p∈[0，360]

59、t∈[-180，180]

60、z∈[1，50]

61、其中，p表示摄像头水平方向上移动的范围；t表示垂直方向上的移动范围；z表示变焦范围。

62、本发明还提供一种基于夜间灯光追踪的相机像主点快速定标系统，包括如下模块：

63、图像获取模块，用于通过配置摄像头巡航策略实时采集夜间场景下监控视频图像，获得图像信息，并将图像中心作为像主点初始位置；

64、灯光位置信息获取模块，用于控制监控摄像头在焦距最小时获取图像画面，挑选一个光斑作为待监测对象，利用阈值分割筛选图像内光斑边缘与轮廓信息，进一步提取出夜间场景内的灯光亮点的位置信息；

65、中心定位模块，用于根据获取的光斑轮廓生成结果，进行椭圆拟合操作，准确描述光斑位置与中心定位；

66、光斑中心调整模块，用于根据获取的光斑中心调大焦距，同时调整相机的旋转角和俯仰角，将光斑中心置于像主点的初始位置；

67、判断模块，用于判断此时摄像头的焦距是否最大，如果不是，则重复执行灯光位置信息获取模块、中心定位模块和光斑中心调整模块；否则将像主点起始位置的光斑作为待监测目标；

68、像主点坐标获取模块，根据选定的待监测目标，保持摄像头旋转角p与俯仰角t不变，由近及远逐步变焦缩小；在此过程中，逐帧提取光斑位置，并结合卡尔曼滤波算法，对焦距变小时画面范围中的其他光斑干扰进行滤除；当调整至最小焦距时，结合跟踪结果所确定的灯光光斑中心的图像坐标，利用灯光光斑中心的图像坐标更新像主点初始位置，并迭代多次，将迭代后的灯光光斑中心坐标作为一组待定内参像主点坐标；

69、定标模块，用于获取多个待定内参像主点坐标，计算初始聚类质心，并根据距离阈值筛选出误差大于一定阈值的离散点后，将筛选后的坐标组质心作为最终内参像主点坐标。

70、本发明还提供一种基于夜间灯光追踪的相机像主点快速定标设备，包括：

71、一个或多个处理器；

72、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述一种基于夜间灯光追踪的相机像主点快速定标方法。

73、与现有技术相比，本发明的优点和有益效果如下：

74、(一)本发明利用相机的像主点通常在图像中心附近，且图像中心特征点会随着焦距的变小逐步向像主点靠拢的特点，提出了一种基于夜间灯光追踪的相机内参像主点的定标方法，经真实场景验证，本发明的像主点标定精度满足实际需求。

75、(二)本发明利用户外夜间场景下光斑虚焦现象以及光斑与背景呈高对比度等特点，采用阈值分割、轮廓拟合等检测手段，快速完成在夜间场景内监控视频影像的灯光光斑检测与中心定位，结合目标在多倍变焦影像下的位置跟踪，实现视频摄像头像主点内参快速标定，具有便捷、操作性强等特点。