一种针对AIS和港口视频监控的对齐方法

本发明涉及港口船只监控和数据对齐领域，具体涉及一种针对ais和港口视频监控的对齐方法。

背景技术：

1、近年来，随着信息化基础设施的不断完善，海洋感知的手段也不断得到丰富和加强。对于港口船只监测这一现实需求而言，除了依赖港口监控视频外，由岸基(基站)设施和船载设备共同组成的ais系统，也能较为方便地提供船只地识别码、船名、类型、位置、航向、船速等信息。将这两种信息结合起来，更有助于实现对水路航运船只的管理。

2、ais与港口视频监控对齐是指，给定某一具体时刻(时间戳)，同时获取该时刻(时间戳)的ais记录和监控视频画面，建立起来ais记录中经纬度坐标和监控视频画面坐标的对应关系。

3、在现有的结合ais的船只监测系统中，要实现ais经纬度坐标和监控画面坐标的对齐，需要依赖全景监控相机的焦距和云台的角度等物理参数。而获取这些参数值，增加了ais经纬度坐标和监控画面坐标对齐的难度。

4、针对上述方法的不足，目前亟待提出一种更加简便、有效的对齐方法。

技术实现思路

1、本发明的目的是为了解决现有的结合ais的船只监控系统中的上述问题，提供了一种针对ais和港口视频监控的对齐方法，该方法基于透视变换原理，只需手动选择少量对应点，即可建立了ais中经纬度坐标和监控画面坐标的映射关系，并且通过梯度下降的方法降低了船只检测框和先验框的误差，进一步优化了映射关系，实现了ais中经纬度坐标和监控画面坐标的精确对齐。

2、本发明的目的可以通过采取如下技术方案达到：

3、一种针对ais和港口视频监控的对齐方法，具体如图1所示，本发明所采用的技术方案包含以下具体步骤：

4、s1、基于透视变换原理，人工标定4组监控画面坐标和ais记录中经纬度坐标对应点，建立监控画面坐标与经纬度坐标的低精度映射关系；

5、s2、使用基于深度学习的目标检测模型，检测出监控视频中船只，生成船只检测框；

6、s3、根据监控摄像头和所述控画面坐标与经纬度坐标的低精度映射关系，将ais记录中的船只经纬度坐标点映射到监控视频画面中，生成船只先验框；

7、s4、使用km算法，实现船只检测框与船只先验框的匹配，得到匹配对的集合；

8、s5、使用梯度下降的优化方法，根据匹配对集合，优化所述控画面坐标与经纬度坐标的低精度映射关系，建立监控画面坐标和经纬度坐标高精度的映射关系。

9、进一步地，所述步骤s1过程如下：

10、s101、在高德地图api工具中，截取包含监控画面可见范围的矩形区域，并取一帧监控视频的画面。

11、s102、人工选择地图api工具截取的矩形区域和监控视频画面中的4组显著对应点对。对应点的选取方法为在监控画面中选取岛屿边角点，并在地图api工具中选出与之对应的点。

12、s103、基于透视变换原理，将选取的4组对应点对代入透视变换公式。透视变换公式如下所示：

13、透视变换的坐标变换关系如下：

14、

15、其中，x,y分别表示透视变换前二维平面中的x轴坐标和y轴坐标，扩增维度上1表示坐标位于二维平面；x,y,z分别表示透视变换过程中生成的三维空间中的x轴、y轴和z轴坐标，x′,y′分别表示将三维空间坐标重新投影到二维平面的坐标，z′数值为1表示投影到了二维平面中；矩阵{aij}表示透视变换矩阵，其中1<＝i<＝3,1<＝j<＝3，aij表示透视变换矩阵第i行第j列的元素。

16、根据上述公式，求解透视变换矩阵{aij}，记作m，该透视变换矩阵表示监控画面坐标和经纬度坐标的低精度映射关系。

17、进一步地，步骤s1是基于透视变换原理。透视变换是把一个图像投影到一个新的视平面的过程，该过程包括：把一个二维坐标系转换为三维坐标系，然后把三维坐标系投影到新的二维坐标系。ais记录经纬度坐标和监控画面坐标可分别被视作俯视坐标系和水平坐标系，因此可以通过透视变换进行关联。

18、进一步地，所述步骤s2过程如下：

19、s201、对采集到的监控视频，每隔一秒采集一帧图像，并将图像中的时间信息转换为时间戳，使用时间戳为图像命名，标识采集图像的时间信息。

20、s202、利用在公开数据集上预训练的目标检测模型yolov3，对采集到的图像帧进行船只检测，并记录目标检测模型yolov3输出的船只检测框集合，记作d；

21、s203、统计船只检测框集合d中船只的平均宽高像素值，并记录为(width,height)。

22、进一步地，步骤s202中使用了公开数据集上预训练的目标检测模型yolov3。该模型作者为joseph redmon，于2018年提出的论文《yolov3:an incremental improvement》，作者以科技报告的形式公开了该论文，虽然没有正式发表，但仍被广泛引用。yolov3模型是对于之前yolo系列目标检测模型的延续，整合了当时主流网络的优点，成为了被广泛使用的目标检测模型。该模型通过骨干部分的卷积神经网络提取图像特征，再将图像特征通过检测头部分输出检测到的物体以及类别，能够对输入图像中的物体进行检测，其能够检测的类别包括船只(ship)这一类型，因而可以用来对采集到的图像帧进行自动船只检测，生成船只检测框。

23、进一步地，所述步骤s3过程如下：

24、s301、对采集到的ais数据按照时间戳分组，并通过地图api工具，将ais记录中的经纬度，转为截取区域的像素点，将像素点的集合记作s。

25、s302、使用低精度映射关系矩阵m，将获取的经纬度像素点集合s映射到监控视频画面中，作为先验框的中心坐标，并使用统计得到的船只平均宽高像素值(width,height)生成船只先验框集合p，该映射为一一映射，记作f∶s·m±(width/2,height/2)→p。

26、进一步地，步骤s3中所使用的低精度映射关系矩阵m本质上是透视变换矩阵，而透视变换是把一个图像投影到一个新的视平面的过程，该过程包括：把一个二维坐标系转换为三维坐标系，然后把三维坐标系投影到新的二维坐标系。ais经纬度坐标和监控画面坐标可分别被视作俯视坐标系和水平坐标系，因此可以通过低精度映射关系矩阵m，将经纬度像素点坐标变换为监控画面坐标，再结合统计到的(width,height)生成船只先验框。

27、进一步地，所述步骤s4过程如下

28、s401、针对每一个时间戳t，构造二分图gt＝(dt,pt,et)，其中dt表示t时间戳下监控摄像头画面中的船只检测框集合，pt表示t时间戳下ais记录变换后的船只先验框集合，et表示dt中所有节点与pt中所有节点之间的边集；边集et按照如下规则构造：如果iou(d,p)>0,d∈dt,y∈pt，则在二分图gt中对应的两个节点d与p之间连一条边(d,p)，并设置该边的权重wdp＝iou(d,p)，其中iou(d,p)表示检测框d与先验框p的交并比d∈dt，p∈pt。

29、s402、对每一个二分图gt，利用km算法计算二分图的最佳匹配，将匹配结果记作集合matcht＝{(di,pi,si)}，集合matcht中的元素(di,pi,si)表示t时间戳下第i对匹配的船只检测框di与船只先验框pi，以及船只先验框pi经过映射f之前的经纬度像素坐标si。

30、km算法计算二分图的最佳匹配流程为：1)将构造的二分图用邻接矩阵表示，作为km算法的输入；2)执行km算法流程；3)km算法流程结束，输出最佳匹配对。

31、进一步地，步骤s4中使用km算法计算船只检测框和船只先验框的最佳匹配。km算法由kuhn于1955年首先提出，发表于naval research logistics quarterly期刊第2期，83–97页《the hungarian method for the assignment problem》，munkres于1957年回顾了该算法，并发表在journal of the society for industrial and appliedmathematics期刊的第5卷，第1期，32–38页《algorithms for the assignment andtransportation problems》，这是求解二分图最佳匹配的经典算法。该算法是通过给每个顶点一个顶标来把求最大权匹配的问题转化为不断地寻找增广路径以使二分图的匹配数达到最大的完备匹配问题。将构造出的二分图输入该算法，可以输出二分图的最佳匹配，最佳匹配保证了带权二分图的权值最大，即确保了船只检测框和船只先验框最大限度的匹配。

32、进一步地，所述步骤s5过程如下：

33、s501、将低精度映射关系矩阵m作为可学习的参数，使用所有时间戳下船只检验框和船只先验框的匹配结果matcht作为输入数据，构造如下目标函数：l(m)＝∑t∑idistance(sti*m,center(dti))

34、其中distance表示l2距离，sti表示t时间戳下的第i对匹配的经纬度像素坐标，dti表示t时间戳下第i对匹配的船只检验框，center函数用于计算矩形框的中心坐标，center函数计算公式为：

35、center(box)＝((boxleft+boxright)/2,(boxup+boxdown)/2)

36、其中，box表示矩形框，boxleft表示矩形框的左上角x轴坐标，boxright表示矩形框的右下角x轴坐标，boxup表示矩形框的左上角y轴坐标，boxdown表示右下角y轴坐标；

37、s502、采用梯度下降的方式优化透视变换矩阵m，从而获得监控摄像头和经纬度坐标高精度的映射关系。所采用的优化公式为：

38、

39、其中，aij表示透视变换矩阵m第i行第j列的元素，α表示学习率常数，表示目标函数对参数aij求偏导数，代表了目标函数的梯度，aij′表示aij经过梯度优化后的值。

40、进一步地，步骤s5中使用梯度下降的方式，优化目标函数，从而获得监控摄像头和经纬度坐标高精度的映射关系。由于目标函数是匹配框对的中心距离，最小化该函数，可以有效提高匹配的船只检测框和船只先验框重叠程度，使得透视变换矩阵更准确。同时，该优化问题属于无约束优化问题，因此可以采用梯度下降的方式，对透视变换矩阵m进行优化。

41、本发明的工作原理：透视变换是把一个图像投影到一个新的视平面的过程，该过程包括：把一个二维坐标系转换为三维坐标系，然后把三维坐标系投影到新的二维坐标系。ais经纬度坐标和监控画面坐标可分别被视作俯视坐标系和水平坐标系，因此可以通过透视变换进行关联，实现二者的对齐。本发明基于透视变换原理，首先将ais记录中的经纬度通过地图api转为二维图像坐标，然后通过手工选择和监控画面中的对应点对，求解透视变换矩阵，作为ais和视频监控的低精度映射关系；更进一步地，通过在公开数据集上预训练的目标检测模型对视频监控画面提取船只检测框，通过地图api和低精度映射关系从ais记录中生成船只先验框；更进一步地，通过km算法获取船只检测框和船只先验框的匹配对，并将映射关系矩阵作为可学习的参数，匹配框对的中心距离作为优化的目标函数，进而通过梯度下降的方法优化，获得ais经纬度坐标和视频监控画面坐标的高精度映射关系，实现二者的精确对齐。

42、本发明相对于现有技术具有如下的优点及效果：

43、1、本发明提出了一种新颖的ais和监控画面的对齐方法，基于透视变换原理关联ais和视频监控两个视角，可以在相机具体的参数未知的情况下对齐ais中的经纬度和监控画面的像素坐标，仅需少量人工选择即可获得低精度的映射关系。

44、2、本发明进一步通过将映射关系矩阵作为可学习参数，使用km算法进行船只检测框和船只先验框的匹配，并使用匹配框对的中心距离作为优化目标函数，进而采用梯度下降的方式进行优化，可以获得更高精度的ais经纬度坐标和视频监控画面坐标的映射关系。