一种顾及语义和深度信息的铁塔监控视频映射方法、系统及存储介质

本发明涉及视频监控与空间定位，具体涉及一种顾及语义和深度信息的铁塔监控视频映射方法、系统及存储介质。

背景技术：

1、随着智慧城市的快速发展和实景中国的深入建设，视频监控技术在自然资源监测、土地违法行为等诸多领域发挥着越来越重要的作用。视频监控能够记录地理场景中目标的静态信息与动态变化特征，具有画面直观、信息丰富等特点；而地理信息系统能够提供精准的定位、多类型的地图服务、所呈现的空间画面具有极强的一览性。二者的结合不仅能够提供高清实时的视频画面，还可以提供画面中动态目标的变化特征、静态目标的精确位置，从而提升管理人员的监管效率。

2、近年来“铁塔哨兵”、“蓝天卫士”的出现，为自然资源监测提供了一种新的视角。我国各省份充分利用铁塔公司的通信塔，均建设了铁塔视频监测站点。这种安装在通信铁塔上的球机监控设备，具有可变焦，可旋转的功能。同时依托铁塔自身的高度，其视域范围可达三至五公里，逐渐成为自然资源监测的新工具。

3、当前，铁塔监控摄像机主要是根据铁塔的具体位置，将摄像机分布在地图上定位显示，管理人员可以通过点击铁塔监控摄像机进行视频画面的浏览，同时可以根据摄像机的p(方位角)、t(倾角)、z(焦距)信息对视频画面中的目标进行一个大致判读，这在一定程度上促进了视频监控与地理信息的结合。然而，管理人员在进行自然资源监测时，通常要面对庞大数量的摄像机以及错综复杂的自然野外环境，这给土地违法行为的精准定位带来了一定的困难。如果可以随着铁塔监控视频的伸缩旋转，实时的监控画面能够被精准的映射在地图上，那我们就可以对视频画面中的各个目标地物进行精准定位。

4、目前，对监控视频的研究主要集中于图像空间，与地理空间的交互相对较弱(如cn117670946a视频目标地理位置映射方法及系统)。主要原因在于：(1)面对大量的铁塔监控摄像机的监控视频，主要是通过人工拟合、“暴力解算”等方法，效率相对较低；(2)在映射计算中是基于dem数据(数字高程模型数据digital elevation model)，通过单映法进行计算，忽视了地物的语义类别以及实际高度信息(也即深度信息)，导致监控视频中的图像映射后与实际地物的位置不准确，映射精度低；(3)主要的应用场景是城市内部道路、屋顶等平面区域，在语义类别多、高度信息差别大、复杂的自然野外环境的应用相对较差，可视化效果差。因此，亟需一种顾及语义和深度信息的铁塔监控视频映射方法、系统及存储介质，以解决上述问题。

技术实现思路

1、为了解决现有铁塔监控视频的地理映射中忽视地物的语义类别与深度信息，存在映射精度低、可视化效果差的技术问题，本发明提供了一种顾及语义和深度信息的铁塔监控视频映射方法、系统及存储介质，充分考虑不同场景下不同语义及其深度信息，实现多语义类别的图像空间与地理空间的精准互映射，映射精度高，可视化效果好。

2、本发明提供一种顾及语义和深度信息的铁塔监控视频映射方法，包括以下步骤：s1、根据铁塔监控摄像机的参数信息，在3d gis中构建虚拟摄像机，并通过全局粗拟合与局部细拟合对铁塔监控摄像机和虚拟摄像机的视域进行初步匹配；s2、通过穷举法与梯度下降算法进行再次匹配以使得铁塔监控摄像机和虚拟摄像机的视域在旋转和/或变焦时始终保持一致，获取此时铁塔监控摄像机的内外参数以构建铁塔监控摄像机的相机模型；s3、根据所述相机模型进行图像空间和地理空间之间的映射。

3、进一步的，步骤s1中，全局粗拟合是指将铁塔监控摄像机的监控视频视域中的天际线与虚拟摄像机视频视域中的天际线进行匹配，使两者的视域在宏观上保持一致；局部细拟合是指在全局粗拟合后，将铁塔监控摄像机的监控视频视域中的特征线与虚拟摄像机视频视域中所对应的特征线进行匹配，使两者的视域在微观上保持一致。

4、进一步的，步骤s1中，参数信息包括经度、纬度、高度、方位角、倾角和焦距；对应地，步骤s2具体包括：通过穷举法罗列出铁塔监控摄像机的方位角、倾角和焦距的所有组合方式；通过梯度下降法从所有组合方式中找到精度最优的组合方式作为最优参数组合；基于所述最优参数组合，分别对虚拟摄像机的方位角、倾角和视场角进行拟合，得到铁塔监控摄像机监控视频和虚拟摄像机视频分别关于方位角、倾角、焦距和视场角的分段线性关系，从而使得铁塔监控摄像机和虚拟摄像机的视域在旋转和/或变焦时始终保持一致。

5、进一步的，所述相机模型为：

6、

7、其中，为目标点在图像坐标系中的位置信息，zc为目标点在相机坐标系z方向上的坐标值，fx和fy分别是铁塔监控摄像机在水平方向和垂直方向的焦距，u0和v0是铁塔监控摄像机的图像主点坐标，r是一个3×3的旋转矩阵，表示相机坐标系与世界坐标系之间的旋转关系，t是一个3×1的平移向量，表示相机坐标系相对于世界坐标系的平移关系，为目标点在世界坐标系中的地理信息，x为目标点的经度，y为目标点的纬度，z是目标点的真实高程值。

8、进一步的，所述步骤s3具体包括：s31、当需要进行图像空间至地理空间的映射时，在铁塔监控摄像机的监控视频中选择一个需要映射的目标点uk，获取目标点的像素坐标uk(u，v)；s32、构建铁塔监控摄像机的中心o和目标点uk之间的射线ouk，找到射线ouk与dem的交点dk，从而获取交点dk的dem值为hk；s33、利用预设的铁塔视频语义分割模型对目标点进行语义分割以确定目标点的语义类别及相对高程值dh，从而计算得到目标点的真实高程值zk＝hk+dh；s34、将目标点的像素坐标uk(u，v)和真实高程值zk代入相机模型，解算出目标点的世界坐标w(x，y，z)。

9、进一步的，所述铁塔视频语义分割模型的训练过程具体包括：收集铁塔监控摄像机的多视角下、长时间序列的历史/实时监控视频数据，将历史/实时监控视频数据中的地物类型进行分类标注，将每个类别地物在现实世界中的实际高度作为所述类别地物的相对高程值dh；选取语义分割网络，利用分类标注好的历史/实时监控视频数据对所述语义分割网络进行训练，得到铁塔视频语义分割模型。

10、进一步的，所述步骤s3具体还包括：s35、当需要进行地理空间至图像空间的映射时，在3d gis中选择一个需要映射的目标点，获取目标点的世界坐标w(x，y，z)，将其代入相机模型，解算出目标点的像素坐标uk(u，v)。

11、与现有技术相比，本发明具有以下技术效果：针对各个铁塔监控摄像机，依托高精准度的二三维地理空间数据，在3dgis中建立虚拟摄像机，并构建相机模型，综合考虑目标点的dem值hk以及相对高程值dh，实现图像空间与地理空间的精准互映射。

12、本发明提供一种顾及语义和深度信息的铁塔监控视频映射系统，所述铁塔监控视频映射系统包括：获取模块，用于根据铁塔监控摄像机的参数信息，在3d gis中构建虚拟摄像机，先通过全局粗拟合与局部细拟合对铁塔监控摄像机和虚拟摄像机的视域进行初步匹配，再通过穷举法与梯度下降算法进行再次匹配以使得铁塔监控摄像机和虚拟摄像机的视域在旋转和/或变焦时始终保持一致，获取此时铁塔监控摄像机的内外参数以构建铁塔监控摄像机的相机模型；映射模块，用于根据所述相机模型进行图像空间和地理空间之间的映射。

13、与现有技术相比，本发明具有以下技术效果：针对各个铁塔监控摄像机，依托高精准度的二三维地理空间数据，在3dgis中建立虚拟摄像机，并构建相机模型，综合考虑目标点的dem值hk以及相对高程值dh，实现图像空间与地理空间的精准互映射。

14、本发明提供一种存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的铁塔监控视频映射方法。