实时全景三维数字工地地图监管系统及方法与流程

1.本发明属于工地监管领域，具体涉及一种实时全景三维数字工地地图监管系统及方法。


背景技术：

2.传统的建筑数字化工地中往往存在着视频监控画面零散、系统繁多不连续、整体缺乏空间感、建筑模型脱离实际、工地内部无法导航、系统功能单一、事件追溯难等问题，已经无法满足现代化建设生产的需求。
3.随着建筑工程数字化的发展，尤其是在数字化智慧建造方向，大数据、人工智能方向在建筑工地的应用越来越广泛。
4.目前急需智能化数字化工地的全方位视频监控，以更加有效应对工地现场的突发事件并及时监控和存储，及数据具备事件的全过程快速定位、追溯；具备尺度及经纬等地理位置信息的高精度实景三维模型，及可用于土方测量、通视分析等的数字高程模型；具备快速调度全球不同区域的工程现场的实景三维视频监控画面功能，以提高对多个工程现场的同时远程指导及监督管理能力；具备多终端协同交互操作功能，以提高工地施工现场实时多方协同管理的效率。


技术实现要素：

5.针对现有技术中存在的技术问题，本发明提出一种实时全景三维数字工地地图监管系统及方法，采用先进的实时实景三维视频融合技术，高度还原现场施工环境及进展，以数字化方式实现跨时空、多个工地同时监管、一个工地多个部门协同监管等；同时，数字工地地图还为管理者提供工地现场多角度、跨时空的“上帝”视角，实现工地平面可视化、建造过程可追溯、现场指挥零距离，具备数字高程测绘测量、装备远控辅助、自主导航、ar识别与验收等其他智能化应用基础的数字底图。
6.本发明提供如下技术方案：
7.一种实时全景三维数字工地地图监管系统，由系统架构及技术模块架构组成。其中系统架构主要包括：数据层系统，核心层系统，交互层系统：
8.数据层系统(边缘处理)：通过监控设备进行数据采集及编码组流，推送至视频数据流处理平台；数据管理平台进行帧流管理及数据存储；云管理平台进行提取关键帧组成数据流及网速流量管理；
9.核心层系统(数据处理)：从数据层系统获取的数据以机构化数据、时序数据、分布式数据进行数据库存储；核心算法主要包含：多角度多路视频融合、实景三维重建、数字高程模型、数字正射影像地图；
10.交互层系统(终端展示)：用户管理获取设备使用管理权限进行核心层系统数据的快速调度；所调度的数据用于无缝漫游查阅及多终端协同交互。
11.其中技术模块架构主要包括：数据模块、核心算法模块、交互监管模块：
12.s1、数据模块部分
13.s11、依据工程项目的设计规划图纸，自动规划监控等设备布设点位，使监控能全面覆盖整个项目工地区域；
14.s12、监控架设完成后，以有线、无线(wi-fi、4g、5g等)网络进行自适应组网；
15.s13、前端监控数据需进行时间同步处理；
16.s14、提取监控视频画面的关键帧；
17.s15对提取的关键帧以机构化、时序、分布式数据库管理存储，用于数据动态更新。
18.s2、核心算法模块部分
19.s20、施工过程中，随着施工建筑的增高，会出现监控盲区或机密区域，需对监控设备进行增减，并对增加的监控设备使用自适应布控技术组网；
20.s21、快速增减摄影头画面融合；
21.s22、多角度多路监控视频画面的整体融合；
22.s23、实景三维重建；
23.s24、数字高程模型；
24.s25、正射影像地图，实现跨时空监控；
25.s26、正射影像地图与卫星地图融合。
26.s3、交互监管模块部分
27.用户管理获取设备使用管理权限用于监控视频融合及卫星地图融合的数据快速调度；所调度的数据用于无缝漫游查阅及多终端协同交互；通过卫星地图索引方式实现对多地工程项目现场的监控快速调度；多终端交互，实现多个管理部门对同一个工程现场同时协同监督管理。
28.其中s2核心算法模块还包括核心技术架构，核心技术包含：1、多路视频融合技术，2、视频管理可添加/删减融合技术，3、三维底图自动更新技术，4、快速调度及无缝漫游、多交互技术。
29.优选所述核心技术中多路视频融合技术为成熟的通用技术模块。该模块具体用于：将多路具备相关性的监控画面融合相融合的多路图像拼接；处理图像拼接产生的拼接缝的图像边缘融合；将多组监控画面色彩统一的图像匀色，以解决多组监控曝光度等不同产生的色差；将多组监控融合的画面进行多角度变换的图像仿射、透视变换；解决图像变换过程中产生形变的图像自动矫正。
30.优选的，核心技术中视频管理可添加/删减融合技术为定向优化的自研技术模块。该模块用于：图像自标定融合技术将新增的监控视频画面与周围相邻监控视频画面进行图像分析，自动标定计算出新增监控的实际位置等外参信息；自动融合、自动补缺技术用于：1、关键区域、未覆盖点增加摄像机的融合，2、非重要区域、保密区删减摄像机的画面补缺。
31.优选的，核心技术中三维底图自动更新技术为定向优化的自研技术模块。该模块用于：监控画面可达区域，提取最新同一时间节点的监控群的关键帧及监控gps位置等信息采用倾斜摄影技术用于实景三维重建；监控画面不可达区域，如建筑遮挡部分，采用可移动式设备如：无人机、机械狗等进行定期扫描补全实景三维模型空缺部分；实景三维模型具备尺度及经纬等地理位置信息，数据精度在10cm左右，可用于土方测量、通视分析等的数字高程模型；通过按时间节点动态更新的数字高程模型可直接获取最新的数字正射影像地图。
32.优选的，核心技术中快速调度及无缝漫游、多交互技术为定向优化的自研技术模块。该模块用于：融合卫星地图技术用于将动态更新的数字正射影像地图与卫星地图融合，该技术用于快速调度全球不同区域的工程现场的实景三维视频监控画面，实现具备全新的对多个工程现场的同时远程指导及监督管理能力；编码组流技术用于将多路监控的高清视频及数字高程模型等进行数据二次编码提高信息传输的安全性，二次编码组成数据流提高大数据量信息传输的连贯性及稳定性；三维视频解析技术用于编码组流的大数据量信息解析，将二次编码信息解析还原成高清视频监控及数字高程模型等；多交互操作技术采用手势控制、ar、vr等交互方式，用于三维视频多维度交互及无缝漫游；多终端协同技术用于视频显示端如：指挥中心大屏端、pc端、手机端等进行数据同步管理，并以用户权限决定操作优先级，实现多个终端对同一个工程现场数据协同操作及监督管理。
33.本发明还提供一种实时全景三维数字工地地图监管装置，包括监控摄像机、存储阵列、网络、视频网关、解码矩阵、中央集群服务器、手机、pc以及指挥中心大屏；
34.监控摄像机、存储阵列、网络，用于实现s1数据模块部分的数据采集、存储及并发传输；视频网关，用于快速调度监控单元数据；解码矩阵，用于二次编码信息的解析还原；中央集群服务器，用于实现s2核心算法模块部分的图像图像算法的运算；手机、pc以及指挥中心大屏，用于实时全景三维监控场景的显示、交互及多方协同。
35.本发明与现有技术相比，具有以下优点及有益效果：
36.本发明以通信网络全覆盖为载体(一张网)，结合实景三维、视频融合、地图关联技术(一张图)，搭建“实时”、“实景”、“实地”的地图平台(一块屏)，实现高度还原现场施工环境及进展的实时实景三维视频展示，以数字化方式实现跨时空、多个工地同时监管、一个工地多个部门协同监管等；同时，数字工地地图实现为管理者提供工地现场多角度、跨时空的“上帝”视角；实现工地平面可视化、建造过程可追溯、现场指挥零距离，具备数字高程测绘测量、装备远控辅助、自主导航、ar识别与验收等其他智能化应用基础的数字底图。
附图说明
37.图1是本发明的系统架构图；
38.图2是本发明的技术架构流程图；
39.图3是本发明的技术原理架构图；
40.图4是本发明具体实施例中的项目整体布点设计图；
41.图5是本发明具体实施例中的项目局部塔机布点安装图；
42.图6是本发明具体实施例中的项目数字正射影像地图。
具体实施方式
43.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
44.本发明涉及图像融合处理、摄影测量、视频数据与实景三维模型融合、虚拟现实增强、数据协同交互、数字化建造、智慧建造、安全绿色施工、视频安防监管等技术领域，公开
了一种实时全景三维数字工地地图监管系统及方法，该方法具体包含以下步骤：(1)自动规划监控全覆盖点位及设备布设；(2)自适应组网技术；(3)前端数据时间同步；(4)监控视频画面关键帧提取；(5)数据动态更新(机构化、时序、分布式数据库管理)；(6)快速增减摄影头画面融合；(7)多路多角度视频融合；(8)实景三维重建、数字高程模型、正射影像地图(融合卫星地图)动态更新；(9)用户管理、设备管理；(10)快速调度、无缝漫游及多终端交互。
45.本发明实现了将多路多角度的监控画面融合；以时间序的形式提取监控群的关键帧画面、rtk、gps、电子罗盘等信息并结合倾斜摄像实景三维还原技术，获取工地现场的动态更新数字高程模型及正射影像地图；将正射影像地图与卫星地图融合，通过地图索引方式实现监管部门(如：局工程指挥中心)对全球多地工程现场的监控快速调度，从而具备全新的对多个工程现场的同时远程指导及监督管理能力；多终端交互，实现多个管理部门对同一个工程现场同时协同监督管理，从而提升多个部门之间协作的连贯性及高效性。
46.图1为本技术实施例提供的一种实时全景三维数字工地地图监管系统的系统架构图。参考图1，该系统包括：数据层系统，核心层系统，交互层系统。其中：
47.数据层系统(边缘处理)：通过监控设备进行数据采集及编码组流，推送至视频数据流处理平台；数据管理平台进行帧流管理及数据存储；云管理平台进行提取关键帧组成数据流及网速流量管理。
48.其中数据层系统中涉及硬件：视频监控摄像机、存储阵列、流媒体服务器、网络用于实现图2中s1数据模块部分的数据采集、存储及并发传输；
49.核心层系统(数据处理)：从数据层系统获取的数据以机构化数据、时序数据、分布式数据进行数据库存储；核心算法主要包含：多角度多路视频融合、实景三维重建、数字高程模型、数字正射影像地图。
50.其中核心层系统中涉及硬件：视频网关，用于快速调度监控单元数据；解码矩阵，用于二次编码信息的解析还原；中央集群服务器用于实现图2中s2核心算法模块部分的图像图像算法的运算；
51.交互层系统(终端展示)：用户管理获取设备使用管理权限进行核心层系统数据的快速调度；所调度的数据用于无缝漫游查阅及多终端协同交互。
52.其中交互层系统中涉及硬件：手势控制设备、ar设备、vr设备、手机、pc以及指挥中心大屏，用于实现图2中s3交互监管模块中的实时全景三维监控场景的显示、交互及多方协同。
53.图2为本技术实施例提供的一种实时全景三维数字工地地图监管方法流程图。参考图2，主要包括：数据模块、核心算法模块、交互监管模块。其中：
54.s1、数据模块：
55.s11、依据工程项目的设计规划图纸，自动规划监控等设备布设点位，使监控能全面覆盖整个项目工地区域；s12、监控架设完成后，以有线、无线(wi-fi、4g、5g等)网络进行自适应组网；s13、前端监控数据需进行时间同步处理；s14、提取监控视频画面的关键帧；s15、对提取的关键帧以机构化、时序、分布式数据库管理存储，用于数据动态更新。
56.s2、核心算法模块：
57.s20、施工过程中，随着施工建筑的增高，会出现监控盲区或机密区域，需对监控设备进行增减，并对增加的监控设备使用自适应布控技术组网；
58.s21、快速增减摄影头画面融合：在需要增强监控的关键区域、施工建筑增高后出现覆盖盲区，进行添加监控设备，对新增的监控画面可自动融合至全局；在非重要区域、保密区等，进行监控去除，对产生缺失部分进行底图自动补缺；
59.s22、多路多角度监控视频画面的整体融合，通过图像特征点分析，计算出监控之间相应的位置及变换关系，将多组监控画面初步拼接起来；图像拼接处会出现色差、缝隙等差异，通过融合算法优化可有效解决局部的边缘缝隙等问题；全局图像融合中，由与拍摄时间、设备拍摄参数不同等，使得最终融合会出现以块为单位的色彩差异；通过色彩提取、修正、增强等，可将全局色彩一致化；图像拍摄、融合、变换视角等，会出现畸变；采取轮廓检测、直线检测等，并对曲线和直线结构保持约束项的结构保持绘制，对相似变换进行约束，矫正拼接图像的形状，减小投影失真导致的最终图像扭曲；
60.s23、监控可达区域，进行实景三维重建更新底图：主要针对塔机监控覆盖区域及周边监控区域，其中塔机覆盖部分为主要施工区域，步骤s14提取多路监控关键帧、步骤s15存储的关键帧、gps、电子罗盘等信息，同时结合目前成熟的倾斜摄像技术，及实景三维还原技术实现实景三维重建；监控画面不可达区域，如建筑遮挡部分，采用可移动式设备如：无人机、机械狗等进行定期扫描补全实景三维模型空缺部分；
61.s24、具备gps经纬地理位置、实际空间尺度、电子罗盘等信息的实景三维模型即为可用于土方测量、通视分析的数字高程模型；结合步骤s15数据动态更新，获取的工地现场动态更新数字高程模型，实现跨时空监控；
62.s25、数字高程模型通过正射投影，可获取正射影像地图；
63.s26、将具备gps经纬地理位置正射影像地图与卫星地图融合，实现通过地图索引方式实现监管部门对全球多地工程现场的监控快速调度。
64.s3、交互监管模块：
65.用户管理获取设备使用管理权限用于监控视频融合及卫星地图融合的数据快速调度；所调度的数据用于无缝漫游查阅及多终端协同交互；通过卫星地图索引方式实现对多地工程项目现场的监控快速调度；多终端交互实现多个管理部门对同一个工程现场同时协同监督管理。
66.图3为本技术实施例提供的一种实时全景三维数字工地地图监管方法和系统的技术原理架构图。参考图3，技术原理架构主要包括：1、多路视频融合技术，2、视频管理可添加/删减融合技术，3、三维底图自动更新技术，4、快速调度及无缝漫游、多交互技术。其中：
67.多路视频融合技术为成熟的通用技术模块。该模块主要用到的技术有：多路图像拼接用于将多路具备相关性的监控画面融合相融合；图像边缘融合用于处理图像拼接产生的拼接缝；图像匀色技术用于将多组监控画面色彩统一，解决多组监控曝光度等不同产生的色差；图像仿射、透视变换技术用于将多组监控融合的画面进行多角度变换；图像自动矫正技术用于解决图像变换过程中产生的形变。如：图像拼接处会出现色差、缝隙等差异，通过融合算法优化可有效解决局部的边缘缝隙等问题；全局图像融合中，由于拍摄时间、设备拍摄参数不同等，使得最终融合会出现以块为单位的色彩差异，可通过色彩提取、修正、增强等，可将全局色彩一致化；图像拍摄、融合、变换视角等，会出现畸变，可采取轮廓检测、直线检测等，并对曲线和直线结构保持约束项的结构保持绘制，对相似变换进行约束，矫正拼接图像的形状，减小投影失真导致的最终图像扭曲；
68.视频管理可添加/删减融合技术为定向优化的自研技术模块。该模块主要用到的技术有：图像自标定融合技术将新增的监控视频画面与周围相邻监控视频画面进行图像分析，自动标定计算出新增监控的实际位置等外参信息；自动融合、自动补缺技术用于：1、关键区域、未覆盖点增加摄像机的融合，2、非重要区域、保密区删减摄像机的画面补缺。
69.三维底图自动更新技术为定向优化的自研技术模块。监控画面可达区域，主要针对塔机监控覆盖区域及周边监控区域，其中塔机覆盖部分为主要施工区域，提取最新同一时间节点的监控群的关键帧及监控gps位置等信息，并采用倾斜摄影技术及实景三维还原技术进行实景三维重建；监控画面不可达区域，如建筑遮挡部分，采用可移动式设备如：无人机、机械狗等进行定期扫描补全实景三维模型空缺部分；实景三维模型具备尺度及经纬等地理位置信息，数据精度在10cm左右，可用于土方测量、通视分析等的数字高程模型；通过按时间节点动态更新的数字高程模型可直接获取最新的数字正射影像地图。
70.快速调度及无缝漫游、多交互技术为定向优化的自研技术模块。该模块主要用到的技术有：融合卫星地图技术用于将动态更新的数字正射影像地图与卫星地图融合，该技术用于快速调度全球不同区域的工程现场的实景三维视频监控画面，实现具备全新的对多个工程现场的同时远程指导及监督管理能力；编码组流技术用于将多路监控的高清视频及数字高程模型等进行数据二次编码提高信息传输的安全性，二次编码组成数据流提高大数据量信息传输的连贯性及稳定性；三维视频解析技术用于编码组流的大数据量信息解析，将二次编码信息解析还原成高清视频监控及数字高程模型等；多交互操作技术采用手势控制、ar、vr等交互方式，用于三维视频多维度交互及无缝漫游；多终端协同技术用于视频显示端如：指挥中心大屏端、pc端、手机端等进行数据同步管理，并以用户权限决定操作优先级，实现了多个终端对同一个工程现场数据协同操作及监督管理。
71.图4为项目整体布点设计图。参考图4，设计以下安装方案：全场摄像机数量总共设计26台，2.8mm-12mm焦距1080p红外枪型摄像机24台，球形摄像机2台；以塔机为安装支点，共四侧，每侧以水平同轴方式各安装两台枪型摄像机，形成全景覆盖同时在对角各安装一台球机实现细节追踪。四面围墙各居中安装一根15米高立杆，每根立杆上方各安装四台枪型摄像机，其中两台为一组同轴且每组背对安装。
72.图5给出了项目局部塔机布点安装图。参考图5，塔机安装监控方式分三种：塔机大臂前端1、塔机大臂末端2和塔机机身中部3。其中：塔机机身中部3采用图4所述，塔机四侧，每侧以水平同轴方式各安装两台枪型摄像机，形成全景覆盖。
73.多摄像头相邻之间进行图像拼接融合，特征匹配中有如下关系：
74.ssd(sum of squared distance)
75.(ssd用于最佳拟合)
76.sad(sum of absolute difference)
77.(sad用于评估图像模块的相似度)
78.ncc(normalized cross correlation)
79.(ncc用于归一化处理)
80.塔机大臂前端1、大臂末端2采用安装带有rtk、gps、电子罗盘的多目全景球形监控摄像机。大臂在作业的过程中，摄像机1、2会随大臂一起圆周运动，摄像机的多目相机同时从垂直、倾斜等多个不同的角度同步采集影像，获取到丰富的建筑物顶面及侧视的高分辨率纹理；结合监控摄像机1、2上rtk、gps、电子罗盘等信息，使用倾斜摄影技术，以大范围、高精度、高清晰的方式全面感知复杂场景，真实地反映地物情况，高精度地获取物方纹理信息，生成真实的实景三维模型。通过融合rtk、gps、电子罗盘等信息，生成具备直观反映地物的外观、位置、高度等属性的数字高程模型。数字高程模型用以保证真实效果及测绘级精度。
81.塔机大臂作业过程中，大臂运动为非匀速速度。监控摄像机1、2上rtk、gps、电子罗盘等信息准确性对模型的生成效率及精度产生影响。改进算法中采用卡尔曼滤波“预测+修正”进行优化，提高数字高程模型的测绘级精度，用于满足土方测量、通视分析等需求。
82.图6为具体实施例中的项目数字正射影像地图，按时间节点动态更新的数字高程模型可直接获取最新的数字正射影像地图。将动态更新的数字正射影像地图与卫星地图融合，用于快速调度全球不同区域的工程现场的实景三维视频监控画面，实现具备全新的对多个工程现场的同时远程指导及监督管理能力。
83.最终结合多交互操作技术采用的手势控制、ar、vr等交互方式，用于三维视频多维度交互及无缝漫游；多终端协同技术用于视频显示端如：指挥中心大屏端、pc端、手机端等进行数据同步管理，并以用户权限决定操作优先级，实现了多个终端对同一个工程现场数据协同操作及监督管理。
84.上述实施例中提供的一种实时全景三维数字工地地图监管方法和系统，以通信网络全覆盖为载体(一张网)，结合实景三维、视频融合、地图关联技术(一张图)，搭建“实时”、“实景”、“实地”的地图平台(一块屏)，解决传统视频监控中零散、画面分割、视角狭隘等问题，实现高度还原现场施工环境及进展的实时实景三维视频展示，以数字化方式实现跨时空、多个工地同时监管、一个工地多个部门协同监管等；同时，数字工地地图实现为管理者提供工地现场多角度、跨时空的“上帝”视角；实现工地平面可视化、建造过程可追溯、现场指挥零距离，具备数字高程测绘测量、装备远控辅助、自主导航、ar识别与验收等其他智能化应用基础的数字底图。
85.本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。