一种地面视频流与无人机多视角影像融合建模的方法与流程

本发明涉及实景三维建模领域，具体的涉及一种地面视频流与无人机多视角影像融合建模的方法。

背景技术：

1、利用无人机进行航拍建模是当前三维建模领域的一个热点研究方向，广泛应用于建筑、测绘、文物保护、虚拟现实等多个领域。传统的无人机航拍建模外业数据采集方法主要是通过规划航线来采集一定重叠度的多视角影像，影像重叠度越高，三维建模的效果就越好。常见的无人机拍摄方法主要分两步：无人机先沿着横向或纵向以固定距离进行拍摄，在完成一条航带的拍摄任务时，无人机向着垂直航带方向移动，重复上述两个步骤，直到完成拍摄任务。

2、传统无人机航拍方法由于拍摄视角位于空中高处，对于靠近地面的部分，如建筑物底部，获取的影像分辨率较低，且容易被遮挡，从而造成构建的三维模型底部区域存在拉花、蜡融的情况，通过在地面采集视频流，根据视频流提取出影像信息，将其与无人机拍摄的影像进行融合建模，可以大大提高模型底部的精度，基于此，本发明提出了一种地面视频流与无人机多视角影像融合建模的方法。

技术实现思路

1、针对现有技术中存在的传统无人机航拍建模过程中，获取的底部影像分辨率低、容易被遮挡等情况，从而导致三维模型在底部精度低，存在拉花、蜡融等问题，本发明的目的在于提供一种通过地面视频流提取出影像信息，将其与无人机拍摄的多视角影像进行融合建模，从而提高模型底部的精度的地面视频流与无人机多视角影像融合建模的方法。

2、为实现上述目的，本发明采取的技术方案是：一种地面视频流与无人机多视角影像融合建模的方法，包括以下步骤：

3、步骤1：规划无人机航线，采集建模区域多视角的航拍影像，获取pos数据和相机参数，布设像控点，采集像控点的空间三维坐标；

4、步骤2：对航拍影像进行空三处理并建模；

5、步骤3：从航拍影像三维模型成果中提取具有显著特征的空间点m个，选取的每个空间点都在不同的航拍影像上标记，导出所述空间点的空间坐标数据；

6、步骤4：获取建模区域连续的视频流数据，视频流数据信息中覆盖所述空间点数据，提取具有空间连续性的高分辨率影像，根据相邻影像的空间相似度对视频流提取的影像数据筛选；

7、步骤5：以m个所述空间点坐标信息作为基准，对视频流的影像模型进行空三处理，得到绝对基准下的空三成果；

8、步骤6：根据所述空三成果，将航拍影像空三成果与视频流影像空三成果合并；

9、步骤7：基于合并后空三成果进行模型重建，映射纹理得到最终融合的三维模型成果。

10、上述的地面视频流与无人机多视角影像融合建模的方法，所述步骤2包括：先进行影像自动匹配，执行自由网空中三角测量，再引入像控点坐标信息执行区域网空中三角测量，基于符合精度要求的空中三角测量成果进行三维模型重建及纹理贴图。

11、上述的地面视频流与无人机多视角影像融合建模的方法，根据光束法方程，进行影像自动匹配，执行自由网空中三角测量的表达式为：，

12、所述表达式是在自由网平差的基础上表示影像点与地面点的透视投影关系，其中是影像点的平面坐标，是影像的主点坐标，是相机焦距，是地面点的空间坐标，是摄影中心坐标，是旋转矩阵，定义为：

13、，

14、旋转矩阵r中第一行元素表示旋转后的x轴在原坐标系中的投影，第二行元素表示旋转后的y轴在原坐标系中的投影，第三行元素表示旋转后的z轴在原坐标系中的投影。

15、上述的地面视频流与无人机多视角影像融合建模的方法，所述引入像控点坐标信息执行区域网空中三角测量，将整个区域网的测量结果约束到像控点的坐标系统中，引入所述像控点后，光束法平差的数学模型为：

16、，其中，v表示观测值的残差向量，a为系数矩阵，包含影像点与地面点的几何关系，x为待求参数，包括外方位元素和地面点坐标，l为观测值向量，包含影像点的测量值和像控点坐标，通过最小二乘法平差求解x，得到影像的外方位元素和地面点的空间坐标。

17、上述的地面视频流与无人机多视角影像融合建模的方法，所述空间点包括房屋的角点、地面标线的角点，所述空间点选取不少于4个，选取的每个空间点的影像不少于3张，得到空间点的空间坐标数据

18、。

19、上述的地面视频流与无人机多视角影像融合建模的方法，在步骤4中，所述筛选的方法为：依据相邻两个影像的空间相似度，设定相邻两张影像相似度的阈值为t，需要筛选处理的影像共有c张，令第张影像的空间点总数为n，若n中有n个特征点与相邻影像的特征点匹配，则两个影像的相似度定义为：

20、 ，

21、从第一张影像作为参考图片开始，顺序对后续的影像进行筛选判断，若后续第张影像与第一张影像的相似度大于阈值t，则将第张影像进行删除，直至与第张影像的相似度小于阈值t，将其保留，并作为新的参考图片，再次进行筛选、提取，直至影像全部筛选完毕，获得e张筛选后的影像。

22、上述的地面视频流与无人机多视角影像融合建模的方法，所述步骤5包括：在实景三维建模软件contextcapture中，对视频流提取的影像空三计算工程中，采用人工标记的方式将m个空间点在影像上定位，每个空间点至少在4张影像上进行标记，以m个空间点的空间三维坐标作为基准，对视频流影像进行空三计算。

23、上述的地面视频流与无人机多视角影像融合建模的方法，所述步骤6包括：根据步骤5中获得的绝对基准下的空三成果，无人机影像的空三成果与视频流影像的空三成果具有统一的空间参考基准，其中无人机航拍影像f张，地面视频流提取、筛选后的影像e张，两者融合共计e+f张影像，在实景三维建模软件contextcapture中，将两者空三成果进行合并。

24、本发明一种地面视频流与无人机多视角影像融合建模的方法的有益效果是：本发明融合了无人机航拍影像与地面视频流的优势，能够全面获取目标场景的多视角影像数据。将地面视频流提取的影像与无人机多视角影像进行融合建模，可补充航拍影像在近地面区域以及遮挡区域的数据缺失，增强对复杂场景的建模能力。该方法高效、适应性强，为各类场景提供有效的三维重建解决方案。通过得到绝对基准下的空三成果，解决空间基准一致性的问题。

技术特征：

1.一种地面视频流与无人机多视角影像融合建模的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的地面视频流与无人机多视角影像融合建模的方法，其特征在于，所述步骤2包括：先进行影像自动匹配，执行自由网空中三角测量，再引入像控点坐标信息执行区域网空中三角测量，基于符合精度要求的空中三角测量成果进行三维模型重建及纹理贴图。

3.根据权利要求2所述的地面视频流与无人机多视角影像融合建模的方法，其特征在于，根据光束法方程，进行影像自动匹配，执行自由网空中三角测量的表达式为：

4.根据权利要求3所述的地面视频流与无人机多视角影像融合建模的方法，其特征在于，所述引入像控点坐标信息执行区域网空中三角测量，将整个区域网的测量结果约束到像控点的坐标系统中，引入所述像控点后，光束法平差的数学模型为：

5.根据权利要求1所述的地面视频流与无人机多视角影像融合建模的方法，其特征在于，所述空间点包括房屋的角点、地面标线的角点，所述空间点选取不少于4个，选取的每个空间点的影像不少于3张，得到空间点的空间坐标数据

6.根据权利要求1所述的地面视频流与无人机多视角影像融合建模的方法，其特征在于，在步骤4中，所述筛选的方法为：依据相邻两个影像的空间相似度，设定相邻两张影像相似度的阈值为t，需要筛选处理的影像共有c张，令第张影像的空间点总数为n，若n中有n个特征点与相邻影像的特征点匹配，则两个影像的相似度定义为：

7.根据权利要求1所述的地面视频流与无人机多视角影像融合建模的方法，其特征在于，所述步骤5包括：在实景三维建模软件contextcapture中，对视频流提取的影像空三计算工程中，采用人工标记的方式将m个空间点在影像上定位，每个空间点至少在4张影像上进行标记，以m个空间点的空间三维坐标作为基准，对视频流影像进行空三计算。

8.根据权利要求1所述的地面视频流与无人机多视角影像融合建模的方法，其特征在于，所述步骤6包括：根据步骤5中获得的绝对基准下的空三成果，无人机影像的空三成果与视频流影像的空三成果具有统一的空间参考基准，其中无人机航拍影像f张，地面视频流提取、筛选后的影像e张，两者融合共计e+f张影像，在实景三维建模软件contextcapture中，将两者空三成果进行合并。

技术总结
本发明涉及实景三维建模领域，具体的涉及一种地面视频流与无人机多视角影像融合建模的方法，包括：步骤1：采集航拍影像，布设像控点，采集像控点的空间三维坐标；步骤2：对航拍影像进行处理并建模；步骤3：提取标记空间点，导出空间坐标数据；步骤4：获取视频流数据，提取高分辨率影像，对影像数据筛选；步骤5：以空间点坐标信息作为基准，对影像模型进行空三处理，得到绝对基准下的空三成果；步骤6：根据空三成果，将航拍影像空三成果与视频流影像空三成果合并；步骤7：基于合并后空三成果进行模型重建，映射纹理得到最终融合的三维模型成果。本发明融合了无人机航拍影像与地面视频流的优势，能够全面获取目标场景的多视角影像数据。

技术研发人员：王智,赵亚波,展昀,吕伟嘉,郑芳,门茂林,侯昕廷
受保护的技术使用者：青岛市勘察测绘研究院
技术研发日：
技术公布日：2025/2/20