一种无人机实时视频与三维场景融合的方法与流程

本发明涉及无人机倾斜三维摄影，尤其是涉及一种无人机实时视频与三维场景融合的方法。

背景技术：

1、随着无人机技术的成熟和应用难度的降低，越来越多的领域开始应用无人机代替人类完成一些高难度的工作，如摄影测量数据采集、自然资源调查监管、交通救援搜索和巡查等。无人机具备通信、远程控制、高分辨率视觉图像信息和数据传输等能力，可以实现快速分析大量的影音与图片信息。由于传统固定位置的摄像头存在监控死角，且无法拍摄正射的视频，在三维地理场景中投影时变形较大，而无人机可以实现任意位置和任意角度的视频信息获取，将视频与三维地理场景相融合，赋予其空间信息，可实现与周围场景的地理要素关联分析，从而在诸如重大安全事故处理的应用中，可以快速进行资源配置和应急处置。

2、例如，一种在中国专利文献上公开的“一种无人机屋头自旋飞行倾斜摄影航拍方法”，其公开号为cn111891356a，包括无法通过实时的倾斜摄影与三维地理场景进行空间信息赋予，无法实时进行周围场景的地理要素关联分析，对重大事故处理的应用中对补给资源配置和应急处理无法做到快速响应。

技术实现思路

1、本发明是为了克服现有技术中，固定位置的摄像头存在监控或拍摄死角，而无人机倾斜摄影无法与三维地理场景进行空间信息赋予，无法实时进行周围场景的地理要素关联分析，对重大事故处理的应用中对补给资源配置和应急处理无法做到快速响应，提出一种无人机实时视频与三维场景融合的方法，通过倾斜视角的拍摄和三维地理场景的布景结合，实现拍摄视频图像与周围地理元素融合，使得空间信息获取更方便、精确。

2、为了实现上述技术目的，本发明采用以下技术方案：

3、一种无人机实时视频与三维场景融合的方法，包括以下步骤：

4、步骤s1：实时视频数据的采集和处理；

5、步骤s2：三维地理场景和实际场景的构建；

6、步骤s3：通过无人机将采集到的实时视频数据和三维地理场景进行数据融合。

7、通过无人机定点巡查进行倾斜摄影对指定区域进行实景融合，无人机和三维地图融合的方法对指定区域具有更好的覆盖，使得实景视频数据更清晰，实时进行周围场景的地理要素关联分析，对重大事故处理的应用中对补给资源配置和应急处理做到快速响应。

8、作为优选，步骤s1包括以下步骤：

9、步骤s1-1：无人机对周围地理环境进行实时数据采集和数据传输；

10、步骤s1-2：无人机客户端将无人机采集到的视频图像通过编码压缩后传输到无人机遥控接收器；

11、步骤s1-3：在无人机巡查过程中进行实时视频流数据解析，并将视频流数据投影到三维地理场景中；

12、步骤s1-4：判断无人机进入站点和离开站点时的状态。

13、作为优选，所述步骤s1-2中，无人机视频的采集和传输通过客户端和服务端进行，在网络条件下，无人机遥控接收器通过对数据流进行封装后将数据流发送到服务器端，并通过指定服务实时接收客户端发送的数据包，并对数据包进行数据解析获取视频数据流。

14、作为优选，所述步骤s1-4包括以下步骤：

15、步骤s1-4-1：对无人机飞行速度进行监控，当无人机实时速度为0且保持不变时，则判断无人机为悬停状态，即将无人机接入站点，记录当前时间并获取视频流；

16、步骤s1-4-2：当无人机实时速度不为0时，则判断无人机为飞行状态，即无人机离开站点，记录当前时间并停止获取视频流。

17、作为优选，步骤s2包括以下步骤：

18、步骤s2-1：对倾斜模式下无人机采集到的视频数据进行轻量化处理，处理目标数据的方法包括：合并根节点、地理纹理压缩、和模型大文件生成；

19、步骤s2-2：完成倾斜数据优化，完成倾斜摄影数据的打包。

20、三维桌面软件进行倾斜数据的优化，首先从倾斜数据的数据结构着手，通过合并根节点的方式提升读取数据的速度；然后从三维切片渲染的角度入手，通过压缩纹理提升倾斜三维切片的渲染速度；最后为了减少切片文件请求总量，直接将多个文件夹下的诸多碎瓦片文件生产一个倾斜摄影模型大文件。对轻量化后的倾斜摄影数据进行打包发布，可以在浏览器中实现三维地理场景较为流畅的加载。

21、作为优选，所述步骤s2-2具体包括以下步骤：

22、步骤s2-2-1：通过合并根节点的方式提升数据读取速度；

23、步骤s2-2-2：通过压缩地理纹理提升倾斜三维切片的渲染速度；

24、步骤s2-2-3：将多个文件夹下的碎瓦片文件产生一个倾斜摄影模型大文件。

25、作为优选，所述步骤s3包括以下步骤：

26、步骤s3-1：通过解析无人机实景融合数据模型得到相关参数；

27、步骤s3-2：将无人机采集到的位置数据作为虚拟相机的视点数据，无人机相机的视角为固定参数；

28、步骤s3-3：通过设置准确的视点位置和视场角值，实现视频在三维地理场景中的某一个方向上的投影，利用图像匹配的方法进行方位角调参，实现真实无人机视频画面与三维地理场景画面的最佳匹配。

29、利用无人机进行站点巡查时，通过解析无人机实景融合数据模型获得相关参数；将位置数据作为虚拟相机的视点数据，无人机相机的视场角为固定属性参数；由于无人机视频拍摄时，其姿态保持将竖直向下，因此将倾斜角位置为-90度；而其方位角需要求解。

30、通过多方求解，通过无人机倾斜摄像和地理位置融合，快速确定所需补给资源配置和应急处理的当前区域，实现拍摄视频图像与周围地理元素融合，使得空间信息获取更方便、精确。

31、作为优选，通过无人机定点巡查影像对该区域进行实景融合，将无人机倾斜摄影的俯仰方向可控角度设置为-90°~0°，展示监控区域实景融合前后的对比，通过实景前后比对判断各式区域划分，同时基于gesium框架进行三维地理场景构建，完成无人机实时视频与三维场景的融合。

32、因此，本发明的有益效果如下所示：

33、通过无人机定点巡查进行倾斜摄影对指定区域进行实景融合，无人机和三维地图融合的方法对指定区域具有更好的覆盖，使得实景视频数据更清晰，实时进行周围场景的地理要素关联分析，对重大事故处理的应用中对补给资源配置和应急处理做到快速响应；

34、通过无人机倾斜摄像和地理位置融合，快速确定所需补给资源配置和应急处理的当前区域，实现拍摄视频图像与周围地理元素融合，使得空间信息获取更方便、精确。

技术特征：

1.一种无人机实时视频与三维场景融合的方法，其特征是，包括以下步骤：

2.根据权利要求1所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤s1包括以下步骤：

3.根据权利要求2所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤s1-2中，无人机视频的采集和传输通过客户端和服务端进行，在网络条件下，无人机遥控接收器通过对数据流进行封装后将数据流发送到服务器端，并通过指定服务实时接收客户端发送的数据包，并对数据包进行数据解析获取视频数据流。

4.根据权利要求2所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤s1-4包括以下步骤：

5.根据权利要求1所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤s2包括以下步骤：

6.根据权利要求5所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤s2-2具体包括以下步骤：

7.根据权利要求1所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤s3包括以下步骤：

8.根据权利要求1或7所述的一种无人机实时视频与三维场景融合的方法，其特征是，通过无人机定点巡查影像对该区域进行实景融合，将无人机倾斜摄影的俯仰方向可控角度设置为-90°~0°，展示监控区域实景融合前后的对比，通过实景前后比对判断各式区域划分，同时基于gesium框架进行三维地理场景构建，完成无人机实时视频与三维场景的融合。

技术总结
本发明公开了一种无人机实时视频与三维场景融合的方法，包括以下步骤：步骤S1：实时视频数据的采集和处理；步骤S2：三维地理场景和实际场景的构建；步骤S3：通过无人机将采集到的实时视频数据和三维地理场景进行数据融合；通过无人机定点巡查进行倾斜摄影对指定区域进行实景融合，无人机和三维地图融合的方法对指定区域具有更好的覆盖，使得实景视频数据更清晰，实时进行周围场景的地理要素关联分析，对重大事故处理的应用中对补给资源配置和应急处理做到快速响应，实现拍摄视频图像与周围地理元素融合，使得空间信息获取更方便、精确。

技术研发人员：严振涛,江一帆,周丹,毛铭祺,潜军伟,郑幸
受保护的技术使用者：浙江静远电力实业有限公司
技术研发日：
技术公布日：2024/1/13