基于实时SLAM技术的设计图纸和航拍视频叠加显示方法和系统与流程

本发明涉及叠加显示，具体涉及基于实时slam技术的设计图纸和航拍视频叠加显示方法和系统。

背景技术：

1、航片视频以高空视角观察地面，以大市场俯瞰全局，常用于环境侦察和作业监测，以无人机航片视频为代表。设计图纸是一种平面线画图，产自cad、bim等软件，常用于作业前期的设计规划，广泛应用于土木建筑、城市规划、园林设计等领域。目前，两者是独立隔开的，没有产生关联，设计院按照cad图纸给施工人员布置施工任务，在施工进程中，监理人员通过飞机视频巡航(如无人机巡航)来监控作业进度，已有的技术无法实现道路设计图纸与航拍视频的结合，方案图纸与航拍实景跟踪不稳定。

技术实现思路

1、为了克服上述技术问题，本发明的技术方案为一种设计图纸和航拍视频的实时叠加显示方法，包括如下步骤：

2、步骤1，实时获取飞机的视频图像和视频帧的位置信息，逐视频帧，进行后续步骤2-步骤4；

3、步骤2，基于飞机的视频图像和视频帧的位置信息，采用视觉slam算法实时定位视频帧相对于大地坐标系的绝对坐标和绝对姿态角；

4、步骤3，导入带有大地坐标系下绝对坐标和高程信息的数字设计图纸，并将数字设计图纸转换至视频帧坐标系下；

5、步骤4，基于透视反投影技术，将设计图纸反投影到视频帧内，完成叠加显示。

6、进一步，步骤1中通过飞机厂商提供的sdk开发包实时获取飞机的视频图像和视频帧的位置信息，若位置信息是独立且按照固定时间间隔采集的，则与视频帧的时间戳对齐后，内插计算出视频帧的位置信息。

7、进一步，步骤2的具体实现方式如下；

8、2.1，通过视频帧的时间，将时间相邻的视频帧构建匹配对；

9、2.2，利用orb方法逐视频帧提取特征点，并与前一帧视频帧进行特征点匹配；

10、2.3，利用连接点进行单应/本质矩阵估计，并对其进行奇异值分解，计算匹配对的相对位姿，并利用影像gps计算初始绝对位姿；

11、2.4，以所有连接点作为观测，利用视频帧位置作为约束，以奇异值分解得到的位姿作为初始值，进行非线性优化，计算精确位姿参数。

12、进一步，设计图纸为dxf格式或shp格式或kml格式文件。

13、进一步，步骤3中将作业区域的平均高程作为设计图纸的高程信息。

14、进一步，反投影计算公式如下：

15、

16、其中，λ表示比例尺，u，v为视频帧内的图像坐标，fx，fy表示x方向与y方向上的焦距，u0和v0表示像主点位置，等号右侧第一个矩阵为视频采集相机的内参矩阵，通过飞机出场时的标定参数获取，或通过步骤2中所述slam算法获取；r，t为视频帧外参矩阵，通过步骤2所述slam算法获取，xw，yw，zw为设计图纸的绝对坐标，通过读取图纸信息获取。

17、本发明还提供基于实时slam技术的设计图纸和航拍视频叠加显示系统，包括如下模块：

18、信息获取模块，用于实时获取飞机的视频图像和视频帧的位置信息；

19、slam算法模块，用于基于飞机的视频图像和视频帧的位置信息，采用视觉slam算法实时定位视频帧相对于大地坐标系的绝对坐标和绝对姿态角；

20、坐标转换模块，用于导入带有大地坐标系下绝对坐标和高程信息的数字设计图纸，并将数字设计图纸转换至视频帧坐标系下；

21、显示模块，用于基于透视反投影技术，将设计图纸反投影到视频帧内，完成叠加显示。

22、进一步的，slam算法模块的具体实现方式如下；

23、2.1，通过视频帧的时间，将时间相邻的视频帧构建匹配对；

24、2.2，利用orb方法逐视频帧提取特征点，并与前一帧视频帧进行特征点匹配；

25、2.3，利用连接点进行单应/本质矩阵估计，并对其进行奇异值分解，计算匹配对的相对位姿，并利用影像gps计算初始绝对位姿；

26、2.4，以所有连接点作为观测，利用视频帧位置作为约束，以奇异值分解得到的位姿作为初始值，进行非线性优化，计算精确位姿参数。

27、进一步的，反投影计算公式如下：

28、

29、其中，λ表示比例尺，u，v为视频帧内的图像坐标，fx，fy表示x方向与y方向上的焦距，u0和v0表示像主点位置，等号右侧第一个矩阵为视频采集相机的内参矩阵，通过飞机出场时的标定参数获取，或通过slam算法模块中所述slam算法获取；r，t为视频帧外参矩阵，通过所述slam算法获取，xw，yw，zw为设计图纸的绝对坐标，通过读取图纸信息获取。

30、本发明提出一种设计图纸和航拍视频的实时叠加显示技术，让监理人员通过操作航空飞机(如小型无人机)，实时观看地面视频和设计图纸叠加显示效果，直观的对比作业进度和设计图纸之间的差别，更清晰的管理作业进度和风险。

技术特征：

1.基于实时slam技术的设计图纸和航拍视频叠加显示方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于实时slam技术的设计图纸和航拍视频叠加显示方法，其特征在于：步骤1中通过飞机厂商提供的sdk开发包实时获取飞机的视频图像和视频帧的位置信息，若位置信息是独立且按照固定时间间隔采集的，则与视频帧的时间戳对齐后，内插计算出视频帧的位置信息。

3.如权利要求1所述的基于实时slam技术的设计图纸和航拍视频叠加显示方法，其特征在于：步骤2的具体实现方式如下；

4.如权利要求1所述的基于实时slam技术的设计图纸和航拍视频叠加显示方法，其特征在于：设计图纸为dxf格式或shp格式或kml格式文件。

5.如权利要求1所述的基于实时slam技术的设计图纸和航拍视频叠加显示方法，其特征在于：步骤3中将作业区域的平均高程作为设计图纸的高程信息。

6.如权利要求1所述的基于实时slam技术的设计图纸和航拍视频叠加显示方法，其特征在于：反投影计算公式如下：

7.基于实时slam技术的设计图纸和航拍视频叠加显示系统，其特征在于，包括如下模块：

8.如权利要求7所示的基于实时slam技术的设计图纸和航拍视频叠加显示系统，其特征在于：slam算法模块的具体实现方式如下；

9.如权利要求7所示的基于实时slam技术的设计图纸和航拍视频叠加显示系统，其特征在于：反投影计算公式如下：

技术总结
近年来，无人机被广泛用于工程施工的各个阶段。尤其在工程施工监测过程中，监理人员按照工程设计图纸，通过飞机视频巡航(如无人机巡航)来监控作业进度。但是由于工程设计图纸与无人机航拍视频相互独立，要求监理人员需要很强的专业素养与工程经验。为此，本发明提出一种基于实时SLAM技术的设计图纸和航拍视频叠加显示方法和系统，让监理人员通过操作航空飞机(如小型无人机)，实时观看地面视频和设计图纸叠加显示效果，直观的对比作业进度和设计图纸之间的差别，更清晰的管理作业进度和风险。

技术研发人员：李迎松,宋孟肖,刘昆波,万炎炎
受保护的技术使用者：北京图知科技有限公司武汉分公司
技术研发日：
技术公布日：2024/5/10