用于无人机多姿态拍摄的图像畸变校正方法与流程

本发明属于图像畸变校正，特别是一种用于无人机多姿态拍摄的图像畸变校正方法。

背景技术：

1、高精度导航与定位是无人机自主控制的基础，在全球卫星导航系统gnss拒止环境中，惯性导航系统的定位误差随时间积累。为克服这一问题，景象匹配导航采用图像传感器获取飞行或目标区域附近的图像，并与存贮的基准图像进行匹配，从而获取飞行器位置数据。与传统导航系统不同，景象匹配导航不依赖外部信息、设备结构简单、定位精度高，这使得在复杂或gnss受限的环境中，无人机能够更可靠地实现自主控制和导航。

2、景象匹配导航的核心在于航拍图与基准图的匹配，然而，在无人机飞行过程中，由于飞行高度、姿态角等因素导致相机与地面的成像视角不断变化，进而引起像图中像点空间分辨率的差异，这造成了目标图像出现严重的梯形失真，降低了图像匹配的成功率，导致景象匹配的精度不高。因此，为提高景象匹配导航系统在实际应用中的准确性和可靠性，寻求一种用于无人机多姿态拍摄的图像畸变校正方法，对实时航拍图进行全方位几何校正，并对匹配算法进行优化和改进是十分迫切且必要的。

技术实现思路

1、本发明针对上述现有技术中的缺陷，提出一种用于无人机多姿态拍摄的图像畸变校正方法。该方法包括对相机内参系数进行标定，获得相机坐标系下的相机内参矩阵；借助惯性传感器imu，计算相机坐标系到载体坐标系的旋转矩阵；构建针孔相机成像模型，将相机坐标系中的点投影至图像坐标系；借助惯性传感器imu，计算载体坐标系到地理坐标系的旋转矩阵；基于透视投影和弱透视投影的关系，获取变换公式和比例缩放系数，进行图像畸变校正。本发明基于坐标转换关系和弱透视变换关系，实现航拍图与参考图的尺度、旋转一致性，提高了图像几何畸变校正的准确率，有效提高景象匹配导航系统在实际应用中的准确性和可靠性。

2、本发明提供一种用于无人机多姿态拍摄的图像畸变校正方法，其包括以下步骤：

3、s1、获取相机内参矩阵：基于张正友法对相机内参系数进行标定，获得相机坐标系下的相机内参矩阵；所述相机坐标系为以相机光心oc为原点，ocxc轴、ocyc轴和oczc轴分别为相互垂直且符合右手定则的第一轴、第二轴和第三轴的坐标系；

4、s2、借助惯性传感器imu，计算相机坐标系到载体坐标系的旋转矩阵所述载体坐标系为以相机支架中心ob为原点、obxb轴、obyb轴和obzb轴分别为相互垂直且符合右手定则的第一轴、第二轴和第三轴的坐标系；

5、s3、构建针孔相机成像模型，将相机坐标系中的点投影至图像坐标系；

6、s4、借助惯性传感器imu，计算载体坐标系到地理坐标系的旋转矩阵所述地理坐标系为以og为原点、ogxg轴、ogyg轴和ogzg轴分别为相互垂直且符合右手定则的第一轴、第二轴和第三轴的坐标系；

7、s5、基于透视投影和弱透视投影的关系，进行图像畸变校正；

8、s51、借助透视投影，获得地面i0上的目标点p在成像平面i上的透视投影点pi'和在目标近似平面i′上的近似透视投影点p'；所述透视投影点pi'在图像坐标系上的像素坐标为(u'i,v'i)；

9、s52、借助弱透视投影，获得地面i0上的目标点p在成像平面i上的弱透视投影点pi”和在目标近似平面i′上的近似弱透视投影点p”；所述弱透视投影点pi”在图像坐标系上的像素坐标为(u”i,v”i)；

10、s53、根据透视投影点pi'和弱透视投影点pi”的关系，将透视投影点pi'的像素坐标借助变换公式变换为弱透视投影点pi”的像素坐标，完成图像畸变校正，所述变换公式为：

11、

12、其中，u0和v0分别表示像素中心的第一轴偏移值和第二轴偏移值；k表示透视投影点pi'变换为弱透视投影点pi”的比例缩放系数，即满足：

13、

14、其中，表示成像平面i的原点f到透视投影点pi'的方向向量；表示成像平面i的原点f到弱透视投影点pi”的方向向量。

15、进一步，步骤s53中所述转换公式和比例缩放系数k的计算具体包括以下步骤：

16、s531、计算目标近似平面i′的原点t在相机坐标系中的方向向量

17、s532、计算目标近似平面i′的原点t到近似透视投影点p'的方向向量

18、s533、计算相机光心oc到目标近似平面i′的近似透视投影点p'的方向向量为：

19、

20、其中，ec表示沿相机坐标系oczc轴方向的单位向量且ec＝[0 0 1]t；h表示相机光心到地面i0的高度；f表示相机的焦距；下标3表示第3个元素；

21、s534、根据比例缩放系数表达式(6)，k满足：

22、

23、其中，表示相机光心oc到目标点p的方向向量；表示目标近似平面i′的原点t到近似弱透视投影点p”的方向向量；||||表示获取向量长度；

24、则满足：

25、

26、s535、基于载体坐标系、地理坐标系和相机坐标系的转换关系，获得比例缩放系数k的表示：

27、

28、s536、计算所述变换公式和所述比例缩放系数k；

29、s5361、根据成像平面坐标系与图像坐标系的转换关系，透视投影点pi'和弱透视投影点pi”满足：

30、

31、其中，dx表示图像坐标系的第一轴上单个像素对应成像平面坐标系的第一轴上的长度；dy表示图像坐标系的第二轴上单个像素对应成像平面坐标系的第二轴上的长度；和分别表示透视投影点pi'在成像平面坐标系的第一轴和第二轴上的坐标值；和表示弱透视投影点pi”在成像平面坐标系的第一轴和第二轴上的坐标值；

32、s5362、在成像平面坐标系下，表示为透视投影点pi'的坐标，即表示为弱透视投影点pi”的坐标，即基于公式(6)，获得比例缩放系数k的表示为：

33、

34、s5363、基于公式(22)和公式(23)，获得所述变换公式：

35、

36、s5364、基于公式(21)和公式(22)，获得所述比例缩放系数k：

37、

38、可优选的，步骤s531具体包括以下步骤：

39、s5311、在相机坐标系中，表示为：

40、

41、其中，λ为常数；

42、s5312、基于载体坐标系到地理坐标系的旋转矩阵和相机坐标系到载体坐标系的旋转矩阵在地理坐标系下的表示为：

43、

44、其中，表示相机坐标系到地理坐标系的旋转矩阵；

45、s5313、结合公式(7)和公式(8)，得到：

46、

47、s5314、基于在地理坐标系下投影到ogzg轴的坐标值，即相机光心到地面i0的高度h，得到：

48、

49、求得常数λ为：

50、

51、s5315、结合公式(7)和公式(11)，得到为：

52、

53、步骤s532具体包括以下步骤：

54、s5321、根据透视投影关系，表示为：

55、

56、其中，d表示相机光心oc到目标近似平面i′的原点t的距离；

57、s5322、结合公式(12)和公式(13)，得到为：

58、

59、步骤s535具体包括以下步骤：

60、s5351、基于载体坐标系到地理坐标系的旋转矩阵和相机坐标系到载体坐标系的旋转矩阵在地理坐标系下的表示为：

61、

62、s5352、基于在地理坐标系下投影到ogzg轴的坐标值，即相机光心到地面i0的高度h，得到：

63、

64、则k满足：

65、

66、s5353、联立式(15)和式(20)，获得比例缩放系数k的表示。

67、可优选的，步骤s21具体包括以下步骤：

68、s21、在相机支架和相机上分别安装惯性传感器imu，测得相机安装误差角；所述相机安装误差角包括相机安装误差偏航角γ'、相机安装误差俯仰角α'和相机安装误差横滚角β'；

69、s22、基于相机安装误差角，计算相机坐标系到载体坐标系的旋转矩阵

70、

71、其中，cos和sin分别表示余弦和正弦函数。

72、步骤s41具体包括以下步骤：

73、s41、借助相机支架上的惯性传感器imu，输出载体姿态角；所述载体姿态角包括载体姿态偏航角γ、载体姿态俯仰角α和载体姿态横滚角β；

74、s42、基于载体姿态角，计算载体坐标系到地理坐标系的旋转矩阵

75、

76、可优选的，所述步骤s1中所述相机内参矩阵k为：

77、

78、其中，fx表示相机的焦距f在ocxc轴的投影；fy表示相机的焦距f在ocyc轴的投影；cx表示ocxc轴对应的像素偏移量；cy表示ocyc轴对应的像素偏移量。

79、可优选的，所述步骤s3中所述针孔相机成像模型为：

80、

81、其中，x、y和z分别表示相机坐标系中的点在ocxc轴、ocyc轴和oczc轴上的坐标值；u和v分别表示相机坐标系中的点在图像坐标系的第一轴和第二轴上的像素坐标。

82、可优选的，所述步骤s51中所述地面i0为地理坐标系中xgogyg平面；所述目标近似平面i′为以相机坐标系的原点oc和成像平面i的原点f的连线的延长线与地面i0相交的点t为原点，且与成像平面i平行的平面。

83、与现有技术相比，本发明的技术效果为：

84、1、本发明设计的一种用于无人机多姿态拍摄的图像畸变校正方法，基于构建地理坐标系、载体坐标系、相机坐标系和图像坐标系的转换关系和弱透视变换的变换关系，实时修正空间分辨率，解决无人机倾斜拍摄地面时，各点深度信息不同导致的图像几何变形严重问题，实现航拍图与参考图的尺度、旋转一致性。

85、2、本发明设计的一种用于无人机多姿态拍摄的图像畸变校正方法，采用惯性传感器imu对相机安装误差和载体姿态进行三维标定，获取相机安装误差角和载体姿态角，减小相机初始安装误差和载体初始姿态对图像畸变的影响，提高图像几何畸变校正的准确率。