可配置多光谱遥感立体成像系统及设计方法

本发明涉及多光谱倾斜遥感成像，具体涉及一种可配置多光谱遥感立体成像系统及其设计方法。

背景技术：

1、随着传感器技术和相关算法的发展，多光谱成像技术可以同时获取应用场景多个波段的光谱和空间信息，被广泛应用于生态监测、地物识别等领域。在包含植被、建筑等地物的复杂场景中，地物遮挡现象严重、覆盖类型复杂，非常需要从不同视角采集完整的空间、光谱信息，从而提高三维重建模型的几何与纹理精度。倾斜摄影相机通常包含一个正射镜头和多个倾斜镜头，能够从不同视角对应用场景拍摄，有效提高地物侧视影像信息获取能力，减少重建模型扭曲变形现象，逐渐应用于无人机大场景三维重建任务中，在农林信息监测、古建筑保护以及实景三维城市建设中发挥着关键性的作用。

2、目前商用的多光谱遥感相机通常以固定的正射视角拍摄地面影像，倾斜影像信息采集能力受限，制约了多维度数据分析的应用。随着遥感技术与应用的发展进步，未来多光谱遥感成像技术将向着多角度、小型化、低成本、可定制方向发展。

技术实现思路

1、本发明为了解决现有的基于无人机的多光谱成像系统存在倾斜影像信息采集能力受限的问题，以及多相机之间缺乏采集同步性和累计误差的问题。

2、可配置多光谱遥感立体成像系统设计方法，包括对可配置多光谱遥感立体成像系统主体结构进行设计的过程，对同步触发控制模块进行设计的过程以及对多相机内外参数进行标定的设计过程；

3、对可配置多光谱遥感立体成像系统主体结构进行设计时，设计可配置多光谱遥感立体成像系统主体结构包括一块中央水平主板、2n块活动副板、无人机快拆器；中央水平主板用于挂载一台正射相机，2n块活动副板分别用于挂载多个倾斜视角的相机；无人机快拆器用于与无人机的连接；

4、对同步触发控制模块进行设计时，设计同步触发控制模块对多个相机同步触发进行控制，设计的同步触发控制模块对多个相机同步触发进行控制过程包括以下步骤：

5、上电后首先对时钟、定时器、输入输出端口等进行初始化，读取gpio电平以检测跳线器所连接的端子序号并设置触发周期t，等待t时间后逐个触发每台相机，直到触发所有相机后完成一个周期；微控制器输出的触发信号根据相机对信号的要求进行设计，相机在收到触发信号后会经过一定的延迟开始曝光，为使各相机的曝光时间一致，在触发第i台相机后应延迟di时间，调整di使各相机同步曝光；

6、对多相机内外参数进行标定的设计过程如下：

7、首先绘制双棋盘格相机标定板，用多光谱遥感成像系统对其拍照，通过调整视角、距离使得两相机同时分别拍摄到标定板上两个棋盘格；

8、然后拍摄多组相片并利用张正友标定法进行单相机标定，获得每个相机的内参数与每张相片的外参数，相机坐标系o-xyz中的一点到像素坐标系o-uv对应点的变换关系用内参数表示，即内参矩阵k，设有相机坐标系中一点pc，即其对应的像素坐标系中的点为p，即(pu,pv)，则二者变换关系如下式：

9、

10、上式中pu,pv分别表示该像素点的u和v方向的像素坐标(坐标原点定义在图像左上角，向右为u方向，向下为v方向)，λ是一个比例系数，其值等于fx,fy分别是相机传感器的x,y方向的等效焦距，其值为焦距除像素宽度，cx,cy是像主点坐标；

11、世界坐标系o-xyz中的一点到相机坐标系对应点的变换关系用外参数表示，包括旋转矩阵r和平移向量t，设有世界坐标系中一点pw，即其对应的相机坐标系中的点为pc，则二者变换关系如下式：

12、

13、上式中的rij是用三角函数表示的世界坐标系到相机坐标系的旋转关系，ti表示世界坐标系到相机坐标系的各方向的平移量；

14、最后推算出两相机的相对外参数：设c1、c2是两台相机，p1和p2是标定板中两棋盘格上一对对应点，两点平移向量t已知，则p1到c1相机坐标pc1的变换关系如下：

15、

16、式中r1表示p1所在棋盘格的世界坐标系到c1相机坐标系的旋转矩阵，t1表示p1所在棋盘格的世界坐标系原点到c1相机坐标系原点的平移向量；将p1棋盘格世界坐标系扩展为多光谱遥感成像系统的公共世界坐标系，将c1的相机坐标系经过旋转矩阵rc和平移向量tc变换到与c2重合，变换后的相机坐标为：

17、

18、假设c2视野无穷大，则p1点落在c2相机坐标系的坐标为：

19、

20、式中r2表示p2所在棋盘格的世界坐标系到c2相机坐标系的旋转矩阵，t1表示p2所在棋盘格的世界坐标系原点到c2相机坐标系原点的平移向量，t为p1到p2的平移向量；由于p1与p2是一对共轭点，即p1在c1上的投影点经rc,tc变换后的点p′c1与p2在c2上的投影点pc2重合，因此联立上述关系式可得：

21、

22、求解rc和tc，即获得一组c1、c2两相机的外参数标定结果，利用多对图像的结果进行优化，最小重投影误差对应的解即为最终标定结果，每两台相机进行一次上述标定过程并将结果变换到同一个相机坐标系下即完成多相机系统的外参数标定。

23、进一步地，设计的可配置多光谱遥感立体成像系统主体结构如下：

24、2n块活动副板通过转轴对称地连接在中央水平主板的四周，转轴为一种可手动拆卸和安装的长螺栓结构；中央水平主板上设置有多个通过口；每块活动副板上均设置有角度调节器，角度调节器为半圆环形，角度调节器的一端固接在活动副板上，角度调节器的另一端能够穿过通过口并利用螺栓固定于中央水平主板，角度调节器具有多个预留孔用于调节并固定活动副板的倾斜角度；

25、中央水平主板与活动副板上开有与相机螺丝孔对应的通孔，中央水平主板用于挂载一台正射相机，2n块活动副板分别用于挂载多个倾斜视角的相机；

26、中央水平主板的一侧设置有与无人机匹配的无人机快拆器，用于与无人机的连接。

27、进一步地，设计的可配置多光谱遥感立体成像系统主体结构还包括u形挂载结构，u形挂载结构设计在中央水平主板上与设置无人机匹配的无人机快拆器相背的一侧，即中央水平主板的另一侧，u形挂载结构用于固定同步触发控制模块。

28、进一步地，将连接中央水平主板和活动副板的转轴设计为可拆卸安装的长螺栓结构。

29、进一步地，活动副板具体设计为4块。

30、可配置多光谱遥感立体成像系统，包括一块中央水平主板、2n块活动副板和无人机快拆器；

31、2n块活动副板通过转轴对称地连接在中央水平主板的四周，转轴为一种可手动拆卸和安装的长螺栓结构；中央水平主板上设置有多个通过口；每块活动副板上均设置有角度调节器，角度调节器为半圆环形，角度调节器的一端固接在活动副板上，角度调节器的另一端能够穿过通过口并利用螺栓固定于中央水平主板，角度调节器具有多个预留孔用于调节并固定活动副板的倾斜角度；

32、中央水平主板与活动副板上开有与相机螺丝孔对应的通孔，中央水平主板用于挂载一台正射相机，2n块活动副板分别用于挂载多个倾斜视角的相机；

33、中央水平主板的一侧设置有与无人机匹配的无人机快拆器，用于与无人机的连接；

34、同步触发控制模块用于控制多个相机同步触发，同步触发控制模块向各相机发出对应触发信号，相机收到信号后采集光谱数据，具体过程包括以下步骤：

35、上电后首先对时钟、定时器、输入输出端口等进行初始化，读取gpio电平以检测跳线器所连接的端子序号并设置触发周期t，等待t时间后逐个触发每台相机，直到触发所有相机后完成一个周期；微控制器输出的触发信号根据相机对信号的要求进行设计，相机在收到触发信号后会经过一定的延迟开始曝光，为使各相机的曝光时间一致，在触发第i台相机后应延迟di时间，基于调整好的di实现各相机同步曝光。

36、进一步地，所述的可配置多光谱遥感立体成像系统主体结构还包括u形挂载结构，u形挂载结构设置在中央水平主板上与设置无人机匹配的无人机快拆器相背的一侧，即中央水平主板的另一侧，u形挂载结构用于固定同步触发控制模块。

37、进一步地，连接中央水平主板和活动副板的转轴为可拆卸安装的长螺栓结构。

38、进一步地，活动副板设置为4块。

39、进一步地，相机的延迟时间通过相机技术手册或实验测量获得。

40、通过本发明提出的可配置多光谱遥感立体成像系统设计方法，能够制造出可配置的多视角多光谱遥感成像系统，提高多维度遥感数据采集能力，可同步获取高分辨率可见光、多光谱影像，借助可配置相机挂载结构能够根据具体任务需求灵活调整相机数量与倾斜角度，为应用场景三维重建提供精细的倾斜摄影数据，实现多光谱立体遥感探测与分析。本发明的优势可体现在如下方面：

41、(a)相机数量可配置：本发明的可配置相机挂载结构设计方法能够根据具体相机的挂载方式调整相机固定孔的位置，实现对多种型号遥感相机的适配，同时利用可拆卸的活动副板实现相机数量与视角组合的自主配置，可满足多种科学研究、行业应用任务需求。

42、(b)相机倾斜角度可调节：本发明设计的可配置相机挂载结构利用角度调节器实现倾斜相机倾角快速调节功能，能够根据地面场景特点合理设定相机倾斜角度，保障三维重建算法的顺利实施，相对于传统倾斜摄影测量相机系统具有更高的灵活性，相对于利用云台调节角度的方式具有更高的集成度和稳定性；同时本发明还设计了多相机内外参数标定方法用于精确标定各相机的倾斜角度和相对位置。

43、(c)多相机时间同步性好：由于相机型号和数量可定制，需要控制各相机保持同步触发，采用定时或重叠率触发模式会导致曝光时刻偏差较大并不断积累，本发明设计的同步触发控制模块利用相机的外部触发模式控制相机拍照，通过时间偏移确保各相机同步曝光，能够实现较高的时间同步性且不会积累误差，具有良好的稳定性。