多波段多角度同步测量吊舱及其系统的制作方法

1.本发明涉及场景测量相关技术领域，具体涉及一种多波段多角度同步测量吊舱及其系统。


背景技术：

2.需要进行测量的场景包括空间特性、反射特性和辐射特性。反射特性、辐射特性与空间特性密切相关，也就是不同角度的目标光学特性是显著不同的。例如一个包括坦克车辆的场景，在正视、顶视和侧视角度的形状、光学反射等特征是明显不同的。在红外波段不仅形状不同，由于发动机等热源位置不同，在不同角度的红外辐射图像也是明显不同的。同时目标材质本身也存在角度特性，例如不同角度的反射率和发射率是不同的，这就造成了目标具有复杂的多角度特性，需要具备多角度、多波段特征测量的能力。
3.但是目前的测量设备仅仅只能进行可见光波段的多角度特征测量。


技术实现要素：

4.有鉴于此，提供一种多波段多角度同步测量吊舱及其系统，以解决相关技术中的问题。
5.本发明采用如下技术方案：
6.第一方面，本发明实施例提供了一种多波段多角度同步测量吊舱，该多波段多角度同步测量吊舱包括：
7.吊舱主体、
8.设置在所述吊舱主体上的多个可见光相机；各所述可见光相机的镜头倾斜角度不同；
9.设置在所述吊舱主体上的多个长波热像仪；各所述长波热像仪的镜头倾斜角度不同。
10.可选的，所述可见光相机与所述长波热像仪一一对应；
11.各所述可见光相机存与对应的长波热像仪镜头倾斜角度相同。
12.可选的，各所述可见光相机与对应的长波热像仪镜头同步拍摄和采集。
13.可选的，吊舱主体包括：用于确定所述多波段多角度同步测量吊舱位置信息的pos设备。
14.可选的，所述吊舱主体包括与所述pos设备连接的秒脉冲计数器；所述pos设备基于所述秒脉冲计数器和gps秒脉冲确定时间信息。
15.可选的，所述吊舱主体包括同步记录仪；
16.所述同步记录仪连接所述pos设备、所述可见光相机和所述长波热像仪，用于获取各所述可见光相机和各所述长波热像仪采集的图片，获取基于所述pos设备提供的位置信息和时间信息，并记录与各个图片对应位置信息和时间信息；
17.其中，所述同步记录仪获取的是未经加密处理的图片。
18.可选的，在获取采集的图片过程中，获取图片的起始标志时，获取的位置信息和时间信息为与该图片对应的位置信息和时间信息。
19.可选的，所述吊舱主体还包括：
20.连接所述同步记录仪第一级别fifo缓存模块，用于存储经过所述同步记录仪进行格式转换后的图片数据；
21.分别连接所述第一级别fifo缓存模块和所述同步记录仪的图像数据融合模块，用于将所述图片与对应的位置信息和时间信息融合在一起，以辅助数据在前，图像数据在后的方式形成原始图像数据；
22.连接所述图像数据融合模块的第二级别fifo缓存模块用于存储所述原始图像数据。
23.可选的，所述吊舱主体还包括：控制核心、板载大缓存模块和固态存储模块；
24.所述控制核心，用于在所述第二级别fifo缓存模块的数据量达到预置门槛时，从该第二级别fifo缓存模块读出指定量的图像数据，传输给板载大缓存模块；当所述第二级别fifo缓存模块的数据量达不到预置门槛，且板载大缓存中有数据时，将板载大缓存模块中的数据写入到固态存储器阵列中。
25.可选的，所述吊舱主体包括与控制核心连接的网络接口：
26.所述控制核心通过所述网络接口与外部智能设备连接，获取外部智能设备发送的回放指令，并基于所述回放指令向所述外部智能设备发送需要进行回放的数据。
27.可选的，所述控制核心，还用于在空余时间将所述第二级别fifo缓存模块中的数据保存在固态存储器阵列中。
28.第二方面，本发明实施例提供了一种多波段多角度同步测量吊舱系统，其特征在于，包括：三维重建装置、和如本申请第一方面所述的多波段多角度同步测量吊舱；
29.所述三维重建系统，用于基于所述原始图像数据和相关数据搭建三维模型，供用户进行三维场景浏览。
30.本发明采用以上技术方案，在使用多波段多角度同步测量吊舱进行采集空间图像时，由于各所述可见光相机的镜头倾斜角度不同，所以设置在所述吊舱主体上的多个可见光相机可以同时采集多个角度下的空间图像。由于各所述长波热像仪的镜头倾斜角度不同，所以设置在所述吊舱主体上的多个长波热像仪可以采集多个角度下的长波热像图样。综上所述，本申请提供的方案中，多波段多角度同步测量吊舱可以完成多角度多光波段特征测量。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1是本发明实施例提供的一种多波段多角度同步测量吊舱的结构示意图；
33.图2是本发明实施例提供的一种多波段多角度同步测量吊舱中同步记录仪的结构示意图；
34.图3是本发明实施例提供的一种多波段多角度同步测量吊舱的信息收发流程图；
35.图4是本发明实施例提供的一种多波段多角度同步测量吊舱系统的主要工作流程图；
36.图5是本发明实施例提供的一种多波段多角度同步测量吊舱系统的数据处理自动化流程图。
37.附图标记；
[0038]1‑
吊舱主体；2
‑
可见光相机；3
‑
长波热像仪。
具体实施方式
[0039]
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
[0040]
首先基于本发明实施例的应用场景对吊舱的需求进行分析说明：首先，对目标多角度、多波段特征测量的需要。目标特性包括空间特性、反射特性和辐射特性。反射特性、辐射特性与空间特性密切相关，也就是不同角度的目标光学特性是显著不同的。例如坦克车辆，在正视、顶视和侧视角度的形状、光学反射等特征是明显不同的。在红外波段不仅形状不同，由于发动机等热源位置不同，在不同角度的红外辐射图像也是明显不同的。同时目标材质本身也存在角度特性，例如不同角度的反射率和发射率是不同的，这就造成了目标具有复杂的多角度特性，需要具备多角度、多波段特征测量的能力。目前单纯采用地基测量系统获取的角度是有限的，尤其对于较大的装备目标也难以满足顶部的多角度测量，因此，需要从空中弥补地面测量的不足。之后，是目标多角度特征同步测量的需求。目标的光学特性是随时间变化而变化的，尤其是热红外波段，受到自身属性和外部环境的影响很大，而外部环境是动态变化的，类似于太阳辐射、大气条件等，当这些条件发射变化时，目标所呈现的光学影像也存在差异，致使不同时段所获取的特征数据缺少一定的可比性。因此，需要在同一个时刻内获取的多角度特性。还有，侦察监视条件下目标可探测性评估的需要目标所面临的侦察监视来自地面和空天的各种角度，在不同角度所呈现的图像特征和辐射特征量是明显不同的，因此目标被发现识别的概率是随侦察监视角度不同而不同的，进而对于目标的可探测性评估需要依赖目标与背景在通过时段内多个角度的实测数据。进一步的，对吊舱的需求还包括对目标与背景环境的多波段三维特性仿真的需要。目标与战场环境的多波段仿真是很多武器装备研制的重要数据来源，要获取目标在不同的战场环境背景下的特性，仅通过实测是难以满足需求的，同时也受经费、人力和环境条件等客观因素的限制。而采用仿真的方式，则需要有多种战场环境模型与特征数据的数据库做支撑，这些数据以往需要通过大量专业的三维建模工程师才能生成，不仅同样需要大量的人力和经费，在模型的逼真度和多波段特征的客观性上与实测数据偏差大。因此需要通过多角度多波段摄影测量技术获取真实环境场景与目标的三维多波段特征数据。
[0041]
实施例
[0042]
图1为本发明实施例提供的一种多功能吊舱的结构示意图，参考图1，该多功能吊舱具体可以包括：
[0043]
吊舱主体1；
[0044]
设置在所述吊舱主体1上的多个可见光相机2；各所述可见光相机2的镜头倾斜角度不同；
[0045]
设置在所述吊舱主体1上的多个长波热像仪3；各所述长波热像仪3的镜头倾斜角度不同。
[0046]
本发明采用以上技术方案，在使用多波段多角度同步测量吊舱进行采集空间图像时，由于各所述可见光相机的镜头倾斜角度不同，所以设置在所述吊舱主体上的多个可见光相机可以同时采集多个角度下的空间图像。由于各所述长波热像仪的镜头倾斜角度不同，所以设置在所述吊舱主体上的多个长波热像仪可以采集多个角度下的长波热像图样。综上所述，本申请提供的方案中，多波段多角度同步测量吊舱可以完成多角度多光波段特征测量。
[0047]
具体的，本申请提供的多波段多角度同步测量吊舱的使用场景具体包括：可见光/长波红外三维场景测量分系统；可见光/长波红外三维场景测量分系统主要由无人机平台、地面控制设备和可见光红外测量设备等组成，主要用于搭载可见光、红外测量设备，快速获取作业地域的目标和地物的三维结构信息和多角度光学红外特征。
[0048]
进一步的，本申请提供的多波段多角度同步测量吊舱中，所述可见光相机与所述长波热像仪一一对应；各所述可见光相机存与对应的长波热像仪镜头倾斜角度相同。各所述可见光相机与对应的长波热像仪镜头同步拍摄和采集。
[0049]
如此设置，在后期数据处理的过程中，可以直接将相互对应的可见光相机和长波热像仪采集到的图像进行对照，看错是同一角度，同一位置在不同光波段下的成像。
[0050]
进一步的，吊舱主体包括：用于确定所述多波段多角度同步测量吊舱位置信息的pos设备。定位定向系统(pos，position and orientation system)设备可以选择sc
‑
ahrs
‑
100s导航设备，sc
‑
ahrs
‑
100s是一款高性价比的组合导航产品。产品由惯性测量单元、磁传感器、gps接收模块等构成。产品内部嵌入扩展卡尔曼滤波算法，提供精确的航向(带gps)、姿态等角度信息。相对于传统的组合导航系统，通过产品内部各传感器相互作用，提高了产品的精度和可靠性。该产品具有如下特点：(1)提供动静态环境下实时的、高精度的横滚角、俯仰角和航向角；(2)磁航向角可用户根据需要设置开关；(3)具有抗振动、抗短时外部磁场干扰、高带宽等特性；(4)尺寸小、重量轻，功耗低。
[0051]
具体的，可见光相机可以采用德国basler工业相机basler beat系列的bea4000
‑
62kc相机。该类相机具备高分辨率、高动态范围、低延时、高帧频、环境适应性强等特点，适合外场光学测量。长波热像仪可以采用红外热像仪，进一步的，采用烟台艾睿光电科技有限公司xcore lt640测温型非制冷红外机芯组件。该探测器采用了氧化钒非制冷红外焦平面探测器，稳定性好、测温精度高、成像质量好等特点，适用于红外辐射特性测量。该热像仪在全帧及区域测温模式下，机芯组件支持显示最大温度值、最小温度值、中心点温度值和平均温度值等分析数据，可打开/关闭分析数据；在区域测温模式下，可通过上位机改变区域大小、区域位置，此操作最多支持12个矩形区域/线。同时，用户也可以通过串行通信接口配置温度修正参数来校正测温数据。
[0052]
进一步的，所述吊舱主体包括与所述pos设备连接的秒脉冲计数器；所述pos设备基于所述秒脉冲计数器和gps秒脉冲确定时间信息。所述吊舱主体包括同步记录仪；所述同
步记录仪连接所述pos设备、所述可见光相机和所述长波热像仪，用于获取各所述可见光相机和各所述长波热像仪采集的图片，获取基于所述pos设备提供的位置信息和时间信息，并记录与各个图片对应位置信息和时间信息；其中，所述同步记录仪获取的是未经加密处理的图片。
[0053]
具体的，参照图2，同步记录系统是整个测量吊舱的核心控制模块，用于控制和存储10个探测器的运行和数据。它由9个部分组成：传感器数据接口、pos接口、控制接口、电源部分、fpga、板载大缓存、固态存储器阵列、回放接口、传感器控制接口等。具体的，在获取采集的图片过程中，获取图片的起始标志时，获取的位置信息和时间信息为与该图片对应的位置信息和时间信息。所述吊同步记录仪还包括：连接所述同步记录仪第一级别fifo缓存模块，用于存储经过所述同步记录仪进行格式转换后的图片数据；分别连接所述第一级别fifo缓存模块和所述同步记录仪的图像数据融合模块，用于将所述图片与对应的位置信息和时间信息融合在一起，以辅助数据在前，图像数据在后的方式形成原始图像数据；连接所述图像数据融合模块的第二级别fifo缓存模块用于存储所述原始图像数据。进一步的，同步记录仪还包括：控制核心、板载大缓存模块和固态存储模块；所述控制核心，用于在所述第二级别fifo缓存模块的数据量达到预置门槛时，从该第二级别fifo缓存模块读出指定量的图像数据，传输给板载大缓存模块；当所述第二级别fifo缓存模块的数据量达不到预置门槛，且板载大缓存中有数据时，将板载大缓存模块中的数据写入到固态存储器阵列中。所述同步记录仪包括与控制核心连接的网络接口：所述控制核心通过所述网络接口与外部智能设备连接，获取外部智能设备发送的回放指令，并基于所述回放指令向所述外部智能设备发送需要进行回放的数据。
[0054]
本申请提供的方案中，为了实现多个探测器的快速保存，采用了fifo的缓存模块，将大量同步获取的图像数据先保存在该模块中，再在后面的空余时间里保存在固态硬盘里。
[0055]
具体的，同步记录仪系统主要实现如下功能：
[0056]
(1)记录
[0057]
使用125mhz的系统时钟(8ns一个周期)对gps秒脉冲信号进行计数，产生精度为8ns的计数值。此步骤是基于pos设备连接的秒脉冲计数器实现的，pos数据接口完成串行数据的接收和解析，得到完整的pos数据帧(经纬高、时分秒等)。将其与秒脉冲计数器值整合，得到精确到8ns刻度的绝对时间，该时间可以用于标记传感器的图像。
[0058]
各个传感器(即：可见光相机和长波热像仪)受控于同步记录仪，参数设定完成后，传感器按照指定帧率连续工作，输出没有压缩的图像数据，需要说明两点：首先采用没有压缩的原始图像数据目的是消除图像压缩带来的不确定的延时误差；其次各个传感器独立工作，按照自己的频率输出图像数据。
[0059]
10个传感器输出的数据都是cameralink接口，同步记录仪首先完成cameralink接口到并行接口的转换，然后用第一级别fifo缓存模块接收并行图像数据。
[0060]
与此同时，各个传感器探测模块实时探测图像数据流，一旦探测到一帧图像起始标志时，就将绝对时间标签及与之对应的惯导数据(即：各个图片对应位置信息和时间信息)记下。
[0061]
图像数据融合模块将时间标签等辅助信息与输入fifo输出的图像数据融合在一
起，以辅助数据在前，图像数据在后的方式形成最终原始图像数据，融合后的图像数据写入第二级缓存(fifo)中。需要说明的是，第一级别fifo缓存模块的使用，使得在对原始图片数据产生的时刻进行时间和位置的记录使得记录的时间和位置更加的精准。
[0062]
存储器控制器ip核负责对板载大缓存的控制，包括初始化，读写时序的产生，数据的写入和数据的输出等。
[0063]
控制核心：第二级fifo数据量达到预置门槛时，控制核心从该通道fifo读出指定量的图像数据，然后传输给存储控制器ip核，让其写入板载大缓存对应的存储区间中。当第二级fifo不满足条件，存储器阵列空闲，以及板载大缓存中有数据等三个条件同时满足时，控制核心通知存储器控制器ip核将数据从板载大缓存中读出，传输给存储器阵列控制器，写入到固态存储器阵列中。
[0064]
存储控制器ip核：完成存储器阵列的初始化，数据写入、读出擦除等工作。
[0065]
(2)回放
[0066]
上位机回放软件查询记录器中记录数据的段数，然后选择需要回放数据的段编号，开始回放数据，数据回放的时候，上位机软件通过网络发送回放参数，记录器收到回放指令后，按照要求，将记录器中的数据读出来，然后转换成为网络协议，传输给计算机。计算机收到数据后，计算机软件对数据进行分离，按照指定格式将各个传感器的原始图像以文件的形式存储在计算机磁盘中。回放时直接在原数据格式基础上增加头文件，根据gps保存的信息直接保存成geotiff等格式，便于后期采用通用软件查看和处理。
[0067]
具体的，其信息收发流程如图3所示，
[0068]
第二方面，本身请提供一种多波段多角度同步测量吊舱系统，包括：三维重建装置、和如本申请任一实施例多波段多角度同步测量吊舱；
[0069]
所述三维重建系统，用于基于所述原始图像数据和相关数据搭建三维模型，供用户进行三维场景浏览。
[0070]
具体的，通过在同一飞行平台上搭载多波段多角度同步测量吊舱，同时从垂直、倾斜等不同角度采集多波段影像，获取地面物体更为完整准确的信息。垂直地面角度拍摄获取的影像称为正片，镜头朝向与地面成一定夹角拍摄获取的影像称为斜片。该技术的主要目的是获取地物多个方位(尤其是侧面)的信息并可供用户多角度浏览、实时量测、三维浏览等获取多方面的信息。相对于正射影像，倾斜影像能让用户从多个角度观察地物，更加真实的反映地物的实际情况，极大的弥补了基于正射影像应用的不足。通过获得的图片信息可直接基于成果影像进行包括高度、长度、面积、角度、斑点尺寸等的量测。
[0071]
具体的，参照图4，其主要工作流程包括：1、设备调试；2、航线设计与参数设定；3、无人机挂飞；4、数据导出；5、数据预处理；6、多源图像配准；7、smart3d空三与建模；8、生成成果；其中，数据处理主要包括原片检查、pos数据整理、控制点数据整理等。预处理完成后利用smart3d软件进行空三加密处理。空三加密过程中，在立体像对的点位上选刺控制点，通过控制点点位调整及平差优化，最终从控制点总数中选取不少一半于作为控制点，其余点位作为检查点，同时为了增加模型连接的强度，避免由于某一个控制点的误差过大引发全局性的负面影像，在立体像片上增加一些模型连接点(tiepoint)参与空三平差。具体流程如图5所示。该软件基本上设定完参数后是全自动运行，支持生成所需成果。
[0072]
综上所述，本申请提供的方案具有如下优点，结构简单，紧凑，接插件少；功耗低，
整个控制部分和记录器部分的功耗小于30w；体积小，重量轻，整个控制部分和记录器部分的重量小于1.5kg；其中记录器1kg，控制部分(接口部分)0.5kg；操作简单，记录器可以很方便地与系统相连和拆除。任务结束后，只需要将记录器拆下来即可；数据导出简单，无需要回放设备，因为回放设备已经和记录器融合设计了，只需要一根网线就可以将数据回放到计算机中。可靠性高，因为接插件少，整个控制核心都用fpga实现；定时精度高。通过三个方面实现：首先，传感器的工作不受外界触发，按照其固有频率工作，本身不会存在变化的时间误差；其次，输出的图像没有经过压缩环节，减少了压缩带来的不可预测的时间误差；最后，使用一个非常高精度的绝对时间对图像打标签，打标签的误差在1个时钟周期，即8ns。所以，这些措施保证了定时的高精度。
[0073]
本申请提供的方案中具有如下优点，通过gps秒脉冲+本地高精度时钟计数+低延时的原始数据记录，达到多源探测器的精准时间记录；通过多源探测器同视场检校、标定和几何校正，辅助多波段图像，匹配，实现像元及的匹配达到多波段图像的高精度配准；通过并行存储+大容量高速缓存技术对大数据进行同步存储；通过可见光+热红外内外场的成像检校，获得相机的几何关系；通过可见光与热红外图像的高精度配准实现多波段纹理的互换。
[0074]
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
[0075]
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
[0076]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0077]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0078]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0079]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0080]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0081]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0082]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。