基于无人机系统的热成像和聚合系统和方法与流程

文档序号:15737670发布日期:2018-10-23 21:45阅读:226来源:国知局
基于无人机系统的热成像和聚合系统和方法与流程

相关申请的交叉引用

本申请要求于2015年12月9日提交的题为“AIRBORNE INSPECTION SYSTEMS AND METHODS”的美国临时专利申请第62/265,413号的优先权和权益,其全部内容通过引用方式结合于此。

本申请要求于2015年12月9日提交的题为“AIRBORNE RADIOMETRIC CAMERA SYSTEMS AND METHODS”的美国临时专利申请第62/265,415号的优先权和权益,其全部内容通过引用方式结合于此。

本申请要求于2015年12月9日提交的题为“POSITION ENABLED INFRARED CAMERA CONTROL SYSTEMS AND METHODS”的美国临时专利申请第62/265,416号的优先权和权益,其全部内容通过引用方式结合于此。

本申请要求于2016年8月12日提交的题为“UNMANNED AERIAL SYSTEM BASED THERMAL IMAGING SYSTEMS AND METHODS”的美国临时专利申请第62/374,709号的优先权和权益,其全部内容通过引用方式结合于此。

本申请要求于2016年8月12日提交的题为“UNMANNED AERIAL SYSTEM BASED THERMAL IMAGING AND AGGREGATION SYSTEMS AND METHODS”的美国临时专利申请第62/374,716号的优先权和权益,其全部内容通过引用方式结合于此。

本申请要求于2016年9月30日提交的题为“UNMANNED AERIAL SYSTEM BASED THERMAL IMAGING SYSTEMS AND METHODS”的美国临时专利申请第62/402,992号的优先权和权益,其全部内容通过引用方式结合于此。

技术领域

本发明总体上涉及红外成像,并且更具体地涉及来自无人机系统的热成像。



背景技术:

随着红外相机的尺寸和重量随着时间的推移而减小,它们的使用已经从主要基于地面的监测扩展到手持监测,并且在最近的系统中,通过使用无人机系统(UAS)从空中进行监测。随着基于飞行的红外监控系统的使用量增加,伴随而来的是需要提高这种系统的可靠性和准确性,同时遵守对其使用的监管限制。



技术实现要素:

提供基于飞行的红外成像系统和相关技术,特别是基于UAS的热成像系统,以相对于传统红外监测系统改善这种系统的监测能力。所描述的红外成像系统的一个或多个实施例可以有利地包括:飞行平台,红外成像器,其耦合到飞行平台并且被配置为在飞行平台的视野中捕获场景的红外图像并输出与红外图像和/或场景相关联的红外数据,飞行状态传感器,其耦合到飞行平台并且被配置为测量对应于飞行平台和/或红外成像器的物理状态的状态数据,通信模块,以及控制器,其被配置为从红外成像器接收红外数据并且从飞行状态传感器接收状态数据,其中红外数据被配置为测量场景的至少一部分的方面,并且其中状态数据对应于场景的方面的红外数据,并且通过通信模块将红外数据和状态数据传送到聚合服务器。

在某些其他实施例中,可以公开一种系统。该系统可以包括聚合服务器,该聚合服务器包括:通信模块,其被配置为从耦合到一个或多个飞行平台的一个或多个红外成像器接收红外数据;存储器,其被配置为存储接收的红外数据;以及处理器,其被配置为从耦合到一个或多个飞行平台的一个或多个红外成像器接收红外数据,从耦合到一个或多个飞行平台的飞行状态传感器接收状态数据,至少部分地基于红外数据构建点模型,并且渲染点模型以显示给用户。

在某些另外的实施方案中,可以公开一种方法。该方法可包括:从耦合到一个或多个飞行平台的一个或多个红外成像器接收红外数据,从耦合到一个或多个飞行平台的一个或多个状态传感器接收状态数据,确定从一个或多个红外成像器接收的至少部分红外数据的一个或多个权重,至少部分地基于红外数据和一个或多个权重构建点模型,并渲染点模型以显示给用户。

本发明的范围由权利要求限定,所述权利要求通过引用并入本部分。通过考虑以下对一个或多个实施例的详细描述,本领域技术人员将更加完整地理解本发明的实施例以及其附加优点的实现。将参考将首先简要描述的附图。

附图说明

图1A示出了根据本公开实施例的红外成像系统的框图。

图1B示出了根据本公开实施例的点模型系统的框图。

图2示出了根据本公开的实施例的各种无人机系统的图。

图3示出了根据本公开实施例的用于处理由无人机系统捕获的热图像的技术的流程图。

图4示出了根据本公开的实施例的大气干扰及其对红外成像系统的操作的影响的图。

图5示出了根据本公开的实施例的补偿参照图4描述的大气干扰的红外成像系统的图。

图6A-6B示出了根据本公开的实施例的补偿参照图4描述的大气干扰和/或其他干扰的红外成像系统的图。

图7示出了根据本公开的实施例的对于各种温度在设定的相对湿度下的大气干扰随高度变化的曲线图。

图8示出了根据本公开实施例的操作红外成像系统的各种操作的流程图。

图9示出了根据本公开的实施例的监视结构的红外成像系统的图。

图10示出了根据本公开的实施例的操作红外成像系统的各种操作的流程图。

图11示出了根据本公开的实施例的监视结构的多个无人机系统的图。

图12示出了根据本公开实施例的操作红外成像系统以生成点模型的各种操作的流程图。

图13示出了根据本公开实施例的用于生成热正交马赛克图像的系统的框图。

图14示出了根据本公开实施例的用于禁用热成像系统的热相机的过程的流程图。

图15示出了根据本公开的实施例的根据图14的过程禁用热成像系统的热相机的示例。

通过参考下面的详细描述可以最好地理解本发明的实施例及其优点。应该理解的是,相似的附图标记用于标识在一个或多个附图中示出的相似元件。

具体实施方式

提供基于飞行的红外成像系统和相关技术,特别是基于UAS的热成像系统,以相对于传统红外监测系统改善这种系统的监测能力。在一些实施例中,红外成像系统可以被配置为补偿各种环境影响(例如,太阳的位置和/或强度,大气效应)以提供由红外成像系统成像的目标的高分辨率和准确度的辐射测量结果,如本文所述。在其他实施例中,红外成像系统可以被配置成计算和报告热图像的每个像素的辐射测量,如本文所述。另外,如本文所述,来自红外成像系统的数据可以用于创建全景或三维(3D)热表示。在其他实施例中,红外成像系统可以被配置为监视对红外成像系统的操作的监管限制并相应地调整和/或禁用红外成像系统的操作,如本文所述。

可以参考热、红外、辐射、辐射率、辐照度和/或其他图像和带。为了本公开的目的,通常可以使用这种参考来指代基于温度(例如,红外波长)的成像。

图1A示出了根据本公开实施例的红外成像系统的框图。在一些实施例中,系统100或其一部分可被配置为在目标上方飞行并使用红外相机140对目标进行成像。所得的影像可被处理(例如,通过红外相机140、飞行平台110和/或基站130)并且通过使用用户接口132(例如,诸如多功能显示器(MFD)之类的一个或多个显示器,诸如平板电脑、膝上型电脑或智能电话之类的便携式电子设备或其他适当的接口)向用户显示和/或存储在存储器中以供稍后查看和/或分析。在一些实施例中,系统100可以被配置成使用这种影像来控制飞行平台110和/或红外相机140的操作,如本文所述,诸如控制相机安装座122以将红外相机122瞄准特定方向或控制推进系统124以将飞行平台移动到相对于目标的期望位置。

在图1A所示的实施例中,红外成像系统100包括飞行平台110、基站130和至少一个红外相机140。飞行平台110可以被配置为飞行和定位和/或瞄准红外相机140(例如,相对于指定或检测到的目标),并且可以包括控制器112、取向传感器114、陀螺仪/加速度计116、全球导航卫星系统(GNSS)118、通信模块120、相机安装座122、推进系统124和其他模块126中的一个或多个。飞行平台110的操作可以基本上是自主的和/或部分地或完全地由基站130控制,基站130可以包括用户接口132、通信模块134和其他模块136中的一个或多个。红外相机140可以物理地耦合到飞行平台110并且被配置为来捕获如通过飞行平台110和/或基站130的操作被选择和/或被框住的目标位置、区域和/或(一个或多个)对象的红外图像。在一些实施例中,系统100的一个或多个元件可以实现在组合的外壳或结构中,该组合的外壳或结构可以耦接到飞行平台110上或在飞行平台110内和/或由系统100的用户持有或携带。来自控制器112、取向传感器114和/或148、GNSS 118和/或150、通信模块120、134和/或144、其他模块126、136和/或152、成像模块142和/或其他组件的数据可以被传送到聚合服务器160。另外,聚合服务器160还可以将数据传送到飞行平台110、基站130和/或红外相机140。聚合服务器160可以是例如连接到基站130、红外相机140和/或飞行平台110中的一个或多个的一个或多个处理器、存储器和/或通信设备/模块。在一些实施例中,聚合服务器160可以确定为存在于基站130、红外相机140和/或飞行平台110的附近的聚合服务器160、和/或可以是远离基站130、红外相机140和/或飞行平台110的聚合服务器160。

控制器112可以被实现为任何适当的逻辑设备(例如,处理设备、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储器存储设备、存储器读取器或其他设备或设备的组合),例如,其可适用于执行、存储和/或接收适当的指令,例如实现用于控制飞行平台110和/或系统100的其他元件的各种操作的控制回路的软件指令。这样的软件指令还可以实现用于处理红外图像和/或其他传感器信号、确定传感器信息、提供用户反馈(例如,通过用户接口132)、查询设备以获得操作参数、选择设备的操作参数或者执行在此描述的各种操作(例如,由系统100的各种设备的逻辑设备执行的操作)的方法。

另外,可以提供机器可读介质用于存储用于加载到控制器112并由控制器112执行的非暂时性指令。在这些和其他实施例中,控制器112可以在适当的情况下用其他组件来实现,诸如易失性存储器、非易失性存储器、一个或多个接口和/或用于与系统100的设备接口连接的各种模拟和/或数字组件。例如,控制器112可以适用于随时间推移而存储例如传感器信号、传感器信息、用于坐标系变换的参数、校准参数、校准点集合和/或其他操作参数,并且使用用户接口132将这些存储的数据提供给用户。在一些实施例中,控制器112可以与例如飞行平台110的一个或多个其他元件集成,或者作为多个逻辑设备分布在飞行平台110、基站130、红外相机140和/或聚合服务器160内。

取向传感器114可以被实现为能够测量飞行平台110的取向(例如,相对于诸如重力和/或磁北的一个或多个参考取向的横滚、俯仰和/或偏航的大小和方向)并且可以提供这种测量结果作为可以传送到系统100的各种设备的传感器信号的罗盘、浮标、加速计和/或其他设备中的一个或多个。陀螺仪/加速度计116可以实现为一个或多个电子六分仪、半导体设备、集成芯片、加速计传感器、加速计传感器系统或能够测量飞行平台110的角速度/加速度和/或线性加速度(例如,方向和大小)并且能够提供这种测量结果作为可以传送到系统100的其他设备(例如,用户接口132、控制器112)的传感器信号的其它设备。

GNSS 118可以根据任何全球导航卫星系统来实现,包括基于GPS、基于GLONASS和/或基于伽利略的接收器和/或能够基于例如从太空产生和/或陆地来源(例如,eLoran和/或其他至少部分地面系统)接收的无线信号来确定飞行平台110(例如,或者飞行平台110的元件)的绝对和/或相对位置并且能够提供这些测量结果作为可以传送到系统100的各种设备的传感器信号的其他设备。在一些实施例中,GNSS 118可以例如包括高度计,或者可以用于提供绝对高度。在某些实施例中,GNSS 118和/或可以确定系统100的一个或多个组件的位置和/或全局位置的其他设备,例如红外相机140、飞行平台110和/或其他组件,可以被称为“位置感测设备”。

通信模块120可以被实现为被配置为在系统100的元件之间发送和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如,通信模块120可以被配置为从基站130接收飞行控制信号并且将它们提供给控制器112和/或推进系统124。在其它实施例中,通信模块120可以被配置为从红外相机140接收红外图像(例如,静止图像或视频图像)并将红外图像中继到控制器112和/或基站130。在一些实施例中,通信模块120可以被配置为例如支持扩频传输,和/或系统100的元件之间的多个同时通信信道。

在一些实施例中,相机安装件122可以被实现为致动的万向节安装件,该致动的万向节安装件例如可以由控制器112控制以使红外相机140相对于目标稳定或者根据期望的方向和/或相对位置瞄准红外相机140。这样,相机安装件122可以被配置为向控制器112和/或通信模块120提供红外相机140的相对取向(例如,相对于飞行平台110的取向)。在其他实施例中,可以将相机安装件122实现为固定安装件。在各种实施例中,相机安装件122可以被配置为提供电力,支持有线通信,提供快门,和/或以其他方式促进红外相机140的飞行操作。在进一步的实施例中,相机安装件122可以被配置为耦合到激光指示器、测距仪和/或其他设备,例如以基本上同时支持多个设备、稳定多个设备、为多个设备供电和/或瞄准多个设备(例如,红外相机140和一个或多个其他设备)。

推进系统124可以实现为可以用于向飞行平台110提供动力和/或提升力和/或操纵飞行平台110的一个或多个螺旋桨、涡轮机或其他类型的基于推力的推进系统和/或其他类型的推进系统。在一些实施例中,推进系统124可包括可被控制(例如,通过控制器112)以为飞行平台110提供提升力和运动并且提供飞行平台110的取向的多个螺旋桨(例如三,四,六,八或其他类型的“直升机”)。在其他实施例中,推进系统110可以主要配置成提供推力,而飞行平台110的其他结构提供提升力,例如在固定机翼实施例中(例如,其中机翼提供提升力)和/或浮空器实施例(例如,气球、飞艇、混合浮空器)。在各种实施例中,推进系统124可以用便携式电源例如电池和/或内燃机/发电机和燃料供应来实现。

其他模块126可以包括用于提供例如飞行平台110的附加环境信息的其他和/或附加传感器、致动器、通信模块/节点和/或用户接口设备。在一些实施例中,其它模块126可以包括湿度传感器、风力和/或水温传感器、气压计、高度计、雷达系统、可见光谱相机、附加红外相机(具有附加安装件)、辐照度检测器、臭氧传感器、一氧化碳和/或二氧化碳传感器、比浊计、高动态范围(HDR)成像设备和/或其他环境传感器,它们提供可以显示给用户以及/或由系统100的其他设备(例如,控制器112)使用的测量结果和/或其它传感器信号,以提供对飞行平台110和/或系统100的操作控制或处理红外影像以补偿环境条件,例如红外相机140与目标之间的大气中的水含量。在一些实施例中,其他模块126可以包括耦合到飞行平台110的一个或多个致动和/或铰接设备(例如,多光谱有源照明器、可见和/或IR相机、雷达、声纳和/或其他被致动设备),其中每个致动设备包括一个或多个致动器,所述致动器适于响应于一个或多个控制信号(例如,由控制器112提供)来相对于飞行平台110调整设备的取向。

在某些实施例中,其他模块126可以包括,例如,检测飞行平台110的状态条件。这样的其他模块126可以包括例如状态传感器,例如一个或多个高度传感器、航向传感器、速度传感器、加速度传感器、速度传感器、全球定位坐标接收器、罗盘、一天中时间传感器、陀螺仪、日历、加速度计和/或其他状态条件传感器。这样的传感器可以向控制器112输出数据,并且控制器112可以确定飞行平台110的状态。这样,控制器112可以确定例如高度、航向(例如,行驶方向)、速度、加速度、飞行状态(例如,受控飞行或失控)、飞行平台110的位置、一天中的时间、飞行时间和/或其他这样的飞行状态。

在某些这样的实施例中,聚合服务器160可以例如确定飞行平台110的飞行状态,并且在某些情况下,可以响应于所确定的飞行状态向飞行平台110提供指令。这样,聚合服务器160可以例如确定飞行平台110的飞行速度可能不足以在计划的时间量内完全成像区域,从而提供增加飞行平台110的飞行速度的指令。另一个例子中,聚合服务器160可以确定,例如,飞行平台110处于禁止区域或即将进入禁止区域,从而向飞行平台110提供指令以避开禁止区域。而且,聚合服务器160可以确定点模型可能需要来自特定区域的附加信息,确定最接近该区域的飞行平台,然后向该飞行平台提供指令以从该区域获取信息。

基站130的用户接口132可以被实现为以下中的一个或多个:显示器、触摸屏、键盘、鼠标、操纵杆、旋钮、方向盘、轭和/或能够接受用户输入和/或向用户提供反馈的任何其它设备。在各种实施例中,用户接口132可适于向系统100的其他设备(诸如控制器112)提供用户输入(例如,作为由基站130的通信模块134发送的信号和/或传感器信息的类型)。用户接口132还可以用适于存储和/或执行指令(例如软件指令)的一个或多个逻辑设备(例如,类似于控制器112)来实现,所述指令实现本文描述的各种过程和/或方法中的任一个。例如,用户接口132可以适用于形成通信链路,例如发送和/或接收通信(例如,红外图像和/或其他传感器信号、控制信号、传感器信息、用户输入和/或其他信息)或者执行本文描述的各种其他过程和/或方法。

在一个实施例中,用户接口132可以适于显示各种传感器信息和/或其他参数的时间序列作为图形或地图的一部分或覆盖在图形或地图上,其可以参考飞行平台110和/或系统100的其他元件的位置和/或取向。例如,用户接口132可以适用于显示覆盖在地理地图上的飞行平台110和/或系统100的其他元件的位置、航向和/或取向的时间序列,地理地图可以包括指示致动器控制信号、传感器信息和/或其它传感器和/或控制信号的对应的时间序列的一个或多个曲线图。

在一些实施例中,例如,用户接口132可以适于接受包括用于系统100的元件的用户定义的目标航向、航点、路线和/或取向的用户输入,并且生成控制信号以使飞行平台110根据目标航向、路线和/或取向移动。在其他实施例中,例如,用户接口132可以适于接受修改控制器112的控制环参数的用户输入。

在进一步的实施例中,例如,用户接口132可以适于接受包括用于与飞行平台110相关联的致动设备(例如,红外相机140)的用户定义的目标姿态、取向和/或位置的用户输入,并且根据目标姿态、取向和/或位置生成用于调整致动设备的取向和/或位置的控制信号。这种控制信号可以被发送到控制器112(例如,使用通信模块134和120),控制器112然后可以相应地控制飞行平台110。

通信模块134可以被实现为被配置为在系统100的元件之间发送和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如,通信模块134可以被配置为从用户接口132到通信模块120或144发送飞行控制信号。在其他实施例中,通信模块134可以被配置为从红外相机140接收红外图像(例如,静止图像或视频图像)。在一些实施例中,通信模块134可以例如被配置为支持例如扩频传输和/或系统100的元件之间的多个同时通信信道。

例如,基站130的其他模块136可以包括用于提供与基站130相关联的附加环境信息的其他和/或附加传感器、致动器、通信模块/节点和/或用户接口设备。在一些实施例中,其他模块136可以包括湿度传感器、风力和/或水温传感器、气压计、雷达系统、可见光谱相机、红外相机、GNSS、比浊计、臭氧传感器、一氧化碳和/或二氧化碳传感器、HDR成像设备和/或其他环境传感器,提供测量结果和/或其它传感器信号,测量结果和/或其它传感器信号可以显示给用户和/或由系统100的其他设备(例如,控制器112)使用以提供对飞行平台110和/或系统100的操作控制或处理红外影像以补偿环境条件,例如大致与基站130处于相同高度和/或与其相同的区域内的大气中的水含量。在一些实施例中,其他模块136可以包括一个或多个致动设备和/或铰接设备(例如,多光谱有源照明器、可见和/或IR相机、雷达、声纳和/或其他致动设备),其中每个被致动设备包括一个或多个致动器,其适于响应于一个或多个控制信号(例如,由用户接口132提供)来调整设备的取向。

红外相机140的成像模块142可以被实现为检测器元件的冷却和/或非冷却阵列,例如量子阱红外光电检测器元件、基于辐射热计或微辐射热计的检测器元件、基于II型超晶格的检测器元件和/或可以布置在焦平面阵列中的其他红外光谱检测器元件。在各种实施例中,成像模块142可以包括一个或多个逻辑设备(例如,类似于控制器112),其可以被配置成在将影像提供给存储器146或通信模块144之前处理由成像模块142的检测器元件捕获的影像。更通常地,成像模块142可以被配置为至少部分地或者与控制器112和/或用户接口132一起执行本文描述的任何操作或方法。

在一些实施例中,红外相机140可以用与成像模块142相似的第二或附加成像模块来实现,例如,其可以包括被配置为检测其他光谱(诸如可见光、紫外线和/或其他光谱或光谱的子集)的检测器元件。在各种实施例中,这样的附加成像模块可以被校准或配准到成像模块142,使得由每个成像模块捕获的图像占据其他成像模块的已知的且至少部分重叠的视场,由此允许不同的光谱图像在几何上彼此配准(例如,通过缩放和/或定位)。在一些实施例中,除了依赖于已知的重叠视场之外或作为已知的重叠视场的替代,可以使用模式识别处理将不同的光谱图像彼此配准。

红外相机140的通信模块144可以被实现为被配置为在系统100的元件之间发送和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如,通信模块144可以被配置为从成像模块142向通信模块120或134发送红外图像。在其他实施例中,通信模块144可以被配置为从控制器112和/或用户接口132接收控制信号(例如,引导红外相机140的捕获、聚焦、选择性滤波和/或其它操作的控制信号)。在一些实施例中,通信模块144可以被配置为例如支持扩频传输和/或系统100的元件之间的多个同时通信信道。

存储器146可以被实现为一个或多个机器可读介质和/或逻辑设备,该一个或多个机器可读介质和/或逻辑设备被配置为存储例如有助于系统100的操作的软件指令、传感器信号、控制信号、操作参数、校准参数、红外图像和/或其它数据,并将其提供给系统100的各种元件。存储器146也可以至少部分地实现为可移动存储器,例如包括例如用于这种存储器的接口的安全数字存储卡。

红外相机140的取向传感器148可以类似于取向传感器114或陀螺仪/加速度计116和/或能够测量红外相机140和/或成像模块142的取向(例如,相对于诸如重力和/或磁北的一个或多个参考取向,横滚、俯仰和/或偏航的大小和方向)并且提供这样的测量结果作为可传送到系统100的各种设备的传感器信号的另一设备。可以根据任何全球导航卫星系统来实现红外相机140的GNSS 150,包括基于GPS、基于GLONASS和/或基于伽利略的接收器和/或能够基于例如从空间产生和/或地面来源接收的无线信号确定红外相机140(例如,或红外相机140的元件)的绝对和/或相对位置并且能够提供这样的测量结果作为可以被传送至系统100的各种设备的传感器信号的其他设备。

红外相机140的其他模块152可以包括其他和/或附加传感器、致动器、通信模块/节点、冷却或非冷却光学滤波器和/或用于提供例如与红外相机140相关联的附加环境信息的用户接口设备。在一些实施例中,其他模块152可以包括湿度传感器、风力和/或水温传感器、气压计、雷达系统、可见光谱相机、红外相机、GNSS、比浊计、臭氧传感器、一氧化碳和/或二氧化碳传感器、HDR成像设备和/或其它环境传感器,它们提供可以显示给用户和/或由成像模块142或系统100的其他设备(例如,控制器112)使用以提供对飞行平台110和/或系统100的操作控制或者处理红外影像以补偿环境条件的测量结果和/或其它传感器信号,例如与红外相机140大致处于相同高度和/或位于相同区域内的大气中的诸如水含量。

聚合服务器160可以是例如可以包括公共、政府和/或私人数据源的硬盘驱动器、数据库和/或一个或多个其他存储设备。来自聚合服务器160的数据可以用于改善来自红外相机140的信息的辐射测量准确度或效用。例如,飞行平台110、基站130和/或红外相机140可以从聚合服务器160接收数据,该聚合服务器160可以调节相机参数、飞行程序、飞行特征和/或其他参数。这样的数据可以包括例如历史的、当前的和将来的天气数据、云量数据、太阳位置数据、卫星数据(例如,可以用于估计诸如多光谱信息的发射率的数据)、历史的、当前的和/或将来的特定建筑物和/或设备的估计的能耗数据和/或其他这样的数据。

在某些实施例中,聚合服务器160可以从飞行平台110、红外相机140和/或基站130接收数据并创建二维和/或三维点表示(例如,二维和/或三维模型)。在某些这样的实施例中,聚合服务器160可以例如经由WiFi、蓝牙、有线互联网连接、无线互联网连接、IEEE格式、3G、4G、5G和/或其他通信格式来接收这样的数据。

聚合服务器160可以从耦合到一个或多个飞行平台110的一个或多个红外相机140接收信息。这样,当接收到来自多个红外相机140的信息时,聚合服务器160可以分析这样的信息并响应于分析来构建点模型。例如,多个红外相机140可以对相同的对象和/或区域进行成像。在这种情况下,聚合服务器160可以例如确定多个红外相机140中的哪一个更准确、更新、具有更高的分辨率和/或某些其他参数更优,并因此选择这样的信息用于构建点云。在某些另外的实施例中,聚合服务器160可以例如将来自多个源的信息进行平均和/或加权以构建点云或其部分。这样,聚合服务器160可以确定多个红外相机140中的哪个更可能输出准确信息。

除了接收这样的信息之外,聚合服务器160还可以向一个或多个飞行平台110和/或红外相机140输出指令。在某些这样的实施例中,这样的信息可以是例如以下的指令:用于一个或多个飞行平台110移动到某个区域,用于飞行平台110和/或红外相机140来成像特定区域和/或对象,用于一个或多个飞行平台110可以在特定区域上进行的多次通过,用于红外相机140、飞行平台110、其他模块的某些设置,和/或其他这样的指令。

通常,系统100的每个元件可以用任何适当的逻辑设备(例如,处理设备、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储器存储设备、存储器读取器或其他设备或设备的组合)来实现,其可以适于执行、存储和/或接收适当的指令,例如实施用于提供声纳数据和/或影像或者用于发送和/或接收系统100的一个或多个设备之间的通信(诸如传感器信号、传感器信息和/或控制信号)的方法的诸如软件指令。

另外,可以提供一个或多个机器可读介质以用于存储用于加载到由系统100的一个或多个设备实现的任何逻辑设备并由该逻辑设备执行的非暂时性指令。在这些和其它实施例中,逻辑设备可以在适当的情况下用其它组件(例如,易失性存储器、非易失性存储器和/或一个或多个接口(例如集成电路间(I2C)接口、移动工业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如,IEEE 1149.1标准测试接入端口和边界扫描架构)和/或其他接口,诸如用于一个或多个天线的接口或用于特定类型的传感器的接口))来实现。

传感器信号、控制信号和其他信号可以使用各种有线和/或无线通信技术,包括电压信令,以太网,WiFi,蓝牙,Zigbee,Xbee,Micronet或其他介质和/或短距离有线和/或无线联网协议和/或实现方式,在系统100的元件之间进行通信。在这样的实施例中,系统100的每个元件可以包括支持有线、无线和/或有线和无线通信技术的组合的一个或多个模块。在一些实施例中,例如,系统100的各种元件或部分元件可以彼此集成,或者可以集成到单个印刷电路板(PCB)上以降低系统复杂性、制造成本、功率需求、坐标系误差和/或各种传感器测量结果之间的定时误差。

系统100的每个元件可以包括例如一个或多个电池、电容器或其他电力存储设备,并且可以包括一个或多个太阳能电池模块或其他发电设备。在一些实施例中,设备中的一个或多个可以使用一个或多个电源引线由飞行平台110的电源供电。这样的电源引线也可以用于支持系统100的元件之间的一种或多种通信技术。

图1B示出了根据本公开实施例的点模型系统的框图。图1B可以包括飞行装置110B、聚合服务器140B和辅助提供者180。

飞行装置110B可以包括例如图1A的飞行平台110、红外相机140和/或基站130中的一个或多个。飞行装置110B可以包括可作为飞行平台110、红外相机140和/或基站130的一部分本地存在或操作飞行平台110、红外相机140和/或基站130的一些或全部设备。另外,飞行装置110B可包括飞行平台110、红外相机140和/或基站130,其可提供与飞行平台110、红外相机140和/或基站130相关联的位置信息。

聚合服务器140B可以包括图1A的聚合服务器140以及可以从飞行装置110B的元件接收数据并向其提供指令的其他电子设备、处理器、服务器、模拟计算机和其他这样的设备。聚合服务器140B可以从飞行平台110、红外相机140和/或基站130接收数据,并且例如创建超分辨率图像(例如,高清晰度、4K或可以包括更高分辨率的其他图像;在某些这样的实施例,所创建的图像的分辨率可能高于原生数据的分辨率),在图像内插入视觉辅助信息,在图像上执行非均匀性校正技术,模糊和/或去模糊图像,执行点尺寸校正技术,去除太阳能效应,校正发射率效应,“学习”发射率效应以执行未来调整,执行多点辐射测量计算,去除图像中阴影的影响,创建点云和/或确定点云所需的密度,根据需要减少和/或增加点云的密度,执行局部自适应对比度增强,将图像转换和/或增强为高和/或低动态范围图像(例如上采样和/或下采样),确定每个像素的潜在误差,根据图像角度调整发射率确定,从多个海拔高度执行的成像接收数据,根据来自从多个高度执行的成像的数据创建超分辨率图像,校正空气柱,执行时间上采样,和/或计算来自环境部分的能量输出(例如,来自识别的能量源的BTU输出)。

辅助提供者180可以包括例如可以提供集成、技术、软件和/或其它服务以提高这种图像的质量、准确度、分辨率和/或集成(例如,与其他图像集成)的各方。另外,辅助提供者180可以包括飞行平台110、红外相机140和/或基站130的运营商。

图2示出了根据本公开的实施例的各种无人机系统的图。在图2所示的实施例中,红外成像系统100B包括基站130、具有红外相机140和推进系统124的飞行平台110A以及具有红外相机140和推进系统124的飞行平台110B,其中基站130可以被配置为控制飞行平台110A、飞行平台110B和/或红外相机140的运动、位置和/或取向。图2中还示出了耦合到飞行平台110A的另外的红外相机(例如,其他模块126),其可以被用于检测环境辐照度,如本文更充分描述的。

图3示出了根据本公开实施例的用于处理由无人机系统捕获的热图像的技术的流程图。图3中描述的技术可以由例如控制器112、其他模块136、152和/或156,和/或另一这样的处理器(例如,在聚合服务器160、基站130和/或另一个这样的电子设备内)来执行,其可以从红外相机140和飞行平台110和/或红外相机140的其他模块126和/或152接收数据。

在框302中,来自红外相机140和/或成像模块142的图像数据可以由例如控制器112、其他模块136、152和/或156和/或另一这样的处理器来接收。图像数据可以是例如与对象和/或场景的辐照度相关联的数据。图像数据可以是由成像模块142捕获的静止图像、视频和/或图像序列。

在框304中,图像数据可以被处理和/或转换成辐射率数据。在某些示例中,可以将非均匀性校正和/或其他校正技术应用于图像数据(在处理和/或转换之前)和/或辐射率数据(在处理和/或转换之后)。辐射率数据可以表示成像表面的动态表面温度。这种测量的辐射率可以取决于例如测量对象的发射率、背景温度、大气传输效应(例如,大气对象如灰尘对辐射率的吸收)、大气辐射率(例如,由大气本身贡献的辐射率)、到对象的距离和/或图像路径内部和外部的其他辐射率吸收和/或发射对象。

在框306中,可以将外部参数应用于辐射率数据。在某些其他实施例中,可选地或附加地将外部参数应用于图像数据,然后转换为辐射率数据(例如,在框304之前)。其他实施例可以在辐射率数据已经被转换为温度数据(例如,在框308之后)、其他对象和/或其它辐射率吸收和/或发射对象之后替代地或附加地应用外部参数。

外部参数可以包括例如被测对象的发射率、背景温度、大气传输效应、大气辐射率、到对象的距离、云量、太阳位置、天气状况、图像内外的对象的能耗、湿度、环境温度、气压、湿度、环境分度大小和计数、臭氧水平、一氧化碳和/或二氧化碳水平、风力强度、检测到的大气衰减、状态条件、速度、航向、飞行平台110的位置和/或其他这样的参数。

可以利用外部参数来增强辐射测量准确度并改善确定的辐射率和/或温度。例如,外部参数可以允许表征空气柱。这样的空气柱例如可以具有比周围空气更高的温度,可以影响确定的辐射率和/或温度,和/或可以根据来自其他模块126、152和/或136的传感器和/或来自聚合服务器160的数据确定或表征。例如,可以使用检测气压、环境温度、湿度、热辐照度、风力强度和/或其他环境条件的传感器来确定这种空气柱的存在。在某些实施例中,飞行平台110可以例如从第一位置移动到第二位置,并且检测到的第一位置和第二位置之间或者第一位置和中间位置之间的状况的改变可以允许确定这种空气柱。然后可以使用这种空气柱的存在来修改在由红外相机140捕获的热图像中确定的对象的辐射率和/或温度。

在另一个例子中,太阳位置数据可以被用来确定太阳的位置。然后可以改变飞行平台110的飞行路径,使得红外相机140被用于确定对象的辐射率和/或温度,而不直接指向太阳。

另外,在某些实施例中,可以从多个图像和/或多个位置测量地面的相同对象和/或点。然后可以对来自这样的多个图像和/或多个位置的检测温度进行处理和/或平均,以增加位置的准确度。其他这样的实施例可以从多个不同的高度测量相同的位置。这种不同的测量结果可以帮助确定环境辐射率,提高准确度,和/或可以有助于图像的放大。

另外或替代地,可以确定多个不同的位置和/或点。这样的位置和/或点可以用于创建环境的辐射率和/或温度的三维点云模型。在某些这样的实施例中,可以多次测量每个点和/或位置以进一步提高准确度。而且,多个成像模块142和/或其他成像设备可以基本上同时地或在不同的时间测量这样的点和/或位置,以进一步提高准确度。某些这样的实施例可以利用控制器112构建三维点云模型,但是其他这样的实施例可以附加地或可选地利用基站130、红外相机140、聚合服务器160以及/或另一这样的处理器的组件来构建三维点云模型。

飞行平台110和/或红外相机140还可以包括黑体。这样的黑体可能是温度稳定的。红外相机140和/或成像模块142可以偶尔和/或周期性地参考黑体以校准红外相机140和/或成像模块142来提高辐射测量准确度。替代地或附加地,其他实施例可以对其他特征进行参考以提供温度参考。例如,控制器112和/或其他处理器可以在由红外相机140和/或成像模块142成像的场景中确定具有已知温度的一个或多个对象(例如,人脸、皮肤和/或另一类型的灰体)。随后这样的对象可以被用作温度参考。而且,某些实施例可以包括由无人机系统的操作者放置的具有已知温度的对象。对象的温度可以独立地测量(例如通过热电偶)以确定实际温度。然后这样的温度可以被用于校准红外图像和/或可以被传输到飞行平台110、红外相机140和/或成像模块142,并且红外相机140和/或成像模块142可以对对象进行成像以校准图像的辐射测量和/或热准确度。在某些这样的实施例中,飞行平台110的飞行路径可以被规划为允许红外相机140和/或成像模块142周期性地和/或定期地对对象进行参考。

另外地或可选地,飞行平台110和/或红外相机140可以确定具有高表观温度均匀性的区域(例如,在飞行期间)。飞行平台110和/或红外相机140可以通过例如扫描地面来确定这样的区域。然后可以(例如,通过用户接口132)建议操作者该区域并指示将该对象放置在该区域内。在某些这样的实施例中,黑体可以具有某一尺寸(例如,在20-100平方英寸之间),使得它们在高度上对飞行平台110可见。由于黑体的表观温度可能随着距离而下降,因此某些这样的黑体可以例如具有足以从超过50米的高度对飞行平台110可见的尺寸。

在某些实施例中,可以捕获并发的热和视觉图像。可以分析视觉图像,并且可以通过确定视觉图像内的太阳位置和/或太阳强度并相应地校正热图像来消除来自热图像的太阳噪声。

而且,飞行平台110可以用于调查区域的区段。例如,这种调查可用于建立三维模型。来自其他源的数据、先前进行的成像和/或其他源可以被添加到在当前通过期间由红外相机140和/或成像模块142漏掉的区域或者在某个时间帧内未成像的区域。这样的信息可以帮助生成三维模型。在其他实施例中,当前成像的区域可以与历史数据进行比较。这种比较可用于确定趋势(例如,温度变化的长期趋势)和/或从这些趋势确定差异。这种趋势和/或检测到的差异可能影响飞行平台110的飞行路线和/或时间表。

另外地或可选地,飞行平台110、基站130可以包括例如可以提供对附加电磁波段(例如,声纳、电离辐射、紫外线和/或其它这样的波段)的监视的附加模块。例如,这种附加模块可以检测气体泄漏并提供数据以通过二维和/或三维表示呈现这种气体泄漏。而且,这样的模块可以被配置为检测阴影。例如,阴影可以根据确定的一天中的时间,通过分析由成像模块142、视觉相机和/或另一个这样的模块捕获的视觉和/或热图像来检测。在某些这样的实施例中,阴影的检测可以允许消除这种阴影对分析的影响。

在某些另外的实施例中,来自浊度计的数据可以与来自红外相机140和/或成像模块142的数据组合。这样的数据可以允许检测和/或限定某些污染羽流。例如,浊度计可以检测区域内高浓度颗粒的存在。如此高的浓度可能被确定为可能的污染羽流。在某些这样的实施例中,该区域的红外成像数据然后可以用于确认这样的区域是否是污染羽流。例如,如果该区域被确定为高温,则羽流可以被确定为例如来自火灾的烟尘。

此外,还可能确定有毒气体的存在。例如,飞行平台110内的过滤器和/或传感器可用于检测这种有毒气体的存在。飞行平台110可以另外包括例如风速计以确定风向。这种风向可用于确定飞行平台110的时间变化,改变飞行平台110的推力量和/或方向,确定任何检测到的污染和/或有毒羽流的可能移动,和/或以各种其他方式使用以确定当地的大气条件。在某些其他实施例中,风向可以替代或附加于使用风速计而从飞行平台110的悬停特性推导出。

在某些其他实施例中,风传感器和/或其他传感器可以确定由飞行平台110生成的螺旋桨尾流和/或风和/或热。在这样的实施例中,可以调整由红外相机140生成的数据以补偿由飞行平台110生成的螺旋桨尾流和/或风和/或热。

在框308中,辐射率数据可以被转换为温度数据。这样,可以确定场景内对象的温度。在某些实施例中,可以渲染场景和/或场景内的对象。在某些这样的实施例中,可以创建三维点云以允许创建环境的三维表示。

例如,某些这样的实施例可以为图像内的每个像素计算辐射率和/或温度。另外,这样的实施例可以例如确定每个像素的潜在辐射测量误差。潜在的误差可以根据例如图像数据、辐射率数据、温度数据和/或外部参数和所接收的其他外部数据中的一个或多个来确定。这样,例如,渲染可以提供这种潜在的误差的图形表示。另外,这种渲染可以提供其他检测到的状况的图形表示。

在某些实施例中,图像数据可能已经是辐射率数据和/或温度数据或者包括辐射率数据和/或温度数据。其他实施例的辐射率数据可以包括温度数据。在这样的实施例中,可以从外部参数(例如,环境数据和/或检测的或确定的环境条件)修改这种数据,以输出调整的和/或校正的图像数据、辐射率数据和/或温度数据。点模型可以从调整的和/或校正的图像数据、辐射率数据和/或温度数据来构建。在某些实施例中,点模型可以由聚合服务器160、基站130、红外相机140和/或飞行平台110的一个或多个处理器来构建。

可以从图像数据、辐射数据和/或温度数据获得一个或多个热图像。在某些这样的实施例中,热图像可以被上采样和/或下采样。如此,可以包括算法来上采样和/或下采样这样的图像。某些实施例可以包括命令,以为飞行平台110导航以获得某些对象和/或感兴趣的区域的更详细(例如,更高分辨率)图像或允许额外地横穿区域以获得这样的信息。

根据本文描述的实施例,红外成像系统100可以被配置为补偿红外相机140和目标之间的大气干扰,以便提供目标的高度准确和可靠的辐射测量热图像。当红外相机距目标小于约5-10米时,这种大气干扰通常是不可测量的。然而,在飞行中,红外相机140和目标450之间的距离(例如,辐射率路径长度)可以是50-150米或更大,并且大气干扰可以是实质的(例如,大于测量的辐射率或温度的5%)。在监测农田和/或机械或发电装置的运行时,准确可靠的辐射测量热图像特别有益,其中准确地检测温度随时间(例如,数分钟、数小时、数天、数周、数月或数年)的相对小的变化,可以通过最小化不必要的浇水或维护来显著地提高效率和/或降低由于不准确选择的收获时间或错过的温度所指示的预防性维护所导致的运营成本。

图4示出了根据本公开实施例的大气干扰及其对红外成像系统100的操作的影响的图400。如图4所示,由目标450发射的目标辐射率452(例如,对应于目标450的实际温度的辐射率)行进通过大气460并且在大气460内部分地衰减或吸收,并且导致到达红外相机140的减小的目标辐射率462。取决于大气460的水含量和温度,在其他环境条件中,在接近150米的辐射率路径长度处,传输辐射率可以减少约5-20%。

也在图4中示出,背景辐射率404(例如来自太阳、天空、其他辐射源)和大气辐射率466(例如,大气460的自辐射率)可以负面地影响由红外相机140捕获的影像。在图4中,背景辐射率404撞击在由红外相机140成像的目标450的表面上,并且使得反射的背景辐射率454被导向红外相机140。反射的背景辐射率454的相对大小取决于目标450的发射率。反射的背景辐射率454也被大气460部分地衰减/吸收,并且导致减少的反射的背景辐射率464到达红外相机140,这可以进一步扭曲目标450的任何辐射率测量结果。然而,另外,大气460可以自发辐射并产生大气辐射466,这也可以进一步使目标450的辐射率测量结果扭曲。例如,如果目标450是一杯冰水,并且当前的环境条件是相对炎热和潮湿的日子,目标450的报告温度可能升高超过20摄氏度。

图5示出了红外成像系统100补偿参考图4描述的大气干扰和/或其他干扰的图500。图5示出了飞行平台已经起飞之前的基站130和飞行平台110(具有相机140)。基站130、飞行平台110和/或红外相机140可以用例如温度传感器和/或湿度传感器(例如,其他模块126、136和/或152)来实现,基站130、飞行平台110和/或红外相机140可以被配置成接收空气温度和/或相对湿度(例如,在飞行之前)并且根据到目标450的距离和/或相对于450的高度确定对由红外相机140捕获的红外图像通过辐射率(或温度)调整的函数或查找表。随后,红外成像系统100可以被配置成当生成目标450的相对准确和可靠的辐射测量热图像时,使用距离和/或高度相关的辐射调整率来补偿大气干扰。

在一些实施例中,基站130可以例如接收(例如,作为用户输入)目标450的估计发射率,并且基于接近于与目标450相同的高度处或至少近似于与目标450相同的高度处测量的空气温度,基站130在辐射率调整中可以包括被配置为补偿到达红外相机140的反射背景辐射率454的任何部分的背景辐射率分量。在各种实施例中,辐射率调整的背景辐射率分量也可以被提供为随距离和/或高度变化(例如,由于大气干扰)。在另外的实施例中,红外成像系统100可以用天空瞄准的附加红外相机和/或辐照度检测器(例如,其他模块126)来实现,其可以被配置为测量背景辐射率404的大小和相对方向(例如相对于红外相机140和/或目标450的预期成像表面)。在这样的实施例中,辐射率调整的背景辐射率分量可以被提供为随距离、相对高度和/或相对反射角(例如,(减小的)反射背景辐射率464撞击在红外相机140上的、相对于背景辐射率404和目标450的(一个或多个)角度)变化。在一些实施例中,辐照度检测器可以被限制到例如特定的光谱,并且在进一步的实施例中,可以类似于红外相机140地实现。

类似地,红外成像系统100可以被配置为使用在起飞之前测量的空气温度来估计大气460的温度并且在辐射率调整中包括大气自辐射率分量,该大气自辐射率分量被配置为补偿大气辐射率466的到达红外相机140的任何部分。在各种实施例中,辐射率调整的大气自辐射率分量也调整可以被提供为随距离和/或高度变化(例如,由于大气460中的预期温度梯度)。

通常,红外成像系统100可以被配置为接收指示各种环境条件(例如,空气温度、相对湿度、目标的发射率、背景辐射率、红外相机140的部分的温度和/或其它环境条件)的测量结果或用户输入,可能与各种制造商提供的转换功能(例如存储在存储器146中)结合,然后使用测量结果或用户输入来生成辐射率或温度调整,该辐射率或温度调整可作为查找表或取决于红外相机140的相对高度、到目标450的距离、背景辐射率404的方向和/或大小,和/或飞行平台110和/或红外相机140的状态的其它函数来提供。例如,这种辐射率或温度调整可以是当飞行平台110在目标450附近移动时随着新测量的环境条件的动态更新。

图6A-B示出了补偿参照图4描述的大气和/或其他干扰的红外成像系统100的图600-601。更具体地,图6A-B示出了飞行平台652将红外相机140的相对高度调整为高于校准目标650(例如,相对较大的热均匀目标,诸如停车场),以使用几乎在相对高度被调整的同时取得的一系列环境测量结果和红外图像,根据相对高度生成辐射率或温度调整。使用大气干扰和/或其他干扰在小的相对高度处大约为零的假设,各种干扰的大小可以直接根据高度来测量,然后用于生成直接辐射率或温度调整。

例如,图6A示出了设置在校准目标650上方的相对小的相对高度652(例如1-5米)处的飞行平台110(具有相机140)。红外成像系统100可以被配置为在小的相对高度652处对校准目标650进行成像和/或测量空气温度和/或相对湿度以及其他环境条件,相对高度652可以被定义为其中大气干扰小于或等于校准目标650的测量辐射率的5%的高度或高度范围。如本文所述,红外成像系统100可以被配置为使用这样的测量结果作为基线,利用该基线生成直接辐射率调整。

图6B示出飞行平台110在达到相对大的相对高度654之前在不同的相对高度处周期性地停止,该相对高度654可以被定义为大气干扰大于校准目标650的测量辐射率的5%(例如,通常大于8%)处的高度或高度范围。如参照图5所描述的,飞行平台110和/或红外相机140可以被配置为测量在每个不同的相对高度处的各种环境条件(例如,空气温度、相对湿度、背景辐射率(方向和/或大小)、红外相机140的多个部分的温度,和/或其它环境条件),可能与各种制造商提供的转换函数相结合,然后使用测量结果来生成直接辐射率或温度调整,该直接辐射率或温度调整可以被提供作为查找表或取决于红外相机140的相对高度、到目标450的距离、背景辐射率404的方向和/或大小和/或飞行平台110和/或红外相机140的状态的其他函数。这种查找表或函数可以用于将相对高度654外推到例如较大的相对高度。

在替代实施例中,例如,校准目标650可以采取垂直壁的形式,并且飞行平台110可以被配置为通过从接近于垂直校准目标650的相对近的水平距离移动到离垂直校准目标650的相对远的水平距离(例如,长度类似于相对高度652和654)而生成一系列测量结果,其可以用于基于到校准目标650的距离而不是相对高度来估计直接辐射率调整。在这样的实施例中,可以通过应用有助于补偿高度相关的环境影响(例如,由于温度、相对湿度和/或其他环境特征的变化,其可以被建模或被统计地估计并作为由制造商提供的查找表或函数来提供)的高度校正因子(例如,随高度变化)来进一步细化直接辐射调整。

在各种实施例中,飞行平台110可以包括测距仪(例如,激光测距仪)和/或可见光激光指示器(例如,其他模块126),例如被配置为基本瞄准与红外相机140相同的区域(例如,红外相机140捕获的红外图像的中心部分处),以提供到目标450和/或校准目标650的距离的非常精确的测量,或提供指示红外相机140瞄准在哪里的可见标记(例如,可以使用GNSS118的廉价实施例来提供到目标450和/或校准目标650的距离的相对粗略的测量)。在各种实施例中,这种基于激光的设备可以被配置为产生可由红外相机140或附加可见光相机(例如,其他模块126)检测到的光,所述附加可见光相机通过也被配置成瞄准基本上相同的区域(例如,具有至少部分重叠的FOV),以便向控制器112和/或基站130的用户提供位置反馈。例如,红外成像系统100可以被配置为用可见激光标记或“绘制”目标450的例如高于或低于预定的或设定的温度阈值或温度偏移的一个或多个部分。在替代实施例中,基站130可以包括可以用于标记特定目标的激光指示器,并且飞行平台110可以被配置为检测标记并且用红外相机140对标记的目标的一个或多个视图进行成像。

至少参考图5-6B描述的产生辐射率调整的不同方法和/或不同方法的部分可以彼此互换使用,以帮助改进辐射率调整并提供目标450的可靠且准确的辐射测量热图像,如本文所述。

图7示出了根据本公开的实施例的对于随高度变化的各种温度(0、25和40摄氏度)在设定相对湿度50%处的大气干扰的曲线图700。从图7可以看出,大气干扰的大气吸收分量在相对高度小到20米的情况下可以大于5%。

图8示出了根据本公开实施例的操作红外成像系统100的各种操作的流程图800。在一些实施例中,图8的操作可以被实现为由与图1-2中描绘的相对应的电子设备、传感器和/或结构相关联的一个或多个逻辑设备执行的软件指令。更一般地,图8的操作可以用软件指令和/或电子硬件(例如,电感器、电容器、放大器、致动器或其他模拟和/或数字组件)的任何组合来实现。

还应该理解,过程800的任何步骤、子步骤、子过程或块可以按与图8所示的实施例不同的顺序或布置来执行。例如,在其他实施例中,一个或多个块可以从过程中省略或添加到过程中。此外,在移动到相对应的处理的后续部分之前,块输入、块输出、各种传感器信号、传感器信息、校准参数和/或其它操作参数可以被存储到一个或多个存储器。虽然参考图1-2中描述的系统对过程800进行了描述,过程800可以由与这些系统不同的其他系统执行,并且包括电子设备、传感器、组件、移动结构和/或移动结构属性的不同选择。

在框802处,接收与目标相关联的空气温度和/或相对湿度。例如,控制器112可以被配置为接收来自飞行平台110的温度传感器和/或湿度传感器(例如,其他模块126)的、与目标450相关联的空气温度和/或相对湿度测量结果。这样的空气温度和/或相对湿度测量结果可以通过在靠近目标450附近的区域和/或在与目标450的高度大致相同的高度处被测量而与目标450相关联。在一些实施例中,可以测量和/或由用户输入其他环境特征。

在框804处,确定与目标相关联并且基于空气温度和/或相对湿度的辐射率调整。例如,控制器112可以被配置为在框802中确定与目标450相关联的辐射率调整并基于从其他模块126接收的空气温度和/或相对湿度测量结果。在一些实施例中,辐射率调整可以主要补偿大气干扰,如本文所述。在其他实施例中,如本文所述,辐射度调整可以基于各种附加环境特性并且补偿诸如大气自发射、背景反射辐射率和/或其他有害环境影响等其他环境干扰。

在框806处,接收从飞行平台捕获的目标的红外图像。例如,控制器112可以被配置为从耦合到飞行平台110的红外相机140接收红外图像。在各种实施例中,飞行平台110可以在目标450上方或附近飞行并且被配置成将红外相机140瞄准图像目标450。

在框808处,将辐射率调整应用于红外图像以补偿大气干扰。例如,控制器112可以被配置为将在框804中确定的辐射率调整应用于在框806中接收的红外图像,以补偿红外相机140和目标450之间的大气干扰和/或其他类型的干扰和/或环境影响,如本文所述。

根据这里描述的实施例,红外成像系统100可以被配置为检查和/或监测太阳能电力阵列,其他发电结构和/或其他结构。由于红外成像系统100可以提供这样的发电结构的高度准确和可靠的辐射测量热图像,因此实施例能够通过可靠且精确地查明低效(例如,脏)和/或故障的太阳能电池板或太阳能电池板结构(例如,各个太阳能电池板内的结构)并且通过最小化其它不必要的维护和/或通过降低由于错过的温度指示的预防性维护而导致的操作成本来帮助提高效率。

图9示出了根据本公开的实施例的监测太阳能电池板阵列950的红外成像系统100的图900。如图9所示,红外成像系统100包括飞行平台100,该飞行平台100利用对太阳能电池板阵列950成像的红外相机140和被配置为测量背景辐射率904(例如,如图9所示,撞击辐照度检测器126和太阳能电池板阵列950)的大小和/或方向的面向上的辐照度检测器(例如,其他模块126)来实现。红外成像系统100可以被配置为使用背景辐射率904的大小和/或方向来提供太阳能电池板阵列950的操作效率的精确度量。

例如,在一个实施例中,红外成像系统100可以被配置为使用测量的背景辐射率904来补偿由太阳能电池板阵列950提供的发射率和/或反射背景辐射率。在一些实施例中,红外成像系统100可以被配置为从红外相机140捕获的红外图像中减去预期的反射背景辐射率(例如,基于背景辐射率904的测量大小和/或入射角906、太阳能电池板的角度956和/或红外相机140的相对位置和/或取向的组合),以产生太阳能电池板阵列950的辐射测量热图像。在各个实施例中,红外成像系统100可以被配置为改变飞行平台110和/或红外相机140的位置和/或取向,以减少反射的背景辐射率(例如,通过从来自太阳能电池板阵列950的诸如太阳光的背景辐射的局部源的直接反射中移出)。

在另一个实施例中,红外成像系统100可以被配置为使用测量的背景辐射率904,例如以基于入射辐射率与输出能量的预期转换率来确定太阳能电池板阵列950(例如,包括单独的电池板和/或电池板结构)的预期热曲线,并检测与预期的热曲线的绝对定量偏差(例如,与更加定性的相对热差相反)。

在进一步的实施例中,红外成像系统100可以被配置成使用测量的背景辐射率904来基于测量的背景辐射率和来自太阳能电池板阵列950的功能部分的估计或测量的反射辐射率(例如,如由包括热特性的其他测量的特性所确定的)确定太阳能电池板阵列950(例如,包括单独的电池板和/或电池板结构)的估计的发射率。这种估计的发射率可用于表征成像目标的表面,例如太阳能电池板阵列950、结构顶部、柏油碎石(tarmac)、飞机的表面和/或成像目标的其他表面。

此外,本文描述的用于补偿大气干扰和/或其他干扰的任何方法可以与参照图9描述的方法结合使用,以帮助减少太阳能电池板阵列950的所得辐射测量热图像中的这种误差。

通过提供目标的高度准确和可靠(例如,可再现)的辐射测量热图像,本公开的实施例实现了比常规技术显著更实用的空中检查和监测技术。例如,红外成像系统100的实施例可以被配置为对结构的顶板成像,并基于使用本文公开的技术可检测的横跨顶板表面的温差来确定顶板的多个部分被损害并且显示水分饱和度高于热效率和防风雨顶板可接受的水平。这种测量结构可以包括基于测量的背景辐射率和目标的红外图像来估计目标的成像表面(例如,如顶板或太阳能电池板阵列950)的发射率。例如,对于一些材料,相对较低的发射率估计可能表明含水饱和度,而较高的发射率估计可能表明水珠。

图10示出了根据本公开的实施例的操作红外成像系统100的各种操作的流程图1000。在一些实施例中,图10的操作可以被实现为由与图1和图2中描绘的相对应的电子设备、传感器和/或结构相关联的一个或多个逻辑设备执行的软件指令。更一般地,可以用软件指令和/或电子硬件(例如,电感器、电容器、放大器、致动器或其他模拟和/或数字组件)的任意组合来实现图10的操作。

还应该理解的是,可以以与图10所示的实施例不同的顺序或排列来执行过程800的任何步骤、子步骤、子过程或块。例如,在其他实施例中,一个或多个块可以从过程中省略或添加到过程中。此外,块输入、块输出、各种传感器信号、传感器信息、校准参数和/或其它操作参数可以在移动到相应过程的后续部分之前,被存储到一个或多个存储器。尽管过程1000参照图1-2中描述的系统进行描述,过程1000可以由不同于那些系统并且包括电子设备、传感器、组件、移动结构和/或移动结构属性的不同选择的其他系统执行。

在框1002处,接收从飞行平台捕获的目标的红外图像。例如,控制器112可以被配置成从耦合到飞行平台110的红外相机140接收目标/太阳能电池板阵列950的红外图像。在各种实施例中,飞行平台110可以在目标950上方或附近飞行并且被配置为使红外相机140瞄准成像目标950。

在框1004处,接收与目标相关联的背景辐射率。例如,控制器112可以被配置为从飞行平台110的辐照度检测器(例如,其他模块126)接收与目标950相关联的背景辐射率测量结果。这种背景辐射率测量结果可以通过在接近目标950附近的区域和/或与目标950的高度大致相同的高度处测量而与目标950相关联。在一些实施例中,其他环境特征可以由用户测量和/或输入。

在框1006处,确定与目标相关联并且基于背景辐射率的辐射率调整。举例来说,控制器112可被配置为确定与目标950相关联的辐射率调整并且基于在框1004中从其它模块126接收的辐射率测量结果。在一些实施例中,辐射率调整可主要补偿反射的背景辐射率,如本文中所述。在其他实施例中,如本文所述,辐射率调整可基于各种附加环境特性并补偿其他环境干扰,诸如大气干扰、大气自发射、背景反射辐射率和/或其他有害环境影响。

在框1008处,将辐射率调整应用于红外图像以补偿由目标反射的反射背景辐射率。举例来说,控制器112可被配置为将框1006中确定的辐射率调整应用于框1002中接收到的红外图像,以补偿由目标950朝向红外相机140反射的反射背景辐射率和/或补偿其他类型的干扰并且/或环境影响,如本文所述。

额外的步骤和/或子步骤可以结合到过程1000中。例如,飞行平台110可以在辐照度检测器126面向上且红外相机140面向下的情况下实现,并且飞行平台110可以被配置成飞行到足够高的相对高度来在单个图像中捕获全部的太阳能电池板阵列950,其可用于(例如,利用由GNSS 118提供的位置数据)映射太阳能电池板阵列950和/或太阳能电池板阵列950的单独电池板或结构(例如,相对于彼此或太阳能电池板阵列950的位置的图表或地理地图)。在一些实施例中,这样的图像的地理范围可能受到限制,例如以限制所得辐射测量热图像中的基于距离的细节损失。红外成像系统100可以被配置为识别所得图像中的每个电池板,例如通过提供太阳能电池板阵列950的电池板的识别号码的映射来识别。

在这种映射之后,飞行平台110可以被配置为降低高度或以其他方式调整红外相机140的位置以允许太阳能电池板阵列950的各个电池板的相对高的分辨率/细节检查。红外成像系统100可以被配置为,通过在太阳能电池板阵列950的一部分上生成直方图或通过使用应用于太阳能电池板阵列950的电池板的图像的图案分析(例如,基于热差异),分析所得辐射测量热图像以用于系统故障和/或低效率,以检测系统故障和/或低效率和/或估计整个系统操作效率。

在替代实施例中,飞行平台110可以利用位于顶上的辐照度检测器126和面向下方的红外相机140实现,并且飞行平台110可以被配置为在太阳能电池板阵列950上方飞行栅格图案,同时捕获太阳能电池板阵列950的红外图像,以生成太阳能电池板阵列950的正交马赛克图像。(例如,与由GNSS 118提供的位置数据相关的)这种正交马赛克图像可以用于映射太阳能电池板阵列950和/或太阳能电池板阵列950的单独电池板或结构(例如,相对于彼此或太阳能电池板阵列950的位置的图表或地理地图)。红外成像系统100可以被配置为识别所得到的正交马赛克图像中的每个电池板,例如通过为太阳能电池板阵列950的电池板提供的识别号码的映射来识别。

在这样的映射之后,飞行平台110可以被配置为降低高度或以其他方式调整红外相机140的位置以允许太阳能电池板阵列950的各个电池板的相对高的分辨率/细节检查和相应的辐射测量热图像直方图分析、模式分析和/或其他图像或结构分析,如本文所述。这样的分析可以包括模式识别和/或报告未根据设定或提供的操作特性执行的阵列的百分比。

如本文所述,确定背景辐射率的入射角904(例如,太阳相对于红外相机140的取向的角度)对于补偿反射背景辐射率可能是关键的。来自太阳的眩光或闪光会降低太阳能电池板阵列950的辐照度测量结果和任何红外图像。在一些实施例中,为了帮助确定这样的(一个或多个)角度,飞行平台110可以利用相对于飞行平台110和/或红外相机140以不同角度瞄准的多个辐照度检测器来实现。在其他实施例中,可以利用每个捕获的红外图像和/或背景辐照度测量结果来确定或测量并且记录一天中的时间和红外相机140的绝对位置和/或取向,以允许角度904的捕获后计算。

在另外的实施例中,可以分析由红外相机140捕获的一系列红外图像以检测不相对于图像框边界移动在飞行期间的图像伪影和/或异常;移动异常可能是由闪烁引起的,并且可以补偿或从分析中移除,非移动异常可能指示应该进一步调查的太阳能电池板阵列950的问题区域。在各种实施例中,可以执行飞行平台110的多经过时间飞行,以允许太阳能电池板阵列950的电池板的时间差别的比较,这可以用于跟踪随时间的退化并指示抢先维护。

图11示出了根据本公开的实施例的监视结构的多个无人机系统的图。图11可以包括飞行平台110-1和110-2。飞行平台110-1和110-2的每一个可以包括至少一个红外相机140并且可以由一个或多个基站130控制。飞行平台110-1和110-2可以对可能包括结构1102的场景成像。飞行平台110-1可以处于第一高度的第一位置,并且飞行平台110-2可以处于第二高度的第二位置。飞行平台110-1和110-2可以由例如基站130和/或聚合服务器160中的一个或多个进行命令。例如,在某些实施例中,基站130可以是飞行平台110-1和/或110-2的唯一命令点。在其他实施例中,飞行平台110-1和/或110-2可以仅由聚合服务器160命令(例如,当远程用户可以命令飞行平台110-1和/或110-2时)和/或可以由基站130和聚合服务器160的组合或两者中的每一个来进行命令。

在某些实施例中,飞行平台110-1和110-2中的一个或两个可以通信地连接到聚合服务器160。飞行平台110-1和/或110-2可以对场景成像并且发送与场景相关联的数据(例如,热数据)到基站130和/或聚合服务器160,以构建场景的三维表示。

飞行平台110-2可位于羽流1104内。飞行平台110-1和/或110-2可包括例如可检测空气中的颗粒计数的浊度计。在图11中,飞行平台110-1可以例如检测羽流1104内的高微粒数。在某些情况下,飞行平台110-1可以检测到羽流1104可能不是污染羽流(例如,飞行平台110-1可以检测到羽流1104处于与周围环境基本上相同的温度,可以利用一氧化碳传感器检测羽流1104内的一氧化碳与周围环境没有显著不同,和/或可以检测到羽流1104内的正常量的臭氧)。这样,飞行平台110-1、基站130和/或聚合服务器160(例如,连接的计算设备和/或网络)可以确定羽流1104可以是例如尘云,并且可以相应地调整羽流1104内对象的所确定的辐照度和/或温度。另外,飞行平台110-1可以对结构1102进行成像。当飞行平台110-1检测到它在羽流1104内时,其也可以相应地调整所确定的辐照度和/或结构1102的温度。

在另一个示例中,飞行平台110-1可以确定羽流1104可能是污染羽流。例如,飞行平台110-1可以确定羽流1104内的温度明显高于周围环境,可以确定一氧化碳和/或二氧化碳浓度显著高于周围环境,可以确定羽流1104附近的地面指示火灾,检测指示泄漏的空气移动,和/或可以指示羽流110是污染羽流的其他此类确定。因此,飞行平台110-1、基站130和/或聚合服务器160(例如,连接的计算设备和/或网络)可以调整来自该区域内的热量读数以确定是否存在污染羽流。

在某些其他实施例中,例如,缺少羽流1104的实施例,飞行平台110-1和110-2可以分别从第一位置和第二位置对结构1102进行成像。这样,飞行平台110-1和/或110-2、基站130、聚合服务器160和/或另一这样的处理器可以确定位置差异并且校正位置差异。从飞行平台110-1确定的温度和/或辐照度可以与飞行平台110-2的温度和/或辐照度进行比较。可以从这种比较中确定可能的误差,并且还可以分析差异以确定例如诸如风、微粒水平、温差和/或其它这样的条件的环境条件。

而且,飞行平台110-1和/或110-2可以配备有一个或多个HDR相机。这种HDR相机在较短的成像距离处比在较长的成像距离处更可能使成像对象饱和。这样,当对结构1102成像时,飞行平台110-1可以能够获得比飞行平台110-2更大的场景动态范围。这样,例如,如果期望更大的动态范围,则来自飞行平台110-1的图像可以用于构建二维或三维模型。另外或可选地,在某些实施例中,可以将滤波器应用于获得的图像。

某些实施例可以构建来自多个数据源(例如,飞行平台110-1、110-2和/或其他附加源)的区域的二维或三维表示。例如,可以从飞行平台110-1和/或110-2的组件(例如,红外相机、视觉相机、环境传感器和/或耦合到飞行平台110-1和/或110-2的其他组件)传送信息到聚合服务器160。聚合服务器160可以接收这样的信息并构建二维和/或三维点模型。在某些实施例中,聚合服务器160可以构建这样的点模型,可以组合来自其他源的信息。因此,信息是诸如天气信息和/或预测、来自第三方的气压计信息、火灾报告、来自其他飞行平台和/或红外相机的信息、卫星信息、由其他服务器做出的确定和/或其他这样的信息。在某些其他实施例中,飞行平台110、红外相机140、基站130和/或其他设备可以帮助或完全构建二维和/或三维点模型。

如图11所示,聚合服务器160可以通信地连接到基站130。基站130可以通信地连接到飞行平台110-1和110-2(例如,通过远程数据连接)。这样,基站130可以将信息(例如,命令)传送到飞行平台110-1和110-2,并且可以从飞行平台110-1和110-2和/或耦合到飞行平台110-1和/或110-2的组件接收信息(例如,热数据)。在某些实施例中,基站130还可以与聚合服务器160进行通信。在这样的实施例中,从飞行平台110-1和/或110-2和/或与其附接的组件接收的信息可以从基站130传送到聚合服务器160。在某些其他实施例中,从聚合服务器160发出的命令可以被传送到飞行平台110-1和/或110-2和/或与其附接的组件,可以由基站130接收,然后如此通信。其他实施例可以直接将来自聚合服务器160的指令传送到飞行平台110-1和/或110-2或其组件(例如,经由4G或其他无线通信网络)。

某些这样的表示可以从接收到的新数据周期性地或连续地更新。这样,来自飞行平台110-1和110-2的成像数据可以传送到例如聚合服务器160,以更新这样的模型。例如,可以基于成像数据监测和/或更新诸如海湾或海洋的一部分的水体。这种成像可以允许检测例如水体内的温度变化(例如,热点和/或冷点)。这些信息可能会改善水产养殖。在某些这样的实施例中,聚合服务器160可以例如确定可能需要附加成像和/或信息的区域。例如,聚合服务器160可以确定某些区域可能尚未在阈值时间段内被更新。这样,聚合服务器160可以提供飞行平台飞越并对区域成像的请求和/或命令。在某些实施例中,这样的命令可以包括例如多次飞越区域、飞行的特定路线、要避开的区域、速度和/或高度命令和/或其他这样的命令的命令。

另外,聚合服务器160可以接收涉及飞行平台110-1和/或110-2的状态的信息。然后,聚合服务器160可以确定飞行平台110-1和/或110-2的状态特征(例如,航向、飞行速度、位置、加速度、空中时间和/或其他特征)并调整和/或校正从飞行平台110-1和/或110-2和/或其附接的红外相机所接收的信息。例如,由这种红外相机捕获的热数据可以例如根据相对应的飞行平台的所确定的速度和/或航向进行调整。另外,聚合服务器160可以响应于特征而向飞行平台110-1和/或110-2发出命令。

图12示出了根据本公开实施例的操作红外成像系统以生成点模型的各种操作的流程图。在框1202中,可以将热数据传送到服务器。热数据可以是例如热数据、辐射率数据、温度数据和/或由红外相机捕获的其他此类数据。另外,在框1202的某些实施例中,可以将附加信息(例如,环境数据)传送到服务器。这些附加信息可以校正、调整和/或修改热数据。而且,聚合服务器可以接收涉及飞行平台的状态(例如,航向、飞行速度、位置、加速度、空中时间和/或其他特征)的信息。

在框1204中,服务器可以根据例如在框1202中接收的信息和/或从飞行平台、基站、红外相机和/或其他来源接收的其他信息来构建二维和/或三维点模型。在某些实施例中,点模型可以用于生成二维和/或三维表示。例如,可以生成二维和/或三维热数据(例如,显示检测到的温度的模型)。而且,在某些这样的实施例中,可以根据飞行平台的状态来校正用于生成点模型的信息。聚合服务器还可以检测点模型内的热点,并检测这些热点何时小于某个阈值大小(例如,小于10×10像素)。在某些条件下,这样的小点可以指示由红外相机成像的热点比实际温度更暖和/或更冷。在这样的实施例中,聚合服务器可以检测低于阈值大小的这样的热点并且对这样的小点应用校正因子。

在某些实施例中,与点模型的生成同时,飞行平台和/或红外相机可以获取附加信息。在某些这样的实施例中,可以连续地生成和/或更新点模型。这样,在框1206,可以从飞行平台、红外相机和/或基站接收更新的信息。在某些实施例中,服务器可以请求和/或提供飞行平台和/或红外相机获取这样的附加信息(例如,提供飞行路线)的指令,而其他实施例可以让用户命令飞行平台和/或红外相机获取这样的信息(例如,通过来自基站130的命令)。在某些这样的实施例中,响应于与飞行平台的状态(例如,航向、飞行速度、位置、加速度、空中时间和/或其他特征)相关联地接收的信息,可以发出这样的命令。

在框1208中,可以利用在框1206中接收的信息来更新点模型。在某些实施例中,服务器可以确定是否用所接收的信息更新点模型和/或是否为所接收的信息分配权重以增加和/或减少它们对更新的点模型的影响。另外,在更新模型之后,服务器还可以确定点模型的某些部分是否需要额外的更新。如果服务器确定模型的某些部分需要额外的更新,则可以向飞行平台和/或红外相机提供附加指令。在某些这样的实施例中,可以根据一个或多个飞行平台的确定的状态发布这样的附加信息。这样,如果服务器确定需要来自特定区域的进一步信息,则它可以例如确定到这样的区域的行进时间最短并且当前没有执行任务的那些飞行平台(例如,最接近该区域的飞行平台或已朝向该区域的总体方向前进的飞行平台)并向飞行平台提供指令以从该区域获取信息。

图13示出了根据本公开实施例的用于生成热正交马赛克图像的系统的框图。图13中的系统可以包括机身1302(例如,一个或多个飞行平台110)、红外相机1304(例如,一个或多个红外相机140)、文件结构1306(例如,存储在飞行平台110、红外相机140、基站130和/或聚合服务器160中的一个或多个存储器中的数据)、航空电子设备1308(例如,安装在飞行平台110,基站130和/或聚合服务器160上的用于驾驶和/或控制飞行平台110的系统和/或传感器,例如速度传感器、航向传感器、加速度传感器、脉冲传感器、位置传感器和/或被配置为检测与飞行平台110的驾驶相关联的参数的其他此类传感器)、辐射测量仪1310(例如,附加传感器,诸如可见光传感器、高温计和/或测量对象的辐射测量的其他这样的设备和/或技术等)。

来自机身1302、红外相机1304、文件结构1306、航空电子设备1308和/或辐射测量仪1310的数据可以在框1312中聚合和/或用于某些目的。例如,可以收集热图像并且可以聚合这样的图像和/或将这样的图像缝合在一起。另外,热读数可以聚合到点云中。可以将这样的点云处理成三维模型(例如,环境的三维热模型)。此外,可以分析这样的热数据和/或模型,使得例如可以通过这样的热数据、热图像、聚合的热图像、点云和/或三维模型来确定飞行路径和/或其他飞行计划。在某些这样的实施例中,例如,可以从数据确定一个或多个环境条件,并且可以响应于条件确定飞行路径和/或计划。

在某些实施例中,热服务1314可以提供用于在框1312中的图像、点云和/或模型的创建,聚合和/或分析的技术、工具和/或其他支持或过程。例如,这样的热服务可包括一个或多个图像的图像增益和/或偏移归一化,超分辨率技术,点云密度化技术和/或辐射测量处理。通常,这样的服务可以校正从机身1302、红外相机1304、文件结构1306、航空电子设备1308和/或辐射测量仪1310接收的数据,以更准确地确定环境的热条件。例如,这样的服务可以确定飞行平台110的路径长度、入射角、速度和/或高度、湿度、灰尘条件和/或环境温度、太阳强度和位置和/或红外相机140的视场并校正这些因素。

在框1312中处理的数据可以被传送到框1316以创建三维热马赛克。可以从例如在框1312中创建的点模型来创建三维热马赛克。三维热马赛克可以使用点模型中的一些点或所有点来渲染环境的三维热模型。

热正交马赛克的后处理可以包括在框1318中由红外相机140的提供商和/或制造商执行的主要后处理和/或在框1320中由辅助源执行的后处理。后处理可以包括例如,分析三维热模型(例如,确定较高温度区域、异常温度区域和/或其他此类确定)、聚合多个点云模型和/或正交马赛克,和/或这种热正交马赛克的其他后处理。在某些实施例中,这种后处理可以通过例如由提供者和/或制造商或辅助源提供的软件完全地或部分地完成。然后可以在框1322和1324中输出这种后处理的结果。

图14示出了根据本公开实施例的禁用UAS相机的过程的流程图。例如,某些政府法规禁止向某些国家或地区出口具有某些能力的UAS和/或红外相机。另外,某些区域可能禁止带有某些红外相机(例如,所有红外相机或具有某些能力的红外相机)的UAS的飞行。禁止出口或禁止使用带有某些红外相机的UAS飞行的这些区域和/或国家可以被称为“禁止区域”。可以执行图14所示的过程以检测可以安装到飞行平台110的红外相机140的位置,并确定红外相机140是否位于这样的限制区域内。另外,图14中所示的过程还可以由红外相机140的实施例执行,该红外相机140可以不耦合到飞行平台,因此不从飞行平台接收数据。

在框1402中,可以将红外成像系统(例如,红外成像系统100)加电。这样,在框1402之前,红外成像系统可以被关闭或处于睡眠模式。使用红外成像系统100作为示例,在框1402中,可以向红外成像系统100的一个或多个系统(例如,飞行平台110、基站130和/或红外相机140的一个或多个系统)提供电力。

在框1404中,在红外成像系统100加电之后,红外成像系统100可以检测其在红外成像系统100内的位置或红外相机140的位置。在某些情况下,红外相机140可以耦合到飞行平台110,因此红外相机140和飞行平台110的某些系统可以通信地连接。因此,可以利用来自GNSS 118、取向传感器114、其他模块126、通信模块120、陀螺仪/加速计116、GNSS 150、取向传感器148、通信模块144,其他模块152和红外成像系统100的其他系统中的一个或多个的数据来确定红外相机140的位置。

例如,红外相机140可以从GNSS 118和飞行平台110的其他系统接收数据。然后,红外相机140可以使用来自GNSS 118的数据(例如,来自外部位置数据源的位置数据)来计算红外相机140的位置。在另一示例中,来自GNSS 150的数据可以由红外相机140使用以计算红外相机140的位置。在另一示例中,红外相机140可以从通信模块120和/或144接收数据。来自通信模块120和/或144的数据可以包括红外相机140然后可以用来计算其位置的信息。

在另一示例中,红外相机140可以耦合到飞行平台110。飞行平台110可以通过例如来自GNSS 118和/或150或其他系统的数据来计算飞行平台110和/或红外相机140的位置(例如,利用控制器112和/或其他系统),然后可以将计算的位置传送到红外相机140。

在某些实施例中,红外相机140的位置可以在加电期间(例如,与框1402同时)或在加电之后不久确定。另外,红外成像系统100和/或红外相机140可以在加电之后连续检查以确认红外相机140的位置。因此,在加电之后,可以使用来自GNSS 118和/或150、通信模块120和/或144和其它系统的数据来计算红外相机140的位置。在某些这样的实施例中,可以周期性地(例如,在预定义的时间段之后)、在移动经过飞行平台110和/或红外相机140的某个阈值(例如,经过一定距离、加速度或速度)时、在红外成像系统100内的通信模块接收某些命令时和/或在满足某些其他条件时,计算红外相机140的位置。

在某些情况下,GNSS 118和/或150与某些导航数据源(例如,卫星、蜂窝电话塔和/或其他设备)之间的通信可能丢失。在这种情况下,红外成像系统100内的其他系统可以用于确定红外相机140的位置。在某些实施例中,这种确定可以基于最后计算的位置(例如,最后用GNSS数据确定的位置),并且可以执行附加的计算以从最后计算的位置确定红外相机140的新位置。例如,来自陀螺仪/加速度计116以及可以确定与惯性相机的运动相关联的动态数据的其他系统(例如惯性测量系统)的数据可以用于确定从最后计算位置的行进的距离和/或方向,并因此计算红外相机140的当前位置。

在某些实施例中,还可以确定红外相机140的配置。这样,红外相机140可以包括指示其配置的数据,例如内部代码。红外相机140、飞行平台110、基站130和/或红外成像系统100的其他系统可以确定红外相机140的配置。

在框1404中确定了红外相机140的位置之后,然后在框1406中确定红外相机140是否处于禁止位置。在某些实施例中,成像系统100内的存储器可以包括指示禁止位置的列表的数据。然后可以针对禁止位置的列表检查计算出的红外相机140的位置。禁止的位置可以是例如禁止出口红外相机140或不允许UAS操作的位置。在某些实施例中,可以更新列表,例如,通信模块120、136和/或144可以接收通信,指示禁止位置的更新的列表。可以当在列表中添加或删除区域时接收指示更新的列表的通信,可以周期性地接收指示更新的列表的通信,或者可以由于其他原因接收指示更新的列表的通信。禁止的位置可能包括国家、州、省、城市和/或国家、州、省和城市内的区域以及其他地理区域。在确定了红外相机140的位置之后,某些这样的实施例可以更新或尝试更新禁止位置的列表。如果计算的红外相机140的位置在禁止位置内,则该过程可以继续到框1408。如果确定红外相机140不在计算的位置内,则该过程可以回到框1404或者可以结束。

除了确定所计算的位置是否是禁止位置之外,某些实施例还可以确定在禁止位置内是否禁止红外相机140的配置。在这样的示例中,在禁止的位置内仅可以禁止红外相机140的某些配置。因此,然后可以检查红外相机140的配置以确定配置是否是在该位置内禁止的配置。如果红外相机140是当前位于禁止位置内的禁止配置,则该过程可以继续到框1408。否则,该过程可以回到框1404或者可以结束。

在框1408中,禁用红外相机140。可暂时禁用红外相机140(例如,红外相机140或红外相机140的某些功能可能在红外相机140被确定处于禁止位置内时不起作用)或永久禁用(例如,红外相机140或红外相机140的某些功能可以被永久禁用)。附加地或替代地,在框1408中还可以影响由红外相机140输出的数据和/或图像的质量,例如帧速率、分辨率、颜色深度和其他参数。禁用红外相机140可以防止红外相机140获得某些或所有图像和/或视频。红外相机140可以电子地(例如,通过可以关闭某些功能的软件)或机械地(例如,通过致动保险丝或通过机械动作,例如,移除导线或以其他方式损坏红外相机140的部分)禁用。

除了禁用红外相机140之外或作为其替代,在框1408中,还可以防止飞行平台110操作。因此,如果检测到红外相机140、飞行平台110或红外成像系统100的另一部分在禁止位置内,则可以指示飞行平台110尽管操作者输入但不起飞或者指示飞行平台110着陆。另外,可以在例如基站130的用户接口132上显示指示或消息,以向用户传达红外相机140和/或飞行平台110正在禁止位置上进行操作。

图15示出了根据本公开实施例的根据图14的过程禁用UAS相机的示例。图15示出了两个飞行平台,飞行平台110-1和110-2,每个飞行平台可包括耦合到相应飞行平台的红外相机。飞行平台110-1可以位于禁止位置1560的外部,而飞行平台110-2可以位于禁止位置1560内。

飞行平台110-1可确定其位置,然后确定其不在禁止位置1560内。因此,飞行平台110-1和/或其附接的红外相机可正常操作。

飞行平台110-2可以确定其位置,然后确定它在禁止位置1560内。飞行平台110-2还可以确定其红外相机的配置。如果禁止其红外相机的配置位于禁止位置1560内和/或禁止将其红外相机的配置出口到到禁止位置1560,则飞行平台110-2和/或其附接的红外相机可以禁用所附接的红外相机。

在某些实施例中,可以永久地禁用飞行平台110-2的附接的红外相机。在其他实施例中,可以临时禁用附接的红外相机。也就是说,一旦检测到红外相机在禁止位置1560之外(例如,可以位于例如所示的飞行平台110-1所处于的位置处),则红外相机的禁用部分可以再次发挥作用。另外,一些实施例可以确定飞行平台和/或其附接的红外相机何时进入了禁止位置(例如从飞行平台110-1的位置移动到飞行平台110-2的位置)并且可以一旦做出这样的确定就禁用附接的红外相机。

虽然在此描述了太阳能电池板检查的环境,但是可以设想其他结构和/或环境,诸如牛群追踪(例如位置和/或健康状况),采矿检查,化学品泄漏检查,大型分配管道检查,栖息地调查,海龟繁殖场,鳄鱼巢绘图,精确农业和/或其他可从本文所述的高度准确和/或可靠(例如,可重复)的辐射测量热图像分析中获益的环境。

在适用的情况下,可以使用硬件、软件或硬件和软件的组合来实现由本公开提供的各种实施例。同样在适用的情况下,在不背离本公开的精神的情况下,可将本文阐述的各种硬件组件和/或软件组件组合成包括软件、硬件和/或两者的复合组件。在适用的情况下,在不背离本公开的精神的情况下,本文阐述的各种硬件组件和/或软件组件可以被分成包括软件、硬件或两者的子组件。另外,在适用的情况下,可以预期软件组件可以被实现为硬件组件,反之亦然。

根据本公开的软件,诸如非暂时性指令、程序代码和/或数据,可以存储在一个或多个非暂时性机器可读介质上。还可以预期的是,可以使用一个或多个通用或专用计算机和/或计算机系统以网络和/或其他方式来实现本文中所标识的软件。在适用的情况下,本文描述的各种步骤的顺序可以被改变、被组合成复合步骤和/或分成子步骤以提供本文描述的特征。

以上描述的实施例说明但不限制本发明。还应该理解的是,可以根据本发明的原理进行多种修改和变化。因此,本发明的范围仅由所附权利要求限定。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1