在显示器之间传输由远程载具捕获的图像的注释的制作方法

本公开涉及用于结构的检查的系统。

背景技术：

诸如无人驾驶飞行器(uav)等载具有可能显著改进检查各种检查目标诸如桥梁、输电塔、农田、建筑物、天线等的方法。例如，uav可能能够进入人们难以进入的区域，诸如桥梁的下表面，或靠近输电塔的区域，在那里载人飞行器难以安全地飞行。

技术实现要素：

一般来讲，本公开涉及改进用于执行检查服务的计算系统的技术。例如，本公开的技术可以提高使用uav进行检查的有效性。该技术允许两个远程用户在呈现从载具接收的图像的设备上创建和交换注释。

例如，主设备被配置为远程控制载具的移动。主设备和辅助设备可以从载具接收数据信号并基于从载具接收的数据信号向用户呈现图像。主设备还可以接收指示来自辅助设备的注释的数据信号，并且基于从辅助设备接收的数据信号呈现带有注释的图像。

在一些示例中，用于远程控制载具的移动的主设备包括显示器和通信模块，该通信模块被配置为将控制信号传输到载具以控制载具的移动，从载具接收数据信号，并且从辅助设备接收数据信号。在一些示例中，主设备还包括处理电路，该处理电路被配置为基于从载具接收的数据信号来确定一个或多个图像，基于从辅助设备接收的数据信号来确定一个或多个图像的一组注释，并经由显示器呈现一个或多个图像和该组注释。

在一些示例中，用于呈现由载具捕获的图像的辅助设备包括显示器、被配置为从载具接收数据信号的通信模块、以及被配置为基于从载具接收的数据信号来确定一个或多个图像并经由显示器呈现一个或多个图像的处理电路。该辅助设备还包括被配置为接收用户输入的输入设备。该处理电路被进一步配置为基于用户输入来确定一个或多个图像的一组注释，并使通信模块将该组注释传输到远程控制载具的移动的主设备。

在一些示例中，用于远程控制载具的移动的方法包括由设备的处理电路并经由设备的通信模块将控制信号传输到载具以控制载具的移动。该方法还包括由处理电路并经由通信模块从载具接收数据信号并从辅助设备接收数据信号。该方法还包括由处理电路基于从载具接收的数据信号来确定一个或多个图像，并且由处理电路基于从辅助设备接收的数据信号确定一个或多个图像的一组注释。该方法包括由处理电路并经由设备的显示器呈现一个或多个图像和一组注释。

在一些示例中，用于呈现由载具捕获的图像的方法包括由辅助设备的处理电路并且经由辅助设备的通信模块从载具接收数据信号。该方法还包括由处理电路基于从载具接收的数据信号来确定一个或多个图像，并且由处理电路并经由辅助设备的显示器呈现一个或多个图像。该方法还包括由处理电路并且经由辅助设备的输入设备接收用户输入，并且由处理电路基于用户输入确定一个或多个图像的一组注释。该方法包括由处理电路使通信模块将该组注释传输到远程控制载具的移动的主设备。

本公开的一个或多个示例的细节在以下附图和说明书中阐述。其他特征、目的和优点将从描述、附图以及权利要求书中显而易见。

附图说明

图1是包括载具、主设备和辅助设备的示例性系统的概念性框图。

图2示出了用于执行检查的示例性系统，该示例性系统可被配置为实现本公开的技术。

图3是示出可用于实现本公开的技术的载具的示例性部件的框图。

图4是示出根据本公开的技术的检查管理系统的示例性部件的框图。

图5a至图5e示出了描绘输电塔的图像上的示例性注释。

图6和图7是示出根据本公开的技术的主设备和辅助设备之间注释的传输的流程图。

具体实施方式

在诸如无人驾驶飞行器(uav)的载具正被用于检查的一些示例中，主设备的用户可以是控制uav的飞行的uav操作员，并且辅助设备的用户可以是检查主题的专家。本公开的设备、系统和技术可以允许辅助设备的用户(例如，主题专家)将注释从辅助设备发送到主设备，该主设备由例如载具操作员实时地使用。因此，载具操作员可通过主设备来控制载具和载具的机载相机，以按照主题专家的指示捕获照片和/或视频，这可以提高检查的有效性和完整性。在检查期间在设备之间传输注释可以例如降低必要的第二次检查的可能性，或者以其他方式提高载具成功完成任务的可能性。

例如，主设备(例如，地面控制站和/或平板电脑)的用户可以控制uav以执行对桥梁的检查。uav和/或主设备具有将数据(例如，图像)发送到包括用于第二用户的显示器的远程或辅助设备的能力。观看辅助设备上的显示器的第二用户可以是桥梁结构工程方面的专家。因此，这两个用户可能具有不同的专业知识。载具操作员可能知道如何操作载具并使用载具的机载相机捕获图像，但是载具操作员可能不理解检查的主题(例如，桥梁的结构工程)。主题专家理解桥梁的结构工程，但可能不知道如何操作载具并高熟练度地捕获图像。

uav可以在检查桥梁期间捕获图像(例如，静止图像或视频)并将数据信号传输到主设备和辅助设备。主题专家可以在由辅助设备呈现的图像上创建注释。辅助设备的用户可以设法以图形方式向第一用户(例如，载具操作员)传达信息，以给出与定位或缩放uav上的相机或其他动作相关的指示。语音通信麻烦且低效，并且可能减损第一用户的情况感知。此外，主设备的用户和辅助设备的用户可能处于不同的位置并且可能不会说同一种语言。

根据本公开的技术，辅助设备可以将由第二用户创建的注释(例如，文本和图形信息)传输到主设备，以在主设备上与图像一起呈现。因此，载具操作员可以在检查期间查看来自主题专家的注释。设备可以进行双向通信，使得两个用户都可以在他们的设备上创建注释以便传送至另一个设备并由另一个设备呈现。载具操作员可以在主设备上创建注释并将这些注释传送至辅助设备。

通过将注释从辅助设备发送至主设备，主题专家可以告知载具操作员进一步检查桥梁的哪些区域。例如，主题专家可以圈出、突出显示、标记和/或放大主题专家想要附加照片的桥梁的位置和区域。如果主题专家在桥梁的照片中看到可能的危险(例如，裂缝、故障等)，则主题专家可以给示出可能的危险的图像的一部分作注释。因此，本公开的系统、设备和技术可以减少载具操作员错过重要检查区域的机会，因为跟随辅助设备的主题专家可以实时地向主设备发送注释。在其他示例中，主题专家可能能够给图像作注释以指示图像是可接受的还是不可接受的。在图像可接受的情况下，载具操作员可将载具移动到新位置以继续检查。在图像不可接受的情况下，载具操作员可以将载具保持在当前位置并捕获附加图像，直到主题专家指示已捕获到了可接受的图像。

与用于在检查期间进行通信的其他技术相比，载具操作员和主题专家可以通过他们的设备实时或接近实时地通信以提高检查的效率。例如，如果载具操作员和主题专家仅使用音频(例如，使用移动电话)来传送关于检查的信息，则与将注释从辅助设备传输到主设备相比，主题专家可能更难以告知载具操作员在何处捕获图像。又如，载具操作员和主题专家在检查期间出现在相同位置或者在检查期间查看相同显示器可能并不总是可行或方便的。

本公开的系统、设备和技术可以允许载具操作员和主题专家在检查期间查看单独的显示器并进行通信。此外，本公开的系统、设备和技术可以降低捕获附加图像所必需的第二次检查的可能性，因为主题专家可以通过辅助设备将附加图像的位置传送到主设备。与将注释存储到计算系统以供稍后查看相比，在创建注释时(或之后不久)传输注释可以缩短完成检查过程所需的时间。因此，本公开的技术可以提供用于在检查期间和/或在载具的任何其他使用期间进行通信以捕获图像的技术解决方案。

在没有本公开的系统、设备和技术的情况下，具有主设备的载具操作员可能必须执行单独检查并捕获图像。然后，主题专家可以稍后查看图像并作出注释以指示在后续检查期间要捕获的附加图像。但是，进行两次检查增加了检查过程的成本和时间。相比之下，即使当载具操作员和主题专家不在相同位置时，本公开的技术也可允许载具操作员和主题专家使用两个设备进行单次检查。这两个设备可以允许载具操作员和主题专家之间实时或接近实时地通信，使得主题专家可以在检查完成之前指示载具操作员捕获特定位置和区域的图像。本公开的系统、设备和技术可以显著提高主设备的用户与辅助设备的用户之间的通信效率。

图1是包括载具100、主设备110和辅助设备150的示例性系统的概念性框图。主设备110可以是主输入/输出设备，用户(例如，载具操作员)通过该主输入/输出设备与载具100交互以通过控制信号132控制载具100的运动，并且包括处理电路120、通信模块130、显示器140、输入设备142和存储器146。辅助设备150是从载具100接收数据信号104并经由数据信号106与主设备110通信的辅助设备。辅助设备150包括处理电路160、通信模块170、显示器180、输入设备182和存储器186。

载具100被配置为从主设备110接收控制信号132。载具100可包括马达和/或引擎，以基于从主设备110接收的控制信号132使载具100移动。载具100在本文中被描述为uav，但是载具100可以是任何有人驾驶或无人驾驶飞机、陆地载具、海上载具、空间载具和/或任何其他类型的载具。

载具100可以是任何类型的uav，包括但不限于四轴飞行器、旋翼飞行器、固定翼飞机、复合飞机(诸如倾转旋翼飞机、x2和x3)、浮空器或任何其他这种类型的uav，包括所有垂直起降(vtol)飞机、立式起落飞机等。载具100可被构造成以不同程度的自主性飞行。在一些示例中，载具100可以处于主设备110的用户的恒定或接近恒定的控制之下。在其他示例中，主设备110可向载具100递送任务(包括飞行计划)，并且载具100上的处理电路可被配置为在几乎没有或没有附加用户输入的情况下执行任务。在一些示例中，载具100可以使用雷达和/或lidar来避免碰撞。

虽然本公开的技术不限于任何特定类型的uav，但是载具100可以是例如相对小型的低空低速uav，其中在这种情况下，小型对应于低于一百磅，低空对应于地面上方低于3000英尺的操作高度，并且低空速对应于低于250节的空度。此外，设想载具100可具有悬停能力，意味着载具100可具有保持在空气中的大致恒定位置的能力。

载具100可包括机载处理电路和相机。载具100的机载相机可以自主地和/或基于控制信号132捕获图像(例如，照片或视频)。载具100然后可以经由数据信号102和104将图像传输到设备110和150。

主设备110被配置成通过控制信号132控制载具100的移动。在一些示例中，主设备110和/或辅助设备150包括通用设备或者是通用设备的一部分，这些通用设备是诸如个人数字助理(pda)、膝上型计算机或台式计算机、平板电脑、蜂窝或卫星无线电话、移动设备诸如移动电话(例如，智能电话)和/或其他此类设备的设备。在设备110是通用设备的示例中，主设备110(例如，存储器146)可被加载并被配置为执行被设计用于控制载具100的软件。在辅助设备150是通用设备的示例中，辅助设备150(例如，存储器186)可被加载并被配置为执行被设计用于从载具100接收数据信号104并与主设备110交换数据信号106的软件。存储到存储器146和186的软件在被执行时可以使处理电路120和160基于用户输入144和184来确定注释，并且将注释作为数据信号106传输。存储到存储器146和186的软件在被执行时可以使处理电路120和160基于从其他设备接收的数据信号106来确定注释，并经由显示器140和180呈现注释。

在其他示例中，主设备110是专门设计用于控制载具100、从载具100接收数据信号102、与辅助设备150交换数据信号106、经由显示器140呈现图像以及接收用户输入144的专用设备。辅助设备150还可以是专门设计用于从载具100接收数据信号104、与主设备110交换数据信号106、经由显示器180呈现图像以及接收用户输入184的专用设备。主设备110包括用于控制载具100的移动的飞行控制和导航系统。设备110和/或150可包括手持设备并且/或者是地面控制基站的一部分。

本文所述的处理电路120以及其他处理器、处理电路(例如，处理电路160)、控制器、控制电路等可包括一个或多个处理器。处理电路120和/或160可包括集成电路、分立逻辑电路、模拟电路诸如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)或现场可编程门阵列(fpga)的任何组合。在一些示例中，处理电路120和/或160可包括多个部件，诸如一个或多个微处理器、一个或多个dsp、一个或多个asic或一个或多个fpga以及其他分立或集成逻辑电路和/或模拟电路的任何组合。虽然图1将处理电路120和160示出为直接连接到通信模块130和170、显示器140和180、输入设备142和182、存储器146和186，但是设备110或150的任何部件可以直接连接到任何其他部件。例如，存储器146可被配置为存储直接从通信模块130接收的数据信号102或106，或者存储直接从输入设备142接收的用户输入144。

通信模块130被配置为经由信号102、106和132与载具100和辅助设备150通信。通信模块170被配置为经由数据信号104和106与载具100和主设备110通信。在一些示例中，通信模块130、通信模块170和/或载具100之间的链路可以是包括一个或多个中间设备(诸如网关、路由器、交换机、中继器或其他此类网络设备)的基于网络的链路。通信模块130和/或170可包括与载具100和/或设备110和150的任何有线连接或无线连接。例如，有线连接可包括以太网连接、同轴电缆、通用串行总线(usb)、rs-232和/或任何其他合适的协议。无线连接可包括wi-fi、蓝牙、射频无线、zigbee、专有协议和/或任何其他合适的协议。通信模块130和/或170可包括被配置为传输或接收信号102、104、106和132的无线接收器和/或无线发射器。

通信模块130被配置为将控制信号132传输到载具100以控制载具100的移动。控制信号132可以指示对载具100的预期操纵。控制信号132还可以使载具100的机载相机在特定时间、位置和角度捕获图像。通信模块130和170还被配置为从载具100接收指示由载具100捕获的图像和/或来自载具100的其他数据的数据信号102和104。通信模块130和170还被配置为经由设备110和150之间的双向链路传输和接收数据信号106，其中数据信号106可以指示由处理电路120和/或160确定的注释。通信模块130和170之间的通信链路可包括多个传输介质，包括使用云服务器和其他数据库(参见图2中所示的检查管理系统290)。通信模块130和170可被配置为传输和接收加扰和/或加密的消息，因为安全性对于信号102、104、106和132可能是重要的。

显示器140和180被配置为将由载具100捕获的图像呈现给设备110和150的用户。此外，显示器140和180还可以呈现由处理电路120和/或160确定的注释。显示器140和180可包括监视器、阴极射线管显示器、平板显示器诸如液晶(lcd)显示器、等离子显示器、发光二极管(led)显示器和/或任何其它合适的显示器。显示器140和180可以是具有内置显示器或独立显示器的个人数字助理、移动电话、平板电脑、膝上型计算机、任何其他合适的计算设备或它们的任何组合的一部分。设备110和150还可包括用于将音频投射到用户的装置，诸如扬声器。

输入设备142和182被配置为接收用户输入144和184，该用户输入可以指示对载具100的操纵(在输入设备142的情况下)、由显示器140和180呈现的图像的注释和/或任何其他输入。输入设备142和182可由物理接口和/或数字接口组成。物理输入设备可包括例如触摸屏、触摸板、操纵杆、按钮、杠杆、触发器、方向盘、鼠标、键盘和/或其他输入设备。在一些示例中，输入设备142和182包括虚拟输入设备，诸如显示任何数量的数字结构诸如按钮、滑块、菜单项或其他数字结构的屏幕。

用户输入144可以指示载具100移动的方向或位置。用户输入144和184可以指示载具100的机载相机要捕获的图像的位置。用户输入144和184可包括由显示器140和180呈现的图像上的标记、突出显示、文本、缩放级别、线条、箭头、圆圈和/或任何其他注释。用户输入144和184可包括文本、突出显示、绘图和/或语音便笺。用户输入144和184还可包括元数据，诸如文本、文件名或便笺。用户输入144和184可包括触摸屏输入、键盘/小键盘输入、鼠标输入，等等。

存储器146和186可被配置为存储例如图像、注释、控制信号132和/或数据信号102、104和106。在一些示例中，存储器146和186可以存储程序指令，该程序指令可包括可由处理电路120和/或160执行的一个或多个程序模块。当由处理电路120执行时，此类程序指令可以使处理电路120和/或160提供属于本文处理电路120和/或160的功能。程序指令可以体现在软件、固件和/或ramware中。存储器146和186可包括任何易失性、非易失性、磁性、光学或电子介质，诸如随机存取存储器(ram)、只读存储器(rom)、非易失性ram(nvram)、电可擦可编程rom(eeprom)、闪存存储器或任何其他数字媒体。易失性存储器的示例包括ram、动态随机存取存储器(dram)、静态随机存取存储器(sram)、集成随机存取存储器(iram)、半导体闸流管随机存取存储器(tram)、零电容随机存取存储器(zram)或任何其他类型的合适易失性存储器。非易失性存储器的示例包括光盘驱动器、磁盘驱动器、闪存存储器、rom、电可编程存储器(eprom)或eeprom形式或任何其他这种类型的非易失性存储器。

根据本公开的技术，处理电路120和160被配置为基于由通信模块130和170从载具100接收的数据信号102和104来确定一个或多个图像。处理电路120和160还被配置为经由显示器140和180呈现一个或多个图像。载具操作员和主题专家可以在载具操作员通过主设备110控制载具100的移动和载具100的图像捕获时查看在显示器140和180上呈现的一个或多个图像。

处理电路160可被配置为基于由输入设备182接收的用户输入184来确定一个或多个图像的一组注释(例如，“一组辅助注释”)。辅助设备150的用户可以在用户查看在显示器180上呈现的一个或多个注释时创建一组辅助注释。该组辅助注释可以指示在检查期间要捕获的附加图像的位置(参见例如图5a至图5e)。处理电路160被配置为使通信模块170将指示该组辅助注释的数据信号106传输到主设备110。

数据信号106可以至少部分地通过指示与注释相关联的一个或多个图像来指示注释。处理电路120和/或160可以将注释存储在与一个或多个图像相关联的可扩展标记语言(xml)文件中。可以使用图像的文件名、图像的时间戳或图像的帧编号将注释与图像相关联。在一些示例中，处理电路120和/或160可以将注释存储在文本文件或任何其他合适的文件格式中。为了呈现图像和注释，处理电路120和/或160可被配置为将xml文件与相关联的图像相关联。

另选地，处理电路120和/或160可被配置为将注释存储在与图像相同的位置(即，包含图像的文件位置)。注释可以存储在包含图像的文件中，其中注释可以是与图像分离的层。在一些示例中，注释可包括图像上的标记、突出显示、文本、涂鸦等，并且处理电路120和/或160可被配置为将注释作为与图像分离的层存储在图像文件中。处理电路120和/或160然后可被配置为将注释从图像的文件位置传输或应用到图像的文件位置或相关联的文件位置(例如，xml文件)。处理电路120和/或160可以经由通信模块130和/或170将注释文件作为数据信号106单独地传输或与图像文件一起传输。

处理电路120被配置为基于由通信模块130从辅助设备150的通信模块170接收的数据信号106来确定该组辅助注释。处理电路120可被配置为经由显示器140向一个或多个图像呈现该组注释。载具操作员可以查看该组辅助注释并控制载具100以基于该组辅助注释移动并捕获图像。

在一些示例中，处理电路120还被配置为基于由输入设备142接收的用户输入144来确定一个或多个图像的另一组注释(例如，“一组主要注释”)。载具操作员可以通过向输入设备142提供用户输入144来创建一组主要注释，例如，以便指示供辅助设备150的用户考虑的位置。处理电路120然后可被配置为使通信模块130将该组主要注释作为数据信号106传输到辅助设备150的通信模块170。

处理电路160被配置为基于由通信模块170从通信模块130接收的数据信号106来确定该组主要注释。处理电路160可被配置为经由显示器180呈现一个或多个图像以及该组主要注释。在一些示例中，辅助设备150的用户可以经由用户输入184来控制载具100的机载相机或载具100的其他动作。

本公开的系统、设备和技术可以允许回传注释，从而使辅助设备150能够与主设备110和系统中的任何其他设备通信。设备110和/或150可以通过传输通信的副本来“回传”通信。该系统可包括比图1中示出的两个设备更多的设备。回传到多个飞行员和远程显示器。在一些示例中，设备110或150可以将警报传送到现场的或远离主设备110所在的站点的另一设备。设备110和150可被配置为回传或接受由通信模块130或170接收的信息。接收设备可被配置为自动地将特定信息回传到传输设备或第三设备。

图2示出了用于执行检查的示例性系统，该示例性系统可被配置为实现本公开的技术。在图2的示例中，该系统包括载具200、控制器设备210、移动设备212、检查管理系统290、一个或多个计算设备250和网络294。载具200是图1中示出的载具100的示例，控制器设备210是图1中示出的主设备110的示例，并且计算设备250是图1中示出的辅助设备150的示例。移动设备212是图1中所示的设备110和150中的任一个的示例。

载具操作员可以使用控制器设备210来控制载具200的飞行路径。检查员可以使用移动设备212来控制安装在载具200上的传感器(诸如相机)，以对检查目标执行空中检查。检查管理系统290提供资源以支持基于uav的空中检查的端到端工作流程。用户可以使用计算设备250来与设备210和212以及检查管理系统290交互。网络294促进控制器设备210、移动设备212、检查管理系统290和计算设备250之间的通信。设备210、212和250可以彼此直接通信，或者设备210、212和250可以通过中间设备诸如网关、路由器、交换机、中继器或其他此类网络设备进行通信。

尽管在图2中示出为单独的设备，但是在其他示例中，控制器设备210和移动设备212的功能可以由公共设备来执行。此外，在其他示例中，载具200足够自主以避免需要飞行员使用控制器设备(诸如控制器设备210)来沿着飞行路径导航载具200。在一些示例中，设备210、212和/或250均包括通用设备，诸如膝上型计算机或台式计算机、平板电脑、蜂窝或卫星无线电话、智能电话或其他此类设备。设备210、212和/或250中的任一个或全部可包括专用设备，该专用设备专门设计用于控制载具200、从载具200接收数据信号202、204和/或208、与其他设备交换数据信号、通过显示器来呈现图像和/或接收用户输入。设备210、212和/或250中的任一个或全部可包括手持设备并且/或者是地面控制基站的一部分。

设备210、212和250分别经由通信链路202、208和204与载具200通信。在一些示例中，载具200被配置为经由例如无线通信链路208实时或接近实时地将数据流传输到移动设备212。移动设备212还可以经由通信链路208向载具200提供命令。通信链路208可以类似于通信链路202的方式来实现。通信链路202、204和208可以允许传输数据信号和控制信号，诸如图1中所示的信号102、104和132。例如，设备210、212和250中的一个的用户可以经由用户输入来创建注释，并且相应设备可以将注释传送到设备210、212和250中的另一个。

检查管理系统290包括一个或多个计算设备。例如，检查管理系统290可包括一个或多个计算设备，诸如膝上型计算机或台式计算机、平板电脑、服务器设备或另一种此类设备。检查管理系统290可被加载软件并被配置为执行软件，该软件被设计成提供资源以支持基于uav的空中检查的端到端工作流程。在一些示例中，控制器设备210与检查管理系统290通信以获得和发送数据，诸如飞行计划数据。设备210、212和250可以与检查管理系统290通信以检索和存储数据。

一个或多个相机218安装在载具200上。相机218可包括能够捕获可见光图像的一个或多个相机。在一些示例中，相机294可包括能够捕获红外辐射图像的一个或多个相机，或其他类型的相机或传感器。载具200可对各种类型的检查目标执行空中检查。例如，检查目标可以是建筑物、水坝、太阳能电池板阵列、风力涡轮机、纪念碑、桥梁、堤坝、海堤、码头、天线、火山、泵站、农业区域、输电塔或其他类型的人造或自然结构。

在一些示例中，载具200将捕获的图像保存在安全数字(sd)卡或其他类型的存储卡上，并且附加地或另选地也可以使用3g、4g、5g、窄带物联网(nbiot)或其他无线类型的传输技术在线转移到基于云的web服务器。在一些示例中，载具200配备有一个或多个差分全球导航卫星系统(gnss)设备，以帮助载具200导航到图像捕获位置。例如，载具200可配备用于实时运动学，其是一种可以为基站附近的载具200提供高定位性能的差分gnss。在一些示例中，gnss设备的准确度可以在1厘米内。

在图2的示例中，检查管理系统290包括数据库292。数据库292可以存储与检查项目有关的信息。数据库292可以各种方式实现。例如，数据库292可包括一个或多个关系数据库、面向对象的数据库、逗号分隔值(csv)文件或其他类型的数据库。

图3示出了载具100的示例性图示。载具100包括飞行设备300、处理电路302、存储器304、收发器306、天线308、导航系统310、相机312、传感器314和电源316。相机312是图2中所示的一个或多个相机218的示例。

通信信道318将飞行设备300、处理电路302、存储器304、收发器306、天线308、导航系统310、相机312、传感器314和电源316中的每一个互连以用于部件间通信(物理地、通信地和/或可操作地)。在一些示例中，通信信道318包括系统总线、网络连接、进程间通信数据结构，或用于传送数据的任何其他方法，包括各种类型的无线通信技术。电源316可向载具100的每个其他部件提供电能。在一些示例中，电源316是电池。

处理电路302旨在表示载具100的所有处理电路和所有处理能力。例如，处理电路302可包括一个或多个dsp、通用微处理器、集成电路(ic)或一组ic(例如，芯片组)、asic、fpga或其他等效的集成或离散逻辑电路。

存储器304旨在表示载具100内的所有各种存储器设备。存储器304构成计算机可读存储介质，并且可采用一旦载具100关闭就不保持存储内容的易失性存储器的形式或将内容存储更长时间段(包括载具100处于未供能状态的时间段)的非易失性存储器的形式。

载具100的功能由硬件、软件、固件或其组合实现。存储器304可以存储包括指令集的软件模块330和/或固件。处理电路302和载具100的其他硬件部件可以执行软件模块330和/或固件的指令以执行本公开的技术。

收发器306被配置为经由一个或多个通信链路(诸如图2中所示的通信链路202、204和208)使用天线308发送和接收数据(例如，图1中所示的信号102、104和132)。收发器306可根据本公开中其他地方描述的任何无线通信协议来发送和接收数据。例如，收发器306可被配置为接收导航指令，诸如图1中所示的控制信号132。另外，收发器306可被配置为将图像和其他数据发送到计算系统，诸如图1中所示的设备110和150，或图2中所示的设备210、212和250。

导航系统310基于从主设备(诸如图1和图2中所示的设备110、210或212)接收的控制信号来控制载具100的飞行路径。在一些示例中，导航系统310基于存储在存储器304中的数据来控制载具100的飞行路径。例如，导航系统310可以向飞行设备300输出信号以指示载具100飞行到预定图像捕获位置、着陆或以其他方式导航到沿着载具100的飞行路径的位置。

相机312可被配置为基于从主设备(诸如图1和图2中所示的设备110、210或212)接收的控制信号来捕获红外图像和/或可见光图像。在一些示例中，用同一相机捕获红外图像和可见光图像。在其他示例中，载具100具有单独的相机来捕获红外图像和可见光图像。处理电路302可被配置为控制相机312。

传感器314旨在表示载具100中包括的所有各种传感器。载具100可例如包括用于飞行管理的一个或多个传感器，诸如加速度计、陀螺仪、磁力计、气压计、gnss传感器、倾斜传感器、惯性测量传感器、速度传感器等。

图4是示出根据本公开的一种或多种技术的检查管理系统290的示例性部件的框图。在图4的示例中，检查管理系统290包括处理电路400、电源402、存储器404、收发器406和显示器408。通信信道410与处理电路400、电源402、存储器404、收发器406和显示器408互连。电源402为处理电路400、存储器404、收发器406和显示器408提供电力。处理电路400和存储器404可以类似于上文参考图1和图3描述的处理电路110、160和302以及存储器146、186和304的方式实现。

收发器406可包括网卡诸如以太网适配器、无线接口或用于与其他计算设备发送和接收数据的其他设备。在一些示例中，设备110、150、210、212和250中的每一个设备被配置为直接与设备110、150、210、212和250中的其他设备通信，而不是通过检查管理系统290进行通信。例如，图1中所示的通信模块130可以将数据信号106直接传输到图1中所示的通信模块170，而不是通过检查管理系统290传输到通信模块170。

显示器408可包括用于输出数据的各种类型的显示器，诸如液晶显示器、等离子显示器、发光二极管(led)显示器等。在其他示例中，检查管理系统290可包括更多、更少或不同的部件。例如，在一些示例中，检查管理系统290不包括显示器408。

在图4的示例中，存储器404存储数据库292和检查管理应用程序414。数据库292存储与检查项目相关联的数据，如本公开中的其他地方所述。例如，数据库292可包括与检查任务、检查员、飞行员、图像、视频等相关联的表格和数据。检查管理应用程序414可包括软件指令，当由处理电路400执行时，使得检查管理系统290执行本公开中描述的检查管理功能。

图5a至图5e示出了描绘输电塔510a–510e的图像500a–500e上的示例性注释520a–520d。图像500a-500e中的每一个图像包括不同类型的注释(例如，标记、突出显示、箭头、文本、放大等)以指示相应图像上的位置。用户可以创建注释520a-520d中的一个注释以指示载具操作员使载具捕获附加图像的位置。

如图5a至图5e所示，每个输电塔510a-510e包括下支撑体、上笼和四个横臂。注释520a-520d中的每一个注释指示相应的例如右下横臂中的特定位置。输电塔510a-510e仅是可以在图像500a-500e中描绘的物体的一个示例。在一些示例中，图像500a-500e可以描绘诸如建筑物、水坝、太阳能电池板阵列、风力涡轮机、纪念碑、桥梁、堤坝、海堤、码头、天线、火山、泵站、农业区域或其他类型的人造或自然结构的物体。

用户可以通过使用输入设备142或182在图像500a-500e上选择位置来创建注释520a-520d。处理电路120和160可被配置为基于由输入设备142或182接收的用户输入144或184来确定用户已在图像500a-500e上选择特定位置或者用户已在图像500a-500e上的区域周围绘制了框。处理电路120和160还可被配置为基于用户输入144或184来确定用户已选择特定类型的注释、突出显示的颜色或阴影和/或缩放级别。处理电路120和160还可以基于用户输入144和184来确定文本字符(例如，图5d)。处理电路120和160被配置为经由显示器140或180来呈现图像500a-500e和注释520a-520d。

注释520a是图像500a上的位置的指示。如图5a所示，注释520a包括围绕输电塔510a的右下横臂的矩形框。如图5b中所示，注释520b是包括输电塔510b的右下横臂周围的区域的突出显示和/或阴影的位置的指示。如图5c所示，注释520c是包括指向输电塔510c的右下横臂的箭头的位置的指示。如图5d所示，注释520d是包括在输电塔510d的右下横臂附近的文本消息(“元素1”)的位置的指示。如图5e所示，图像500e包括图像500a-500d的放大版本，其中该放大版本包括输电塔510e的右下横臂。如本文所述，注释可包括图像的放大版本(例如，图像500e)。

处理电路120和160可被配置为呈现注释520a-520d并且放大图像500e。例如，处理电路120和160可被配置为通过经由显示器140或180在一个或多个图像上至少呈现标记、圆圈、矩形或其他形状、突出显示、箭头、文本和/或任何其他注释来在图像上呈现位置的指示。

当处理电路120和/或160将注释传输为数据信号106或将注释存储到存储器146和/或186时，处理电路120和/或与注释相关联的数据，诸如注释在图像上的位置。处理电路120和/或160还可以传输或存储注释的大小、形状、字体大小、颜色、亮度、半透明度、方向、取向、角度、中心、起始点、结束点和/或任何其他细节。对于放大的注释，处理电路120和/或160可以存储并且/或者发送关于包括在图像的放大版本中的图像的部分的数据。

图6和图7是示出根据本公开的技术的主设备和辅助设备之间注释的传输的流程图。虽然关于设备110和150(图1)的处理电路120和160描述了图6和图7，但是在其他示例中，设备210、212和/或250(图2)单独地或与处理电路120和160结合可以执行图6和图7的技术的任何部分。

在图6的示例中，处理电路120经由通信模块130来将控制信号132传输到载具100以控制载具100的移动(600)。用户可以向输入设备142提供用户输入144，其中用户输入144指示载具100的位置、方向和/或移动速度。处理电路120可以基于用户输入144来确定位置、方向和/或速度，并使通信模块130传输指示位置、方向和/或速度的控制信号132。

在图6的示例中，处理电路120经由通信模块130接收来自载具100的数据信号102(602)。然后，处理电路120基于经由通信模块130从载具100接收的数据信号102确定一个或多个图像(604)。处理电路120还经由通信模块130接收来自辅助设备150的通信模块170的数据信号106(606)。在一些示例中，处理电路120被配置为经由通信模块130接收来自第二辅助设备的数据信号，其中该数据信号指示第二组辅助注释。

然后，处理电路120基于经由通信模块130从辅助设备150接收的数据信号106来确定一个或多个图像的一组注释(608)。数据信号106可包括作为包含图像的文件的一部分的注释，其中该注释修改或覆盖图像。另选地，数据信号106可包括独立文件中的注释，该独立文件通过图像的文件名、图像的时间戳、图像的帧编号和/或图像的任何其他指示来引用图像。

该组注释可包括一个或多个图像的标记、突出显示、箭头、文本和/或放大版本。如果存在多于一个辅助设备，则处理电路120可被配置为基于从第二辅助设备接收的数据信号来确定第二组辅助注释。处理电路120还可被配置为将一组主要注释传输到两个或更多个辅助设备。处理电路120可以基于信号102和106实时确定一个或多个图像和一组注释。如本文所用，“实时”是指处理电路120在单个会话(例如，检查)期间确定图像和注释，使得设备110和150都接收图像数据，处理电路160在一分钟、十分钟、三十分钟、一小时、两小时或任何其他合适的时间段内确定注释并将注释传输到主设备110。可能没有必要存储图像以便主题专家可以在以后查看图像，因为主题专家可以实时查看显示器180上的图像、创建注释，并使辅助设备150实时地将注释传输到主设备110。

在图6的示例中，处理电路120经由显示器140来呈现一个或多个图像和一组注释(610)。显示器140可以将该组注释呈现为一个或多个图像顶部上的层。该组注释可以向主设备110的用户指示位置。处理电路120可被配置为通过呈现位置的指示来呈现该组注释、围绕该位置的圆或其他形状、该位置上的突出显示、指向该位置的箭头、文本和/或显示该位置的图像的放大版本。

在图7的示例中，处理电路160经由通信模块170接收来自载具100的数据信号104(700)。然后，处理电路160基于经由通信模块170从载具100接收的数据信号104来确定一个或多个图像(702)。在图7的示例中，处理电路160经由显示器180呈现一个或多个图像(704)。

处理电路160还经由输入设备182接收用户输入184(706)。然后，处理电路160基于从输入设备182接收的用户输入184确定一个或多个图像的一组注释(708)。该组注释可包括一个或多个图像的标记、突出显示、箭头、文本和/或放大版本。然后，处理电路160经由通信模块170将该组注释传输到主设备110，其中主设备110控制载具100的移动(710)。

以下编号的实施例示出了本公开的一个或多个方面。

实施例1.用于远程控制载具的移动的主设备包括显示器和通信模块，该通信模块被配置为将控制信号传输到载具以控制载具的移动，从载具接收数据信号，并从辅助设备接收数据信号。在一些示例中，主设备还包括处理电路，该处理电路被配置为基于从载具接收的数据信号来确定一个或多个图像，基于从辅助设备接收的数据信号确定一个或多个图像的一组注释，并经由显示器呈现一个或多个图像和该组注释。

实施例2.根据实施例1所述的主设备，该组注释是一组辅助注释，主设备还包括被配置为接收用户输入的输入设备，其中处理电路被进一步配置为基于用户输入来确定一个或多个图像的一组主注释并使通信模块将该组主注释传输到辅助设备。

实施例3.根据实施例1至2所述的主设备或它们的任何组合，该处理电路被配置为通过至少基于从辅助设备接收的数据信号确定一个或多个图像上的位置的指示来确定该组注释，并且其中该处理电路被配置为呈现对一个或多个图像上的位置的指示。

实施例4.根据实施例3所述的主设备，该处理电路被配置为通过至少经由显示器呈现包括对位置的指示的一个或多个图像的放大版本来呈现一个或多个图像和该组注释。

实施例5.根据实施例3至4所述的主设备或它们的任何组合，该处理电路被配置为通过至少经由显示器呈现围绕一个或多个图像上的位置的突出显示来呈现对位置的指示。

实施例6.根据实施例3至5所述的主设备或它们的任何组合，该处理电路被配置为通过至少经由显示器呈现指向一个或多个图像上的位置的箭头来呈现对位置的指示。

实施例7.根据实施例1至6所述的主设备或它们的任何组合，该处理电路被配置为通过至少基于从辅助设备接收的数据信号确定文本来确定该组注释，并且其中该处理电路被配置为经由显示器呈现一个或多个图像上的文本。

实施例8.根据实施例1至7所述的主设备或它们的任何组合，该通信模块包括被配置为从辅助设备接收数据信号的无线接收器。

实施例9.根据实施例1至8所述的主设备或它们的任何组合，该主设备包括移动设备。

实施例10.根据实施例1至9所述的主设备或它们的任何组合，辅助设备是第一辅助设备，该组注释是第一组辅助注释，并且通信模块被进一步配置为从第二辅助设备接收数据信号。该处理电路被进一步配置为基于从第二辅助设备接收的数据信号来确定一个或多个图像的第二组辅助注释，并且经由显示器来呈现一个或多个图像、第一组辅助注释和第二组辅助注释。

实施例11.根据实施例10所述的主设备，还包括被配置为接收用户输入的输入设备，其中处理电路被进一步配置为基于用户输入来确定一个或多个图像的一组主注释，并且使通信模块将该组主注释传输到第一辅助设备和第二辅助设备。

实施例12.根据实施例1至11所述的主设备或它们的任何组合，处理电路被配置为实时确定一个或多个图像和该组注释。

实施例13.用于呈现由载具捕获的图像的辅助设备包括显示器、被配置为从载具接收数据信号的通信模块、以及被配置为基于从载具接收的数据信号来确定一个或多个图像并经由该显示器呈现一个或多个图像的处理电路。该辅助设备还包括被配置为接收用户输入的输入设备。该处理电路被进一步配置为基于用户输入来确定一个或多个图像的一组注释，并使通信模块将该组注释传输到远程控制载具的移动的主设备。

实施例14.根据实施例13所述的辅助设备，该组注释是一组辅助注释，并且通信模块被进一步配置为从主设备接收数据信号。处理电路被进一步配置为基于从主设备接收的数据信号来确定一个或多个图像的一组主注释，并经由显示器呈现一个或多个图像和该组主注释。

实施例15.根据实施例13至14所述的辅助设备或它们的任何组合，该处理电路被配置为通过至少基于用户输入确定一个或多个图像上的位置的指示来确定该组注释，并且其中处理电路被配置为使通信模块将该位置的指示传输到主设备。

实施例16.根据实施例13至15所述的辅助设备或它们的任何组合，该处理电路被配置为通过至少基于用户输入确定文本来确定该组注释，并且其中处理电路被配置为使通信模块将文本传输到主设备。

实施例17.根据实施例13至16所述的辅助设备或它们的任何组合，其中该辅助设备包括移动设备。

实施例18.根据实施例13至17所述的辅助设备或它们的任何组合，其中该通信模块包括被配置为将该组注释传输到主设备的无线发射器。

实施例19.根据实施例13至18所述的辅助设备或它们的任何组合，其中处理电路被配置为实时确定一个或多个图像的该组注释。

实施例20.用于远程控制载具的移动的方法包括由主设备的处理电路并经由主设备的通信模块将控制信号传输到载具以控制载具的移动。该方法还包括由处理电路并经由通信模块从载具接收数据信号并从辅助设备接收数据信号。该方法还包括由处理电路基于从载具接收的数据信号来确定一个或多个图像，并由处理电路基于从辅助设备接收的数据信号来确定一个或多个图像的一组注释。该方法包括由处理电路并经由主设备的显示器呈现一个或多个图像和一组注释。

实施例21.根据实施例20所述的方法，该组注释是一组辅助注释，该方法还包括接收用户输入、基于该用户输入来确定一个或多个图像的一组主注释、以及将该组主注释传输到辅助设备。

实施例22.根据实施例20至21所述的方法或它们的任何组合，还包括确定该组注释，其包括基于从辅助设备接收的数据信号来确定一个或多个图像上的位置的指示。呈现一个或多个图像和该组注释包括经由显示器呈现对一个或多个图像上的位置的指示。

实施例23.根据实施例20至22所述的方法或它们的任何组合，还包括确定该组注释，其包括基于从辅助设备接收的数据信号来确定文本。呈现一个或多个图像和该组注释包括经由显示器来呈现一个或多个图像上的文本。

实施例24.用于呈现由载具捕获的图像的方法包括由辅助设备的处理电路并经由辅助设备的通信模块从载具接收数据信号。该方法还包括由处理电路基于从载具接收的数据信号来确定一个或多个图像，并由处理电路并且经由辅助设备的显示器呈现一个或多个图像。该方法还包括由处理电路并经由辅助设备的输入设备接收用户输入，并由处理电路基于用户输入来确定一个或多个图像的一组注释。该方法包括由处理电路使通信模块将该组注释传输到远程控制载具的移动的主设备。

实施例25.根据实施例24所述的方法，还包括从主设备接收数据信号、基于从主设备接收的数据信号来确定一个或多个图像的一组主注释，以及经由显示器呈现一个或多个图像和该组主注释。

本公开考虑了包括使处理器执行本文所述的任何功能和技术的指令的计算机可读存储介质。该计算机可读存储介质可以采用任何易失性、非易失性、磁性、光学或电子介质的示例性形式，诸如ram、rom、nvram、eeprom或闪存存储器。该计算机可读存储介质可被称为非暂态的。程序员(诸如患者程序员或临床医师程序员)或其他计算设备还可以包含更便携的可移除存储器类型，以实现简单的数据传输或离线数据分析。

本公开中所描述的技术(包括归属于载具100和200、设备110、150、210、212、250、处理电路110、160、302和400、存储器146、186、304和404、显示器140、180和408、输入设备142和182、导航系统310、通信模块130和170、收发器306和406，以及各种组成部件的那些)可至少部分地在硬件、软件、固件或它们的任何组合中实现。例如，可以在一个或多个处理器(包括一个或多个微处理器、dsp、asic、fpga或任何其他等效的集成或离散逻辑电路，以及这些部件的任何组合)内实现这些技术的各个方面，具体体现在程序员(诸如医师程序员或患者程序员)、刺激器、远程服务器或其他设备中。术语“处理器”或“处理电路”通常可以指单独地或与其他逻辑电路组合的任何前述逻辑电路，或任何其他等效电路。

如本文所用，术语“电路”是指asic、电子电路、处理器(共享，专用或组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路或提供所述功能的其他合适的部件。术语“处理电路”是指分布在一个或多个设备上的一个或多个处理器。例如，“处理电路”可包括设备上的单个处理器或多个处理器。“处理电路”还可包括多个设备上的处理器，其中本文所述的操作可以分布在处理器和设备上。

此类硬件、软件、固件可以在同一设备内或在单独的设备内实现，以支持本公开所述的各种操作和功能。例如，本文所述的任何技术或方法可以在一个设备内执行或者至少部分地分布在两个或更多个设备之间，诸如在载具100和200、设备110、150、210、212、250、处理电路110、160、302和400、存储器146、186、304和404、显示器140、180和408、输入设备142和182、导航系统310、通信模块130和170以及收发器306和406之间。此外，任何所述单元、模块或部件可以一起实现或单独实现为离散但可互操作的逻辑设备。将不同特征部描述为模块或单元旨在突出不同的功能方面，并且不一定意味着此类模块或单元必须由单独的硬件或软件部件来实现。相反，与一个或多个模块或单元相关联的功能可以由单独的硬件或软件部件执行，或者集成在公共或单独的硬件或软件部件中。

本公开所述的技术还可在包括用指令编码的非暂态计算机可读存储介质的制品中体现或编码。嵌入或编码在制品(包括编码的非暂态计算机可读存储介质)中的指令可以使一个或多个可编程处理器或其他处理器实现本文所述的一种或多种技术，诸如当由非暂态计算机可读存储介质中包括或编码的指令由一个或多个处理器执行时。示例性非暂态计算机可读存储介质可包括ram、rom、可编程rom(prom)、eprom、eeprom、闪存存储器、硬盘、光盘rom(cd-rom)、软盘、磁带、磁性介质、光学介质或任何其他计算机可读存储设备或有形计算机可读介质。

在一些示例中，计算机可读存储介质包括非暂态介质。术语“非暂态”可以指示存储介质不体现在载波或传播信号中。在某些示例中，非暂态存储介质可以存储可随时间变化的数据(例如，在ram或高速缓存中)。本文所述的设备和电路的元件(包括但不限于载具100和200、设备110、150、210、212、250、处理电路110、160、302和400、存储器146、186、304和404、显示器140、180和408、输入设备142和182、导航系统310、通信模块130和170以及收发器306和406)可以用各种形式的软件编程。例如，一个或多个处理器可以至少部分地实现为或包括一个或多个可执行应用程序、应用程序模块、库、类、方法、对象、例程、子例程、固件和/或嵌入式代码。

已经描述了各种示例。这些示例和其他示例在以下权利要求的范围内。