用于UAV和其他自主车辆的室内测绘和模块化控制以及相关系统和方法与流程

相关申请的交叉引用

本申请要求2017年1月19日提交的待审美国临时专利申请第62/488,365号的优先权；以及2017年6月2日提交的美国临时专利申请第62/514,549号的优先权；这两篇文献都通过引用方式整体并入本文。

本技术总体上涉及用于uav和其他自主车辆的室内测绘和模块化控制、以及相关的系统和方法。

背景技术：

已经开发出无人驾驶飞行器(uav)和其他机器人车辆以执行无数的功能。为了增加这种车辆的自主性，该行业继续开发允许车辆感测和避免其操作的障碍物并且与用户和其他相关人员通信的系统。然而，仍然需要继续开发这样的系统，并且需要用于开发、测试和实现这种系统的改进技术。

附图说明

图1是配置成根据本技术的一些实施方案操作的代表性无人系统的部分示意性等轴视图。

图2是示出根据本技术的实施方案配置的无人系统的代表性功能特征的框图。

图3是示出根据本技术的实施方案的用于测绘室内环境的代表性过程的流程图。

图4是示出用于在测绘的室内环境中操作无人驾驶车辆的技术的框图。

图5是示出根据本技术的实施方案的用于测绘和定位无人驾驶车辆的过程的流程图。

图6a是根据本技术的一些实施方案配置的模块化控制单元的部分示意性等轴视图。

图6b是根据本技术的实施方案的代表性模块化控制单元的俯视图，示出了多个传感器视野和重叠的传感器视野。

图7是根据本技术的实施方案配置的模块化控制单元的部分示意性分解图示。

图8a-8d示出了根据本技术的实施方案的安装在多种不同类型的无人驾驶车辆上的代表性模块化控制单元。

发明详述

1.0概述

随着无人驾驶车辆、系统和/或机器人的使用持续增长，在相对空间中，特别是在室内环境中定义物理部件的精确位置的要求变得越来越重要。用于获得对象的精确位置信息的当前方法可能是昂贵的并且可能需要提前在感兴趣的环境中建立外部基础设施或传感器。当前的方法还可能需要潜在的连续精确校准和人机交互。

因此，本技术的一些方面包括使用紧凑的，移动的，外观的视觉系统来提供和传送不需要外部硬件或基础设施来实现的空间信息。这可以允许将技术无缝地实现到任何各种新环境中。具有精确定义物体在3-d空间中的相对位置的能力允许具有不同灵活性的机器(例如，基于动态互联网或“iot”装置、机器人、无人驾驶车辆和/或其他自主或半自主装置)具有精确，有意义的运动。通过观察周围的动态环境，以高精度定义物体在空间中的相对位置的能力还可以从特定的有利位置实现巨大的分析潜力。

本技术的各方面还涉及允许两个或更多个机器人或其他自主装置重用先前创建的地图以安全地导航环境。重新使用地图的机器人可能不需要复杂的测绘能力(例如深度感测技术)，因此简化了这种装置的设计和成本，使更复杂的测绘留给其他分布式装置。

该技术的其他方面涉及促进两方或更多方之间通过因特网实时通信。可能不在物理上位于飞行器附近的一方(例如，“主叫”方)具有远程控制飞行器的能力，该飞行器可以在另一方(例如，“被叫”方)附近，不关心飞行器的安全和有效操作。可以物理上位于车辆附近的被叫方还可以通过安装在飞行器上的屏幕和/或其他通信装置观看可能不在车辆附近的主叫方并与之交互。

本技术的又一些方面涉及一种紧凑的模块化控制单元，其具有带有本地计算能力的集成传感器和保护壳体。因此，该单元可以包括处理功能(计算能力)，感测功能(例如，相机)，其他传感和/或通信装置(例如，麦克风和/或扬声器)和/或表达特征。代表性表达特征包括眼睛(例如，人眼)的图形表示，其指示携带模块化控制单元的无人系统将在何处移动。模块化控制单元的通常紧凑的设计和低重量使其能够安装在各种平台上，包括但不限于飞行器、地面车辆和/或水上交通工具。

下面参考一个或多个代表性系统和/或装置来描述本技术的若干实施方案的具体细节，以提供对这种系统和/或装置的透彻理解。在其他实施方案中，系统和/或装置可以具有其他配置。在更进一步的实施方案中，可以结合本文未明确示出的装置配置来实践该技术。描述结构或过程的若干细节是众所周知的并且通常与自主系统相关联，但是可能不必要地模糊了本技术的一些重要方面，为了清楚起见，在以下描述中没有阐述这些细节。此外，尽管以下公开内容阐述了所公开技术的不同方面的若干实施方案，但是若干其他实施方案可具有与本文描述的那些不同的配置和/或不同的组件。因此，本技术可以具有带有附加元件的其他实施方案，和/或没有下面参考图1-8d描述的若干元件的其他实施方案。

所公开技术的一些实施方案可以采取计算机可执行指令的形式，包括由可编程计算机或控制器执行的例程。相关领域的技术人员将理解，该技术可以在除了这里示出和描述的计算机或控制器系统之外的计算机或控制器系统上实施。该技术可以体现在专用计算机、控制器或数据处理器中，其专门编程，配置或构造成执行下面描述的一个或多个计算机可执行指令。因此，这里通常使用的术语“计算机”和“控制器”包括合适的数据处理器，并且可以包括互联网装置和手持装置，包括掌上电脑、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的可编程消费电子产品、网络计算机、膝上型计算机、小型计算机等。由这些计算机处理的信息可以在任何合适的显示介质上呈现，包括液晶显示器(lcd)和/或触摸屏。如本领域所公知的，这些计算机和控制器通常具有各种处理器、存储器(例如，非暂时性计算机可读介质)、输入/输出装置和/或其他合适的特征。

本技术还可以在分布式环境中实践，其中任务或模块由通过通信网络链接的远程处理装置执行。在分布式计算环境中，程序模块或子例程可以位于本地和远程存储器存储装置中。下面描述的技术的各方面可以存储或分布在计算机可读介质上，包括磁性或光学可读或可移动的计算机磁盘，以及通过网络电子分布。特定于本技术的各方面的数据的数据结构和传输也包含在本技术的一些实施方案中。

出于组织的目的，以下在特定标题下描述了若干前述主题。在下面的任何一个标题下描述的本技术的各方面可以以许多合适的方式结合和/或结合在剩余标题下描述的任何合适的方面来实现。下面还描述了所选择的组合，而不限于其他合适组合的覆盖范围。

2.0测绘和操作

图1是根据本技术的一些实施方案的被配置为在室内环境105a中操作的无人驾驶车辆系统100的部分示意性等轴视图。如下面将进一步描述的，无人驾驶车辆系统100可以包括无人驾驶车辆110，该无人驾驶车辆110被配置为测绘室内环境105a并在室内环境105a内操作以完成各种合适任务中的任何任务。任务可以包括，例如，感测环境的热量或其他特性，向环境内部或外部的人员提供关于环境的视觉信息，提供环境与环境外部的人员之间的通信链路，和/或其他任务。可以自主地执行测绘室内环境和在室内环境中执行操作的过程。

如本文所使用的，术语“自主地”是指由无人驾驶车辆110执行而没有来自操作者的直接输入的操作。自主操作的示例是从环境内的一个点移动到另一个点，同时避开环境内的对象并且没有操作者明确地将无人驾驶车辆引导到这些障碍物周围。可以结合来自操作者的协作和非自主输入来执行自主操作。例如，操作者可以启动无人驾驶车辆110从一个点到另一个点的移动，或者提供无人驾驶车辆110开始执行任务的指令，而不涉及与实际执行任务相关的细节。

除非另有说明，否则术语“无人驾驶车辆”、“无人驾驶系统”和“机器人”可互换使用，以指代能够自主执行至少一些任务的装置。

在图1所示的代表性示例中，无人驾驶车辆110包括无人驾驶飞行器，并且如稍后将参考图8a-8d所述，也可包括其他类型的无人驾驶车辆。在图1所示的代表性示例中，无人驾驶车辆110包括承载推进系统150的主体112。推进系统150可包括以多轴直升机配置布置的多个螺旋桨151，以使无人驾驶车辆110在环境105a内移动。无人驾驶车辆110还可包括用于控制其操作的控制器140，以及促进无人驾驶车辆110与其他装置/实体之间的交互的多个输入/输出装置120。控制器140可以从输入/输出装置120接收输入，向其他系统元件提供输出，并且引导推进系统150以移动无人驾驶车辆110。因此，控制器140可以包括一个或多个处理器、存储装置和/或通信设施。

输入/输出装置120可包括传感器系统121。传感器系统121内部或外部的代表性输入/输出装置120可包括多个红外发射器122和相应的红外传感器或相机123，以及多个彩色相机124。无人驾驶车辆110可包括多个发射器和相机以根据无人驾驶车辆110的任何合适位置或取向提供对室内环境105a的一部分或全部的访问和覆盖。发射器和相机可用于多种类型的成像，和/或用于确定深度和偏移距离以便于导航。附加传感器125可用于提供关于室内环境105a的其他信息。因此，由无人驾驶车辆产生的地图在物理空间中可以是三维的，但也可以包括其他维度。代表性维度包括温度、湿度、化学特性(可以通过阴影、颜色、轮廓线等叠加在3-d物理表示上)。附加维度还可以包括时间，例如，随着时间的变化表示的任何其他维度的变化。

其他输入/输出装置120可包括操作者104a用于启动和/或停止无人驾驶车辆110的操作的多功能按钮126，和/或向操作者104a提供视觉反馈的显示器127(例如，触摸屏显示器)。例如，操作者104a可以使用显示器127向无人驾驶车辆110提供特定指令。除了显示器127之外或代替显示器127，操作者104a可以经由车外控制器102a指示或控制无人驾驶车辆110。

无人驾驶车辆110可包括可伸缩或不可伸缩的起落架111，和/或取决于无人驾驶车辆110将执行的任务的其他特征。例如，无人驾驶车辆110可包括用于携带可移动或其他有效载荷和/或用于抓取和/或操纵环境105a中的物体的特征。

在一些实施方案中，操作者104a可以是第一操作者，并且第二操作者104b还可以经由第二车外控制器102b和通信链路106向无人驾驶车辆110提供输入。在一些实施方案中，第二操作者104b可以从第二室内环境105b操作，稍后将在标题3.0下进一步详细描述。

图2是示出了上面参考图1描述的若干元件之间的代表性相互关系的示意框图。如上面参考图1所述，传感器系统121可以包括一个或多个传感器，其以高精度提供用于(在其他功能中)估计无人驾驶车辆的装置状态的数据，例如，无人驾驶车辆的位置和取向(或姿势)。例如，可以在毫米精度内确定无人驾驶车辆的位置和取向。传感器系统121本身可以组合来自多个源的数据，和/或该功能可以由控制器140(图1)执行。传感器系统121可用于例如实时地监测无人驾驶车辆110的一个或多个部件的健康状况。在一些实施方案中，传感器系统121可包括提供颜色和深度感测的一个或多个相机或其他传感器。例如，传感器可以测量颜色强度和/或深度，并且可以布置在无人驾驶车辆上以增加(例如，优化)由无人驾驶车辆捕获的视野。另外的传感器可以包括一个或多个gps(全球定位系统)单元和/或imu(惯性测量单元)，还包括磁力计、加速度计、陀螺仪和/或其他元件。

整个系统100可以包括运动控制系统141，该运动控制系统141又可以结合到上面参考图1描述的控制器140中。运动控制系统141可以接收导航到期望位置或执行另一动作的指令。该动作可以由云服务103促进。运动控制系统141还可以例如经由传感器系统121估计无人驾驶车辆110的位置和取向，如上所述。该定位和测绘功能可以包括实时或接近实时地建立无人驾驶车辆周围环境的3-d地图，这可以允许无人驾驶车辆在其刚刚测绘的环境中立即执行操作。这与一些传统技术不同，传统技术需要时间延迟和/或板外处理以产生适合于在无人驾驶车辆操作的环境中导航和进行操作的3-d地图。

运动控制系统141可以使用定位和测绘功能来规划环境内的路径并控制环境中的无人驾驶车辆，同时实现一个或多个目标，包括避开环境内的障碍物，以最大速度、最小距离和/或其他参数约束到达环境内的一个或多个目标内。这些运动由推进系统提供，如上所述，推进系统可包括由电动机(其本身在电子速度控制(esc)模块的控制下)驱动的螺旋桨。在一些实施方案中，推进系统可包括其他元件，如稍后所述。

整个系统100可以包括车外元件101，例如基站和/或位于无人驾驶车辆110之外的其他元件。这些元件可以包括本地计算机，其可以补充由车载控制器140提供的处理资源并且可以用于提供无人驾驶车辆110与云服务103之间的通信链路。在其他实施方案中，无人驾驶车辆110可以直接与云服务103通信。车外元件101还可以包括以上参照图1描述的车外控制器102a，102b。

车外元件101还可包括电池存储和更换设施，其可用于对电池进行再充电和/或交换，以允许无人驾驶车辆110的不间断或几乎不间断的操作。进一步的细节在与本申请同时提交并且通过引用结合于此的标题为“用于无人驾驶飞行器的包括充电和更换的自动电池维护及相关的系统和方法”的未决的美国申请第____号中进行描述。该系统100可包括监视模块(例如，无人驾驶车辆110车载或在其外部)，其与本地计算机通信以评估和/或最大化由无人驾驶车辆110所载的机载电池的寿命。

云服务103可以补充由车载控制器140(图1)和/或车外元件101提供的功能。云服务103可以包括将无人驾驶车辆110的特征连接到远离无人驾驶车辆110的各方的通信系统。例如，通信系统可以提供无人驾驶车辆110与位于无人驾驶车辆110附近和/或远离无人驾驶车辆110的各方之间的实时视觉和听觉通信。全球共享子系统可用于向与无人驾驶车辆110相关联的用户或其他人显示多个无人驾驶车辆110中的任何一个位于何处并且哪些车辆可具有远程操作的能力和/或准备就绪状态。如稍后在标题3.0下将描述的，操作者可以远程控制无人驾驶车辆110以在远程位置的人之间提供增强的通信。

云服务设施103还可以包括维护和可靠性子系统，其监视系统范围的性能(例如，不仅仅是与单个无人驾驶车辆110相关联的性能)，以识别可能影响物理环境(例如，无人驾驶车辆110的健康状况包括但不限于电池状态)和/或数据环境(例如，由于数据存储限制，连接速度，算法瓶颈，使用统计等)中的运行时间的问题。

数据分析子系统可以合并来自多个无人驾驶车辆110的传感数据，以提供由一个或多个无人驾驶车辆110已经测绘或以其他方式探索的环境的全局一致的地图。该信息可以包括随时间变化的3-d表面和/或实时本地化信息。数据分析子系统还可以用于处理和分发关于其他因素的信息，例如原始传感器值或多个无人驾驶车辆的活动特征，再次，是在多车辆、系统范围的基础上。

本文描述的无人系统可以以多种模式操作，包括系统探索、学习和/或测绘其操作的环境的第一或探索模式，以及其中系统在其学习和/或测绘的环境中执行动作的第二或执行模式。下面分别参考图3和4依次描述每种模式。

从图3开始，根据第一模式的过程300可以包括开始操作(框301)。启动第一模式可以包括启动环境的三维地图的形成，利用或不利用关于环境的一些先前信息。在框302处，该过程包括确定系统是否致动在第一模式期间执行的运动，或者否则运动是否被执行(例如，手动地)。如果系统要致动自己的运动，它将通过自己的推进系统在自己的动力下运动。为此，系统将需要目标或目的地，其可以是用户生成的或系统生成的(在框305处确定)。如果用户提供目的地(框306)，则用户使用任何合适的输入/输出装置来这样做。如果没有使用用户输入，则系统可以生成其自己的目的地(框307)以便探索环境。无论目的地是从用户还是通过系统获得，都在框317保存。

在框309处，系统确定目的地是否有效。例如，有效目的地是至少可能可到达的目的地，而无效目的地是无法到达的目的地。代表性有效目的地包括房间内的位置，并且代表性无效目的地可包括房间墙壁厚度内的位置或确定为太靠近障碍物使得无人驾驶车辆100不能安全地起作用的位置。如果目的地无效，则系统确定是否有可能的目的地。如果车辆无法从当前位置移动，则无法进入任何目的地。如果目的地是可能的(框316)，则系统寻找新的有效目的地。如果目的地不可能(框316)，则系统安全地停止其移动(框313)，将收集的数据保存到该点(框314)并完成第一模式(框315)。

另一方面，如果目的地有效，则系统将在其沿目的地方向移动时致动其移动(框308)。随着系统移动，它将跟踪其位置，更新地图并存储任何用户注释(框310)。代表性用户注释可以包括但不限于当前位置的描述(例如，诸如“厨房”之类的短语)和/或在特定位置发生的期望动作。例如，代表性符号可以包括指示该位置是适合拍摄照片或记录诸如湿度、wi-fi信号强度和/或参数等传感器数据的位置。

随着系统移动，它不断地搜索障碍物(框311)。用于避开物体的合适技术包括使用运动基元的运动规划。一种代表性方法包括使用传感器输入(例如相机帧、声纳和/或红外信号)来检测障碍物。如果检测到障碍物，则系统可以检查所保存的目的地是否仍然有效(框309)，给定自上次确定目的地是否有效以来收集的新信息。如果目的地仍有效，则系统在障碍物周围导航并继续到框312以确定是否已到达目的地。迭代框309到312直到系统到达其目的地，此时该过程移动到上面讨论的框313和314。

返回到框302，如果操作者不希望系统在其自身的电力下操作，则系统仍然可以通过另一种方法移动，例如，由持有系统的用户移动并简单地四处移动。在这种情况下，当用户四处移动系统时，系统可以简单地跟踪其位置，更新其地图并存储任何用户注释(框303)，并且直到用户停止探索模式(框304)。

上面参考图3描述的前述方法产生室内环境或环境的一部分的高保真度3-d表示。通常，系统在环境中行进的范围越广，地图就越全面。无论地图是否完全全面，系统都可以至少在其已测绘的环境部分中执行操作，如下面优选地在图4中进一步描述的。

图4示出了根据第二模式的代表性过程400。在框401处，启动第二操作模式。在框402处，加载任何必要的地图，并且在框403处，加载航路点。航路点可以对应于由操作者(或以其他方式接收)识别的路径，无人驾驶车辆将沿着该路径行进以执行其操作。在框404处，检索下一个航路点，并且在框405处，无人驾驶车辆移动到下一航路点。在框406处，无人驾驶车辆跟踪其位置，并且在框407中，执行动作。例如，无人驾驶车辆可以在所选位置沿着路线拍摄图片，和/或识别除了3-d空间参数(例如，热量、湿度、气体浓度和/或其他)之外的参数。在框408处，系统检查以查看是否已到达航路点，并且如果没有，则返回到框405。一旦到达航路点，过程进行到框409并返回到框404以获取下一航路点。可以针对操作者希望的多个航路点重复该过程。

图4示出了用于指导无人驾驶车辆执行一个或多个任务的许多可能布置中的一个。这些操作中的每一个都可以以适当的自主水平执行，范围从完全自主(没有用户交互)到半自动(仅用户提供的高级输入)到手动(用户移动车辆)。当无人驾驶车辆到达特定位置时，一旦到达那里，它在有或没有用户输入的情况下执行操作。

图5示出了用于测绘无人驾驶车辆在其中操作的环境以及在环境中定位车辆的代表性过程500。该过程可以包括混合的稀疏配方，与传统系统相比可以产生显着改善的结果。例如，系统可以使用从彩色相机获得的稀疏突出点集和/或低功率处理器上的其他合适的输入装置来提供快速且准确的运动跟踪。然后，系统可以通过将从深度相机获得的去噪原始深度测量与其他合适的输入装置融合来有效地提供高质量的密集的3-d测绘。

在框501处，该过程包括例如从一个或多个彩色相机、深度相机和/或imu读取传感器数据。来自彩色和深度相机的数据(其与无人驾驶车辆所处环境的再现相关)以及提供惯性测量的imu数据可被融合以确定无人驾驶车辆的位置和/或取向。

为了确定相机是否改变了姿势，系统会查看相机图像中的数据。例如，如果我们假设相机周围的环境没有变化，则可以通过改变相机的姿势来解释从相机获得的图像的任何变化。为了简化对相机的新姿势的求解，系统仅使用有限的像素集，这些像素可以代表整个图片，以便限制所需的计算次数。这个有限的像素集被称为突出点，并且在框502处使用诸如fast的特征检测算法来识别。在框502处，该过程包括从彩色相机帧检测突出点，例如使用fast特征检测算法。例如，在代表性的fast算法中，突出点是不同的区域，其中一组像素比任意参考像素更亮。然后使用二元描述符(例如orb点描述符算法)唯一地识别找到的突出点，允许在多个尺度和取向上快速匹配。框510包括使用在框501和502处获得的信息来创建或更新3d地图。例如，框511包括将突出点添加到稀疏3d地图。突出点可以与关键帧相关联地存储并且锚定到特定位置，并且如果无人驾驶车辆已经在距离最后关键帧的突出点之间充分移动，则生成新的关键帧(框530)。每个关键帧可以包括在特定有利时间点并且以预测的(例如，最佳)姿势对相机可见的点的子集(框523)。预测姿势是因为随着新测量的进入，可以改善位置和/或取向估计。通过将新突出点与最近的关键帧进行比较，例如通过求解迭代非线性最小二乘优化问题，将姿势变量作为最优解，寻求最小化匹配突出点的重投影误差，来获得用于计算相机的下一个移动范围(如果有的话)的指令。通过比较在彩色相机帧上检测到的2d突出点的表观运动和存储在与最近的关键帧相关联的3d稀疏地图中的投影的3d突出点来获得相机的新姿势。如果相机未移动，则检测到的突出点和投影的3d突出点将重合。当相机移动时，存在重投影误差。在3d空间中求解新的相机姿势解释了观察到的重投影误差。

imu测量允许集成用于预测机器人运动的惯性信息。然而，imu测量通常易于漂移，因此可能无法提供可靠的信息。因此，可以通过将预测与从彩色相机获得的运动融合来改善imu数据的可靠性，例如，使用扩展卡尔曼滤波算法(框521)。

在至少一些情况下，例如，由于在无人驾驶车辆经历动力损失之后缺乏突出点、传感器误差或重新启动，无人驾驶车辆可能会丢失。为了解决这种情况，系统可以包括重定位过程(框522)，其在每个关键帧处查找突出点的唯一数字签名，例如，使用袋字算法。借助独特的数字签名，机器人可以可靠地调用访问过的地点及其在该位置的姿势。在框523，系统跟踪其从被调用的关键帧到其当前帧的运动。

在框531处，该过程可以包括例如使用捆绑调整算法全局优化关键帧的点的位置和姿势。该方法可用于获得具有最小重投影误差的位置和姿势。通常需要这种全局优化，因为在框523中计算的姿势仅具有要考虑的本地信息，因此可能倾向于称为漂移的误差累积。为了补偿这种漂移，系统将使用循环中包含的所有可用测量来优化其当前位置和过去位置的估计。当系统识别出在一段时间的疏忽之后它已经返回到某个位置时，就会发生循环。

然后在框513和512处将在框531处优化的数据合并到3-d地图中。例如，在框513处，该过程包括将原始噪声深度测量值从深度传感器变形到最接近的关键帧。重叠深度样本可以通过平均它们来去噪，例如，具有考虑传感器噪声特性的权重因子，例如距离和观察方向。这通常是必需的，因为深度相机(例如结构光相机)提供可靠的测量并且接近光轴的方向。随着距离光轴的表面和角度的距离增加，深度测量误差增加。可以对重复测量进行平均以提供更准确的测量。一旦去噪深度帧的质量达到预先建立的质量阈值，例如，一旦相应的平均深度测量值的变化相比前一次迭代小于2mm，或者已达到最大迭代次数，则融合到密集的3-d地图中(在框512处)并且该过程返回到框502以检测进一步的突出点。然后，无人驾驶车辆使用该利用过程生成的密集3-d地图来导航环境，例如，以上面参考图4描述的方式。密集和稀疏3d地图之间的区别指的是给定体积中的点密度。密集的3d地图允许人们识别物体，例如，大桌子上的杯子或地面上的袜子，或者在给定体积中可能用较少的点无法识别的表面。

上述至少一些实施方案的一个特征是在关键帧级别对数据进行去噪的过程。该方法允许该过程在将数据集成到3-d地图之前校正漂移误差。因此，该方法不同于一些传统技术，其中原始数据被直接融合到3-d地图中，这抑制了稍后的数据校正。本技术的实施方案的优点在于可以使3-d地图更准确，而不消耗显着增加的计算资源。

3.0通信

能够实时远程地体验不同的地方，就好像操作者实际上在那里一样，多年来一直是开发人员的目标，其实施范围从诸如智能手机或平板电脑的全球通信装置到轮式远程呈现机器人。智能手机和平板电脑使用诸如麦克风、相机、屏幕和系统连接等组件的组合提供两方或多方之间的实时通信。虽然在使用这些装置的会话期间交换的信息肯定是有用的，但主叫方不能体验和探索被叫方所在的环境。

在一些情况下，通过使用轮式远程呈现机器人至少部分地克服了前述限制，除了前述组件之外，轮式远程呈现机器人还可以根据主叫方提供的指令使用轮子导航。然而，这种系统被约束为在2-d平面中操作，因此，在轮式车辆的运动太受限的区域中可能难以操纵。

因此，在本技术的至少一些实施方案中，无人驾驶飞行器用于提供远程用户之间的实时通信，其中运动不约束到2-d平面。例如，返回图1，第一环境105a中的第一操作者104a可以对应于“被叫”方，并且可以经由第一车外控制器102a提供对第一环境105a中的无人驾驶车辆110的控制。位于第二环境105b中的第二操作者104b可以对应于“主叫”方并且可以经由第二车外控制器102b控制无人驾驶车辆110。使用上述测绘和障碍物避免技术，无人驾驶车辆110可以在位于第二环境105b中的第二操作者104b的控制下在第一环境105a中操作。因此，第二操作者105b可以使用无人驾驶车辆来探索被叫方104a所在的第一环境105a。

在特定实施方案中，整个系统100可以包括消除冲突软件，例如，以允许第一操作者104a(位于非无人驾驶车辆110附近)超越由更远程的第二操作者104b提供的指令。以这种方式，主叫方(例如，第二操作者104b)不仅可以与被叫方(例如，第一操作者104a)通信，而且可以使用无人驾驶车辆110来探索被叫方所在的环境。主叫方可以位于与被叫方不同的房间，不同的建筑物，不同的国家或不同的大陆，只要可以在两个环境105a，105b中的装置之间建立和维护合适的通信链路106即可。

4.0模块化控制单元

在本技术的一些实施方案中，无人系统可以具有模块化布置，并且可以包括模块化控制单元，例如机器人“头部”，用于定位，测绘和控制机器人和/或其他自主或者半自主系统，包括车辆和/或其他平台。在特定实施方案中，该装置可以包括模块化单元，该模块化单元可以容易地连接到各种机器人平台中的任何一个，包括无人驾驶飞行器(uav)、地面车辆和/或水基车辆。该装置可以利用通用或其他广泛传播的连接和/或通信技术来提供与各种机器人平台的兼容性。

在一些实施方案中，模块化控制单元可以提供本地化，3-d地图创建和/或集中存储或共享功能(如上参考图1-5所述)，其可以实现两个或更多装置之间的协作。因此，装置可以共享共同的环境表示，允许多个装置从公共参考点自我跟踪。

如图6a所示，代表性模块化控制单元640可以具有机器人“头部”的形式，该机器人“头部”又包括保护体或壳体644。壳体644可以是模块化的，因为它可以由各种不同的平台(例如，移动空气车辆、地面车辆和/或水基车辆)承载。壳体644可以为传感器系统621的一个或多个传感器提供结构支撑。例如，传感器系统621可以包括多个相机624。在特定实施方案中，传感器系统621可以包括六个相机624的阵列，其中三个在图1中可见，并且所有六个相机被组织以提供(例如，最大化)(a)每个相机单独的三维视场和(b)整个系统的三维视场。

模块化控制单元640还可以包括一个或多个深度传感器628，被配置为测量到物体的距离，例如，在像素级。在一些实施方案中，壳体644通过一系列挡板和/或通风孔643和/或冷却风扇642促进内部部件产生的热量的散发。

在一些实施方案中，模块化控制单元640可包括显示元件或屏幕627，其可具有触摸输入部分631以控制控制单元640和/或承载控制单元640的平台。显示元件627还可以用于呈现图像或其他信息643，例如，以图形用户界面的形式。该信息可以对应于控制单元640周围的环境(和/或承载控制单元640的平台)中的各方面，控制单元640(和/或相关平台)的操作方面和/或其他信息。在另一个实施方案中，模块化控制单元640还可以连接到外部移动装置，例如电话，用于查看图形或接口。因为安装的屏幕的尺寸和/或能力可能由于重量和/或尺寸考虑而受到限制，所以外部移动配件(例如电话、平板电脑或膝上型电脑)可以通过允许(a)增加屏幕空间和分辨率以从装置向用户提供数据的分辨率，(b)通过移动附件(无论是直接来自用户还是仅仅作为网关)向装置的附加输入和/或(c)根据装置位置和当前动作，附件可以在物理上更近和/或更容易使用时对操作者的优点，来扩展模块化控制单元640的能力。显示元件627可以有助于整个平台的操作，例如，通过允许控制单元640显示模拟情绪和/或向周围的人传达意图。传达意图可以帮助人和机器的沟通和合作。作为示例，并且如上所述，可以在显示元件627上显示一对眼睛，并且当眼睛在特定方向上看时，可以向平台周围的那些人指示平台将在下一步移动的位置。在另一个实施例中，用箭头或另一个合适的直观符号代替眼睛。这种清晰的沟通方式可以帮助机器人和人类安全有效地进行交互。

图6b从上方示出了模块化控制单元640，示出了六个相机624，相应的视场629，以及相邻视场629之间的重叠区域630。重叠区域630可以提供附加功能，包括但不限于三维数据收集。相应的相机624可以允许在模块化控制单元640周围的环境中进行数据收集以及允许进行在模块化控制单元640周围的环境的收集数据。在其他实施方案中，模块化控制单元640可以包括对可见光和/或其他电磁波长敏感并且可以布置成覆盖整个360度视场的其他数量的相机(例如，从一到十二个相机)。

图7是模块化控制单元640的分解图，其示出了电子单元645以及其他组件。电子单元645可以支持和/或促进模块化控制单元640和/或它所连接的平台的其他组件的操作。因此，电子单元645可包括各种微处理器、微控制器和/或其他组件中的任何一个或多个。附加的传感器，包括但不限于imu、gps单元和/或热传感器可以包括在电子单元645中，电子单元645还可以提供附加功能，包括数据处理、测绘和导航功能。举例来说，集成到电子单元645中的软件可以控制支撑平台，以及下面参考图8a-8d进一步描述的任何相关的运动或控制元件。代表性软件可从pixhawk(www.pixhawk.org)获得。该软件可用于通过电子单元645和车载传感器的组合来调节支撑平台的控制。自动调谐可以实现，因为与车轮螺旋桨和/或其他推进装置的实际控制相比，可以完全表征支撑平台的运动。例如，因为可以控制装置输入(例如，通过电动机命令)，并且可以确定系统响应(例如，倾斜角)，所以可以为系统表征一组输入，使得存在预期输出。通过这种系统表征，操作者或制造商可以为所需的响应选择正确的调谐常数。在系统模型参数(例如，车辆质量、车轮直径、电动机位置等)改变或最初未知的情况下，通常需要自动调谐以改善(例如最佳化)性能。

在一些实施方案中，支撑电子单元645还可包括为模块化控制单元645供电的电池或能量存储系统。在一些实施方案中，电池或能量存储系统可用于向除模块化控制单元640之外的元件提供电力，例如，下面参考图8a-8d描述的支撑平台。在其他实施方案中，模块化控制单元640可以从平台获得电力，或者可以在模块化控制单元640和平台之间共享电力，这取决于每个的电力需求和供应。在代表性实施方案中，模块化控制单元640使用大约10-15瓦的功率。

图8a-8d示出了安装在(例如，机械地且可释放地连接到)多个合适平台上的代表性模块化控制单元640，例如，无人驾驶车辆810，如图8a-8d所示为无人驾驶车辆810a-810d。从图8a开始，代表性无人驾驶车辆810a包括具有主体812a和包括多个螺旋桨851的推进系统850a的飞行器。主体812a被配置成可释放地附接到模块化控制单元640，模块化控制单元640经由推进系统850a和/或其他系统组件为整个无人驾驶车辆810a提供方向和控制。

图8b示出了代表性的无人驾驶车辆810b，其包括主体812b和基于地面的推进系统850b，包括多个车轮852。模块化控制单元640可释放地附接到主体812b以控制推进系统850b和/或或其他系统，包括用于车轮852的ackermann(或其他)转向系统。

图8c示出了又一代表性无人驾驶车辆810c，其具有承载具有多个车轮852的推进系统850c的主体812c。在该实施方案的特定方面，无人驾驶车辆810c还可包括踏板853以便在滑移转向方式中进行操作，与图8b所示的标准ackermann转向装置相比，可以更简单地实施。主体812c还可包括中间结构813，中间结构813将模块化控制单元640支撑在升高的位置，以便周围环境的额外可见性。

图8d示出了另一个无人驾驶车辆810d，其具有船体形式的主体812d。相应的推进系统850d可包括驱动一个或多个螺旋桨851的电动机854。模块化控制单元640可拆卸地由主体812d承载。在更进一步的实施方案中，模块化控制单元640可以与其他类型的无人驾驶车辆结合使用。例如，除了或代替如图8d所示在表面上操作，水载车辆可以是潜水的。

上面已经描述了代表性实施方案的若干特征。以下部分扩展了上面给出的描述，和/或引入了所公开技术的附加特征。

通常，所公开的技术可以包括模块化控制单元，其可以在各种不同平台(基于天线、基于地面和/或基于水)上使用。通过在模块化系统中提供公共元件，本技术的实施方案可以使得开发新系统和/或从一种类型的自主平台移植技术到另一种类型的自动平台的过程更容易。模块化控制单元的输出可包括电动机命令(例如，用于沿特定方向和/或以特定量移动承载模块化控制单元的平台的命令)、视觉数据(例如，对应于障碍物和/或平台操作的环境中的其他特征的数据)、深度数据(可以伴随视觉数据并且可以向可以是二维的数据添加第三维)和/或其他合适的参数(例如，平台速度、加速度、取向和/或行进方向)。上述信息可以为平台提供识别其位置并跟踪其随时间的运动的能力。这些特征可适用于在各种环境中运行的平台，包括室内环境，其中近距离需要准确的信息，短信号传输延迟，以及通常是gps拒绝位置的自包含信息收集能力。

为了促进其模块化特性，模块化控制单元640可以包括标准化接口和/或通信协议。例如，模块化控制单元640可包括三个导体或电缆：一个用于接地，一个用于电源，一个用于信号数据(例如，低电平数字输入/输出或其他合适的数据)。每个电缆可以耦合到标准化连接器，该标准化连接器与主体和/或中间结构处的相应连接器对接。在特定实施方案中，前述连接(接地、电源和信号)足够简单，使得可以使用各种连接器中的任何一种来与车辆平台接口。在特定实施方案中，系统不是故意设计为改装到现有系统，而在其他实施方案中，系统可包括专门用于改装的连接器接口。在任何这些实施方案中，合适的通信协议包括但不限于spi、i2c、usb、uart、蓝牙和wi-fi等。

通常，其中承载装置部件的壳体644可以制造得相对小且轻，以便与各种车辆或其他平台兼容。在特定实施方案中，模块化控制单元640小而轻，足以由具有大约12英寸乘12英寸或更大的总占地面积的uav携带和使用。在其他实施方案中，模块化控制单元640可以与较小和/或较大的uav一起使用。

适合于承载根据本技术的装置的代表性平台(例如，无人驾驶车辆)包括无线电控制的赛车，以及其他地面车辆以及uav。当耦合到地面车辆时，该装置可以提供用于控制车轮和车辆转向的指令。当耦合到uav时，该装置可以提供用于控制螺旋桨和/或其他推进装置以及飞行控制表面和/或其他转向或方向控制装置的指令。在这些实施方案的任何一个中，该装置可以包括处理器和微控制器，其单独或组合地向平台的相应装置发出命令。例如，命令可以被引导到致动器或电子电动机控制器(emc)，其作用于命令以产生车辆的方向、速度和/或其他属性的变化。期望命令足有简单和/或通用，以使它们可以应用于任何承载装置的平台，并且可以被其理解。

上述操作可以在半自主上下文中进行，或者在完全自主上下文中进行。例如，代表性的半自主上下文包括人类操作者指示无人驾驶车辆“向左”或“向右”或“向上”的模式，并且模块化控制单元实现这些指令。在代表性的完全自主模式中，操作者可以进入目的地，或者它可以简单地指示无人驾驶车辆“前进”。模块化控制单元可以将无人驾驶车辆引导到目的地，或者指示无人驾驶车辆开始探索其环境。在这两种情况下，模块化控制单元承担责任以避开环境中的障碍物的方式引导无人驾驶车辆，例如，基于从车载相机和/或深度传感器获得的数据。在特定实施方案中，模块化控制单元可以根据指令的分层组织进行操作。例如，模块化控制单元可以被编程为避免障碍物，尽管从操作人员接收到相反的指令。

在更进一步的实施方案中，模块化控制单元可以指导平台的其他操作。例如，如果平台包括操纵器臂或被配置为执行除推进或引导平台之外的任务的其他装置，则模块化控制单元可用于提供用于这种动作的命令。

无人驾驶车辆可以携带任何各种合适的有效载荷。例如，无人驾驶车辆可以携带一个或多个相机或其他传感器，用于捕获关于无人驾驶车辆操作的环境的数据。这些传感器可以是由模块化控制单元640承载的相机和/或其他传感器的补充。在其他实施方案中，无人驾驶车辆可以递送包裹或其他有效载荷。在又一个实施方案中，无人驾驶车辆可以携带人类乘客。例如，无人驾驶车辆可包括轮椅，模块化控制单元提供自主或半自主命令以引导轮椅。在又一个实施方案中，模块化控制单元可以由人携带。例如，该人可以作为测绘单元操作，从模块化控制单元获取指令，该指令围绕环境引导人。在又一个实施方案中，该人可以是盲人，并且可以依赖或使用模块化控制单元来在环境中引导他或她自己。模块化控制单元可以耦合到扬声器、蜂鸣器和/或以绕环境引导人围的方式向人提供反馈的其他部件。

在高级别，模块化控制单元提供的信息可用于识别模块化控制单元的位置以及模块化控制单元如何及时移动。这又可以包括视觉数据，包括深度数据，以及速度和加速度数据。在进一步的实施方案中，指令可以包括引导平台(其承载模块化控制单元)在特定方向或特定位置移动的电动机命令。在其他实施方案中，电动机命令可以被消除或替换为其他信息，例如，用于在环境中引导盲人的信息，如上所述。

在代表性实施方案中，上面参考图6a描述的传感器系统621包括六个可见光相机624和深度传感器628。深度传感器628又可以包括传感器/接收器(例如，lidar或红外传感器/接收器)与彩色相机相结合，可将视觉信息添加到传感器/接收器捕获的深度信息中。由可见光相机收集的信息可以拼合在一起(例如，使用传统技术)，以提供无人驾驶车辆周围环境的视觉表示。在一些实施方案中，除了被装置用于模块化控制单元和导航之外，该信息还可以在平面屏幕或虚拟现实显示器或其他合适的输出装置(例如，用户的电话)上呈现。其他传感器可以包括气压计、gps传感器、热传感器和/或其他合适的传感器，这取决于无人驾驶车辆要执行的任务，和/或无人驾驶车辆操作的环境。通常，这些传感器独立于由无人驾驶车辆携带的有效载荷执行的任何感测能力进行操作。例如，无人驾驶车辆可以携带用于拍摄特定静止图像或视频的有效载荷相机，而模块化控制单元640使用其视觉数据进行引导和导航。然而，在其他实施方案中，除了导航和指导之外，由模块化控制单元640收集的数据可以用于其他目的，包括作为有效载荷操作，或者补充由有效载荷提供的数据，或者构建地图数据库，如稍后将进一步详细描述。

在特定实施方案中，相机624用于提供“由内而外”的定位过程。使用该过程，模块化控制单元640可以从本地环境提取界标，并产生稀疏地图，如上面参考图5所讨论的。如果缺少界标，则可以有意地将基准点放置在环境中以促进该过程。然后可以将稀疏地图用作进一步地图定义的基础。例如，一旦从定位过程获得跟踪信息，它就可以用于整体解析深度传感器和模块化控制单元640的位置和方向，使得收集的深度信息可以适当地登记到地图中。通过该过程获得的数据还可以用于内插或外推到除最初获得信息的有利位置之外的有利位置。

如上所述，单独的视觉相机通常不足以获得深度信息，特别是在颜色变化或几何细节方面相对无纹理的通常在室内遇到的环境中。因此，模块化控制单元640可包括上述深度传感器。在其他实施方案中，可以使用其他技术来获得深度信息，例如，通过由紧密间隔的相机的视场产生的重叠，如图6b所示。在一些实施方案中，可以通过添加更多相机来增强由相机提供的视觉图像，这可以减少失真。由于近距离室内操作所需的分辨率，相机的光学特性可以再次选定为非常精确。特别地，光学器件可用于分辨毫米级的特征。

在特定实施方案中，由模块化控制单元640获得的数据可以上载到中央位置并用附加的相关数据更新。例如，模块化控制单元640可以创建地图，该地图被上载到云(或另一个集中式数据库)，然后由携带该装置的相同平台使用，或者由另一个平台使用。在代表性场景中，平台捕获与其周围环境相对应的图像(或其他信息)。如果该信息足以确定模块化控制单元640的位置，则平台访问适当的地图(来自中心位置)并使用该地图进行导航。如果信息不足以确定装置的位置，则模块化控制单元640自身收集更多信息，直到可以确定其位置。在该过程期间，可以将模块化控制单元640收集的新信息与先前定义的地图进行比较，直到识别出位置匹配。一旦确定了其位置，则它可以使用先前加载的地图信息用于导航和/或其他目的。可以基于包括执行操作所需的电力和速度以及模块化控制单元640和/或相关平台上的可用电力的因素来建立在模块化控制单元640上或在模块化控制单元640外部(例如，在云中)执行上述操作的程度。更一般地，可以选择对等待时间敏感的计算和操作在板上执行，并且可以在板外执行较少时间关键的操作。通常被认为对等待时间敏感的信息包括高度信息，平台和/或装置取向，slam(同时定位和测绘)数据和/或其他近接近度测绘数据。

在一个实施例中，装置(或人)可以放置在外来环境中，例如不熟悉的机场。操作者将环境的初始视图加载到集中式数据库，并将其与现有数据进行比较。如果初始视图足以识别位置，则操作者可以访问地图以提供上下文并帮助指导操作者的后续移动。如果初始视图不足，则操作者继续收集和上载数据，直到找到匹配为止。

在特定实施方案中，根据任何前述特征配置的装置可特别适合于机器人系统开发者。特别是，期望上述模块化和互操作性特征特别适合于这种应用。然而，本技术不限于这些应用。例如，具有任何前述特征和/或属性的模块化装置可适用于商业规模、工业规模和/或军事规模的应用。

从前述内容可以理解，本文已经出于说明的目的描述了本技术的特定实施方案，但是在不脱离本技术的情况下可以进行各种修改。例如，这里示出的系统和装置可以具有除具体示出的配置之外的配置。无人驾驶车辆可以具有直升机或固定翼配置。车辆可以包括一排顺序点亮的led或类似的布置，代替显示屏，以指示即将到来的行进方向。控制器可以自主地覆盖用户输入，例如，当控制器确定用户输入将导致车辆损坏时。与无线(例如，蓝牙)相反，通信链路可以是有线的。当uav在室内环境中进行测绘和/或操作时，操作者(或多个操作者)可以位于室外环境中，并且可以经由不在室内的控制器与uav对接。

在特定实施方案的上下文中描述的技术的某些方面可以在其他实施方案中组合或消除。例如，在一些实施方案中由多个元件(例如，多个相机)提供的功能可以组合成单个元件(例如，单个相机)。在模块化控制单元的上下文中描述的不是控制单元的模块化特性所独有的功能也可以由非模块化控制单元来执行。在至少一些实施方案中，一些特征(例如，模块化控制单元)可以在户外使用以及代替在室内使用。当在室内使用时，车辆的自主动作通常被约束到例如10英尺乘10英尺的区域，或者由室内环境的墙壁、地板、门、窗和天花板限定的另一个体积/区域。此外，虽然已经在那些实施方案的上下文中描述了与本技术的某些实施方案相关联的优点，但是其他实施方案也可以表现出这样的优点，并且并非所有实施方案都必须表现出落入本技术范围内的这些优点。因此，本公开和相关技术可以包含未在此明确示出或描述的其他实施方案。

如本文所用，如“a和/或b”中的短语“和/或”是指单独的a、单独的b以及a和b两者。在某种程度上，通过引用并入本文的任何材料与本公开冲突时，以本公开为准。