用于基于姿态信息处理和显示图像数据的系统及方法与流程

背景技术：

诸如无人机(uav)之类的飞行器已经被开发用于广泛的应用，包括监视、搜救行动、勘探和其他领域。这样的uav可以携带机载相机来捕获环境的静态图像和视频图像。

uav还可以携带机载姿态传感器，例如imu(惯性测量单元)，以获得uav的姿态信息。姿态信息可用于跟踪和预测uav的位置。还可以将姿态传感器提供给相机以在图像捕获期间跟踪相机的姿态。

技术实现要素：

提供了用于基于成像设备(例如相机)的姿态信息和显示终端(例如智能电话)的姿态信息来处理和显示环境图像的系统和方法。测量在捕获图像的时刻的成像设备的姿态信息，并将姿态信息与图像相关联。可以基于显示终端的对应姿态信息来选择图像并将图像显示在显示终端上。在一些实施例中，当显示终端处于基本上与第一姿态对应的第二姿态时，可以选择以第一姿态捕获的图像以进行显示。捕获的图像可以是静态图像或运动图像，例如视频。本文提供的各种实施例使得能够实现用户的虚拟现实体验。用户可以通过简单地倾斜显示终端来改变其姿态，并观看捕获的环境的具有不同fov(视场)的图像。

本公开的一方面可以提供用于处理环境的图像数据的方法。该方法可以包括：获得(1)使用成像设备所捕获的多个图像、以及(2)与多个图像相对应的成像设备的姿态信息；以及将多个图像与成像设备的对应姿态信息相关联。

本公开的各方面还可以提供用于处理环境的图像数据的系统。该系统可以包括被配置为捕获多个图像的成像设备；惯性传感器，被配置为收集与多个图像相对应的成像设备的姿态信息；以及一个或多个处理器，被单独或共同配置为将多个图像与成像设备的对应姿态信息相关联。

本公开的各方面还可提供用于处理环境的图像数据的设备。该设备可以包括一个或多个处理器，一个或多个处理器被单独地或共同地配置为：获得(1)使用成像设备所捕获的多个图像、以及(2)与多个图像相对应的成像设备的姿态信息；以及将多个图像与所述成像设备的对应姿态信息相关联。

本公开的各方面还可以提供一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在被一个或多个计算机处理器执行时实现用于处理环境图像数据的方法。非暂时性计算机可读介质可以包括用于进行以下操作的程序指令：获得(1)使用成像设备捕获的多个图像、以及(2)与多个图像对应的成像设备的姿态信息；以及用于将多个图像与成像设备的对应姿态信息相关联的程序指令。

本公开的各方面还提供了一种可移动物体。可移动物体可以包括实现可移动物体的运动的一个或多个推进单元；以及本公开的方面的用于处理环境的图像数据的系统。

本公开的各方面还可提供一种用于在显示终端上显示环境的图像数据的方法。该方法可以包括：获得终端的姿态信息；基于终端的姿态信息，从多个图像中选择要在所述终端上显示的一个或多个图像，其中，所述多个图像由成像设备捕获并与成像设备的对应姿态信息相关联；以及在终端上显示选择的一个或多个图像。

本公开的各方面还可提供一种显示环境的图像数据的显示终端。设备可以包括一个或多个处理器，一个或多个处理器单独地或共同地被配置为：获得终端的姿态信息；基于终端的姿态信息，从多个图像中选择要在终端上显示的一个或多个图像，其中，多个图像由成像设备捕获并与成像设备的对应姿态信息相关联；以及在设备上显示选择的一个或多个图像。

本公开的各方面还可以提供一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在被一个或多个计算机处理器执行时实现用于显示环境图像数据的方法。非暂时性计算机可读介质可以包括用于获得显示终端的姿态信息的程序指令；用于基于终端的姿态信息从多个图像中选择要在终端上显示的一个或多个图像的程序指令；以及用于在终端上显示选择的一个或多个图像的程序指令。

本公开的各方面还可以提供用于处理环境的图像数据的方法。该方法可以包括：接收目标观看取向；基于终端的姿态信息，从多个图像中选择要在所述终端上显示的一个或多个图像，其中，所述多个图像由成像设备捕获并与成像设备的对应姿态信息相关联；以及在终端上显示选择的一个或多个图像。

本公开的各方面还可提供一种显示环境的图像数据的显示终端。该装置可以包括：接收目标观看取向的接口；一个或多个处理器，单独或共同地被配置为：从多个图像中选择要显示在终端上的一个或多个图像，其中，基于终端的姿态信息来选择一个或多个图像，其中，多个图像由成像设备捕获，并与成像设备的对应的姿态信息相关联；以及在终端上显示选择的一个或多个图像。

本公开的各方面还可以提供一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在被一个或多个计算机处理器执行时实现用于显示环境图像数据的方法。非暂时性计算机可读介质可以包括用于接收目标观看取向的程序指令；基于终端的姿态信息从多个图像中选择要在终端上显示的一个或多个图像的程序指令，其中，多个图像由成像设备捕获并与成像设备的对应姿态信息相关联；以及用于在终端上显示选择的一个或多个图像的程序指令。

应该理解的是，本公开的不同方面可以单独地、共同地或者彼此组合地被理解。本文描述的本公开的各个方面可以应用于下面提及的任何特定应用或任何其它类型的静止或可移动物体。本文中对飞行器如无人机的任何说明均可以适于和用于任何可移动物体(如任何载运工具)。此外，本文公开的在空中运动(例如，飞行)情景中的系统、设备和方法也可以在其他类型的运动的情景中应用，例如在地面或水上运动、水下运动或太空中的运动。

通过阅读说明书、权利要求书和附图，本公开的其它目的和特征将变得显而易见。

通过引用并入

本说明书中提到的所有出版物、专利和专利申请通过引用并入本文，其程度如同每个单独的出版物、专利或专利申请被明确且单独地指示通过引用并入。

附图说明

本公开的新颖特征在所附权利要求中具体阐述。通过参考下面的详细描述及其附图，将更好地理解本公开的特征和优点，所述详细描述中阐述了利用本公开的原理的说明性实施例，在所述附图中：

图1示出了根据本公开的实施例的在各种取向上捕获环境图像的uav。

图2示出了根据本公开的实施例的存储由成像设备捕获的图像和与该图像相对应的成像设备的姿态信息的示例性配置。

图3示出了根据本公开的另一实施例的存储由成像设备捕获的图像和与该图像相对应的成像设备的姿态信息的示例性配置。

图4示出了根据本公开的实施例的用户保持显示终端并且在各种取向下观看由相机捕获的图像。

图5示出了根据本公开的实施例的用户保持显示终端并且在各种取向下观看由相机捕获的图像。

图6示出了根据本公开的实施例的用户操纵输入设备并在显示终端上以各种取向观看由相机捕获的图像。

图7是示出根据本公开实施例的基于显示终端的姿态来处理环境图像的方法的流程图。

图8是示出根据本公开的实施例的基于显示终端的姿态在显示终端上显示环境的图像数据的方法的流程图。

图9是示出根据本公开的实施例的基于成像设备的姿态和/或用户的目标观看取向来处理环境图像的方法的流程图。

图10图示了根据本公开的实施例的包括载体和负载在内的可移动物体。

具体实施方式

当显示环境的多个图像时，存在提供改进的虚拟现实体验的需求。可以由无人机(uav)携带的相机以各种取向捕获多个图像。例如，无人机可能会围绕高层建筑飞行，例如摩天大楼。通过在三维空间中绕着摩天大楼飞行，uav可以捕获不同取向的摩天大楼的图像。可以从各种视角捕获图像。例如，当无人机在四处飞行时，无人机可以在相对于摩天大楼的不同位置处的同时捕获诸如摩天大楼的物体的图像。uav可以从每个视角以单一取向或不同取向捕获图像。从uav获得的图像可以考虑图像的各种取向和视角，这可以丰富用户的虚拟现实体验，而这在地面级图像收集中是不可用的。在该示例中，用户可以从“从上方俯视”的角度观看摩天大楼的图像。通过在飞行过程中收集图像，用户可以访问三维空间中的许多视角，这些视角以其他方式可能不容易访问。

可以在捕获多个图像的每一个时刻处通过诸如惯性测量单元(imu)之类的姿态传感器来获得相机的姿态信息。所捕获的图像可以与对应姿态信息相关联。这可以有利地允许相机对于每个图像的姿态是已知的，这将有助于创建虚拟现实体验。可选地，相机的相对位置可以是已知的。

用户可以在诸如智能电话或可穿戴显示设备的显示终端上观看图像。可以基于显示终端的姿态来选择图像以进行显示。例如，显示以与显示终端的当前姿态相对应的姿态所捕获的图像。用户可以例如通过倾斜显示终端来改变显示终端的姿态，并且可以在第一人称视角(fpv)下观看环境的不同图像。图像可以是运动图像，例如视频。使用显示终端的分片来控制所显示的图像可以有利地向用户提供现实的虚拟现实体验。例如，当终端的姿态匹配相机的姿态或与相机的姿态有关时，终端对期望的视野的观看的控制可以是直观的。例如，如果用户想要在虚拟现实空间内向右看，则用户仅需要向右转动终端即可。

图1示出了根据本公开的实施例的在各种取向上捕获环境图像的uav100。uav100可以携带成像设备，例如相机。相机能够捕获环境图像。相机拍摄的图像可以是静态图像或运动图像。在一些情况下，uav可以在物体102周围执行飞行并且以不同的取向捕获物体的多个图像。在拍摄图像的同时还可以获得成像设备的对应姿态信息。

本文对无人机的任何描述都可以适用于任何类型的飞行器，反之亦然。所述飞行器可以是无人驾驶的，也可以不是。类似地，本文对uav的任何描述都可以适用于任何类型的可移动物体，反之亦然。可移动物体可以是能够自推进移动的载运工具。载运工具可以具有会能够允许载运工具在环境内移动的一个或更多个推进单元。可移动物体可以能够在陆地或地下、在水上或水中、在空中、在空间内或其任何组合上行驶。可移动物体可以是飞行器(例如，飞机、旋翼飞机、轻于空气的载运工具)、陆基载运工具(例如，轿车、卡车、公共汽车、火车、漫游车、地铁)、水基载运工具(例如，船只、轮船、潜艇)或空基载运工具(例如卫星、航天飞机、火箭)。可移动物体可以是有人驾驶的或无人驾驶的。

成像设备可以在各种取向上捕获环境图像。在一些情况下，成像设备可以通过uav相对于环境的运动来捕获不同取向的图像。例如，携带成像设备的uav可以在物体周围飞行，而成像设备相对于uav基本上是静止的，因此成像设备可以以不同的姿态捕获物体的图像。当uav相对于诸如环境的惯性参考系改变其取向时，成像设备可以相对于uav保持相同的取向。因此，成像设备相对于环境的取向可以直接由uav相对于环境的取向来控制。uav的飞行可以是平移运动和沿/绕一个、两个或三个轴的旋转运动的组合。轴可以正交或不正交。轴可包括航向轴、俯仰轴和/或横滚轴。

备选地或附加地，成像设备可以通过成像设备相对于uav的运动来以各种取向捕获环境图像。例如，成像设备可以相对于uav绕一个或多个、两个或多个或三个或多个轴旋转。例如，成像设备可以相对于uav运动并捕获环境内的物体的图像，而uav在飞行过程中不改变姿态，因此成像设备还可以以不同的姿态捕获物体的图像。例如，当成像设备可以相对于环境以各种取向捕获图像时，uav可以悬停或平移行驶。在另一个示例中，当成像设备相对于uav改变姿态时，uav可以相对于环境改变姿态。

成像设备可以经由诸如云台的载体耦合至uav。载体可以允许成像设备相对于uav运动。例如，载体可以允许成像设备绕一个、两个、三个或更多个轴旋转。例如，成像设备可以围绕横滚轴、航向轴和/或俯仰轴运动。备选地或附加地，载体可以允许成像设备沿着一个、两个、三个或更多个轴线性地运动。用于旋转或平移运动的轴可以彼此正交或者可以不彼此正交。通过uav相对于环境的运动与成像设备相对于uav的运动的组合，成像设备可以在uav飞行期间捕获图像的同时处于各种取向。如果改变横滚取向、俯仰取向和航向取向中的任何一个，则可以改变成像设备的姿态。

可以确定成像设备的姿态。可以相对于诸如环境的惯性参考系来确定成像设备的姿态。可以相对于重力方向确定成像设备的姿态。在一些实施例中，可以相对于环境直接测量成像设备的姿态。在其他示例中，可以基于成像设备相对于uav的姿态和/或uav相对于环境的姿态来确定成像设备相对于环境的姿态。例如，可以知道或测量成像设备相对于uav的姿态。uav相对于环境的姿态可以是已知的和/或可以测量的。成像设备相对于环境的姿态可以是加到成像设备相对于uav的姿态中的uav相对于环境的姿态。

成像设备的姿态信息可以通过设置有成像设备的姿态传感器来测量。在一些实施例中，可以将诸如imu之类的姿态传感器提供给成像设备。姿态传感器可以固定到成像设备的壳体，并且由姿态传感器测量的姿态信息是成像设备的姿态。备选地，如果成像设备被耦合到uav或与uav连接使得成像设备相对于uav基本上保持静止，则可以从uav提供的姿态传感器获得成像设备的姿态信息。在这种情况下，由姿态传感器测量的姿态信息可以是uav和成像设备的姿态。

备选地，如果成像设备经由载体耦合到uav，则可以从uav提供的姿态传感器和载体的姿态信息获得成像设备的姿态信息。载体可以是云台。成像设备和uav之间通过云台的耦合可允许成像设备相对于uav移动。成像设备相对于uav的移动可以是平移的(例如，垂直的、水平的)和/或旋转的(例如，绕俯仰轴、航向轴和/或横滚轴)。一个或多个传感器可以检测成像设备相对于uav的移动。成像设备相对于uav的移动也可以从云台的马达的运行状态中获得。成像设备的姿态信息可以根据由uav提供的姿态传感器测量的uav的姿态以及成像设备相对于uav的相对姿态来计算。

可以使用一个或多个传感器来测量成像设备、载体的组件(例如，云台或载体的框架组件)和/或uav的姿态。传感器可以测量相对于环境或相对于彼此的任何这些姿态。在确定成像设备的姿态时，可以使用来自单个传感器的数据，或者可以合并使用多个传感器。相同类型的传感器或不同类型的传感器可以用于确定成像设备的姿态。

uav可以执行任何类型的飞行轨迹的空中飞行，同时捕获环境图像。飞行轨迹可以是整圆形、半圆形、椭圆形、多边形、直线、曲线或不规则曲线。飞行轨迹可以是uav在飞行过程中采取的飞行路径。飞行路径可以是计划的，也可以是部分计划的。在飞行过程中可以调整飞行路径。

可以从飞行控制器提供的预设选项中选择飞行轨迹。例如，当计划空中飞行时，用户可以通过菜单从多个预设选项中选择飞行轨迹。预设选项可以包括飞行路径的一个或多个预定形状。形状可以包括三维、二维或一维飞行路径。例如，一个预设选项可以使uav绕物体以上升螺旋形飞行，而另一预设选项可以使uav在垂直平面或水平平面内以网格图案飞行。其他示例可以包括但不限于椭圆形路径、圆形路径、或海拔在飞行过程中可以保持相同或海拔在飞行过程中可以变化的任何其他类型的多边形路径(例如，倾斜形状)；或uav可以前后穿越的直线或曲线。预设选项可以具有固定的尺寸，或者用户可以更改尺寸。例如，在用户选择飞行路径形状之后，用户可以调整飞行路径的尺寸，反之亦然。例如，如果用户选择上升螺旋形模式，则用户可以确定螺旋形的中心的位置、螺旋形的半径和/或螺旋形的紧张度(例如，相对于uav多快地横向移动uav可以多快地上升)。因此，用户可以从多个预设选项中选择预设选项，并且可以可选地能够调整选择预设选项的一个或多个参数。

备选地，飞行轨迹可以由用户输入和/或设计。例如，用户可以选择飞行路径的航路点。可以生成定制的飞行轨迹，该定制的飞行轨迹可以允许飞行路径与航路点相交。可以以任何方式选择航路点。例如，可以通过允许用户点击终端(例如，遥控器)来在地图上选择航路点，以便在计划空中飞行时创建定制的飞行轨迹。用户可以点击地图上的位置以创建航路点。用户可以通过触摸屏直接触摸地图，或者可以使用鼠标、操纵杆或任何其他类型的用户交互设备。用户可以可选地输入表示航路点位置的坐标。可以以二维或三维选择航路点。例如，除了经度和纬度之外，航路点的坐标还可以包括航路点的海拔。在另一个示例中，用户可以点击地图上的二维坐标并手动输入航路点的海拔。在另一个示例中，地图可以是三维地图，或者用户可以访问允许用户选择航路点的海拔的海拔视图。

备选地或附加地，用户可以在图像捕获期间手动控制uav的飞行。例如，用户可以使用远程终端来直接实时地控制uav的飞行。用户可以在没有预设计划或参数的情况下控制uav的飞行。

在一些实施例中，用户可以输入用于飞行轨迹的一个或多个参数，并且一个或多个处理器可以被配置为根据一个或多个参数来生成飞行轨迹。飞行参数的示例可以包括但不限于要成像的区域的边界(例如，横向和/或高度)、一个或多个要成像的目标或物体的标识、期望的图像捕获密度(例如，捕获图像的区域或体积内有多少个不同的视角)、能源使用情况、时间信息(例如飞行长度)、通信要求(例如，停留在wi-fi区域等内)。

可以通过考虑要成像的环境的特征和/或参数来确定飞行轨迹的类型。例如，圆形轨迹可以用于捕获诸如为建筑物的场地的图像，以各种角度获得场地的细节。对于另一实例，直线轨迹或曲线轨迹可用于捕获诸如河流或海滩的场景。可以将已知的地理或拓扑数据合并到生成飞行轨迹中。例如，可以在计划飞行路线之前从政府机构接收国家公园地形的地理或拓扑数据。可以通过考虑视点的预期覆盖范围来额外确定飞行轨迹的类型。例如，如果用户希望对物体进行360度的空中全景，则可以确定并执行绕该物体的圆形飞行，并且如果用户只对物体的选择侧感兴趣，则可以采用直线或u形飞行。

在图1的示例性示例中，uav可以绕要捕获的物体进行圆形飞行。uav可以绕物体行进360度或以上。uav可以绕物体横向行进360度或以上。该物体可以是建筑物、地标、结构或自然特征。圆形飞行对于从各个方向捕获物体的图像可以是有益的，使得用户可以在各个角度观察物体。uav可以绕物体飞行至少一个完整的圆形，以便为用户创建物体的虚拟现实体验，从而用户可以从任意角度观看物体。例如，uav可以在航路点a开始飞行，在航路点auav捕获物体的图像111。然后，uav可以顺序到达航路点b、c和d，分别捕获物体的图像112、113和114，然后返回航路点a。本文中对航路点的任何描述都可以指代捕获图像的位置。航路点可以形成从中捕获图像的视角。这些航路点可以与用户可选地用来定义飞行轨迹的航路点相同或不同。在一些情况下，用户可以使用第一组点来定义飞行轨迹和/或指示第二组点(可以或可以不与第一组点共享一个或多个相同的点)，其可以指示要捕获图像的位置。在某些情况下，当uav穿越飞行路径时，连续捕获图像。备选地，可以在沿着飞行路径的离散位置处捕获图像。成像设备在穿越飞行路径时可能会更改或保持取向。在某些情况下，成像设备可以沿飞行路径的离散位置正在改变或维持取向，以获得各种姿态的期望图像。

在捕获各个图像的时刻处，还可以获得成像设备的姿态信息121、122、123和124。如前所述，可以从姿态传感器获得成像设备的姿态信息。在一些情况下，成像设备可以设置有姿态传感器，或者根据uav提供的姿态传感器提供姿态传感器，或者根据uav提供的姿态传感器和载体的姿态信息提供姿态传感器，如上所述。

可选地，成像设备在每个航路点处的位置可以是已知的或获得的。例如，可以知道成像设备在环境内的位置(例如，坐标)。成像设备相对于正被成像的物体的位置可以是已知的或计算出的。该位置可以包括成像设备相对于物体的距离和/或方向。

可以在每个或任何具有不同取向的航路点处捕获多个图像。例如，成像设备可以在飞行路径的每个航路点处以各种取向捕获环境的多个图像。在某些情况下，成像设备可以以预定时间间隔(例如，每1秒、2秒、3秒、5秒、10秒、15秒、20秒、30秒、40秒或60秒)以各种取向捕获环境图像。可选地，如果成像设备的姿态的变化达到预定值，则成像设备可以在各种取向上捕获环境图像。例如，如果成像设备的姿态变化达到5度、10度、15度、20度、25度、30度、35度、40度、50度、60度、70度、80度、90度、120度、150度或180度，则成像设备可以以各种取向捕获环境图像。在一些实施例中，航路点处的多个图像可由uav所载的一个相机来捕获。例如，在航路点处，uav可以改变其姿态，使得uav所载的相机可以以各种取向捕获图像。对于另一实例，在航路点处，载体(例如，相机所耦合的云台)可以改变其姿态，而uav可以保持基本静止。备选地，可以通过uav上所载的多个相机捕获航路点处的多个图像。多个相机可以被设置为以不同取向引导，使得相机可以在不同的方向上捕获环境图像。备选地，可以通过球形相机来捕获在航路点处的多个图像，在该球形相机上布置有以不同取向引导的多个相机。在一些实施例中，可以以各种取向(例如，从单个相机或多个相机)捕获图像，这可以允许各种取向的视场彼此相邻或重叠。这可以有利地允许丰富的虚拟现实体验，而不会在正在观看的图像中出现明显的跳跃或间隙。可以以足够的密度捕获图像，以在用户调整所观看图像的姿态时允许相对平滑和逼真的观看体验。

备选地或附加地，uav可以在各个取向上绕物体飞行多个圆形，从而可以更详细地捕获物体的图像。在一些情况下，多个圆形的飞行可以处于基本相同的高度。例如，成像设备可以在一个圆形飞行中以相对于地面的特定俯仰角捕获摩天大楼的图像，并在另一圆形飞行中相对于地面改变俯仰角。以这种方式，可以在一定高度处以各种俯仰角捕获摩天大楼图像。可选地，可以在不同的高度执行多个圆形飞行。例如，uav可以以一定高度的俯仰(例如，俯仰为2m、5m、10m或20m)并在摩天大楼周围进行圆形飞行。再例如，uav可以以一定高度的俯仰并在摩天大楼周围进行向上螺旋形飞行。在每次圆形飞行期间，可以在各种取向上捕获图像，从而可以获得摩天大楼的更多信息，从而为用户创建增强的虚拟现实体验。uav在为用户创建3d虚拟现实体验方面可以是有益的，特别是在要成像的物体的高度较高的情况下。例如，uav可以在创建摩天大楼的虚拟现实时捕获更多的细节，而不仅仅是在地面上收集图像。

图2示出了根据本公开的实施例的存储由成像设备捕获的图像和与该图像相对应的成像设备的姿态信息的示例性配置。可以将由成像设备230捕获的环境图像的211-217与成像设备的对应姿态信息221-227一起存储在存储器210中。图像和对应姿态信息的关联可以由一个或多个处理器例如可编程处理器例如中央处理单元(cpu)执行。

成像设备230可以是由诸如uav的可移动物体携带的相机。本文对相机的任何描述都可以适用于任何类型的成像设备，反之亦然。可以提供任何数量的相机。例如，uav可以携带1个或多个、2个或更多个、3个或更多个、4个或更多个、5个或更多个相机。在提供多个相机的情况下，可以将多个相机在不同的取向上设置，使得相机可以捕获不同方向上的环境图像。相机可以具有相同或不同的视场(fov)。例如，uav提供的每个具有120度fov的三个相机可以在同一平面上，从而可以捕获总共360度视图。可以以球形形式提供多个相机，使得可以在各种fov处捕获环境图像。可以拼接各种fov的图像，以生成环境的全景。可以拼接各种fov的图像，以横向和/或竖直获得完整的360度视图。

成像设备可以经由诸如为云台的载体耦合至uav，以提供达三个维度的稳定性。成像设备可以包括光学透镜(未示出)和图像传感器234。光学透镜能够将光引导到图像传感器。图像传感器可以是能够响应于光的波长而产生电信号的任何类型。光学透镜可以是静止的(例如，定焦镜头相机)或可动的(例如，变焦相机)。变焦相机可以是光学变焦型或数字变焦型透镜。光学变焦可以借助于一组光学透镜来放大图像。图像传感器可以是电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器。可以对所得到的电信号进行处理以生成图像数据。由成像设备生成的图像数据可以包括一个或多个图像，其可以是静态图像(例如照片)、运动图像(例如视频)或适合的组合。图像数据可以是多色的(例如rgb、cmyk、hsv)或单色的(例如灰色、黑白色、棕褐色)。成像设备可以以足够高的频率捕获图像以提供视频速率捕获。可以以至少10hz、20hz、30hz、40hz、50hz、60hz、70hz、80hz、90hz、100hz、120hz、150hz、200hz、250hz或300hz的速率捕获图像。可以提供图像处理器以从成像设备接收图像数据并生成要显示的数据。图像处理器可以设置在uav上，也可以设置在uav外。例如，图像处理器可以对多个相机的捕获图像执行处理，并且拼接图像以生成环境的全景。

可以为成像设备设置姿态传感器以测量成像设备的姿态。姿态传感器可以包括惯量传感器的任何合适数量和组合，例如至少一个、两个、三个或更多个加速度计和/或至少一个、两个、三个或更多个陀螺仪。惯性传感器的示例可以包括但不限于加速度计、陀螺仪、重力检测传感器、磁力计或任何其他传感器。可选地，姿态传感器可以包括至少一个、两个、三个或更多个惯性测量单元(imu)，每个惯性测量单元包括任何数量或组合的集成加速度计、陀螺仪或任何其他类型的惯性传感器。在一些实施例中，可以提供一轴、两轴或三轴加速度计。可选地，可以提供一轴、两轴或三轴陀螺仪。可以提供任何数量的惯性传感器或惯性传感器的组合，以检测成像设备绕着或沿着单个轴、绕着或沿着两个轴或绕着或沿着三个轴的姿态。在图2的示例性配置中，提供了imu232作为姿态传感器，以在成像设备捕获图像的同时测量成像设备的姿态信息。可以在成像设备处设置imu。例如，imu可以固定到成像设备的壳体。

一个或多个传感器可以测量成像设备相对于惯性参考系(例如，环境)的姿态。一个或多个传感器可以测量成像设备相对于另一物体例如uav或uav的载体的姿态。可以基于来自一个或多个传感器的测量来获得成像设备的姿态信息。

成像设备的姿态信息可以包括成像设备相对于参考系(例如，周围环境)的至少一种姿态。成像设备的测得姿态信息可以包括成像设备相对于三个轴的姿态。例如，成像设备的姿态信息包括在捕获环境的相应图像的时刻处成像设备相对于周围环境的俯仰角、航向角和/或横滚角。备选地或附加地，在捕获环境的相应图像的时刻处，成像设备的姿态信息可以包括成像设备相对于周围环境的三个轴的加速度。例如，成像设备的加速度可以是成像设备相对于地理坐标系的x轴、y轴和z轴的加速度。成像设备的加速度可以与携带成像设备的运动物体的加速度相同。例如，如果成像设备由uav携带，则成像设备的加速度可以与uav的加速度相同。

可以将环境的拍摄图像、和在拍摄图像的时刻处成像设备的测量的姿态信息一起存储在存储器中。图像和姿态信息的存储可以以多种方式实现。在某些情况下，可以将对应姿态信息存储为图像数据的一部分。可选地，姿态信息可以在相继在对应图像数据之后和在下一图像数据之前的地址处存储于存储器中。可选地，可以基于捕获图像的时序将对应姿态信息与图像相关联地存储，使得姿态信息和图像可以在存储器中相互链接。可选地，可以基于捕获多个图像的位置，将多个图像与成像设备的对应姿态信息相关联。可以通过成像设备的gps信息来实现该关联。

除了在捕获图像的时刻处捕获的环境图像和成像设备的测量到的姿态信息之外，还可以将其他信息相关联并存储在存储器中。例如，可以将成像设备的成像时序、位置、fov、高度、视角和/或成像参数(例如，快门速度、iso、光圈)相关联并与捕获的图像和成像设备的姿态信息一起存储在存储器中。可以通过捕获图像的时序来关联各种信息。

存储器可以是装载在成像设备上的存储设备。例如，存储器可以是成像设备的内置存储设备。存储器可以包括高速随机存取存储器，如dram、sram、ddrram或其他随机存取固态存储器设备。可选地，存储器可以包括非易失性存储器，诸如一个或更多个磁盘存储设备、一个或更多个光盘存储设备、一个或更多个闪存设备或者一个或更多个其他非易失性固态存储设备。备选地，存储器可以是在成像设备外的存储设备。例如，存储器可以是相对于成像设备远程的存储设备。所捕获的图像和测量到的姿态信息可以通过有线或无线链路传输到存储器。例如，对图像和姿态信息的传输可以通过局域网(lan)、广域网(wan)、红外线、无线电、wifi、点对点(p2p)网络、电信网络、云通信等中的一个或更多个来实现。可选地，可以使用中继站，例如塔、卫星或移动站。

图3示出了根据本公开的另一实施例的存储由成像设备捕获的图像和与该图像相对应的成像设备的姿态信息的示例性配置。环境图像311-317和成像设备的对应姿态信息221-227可以单独存储在存储器310和320中。图像可以由诸如相机的成像设备330捕获。相机可由诸如uav之类的可移动物体携载，并且包括光学透镜(未示出)和图像传感器334。成像设备可以设置有姿态传感器，例如imu332，其在捕获相应图像的时刻处测量成像设备的姿态信息。在某些情况下，两个存储器可以是物理上分开的存储器设备。可选地，两个存储器可以是同一存储器设备的不同扇区或部分。

环境的所捕获图像和成像设备的测得的姿态信息可以分开存储在两个存储器310和320中。可以将多个图像与成像设备的对应姿态信息相关联地存储。在一些情况下，可以基于捕获多个图像的时序来将多个图像与成像设备的对应姿态信息相关联，使得可以将姿态信息和相应图像彼此链接。可选地，可以基于捕获多个图像的位置，将多个图像与成像设备的对应姿态信息相关联。

图4示出了根据本公开的实施例的用户保持显示终端并且在各种取向下观看由成像设备捕获的图像。由成像设备捕获的图像411-417和捕获图像的成像设备的对应姿态信息421-427彼此关联地存储在存储器410中。用户可以在观看图像的同时保持显示终端440并改变其姿态。可以基于显示终端的姿态从所存储的图像中选择一个或多个图像。然后，可以将选择的一个或多个图像提供给显示终端并进行显示。备选地，可以通过其他类型的用户输入来改变用户希望观看图像的取向。例如，用户可以通过键盘、鼠标、操纵杆、按钮、触摸板、轨迹球、触控笔、麦克风、运动传感器或任何其他类型的用户交互设备来改变用户希望查看图像的取向。

终端可以是手持式或可穿戴设备。使用者可以保持终端并用一只手或两只手改变其姿态。在某些情况下，终端可以是被配置为在人体工程学上由单手或多手保持的手持式设备。终端可以具有一个或多个握持区域，所述一个或多个握持区域被配置用于用户保持设备。终端可以被配置为允许用户在保持和/或倾斜设备的同时观看显示器。用户可以舒适地绕一个、二个或三个轴倾斜设备，同时保持显示器的视野。终端可以包括智能电话、平板电脑、膝上型电脑、计算机、眼镜、手套、头盔、麦克风或其合适的组合。终端可以包括可以在其上显示静态图像或运动图像的显示器。终端可以包括诸如键盘、鼠标、操纵杆、触摸屏或显示器的用户界面。可以使用任何合适的用户输入来与终端进行交互，诸如手动输入的命令、语音控制、手势控制或位置控制(例如，通过终端的移动、位置或倾斜)。显示终端可以包括一个或多个处理器(例如，可编程处理器)，所述一个或多个处理器被单独或共同配置为接收成像设备捕获的多个图像、以及对应于多个图像的成像设备的姿态信息。

该终端可以具有可以测量终端的姿态的一个或多个传感器。可以相对于单个轴、两个轴或三个或更多个轴来测量端子的姿态。一个或多个传感器可以是装载在载体上的传感器上。一个或多个传感器可以在终端的壳体内。一个或多个传感器可以以任何精度或准确度来测量终端的姿态，例如在0.01、0.1、0.5、1、2、3、5、7、10、15、20、25或30内的精度或准确度。

在存储器中，将多个图像与成像设备的对应姿态信息相关联地存储。在某些情况下，该存储器可以相对于显示终端是远程的。例如，存储器可以被携载在uav上或在成像设备内。可选地，可以在远程服务器处提供存储器。例如，可以将成像设备的捕获图像和关联的姿态信息从成像设备传送到远程服务器并存储在其中。存储器与显示终端之间的通信(例如，显示终端的姿态的传输、对姿态信息的匹配以及选择图像的传输)可以通过局域网(lan)、广域网(wan)、红外线、无线电、wi-fi、点对点(p2p)网络、电信网络、云通信等中的一个或多个来完成。可选地，存储器可以对于显示终端是本地的。例如，捕获的图像和关联的姿态信息可以被复制到显示终端的本地存储器设备。

可以基于图像选择输入来从多个捕获图像中选择图像。可以经由相对于成像设备远程的终端来提供图像选择输入。该终端可以是显示选择的图像的显示终端。图像选择输入可以包括关于显示终端的惯性信息。例如，惯性信息可以包括显示终端的姿态、显示终端的角速度和/或线速度、和/或显示终端的角加速度和/或线加速度。惯性信息可以包括关于终端的物理布置和/或运动的信息。可以相对于单个轴、两个轴或三个轴来提供惯性信息。惯性信息可以包括终端是倾斜还是摇动。

图像选择输入可以包括来自终端的输入设备的数据。输入设备可以接收用户输入。输入设备的示例可以包括但不限于触摸屏、操纵杆、轨迹球、触摸板、触控笔、按钮、键、杆、开关、拨盘、旋钮、麦克风、运动传感器、热传感器或电容传感器。图像选择可以可选地将惯性信息优先于来自输入设备的信息，反之亦然，或者允许将两种类型的信息结合使用。

可以基于显示终端的姿态和/或图像选择输入来从多个捕获的图像中选择图像。例如，图像选择输入可以是终端的姿态，如本文进一步所述。在另一个示例中，图像选择输入可以取决于来自输入设备的输入，如本文进一步所述。

可以基于显示终端的姿态从多个捕获图像中选择图像。例如，第一图像可以在成像设备处于第一取向时捕获，并且当显示终端处于基本上与第一取向相对应的第二取向时，选择第一图像进行显示。可以通过设置在显示终端处的姿态传感器(例如，imu)来测量显示终端的姿态。例如，显示终端(例如，平板电脑)可以携载内置imu以测量其姿态。

在某些实施例中，当第一取向和第二取向在三维空间中相同时，第二取向可以对应于第一取向。例如，当第二取向和第一取向具有相同的俯仰角、相同的航向角和/或相同的横滚角时，第二取向被认为对应于第一取向。备选地或附加地，当显示终端相对于参考系的三个轴(例如，显示终端的航向轴、俯仰轴和横滚轴)的加速度等于成像设备相对于周围环境的三个轴(例如，地理坐标系的x轴、y轴和z轴)的加速度时，第二取向可以对应于第一取向。如果显示终端处于基本上与捕获图像412的成像设备的姿态422相同的三维姿态，则从存储在存储器410中的多个捕获图像中选择图像412。然后，可以将选择的图像提供给显示终端以进行显示。在某些情况下，选择的图像可以是环境的静态图像。可选地，选择的图像可以是运动图像，例如视频。例如，当携载成像设备的uav以基本不变的姿态在空中盘旋时，可以捕获视频。又例如，当携载成像设备的uav以不变的姿态沿着直线飞行时，可以捕获视频。在某些实施例中，如果第一取向和第二取向之间的差异在三维空间中的预定范围内，则第二取向可以对应于第一取向。例如，如果第二取向和第一取向的俯仰角、航向角和/或其横滚角的差在1度、2度、3度、4度、5度、6度、7度、8度、9度、10度、15度或20度内，则第二取向对应于第一取向。

用户可以改变显示终端的姿态以观看不同的图像。例如，用户可以如图4所示沿着x轴、y轴和z轴中的至少一个使显示终端倾斜。x轴、y轴和z轴可以分别对应于俯仰轴、航向轴和横滚轴。如图4所示，如果用户将显示终端倾斜到与捕获图像415的成像设备的姿态425相同的新姿态，则可以从多个捕获图像中选择图像415并将图像415提供给显示终端以进行显示。

在一些实施例中，可以在与图像相关联的姿态和显示终端的姿态之间提供基本相同的变化关系。例如，显示终端的姿态改变五度可以导致选择的图像也改变了五度。该关系可以适用于围绕所有三个轴的姿态变化，或者可以限于两个轴或一个轴。如果该关系并不适用于所有轴，则其他规则(例如本文其他地方描述的那些规则)可以适用于其他轴。

备选地，当第一取向的俯仰角、航向角和横滚角与第二取向的对应的俯仰角、航向角和横滚角成比例，或者具有函数关系时，第二取向可以对应于第一取向。备选地或附加地，当显示终端相对于参考系的三个轴(例如，显示终端的航向轴、俯仰轴和横滚轴)的加速度与成像设备相对于周围环境的三个轴(例如，地理坐标系的x轴、y轴和z轴)的加速度成比例，或者具有函数关系时，第二取向可以对应于第一取向。该关系可以是线性关系。例如，如果显示终端处于三维姿态(例如，俯仰角、航向角和横滚角)，该三维姿态为捕获图像412的成像设备的姿态422的1/k倍(k为整数)，则从存储在存储器410中的多个捕获图像中选择图像412。如果用户将显示终端倾斜到作为成像设备的姿态425的1/k倍(例如，俯仰角的1/k、航向角的1/k和横滚角的1/k)的新姿态，则可以选择图像415并将图像415显示在显示终端上。以这种方式，用户可以通过在小范围内改变显示终端的姿态来观看宽范围的图像。例如，如果k为4，则用户可以通过在90度内简单地改变显示终端的航向角来观看具有360度航向角范围的图像。在某些情况下，俯仰角、航向角和横滚角的比例系数或函数关系可以不同。例如，如果显示终端处于三维姿态，该三维姿态具有姿态422的航向角的1/k倍的航向角、姿态422的俯仰角的1/m倍的俯仰角、和姿态422的横滚角的1/n倍的横滚角(k、m和n是不同的整数)，则从多个捕获图像中选择对应图像412。

备选地，当第一取向的俯仰角、航向角和横滚角中的任何一个或两个与第二取向的对应的俯仰角、航向角和横滚角成比例，或者具有函数关系时，第二取向可以对应于第一取向。例如，如果显示终端的航向角是成像设备的姿态422的航向角的1/k倍(k是整数)，而显示终端的俯仰角和横滚角分别与姿态422的俯仰角和横滚角相同，则从多个捕获图像中选择对应的图像412，并将对应的图像412显示在显示终端上。如果用户将显示终端倾斜到新姿态，在新姿态处，航向角为成像设备的姿态425的航向角的1/k倍，并且显示终端的俯仰角和横滚角分别与姿态425的俯仰角和横滚角相同，则可以选择对应的图像415，并将对应的图像415显示在显示终端上。备选地或附加地，当显示终端相对于参考系的三个轴(例如，显示终端的航向轴、俯仰轴和横滚轴)的加速度中的任何一个与成像设备相对于周围环境的三个轴(例如，地理坐标系的x轴、y轴和z轴)的对应的加速度成比例，或者具有函数关系时，第二取向可以对应于第一取向。

备选地，可以基于第一取向和第二取向之间的距离来确定第一取向和第二取向之间的相似度。第一取向可以由第一矢量表示，并且第二取向可以由第二矢量表示。当第二取向和第一取向之间的距离低于预定阈值时，第二取向可以对应于第一取向。该距离可以是欧几里得距离、马氏距离或余弦距离。例如，当显示终端处于三维姿态时，如果第二姿态和第一姿态之间的“距离”低于预定阈值，则可以从多个图像中选择以第一姿态422捕获的图像412。在某些情况下，如果第二姿态和第一姿态422之间的距离是在其他第一姿态中最小的一个，则可以从多个图像中选择成像设备以第一姿态422拍摄的图像412。第二姿态和第一姿态之间的最小距离可以意味着第一姿态422是多个姿态421-427中与第二姿态最相似的姿态。

成像设备的参考系可以对应于可以对准的终端的参考系。例如，成像设备的航向轴、俯仰轴和横滚轴可以分别与终端的航向轴、俯仰轴和横滚轴重合，使得终端围绕航向轴的操作(例如，倾斜)导致所显示图像围绕航向轴的变化。备选地，成像设备的参考系可以对应于可以对准的终端的参考系。例如，成像设备的航向轴、俯仰轴和横滚轴可以分别与终端的航向轴、俯仰轴和横滚轴不重合。例如，成像设备的航向轴可以对应于终端的俯仰轴，使得终端围绕俯仰轴的倾斜导致所显示图像沿着航向轴的变化。

如果成像设备在与显示终端的第二姿态相对应的第一取向上没有捕获到图像，则可以在显示终端上显示默认图像。在某些情况下，默认图像可以是成像设备以与第二取向最接近的姿态所捕获的图像。例如，如果显示终端处于与存储在存储器中的任何姿态信息的预定范围不相同或不在该预定范围内的姿态，那么如果显示终端的姿态最接近于姿态信息422，则可以从多个图像中选择图像412。显示终端与姿态信息422最接近的姿态可以表示姿态相对于姿态信息422具有最小的变化。在某些情况下，预定范围可以是被认为在与姿态足够接近的范围内(例如，在10度、5度、3度、2度、1度、0.5度、0.1度、0.01度内)的角度范围。可选地，默认图像可以是时间序列中最后显示的图像。例如，如果用户将显示终端倾斜到与存储在存储器中的任何姿态信息不成比例或者不具有函数关系的姿态，则不显示新图像，并且显示终端继续显示最后显示的图像。

在一些实施例中，显示终端可以设置有内部存储设备，该内部存储设备临时存储多个图像以及对应图像的关联的姿态信息。内部存储设备可以包括高速随机存取存储器，如dram、sram、ddrram或其他随机存取固态存储器设备。与其中实时地从远程存储器直接读取图像的配置相比，该配置可以允许在显示终端上快速选择和显示图像。例如，可以经由例如无线链路将显示终端的初始姿态发送到远程存储器，并且可以从存储器读取多个图像并将所述多个图像临时存储在显示终端的内部存储设备中。多个图像可以包括基本上与显示终端的初始姿态信息相对应的姿态信息相关联的一个或多个图像、在一个或多个图像之前捕获的多个图像、以及在一个或多个图像之后捕获的多个图像。还可以从存储器中读取多个图像的关联的姿态信息，并将该关联的姿态信息临时存储在显示终端的内部存储设备中。

如果用户改变显示终端的姿态，则可以首先在内部存储设备中搜索要显示的新图像。如果在内部存储设备中未发现具有与终端的新姿态相对应的关联的姿态信息的图像，则可以在成像设备装载的存储器中针对具有与显示终端的改变的姿态相对应的关联的姿态信息的图像执行搜索。可以从装载在成像设备上的存储器中读取新的图像集，新的图像集包括具有基本上与显示终端的新的姿态信息相对应的关联的姿态信息的图像、在该图像之前捕获的多个图像、和在该图像之后捕获的多个图像，并且基于显示终端的新姿态将该新的图像集临时存储在显示终端的内部存储设备中。在内部存储设备中读取和存储新的图像集可以是动态处理。换句话说，可以基于显示终端的姿态的变化来实时更新显示终端的内部存储设备，使得具有基本上与显示终端的姿态信息相对应的关联的姿态信息的图像被存储在内部存储设备中。

备选地，可以在成像设备处设置高速内部存储设备。在成像设备由诸如uav之类的可移动物体携载的情况下，可以将高速内部存储设备设置在可移动物体处。在某些情况下，可以通过例如无线链路将显示终端的初始姿态信息发送到成像设备，并且可以从成像设备的存储器中读取多个图像并将所述多个图像临时存储在成像设备的内部存储设备。多个图像可以包括基本上与显示终端的初始姿态信息相对应的姿态信息相关联的一个或多个图像、在一个或多个图像之前捕获的多个图像、以及在一个或多个图像之后捕获的多个图像。还可以从存储器中读取图像的关联的姿态信息，并将该关联的姿态信息临时存储在成像设备的内部存储设备中。要显示的一个或多个图像可以首先在高速内部存储设备中进行搜索。例如，如果用户通过例如使终端围绕航向轴、俯仰轴和横滚轴中的至少一个倾斜来改变显示终端的姿态，则可以首先在高速内部存储设备中搜索要显示的新图像。如果在内部存储设备中未发现具有与终端的新姿态相对应的关联的姿态信息的图像，则可以基于显示终端的新姿态，从存储器中检索新的图像集，其中新的图像集包括具有基本上与显示终端的新姿态信息相对应的关联的姿态信息的图像、在该图像之前捕获的多个图像和在该图像之后捕获的多个图像。内部存储设备可以使用新的图像集进行更新。对新的图像集的读取和存储可以是动态过程。换句话说，可以基于显示终端的姿态的变化来实时更新成像设备的内部存储设备，使得具有基本上与显示终端的姿态信息相对应的关联的姿态信息的图像可以首先在内部存储设备中以更高的速度被搜索。

图5示出了根据本公开的实施例的用户保持显示终端并且在各种取向下观看由相机捕获的图像。由成像设备捕获的图像511-517和捕获图像的成像设备的对应姿态信息521-527彼此关联地存储在存储器510中。用户可以保持显示终端540并改变其姿态(例如，通过倾斜显示终端)。可以基于显示终端的姿态从所存储的图像中选择一个或多个图像。然后，可以在显示终端上显示选择的一个或多个图像。

可以基于显示终端的姿态从多个捕获图像中选择多于一个的图像。例如，第一多个图像可以在成像设备处于第一取向时捕获，并且当显示终端处于基本上与第一取向相对应的第二取向时，可以选择要被显示在显示终端上的第一多个图像。在一些实施例中，当第一取向和第二取向具有相同的俯仰角、相同的航向角和/或相同的横滚角时，第二取向可以对应于第一取向。备选地，当第一取向的俯仰角、航向角和/或横滚角与第二取向的俯仰角、航向角和/或横滚角成比例，或者具有函数关系时，第二取向可以对应于第一取向。备选地，第二姿态与第一姿态之间的距离可以低于预定阈值。例如，第二姿态和第一姿态之间的距离可以是最小的距离。

可以在各种规则下将第一多个图像显示在显示终端上。在某些情况下，第一多个图像可以按照被捕获的时序序列连续地显示在显示终端上。例如，两个图像515和517在成像设备处于第一取向525时被捕获。当显示终端处于与第一取向525相对应的第二取向时，两个图像515和517可以按照被捕获的时序序列显示在显示终端上。可选地，与最后显示的图像相比，仅第一多个图像中取向上变化最小的一个图像可以显示在显示终端上。可选地，与最后显示的图像相比，仅第一多个图像中空间位置上变化最小的一个图像可以显示在显示终端上。空间位置可以指的是从其捕获图像的视角/航路点。可选地，与最后显示的图像相比，仅第一多个图像中图像内容变化最小的一个图像可以显示在显示终端上。可选地，与最后显示的图像相比，仅第一多个图像中图像参数(例如，快门速度、iso、光圈)上变化最小的一个图像可以显示在显示终端上。显示的图像可以是静态图像或运动图像。

图6示出了根据本公开的实施例的用户操纵输入设备并在显示终端上以各种取向观看由相机捕获的图像。由成像设备捕获的图像611-617和捕获图像的成像设备的对应姿态信息621-627彼此关联地存储在存储器610中。备选地或附加地，用户可以操纵输入设备650以改变用户希望观看捕获的物体的图像的取向，使得可以基于成像设备的对应的姿态信息来选择并显示由成像设备捕获的图像。输入设备可以包括操纵杆、轨迹球、触摸屏、触摸板、鼠标或本文其他各处所述的任何其他用户交互。

备选地或附加地，用户可以通过与显示终端的屏幕交互来输入期望的观看取向。显示终端的屏幕可以是触摸面板，该触摸面板能够：通过使用特殊的触控笔和/或一个或多个手指触摸屏幕来接收用户的简单或多点触摸手势。例如，用户可以在显示终端的屏幕上触摸和/或拖动以改变期望的观看取向。可以将用户的屏幕操作转换为所需的观看取向，并可以基于捕获环境图像的成像设备的姿态信息来从所存储的图像中选择一个或多个图像。然后，可以将选择的一个或多个图像提供给显示终端以进行显示。

例如，第一图像可以在成像设备处于第一取向时捕获，并且当操纵杆创建基本上与第一取向相对应的第二取向时，可以选择显示第一图像。用户可以操控操纵杆以观看不同的图像。例如，用户可以沿着x轴、y轴和z轴中的至少一个来操控操纵杆，如图6所示。x轴、y轴和z轴可以分别对应于俯仰轴、航向轴和横滚轴。如果用户操控操纵杆以创建基本上与捕获图像615的成像设备的姿态625相对应的新姿态，则可以从多个捕获中选择图像615并将图像615显示在显示终端上。对于另一实例，用户可以通过在显示终端的触摸屏上触摸和拖动/滑动来输入或改变期望的观看取向。可以通过例如提取用户沿三个轴的拖动速度并将该速度与拖动/滑动的持续时间相结合来将用户在终端屏幕上的操作转换为所期望的观看取向。如上所述，可以基于期望的观看取向从存储的图像中选择一个或多个图像。

可以基于显示终端的姿态从多个捕获图像中选择多于一个的图像。如上所述，可以按照各种预定规则在显示终端上显示多于一个的图像。例如，可以显示捕获的时序序列变化最小的图像、或者与最后显示的图像相比取向变化最小的图像、或者与最后显示的图像相比空间位置变化最小的图像、或者与最后显示的图像相比图像内容变化最小的图像、和/或与最后显示的图像相比图像参数(例如，快门速度、iso、光圈)变化最小的图像。如果成像设备在与显示终端的第二姿态相对应的第一取向上没有捕获到图像，则可以在显示终端上显示默认图像，如上文中所讨论的。选择的要显示的图像可以是静态图像或运动图像。

操纵杆可与用户在显示终端上的操控结合使用。例如，在成像设备以第一取向捕获具有各种fov的多个图像的情况下(例如，多个图像可以通过球形相机捕获)，用户可以手动将显示终端的姿态(例如，通过倾斜终端)更改为基本上与第一取向相对应的第二姿态，然后通过操作操纵杆来输入所期望的观看取向，以便用户可以查看以第一取向拍摄的各种图像。在这种情况下，提供了虚拟现实体验，就像用户停在某个位置并以各种观看取向观看环境图像一样。用户可以通过与显示终端的屏幕交互(例如，通过在显示终端的屏幕上触摸和/或拖动以改变期望的观看取向)来类似地输入期望的观看取向。

图7是示出根据本公开实施例的基于显示终端的姿态来处理环境图像的方法的流程图。可以执行该方法，以将成像设备捕获的图像与成像设备的与图像相对应的姿态信息相关联。处理环境图像的方法可以在成像设备或远程服务器上执行。图像和姿态信息的关联可以使用户能够以各种取向观看环境图像，并为用户提供虚拟现实体验。处理环境图像数据的方法可以由一个或多个处理器例如可编程处理器(例如，中央处理单元(cpu))执行。处理环境图像数据的方法可以以非暂时性计算机可读介质的形式提供。例如，非暂时性计算机可读介质可以包括机器可执行代码，该机器可执行代码在被一个或多个计算机处理器执行时实现用于处理环境图像数据的方法。在处理环境图像的方法中，可以获得使用成像设备捕获的多个图像、以及与所述多个图像相对应的成像设备的姿态信息。可以将多个图像与成像设备的对应姿态信息相关联。可以基于终端的姿态信息和与多个图像相对应的成像设备的姿态信息，从多个图像中选择要在终端上显示的一个或多个图像。

在处理701中，可以获得由成像设备捕获的多个图像。在处理702中，可以获得与多个图像相对应的成像设备的姿态信息。可以同时或顺序地执行获得多个图像的过程和获得成像设备的姿态信息的过程。成像设备可以是由诸如uav的可移动物体携带的相机。在某些情况下，uav可以在环境中执行计划的或自主的或手动控制的飞行，并以不同取向捕获环境的多个图像。可以在成像设备捕获图像的同时通过姿态传感器(例如imu)来测量成像设备的对应姿态信息。

在处理704中，可以将多个图像与成像设备的对应的姿态信息相关联。在某些情况下，可以基于成像设备捕获图像的时序，将成像设备的对应的姿态信息与图像相关联。可选地，可以基于成像设备捕获图像的位置，将成像设备的对应的姿态信息与图像相关联。成像设备的对应的姿态信息与图像的关联可以由装载在可移动物体上的或在移动物体外的一个或多个处理器执行。

处理环境图像的方法可以还包括处理706和708。在处理706中，例如，可以通过经由无线链路接收终端的姿态信息来获得终端的姿态信息。显示终端可以相对于成像设备是远程的。终端可以包括智能电话、平板电脑、膝上型电脑、计算机、眼镜、手套、头盔、麦克风或其合适的组合。终端可以包括可以在其上显示静态图像或运动图像的显示器。可以通过显示终端的内置姿态传感器(例如，imu)来测量显示终端的姿态。

在处理708中，可以基于终端的姿态信息从多个图像中选择要在显示终端上显示的一个或多个图像。第一图像可以在成像设备处于第一取向时捕获，并且当显示终端处于基本上与第一取向相对应的第二取向时，选择将要在显示终端上显示的第一图像。在一些情况下，当第一取向和第二取向具有相同的俯仰角、相同的航向角和/或相同的横滚角时，第二取向可以对应于第一取向。可选地，当第一取向的俯仰角、航向角和/或横滚角与第二取向的俯仰角、航向角和/或横滚角成比例，或者具有函数关系时，第二取向可以对应于第一取向。可选地，当第一取向和第二取向之间的距离低于预定阈值时，第二取向可以对应于第一取向。在一些实施例中，该方法可以还包括将选择图像经由无线链路发送到显示终端。

如果成像设备在与显示终端的第二姿态相对应的第一取向处捕获了多于一个的图像，则可以按照捕获时间的序列在显示终端上连续显示图像。可选地，与最后显示的图像相比，仅图像中图像内容变化最小的一个图像可以显示在显示终端上。

如果成像设备在与显示终端的第二姿态相对应的第一取向上没有捕获到图像，则可以在显示终端上显示默认图像。默认图像可以是成像设备以与第二取向最接近的姿态捕获的图像。可选地，默认图像可以是最后显示的图像。

在一些实施例中，要显示在显示终端上的一个或多个图像可以实时地直接从成像设备装载的存储器中读取。例如，显示终端的姿态信息可以由成像设备经由无线链路接收，并且可以基于接收到的终端的姿态信息，从存储在成像设备装载的存储器中的多个图像中选择一个或多个图像。

备选地，成像设备可以设置有内部存储设备，以临时存储多个图像以及对应图像的关联的姿态信息。例如，成像设备可以通过无线链路接收显示终端的姿态信息，并且可以从成像设备装载的存储器中读取多个图像并将所述多个图像临时存储在内部存储设备中。多个图像可以包括基本上与显示终端的姿态信息相对应的姿态信息相关联的一个或多个图像、在一个或多个图像之前捕获的多个图像以及在一个或多个图像之后捕获的多个图像。还可以从存储器中读取多个图像的关联的姿态信息，并将其临时存储在成像设备的内部存储设备中。可以基于接收到的显示终端的更新姿态来实时更新内部存储装置中的图像集，使得具有基本对应于显示终端的姿态的关联的姿态信息的图像被存储在内部存储装置中。利用这种配置，处理环境图像的方法可以还包括例如在处理706之后的临时在成像设备的内部存储设备中存储多个图像的处理，多个图像包括具有与终端的姿态信息相对应的关联的姿态信息的一个或多个图像。利用这种配置，在选择要显示的图像的处理708中，可以首先在内部存储设备中执行。如果在内部存储设备中没有发现具有与终端的更新的姿态相对应的关联的姿态信息的图像，则可以在存储器中执行搜索。可以从存储器中读取新的图像集，该新的图像集包括具有基本上与显示终端的更新的姿态信息相对应的关联的姿态信息的图像，并且基于显示终端的更新的姿态将该新的图像集临时存储在内部存储设备中。

又备选地，可以在显示终端处设置高速内部存储设备以临时存储多个图像和对应图像的关联的姿态信息。例如，可以从成像设备装载的存储器中读取多个图像，并将所述多个图像临时存储在成像设备的内部存储设备中。可以基于接收到的显示终端的更新的姿态来实时更新内部存储设备中的图像集。

图8是示出根据本公开的实施例的基于终端的姿态在显示终端上显示环境的图像数据的方法的流程图。该方法可以在显示终端处执行以观看各种取向的环境图像。该方法可以由一个或多个处理器执行，并且以非暂时性计算机可读介质的形式提供。可以在显示终端内设置一个或多个处理器。在终端上显示环境的图像数据的方法中，可以获得终端的姿态，并且可以基于终端的姿态来从多个图像中选择要在终端上显示的一个或多个图像，所述多个图像与成像设备的对应的姿态信息相关联。选择的一个或多个图像可以显示在终端上。在一些实施例中，可以在存储器或例如成像设备装载的高速存储设备处检索要显示的一个或多个图像。备选地，可以在显示终端装载的本地存储设备处检索要显示的一个或多个图像，该本地存储设备可以从成像设备接收并临时存储多个图像，如上所述。

在处理802中，可以获得显示终端的姿态信息。可以通过显示终端的内置姿态传感器(例如，imu)来测量显示终端的姿态。终端可以相对于捕获环境图像的成像设备是远程的。终端可以包括智能电话、平板电脑、膝上型电脑、计算机、眼镜、手套、头盔、麦克风或其合适的组合。

在处理804中，可以基于终端的姿态信息从多个捕获的图像中搜索并选择要在显示终端上显示的一个或多个图像。第一图像可以在成像设备处于第一取向时捕获，并且当显示终端处于基本上与第一取向相对应的第二取向时，选择将要在显示终端上显示的第一图像。当第一取向和第二取向具有相同的俯仰角、相同的航向角和/或相同的横滚角时，当第一取向的俯仰角、航向角和/或横滚角与第二取向的俯仰角、航向角和/或横滚角成正比或具有函数关系时，或者当第二姿态与第一姿态之间的距离低于预定阈值时，第二取向可以对应于第一取向。如果成像设备在基本上与显示终端的第二姿态对应的第一取向处捕获多于一个图像，则图像可以按照捕获的时间序列连续显示在显示终端上。可选地，与最后显示的图像相比，仅图像中图像内容变化最小的一个图像可以显示在显示终端上。如果成像设备在与显示终端的第二姿态相对应的第一取向上没有捕获到图像，则可以在显示终端上显示默认图像。默认图像可以是成像设备以与第二取向最接近的姿态捕获的图像。可选地，默认图像可以是最后显示的图像。

在一些实施例中，成像设备可以设置有高速内部存储设备，该高速内部存储设备临时存储多个图像以及对应图像的相关联的姿态信息。在成像设备由诸如uav之类的可移动物体携载的情况下，可以将高速内部存储设备设置在可移动物体处。可以从成像设备的存储器中读取多个图像，并基于显示终端的姿态信息将所述多个图像临时存储在成像设备的内部存储设备中。例如，多个图像可以包括基本上与显示终端的初始姿态信息相对应的姿态信息相关联的一个或多个图像、在一个或多个图像之前捕获的多个图像、以及在一个或多个图像之后捕获的多个图像。要显示的一个或多个图像可以首先在高速内部存储设备中进行搜索，如上所述。

备选地，可以在显示终端处设置高速内部存储设备。利用这种配置，显示环境的图像数据的方法可以还包括例如在处理804之前的、从成像设备接收多个图像并将多个图像临时存储在内部存储设备中的处理，所述多个图像可以包括：基本上与显示终端的姿态信息对应的姿态信息相关联的一个或多个图像。首先可以在显示终端的内部存储设备中搜索要显示的图像。如果在内部存储设备中未发现具有与终端的新姿态相对应的关联的姿态信息的图像，则可以在成像设备装载的存储器中针对具有与显示终端的改变的姿态相对应的关联的姿态信息的图像执行搜索。可以从成像设备装载的存储器中读取新的图像集，新的图像集包括具有基本上与显示终端的姿态信息相对应的关联姿态信息的图像，并且基于显示终端的姿态，将新的图像集临时存储在显示终端的内部存储设备中。在内部存储设备中读取和存储新的图像集可以是动态过程，如上所述。

在处理806中，选择的一个或多个图像可以显示在显示终端上。如果成像设备以与显示终端的第二姿态相对应的第一取向捕获了多于一个的图像，则可以按照各种规则显示图像，如上所述。

图9是示出根据本公开的实施例的基于成像设备的姿态和/或用户的目标观看取向来处理环境图像的方法的流程图。通过允许来自用户输入的目标观看取向，可以执行该方法以不同取向观看环境图像。例如，用户可以输入用户希望观看捕获的物体的图像的目标观看取向，使得可以基于成像设备的对应姿态信息和目标观看取向来选择并显示由成像设备捕获的图像。输入设备可以包括操纵杆、轨迹球、触摸板或鼠标。备选地或附加地，用户可以通过在显示终端的屏幕上操作屏幕操作来输入观看图像的目标取向。在终端上显示环境的图像数据的方法中，可以输入目标观看取向，并且可以基于输入的目标观看取向，从多个图像中选择要在终端上显示的一个或多个图像，所述多个图像与成像设备的对应姿态信息相关联。选择的一个或多个图像可以显示在终端上。在一些实施例中，可以在存储器或例如成像设备装载的高速存储设备处检索要显示的一个或多个图像。备选地，可以在显示终端装载的本地存储设备处检索要显示的一个或多个图像，该本地存储设备可以从成像设备接收并临时存储多个图像，如上所述。如果显示终端不是手持终端，则该方法可以是有利的。例如，用户可以通过使用鼠标或键盘输入目标观看取向来以与笔记本电脑不同的取向观看环境图像。

在处理902中，可以接收目标观看取向。目标观看取向可以是用户希望观看环境图像的期望观看取向。用户可以通过例如操纵杆、轨迹球、触摸板或鼠标来输入目标观看取向。备选地或附加地，用户可以通过在显示终端的屏幕上进行操作来输入目标观看取向。例如，用户可以通过在平板电脑的屏幕上进行敲击并拖动来输入和改变目标观看取向。

在处理904中，可以基于终端的姿态信息从多个捕获图像中选择要在显示终端上显示的一个或多个图像。第一图像可以在成像设备处于第一取向时捕获，并且当显示终端处于基本上与第一取向相对应的第二取向时，选择将要在显示终端上显示的第一图像。当第一取向和第二取向具有相同的俯仰角、相同的航向角和/或相同的横滚角时，当第一取向的俯仰角、航向角和/或横滚角与第二取向的俯仰角、航向角和/或横滚角成正比或具有函数关系时，或者当第二姿态与第一姿态之间的距离低于预定阈值时，第二取向可以对应于第一取向。如果成像设备在与显示终端的第二姿态相对应的第一取向处捕获了多于一个的图像，则可以按照捕获时间的序列在显示终端上连续显示图像。可选地，与最后显示的图像相比，仅图像中的图像内容变化最小的一个图像可以显示在显示终端上。如果成像设备在与显示终端的第二姿态相对应的第一取向上没有捕获到图像，则可以在显示终端上显示默认图像。默认图像可以是成像设备以与第二取向最接近的姿态捕获的图像。可选地，默认图像可以是最后显示的图像。

在一些实施例中，成像设备可以设置有高速内部存储设备，该高速内部存储设备临时存储多个图像以及对应图像的相关联的姿态信息。可以从成像设备的存储器中读取多个图像，并基于显示终端的姿态信息将所述多个图像临时存储在成像设备的内部存储设备中。要显示的一个或多个图像可以首先在高速内部存储设备中进行搜索。备选地，可以在显示终端处设置高速内部存储设备。利用这种配置，显示环境的图像数据的方法可以还包括例如在处理904之前的、从成像设备接收多个图像并将多个图像临时存储在内部存储设备中的处理，所述多个图像可以包括：基本上与显示终端的姿态信息对应的姿态信息相关联的一个或多个图像。首先可以在显示终端的内部存储设备中搜索要显示的图像，如上所述。

在处理906中，选择的一个或多个图像可以显示在显示终端上。如果成像设备以与显示终端的第二姿态相对应的第一取向捕获了多于一个的图像，则可以按照各种规则显示图像，如上所述。

如前所述，用户可以与终端进行交互以提供图像选择输入(例如，终端的惯性信息、来自终端的输入设备的信息)。可以基于图像选择输入从多个可用图像中选择图像。可以响应于图像选择输入而基于图像的姿态来选择图像。用户可以操控终端以查看收集的图像。用户可以正在操控终端以控制图像的观看方向。这可以使用户能够使用通过终端的直观操控已经在环境内收集的图像来享受环境的虚拟现实体验。虚拟现实体验可以允许用户查看环境的实际图像并获得环境内不同方向的真实视图。虚拟现实体验还可以允许用户从环境内的不同视角获得逼真的视图。使用uav可以允许用户访问可能从地面上无法获得的视点。在uav完成其飞行以收集图像之后，用户可以享受此虚拟现实体验。备选地，当uav在飞行中收集图像时，用户可以享受此虚拟现实体验。

本文描述的系统、装置和方法可以应用于各种各样的物体，包括可移动物体和静止物体。可移动物体可以在相对于六个自由度(例如三个平移自由度和三个旋转自由度)环境内自由移动。备选地，可移动物体的运动可以相对于一个或多个自由度(例如通过预定的路径、轨道或朝向)进行限制。该运动可由任何合适的致动机构(例如发动机或电机)来驱动。可移动物体的致动机构可以由任何合适的能源(例如电能、磁能、太阳能、风能、重力能、化学能、核能或其任何合适的组合)供电。可移动物体可以经由推进系统自推进，如本文别处所述。推进系统可以可选地依赖于能源(例如电能、磁能、太阳能、风能、重力能、化学能、核能或其任何合适的组合)操作。备选地，可移动物体可以由生物承载。

可移动物体可以由使用者远程控制，也可以由可移动物体内或可移动物体上的乘员进行本地控制。可移动物体可以通过单独的载运工具内的乘员远程控制。在一些实施例中，可移动物体是诸如uav的无人可移动物体。诸如uav的无人可移动物体可以在该可移动物体上没有乘员。可移动物体可以由人或自主控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主的或半自主的机器人，例如配置有人工智能的机器人。

图10图示了根据本公开的实施例的包括载体1002和负载1004在内的可移动物体1000。尽管可移动物体1000被描绘为飞机，但是该描述并不旨在限制，并且可以使用如前所述的任何合适类型的可移动物体。本领域技术人员将理解，本文在飞机系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体(例如，uav)。在一些情况下，负载1004可以设置在可移动物体1000上，而不需要载体1002。可移动物体1000可以包括推进机构1006、感测系统1008和通信系统1010。负载1004可以是成像设备，例如相机。相对旋翼的轴之间的距离可以是任何合适的长度。例如，长度可以小于或等于2m、或小于等于5m。在一些实施例中，长度可以在40cm至1m、10cm至2m或5cm至5m的范围内。

如前所述，推进机构1006可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴中的一个或多个。可移动物体可以具有一个或更多个、两个或更多个、三个或更多个、或四个或更多个推进机构。推进机构都可以是相同类型的。备选地，一个或多个推进机构可以是不同类型的推进机构。推进机构1006可以使用诸如本文其它地方所述的诸如支撑元件(例如，驱动轴)的任何合适的装置安装在可移动物体1000上。推进机构1006可以安装在可移动物体1000的任何合适的部分上，诸如顶部、底部、前部、后部、侧面或其合适的组合。

在一些实施例中，推进机构1006可以使可移动物体1000能够垂直地从表面起飞或垂直地着陆在表面上，而不需要可移动物体1000的任何水平移动(例如，无需沿着跑道行进)。可选地，推进机构1006可以可操作地允许可移动物体1000以特定位置和/或取向悬停在空中。推进机构1000中的一个或多个可以独立于其它推进机构受到控制。备选地，推进机构1000可以被配置为同时受到控制。例如，可移动物体1000可以具有多个水平取向的旋翼，其可以向可移动物体提供升力和/或推力。可以致动多个水平取向的旋翼以向可移动物体1000提供垂直起飞、垂直降落和悬停能力。在一些实施例中，一个或多个水平取向的旋翼可以沿顺时针方向旋转，而一个或多个水平旋翼可以沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼生成的升力和/或推力，从而调整可移动物体1000(例如，相对于多达三个平移度和多达三个旋转度)的空间布局、速度和/或加速度，可以独立地改变每个水平取向的旋翼的转速。

感测系统1008可以包括可感测可移动物体1000(例如，相对于高达三个平移度和高达三个旋转度)的空间布置、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括全球定位系统(gps)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。感测系统1008提供的感测数据可以用于(例如，使用合适的处理单元和/或控制模块，如下所述)控制可移动物体1000的空间布置、速度和/或取向。备选地，感测系统1008可以用于提供关于可移动物体周围的环境的数据，例如天气条件、潜在障碍物的接近度、地理特征的位置、人造结构的位置等。

通信系统1010能够经由无线信号1016与具有通信系统1014的终端1012进行通信。通信系统1010、1014可以包括适合于无线通信的任意数量的发射机、接收机和/或收发机。通信可以是单向通信，使得数据只能在一个方向上发送。例如，单向通信可以仅涉及可移动物体1000向终端1012发送数据，反之亦然。可以从通信系统1010的一个或多个发射机向通信系统1012的一个或多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动物体1000和终端1012之间的两个方向上发送数据。双向通信可以涉及从通信系统1010的一个或多个发射机向通信系统1014的一个或多个接收机发送数据，并且反之亦然。

在一些实施例中，终端1012可以向可移动物体1000、载体1002和负载1004中的一个或多个提供控制数据，并且从可移动物体1000、载体1002和负载1004中的一个或多个接收信息(例如，可移动物体、载体或负载的位置和/或运动信息；由负载感测的数据，例如由负载相机捕获的图像数据)。在一些实例中，来自终端的控制数据可以包括用于可移动物体、载体和/或负载的相对位置、移动、致动或控制的指令。例如，控制数据(例如，经由推进机构1006的控制)可以使得可移动物体的位置和/或取向修改，或(例如，经由载体1002的控制)使得负载相对于可移动物体移动。来自终端的控制数据可以实现对负载的控制，比如对相机或其它图像捕获装置的操作的控制(例如，拍摄静态或动态图像、放大或缩小、接通或关断、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。在一些情况下，来自可移动物体、载体和/或负载的通信可以包括来自(例如，感测系统1008或负载1004的)一个或多个传感器的信息。通信可以包括来自一个或多个不同类型的传感器(例如，gps传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这样的信息可以涉及可移动物体、载体和/或负载的定位(例如位置、取向)、移动或加速度。来自负载的这种信息可以包括由负载捕获的数据或负载的感测状态。由终端1012发送提供的控制数据可以被配置为控制可移动物体1000、载体1002或负载1004中的一个或多个的状态。备选地或组合地，载体1002和负载1004也可以各自包括被配置为与终端1012进行通信的通信模块，使得该终端可以独立地与可移动物体1000、载体1002和负载1004中的每一个进行通信并对其进行控制。

在一些实施例中，可移动物体1000可被配置为与除了终端1012之外的或者代替终端1012的另一远程设备通信。终端1012还可以被配置为与另一远程设备以及可移动物体1000进行通信。例如，可移动物体1000和/或终端1012可以与另一可移动物体或另一可移动物体的载体或负载通信。当需要时，远程设备可以是第二终端或其它计算装置(例如，计算机、膝上型电脑、平板电脑、智能电话或其它移动装置)。远程设备可以被配置为向可移动物体1000发送数据、从可移动物体1000接收数据、向终端1012发送数据、和/或从终端1012接收数据。可选地，远程设备可以与因特网或其他电信网络连接，使得从可移动物体1000和/或终端1012接收的数据可以上传到网站或服务器。

尽管本文已经示出和描述了本公开的优选实施例，但是对于本领域技术人员显而易见的是，这些实施例仅以示例的方式提供。在不脱离本公开的情况下，本领域技术人员将会想到许多变化、改变和备选方式。应当理解，在实施本发明时可以采用本文所述的本公开的实施例的各种备选方案。以下权利要求旨在限定本公开的范围，并且这些权利要求及其等同物的范围内的方法和结构由此被涵盖。