用于为车辆提供远程辅助的方法和系统与流程

背景技术：

车辆可以是任何轮式机动车辆，并且可以包括轿车、卡车、摩托车、公共汽车等。车辆可以用于各种任务，诸如人员和货物的运输以及许多其他用途。

某些车辆可能是部分或完全自动驾驶的。例如，当车辆处于自动驾驶模式时，车辆操作的一些或全部驾驶方面可以由自动驾驶车辆系统(即，单独或共同起作用以促进对自动驾驶车辆的控制的任何一个或多个计算机系统)进行处理。在这种情况下，位于车载网络中和/或位于服务器网络中的计算设备可用于执行以下功能，诸如规划行驶路线、感测车辆的各个方面、感测车辆的环境以及控制驱动组件(诸如转向、节流阀(throttle)和制动)。因此，自动驾驶车辆可以减少或消除在车辆操作的各个方面中对人机交互的需求。

技术实现要素：

在一个方面，本申请描述了一种为自动驾驶车辆提供远程辅助的方法。该方法可以包括基于从自动驾驶车辆接收的数据确定自动驾驶车辆已经停止。该方法还可以包括确定已经满足一个或多个检查标准。响应于满足一个或多个检查标准，该方法可以包括向操作者提供至少一个图像。该方法还包括接收操作者输入。更进一步，该方法可以包括响应于操作者输入，经由网络向自动驾驶车辆提供用于由自动驾驶车辆运行的指令。

在另一方面，本申请描述了一种系统。该计算系统可以包括通信单元，该通信单元被配置为经过网络与自动驾驶车辆通信。通信单元可以被配置为从自动驾驶车辆接收数据，其中数据包括图像数据和位置数据，并且向自动驾驶车辆发送用于由自动驾驶车辆运行的指令。该系统还包括处理器。处理器可以被配置为确定自动驾驶车辆已经停止并且确定已经满足一个或多个检查标准。响应于满足一个或多个检查标准，处理器还可被配置为向操作者提供至少一个图像。处理器还被配置为接收操作者输入。更进一步，处理器被配置为确定用于自动驾驶车辆的至少一个指令，并使通信单元将指令发送到自动驾驶车辆。

在另一方面，本申请描述一种制品(manufacture)，该制品包括具有存储在其上的指令的非暂时性计算机可读介质，当所述指令由计算系统中的处理器运行时，使计算系统执行操作。该操作可以包括基于从自动驾驶车辆接收的数据确定自动驾驶车辆已经停止。该操作还可能涉及确定已经满足一个或多个检查标准。响应于满足一个或多个检查标准，该操作可以涉及向操作者提供至少一个图像。该操作还包括接收操作者输入。更进一步，该操作可以包括响应于操作者输入，经由网络向自动驾驶车辆提供用于由自动驾驶车辆运行的指令。

在又一方面，提供了一种系统，该系统包括用于以倒带(rewind)模式操作的装置。该系统可以包括用于基于从自动驾驶车辆接收的数据来确定自动驾驶车辆已经停止的装置。该系统还可以包括用于确定已经满足一个或多个检查标准的装置。响应于满足一个或多个检查标准，系统可以包括用于向操作者提供至少一个图像的装置。该系统还包括用于接收操作者输入的装置。另外，该系统可以包括响应于操作者输入，用于经由网络装置向自动驾驶车辆提供用于由自动驾驶车辆运行的指令的装置。

前述发明内容仅是说明性的，并不旨在以任何方式进行限制。除了上述说明性方面、实施方式和特征之外，通过参考附图和以下详细描述，其他方面、实施方式和特征将变得显而易见。

附图说明

图1是根据示例实施方式示出车辆的功能框图。

图2是根据示例实施方式的车辆的物理构造的概念图。

图3a是根据示例实施方式的与自动驾驶车辆有关的各种计算系统之间的无线通信的概念图。

图3b示出了描绘示例计算系统的示例组件的简化框图。

图4a示出了根据示例实施方式的自动驾驶车辆操作场景的俯视图。

图4b示出了根据示例实施方式的来自图4a的场景的传感器数据表示。

图4c示出了根据示例实施方式的从图4a中的车辆获取的视频馈送(videofeed)。

图4d示出了根据示例实施方式的包含来自图4b的传感器数据表示和来自图4c的视频馈送的图形用户界面。

图4e示出了根据示例实施方式的来自图4d的包括控制菜单的gui。

图5是根据示例实施方式的自动驾驶车辆在操作期间的顶视图。

图6a是根据示例实施方式的方法的流程图。

图6b是根据示例实施方式的方法的流程图。

图6c是根据示例实施方式的方法的流程图。

图7是根据示例实施方式的计算机程序的示意图。

具体实施方式

本文描述了示例方法和系统。应当理解，词语“示例”、“示例性”和“说明性”在本文中用来表示“用作示例、例子或说明”。本文中描述为“示例”、“示例性”或“说明性”的任何实施方式或特征不一定要被解释为比其他实施方式或特征优选或有利。本文描述的示例实施方式并不意味着是限制性的。容易理解的是，可以以各种不同的配置来布置、替换、组合、分离和设计如本文一般地描述的以及在附图中示出的本公开的各方面，所有这些都在本文被明确地构想。另外，在本公开中，除非另外特定和/或除非特定上下文另外明确指出，否则术语“一个”或“一种”表示至少一个，并且术语“该”表示至少一个。

此外，附图中所示的特定布置不应视为限制性的。应当理解，其他实施方式可以包括或多或少的给定图中所示的每个元件。此外，一些示出的元件可以被组合或省略。更进一步，示例实施方式可以包括在附图中未示出的元件。

在实践中，自动驾驶车辆系统可以使用代表车辆环境的数据来识别对象。车辆系统然后可以将对象的识别用作执行其他动作(诸如，指示车辆以某种方式行动)的基础。例如，如果对象是停车标志，则车辆系统可以指示车辆在停车标志之前减速并停车，或者如果对象是道路中间的行人，则车辆系统可以指示车辆避开行人。

在某些场景中，车辆控制技术可以实施远程辅助机制，操作人员可以通过该远程辅助机制与车辆系统协同工作以帮助识别对象或以其他方式辅助车辆系统控制车辆。例如，远程辅助可以帮助识别车辆正在运行中的天气和/或危险状况。这样的机制可以包括远程计算系统，该远程计算系统通信地链接到车辆系统，被配置用于远程辅助，并且由操作人员操作。通过这种机制，在确定对象的识别、验证对象的识别和/或确定控制车辆的指令时，可以考虑操作人员的输入。

在一些实施方式中，响应于车辆系统已经以低于预定义的阈值的检测置信度(confidence)(即，在环境中已经正确识别出对象的可能性的指示)识别了对象，可以触发远程辅助处理。作为远程辅助处理的示例，车辆系统可以获取(例如，经由相机、lidar、雷达和/或其他传感器)包括车辆环境中的对象的环境数据。车辆系统然后可以确定对象的检测置信度低于预定义的阈值，然后将包括对象(诸如以对象的图像、对象的视频和/或对象的音频的形式)的环境数据发送到远程计算系统。操作人员可以向远程计算系统提供指示对象的正确识别和/或控制车辆的指令的输入，远程计算系统可以依次以远程辅助数据的形式将其向车辆系统提供，用于车辆系统用作控制车辆的基础。

在示例远程辅助场景中，车辆系统可以检测在狭窄的两车道道路的一侧上存在对象，从而阻塞了两个车道中的一个，并且该对象可能不是车辆系统通常认出的对象。例如，该对象可以是以非典型方式引导交通(例如，使得来路交通和去路交通共享一个开放车道)的、靠近路边的人。当车辆在这种场景中遇到这样的对象时，车辆系统可以检测对象的存在，然而车辆在检测对象时可能具有低置信度。例如，车辆系统可能不确定该人是否是走进道路的人，或者如果该人正试图引导交通，则他或她是否正在向车辆发出驱动或停车的信号。在这种场景中，车辆系统可以检测到这很可能是不寻常的事件，并将相机图像或视频发送给可以分析情况、确认该人正在做什么并确认车辆应该停车并等待直到轮到他们继续进行的操作人员。在检测置信度低的场景中，这可以帮助确保车辆的安全操作。

默认情况下，远程计算系统可以以上述方式在支持远程辅助的模式下操作。默认操作模式可以涉及从车辆系统或中间设备接收代表具有阈值低检测置信度(即，低于预定义的阈值的检测置信度)的至少一个对象的环境数据，然后响应于具有阈值低检测置信度的至少一个对象，提供远程辅助数据以使车辆系统能够相对于至少一个对象控制车辆。

在一些示例中，远程辅助系统还可以包括倒带(rewind)功能，其中，远程辅助操作者接收与触发远程辅助查询的某个事件之前的时间量相对应的数据。因此，可以基于在需要远程辅助之前已经传达给远程辅助系统的数据来执行远程辅助。

可以以各种不同的方式来触发用于远程辅助的机制，诸如上述的倒带功能。因此，本公开针对触发和操作具有倒带功能的远程辅助的几种方法。

本公开提供了用于远程辅助的方法和系统，其中远程计算系统被配置为以倒带模式操作。在各种不同的公开实施例中，可以通过一个或多个触发标准(当车辆被停止时、当自动驾驶车辆的环境的对象具有低于阈值的检测置信度时和/或响应于触觉事件)来发起倒带远程辅助。

作为示例，自动驾驶车辆通常可以在没有由远程辅助系统提供的任何输入或指令的情况下操作。然而，即使自动驾驶车辆可以在没有来自远程辅助系统的输入的情况下运行，自动驾驶车辆也可以连续地或定期性地将与它的环境有关的数据发送到远程辅助系统。例如，自动驾驶车辆可以将由车辆的传感器系统获取的图像、声音和/或视频记录发送到远程辅助系统。在一些实施方式中，远程辅助系统可以存储由自动驾驶车辆提供的一些或全部数据。在其他实施方式中，远程辅助系统可以仅存储特定量的数据或与特定时间量有关的数据。

响应于自动驾驶车辆发起远程辅助请求，远程辅助系统可以将由自动驾驶车辆提供的一些或全部存储数据提供给远程辅助操作者。远程辅助系统可以基于在接收到远程辅助请求之前的时间段来向远程操作者显示图像或视频和/或音频。例如，当自动驾驶车辆请求远程辅助时，远程辅助系统可以提供来自接收到请求之前的预定量的视频，诸如15秒。这可以允许远程操作者确定要提供给自动驾驶车辆的指令或识别。在示例内，该指令可以是用于由自动驾驶车辆运行的指令，并且该识别可以是具有低识别置信度的对象的正确识别。

现在将更详细地描述本公开范围内的示例系统。示例系统可以以汽车的形式或采取汽车的形式实现。然而，示例系统也可以以其他车辆或采取其他车辆的形式实现，诸如轿车、卡车、摩托车、公共汽车、船、飞机、直升机、割草机、推土机、船、雪地摩托、飞行器、休闲车、娱乐公园车辆、农场设备、建筑设备、电车、高尔夫球车、火车、手推车和机器人设备。其他车辆也是可能的

现在参考附图，图1是示出示例性车辆100的功能框图，该示例性车辆100可以被配置为以自动驾驶模式完全或部分地操作。更具体地，车辆100可以通过从计算系统接收控制指令而在没有人类交互的情况下以自动驾驶模式操作。作为在自动驾驶模式中操作的一部分，车辆100可以使用传感器来检测并大概识别周围环境的对象以实现安全导航。在一些实施方式中，车辆100还可以包括使驾驶员能够控制车辆100的操作的子系统。

如图1所示，车辆100可以包括各种子系统，诸如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108、电源110、计算机系统112、数据存储114和用户界面116。在其他示例中，车辆100可以包括更多或更少的子系统，每个子系统可以包括多个元件。车辆100的子系统和组件可以以各种方式互连。另外，本文中描述的车辆100的功能可以被划分为另外的功能或物理组件，或者在实施方式中被组合为更少的功能或物理组件。

推进系统102可以包括一个或多个可操作以为车辆100提供动力运动的部件，并且可以包括发动机/马达118、能量源119、变速器120和车轮/轮胎121以及其他可能的部件。例如，发动机/马达118可以被配置为将能量源119转换成机械能，并且可以对应于内燃发动机、电动机、蒸汽发动机或斯特林发动机中的一种或组合以及其他可能的选择。例如，在一些实施方式中，推进系统102可以包括多种类型的发动机和/或电动机，诸如汽油发动机和电动机。

能量源119代表可以全部或部分为车辆100的一个或多个系统(例如，发动机/马达118)供电的能量源。例如，能量源119可以对应于汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和/或其他电源。在一些实施方式中，能量源119可以包括燃料箱、电池、电容器和/或飞轮的组合。

变速器120可以将机械动力从发动机/马达118发送到车轮/轮胎121和/或车辆100的其他可能的系统。这样，变速器120可以包括齿轮箱、离合器、差速器和驱动轴，以及其他可能的组件。驱动轴可以包括连接至一个或多个车轮/轮胎121的轮轴。

在示例实施方式内，车辆100的车轮/轮胎121可以具有各种构造。例如，车辆100可以以单轮、自行车/摩托车、三轮车或汽车/卡车四轮形式以及其他可能的配置存在。这样，车轮/轮胎121可以以各种方式连接到车辆100，并且可以以诸如金属和橡胶的不同材料存在。

传感器系统104可以包括各种类型的传感器，诸如全球定位系统(gps)122、惯性测量单元(imu)124、雷达126、激光测距仪/lidar128、相机130、转向传感器123和节流阀/制动传感器125以及其他可能的传感器。在一些实施方式中，传感器系统104还可以包括被配置为监测车辆100的内部系统的传感器(例如，o2监测器、燃料表、发动机油温度、制动器磨损)。

gps122可以包括收发器，该收发器可操作以提供关于车辆100相对于地球的位置的信息。imu124可以具有使用一个或多个加速度计和/或陀螺仪的配置，并且可以基于惯性加速度来感测车辆100的位置和方向变化。例如，在车辆100静止或运动时，imu124可检测车辆100的俯仰(pitch)和偏航(yaw)。

雷达126可以代表一个或多个系统，该系统被配置为使用无线电信号来感测车辆100的局部环境内的对象，包括对象的速度和朝向。这样，雷达126可以包括被配置为发送和接收无线电信号的天线。在一些实施方式中，雷达126可以对应于被配置为获取车辆100的周围环境的测量的雷达系统。

激光测距仪/lidar128可以包括一个或多个激光源、激光扫描仪以及一个或多个检测器以及其他系统组件，并且可以以相干模式(例如，使用外差检测)或以非相干检测模式进行操作。相机130可以包括被配置为捕获车辆100的环境的图像的一个或多个设备(例如，静态相机或摄影机)。

转向传感器123可以感测车辆100的转向角，这可以涉及测量方向盘的角度或测量代表方向盘的角度的电信号。在一些实施方式中，转向传感器123可以测量车辆100的车轮的角度，诸如检测车轮相对于车辆100的向前轴线的角度。转向传感器123还可以被配置为测量方向盘角度、代表方向盘角度的电信号以及车辆100的车轮角度组合(或子集)。

节流阀/制动传感器125可以检测车辆100的节流阀位置或制动位置的位置。例如，节流阀/制动传感器125可以测量油门踏板(节流阀)和制动踏板两者的角度，或者可以测量可以表示例如油门踏板(节流阀)的角度和/或制动踏板的角度的电信号。节流阀/制动传感器125还可以测量车辆100的节流阀体的角度，其可以包括物理机制的一部分，该物理机制向发动机/马达118(例如，蝶阀或化油器)提供能量源119的调制。另外，节流阀/制动传感器125可以测量车辆100的转子上的一个或多个制动垫的压力或油门踏板(节流阀)和制动踏板的角度的组合(或子集)、表示油门踏板(节流阀)和制动踏板的角度的电信号、节流阀体的角度以及至少一个制动片向车辆100的转子施加的压力。在其他实施方式中，节流阀/制动传感器125可以被配置为测量施加在车辆踏板(诸如油门踏板或制动踏板)上的压力。

控制系统106可以包括被配置为辅助导航车辆100的组件，诸如转向单元132、节流阀134、制动单元136、传感器融合算法138、计算机视觉系统140、导航/路径系统142和避障系统144。更具体地，转向单元132可用于调节车辆100的前进方向，并且节流阀134可以控制发动机/马达118的操作速度以控制车辆100的加速。制动单元136可以使车辆100减速，其中可以涉及使用摩擦来使车轮/轮胎121减速。在一些实施方式中，制动单元136可以将车轮/轮胎121的动能转换成电流，用于由车辆100的系统随后使用。

传感器融合算法138可以包括卡尔曼滤波器、贝叶斯网络或其他可以处理来自传感器系统104的数据的算法。在一些实施方式中，传感器融合算法138可以基于传入的传感器数据提供评估，诸如个体对象和/或特征的评估、特定情况的评估和/或给定情况内潜在影响的评估。

计算机视觉系统140可以包括可操作以处理和分析图像以确定对象、环境对象(例如，停车灯、道路边界等)和障碍物的硬件和软件。这样，计算机视觉系统140可以使用对象识别、根据运动的结构重建(structurefrommotion，sfm)、视频跟踪以及计算机视觉中使用的其他算法，例如，来识别对象、映射环境、跟踪对象、估计对象的速度，等等。

导航/路径系统142可以为车辆100确定行驶路径，其可以涉及在操作期间动态地调整导航。这样，导航/路径系统142可以使用来自传感器融合算法138、gps122和地图以及其他来源的数据来导航车辆100。避障系统144可以基于传感器数据评估潜在障碍物，并使车辆100的系统避免(avoid)或以其他方式越过(negotiate)潜在的障碍。

如图1所示，车辆100还可以包括外围设备108，诸如无线通信系统146、触摸屏148、麦克风150和/或扬声器152。外围设备108可以提供控件或其他元件用于用户与用户界面116进行交互。例如，触摸屏148可以向车辆100的用户提供信息。用户界面116也可以经由触摸屏148接受来自用户的输入。外围设备108还可以使车辆100与诸如其他车辆设备的设备进行通信。

无线通信系统146可以直接地或经由通信网络与一个或多个设备进行无线通信。例如，无线通信系统146可以使用诸如cdma、evdo、gsm/gprs的3g蜂窝通信，或者诸如wimax或lte的4g蜂窝通信。备选地，无线通信系统146可以使用wifi或其他可能的连接与无线局域网(wlan)进行通信。无线通信系统146还可以使用例如红外链路、蓝牙或zigbee直接与设备进行通信。在本公开的上下文中，诸如各种车辆通信系统的其他无线协议也是可能的。例如，无线通信系统146可以包括一个或多个专用的短距离通信(dsrc)设备，其可以包括车辆和/或路边站之间的公共和/或私有数据通信。

车辆100可以包括用于为组件供电的电源110。在一些实施方式中，电源110可以包括可再充电锂离子或铅酸电池。例如，电源110可以包括被配置为提供电力的一个或多个电池。车辆100还可以使用其他类型的电源。在示例实施方式中，电源110和能量源119可以被集成到单个能量源中。

车辆100还可以包括计算机系统112以执行操作，诸如本文描述的操作。这样，计算机系统112可以包括至少一个处理器113(可以包括至少一个微处理器)，该处理器113可用于运行存储在非暂时性计算机可读介质(诸如数据存储114)中的指令115。在一些实施方式中，计算机系统112可以表示可以用来以分布式方式控制车辆100的各个组件或子系统的多个计算设备。

在一些实施方式中，数据存储114可以包含可由处理器113运行以运行车辆100的各种功能(包括上文结合图1所述的那些功能)的指令115(例如，程序逻辑)。数据存储114也可以包含附加指令，包括用于向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从中接收数据、与之交互和/或控制的指令。

除了指令115之外，数据存储114还可以存储诸如道路地图、路径信息以及其他信息的数据。在车辆100以自动驾驶、半自动驾驶和/或手动模式操作期间，车辆100和计算机系统112可以使用这样的信息。

车辆100可以包括用于向车辆100的用户提供信息或从车辆100的用户接收输入的用户界面116。用户界面116可以控制或启用对可以在触摸屏148上显示的交互式图像的内容和/或布局的控制。此外，用户界面116可以在一组外围设备108中包括一个或多个输入/输出设备，诸如无线通信系统146、触摸屏148、麦克风150和扬声器152。

计算机系统112可以基于从各种子系统(例如，推进系统102、传感器系统104和控制系统106)以及从用户界面116接收到的输入来控制车辆100的功能。例如，计算机系统112可以利用来自传感器系统104的输入以便估计由推进系统102和控制系统106产生的输出。根据实施方式，计算机系统112可以用于监测车辆100及其子系统的许多方面。在一些实施方式中，计算机系统112可以基于从传感器系统104接收的信号来禁用车辆100的一些或全部功能。

车辆100的组件可以被配置为以与它们各自系统内外的其他组件互连的方式工作。例如，在示例实施方式中，相机130可以捕获多个图像，该多个图像可以表示关于以自动驾驶模式操作的车辆100的环境状态的信息。环境状态可以包括车辆在其上行驶的道路的参数。例如，计算机视觉系统140可能能够基于道路的多个图像来识别斜率(坡度)或其他特征。另外，gps122和由计算机视觉系统140识别的特征的组合可以与存储在数据存储114中的地图数据一起使用以确定特定的道路参数。此外，雷达单元126还可以提供关于车辆周围环境的信息。

换句话说，各种传感器(可以称为输入指示传感器和输出指示传感器)和计算机系统112的组合可以相互作用以提供用于控制车辆的输入的指示或车辆周围环境的指示。

在一些实施方式中，计算机系统112可以基于由除无线电系统之外的系统提供的数据来做出关于各种对象的确定。例如，车辆100可以具有被配置为在车辆的视场中感测对象的激光器或其他光学传感器。计算机系统112可以使用来自各种传感器的输出来确定关于车辆视场中的对象的信息，并且可以确定到各种对象的距离和方向信息。计算机系统112还可以基于来自各种传感器的输出来确定对象是期望的还是不期望的。

尽管图1示出了车辆100的各种组件，即无线通信系统146、计算机系统112、数据存储114和用户界面116，这些组件已集成到车辆100中，然而这些组件中的一个或多个可以与车辆100分开安装或关联。因此，可以以可以分开放置或一起放置的设备元件的形式提供车辆100。组成车辆100的设备元件可以以有线和/或无线方式通信地耦合在一起。

图2描绘了车辆200的示例物理配置，其可以代表参考图1所描述的车辆100的一种可能的物理配置。根据实施方式，车辆200可以包括传感器单元202、无线通信系统204、无线电单元206、偏转器208和相机210以及其他可能的组件。例如，车辆200可以包括图1中描述的组件的一些或全部元件。尽管在图2中将车辆200描绘为轿车，然而车辆200在示例内可以具有其他配置，诸如卡车、货车、半挂卡车、摩托车、高尔夫球车、越野车或农用车以及其他可能的示例。

传感器单元202可以包括被配置为捕获车辆200的周围环境的信息的一个或多个传感器。例如，传感器单元202可以包括相机、雷达、lidar、测距仪、无线电设备(例如，蓝牙和/或802.11)、声学传感器以及其他可能类型的传感器的任意组合。在一些实施方式中，传感器单元202可以包括可操作以调整传感器单元202中的传感器的方向的一个或多个可移动支架。例如，可移动支架可以包括可以扫描传感器以便从车辆200周围的每个方向获得信息的旋转平台。传感器单元202的可移动支架也可以在特定的角度和/或方位角范围内以扫描方式移动。

在一些实施方式中，传感器单元202可以包括使传感器单元202能够被安装在汽车的车顶上的机械结构。另外，示例中的其他安装位置也是可能的。

无线通信系统204可以具有如图2所示的相对于车辆200的位置，然而在实施方式中也可以具有不同的位置。无线通信系统200可以包括可以与其他外部或内部设备通信的一个或多个无线发送器和一个或多个接收器。例如，无线通信系统204可以包括一个或多个收发器，用于与用户的设备、其他车辆和道路元素(例如，标志、交通信号灯)以及其他可能的实体进行通信。这样，车辆200可以包括一个或多个用于促进通信(诸如专用的短距离通信(dsrc)、射频识别(rfid)以及其他针对智能运输系统的建议通信标准)的车辆通信系统。

相机210可以具有相对于车辆200的各种位置，诸如车辆200的前挡风玻璃上的位置。这样，相机210可以捕获车辆200的周围环境的图像。如图2所示，相机210可以从车辆200的前视角度捕获图像，然而在实施方式内相机210的其他安装位置(包括可移动的支架)和视角也是可能的。在一些示例中，相机210可以对应于一个或多个可见光相机。替代地或附加地，相机210可以包括红外感测能力。相机210还可以包括可以提供可调节视场的光学器件。

图3a是根据示例实施方式的与自动驾驶车辆有关的各种计算系统之间的无线通信的概念图。具体地，无线通信可以经由网络304在远程计算系统302与车辆200之间发生。无线通信还可以在服务器计算系统306与远程计算系统302之间以及服务器计算系统306与车辆200之间发生。

车辆200可以对应于能够在位置之间运输乘客或对象的各种类型的车辆，并且可以采取以上讨论的任何一种或多种车辆的形式。在一些情况下，车辆200可以以自动驾驶模式操作，该自动驾驶模式使控制系统能够使用传感器测量值(sensormeasurement)在目的地之间安全地导航车辆200。当以自动驾驶模式操作时，车辆200可以在有或没有乘客的情况下导航。结果，车辆200可以在期望的目的地之间接载乘客和让乘客下车。

远程计算系统302可以代表与远程辅助技术有关的任何类型的设备，包括但不限于本文所述的那些设备。在示例内，远程计算系统302可以代表被配置为(i)接收与车辆200有关的信息，(ii)提供接口(操作人员可以通过该接口进而感知信息并输入与该信息有关的响应)，(iii)将响应发送到车辆200或其他设备的任何类型的设备。远程计算系统302可以采取各种形式，诸如工作站、台式计算机、膝上型计算机、平板电脑、移动电话(例如，智能电话)和/或服务器。在一些示例中，远程计算系统302可以包括在网络配置中一起操作的多个计算设备。

远程计算系统302可以包括与车辆200的子系统和组件相似或相同的一个或多个子系统和组件。至少，远程计算系统302可以包括配置用于执行本文所述的各种操作的处理器。在一些实施方式中，远程计算系统302还可以包括用户界面，该用户界面包括输入/输出设备，诸如触摸屏和扬声器。其他示例也是可能的。

网络304代表实现远程计算系统302与车辆200之间的无线通信的基础结构。网络304还实现服务器计算系统306与远程计算系统302之间以及服务器计算系统306与车辆200之间的无线通信。

远程计算系统302的位置在示例内可以变化。例如，远程计算系统302可以具有距车辆200的远程位置，该位置经由网络304进行无线通信。在另一示例中，远程计算系统302可以对应于车辆200内与车辆200分离的计算设备，然而操作人员可以与之交互同时可以与车辆200的乘客或驾驶员交互。在一些示例中，远程计算系统302可以是具有触摸屏的计算设备，该触摸屏可由车辆200的乘客操作。

在一些实施方式中，由远程计算系统302执行的本文所述的操作可以附加地或可替代地由车辆200(即，由车辆200的任何系统或子系统)执行。换句话说，车辆200可以被配置为提供远程辅助机制，车辆的驾驶员或乘客可以利用该远程辅助机制进行交互。

服务器计算系统306可以被配置为经由网络304与远程计算系统302和车辆200进行无线通信(或者可能直接与远程计算系统302和/或车辆200通信)。服务器计算系统306可以代表配置为接收、存储、确定和/或发送与车辆200及其远程辅助有关的信息的任何计算设备。这样，服务器计算系统306可以被配置为执行本文描述的由远程计算系统302和/或车辆200执行的任何一个或多个操作或这种操作的一部分。与远程辅助有关的无线通信的一些实施方式可以利用服务器计算系统306，而其他则可以不使用。

服务器计算系统306可以包括与远程计算系统302和/或车辆200的子系统和组件相似或相同的一个或多个子系统和组件，诸如配置为执行本文所述的各种操作的处理器以及用于从远程计算系统302和车辆200接收信息并向远程计算系统302和车辆200提供信息的无线通信接口。

上述各种系统可以执行各种操作。现在将描述这些操作和相关特征。

与以上讨论一致，远程计算系统(例如，远程计算系统302或有可能服务器计算系统306)可以以倒带模式操作。通常，倒带模式可以用作供(车辆和/或远程计算系统的)操作人员通过访问由车辆先前获得的信息来为车辆提供远程辅助支持的装置。远程计算系统可以使操作人员能够实时地或比实时地更低频率地提供这种支持。

在一些实施方式中，为了促进包括本文所述的倒带模式在内的远程辅助，车辆(例如，车辆200)可以接收代表在车辆以各种方式操作的环境中的对象的数据(在本文中也称为“环境数据””)。车辆上的传感器系统可以提供代表环境对象的环境数据。例如，车辆可以具有各种传感器，包括相机、雷达单元、激光测距仪、麦克风、无线电单元和其他传感器。这些传感器中的每一个可以将关于每个传感器各自接收的信息的环境数据传送到车辆中的处理器。

在一个示例中，相机可以被配置为捕获静止图像和/或视频。在一些实施方式中，车辆可以具有以不同的方向定位的不止一个的相机。而且，在一些实施方式中，相机可能能够移动以在不同方向上捕获图像和/或视频。相机可以被配置为将捕获的图像和视频存储到存储器中，用于由车辆的处理系统以后进行处理。所捕获的图像和/或视频可以是环境数据。

在另一示例中，雷达单元可以被配置为发送将被车辆附近的各种对象反射的电磁信号，然后捕获从对象反射的电磁信号。捕获的反射电磁信号可以使雷达系统(或处理系统)对反射电磁信号的对象做出各种确定。例如，可以确定到各种反射对象的距离和位置。在一些实施方式中，车辆可以在不同的方向上具有多于一个相机。雷达系统可以被配置为将捕获的信息存储到存储器中，用于由车辆的处理系统以后进行处理。由雷达系统捕获的信息可以是环境数据。

在另一示例中，激光测距仪可以被配置为发送电磁信号(例如，诸如来自气体或二极管激光器或者其他可能的光源的光)，该电磁信号将被靠近车辆的目标对象反射。激光测距仪可能能够捕获反射的电磁(例如激光)信号。捕获的反射电磁信号可以使测距系统(或处理系统)能够确定到各种对象的距离。测距系统还能够确定目标对象的速率或速度，并将其存储为环境数据。

另外，在示例中，麦克风可以被配置为捕获车辆周围环境的音频。由麦克风捕获的声音可以包括紧急车辆警报器和其他车辆的声音。例如，麦克风可以捕获紧急车辆的警报器的声音。处理系统可能能够识别所捕获的音频信号指示紧急车辆。在另一示例中，麦克风可以捕获另一车辆的排气的声音，诸如来自摩托车。处理系统可能能够识别所捕获的音频信号指示摩托车。由麦克风捕获的数据可以形成环境数据的一部分。

在又一示例中，无线电单元可以被配置为发送电磁信号，该电磁信号可以采取蓝牙信号、802.11信号和/或其他无线电技术信号的形式。可以经由位于无线电单元中的一个或多个天线来发送第一电磁辐射信号。此外，可以以许多不同的无线电信号模式中的一个来发送第一电磁辐射信号。然而，在一些实施方式中，期望以请求来自位于自动驾驶车辆附近的设备的响应的信号模式来发送第一电磁辐射信号。处理系统可能能够基于传达回无线电单元的响应来检测附近的设备，并将该传达的信息用作环境数据的一部分。

在一些实施方式中，处理系统可能能够组合来自各种传感器的信息，以便进一步确定车辆的环境。例如，处理系统可以组合来自雷达信息和捕获的图像两者的数据，以确定另一车辆或行人是否在自动驾驶车辆的前方。在其他实施方式中，处理系统可以使用传感器数据的其他组合来做出关于环境的确定。

当在自动驾驶模式下操作时，车辆可以在几乎没有人的输入的情况下控制其操作。例如，操作人员可以将地址到车辆中，然后车辆就可以向特定的目的地驱动而无需来自人的进一步输入(例如，人不必操纵或触摸制动/油门踏板)。此外，在车辆自动驾驶操作时，传感器系统可能正在接收环境数据。车辆的处理系统可以基于从各种传感器接收的环境数据来改变车辆的控制。在一些示例中，车辆可以响应于来自各种传感器的环境数据来改变车辆的速度。车辆可以改变速度以避免障碍物、遵守交通法规等。当车辆中的处理系统识别车辆附近的对象时，车辆可能能够改变速度或以另一种方式改变运动。

当车辆检测到对象然而对对象的检测不十分有置信度(nothighlyconfident)时，车辆可以请求操作人员(或更强大的计算机)执行一个或多个远程辅助任务，诸如(i)确认该对象是否确实存在于环境中(例如，如果实际上存在停车标志或实际上不存在停车标志)，(ii)确认车辆对对象的识别是否正确，(iii)如果识别不正确则纠正识别和/或(iv)为自动驾驶车辆提供补充说明(或修改当前说明)。远程辅助任务还可以包括操作人员提供控制车辆的操作的指令(例如，如果操作人员确定对象是停车标志，则指示车辆在停车标志处停车)，尽管在某些场景中，车辆本身可以基于操作人员与对象识别有关的反馈来控制自己的操作。

为了促进这一点，车辆可以分析代表环境对象的环境数据，以确定具有低于阈值的检测置信度的至少一个对象。车辆中的处理器可以被配置为基于来自各种传感器的环境数据来检测环境的各种对象。例如，在一个实施方式中，处理器可以被配置为检测对于车辆识别可能是重要的对象。这些对象可能包括行人、路标、其他车辆、其他车辆上的指示器信号以及在捕获的环境数据中检测到的其他各种对象。

检测置信度可以指示所确定的对象在环境中被正确识别或者在环境中存在的可能性。例如，处理器可以对接收到的环境数据中的图像数据内的对象执行对象检测，并且基于无法识别具有高于阈值的检测置信度的对象来确定至少一个对象具有低于阈值的检测置信度。如果对象检测或对象识别的结果不确定，则检测置信度可能会低或低于设置的阈值。

车辆可以根据环境数据的来源以各种方式检测环境的对象。在一些实施方式中，环境数据可以来自相机，并且可以是图像或视频数据。在其他实施方式中，环境数据可以来自lidar单元。车辆可以分析捕获的图像或视频数据以识别图像或视频数据中的对象。所述方法和装置可以被配置为监测图像和/或视频数据中环境对象的存在。在其他实施方式中，环境数据可以是雷达、音频或其他数据。车辆可以被配置为基于雷达、音频或其他数据来识别环境的对象。

在一些实施方式中，车辆用来检测对象的技术可以基于一组已知数据。例如，与环境对象有关的数据可以被存储到位于车辆中的存储器中。车辆可以将接收到的数据与存储的数据进行比较以确定对象。在其他实施方式中，车辆可以被配置为基于数据的上下文来确定对象。例如，与施工(construction)有关的路标通常可能具有橙色。因此，车辆可以被配置为检测橙色的并且位于路侧附近的对象作为与施工有关的路标。另外，当车辆的处理系统在捕获的数据中检测到对象时，它还可以为每个对象计算置信度。

此外，车辆还可具有置信度阈值(confidencethreshold)。置信度阈值可以根据正被检测的对象的类型而变化。例如，对于可能需要来自车辆的快速响应动作的对象(诸如另一辆车辆上的刹车灯)的置信度阈值可能较低。然而，在其他实施方式中，对于所有检测到的对象，置信度阈值可以相同。当与检测到的对象相关联的置信度大于置信度阈值时，车辆可以假设对象被正确识别，并且基于该假设来响应地调整车辆的控制。

当与检测到的对象相关联的置信度小于置信度阈值时，车辆采取的动作可以改变。在一些实施方式中，尽管置信度水平低，车辆仍可以做出反应，就好像他们检测到对象存在一样。在其他实施方式中，车辆可以做出反应，就好像检测到的对象不存在一样。

当车辆检测到环境对象时，它还可以计算与特定检测到的对象相关联的置信度。可以根据实施方式以各种方式来计算置信度。在一个示例中，当检测到环境对象时，车辆可以将环境数据与预定数据(与已知对象有关的)进行比较。环境数据与预定数据之间的匹配越近，置信度越高。在其他实施方式中，车辆可以使用环境数据的数学分析来确定与对象相关联的置信度。

响应于确定对象具有低于阈值的检测置信度，车辆可以向远程计算系统发送对具有对象识别的远程辅助的请求。如上所述，远程计算系统可以采取各种形式。例如，远程计算系统可以是车辆内与车辆分离的计算设备，然而车辆的乘客或驾驶员的操作人员可以与之交互，诸如用于显示远程辅助信息的触摸屏界面。附加地或可替代地，作为另一示例，远程计算系统可以是位于不靠近车辆的位置处的远程计算机终端或其他设备。

对远程辅助的请求可以包括包括对象的环境数据，诸如图像数据、音频数据等。车辆可以通过网络(例如，网络304)将环境数据发送到远程计算系统，并且在一些实施方式中，经由服务器(例如，服务器计算系统306)。远程计算系统的操作人员继而可以将环境数据用作响应请求的基础。

在一些实施方式中，车辆和/或另一计算实体可以包括作为环境数据的一部分，基本上围绕其识别有争议的对象提供的边界框(boundingbox)(例如，具有围绕对象的框的图像数据)。这样，当远程计算系统接收环境数据时，远程计算系统可以将用于显示的环境数据(包括边界框或边界区域中的对象)提供给操作人员，使得操作人员可以容易且快速地识别环境数据中的对象。

在一些实施方式中，当检测到对象具有低于置信度阈值的置信度时，可以为对象提供初步识别，并且车辆可以被配置为响应于初步识别来调整车辆的操作。这种操作的调整可以采取以下形式：停止车辆、将车辆切换到人为控制模式、改变车辆的速度(例如，速度和/或方向)以及其他可能的调整。作为特定示例，如果车辆检测到车辆识别为“每小时40公里”的标志，则车辆可以开始操作，就好像识别正确(例如，将其速度调整为每小时40公里)，即使检测到该标志具有低于置信度阈值的置信度。同时，或者可能稍后，车辆还可能要求远程辅助以确认该对象实际上是一个标有“每小时40公里”的标志。

在其他实施方式中，即使车辆检测到具有达到或超过阈值的置信度的对象，车辆也可以根据检测到的对象进行操作(例如，如果以高置信度将对象识别为停止标志则停止)，但可以被配置为在车辆根据检测到的对象操作的同时(或之后)请求远程辅助。作为上述示例的变型，如果车辆检测到车辆识别为标有“每小时40公里”的标志，并且该标志被检测为具有置信度阈值或以上的置信度，则车辆可以开始根据检测到的对象进行操作(例如，将其速度调整为每小时40公里)。同时，或者可能稍后，车辆还可以要求远程辅助以确认该对象实际上是一个标有“每小时40公里”的标志。这些其他实施方式中的远程辅助可以用作预防措施或用于其他目的。可以将车辆配置为以这种方式针对某些类型的对象进行操作，诸如对于车辆和行人安全而言更为重要的对象(例如，停车标志、交通信号灯、人行横道和行人)。

在附加实施方式中，当检测到对象具有低于置信度阈值的置信度时，车辆、服务器或远程计算系统可以基于识别对象的尝试来生成自然语言问题，然后触发远程计算系统以将自然语言问题显示或以其他方式呈现给操作人员。例如，如果远程计算系统生成问题，则它也可以响应地显示问题。然而，如果车辆或服务器生成自然语言问题，则车辆或服务器可以将代表该问题的消息发送到远程计算系统，该消息在被远程计算系统接收后可能触发远程计算系统将该问题展现给操作人员。

在一些示例中，自然语言问题可能是“这是停车标志吗？”。在其他示例中，自然语言问题可以采取其他形式，诸如“这是施工标志吗？”。可以基于检测到的对象来生成其他各种自然语言问题。自然语言问题可以基于对象的对象检测的结果。附加地或可替代地，自然语言问题可以基于对象的初步识别，以便要求操作人员确认初步识别是否正确。无论哪种情况，自然语言问题在某些场景中都可能不包含对象的正确识别。例如，如果车辆对对象是绿灯的交通信号具有阈值低置信度，即使实际上对象是红灯的交通信号，自然语言问题也可能标为“该交通信号灯是绿色？”。在又一些其他示例中，对象可能是基于路边图像的错误识别。例如，广告牌可以包含可能被错误地检测为路边停车标志的停车标志的图像。其他示例也是可能的。

当接收到环境数据时，远程计算系统可以存储数据以准备接收远程辅助请求。由车辆的传感器系统获取的图像、声音和/或视频记录可以被存储在远程辅助系统的存储器中。当存储在远程辅助系统的存储器中时，可以用将数据发送到远程辅助系统的车辆来标记数据。因此，当车辆请求远程辅助时，远程辅助系统可能能够检索先前发送到远程辅助系统的数据。远程辅助系统可以存储由自动驾驶车辆提供的一些或全部数据。另外，远程辅助系统可以仅存储特定量的数据或与特定时间量有关的数据。例如，远程辅助系统可以仅将数据存储一段时间，诸如5分钟。5分钟时间段之后，远程辅助系统可以删除部分或全部数据。在实践中，远程辅助系统可以在一段时间之后移除哪个自动驾驶车辆发送数据的标签。通过移除标签，数据不再可被特定车辆识别。在一些其他示例中，远程辅助系统可以在一段时间之后移除数据的不同部分。

当请求远程辅助时，远程辅助系统可以向操作人员呈现一些或全部环境数据。远程计算系统还可以提供自然语言问题。在请求远程辅助之前，呈现给操作者的数据可以对应于预定时间段内的数据。在一些示例中，当请求远程辅助时，操作者可以在请求辅助之前的前15秒接收数据。在各种实施例中，用于提供数据的时间段可以变化。在一些实施例中，时间段可以基于请求远程辅助的特定情况而改变。

远程计算系统可以以各种方式呈现环境数据和/或自然语言问题。例如，远程计算系统可以在触摸屏上显示包括所捕获的对象的图像或视频的图形用户界面(gui)。gui还可以包括自然语言问题和/或与对象相关联的边界框。附加地或可替代地，远程计算系统可以经由远程计算系统的扬声器来播放代表自然语言问题的音频文件。在另一示例中，远程计算系统可以经由扬声器播放与对象相关联的音频文件(例如，来自可能是救护车的警笛声)，并且还可以经由扬声器和/或gui向操作人员呈现自然语言问题。其他示例也是可能的。

为了使操作人员能够提供与环境数据有关的输入，从而有效地响应对远程辅助的请求，远程计算系统可以包括用于接收输入的接口，诸如键盘、触摸屏、鼠标、触摸板、麦克风等

在一些实施方式中，远程计算系统可以被配置为使操作人员能够提供指示车辆正确识别的输入，或者可能指示车辆错误地识别对象的输入。例如，远程计算系统可以提供停车标志的图像和询问“这是停车标志吗？”的自然语言问题。然后，操作人员可以基于他或她对图像的感知输入表示对该问题的“是”或“否”答案的响应。

附加地或可替代地，在其他实施方式中，远程计算系统可以被配置为使得操作人员能够提供代表用于控制车辆的指令的输入。例如，如果操作人员感知到环境数据包括停车标志的图像和自然语言问题询问“这是停车标志吗？”，则操作人员可以输入指令以控制车辆在停车标志处停止(例如，在车辆刚刚检测到停车标志并且正在等待快速远程辅助反馈的场景中)，或者可以输入指令以控制车辆在类似于环境数据中所表示的停车标志的下一个停车标志处停止。作为另一示例，远程计算系统可以向操作人员提供用于指示车辆的多个选项。例如，远程计算系统可以在触摸屏上显示两个gui元件，代表操作人员可以选择的选项：“是的，这是一个停车标志。在停止标志处停止，”或“否，这不是停止标志。不要停止。”。其他示例也是可能的。

在一些实施方式中，远程计算系统可以使操作人员能够执行其他动作以便正确地识别对象。例如，如果所讨论的对象是橙色的施工锥(constructioncone)，则操作人员可以经由键盘输入或经由麦克风说出包括单词“施工锥”的响应。这可能发生在没有自然语言问题出现但操作人员仍可以正确识别对象的情况下。作为另一示例，如果所讨论的对象是橙色的施工锥，则操作人员可以浏览远程计算系统上的互联网，以获取施工锥的另一图像，并将该图像包括在操作人员的远程辅助响应中。其他示例也是可能的。

在某个时刻，远程计算系统可以采取控制车辆的指令的形式、所讨论的对象的正确识别和/或其他某种形式的反馈，将包括关于环境数据的操作人员的反馈的表示的远程辅助数据发送到车辆。远程计算系统可以无线地或通过某种其他方式来发送远程辅助数据。

在车辆接收到远程辅助数据时，或者可能在此后的某个时间，车辆可以控制自身以根据远程辅助数据的方式进行操作。例如，车辆可以诸如通过停止车辆、将车辆切换到人为控制模式、改变车辆的速度(例如，速度和/或方向)和/或另一种运动改变来改变其运动。

在一些示例场景中，远程辅助数据可以指示在寻求远程辅助之前车辆未意识到的对象(例如，车辆尚未遇到的对象)的存在。在其他示例中，远程辅助数据可以指示对象是与车辆已经识别出的对象不同的对象。在其他示例中，远程辅助数据可以指示由车辆识别出的对象实际上不在环境中存在(例如，误报)。在这些示例的每一个中，远程辅助数据向具有与自动驾驶车辆所确定的不同的对象的车辆提供信息。因此，为了继续自动驾驶车辆的安全操作，可以改变车辆的控制。

图3b示出了描绘示例计算系统350的示例组件的简化框图。该示例计算系统306可以对应于图3a中所示的远程计算系统302和/或服务器计算系统306。

计算系统350可以包括至少一个处理器352和系统存储器354。在一个示例实施例中，计算系统350可以包括系统总线356，该系统总线356通信地连接处理器352和系统存储器354以及计算系统350的其他组件。取决于期望的配置，处理器352可以是任何类型的处理器，包括但不限于微处理器(μp)、微控制器(μc)、数字信号处理器(dsp)或其任意组合。此外，系统存储器354可以是现在已知或以后开发的任何类型的存储器，包括但不限于易失性存储器(诸如ram)、非易失性存储器(诸如rom、闪存等)或其任意组合。

示例计算系统350也可以包括各种其他组件。例如，计算系统350包括用于(经由a/v端口364)控制图形显示器360和扬声器362的a/v处理单元358、用于连接至其他计算设备368的一个或多个通信接口366以及电源370。图形显示器360可以被布置为提供由用户界面模块372提供的各种输入区域的视觉描述。例如，用户界面模块372可以被配置为提供用户界面，并且图形显示器360可以被配置为提供用户界面的直观描述。用户界面模块372可以进一步被配置为从一个或多个用户界面设备378接收数据以及将数据发送到一个或多个用户界面设备378(或与之兼容)。

此外，计算系统350还可以包括一个或多个数据存储设备374，其可以是可移动存储设备、不可移动存储设备或其组合。可移动存储设备和不可移动存储设备的示例包括固态磁盘设备(诸如软盘驱动器和硬盘驱动器(hdd))、光盘驱动器(诸如光盘(cd)驱动器或数字多功能磁盘(dvd)驱动器)、固态驱动器(ssd)和/或现在已知或以后开发的任何其他存储设备。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，诸如计算机可读指令、数据结构、程序模块或其他数据。例如，计算机存储介质可以采取以下形式：ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能磁盘(dvd)或其他光学存储、磁带、录音带、磁盘存储或其他磁存储设备、或现在已知或以后开发的任何其他介质，可用于存储所需信息并可以由计算系统300访问。

根据示例实施例，计算系统350可以包括程序指令376，该程序指令376被存储在系统存储器354中(和/或可能在另一数据存储介质中)并且可以由处理器352运行以促进本文描述的各种功能，包括但不限于参考图6a-6c所描述的那些功能。尽管计算系统350的各种组件被示为分布式组件，然而应当理解，可以根据计算系统的期望配置来物理地集成和/或分布任何这样的组件。

图4a示出了根据示例实施方式的自动驾驶车辆遇到的场景的俯视图。如图所示，自动驾驶车辆402可以在包含其他车辆406、408和410的环境400内操作。当自动驾驶车辆402接近道路中的障碍物时(在此示例中，为临时停车标志404)，自动驾驶车辆402可以在具有行驶车道的自动模式下操作。

自动驾驶车辆402可以基于如上所述的传感器数据的可能类型的任意组合来创建其环境400的表示。图4b示出了根据示例实施方式的基于由车辆收集的传感器数据的来自图4a的环境的表示。在某些示例中，表示可能不是环境的完美复制。例如，某些传感器可能在某些方向被阻止，或者某些传感器数据可能会失真。另外，一些对象可以被抽象为几何形状，诸如车辆406、408和410的表示或图中所示的临时停车标志404。自动驾驶车辆402可以以变化的精度等级识别对象或环境的其他方面。

图4a和图4b所示的情况可能是车辆的置信度水平下降到预定的阈值水平以下的情况。置信度水平的下降可以基于一种或多种有关车辆运行和/或车辆对环境的视角的因素。例如，车辆402可能无法创建其环境的完整传感器表示，因为临时停车标志404可能会阻碍其对环境方面的观察(例如，其他汽车)。另外，车辆402可能无法自信地识别环境中的一个或多个对象，可能包括临时停车标志404。而且，车辆自身操作的各个方面也可能导致其置信度下降。例如，车辆可能已经在临时停车标志404后面停了下来，并可能停留在那里了一段时间，这可能会触发来自车辆系统中的一个的警告。在一些示例中，如果车辆402停留超过预定的设定时间量(例如1分钟或5分钟)，则其置信度可能开始下降。其他因素可能会导致车辆确定其对如何继续行驶(例如，继续等待还是做其他事情)的置信度已降至车辆应请求远程辅助的水平。

图4c从自动驾驶车辆402的角度示出了自动驾驶车辆402的环境400的视频流。例如，自动驾驶车辆402可以配备一个或多个捕获环境400的一部分的视频流的相机。该环境数据可以与辅助请求一起被发送，以供操作人员使用。在该示例中，在视频流中捕获的环境400的部分包括临时停车标志404以及未被临时停车标志404阻挡的汽车408和410的部分。在一些示例中，相机可以是可移动的(并且可能由远程操作者直接或间接控制)，以便捕获环境400的其他部分的视频，以便解决某些场景。

在另外的示例中，辅助请求可以另外包括用于车辆在识别的情况下采取的一个或多个建议的自动驾驶操作。例如，再次参考关于图4描述的场景，车辆可以发送选项，该选项可以包括保持位置或试图越过左侧的障碍物。在一个示例中，车辆可以发送单个建议的操作，以便接收对其建议的行动方案的验证，并且可以保持车辆的位置，直到接收到响应。在其他示例中，车辆可以发送一组两个或更多个建议的选项供操作人员选择。在某些情况下，车辆可能无法提出行动方案。在这样的示例中，向导人员可以能够提出车辆要采取的行动方案，或者一组两个或更多可能的行动方案。

在其他示例中，辅助请求可能涉及多个部分。例如，车辆可以询问操作人员的一系列问题，以便确定如何进行操作。例如，用户界面可以包括自然语言问题，以帮助向自动驾驶车辆提供输入。例如，参考图4a中描绘的情况，车辆402可以首先请求帮助以便将道路中的障碍物识别为临时停车标志404。车辆402然后可以提出第二请求以便确定如果已经将障碍物识别为临时停车标志404则如何处理最好。在车辆402和远程操作者之间的其他更复杂的论述也是可能的。

图4d示出了可以呈现给操作人员的远程计算系统上的示例gui。gui412可以包括分开的子窗口414和416。第一子窗口414可以包括表示车辆的环境的车辆的传感器数据，诸如以上参考图4b所描述的。第二子窗口416可以包括环境的一部分的视频流，诸如以上参考图4c所描述的。因此，操作人员可以将车辆对其周围环境的理解与视频流进行比较，以验证车辆对周围环境的表示和/或验证或建议车辆的计划行动方案。

可以向操作人员显示gui，该gui包含控制菜单，该控制菜单使操作人员能够向车辆发送指示建议的自动驾驶操作模式的响应。例如，图4e示出了示例性gui，其包括第一子窗口和第二子窗口，第一子窗口示出了车辆环境的车辆传感器数据表示，第二子窗口示出了车辆环境的一部分的视频流，诸如以上关于图4d所描述的。图4e还包含控制菜单418，该控制菜单418可以允许操作人员响应自然语言的问题。取决于提供给车辆的响应的类型，控制菜单418可以允许操作者以多种不同方式(例如，从操作列表中选择、键入特定操作模式、选择环境图像中的特定焦点区域等)将引导输入到车辆。

在图4e中描绘的示例中，操作人员可以指示自然语言问题420以识别被识别为临时停止标志404的对象。此外，当确认识别时，可以将识别添加到全局地图中。当将识别添加到全局地图时，将来其他车辆可能不必请求识别该对象。控制菜单418可以另外包含等待时间条422，该等待时间条422指示所接收的传感器数据有多久，这可能会影响操作人员的响应。

可以以多种不同方式接收对辅助请求的响应。在将辅助请求发送到不位于车辆内的远程计算系统的实施方式中，可以通过位于车辆内的通信系统无线地接收响应。在其他实施方式中，诸如那些将辅助请求发送给位于车辆内的乘客的实施方式，当乘客将自动驾驶操作输入到位于车辆内的计算机系统的gui中时，可以接收响应。乘客也能够以其他方式指示车辆，诸如通过语音命令或通过手持移动设备。还可以使用其他发送和/或接收帮助请求和/或对请求的响应的模式。

图5示出了示例场景500，该场景500涉及沿着道路504行驶的车辆502。车辆502可以以自动驾驶模式操作。此外，车辆502可以被配置有传感器单元510。在一个示例中，传感器单元510可以具有传感器，诸如相机，其具有视场506。视场506可以对应于相机可能在其中捕获图像的区域。在另一实施方式中，传感器单元510可以包括雷达单元。视场506可以对应于雷达单元可以在其上发送和接收信号的区域。在其他实施方式中，视场506可以不限于车辆前方的单个区域，而是可以对应于车辆周围的整个区域(例如360度)。图5示出了示例场景500，其中传感器单元使用相机来获得关于车辆环境的数据。图5的描述也可以与其他传感器一起使用，而不仅仅是像相机这样的光学传感器。

作为一个示例性实施方式，如图5所示，可能存在至少部分地在车辆502的视场506内的两个环境对象。在此示例中，假定视场506是诸如相机的光学传感器。传感器单元510的相机可以拍摄图片或视频。将对该图片视频进行分析以确定环境的对象。

当传感器单元510中的相机捕获视频或图像时，第一对象514可以完全落在视场506内。第二对象512可以仅部分地位于捕获的图片或视频内。当车辆502中的处理系统分析图片或视频时，它可能能够成功识别对象，诸如第一对象514。然而，处理系统可能无法成功识别第二对象512(或可以以低置信度识别对象512)。由于许多不同的原因，处理系统可能无法成功识别第二对象512。在一些实施方式中，环境的数据可能不包括足够的信息以成功地自动识别第二对象512。例如，第二对象512可以是路标。由车辆捕获的图像可能会切断一部分路标。车辆的检测系统可能无法正确识别切断的路标。在另一示例中，对象可能会被部分遮挡，因此自动识别可能无法准确进行。在又一实施方式中，对象可能以车辆的检测系统可能不能准确地检测对象的方式变形或损坏。

因此，处理系统可以传送与捕获的图像或视频相关联的数据用于进一步处理。当操作人员观看所得的图像或视频时，尽管第二对象512仅部分地在视场506中，他或她仍能够成功地识别第二对象512。在其他实施方式中，不是将数据传达给操作人员，而是车辆可以将数据传达给更强大的计算机系统用于进一步处理，该计算机系统位于远程。

尽管关于图片和视频描述了图5，然而传感器单元510还可以具有其他传感器，这些传感器捕获不是可见光的数据。因此，所公开的方法和装置不仅仅限于光学数据收集。另外，由于第二对象512仅部分地在视场内，因此图5中所示的识别被描述为具有误识别。在一些实施方式中，即使整个对象位于图像或视频中，也可能发生误识别。

图6a-6c示出了根据示例实施方式的用于为自动驾驶车辆提供远程辅助的不同方法的流程图。在各种不同示例中，可以分别独立地、同时地或顺序地执行图6a-c的方法600、620和640。方法600、620和640表示示例性方法，其可以包括如框602-610中的一个或多个所描绘的一个或多个操作，每个框可以由图1-3b所示的任何系统来执行，以及其他可能的系统。还可以根据关于图4a-e和图5描述的实施方式来执行每个操作。在示例实施方式中，诸如远程计算系统302的计算系统执行所图示的操作，尽管在其他实施方式中，一个或多个其他系统(例如，服务器计算系统306)可以执行某些或所有操作。

本领域技术人员将理解，本文描述的流程图示出了本公开的某些实施方式的功能和操作。就这一点而言，流程图的每个框可以表示模块、分段、或程序代码的一部分，其包括可由一个或多个处理器运行以用于实现处理中的特定逻辑功能或步骤的一个或多个指令。程序代码可以存储在任何类型的计算机可读介质上，例如，诸如磁盘或硬盘驱动器的存储设备。

另外，每个框可以表示被布线以执行处理中的特定逻辑功能的电路。如本领域的技术人员所理解的，替代实施方式被包括在本申请的示例实施方式的范围内，其中取决于所涉及的功能，可以不按所示或所讨论的顺序(包括基本上同时或以相反的顺序)运行功能。在示例内，任何系统都可以使另一系统执行以下所述的一个或多个操作(或操作的一部分)。

与以上讨论一致，计算系统(例如，远程计算系统302或服务器计算系统306)可以如方法600所示以倒带模式操作。如图6a所示，在框602处，计算系统通过基于从自动驾驶车辆接收的数据来确定自动驾驶车辆已经停止而进行操作。在一些示例中，自动驾驶车辆可以将其速度信息报告给计算系统。基于所报告的速度信息，计算系统可以确定自动驾驶车辆是否停止。在一些其他示例中，自动驾驶车辆可以向计算系统提供图像和/或视频数据。计算系统可以分析图像和/或视频数据以确定自动驾驶车辆是否停止。

在一些示例中，框602还包括定期地确定车辆是否停止和/或确定车辆是否已经停止了预定的阈值时间段。可以基于自动驾驶车辆所位于的环境或状况来确定预定的阈值。例如，在车辆被并排停放的情况下，阈值可以是15秒。在另一示例中，当车辆正在阻塞车道时，阈值可以是30秒。在一些其他示例中，计算系统可以包括机器学习算法，该机器学习算法可以学习各种新情况以及预定的阈值的相关联的时间量。

在框604处，计算系统通过确定已经满足一个或多个检查标准来进行操作。一个或多个检查标准可以采取许多不同的形式。在一个示例中，一个或多个检查标准中的至少一个与车辆周围环境的变化有关。环境的变化可以包括有人接近车辆、另一车辆接近车辆、自行车接近车辆或其他环境变化。在另一示例中，一个或多个检查标准中的至少一个与音频信号有关，诸如汽车喇叭或警报器。在又一示例中，一个或多个检查标准中的至少一个与乘客请求有关。在又一示例中，检查标准可以与时间段有关。例如，车辆停止预定时间段可以触发检查标准。在这样的示例中，预定时间段可以是一分钟。在车辆停车每分钟后，检查标准可以触发远程辅助。也可以使用其他时间段。在一些其他示例中，该时间段可以重复。因此，可以在车辆停止后每分钟(或其他时间段)满足检查标准。时间段也可能会变化，并且可能不会重复相同的时间量。其他类型的检查标准也是可能的。

在框606，响应于满足一个或多个检查标准，计算系统通过向操作者提供至少一个图像来进行操作。在满足检查标准之后，计算系统可以向操作者提供图像或视频(即，多个图像)。提供给操作者的图像或视频可以是先前从自动驾驶车辆接收的图像或视频。提供给操作者的视频或图像可以对应于满足检查标准之前的预定时间段。预定时间段可以基于已经满足一个或多个检查标准的上下文。因此，实际上，操作者看到导致满足检查标准的原因的图像或视频。

在实践中，提供导致满足一个或多个检查标准的原因的图像或视频可以允许操作者确定满足检查标准的上下文。例如，自动驾驶车辆可能停在车道的尽头等待乘客上车。一个或多个检查标准可以与另一车辆试图离开车道并向自动驾驶车辆行进(和/或鸣喇叭)有关。响应于满足一个或多个检查标准，操作者可以接收图像或视频，该图像或视频示出了另一辆车辆接近停止的自动驾驶车辆。在另一示例中，自动驾驶车辆可能停在道路的一侧，等待进一步的指令。一个或多个检查标准可以与来自紧急车辆的警报器和/或接近自动驾驶车辆的人有关。响应于满足一个或多个检查标准，计算系统可以向操作者提供与触发满足一个或多个检查标准的事件相对应的图像、音频和/或视频。

为了促进在倒带模式下的操作，在第一模式或第二模式下的操作期间，计算系统可以在某个点处接收预存储的数据。计算系统接收预存储的数据的动作可能涉及从车辆(例如，车辆200)和/或从服务器(例如，服务器计算系统306)接收预存储的数据。在其中计算系统是服务器的实施方式中，计算系统接收预存储的数据的动作可能涉及从车辆或从另一服务器接收预存储的数据。

在一些示例中，预存储的数据可以包括被存储长达过去几小时、几天或几周的数据(例如，相对于预存储的数据被计算系统接收到的时间，或被显示的时间)。附加地或可替代地，预存储的数据可以包括过去几秒或几毫秒存储的数据。例如，预存储的数据可以包括对象的图像，该对象被车辆获取，然后在几毫秒后被计算系统基本上实时地接收和/或显示。在这种场景中，车辆可能正在基本实时地请求远程辅助，计算系统可以将其用作提醒操作人员的手段。操作人员随后可以选择观察先前捕获的更多数据(即倒带图像数据)。其他示例和方案也是可能的。

预先存储的数据可以采取各种形式。例如，预存储的数据可以采取至少部分环境数据的形式，该环境数据先前由车辆获取并且之后被存储在车辆和/或服务器处的存储器中。这样，预存储的数据可以包括视频、音频信号和/或车辆环境中的对象的其他数据表示，诸如上述的任何这些，包括计算系统可以在以第一模式操作时接收的任何那些。例如，预存储的数据可以包括停车标志的图像、道路中其他各种车辆的视频和/或救护车警笛的音频记录以及其他可能。

在框608处，计算系统通过经由诸如gui的用户界面接收操作者输入来进行操作。操作者可以基于所提供的至少一个图像经由用户界面输入响应。用户界面可以包括用于呈现至少一个图像的各个方面的各种可选和非可选元素，诸如窗口、子窗口、文本框和命令按钮。例如，用户界面可以包括用于显示对象的视频馈送的窗口，并且可以进一步包括用于停止、开始、快进和倒带视频馈送的按钮。作为另一示例，用户界面可以包括命令按钮，诸如标记为“是”和“否”的那些，操作人员可以单击、触摸或以其他方式选择。作为又一示例，用户界面可以包括文本框，对象的文本识别。例如，当查看包括停车标志的图像的预存储数据时，操作人员可以使用键盘在与停车标志的图像一起呈现的文本框中输入文本“停车标志”。其他示例也是可能的。用户界面也可以采取本文所述的任何用户界面的形式，包括图4d和4e。

作为显示图像数据的补充或替代，可以非视觉地(诸如经由计算系统的扬声器(连同图像的显示))提供图像数据。例如，当预存储的数据包括音频文件时，计算系统可以使操作人员能够播放音频文件。例如，计算系统可以显示当被选择时播放音频文件的gui元件。作为另一示例，计算系统可以呈现视觉和/或音频预存储的数据，并且还播放音频文件，该音频文件包括与预存储的数据有关的自然语言问题的口头阅读。其他示例也是可能的。

在一些实施方式中，计算系统可以包括诸如麦克风的用户界面，该麦克风被配置为接收代表操作人员对警报数据的响应的语音命令，并且计算系统然后可以处理该语音命令以确定响应。例如，操作人员可以查看数据，该数据包括(i)接近停止的自动驾驶车辆的人的视频，以及(ii)用于操作人员说出事件指示和/或说出车辆命令的提示。因此，通过观看先前记录的图像，操作人员可以提供正确的输入。

计算系统可以为操作人员提供其他方式来与数据交互并提供响应。例如，gui可以使操作人员能够调整围绕所讨论对象的边界框的视觉表示，诸如在车辆可能具有错误尺寸的边界框的场景中。

作为另一示例，gui可以使操作人员能够在预存储的数据中选择感兴趣的区域用于进一步分析。这样的感兴趣的区域可以包括车辆未正确识别或未试图识别的环境中的重要对象，或者可以包括操作人员认为可能需要其反馈的任何对象。作为更具体的示例，计算系统可以向操作人员显示车辆可能已经用各种相关对象的所谓识别来注释的预存储数据的图像。例如，图像可以包括停车标志、人行横道和两个行人，然而由于车辆的对象检测，停车标志、人行横道和仅一个行人可能已经在图像中被如此正确地识别和注释了(例如，“停止标志”文本在图像的停止标志部分附近或与之相关联，依此类推)。在这种场景中，gui可以使操作人员能够选择包含另一行人的图像部分，并指示该图像部分中的对象是另一行人。

在框610处，响应于接收到操作者输入，计算系统通过经由网络将用于由自动驾驶车辆运行的指令提供给自动驾驶车辆来进行操作。如前所述，操作者可以经由用户界面提供输入。输入可以是对象的识别、用于自动驾驶的指令、情况的描述和/或其他输入。响应于接收到输入，计算系统可以使命令被发布给自动驾驶车辆。计算系统可以通过网络发布命令，因此该命令被无线地发送到自动驾驶车辆。

在一些示例中，操作者可以输入命令。在这种情况下，计算系统可以验证命令是安全的，并且在验证之后，将命令发送到车辆。在其他情况下，计算系统可以基于操作者的输入来确定命令。一旦确定了命令，就可以将其传达给自动驾驶车辆。一旦接收到命令，自动驾驶车辆就可以响应地执行由该命令所描述的动作。

在一些示例中，命令可以指示自动驾驶车辆移动。在其他示例中，命令可以指示自动驾驶车辆锁定或解锁门。在其他示例中，命令可以指示自动驾驶车辆停留在相同位置。各种其他命令也是可能的。

作为另一示例，根据以上讨论，计算系统(例如，远程计算系统302或服务器计算系统306)可以如方法620所示以倒带模式操作。如图6b所示，框622，计算系统通过从自动驾驶车辆接收自动驾驶车辆的环境的图像数据来进行操作。如前所述，接收到的图像数据可以存储在远程辅助系统的存储器中。框622可以以与先前描述的框602类似的方式操作。

在框624处，基于从自动驾驶车辆接收的数据，计算系统通过确定自动驾驶车辆的环境的至少一个对象具有低于阈值的检测置信度来进行操作。在一些示例中，车辆可以向计算系统提供对象具有低检测置信度的指示。在该示例中，车辆可以请求用于对象识别的辅助。在其他示例中，计算系统可以通过分析由车辆提供的数据来确定对象具有低检测置信度。

基于各种原因，对象可能具有低检测置信度。在一些示例中，系统可能难以识别对象，诸如部分被遮盖的标志。在其他示例中，车辆的运动可能导致车辆失去对象识别中的置信度。例如，车辆可以正确地识别道路标志，然而当车辆接近该标志时，车辆和该标志之间的角度可能导致车辆失去该识别中的置信度。在其他示例中，对象可能不再在车辆的各种相机或成像设备的视场内(例如，因为车辆可能已经太靠近对象以致无法对其进行成像)。在这种情况下，对象可能会丢失到成像设备的视场中。因此，当先前检测到的对象不再处于成像装置的视场中时，其可能具有低检测置信度。基于许多其他原因，对象可能具有低检测置信度。

在框626处，计算系统通过从存储器向操作者提供至少一个图像来进行操作，其中至少一个图像包括与自动驾驶车辆的环境的至少一个对象有关的先前存储的图像数据具有低于阈值的检测置信度。框626可以以与如上所述的框606类似的方式起作用。如先前所讨论的，提供给操作者的至少一个图像可以对应于在检测到低检测置信度之前的预定时间段。因此，在检测到低检测置信度之前，系统可以向车辆的环境的操作者回放视频、至少一个图像和/或声音。

在框628处，计算系统通过接收操作者输入来进行操作。框628可以以与如上所述的框608类似的方式起作用。实际上，操作者可以提供对具有低检测置信度的对象的正确识别。

在框630处，响应于接收到操作者输入，计算系统通过经由网络将用于由自动驾驶车辆运行的指令提供给自动驾驶车辆来进行操作。框630可以以与如上所述的框610类似的方式起作用，以响应于操作者输入而提供用于自动驾驶车辆运行的指令。

作为另一示例，根据以上讨论，计算系统(例如，远程计算系统302或服务器计算系统306)可以如方法640所示以倒带模式操作。如图6c所示，框642，响应于接收到操作者输入，计算系统通过从自动驾驶车辆接收自动驾驶车辆的环境的图像数据来进行操作。如前所述，接收到的图像数据可以存储在远程辅助系统的存储器中。框642可以以与先前描述的框602类似的方式操作。

在框644处，计算系统通过从自动驾驶车辆接收对触觉事件的指示来进行操作。车辆自身可以感测触觉事件并将其报告给计算系统。触觉事件的报告可以包括由自动驾驶车辆的传感器捕获的力量信息(forceinformation)。触觉事件可以包括：驶过减速带、在街上碾过棍子、车辆意外加速或减速或其他触觉事件。响应于触觉事件，车辆可以报告发生了触觉事件，报告响应于该事件需要帮助和/或计算系统可以基于来自车辆的传感器数据来识别触觉事件。触觉事件可能是导致远程辅助提示操作者的触发器。

在框646处，计算系统通过从存储器向操作者提供至少一个图像来进行操作。至少一个图像包括与触觉事件有关的图像数据。框646可以以与如上所述的框608类似的方式起作用。如先前所讨论的，提供给操作者的至少一个图像可以对应于在检测到触觉之前的预定时间段。因此，系统可以在检测到触觉之前向车辆的环境的操作者回放视频、至少一个图像和/或声音。

在一些其他示例中，远程操作者可以位于车辆模拟器处。在车辆模拟器中，远程操作者可能能够看到模拟视图并感觉到触觉事件，就像操作者在自动驾驶车辆中一样。框646还可以包括响应于触觉事件而生成仿真。该模拟可以包括在触觉事件之前的预定时间段。在实践中，该模拟可以使操作者能够看到并感觉到自动驾驶车辆乘员在触觉事件之前所看到和感受到的感觉。在经历了模拟的触觉事件之后，操作者可以在框648处提供输入。

在框648处，计算系统通过接收操作者输入来操作。框648可以以与如上所述的框608类似的方式起作用。在实践中，操作者可以提供触觉事件的原因的识别和/或提供用于自动驾驶车辆执行的指令。在一些示例中，操作者输入还可以基于触觉事件来触发紧急呼叫。

在框650处，响应于接收到操作者输入，计算系统通过经由网络将用于由自动驾驶车辆运行的指令提供给自动驾驶车辆来进行操作。框650可以以与如上所述的框610类似的方式起作用，用于响应于操作者输入而提供指令以使自动驾驶车辆运行。

图7是根据示例实施方式的计算机程序的示意图。在一些实施方式中，所公开的方法可以被实现为以机器可读格式编码在非暂时性计算机可读存储介质上或其他非暂时性介质或制品上的计算机程序指令。

在示例实施方式中，使用信号承载介质702来提供计算机程序产品700，该信号承载介质可以包括一个或多个编程指令704，该指令在由一个或多个处理器运行时可以提供上述参考图1-6的功能或功能的一部分。在一些示例中，信号承载介质702可以包含非暂时性计算机可读介质706，诸如但不限于硬盘驱动器、光盘(cd)、数字视盘(dvd)、数字磁带、存储器、到远程存储的组件(例如，在云端)等。在一些实施方式中，信号承载介质702可以包含计算机可记录介质708，诸如但不限于存储器、读/写(r/w)cd、r/wdvd等。在一些实施方式中，信号承载介质702可以包含通信介质710，诸如但不限于数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。类似地，信号承载介质702可以对应于远程存储(例如，云)。计算系统可以与云共享信息，包括发送或接收信息。例如，计算系统可以从云接收附加信息以增加从传感器或另一实体获得的信息。因此，例如，信号承载介质702可以通过无线形式的通信介质710来传送。

一个或多个编程指令704可以是例如计算机可运行和/或逻辑实现的指令。在一些示例中，诸如图1的计算机系统112或远程计算系统302以及也许图3a的服务器计算系统306的计算设备可以被配置为响应于通过计算机可读介质706、计算机可记录介质708和/或通信介质710中的一个或多个将编程指令704传送到计算机系统112而提供各种操作、功能或动作。

非暂时性计算机可读介质还可以分布在多个数据存储元件和/或云之间(例如，远程地)，其可以彼此远离地定位。运行一些或所有存储的指令的计算设备可以是车辆，诸如图2所示的车辆200。可替代地，运行一些或所有存储的指令的计算设备可以是另一计算设备，诸如服务器。

上面的详细描述参考附图描述了所公开的系统、设备和方法的各种特征和操作。尽管本文已经公开了各个方面和实施例，然而其他方面和实施例将是显而易见的。本文所公开的各个方面和实施例是出于说明的目的，而不是旨在进行限制，其真实范围由所附权利要求指示。