用于机器人载具的远程操作的系统和方法与流程
相关申请的交叉引用
本申请要求于2017年7月28日提交的、申请号为62/538,538的美国临时申请的优先权，其通过引用以其整体合并于此。
本申请涉及自主载具(vehicle)，并且尤其涉及由操作人员对自主载具的远程操作。
背景技术：
全自主和/或半自主机器人领域是一个不断增长的创新领域。机器人正被用于许多目的，包括仓库库存操作、家用抽真空机器人、医院递送机器人、卫生机器人、以及军事或国防应用。
在消费者空间中，通过自主载具来处理和递送货物和服务可以以许多方式改善社会。例如，人们可以不是花费时间行进到批发商，而是替代地在等待自主载具递送货物和/或服务的同时从事生产工作。在道路上具有较少载具的情况下，交通状况也将改善。例如，代替若干人在若干载具中行进到批发商，单个自主载具可以将货物和/或服务递送给那些人，并且由此减少了道路上的载具的数量。随着技术的进步，自主载具的其他用途和应用也是可能的。因此，存在对开发用于自主载具的技术的兴趣。
技术实现要素：
本公开涉及一种全自主和/或半自主机器人机队(fleet)，并且尤其涉及在非结构化室外环境或封闭环境中的机器人载具的机队。一方面，本公开提供了用于由操作人员对自主载具进行远程操作，以及用于基于各种因素对某些自主载具进行优先级区分(prioritize)以用于远程人工操作的系统和方法。在各种实施例中，自主载具可以是任何陆地载具，包括被配置为携带人员、船货、货物、或者其他物体或物质的陆地载具。
根据本公开的各方面，一种自主机器人陆地载具包括：陆地载具运输系统；传感器系统，其被配置为捕获包括周围环境信息和/或载具子系统信息的信息；通信系统，其被配置为与远程操作人员管理系统进行通信；一个或多个处理器；以及存储器，其存储指令。指令在由一个或多个处理器执行时，使得自主机器人陆地载具基于所捕获的信息来自主地确定请求远程操作人员，以及将请求传送到远程操作人员管理系统，该请求用于使远程操作人员采取对陆地载具运输系统的控制，其中该请求包括所捕获的信息的至少一部分。
在各种实施例中，在确定请求远程操作人员时，指令在由(一个或多个)处理器执行时，使得自主机器人陆地载具基于载具子系统信息来确定至少一个子系统运行不正常。
在各种实施例中，在确定请求远程操作人员时，指令在由至少一个处理器执行时，使得自主机器人陆地载具基于所捕获的信息来确定下一个动作不能被自主地确定。
在各种实施例中，在确定请求远程操作人员时，指令在由至少一个处理器执行时，使得自主机器人陆地载具基于周围环境信息来确定周围环境情况未被识别出。
在各种实施例中，在确定请求远程操作人员时，指令在由至少一个处理器执行时，使得自主机器人陆地载具进行以下操作：访问预定情况或预定道路，该预定情况或预定道路被预定为需要请求远程操作人员，以及基于所捕获的信息来确定已经遇到预定情况或预定道路中的至少一个。
在各种实施例中，在确定请求远程操作人员时，指令在由至少一个处理器执行时，使得自主机器人陆地载具基于周围环境信息来确定周围环境情况不应当被自主地处理。
在各种实施例中，在确定请求远程操作人员时，指令在由至少一个处理器执行时，使得自主机器人陆地载具基于载具子系统信息来确定至少一个子系统的情况未被识别出。
在各种实施例中，在确定请求远程操作人员时，指令在由至少一个处理器执行时，使得自主机器人陆地载具进行以下操作：访问预定操作地理区域，以及基于周围环境信息来确定自主机器人陆地载具在该预定操作地理区域之外。
在各种实施例中，在确定请求远程操作人员时，指令在由至少一个处理器执行时，使得自主机器人陆地载具基于所捕获的信息来确定执行自主动作的多次尝试已经失败。
在各种实施例中，指令在由至少一个处理器执行时，使得自主机器人陆地载具基于所捕获的信息来确定风险等级。
在各种实施例中，在基于所捕获的信息来确定风险等级时，指令在由至少一个处理器执行时，使得自主机器人陆地载具基于自主风险缓解程序的估计安全性来确定风险等级，该自主风险缓解程序能够在等待远程操作人员采取控制的同时被实现。
在各种实施例中，在基于自主风险缓解程序的估计安全性来确定风险等级时，指令在由至少一个处理器执行时，使得自主机器人陆地载具进行以下操作：访问风险缓解程序，基于所捕获的信息来估计执行风险缓解程序的成功概率，以及基于所估计的成功概率来确定风险等级。
在各种实施例中，在估计执行风险缓解程序的成功概率时，指令在由至少一个处理器执行时，使得自主机器人陆地载具基于以下各项中的至少一项来估计成功概率：道路速度限制、当前载具速度、周围载具的当前速度、周围载具的数量、周围行人的数量、周围物体的数量、道路宽度、天气状况、可做出反应的时间、或者与周围载具的接近程度。其他因素被认为在本公开的范围内。
在各种实施例中，指令在由至少一个处理器执行时，使得自主机器人陆地载具在等待远程操作人员采取控制的同时控制陆地载具运输系统以缓解风险。
在各种实施例中，在控制陆地载具运输系统以缓解风险时，指令在由至少一个处理器执行时，使得自主机器人陆地载具执行以下各项中的至少一项：停在路缘(curb)处、停在停车场中、在道路上行进以寻找停车位、或者偏离计划路线到具有较低风险的道路。
在各种实施例中，在控制陆地载具运输系统以缓解风险时，指令在由至少一个处理器执行时，使得自主机器人陆地载具以比没有风险的行进速度更慢的速度行进。
在各种实施例中，自主机器人陆地载具不包含任何用于人类乘客或者操作人员在自主机器人陆地载具内的空间。
在本公开的各方面中，一种用于将远程操作人员分配给自主陆地载具的系统，该系统包括：数据库，其包括关于多个远程操作人员的经验信息；通信系统，其被配置为与远程自主陆地载具进行通信；一个或多个处理器；以及存储器，其存储指令。指令在由(一个或多个)处理器执行时，使得系统进行以下操作：经由通信系统从远程自主陆地载具接收请求，该请求用于使远程操作人员采取控制，其中请求中的每一个均包括由相应远程自主陆地载具生成的风险信息，确定请求的数量大于可用远程操作人员的数量，访问与请求相关联的风险等级，其中风险等级包括以下各项中的至少一项：由系统基于远程自主陆地载具所生成的风险信息而确定的等级或者由远程自主陆地载具确定并且被包括在远程自主陆地载具所生成的风险信息中的等级；以及基于以下各项中的至少一项将可用远程操作人员中的至少一些可用远程操作人员分配到远程自主陆地载具中的至少一些远程自主陆地载具：风险等级或者关于远程操作人员的经验信息。
在各种实施例中，在将可用远程操作人员中的至少一些可用远程操作人员分配到远程自主陆地载具中的至少一些远程自主陆地载具时，指令在由(一个或多个)处理器执行时，使得系统优先将可用远程操作人员分配给具有最高风险等级的远程自主陆地载具。
在各种实施例中，经验信息包括经验量，并且在优先将可用远程操作人员分配给具有最高风险等级的远程自主陆地载具时，指令在由至少一个处理器执行时，使得系统优选具有较高经验量的可用远程操作人员。
在各种实施例中，经验信息包括在特定区域中驾驶的经验，并且在将可用远程操作人员中的至少一些可用远程操作人员分配到远程自主陆地载具中的至少一些远程自主陆地载具时，指令在由(一个或多个)处理器执行时，使得系统进行以下操作：基于经验信息来确定具有在远程自主陆地载具中的一个远程自主陆地载具所处的特定区域中驾驶的经验的可用远程操作人员的群组，以及将来自该群组的远程操作人员中的一个远程操作人员分配给一个远程自主陆地载具。
在各种实施例中，经验信息包括在特定情况下驾驶的经验，并且请求中的每一个请求均包括风险情况的指示。
在各种实施例中，风险情况包括载具子系统运行不正常，并且在将可用远程操作人员中的至少一些可用远程操作人员分配到远程自主陆地载具中的至少一些远程自主陆地载具时，指令在由(一个或多个)处理器执行时，使得系统进行以下操作：基于经验信息来确定具有在载具子系统运行不正常的情况下远程地操作载具的经验的可用远程操作人员的群组，以及将来自该群组的远程操作人员中的一个远程操作人员分配给远程自主陆地载具中的一个远程自主陆地载具。在各种实施例中，运行不正常的载具子系统是导航子系统。
在各种实施例中，风险情况包括周围环境情况，并且在将可用远程操作人员中的至少一些可用远程操作人员分配到远程自主陆地载具中的至少一些远程自主陆地载具时，指令在由至少一个处理器执行时，使得系统进行以下操作：基于经验信息来确定具有在周围环境情况中远程地操作载具的经验的可用远程操作人员的群组，以及将来自该群组的远程操作人员中的一个远程操作人员分配给远程自主陆地载具中的一个远程自主陆地载具。在各种实施例中，周围环境情况包括以下各项中的一项或多项：未识别的物体、正在发信号通知紧急情况的紧急服务载具、正在指挥交通的人、和/或过多数量的行人或载具。
下面参考附图更详细地描述本公开的示例性实施例的其他细节和方面。
通过引用合并
本说明书中提到的所有出版物、专利、和专利申请都以相同的程度通过引用并入本文，就像每个单独的出版物、专利、或专利申请被具体地和单独地指出通过引用并入本文一样。
附图说明
通过参考以下阐述了其中利用了本技术的原理的说明性实施例的详细描述以及附图，将获得对所公开的技术的特征和优点的更好理解，在附图中：
图1是其中机队或子机队(sub-fleet)内的每个载具可以针对实体被标记的自主机器人机队的示例性视图；
图2是作为自主机器人机队的一部分的机器人载具的示例性iso视图，其示出了载具内的可保证安全的隔间；
图3是与普通人的身高相比示出的作为自主机器人机队的一部分的机器人载具的示例性前视图；
图4是作为自主机器人机队的一部分的机器人载具的示例性右侧视图，其示出了具有两个大侧门的配置，每个大侧门封闭可保证安全的隔间；
图5是与普通人的身高相比示出的作为自主机器人机队的一部分的机器人载具的示例性左侧视图；
图6是作为自主机器人机队的一部分的机器人载具的示例性后视图；
图7是作为自主机器人机队的一部分的机器人载具的示例性iso视图，其示出了用于任何品牌公司的自主午餐递送载具；
图8是作为自主机器人机队的一部分的机器人载具的示例性iso视图，其示出了用于任何品牌公司的自主比萨饼递送载具；
图9是作为自主机器人机队的一部分的机器人载具的示例性iso视图，其示出了用于任何品牌公司的自主咖啡递送载具；
图10是作为自主机器人机队的一部分的机器人载具的示例性iso视图，其示出了用于任何品牌公司的包括照明内部的自主晚间/夜间递送载具；
图11是与用于机器人机队的中央服务器相关联的机队管理控制模块的逻辑的示例性流程图表示；
图12是从机队管理控制模块通过机器人处理器到机器人的各种系统和模块的逻辑流程的示例性流程图表示；
图13是示例性远程操作人员系统的图；
图14是图13的远程操作人员系统的示例性视觉显示器的图；
图15是通过自主飞行器(aerialvehicle)可视化自主陆地载具的示例性配置的图；
图16是用于请求远程操作人员采取控制的自主载具的示例性操作的流程图；以及
图17是用于将远程操作人员分配给自主载具的远程操作人员管理系统的示例性操作的流程图。
具体实施方式
本公开涉及全自主和/或半自主机器人机队，并且特别地涉及用于在开放的非结构化室外环境或封闭环境中运输或取回人或运送物的机器人载具。在一个方面中，本公开提供了用于由操作人员对自主载具进行远程操作，以及用于基于各种因素来对某些自主载具进行优先级区分以用于远程人工操作的系统和方法。在各种情况下，对全自主或半自主载具的远程操作可能是合适的。例如，如果自主载具被请求行进到尚未被完全绘制地图的目的地(例如，大型公司或大学校园、或公共公园等)，则自主载具可能无法确定如何到达目的地。在其他场景中，自主载具可能无法识别情况，或者可能确定其不应该自主地处理情况。因此，操作人员对自主载具进行远程操作的能力是有益的特征。然而，随着自主机队的增长，载具的数量将大大超过远程操作人员的数量。根据本公开的各方面，公开了用于基于各种因素将远程操作人员分配给自主载具的系统和方法。
本文提供了一种机器人机队，其具有全自主或半自主操作的机器人载具和用于协调机器人机队的机队管理模块，其中机队内的每个机器人被配置用于运输、递送或者取回货物或服务，并且能够在非结构化开放环境或非结构化封闭环境中操作。每个机器人可以包括电力系统、运输系统、导航模块、至少一个可保证安全的隔间或多个可保证安全的隔间以容纳货物、控制器、通信模块和处理器，其中该控制器可被配置为将可保证安全的隔间中的每个隔间关联到市场中可指定的客户、客户群或供应商并且在被授权时提供进入，该处理器被配置为管理运输系统、导航模块、传感器系统、通信模块和控制器。
如本文所使用的，术语“自主”包括全自主、半自主和其中载具可以在没有人为干预的情况下以受控方式操作一段时间的任何配置。
如本文所使用的，术语“机队”、“子机队”和类似术语用于指示一起操作或在相同所有权下操作的多个陆地载具。在一些实施例中，机队或子机队参与相同的活动。在一些实施例中，机队或子机队参与类似的活动。在一些实施例中，机队或子机队参与不同的活动。
如本文所使用的，术语“机器人”、“机器人载具”、“机器人机队”、“载具”、“全地形载具”和类似术语用于指示运输人、船货、物品和/或货物的移动机器。典型的载具包括汽车、货车、厢式货车、无人机动载具(例如，三轮车、卡车、拖车、公共汽车等)、以及无人有轨载具(例如，火车、有轨电车等)、以及其他类型的陆地载具。
如本文所使用的，术语“用户”、“操作者”、“机队操作者”和类似术语用于指示拥有或负责管理和操作机器人机队的实体。
如本文所使用的，术语“客户”和类似术语用于指示请求机器人机队所提供的服务的实体。
如本文所使用的，术语“供应商”、“企业”、“厂家”、“第三方厂家”和类似术语用于指示与机队所有者或操作者合作工作以进行以下操作的实体：利用机器人机队的服务从供应商的营业地点或暂存位置(staginglocation)递送供应商的产品和/或将供应商的产品返回到供应商的营业地点或暂存位置。
如本文所使用的，术语“服务器”、“计算机服务器”、“中央服务器”、“主服务器”和类似术语用于指示网络上的对机队资源(即，机器人载具)进行管理的计算机或设备。
如本文所使用的，术语“控制器”和类似术语用于指示控制从计算机到外围设备的数据传送的设备，反之亦然。例如，磁盘驱动器、显示屏、键盘、和打印机都需要控制器。在个人计算机中，控制器通常是单芯片。如本文所使用的，控制器通常用于管理对机器人的组件(例如，可保证安全的隔间)的访问。
如本文所使用的，“网状网络”是其中每个节点中继网络的数据的网络拓扑。所有网状节点在网络中的数据分布方面进行协作。其可以应用于有线和无线网络两者。无线网状网络可以被认为是一种“无线自组织”网络。因此，无线网状网络与移动自组织网络(manet)密切相关。尽管manet不限于特定网状网络拓扑，但是无线自组织网络或manet可采取任何形式的网络拓扑。网状网络可使用泛洪技术或路由技术来中继消息。通过路由，消息通过从节点跳到节点而沿着路径传播，直到消息到达其目的地。为了确保其所有路径都可用，网络必须允许连续的连接，并且必须使用诸如最短路径桥接之类的自修复算法来围绕中断的路径重新配置其自身。自修复允许基于路由的网络在节点故障时或者在连接变得不可靠时操作。结果，网络通常是相当可靠的，因为在网络中的源和目的地之间通常存在多于一条的路径。这个概念也可以应用于有线网络和软件交互。其节点全部彼此连接的网状网络是全连接网络。
如本文所使用的，术语“模块”和类似术语用于指示中央服务器的独立硬件组件，其又包括软件模块。在软件中，模块是程序的一部分。程序由一个或多个独立开发的模块组成，这些模块直到程序被链接时才被组合。单个模块可以包含一个或多个例程，或者执行特定任务的程序段。如本文所使用的，机队管理模块包括用于管理机器人机队的各个方面和功能的软件模块。
如本文所使用的，术语“处理器”、“数字处理设备”和类似术语用于指示微处理器或中央处理单元(cpu)。cpu是计算机内的电子电路，其通过执行由指令指定的基本算术、逻辑、控制和输入/输出(i/o)操作来执行计算机程序的指令。
根据本文的描述，通过非限制性示例的方式，合适的数字处理设备包括：服务器计算机、台式计算机、膝上型计算机、笔记本计算机、亚笔记本计算机、上网本计算机、上网平板(netpad)计算机、机顶盒计算机、手持式计算机、互联网电器、移动智能电话、平板计算机、个人数字助理、视频游戏控制台、和载具。本领域技术人员将认识到，许多智能电话适用于本文描述的系统。合适的平板计算机包括本领域技术人员已知的具有小册子、平板和可转换配置的平板计算机。
在一些实施例中，数字处理设备包括被配置为执行可执行指令的操作系统。操作系统是例如包括程序和数据的软件，其管理设备的硬件并且提供用于执行应用的服务。本领域技术人员将认识到，合适的服务器操作系统包括但不限于freebsd、openbsd、
在一些实施例中，该设备包括存储和/或存储器设备。存储和/或存储器设备是用于在临时或永久的基础上存储数据或程序的一个或多个物理装置。在一些实施例中，该设备是易失性存储器并且需要电力来维持所存储的信息。在一些实施例中，该设备是非易失性存储器，并且当数字处理设备未被供电时保留所存储的信息。在一些实施例中，非易失性存储器包括闪存。在一些实施例中，非易失性存储器包括动态随机存取存储器(dram)。在一些实施例中，非易失性存储器包括铁电随机存取存储器(fram)。在一些实施例中，非易失性存储器包括相变随机存取存储器(pram)。在一些实施例中，该设备是存储设备，包括但不限于cd-rom、dvd、闪存设备、磁盘驱动器、磁带驱动器、光盘驱动器、和基于云计算的存储装置。在一些实施例中，存储和/或存储器设备是诸如本文所公开的那些设备的组合。
在一些实施例中，数字处理设备包括向用户发送视觉信息的显示器。在一些实施例中，显示器是阴极射线管(crt)。在一些实施例中，显示器是液晶显示器(lcd)。在一些实施例中，显示器是薄膜晶体管液晶显示器(tft-lcd)。在一些实施例中，显示器是有机发光二极管(oled)显示器。在各种实施例中，oled显示器是无源矩阵oled(pmoled)或有源矩阵oled(amoled)显示器。在一些实施例中，显示器是等离子体显示器。在一些实施例中，显示器是视频投影仪。在一些实施例中，显示器是交互式的(例如，具有触摸屏或传感器，诸如摄像头、3d传感器、lidar、雷达等)，其可以检测用户交互/手势/响应等。在又一些实施例中，显示器是诸如本文所公开的那些设备的组合。
机器人载具的机队
如图1所示，本文提供了具有机器人载具101的机器人机队100，其中每个机器人载具101全自主或半自主地进行操作。
如图3至图6所示，机器人101的一种示例性配置是被配置用于陆地行进的载具，诸如小型全自主(或半自主)汽车。示例性全自主(或半自主)汽车狭窄(即，2-5英尺宽)，质量轻且重心低以保持稳定性，具有可分配给一个或多个客户、零售商和/或厂家的多个安全隔间，并且被设计用于中等工作速度范围(即，1.0-45.0mph)以适应市内和住宅区驾驶速度。另外，在一些实施例中，机队中的陆地载具机器人单元被配置为具有从1.0mph至约90.0mph的最大速度范围以用于高速、州内或州际驾驶。机队中的每个机器人均配备有机载(onboard)传感器170(例如，摄像头(以高帧速率运行，类似于视频)、lidar、雷达、超声波传感器、麦克风等)和内部计算机处理，以不断地确定其可以安全地导航到何处、每个机器人周围有什么其他物体以及其可以做什么。
在一些实施例中，机器人机队是全自主的。
在一些实施例中，机器人机队是半自主的。在一些实施例中，可能需要在机器人101、机队操作者200、供应商204和/或客户202之间具有人类交互以解决先前未预见的问题(例如，导航模块的故障；供应商库存问题；未预料到的交通或道路状况；或者在机器人到达客户位置之后的直接客户交互)。
在一些实施例中，机器人机队100由用户200直接控制。在一些实施例中，可能需要在机器人101和/或机队操作者200之间具有直接的人类交互，以解决诸如机械故障、电气故障或交通事故之类的维护问题。将结合图13-17更详细地描述与由操作人员对机器人载具进行的远程操作有关的本公开的各方面。
在一些实施例中，机器人机队被配置用于陆地行进。在一些实施例中，机队中的每个机器人陆地载具被配置为具有从13.0mph到45.0mph的工作速度范围。在一些实施例中，机队中的陆地载具机器人单元被配置为具有从13.0mph到约90.0mph的最大速度范围。
在机器人机队的一些实施例中，机队内的自主机器人代表第三方厂家/服务供应商来操作。
例如，建立机队管理服务以提供用于第三方饮料/食品供应商的漫游递送服务(例如，用于第三方厂家(即，星巴克)的咖啡服务/体验)。可以设想机队管理服务将提供带有该第三方饮料/食品供应商的标志和产品的“白色标签”载具的子机队，以全自主或半自主地进行操作来提供该服务。
在机器人机队的一些实施例中，机队内的自主机器人还被配置为作为自主机器人的子机队的一部分，并且每个子机队被配置为独立地操作或者与具有两个或更多个子机队(100-a、100-b)的多个子机队协同地操作。
例如，包裹递送服务被配置为提供多个级别的服务，例如“立即专用高峰服务”、“保证上午/下午递送服务”、或“一般递送服务”。这样，服务供应商就可以在其整体载具机队中具有针对每种类型的服务的专用的递送载具的子机队。在又一示例中，第三方具有高于机队中特定数量的载具的优先级。这样做时，他们可以保证一定水平的响应性。当他们不使用载具时，载具被用于机队内的一般服务(例如，其他第三方)。
在一些实施例中，机器人机队由用户直接控制。
在一些实施例中，将可能存在载具故障、具有内部系统或模块故障或需要维护的时刻。例如，在导航模块发生故障的情况下，机队内的每个机器人可配置为允许直接控制机器人的处理器，以由机队操作者超控(override)运输和传感器系统(即，摄像头等)，以允许载具安全返回到基站以进行修理。
操作环境
在一些实施例中，非结构化开放环境是可由可导航路径访问的不受限的地理区域，包括例如公共道路、私人道路、自行车道、开放场地(openfield)、开放公共陆地、开放私人陆地、人行道、湖泊、河流或溪流。
在一些实施例中，封闭环境是可由可导航路径访问的受限的、封闭的或半封闭的结构，包括，例如，商业建筑内的开放区域或房间，其中具有或不具有结构或障碍物、商业建筑内的开放区域或房间内的空域，其中具有或不具有结构或障碍物、公共或专用过道、走廊、隧道、坡道、电梯、输送机、或人行道。
在一些实施例中，导航模块控制在非结构化开放环境或封闭环境中的机队中的机器人的运输系统的路线。
机队管理模块
在机器人机队100的一些实施例中，机队包括用于协调机器人机队100和为机队中的每个机器人101分配任务的机队管理模块120(与中央服务器相关联)。机队管理模块协调机队中的每个机器人的活动和定位。除了与机器人机队、机队所有者/操作者和/或用户进行通信之外，机队管理模块还与供应商/厂家/企业和客户进行通信以优化整个系统的行为。
机队管理模块与中央服务器110协同工作，该中央服务器110通常位于由机队所有者200拥有或管理的中央操作设施中。
如图11所示，在一个实施例中，请求被发送到主服务器110(通常位于机队所有者或机队管理者的位置处)，其然后与机队管理模块120通信。机队管理模块然后将请求中继到服务的适当供应商204(例如，餐馆、递送服务、厂家或零售商)和机队中的适当的一个或多个机器人101。然后，向在地理区域内的机队中的并且通常最靠近服务供应商的最合适的(一个或多个)机器人分配任务，并且服务的供应商204然后在他们的营业处与该机器人101交互(例如，如果需要的话，向其装载货物)。机器人然后行进到客户202，并且客户与机器人交互以取回他们的货物或服务(例如，订购的货物)。交互可以包括请求机器人通过客户的应用或通过机器人自身上的用户接口(使用例如rfid读取器和客户电话、触摸板、小键盘、声音命令、人的基于视觉的识别等)打开其隔间102、104。在完成递送(或取回，如果合适的话)时，机器人报告完成分配并且报告回机队管理模块以用于重新分配。
如图12中进一步所示，并且如先前所述，在一些实施例中，机队管理模块120处理机器人机队100的协调和机队中每个机器人101的任务分配。机队管理模块协调机队中每个机器人的活动和定位。机队管理模块还与厂家/企业204和客户202通信以优化整个系统的行为。其通过以下操作来实现这一点：利用机器人的处理器125以处理来自机器人的系统和模块(包括：运输系统130，电力系统135，导航模块140，传感器系统170、175，通信模块160，和控制器150)中每一者的各种输入和输出，以有效地管理和协调机队中每个机器人的各种功能。
在一些实施例中，可以请求机器人拾取意图递送到另一方的物品(例如，文档)。在这种情况下，机队管理模块将分配机器人到达给定位置处，分配可保证安全的隔间以用于接收该物品，确认从第一方到机队管理模块的接收，然后前进到第二位置，在第二位置处，通知的接收方将使用适当的pin或其他识别码以获得对安全隔间的访问从而从机器人取回物品。机器人然后将报告完成分配并且报告回机队管理模块以用于重新分配。
运输系统
机队中的每个机器人载具101包括运输系统130(例如，具有推进发动机、车轮、履带、机翼、转子、鼓风机、火箭、推进器、制动器等的驱动系统)。
如前所述，机器人机队可被配置用于陆地行进。典型的载具包括汽车、货车、厢式货车、无人机动载具(例如，三轮车、卡车、拖车、公共汽车等)以及无人有轨载具(例如，火车、有轨电车等)以及其他类型的陆地载具。
在一个示例性实施例中，机器人陆地载具101被配置有包括传统转向和制动系统的传统4轮汽车配置。传动系(drivetrain)可配置用于标准2轮驱动或4轮全地形牵引驱动。推进系统(发动机)可配置作为燃气发动机、涡轮发动机、电动机和/或混合燃气/电动发动机。可选地，机器人可被配置有辅助太阳能电力系统135，以提供备用应急电力或用于较小低功率子系统的电力。
具有推进发动机的总驱动系统的组件的可选配置可以包括车轮、履带、转子、制动器等。
电力系统
在一些实施例中，机器人机队的每个机器人被配置有一个或多个电源，其包括电力系统135(例如，电池、太阳能、汽油、丙烷等)。
导航模块
机队中的每个机器人还包括用于在非结构化开放或封闭环境中导航的导航模块140(例如，数字地图、hd地图、gps等)。在一些实施例中，机队100依赖于由用户、操作者或机队操作者生成的地图，其被特别地创建以覆盖其中机器人被配置为进行操作的预期环境。这些地图然后将被用于对机队中的每个机器人的一般引导，这将通过使用各种机载传感器(例如，摄像头、lidar、高度计或雷达)来确认其相对地理位置和海拔而增强对环境的这种理解。
在一些实施例中，对于导航，机器人机队使用内部地图来提供关于它们正在去哪里以及道路环境的结构(例如，车道等)的信息，并且将该信息与机载传感器(例如，摄像头、lidar、雷达、超声、麦克风等)和内部计算机处理相结合以不断地确定它们可以安全地导航到哪里、每个机器人周围有什么其他物体以及它们可以做什么。在其他实施例中，机队合并在线地图以扩充内部地图。然后，将该信息组合以确定机器人要遵循的安全、鲁棒的轨迹，并且然后，由机器人上的低级执行器来执行该轨迹。
在一些实施例中，机队依赖于全球定位系统(gps)，其允许用户在全天候条件下、在世界上的任何地方每天24小时确定其准确位置、速度和时间。
在一些实施例中，机器人机队将使用内部地图、传感器和gps系统的组合来确认其相对地理位置和海拔。
在一些实施例中，自主机队在预期已知需求的情况下被战略性地定位在整个地理区域。
随着时间的推移，用户200和/或厂家204可以通过存储关于在一天的特定时间从该区域的不同地区做出多少订单(以及什么类型的订单)的数据来预期对机器人服务的需求。这可以针对源(例如，餐馆、杂货店、一般企业等)和目的地(例如，客户、其他企业等)两者来完成。然后，对于特定的当前日期和时间，该存储的数据被用于确定机队的什么最佳位置被给予预期的需求。更具体地，机队可以被定位为尽可能接近预期的源位置，预期这些源位置将是进入系统的最可能的新订单。甚至更具体地，可以估计下一小时中来自每个可能源的订单的数量，并且通过该数量对每个源位置进行加权。然后他们可以定位该机队，使得该机队基于这些数量最优地覆盖经加权的位置。
在机器人机队的一些实施例中，对机器人的定位可以基于以下各项来定制：预期使用、历史行为的模式、或者所携带的特定货物。
传感器系统
如前所述，每个机器人被配备有传感器系统170，其至少包括最小数量的机载传感器(例如，摄像头(例如，以类似于视频的高帧率运行的那些摄像头)、lidar、雷达、超声传感器、麦克风等)和内部计算机处理125，以不断地确定其可以安全地导航到何处、每个机器人周围有什么其他物体、以及其可以在其紧邻的环境内做什么。
在一些实施例中，机器人机队的机器人还包括运输系统传感器175，其被配置为：监控驱动机构性能(例如，推进发动机)；监控电力系统等级135(例如，电池、太阳能、汽油、丙烷等)；或监控传动系性能(例如，变速器、轮胎、制动器、转子等)。
通信模块
机队中的每个机器人还包括通信模块160，其可配置为接收、存储数据并且将数据发送到机队管理模块、将数据发送到用户、将数据发送到机队管理模块120和从机队管理模块120发送数据、以及将数据发送到机队100中的机器人和从机队100中的机器人发送数据。在一些实施例中，数据至少与用户交互和机器人机队交互有关，该数据包括例如调度的请求或订单、按需请求或订单、或者基于非结构化开放或封闭环境内的预期需求对机器人机队进行自定位的需要。
在一些实施例中，机队中的每个机器人包括至少一个通信模块，其可配置为接收、存储和发送数据，并且将该数据存储到存储器设备，以供将来数据传送或手动下载。
在一些实施例中，每个企业204和客户202具有其自己的应用/接口以与机队操作者200通信(例如，在其电话上用于客户的“nuro客户应用”、在平板电脑或电话或其内部计算机系统上用于企业的“nuro厂家应用”等)。
在一些实施例中，经由无线传输发生与用户和机队中的机器人的通信、机队的机器人之间的通信、以及用户与机队中的机器人之间的通信。
在一些实施例中，用户的无线传输交互和机器人机队无线传输交互经由移动应用发生，该用户的无线传输交互和机器人机队无线传输交互由电子设备发送并且经由以下各项被转发到通信模块：中央服务器、机队管理模块、和/或网状网络。
在一些实施例中，一种优选的通信方法是在机队管理者和机器人机队之间使用蜂窝通信(例如，3g、4g、5g等)。可选地，机队控制模块和机器人之间的通信可以经由卫星通信系统发生。
在一些实施例中，客户使用应用(在手机、膝上型计算机、平板电脑、计算机或任何交互式设备上的)来请求服务(例如，按需食品订单或针对移动市场机器人来到客户处)。
在一些实施例中，该电子设备包括：电话、个人移动设备、个人数字助理(pda)、大型计算机、台式计算机、膝上型计算机、平板计算机、和/或可穿戴计算设备，例如通信头戴式耳机、智能眼镜、一个或多个隐形眼镜、数字手表、手镯、戒指、珠宝、或前述的组合。
根据本公开的各方面，每个机器人载具的通信模块160可以被配置为与远程操作人员进行通信。例如，通信模块160可以将由以高帧率运行的摄像头捕获的环境视频传送给远程操作者，以使远程操作人员能够可视化载具的周围环境。此外，通信模块160可以从远程操作人员接收指令，以控制运输系统来移动机器人载具。将结合图13-18更详细地描述由操作人员对自主载具进行远程操作的其他方面。
货物和服务
在一些实施例中，用户包括机队管理者、子合同厂家、服务供应商、客户、企业实体、个人、或第三方。
在一些实施例中，服务包括：订阅服务，处方服务，营销服务，广告服务，通知服务，或请求的、订购的或调度的递送服务。在特定实施例中，通过示例的方式，调度的递送服务包括特殊重复递送，例如杂货、处方、饮料、邮件、文档等。
在一些实施例中，服务还包括：用户在同一交互内接收和返回相同或相似的货物(例如，签名的文档)，用户在同一交互内接收一组货物并返回不同的一组货物(例如，产品替换/返回、杂货、商品、书籍、录制品、视频、电影、支付交易等)，第三方用户向货物或服务供应商提供指令和/或授权以向不同位置的主要用户准备、运输、递送和/或取回货物。
在一些实施例中，服务还包括：广告服务、土地调查服务、巡逻服务、监控服务、交通调查服务、标志和信号调查服务、建筑物或道路基础设施调查服务。
在一些实施例中，至少一个机器人还被配置为处理或制造货物。
在一些实施例中，经处理或制造的货物包括：具有或不具有调味品的饮料(例如，咖啡、茶、碳酸饮料等)；各种快餐；或可微波加工的食品。
在一些实施例中，机队内的机器人被配备用于金融交易。这些交易可以使用已知交易方法(例如，借记卡/信用卡读取器等)来实现。
可保证安全的隔间
如图2所示，机队中的机器人各自均被配置用于运输、递送或取回货物或服务，并且能够在非结构化开放环境或封闭环境中操作。在一些实施例中，载具101被配置为实际上在其中小型全地形载具能够在陆地上行进的任何地方行进，同时提供至少一个且优选地两个大存储隔间102，并且更优选地，至少一个大隔间102被配置有可变配置的较小内部安全隔间104，以承载要递送到客户或需要从客户取回的个体物品。
可选地，在一些实施例中，载具可以被配置用于提供至少一个且优选地两个大存储隔间，并且更优选地，至少一个大隔间被配置有可变配置的较小内部安全隔间，以承载要递送到客户或需要从客户取回的个体物品。
此外，在一些实施例中，载具可以被配置用于悬停行进，提供至少一个且优选地两个大存储隔间，并且更优选地，至少一个大隔间被配置有可变配置的较小内部安全隔间，以承载要递送到客户或需要从客户取回的个体物品。
此外，在一些实施例中，载具可以被配置用于空中无人机或空中悬停行进，提供至少一个且优选地两个大存储隔间，并且更优选地，至少一个大隔间被配置有可变配置的较小内部安全隔间，以承载要递送到客户或需要从客户取回的个体物品。
如图7-图10所示，在一些实施例中，可保证安全的隔间是针对例如热货物、冷货物、湿货物、干货物或者前述的组合或变型而受到湿度和温度控制的。此外，如图8-10所示，(一个或多个)隔间被配置有各种设施，例如用于夜间递送的隔间照明和调味品分配器。
在一些实施例中，可保证安全的隔间可被配置用于各种货物。这种配置和货物包括：用于书籍的书架、用于文档的薄抽屉、用于包裹的较大盒状抽屉、以及用于自动售货机、咖啡机、比萨饼炉和分配器的特定尺寸的隔间。
在一些实施例中，可保证安全的隔间基于以下各项被可变地配置：预期需求、行为模式、服务区域、或者要运输的货物类型。
此外，每个机器人均包括可保证安全的隔间以容纳与所述服务相关联的物品或所述货物，以及控制器150，其可配置为将可保证安全的隔间102、104中的每个隔间与可指定的客户202或供应商204相关联，并且在被授权时提供进入。每个机器人载具还包括至少一个处理器，其被配置为管理运输系统、导航模块、传感器系统、来自机队管理模块的指令、通信模块和控制器。
如前所述，每个机器人均被配置有可保证安全的隔间。可选地，机器人可配置为包含一组货物或者甚至移动市场(类似于旅馆的小型酒吧)。
当机器人被分配给客户202时，隔间102、104中的一个或多个也被分配给该客户。大隔间102中的每一个均被独立地保证安全，并且可以将货物安全地运输到独立的一组客户202。
在机器人到达客户目的地时，客户然后可以通过用机器人验证他们的身份来打开他们各自的(一个或多个)隔间。这可以通过多种方法来完成，包括但不限于：
1.当客户进行他们的初始请求/订购时，客户可以被给予pin(例如，4位数字)。然后，他们可以使用机器人触摸屏或小键盘在机器人处输入该pin。
2.客户可以使用他们的移动电话和机器人上的rfid读取器来验证他们自己。
3.客户可以使用他们的语音和他们向机器人说出的个人关键字或关键短语来验证他们自己。
4.客户可以使用机器人上的摄像头和面部识别或磁性读取器通过他们的面部、政府id、或企业id标记来验证他们自己。
5.客户可以通过按下他们的电话上的按钮或预定码使用他们的移动电话来验证他们自己(并且系统可以可选地通过使用来自电话的客户的gps位置来检测客户在机器人附近)。
在各种实施例中，每个机器人载具的内部空间均被配置为利用可保证安全的隔间来填充内部空间，使得机器人载具不包括任何供操作人员从载具内部对自主载具进行操作的内部空间。而是，如下面结合图13-17所解释的，操作人员可以远程地操作自主载具。
(一个或多个)控制器和(一个或多个)处理器
在一些实施例中，机器人机队中的每个机器人均配备有一个或多个处理器125，其能够进行用于处理的高级计算以及用于控制硬件的低级安全关键计算能力两者。至少一个处理器被配置为管理运输系统、导航模块、传感器系统、来自机队管理模块的指令、通信模块、和控制器。
此外，在一些实施例中，机器人机队中的每个机器人均配备有控制器150，其可配置为将可保证安全的隔间102、104中的每个隔间与可指定的客户202或供应商204相关联，并且在被授权时提供进入。
现在，下面将描述与由操作人员对机器人载具进行的远程操作有关的控制和处理。如上所述，在各种情况下，对全自主或半自主载具进行远程操作可能是合适的。即使在自主载具可以由操作人员进行本地操作的情况下，操作人员对自主载具进行远程操作的能力也是有益的。在自主载具的内部空间被配置为最大化商业承载容量并且不包括供操作人员从自主载具内部对载具进行本地操作的空间的情况下，这种能力变得更加重要。
在各种实施例中，根据本公开的各方面的自主载具包括用于容纳操作人员来对自主载具进行本地控制的内部空间，但是该载具也可以由远程操作人员进行远程控制。在各种实施例中，根据本公开的各方面的自主载具不包括用于容纳操作人员来对自主载具进行本地控制的内部空间。而是，根据本公开的各方面，操作人员可以对自主载具进行远程操作。这样的配置提供了独特的考虑。与其中位于自主载具中的操作人员可以超控自主操作并且接管手动操作以避免危险的现有配置相比，本公开的各种实施例在自主载具中不包括用于操作人员的空间。本公开的各方面提供了用于自主载具请求远程操作人员以及用于基于各种因素将远程操作人员分配给自主载具的系统和方法。
现在参考图12，并且如本文上文所述，自主载具包括处理器125和用于控制自主载具的各种系统和模块的控制器150，并且包括用于与外部系统进行通信的通信模块160。在本公开的一方面中，通信模块160可以与远程操作人员系统进行通信，该远程操作人员系统可以是机队管理模块120的一部分或可以与机队管理模块120分开。
图13示出了远程操作人员系统300的示例性实施例，其包括通信/处理设备310和操作人员工作站320。操作人员工作站320可以类似于典型汽车中的驾驶员工作站，并且可以包括驾驶员座椅322、方向盘324、加速和制动踏板326、换挡器328、和视觉界面330。在所示的实施例中，视觉界面330是虚拟现实(vr)或增强现实(ar)头戴式耳机的形式。在各种实施例中，视觉界面可以包括一个或多个显示屏，例如led、lcd和/或oled显示屏。在各种实施例中，操作人员工作站320可以被配置为具有汽车中的实际驾驶员工作站的近似触摸响应。例如，方向盘324可以被配置为具有汽车中的动力转向的触摸响应，并且踏板326可以被配置为近似实际汽车中的踏板的阻力。
操作人员工作站320的仪器324-328可以被连接或耦合到通信/处理设备310，该通信/处理设备310使得能够在操作人员工作站320和自主载具之间进行通信。在所示的实施例中，操作人员工作站320通过物理电缆被连接到通信/处理设备310。在各种实施例中，操作人员工作站320可以使用诸如蓝牙之类的技术被无线地耦合到通信/处理设备310。在各种实施例中，操作人员工作站320不需要被直接地连接到通信/处理设备310，并且可以通过中间设备和/或网络被耦合到通信/处理设备310。
在各种实施例中，通信/处理设备310可以使用各种通信技术(包括例如ieee802.11x(wifi)、蜂窝3g/4g/5g、有线通信、和/或其他有线或无线通信协议)来建立通信。通信/处理设备310包括一个或多个处理器、存储器、机器指令、和/或用于处理视觉信息以供视觉界面330显示的硬件。本领域技术人员将认识到传送、处理、和显示视觉信息的各种方式。
通信/处理设备310还处理来自操作人员工作站320的信号并且将其转换为用于控制自主载具的控制指令，例如用于控制自主载具的运输系统(130，图12)来执行行进的控制指令。以这种方式，当操作人员转动方向盘324时，通信/处理设备310向自主载具发送相应的控制指令以指示载具转向。作为另一示例，当操作人员使用操作人员工作站320的踏板326进行加速或制动时，通信/处理设备310向自主载具发送相应的控制指令以分别指示载具加速或制动。图13的实施例和配置是示例性的，并且其他配置和变型被认为在本公开的范围内。例如，在自主载具是有轨载具的情况下，远程操作人员系统300可以具有操作人员工作站320，该操作人员工作站320将实际的操作者工作站反映在相同或相似类型的典型非自主载具上。
还参考图14，示出了示例性视觉界面的图，其可以被显示在vr/ar头戴式耳机中或者显示屏上，或以其他方式显示。如本文上文所述，每个机器人载具均被配备有传感器系统，该传感器系统可以包括摄像头(例如诸如以类似于视频的高帧率运行的那些摄像头)以及其他传感器，并且包括内部计算机处理以确定每个机器人载具周围有什么其他物体。根据本公开的各方面，由自主载具的传感器系统捕获的该视觉信息可以被处理，并且被传送到远程操作人员系统300以在视觉界面330上显示。在各种实施例中，视觉显示器可以呈现从操作人员的角度看到的自主载具的周围环境，以使所显示的内容随着驾驶员的头部转向而转向。在各种实施例中，操作人员工作站320可以包括围绕操作人员工作站的多个显示屏(未示出)，并且显示屏可以同时显示自主载具的周围环境。其他配置和变型被认为在本公开的范围内。
例如，在各种实施例中，视觉显示器可以呈现自主载具的鸟瞰图(未示出)。还参考图15，在各种实施例中，自主飞行器410可以与一个或多个自主陆地载具420相关联，并且可以从鸟瞰角度捕获自主陆地载具420的图像或视频。所捕获的图像或视频可以被传送到远程操作人员系统300以在视觉界面330上显示。以这种方式，鸟瞰视角允许操作人员容易地可视化自主载具420的周围环境以更好地远程操作自主载具420。
在各种实施例中，自主飞行器410可以在没有障碍物(例如，交通灯或高速公路立交桥等)的高度处飞行。在各种实施例中，由自主飞行器提供的视觉信息可以被处理以在不同程度上放大自主陆地载具420的周围环境。在各种实施例中，自主飞行器410可以跟踪自主陆地载具420的移动，但是如果其不能安全地跟踪该移动(例如当自主陆地载具420进入隧道时)，则自主飞行器可以脱离。在各种实施例中，可以存在可以动态地将自主飞行器410与特定陆地载具420相关联的漫游自主飞行器410的机队。这种动态关联可以被传送到远程操作人员系统300，从而远程操作人员系统300可以在由自主陆地载具420提供的视觉信息与由自主飞行器410提供的视觉信息之间切换，同时仍保持对自主陆地载具420的远程操作。
继续参考图14，视觉显示器可以包括各种指示符，其向操作人员通知某些状况。作为示例，视觉显示器可以包括模式指示符332，以指定自主载具是在自主模式还是在远程操作模式下操作。在自主模式下，操作人员与操作人员工作站320的交互不会影响自主载具420的移动。在远程操作模式下，操作人员通过与操作人员工作站320进行交互来控制自主载具420的移动。在各种实施例中，操作人员工作站可以包括用于在自主模式与远程操作模式之间切换的机构(未示出)，例如物理开关或触摸界面按钮、语音激活命令、或其他机构。所示的视觉显示器还包括警告指示符，其可以向操作人员警告各种状况334。在各种实施例中，警告指示符334可以向操作人员警告操作人员工作站320与自主载具420之间的通信丢失或者弱的连接或不稳定的连接。例如，如果在一段时间(例如，三秒或另一段时间)内发生通信丢失，则警告指示符334可以出现。在各种实施例中，如果通信连接表现出高延迟、高错误率、或高丢包率，则警告指示符334可以出现，其中有资格作为“高”的程度可以是超过预定阈值的程度。
图14的视觉显示器的布局和配置仅是示例性的，并且变型被认为在本公开的范围内。例如，在自主载具是有轨载具的情况下，远程操作人员系统300的视觉界面可以被定制为用于操作这种载具的视觉元件。
继续参考图14，在各种实施例中，操作人员系统300的视觉显示器330可以在视觉显示器上突出显示与潜在的危险状况有关的物体，例如突出显示交通信号灯或道路标志或者将它们显示为图形图标。在各种实施例中，操作人员系统300的视觉显示器330突出显示了其他潜在的危险状况，例如周围物体(例如，载具、行人、骑自行车的人、障碍物、信号灯、标志、车道线、转向车道、和路缘等)。这些特征可以由自主载具和/或远程操作人员系统300基于检测到的物体动态地执行。在各种实施例中，自主载具和/或远程操作人员系统300可以确定围绕周围物体的推荐路径，并且可以向操作人员提供指示作为推荐路径的引导。在各种实施例中，指示可以包括通过远程操作人员系统的方向盘的触觉反馈和/或被显示到视觉显示器330上的投影路径。
其他变型被认为在本公开的范围内。例如，在各种实施例中，操作人员系统300的视觉显示器330可以显示速度限制。在各种实施例中，操作人员系统300的视觉显示器330可以显示尾随载具(tailgater)和/或后向碰撞警告。例如，当尾随的载具基于其载具速度和自主载具的速度而跟随得太近时，和/或当远程操作人员应用制动并且存在可能引起后向碰撞的跟随载具或尾随载具时，可以显示警告。
在各种实施例中，当检测到不良的通信连接或状况时，操作人员系统300的视觉显示器330可以显示警告消息334。在各种实施例中，例如，当检测到不平常或异常情况时(例如，事故、警察指挥交通、道路封闭、或游行等)，操作人员系统300的视觉显示器330可以显示警告消息334。
在各种实施例中，操作人员系统300的视觉显示器330可以显示导航方向(未示出)，例如覆盖在所显示的自主载具环境上的方向箭头。在各种实施例中，导航方向可以是在视觉显示器330的特定区域(例如，视觉显示器330的左上区域或另一区域)中显示的道路的二维图形表示。
再次参考图12，根据本公开的各方面，自主载具可以被配置为基于所捕获的信息来确定何时应当请求远程操作人员。如本文中上文所述，传感器系统170可以捕获关于自主载具的周围环境的信息。例如，传感器系统170可以包括捕获周围环境的图像和/或视频的高帧率摄像头。可以捕获其他信息，例如，lidar信息或其他传感器信息。在各种实施例中，传感器系统170可以捕获关于载具系统和模块的运行状况(例如，导航系统或电力系统的正常运行)的信息。例如，可以基于gps功能来测试导航系统，并且可以基于电压传感器来测试电力系统。处理器125可以分析所捕获的信息，并且确定是否存在任何有理由请求远程操作人员的状况或情况。如果处理器125确定远程操作人员应当被请求，则自主载具经由通信模块160向远程操作人员管理系统做出请求。本文将结合图17更详细地描述远程操作人员系统。
图16示出了用于请求远程操作人员的自主载具的示例性操作的流程图。在步骤502处，自主载具捕获传感器信息。在各种实施例中，所捕获的传感器信息可以包括周围环境信息和/或载具子系统信息。在步骤504处，自主载具基于所捕获的传感器信息来决定请求远程操作人员。在各种实施例中，自主载具可以基于诸如导航子系统之类的载具子系统运行不正常来决定请求远程操作人员。在各种实施例中，自主载具可以基于未识别出周围环境情况来决定请求远程操作人员。例如，自主载具可能无法识别周围环境中的物体(例如，临时路障)，并且可以请求远程操作人员采取对载具的控制。在各种实施例中，自主载具可以识别周围环境并且判定周围环境情况不应被自主地处理。例如，当自主载具确定紧急服务载具正在发信号通知紧急情况、人正在指挥交通、存在施工、交通模式已经被修改或中断、天气状况不安全、和/或存在过多数量的行人或载具、以及其他情况时，自主载具可以决定请求远程操作人员。本领域技术人员将理解用于识别自主载具的周围环境中的物体的技术，包括机器学习技术。在各种实施例中，可以基于超过阈值数量的行人或载具的数量来确定过多数量的行人或载具。
在各种实施例中，当自主载具不能自主地确定要选择或执行的下一个动作时，自主载具可以决定请求远程操作人员。例如，自主载具可以识别所有物体和情况，但是可能不能决定接下来要执行哪个动作。一些情况可以包括，例如，特别困难的施工区域或恶劣的天气状况、以及其他情况。
在各种实施例中，自主载具可以在其遇到预定情况或预定道路时决定请求远程操作人员。例如，预定情况或预定道路可以包括特别困难的道路、特定类型的转向、或者存在紧急载具、以及其他情况或道路。在各种实施例中，自主载具可以在其未识别出涉及载具子系统的情况时，决定请求远程操作人员。在各种实施例中，自主载具可以在其行进在预定操作地理区域之外时，决定请求远程操作人员。例如，事故或施工可能会迫使载具绕道行驶并且行进在指定的操作地理区域之外。在各种实施例中，当执行自主动作的多次尝试已经失败时，自主载具可以决定请求远程操作人员。例如，如果载具尝试进行无保护的左转，但在一定的分钟数之后并没有这样做，则可能发生这种情况。上述情况是示例性的，并且设想了用于请求远程操作人员的其他情况。
在步骤506处，自主载具基于所捕获的信息来确定风险等级。风险等级可以取决于由所捕获的信息反映的特定情况。在各种实施例中，风险等级可以包括三个级别：低风险等级、高风险等级、和中等风险等级。在各种实施例中，风险等级可以包括两个级别或三个以上的级别。
在各种实施例中，自主载具可以基于有多少时间可被用于安全地对情况做出反应来确定风险等级。自主载具可以访问风险缓解程序，估计执行该风险缓解程序的成功概率，以及基于估计的成功概率来确定风险等级。在各种实施例中，风险缓解程序可以包括寻找要靠边停的地点、寻找在等待远程操作人员时要在其上行进的更容易或更慢速的街道、或在不干扰交通的情况下停在道路上、以及其他程序。在各种实施例中，可以基于诸如一个或多个因素(例如，道路速度限制、当前载具速度、周围载具的当前速度、周围载具的数量、周围行人的数量、周围物体的数量、道路宽度、天气状况、可做出反应的时间、和/或与周围载具的接近程度)来估计在执行风险缓解程序时的成功概率。在各种实施例中，可以考虑其他因素。在各种实施例中，较低的成功概率可以对应于较高的风险等级，并且较高的成功概率可以对应于较低的风险等级。因此，自主载具可以动态地和多维地确定风险等级。
作为示例，在紧急载具试图从旁经过(passby)并且自主载具在具有空闲空间来靠边停的慢速道路上的情况下，可以将风险等级确定为低风险等级。作为另一示例，在自主载具的子系统在没有空间来靠边停的高速道路上发生故障的情况下，可以将风险等级确定为最高风险。
在步骤508处，自主载具将请求传送到远程操作人员管理系统，以使远程操作人员采取控制。请求包括风险等级和所捕获的信息的至少一部分。例如，如果所捕获的信息包含图像或视频信息，则至少图像中的一些或视频的一部分可以被传送到远程操作人员管理系统。将结合图17更详细地描述的远程操作人员管理系统可以利用请求中的风险等级和/或所捕获的信息来将远程操作人员分配给该请求。在各种实施例中，请求可以包括其他信息，例如位置信息和/或指示特定情况的信息，这种特定情况提示针对远程操作人员进行这种请求。在各种实施例中，请求可以包括指示载具子系统运行不正常的信息，或者指示紧急服务载具正在发信号通知紧急情况、人正在指挥交通、和/或存在过多数量的行人或载具、以及其他情况的信息。
在步骤510处，自主载具可以在等待远程操作人员采取控制的同时控制运输系统以缓解风险。在各种实施例中，自主载具可以评估用于缓解风险的不同方式，包括停在路缘处、停在停车场中、在道路上行进以寻找停车位、以比没有风险的行进速度更慢的速度行进；或者偏离计划路线前往具有较低风险的道路。还考虑了用于缓解风险的其他方式，例如，完全停在原地或者跟随其他载具直到远程操作人员采取控制为止。自主载具可以确定并且执行最有效的选项，以缓解这种情况的风险。例如，如果情况涉及导航系统无法正常运行，则自主载具可以停在路缘处或者在道路上行进以寻找停车位。如果情况涉及紧急服务载具正在发信号通知紧急情况，则自主载具可以跟随在其前面的载具。如果情况涉及人正在指挥交通，则自主载具可以以慢速行进。如果情况涉及过多数量的行人或载具，则自主载具可以停在原地。上述的风险缓解选项和选择是示例性的，并且可以设想其他风险缓解选项和选择。
再次参考步骤506，在各种实施例中，自主载具还可以基于可用的风险缓解选项来确定风险等级。例如，如果存在至少一个可以被安全地执行的风险缓解选项，则可以降低风险等级。另一方面，如果不存在可以被安全地执行的风险缓解选项，则可以提高风险等级。
图16的操作是示例性的，并且其他实现方式被预期用于请求远程操作人员并且用于在等待远程操作人员采取控制的同时缓解风险。
现在参考图17，示出了远程操作人员管理系统的示例性操作的流程图。远程操作人员管理系统与自主载具和远程操作人员系统(300，图13)进行通信，并且进行操作以将远程操作人员分配给请求远程操作人员的自主载具。根据本公开的各方面，远程操作人员管理系统包括关于远程操作人员的经验信息的数据库或能够访问该数据库。经验信息可以包括诸如以下各项之类的信息：远程操作人员在特定区域(例如，特定州、城市、城镇、或街区)中驾驶的经验，和/或处理特定情况(例如，当载具子系统运行不正常时、当紧急载具正在发信号通知紧急情况时、当人正在指挥交通时、和/或当存在过多数量的行人或载具时、以及其他情况)的经验。
在各种实施例中，并且还参考图11，远程操作人员管理系统和/或数据库可以是中央服务器110和/或机队管理模块120的一部分。在各种实施例中，远程操作人员管理系统和/或数据库可以与中央服务器110和机队管理模块120分开。
继续参考图17，在步骤602处，远程操作人员管理系统接收来自远程自主陆地载具的请求，以使远程操作人员采取控制。如上所述，每个请求可以包括由相应的远程自主陆地载具生成的风险等级，并且可以包括其他信息，例如由传感器系统捕获的信息、位置信息、和/或指示特定情况的信息。在各种实施例中，请求可以不包括风险等级，但是可以包括由自主载具生成的风险信息。在这种情况下，远程操作人员管理系统可以基于由自主载具生成的风险信息来确定风险等级。在步骤604处，远程操作人员管理系统确定来自自主载具的对远程操作人员的请求的数量超过可用远程操作人员的数量。在步骤606处，基于数据库中的风险等级和/或经验信息，远程操作人员管理系统将可用远程操作人员中的至少一些可用远程操作人员分配给远程自主陆地载具中的至少一些远程自主陆地载具。在各种实施例中，远程操作人员管理系统优先将可用远程操作人员分配给具有最高风险等级的自主载具。在各种实施例中，远程操作人员管理系统可以将具有更多经验的远程操作人员分配给最高风险等级。在各种实施例中，远程操作人员管理系统可以将具有在特定区域中驾驶的经验的可用远程操作人员分配给位于那些区域中的远程自主载具。在各种实施例中，远程操作人员管理系统可以将具有处理载具子系统故障的经验的可用远程操作人员分配给经历子系统故障的远程自主载具。在各种实施例中，远程操作人员管理系统可以将具有特定情况的经验的可用远程操作人员分配给面对这些情况的远程自主载具。例如，情况可以包括紧急载具正在发信号通知紧急情况、人正在指挥交通、和/或存在过多数量的行人或载具。如上所述，这种经验信息可以被存储在数据库中。
图17的操作是示例性的，并且变型被认为在本公开的范围内。例如，在各种实施例中，远程操作人员管理系统可以确定可用远程操作人员的数量大于来自自主载具的对远程操作人员的请求的数量。在这种情况下，远程操作人员管理系统可以向每个远程操作人员呈现请求列表，并且允许远程操作人员从列表中选择请求。该列表可以被呈现在远程操作人员系统300(图13)的视觉界面330上。在各种实施例中，被呈现给每个远程操作人员的请求可以基于数据库中的经验信息。在各种实施例中，被呈现给每个远程操作人员的请求可以基于远程操作人员希望获得经验处理的新情况。远程操作人员可以指示对这种新经验的偏好，并且该偏好可以被存储在数据库中。
可以想到，结合图13至图17公开的实施例可以以各种方式进行组合。因此，所示出和描述的实施例仅是示例性的，并且不限制本公开的范围。
附加特征
在一些实施例中，机器人机队还包括具有用于策划内容的数字显示器的至少一个机器人，该策划内容包括：广告(即，用于特定用户和普通公众两者)，包括所提供的服务，营销/促销，所服务区域的地区/位置，客户详细资料，本地环境，失踪、被寻找或被检测的人，公共服务公告，日期，时间，或天气。
本文公开的实施例是本公开的示例，并且可以以各种形式体现。例如，尽管本文的某些实施例被描述为单独的实施例，但是本文的每个实施例可以与本文的一个或多个其他实施例组合。本文公开的特定结构和功能细节不应被解释为限制性的，而是作为权利要求的基础以及作为用于教导本领域技术人员以实际上任何合适的详细结构不同地使用本公开的代表性基础。在附图的整个描述中，相同的附图标记可以表示相似或相同的元件。
短语“在一个实施例中”、“在实施例中”、“在各种实施例中”、“在一些实施例中”或“在其他实施例中”可以各自表示根据本公开的相同或不同实施例中的一个或多个实施例。“a或b”形式的短语是指“(a)、(b)、或(a和b)”。“a、b、或c中的至少一个”形式的短语是指“(a)；(b)；(c)；(a和b)；(a和c)；(b和c)；或(a、b和c)”。
本文描述的方法、程序、算法、或代码中的任何一种均可以被转换为编程语言或计算机程序，或者以编程语言或计算机程序的形式来表示。如本文所使用的术语“编程语言”和“计算机程序”各自包括用于指定对计算机的指令的任何语言，并且包括(但不限于)以下语言及其派生：汇编器、basic、批处理文件、bcpl、c、c+、c++、delphi、fortran、java、javascript、机器代码、操作系统命令语言、pascal、perl、pl1、脚本语言、可视化basic、它们自己指定程序的元语言、以及所有第一、第二、第三、第四、第五、或下一代的计算机语言。还包括数据库和其他数据模式，以及任何其他元语言。在被解释、编译或使用编译和解释方法两者的语言之间没有区别。在程序的编译版本和源版本之间没有区别。因此，对程序的引用是对任何和所有这种状态的引用，其中编程语言可以以多于一种的状态(例如，源、编译、对象、或链接)存在。对程序的引用可以包含实际指令和/或那些指令的意图。
本文描述的系统还可以利用一个或多个控制器来接收各种信息并且变换所接收的信息以生成输出。控制器可以包括任何类型的计算设备、计算电路、或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可以包括多个处理器和/或多核中央处理单元(cpu)，并且可以包括任何类型的处理器，例如微处理器、数字信号处理器、微控制器、可编程逻辑器件(pld)、现场可编程门阵列(fpga)等。控制器还可以包括存储器以存储数据和/或指令，该数据和/或指令在由一个或多个处理器执行时，使得一个或多个处理器执行一种或多种方法和/或算法。
本文描述的方法、程序、算法、或代码中的任何一种均可以被转换为编程语言或计算机程序，或者以编程语言或计算机程序的形式来表示。如本文所使用的术语“编程语言”和“计算机程序”各自包括用于指定对计算机的指令的任何语言，并且包括(但不限于)以下语言及其派生：汇编器、basic、批处理文件、bcpl、c、c+、c++、delphi、fortran、java、javascript、机器代码、操作系统命令语言、pascal、perl、pl1、脚本语言、可视化basic、它们自己指定程序的元语言、以及所有第一、第二、第三、第四、第五、或下一代的计算机语言。还包括数据库和其他数据模式，以及任何其他元语言。在被解释、编译或使用编译和解释方法两者的语言之间没有区别。在程序的编译版本和源版本之间没有区别。因此，对程序的引用是对任何和所有这种状态的引用，其中编程语言可以以多于一种的状态(例如，源、编译、对象、或链接)存在。对程序的引用可以包含实际指令和/或那些指令的意图。
应当理解，前面的描述仅是本公开的说明。本领域技术人员可以在不背离本公开的情况下设计各种替代和修改。因此，本公开旨在涵盖所有这样的替代、修改、和变化。参考附图描述的实施例被呈现仅用于说明本公开的某些示例。与上文和/或所附权利要求中描述的那些元件、步骤、方法和技术无实质性不同的其他元件、步骤、方法和技术也意图在本公开的范围内。
- 还没有人留言评论。精彩留言会获得点赞！