用于机器人评估的系统和方法与流程

1.本发明涉及机器人控制器，并且更具体地涉及用于评估机器人性能以确定适当控制动作的系统和方法。


背景技术：

2.在汽车组装的最终装饰和组装(fta)阶段期间可以执行各种操作，包括例如门组装、驾驶舱组装和座椅组装以及其他类型的组装。然而，由于各种原因，通常只有相对少量的fta任务是自动化的。例如，通常在fta阶段，当操作者执行fta操作时，正在进行fta的(多个)车辆正在以相对连续的走走停停方式移动(多个)车辆的(多个)线路上被运输。然而，(多个)车辆的这样的连续的走走停停运动会导致或产生至少关于(多个)车辆的运动和/或位置、和/或fta中涉及的(多个)车辆的部分的不规则性。此外，这样的走走停停运动可能会导致车辆在fta期间受到运动不规则、振动和平衡问题的影响，这可能会妨碍或不利于准确建模或预测fta中直接涉及的车辆的特定零件、部分或区域的位置的能力。此外，当每个后续车辆和/或组件沿着组装线的相同区域通过时，这种运动不规则性会阻止fta在每个车辆或其相关组件的运动和/或定位方面具有一致程度的可重复性。因此，关于可重复性的这样的差异和担忧通常会妨碍在fta操作中使用传统的基于教导和重复位置的机器人运动控制。
3.因此，尽管目前市场上有各种机器人控制系统可用，但可以进一步改进以提供用于校准机器人控制系统以适应这样的运动不规则性的系统和装置。


技术实现要素：

4.本发明的一个实施例是一种独特的机器人控制器。其他实施例包括用于评估机器人性能的装置、系统、设备、硬件、方法和组合。本技术的其他实施例、形式、特征、方面、益处和优点将从本文中提供的描述和附图中变得很清楚。
5.鉴于附图和以下详细描述，将能够更好地理解本发明的这些和其他方面。
附图说明
6.本文中的描述参考附图，附图中的相同的附图标记在若干视图中指代相同的部分。
7.图1示出了根据本技术的图示实施例的示例性机器人系统的至少一部分的示意图。
8.图2示出了示例性机器人站的示意图，车辆由自动化或自动引导车辆(agv)移动通过该机器人站，并且该机器人站包括安装到机器人基座的机器人，该机器人基座沿着或通过轨道可移动。
9.图3示出了示例性的第一或人工校准特征，该特征可以与传感器融合引导机器人运动中可能涉及的机器人传感器的至少初始校准结合使用。
10.图4示出了示例性的第二或自然校准特征，该特征可以与细化传感器融合引导机器人运动中可能涉及的至少预校准传感器的校准结合使用。
11.图5示出了用于校准传感器融合引导机器人的一个或多个传感器的示例性过程。
12.图6示出了用于评估碰撞事件的示例性过程。
13.图7示出了用于评估机器人性能的示例性过程。
14.当结合附图阅读时，将能够更好地理解前述概述以及以下对本技术的某些实施例的详细描述。为了说明应用的目的，在附图中示出了某些实施例。然而，应当理解，本技术不限于附图中所示的布置和工具。此外，各图中的相同的数字表示相同或相当的部分。
具体实施方式
15.为方便起见，在前面的描述中使用了某些术语，并且该术语不旨在进行限制。诸如“上”、“下”、“顶”、“底”、“第一”和“第二”的词语表示参考的附图中的方向。该术语包括上面特别提到的词语、其派生词和类似含义的词。此外，除非特别注明，否则词语“一”和“一个”被定义为包括所引用的项目中的一个或多个。短语“至少一个”后跟两个或更多个项目的列表(诸如“a、b或c”)是指a、b或c中的任何一个、及其任何组合。
16.图1示出了示例性机器人系统100的至少一部分，该机器人系统100包括例如经由通信网络或链路118通信耦合到至少一个管理系统104的至少一个机器人站102。管理系统104可以相对于机器人站102是本地的或远程的。此外，根据某些实施例，机器人站102还可以包括一个或多个补充数据库系统105，或者经由通信网络或链路118与一个或多个补充数据库系统105可操作地通信。(多个)补充数据库系统105可以具有多种不同配置。例如，根据所示实施例，(多个)补充数据库系统105可以是但不限于基于云的数据库。
17.根据某些实施例，机器人站102包括具有一个或多个自由度的一个或多个机器人106。例如，根据某些实施例，机器人106可以具有例如六个自由度。根据某些实施例，末端执行器108可以耦合或安装到机器人106。末端执行器108可以是安装到机器人106的手腕或手臂110的工具、零件和/或组件。此外，手腕或手臂110和/或末端执行器108的至少部分可以经由机器人106和/或末端执行器108的操作相对于机器人106的其他部分可移动，例如通过管理系统104的操作者和/或通过被执行以操作机器人106的程序。
18.机器人106可以可操作以将末端执行器108定位和/或定向在机器人106的工作包封或工作空间范围内的位置处，这可以适应机器人106使用末端执行器108来执行工作，包括例如抓握和保持一个或多个组件、零件、包装、装置、组件或产品、以及其他项目(本文中统称为“组件”)。机器人106可以使用多种不同类型的末端执行器108，包括例如可以抓取、抓握或以其他方式选择性地保持和释放在车辆组装过程中的最终修剪和组装(fta)操作、以及其他类型的操作中使用的组件的工具。
19.机器人106可以包括或电耦合到一个或多个机器人控制器112。例如，根据某些实施例，机器人106可以包括和/或电耦合到一个或多个控制器112，控制器112可以是或者可以不是离散的处理单元，例如单个控制器或任何数目的控制器。控制器112可以被配置为提供多种功能，包括例如用于选择性地向机器人106输送电力、控制机器人106的运动和/或操作、和/或控制安装到机器人106的其他设备(包括例如末端执行器108)的操作、和/或未安装到机器人106但与机器人106的操作集成的设备的操作和/或安装到与机器人106的操作
和/或移动相关联的设备的操作。此外，根据某些实施例，控制器112可以被配置为动态地控制机器人106本身的移动、以及机器人106安装或耦合到的其他设备的移动，包括例如机器人106沿着或备选地通过轨道130或诸如agv的移动平台的移动，机器人106经由机器人基座142安装到该平台，如图2所示。
20.控制器112可以采取多种不同形式，并且可以被配置为执行程序指令以执行与操作机器人106相关联的任务，包括操作机器人106以执行各种功能，例如但不是限于本文所述的任务以及其他任务。在一种形式中，(多个)控制器112是基于微处理器的，并且程序指令是存储在一个或多个存储器中的软件的形式。备选地，控制器112中的一个或多个及其执行的程序指令可以是软件、固件和硬件的任何组合的形式，包括状态机，并且可以反映离散设备和/或集成电路的输出，该离散设备和/或集成电路可以被并置在特定位置或分布在一个以上的位置，包括被配置为实现与基于处理器的控制器执行基于软件或固件的指令相同或相似的结果的任何数字和/或模拟设备。从控制器112确定和/或传输的操作、指令和/或命令可以基于存储在控制器112中的非暂态计算机可读介质、其他计算机和/或存储器中的一个或多个模型，该存储器是可访问的或与控制器112电通信。
21.根据所示实施例，控制器112包括可以接受运动命令并且提供实际运动数据的数据接口。例如，根据某些实施例，控制器112可以通信耦合到可以用于控制机器人106和/或末端执行器108的至少某些操作的示教器，例如教导器。
22.机器人站102和/或机器人106还可以包括一个或多个传感器132。传感器132可以包括多种不同类型的传感器和/或不同类型传感器的组合，包括但不限于视觉系统114、力传感器134、运动传感器、加速度传感器和/或深度传感器、以及其他类型的传感器。此外，可以集成由这些传感器132中的至少一些传感器提供的信息，包括例如经由算法的使用，使得机器人106的操作和/或移动以及其他任务至少可以经由传感器融合来被引导。因此，至少如图1和图2所示，由一个或多个传感器132(例如，视觉系统114和力传感器134、以及其他传感器132)提供的信息可以由控制器120、和/或管理系统104的计算构件124处理，使得由不同传感器132提供的信息可以以可以降低机器人106的运动和/或任务执行的不确定度的方式被组合或整合。
23.根据所示实施例，视觉系统114可以包括一个或多个视觉设备114a，视觉设备114a可以与观察机器人站102的至少部分相结合来使用，包括但不限于观察零件、组件和/或车辆、以及可以定位在机器人站102中或正在通过机器人站102或被机器人站102的至少一部分移动的其他设备或组件。例如，根据某些实施例，视觉系统114可以提取定位或放置在机器人站102中的各种类型的视觉特征的信息，例如在车辆上和/或在使车辆移动通过机器人站102的自动引导车辆(agv)上、以及其他位置，并且使用这样的信息以及其他信息来至少帮助引导机器人106的移动、机器人106沿着轨道130或移动平台(诸如机器人站102中的agv(图2))的移动、和/或末端执行器108的移动。此外，根据某些实施例，视觉系统114可以被配置为获取和/或提供关于可以用于校准机器人106的传感器132的一个或多个第一或人工校准特征和/或第二或自然校准特征的位置、定位和/或取向的信息，如下所述。
24.根据某些实施例，视觉系统114可以具有可以处理从视觉设备114a获取的数据或信息的数据处理能力，这些数据或信息可以被传送到控制器112。备选地，根据某些实施例，视觉系统114可以不具备数据处理能力。相反，根据某些实施例，视觉系统114可以电耦合到
机器人站102的计算构件116，该计算构件116适于处理从视觉系统114输出的数据或信息。另外，根据某些实施例，如下文讨论的，视觉系统114可以可操作地耦合到通信网络或链路118，使得由视觉系统114输出的信息可以由管理系统104的控制器120和/或计算构件124处理。
25.视觉系统114的视觉设备114a的示例可以包括但不限于一个或多个成像捕获设备，例如可以安装在机器人站102内的一个或多个二维、三维和/或rgb相机，包括例如通常安装在机器人106的工作区域上方、安装到机器人106和/或在机器人106的末端执行器108上等位置。此外，根据某些实施例，视觉系统114可以是基于位置或基于图像的视觉系统。此外，根据某些实施例，视觉系统114可以利用运动控制或动态控制。
26.根据所示实施例，除了视觉系统114之外，传感器132还包括一个或多个力传感器134。例如，力传感器134可以被配置为在组装过程期间感测(多个)接触力，例如机器人106、末端执行器108和/或由机器人106保持的组件与车辆136和/或机器人站102内的其他组件或结构之间的接触力。来自(多个)力传感器134的这样的信息可以与由视觉系统114提供的信息组合或整合，使得在车辆136的组装期间机器人106的移动至少部分由传感器融合引导。
27.根据图1中描绘的示例性实施例，管理系统104可以包括至少一个控制器120、数据库122、计算构件124和/或一个或多个输入/输出(i/o)设备126。根据某些实施例，管理系统104可以被配置为向操作者提供对机器人106的直接控制、以及向机器人站102和/或为机器人106的操作提供至少某些编程或其他信息。此外，管理系统104可以被构造为从机器人站102或管理系统104的操作者接收命令或其他输入信息，包括例如通过经由输入/输出设备126的操作或与输入/输出设备126的选择性接合而生成的命令。经由输入/输出设备126的使用的这样的命令可以包括但不限于通过可以由操作者操作、操纵和/或移动的麦克风、键盘、触摸屏、操纵杆、触控笔类型的设备和/或感测设备、以及其他输入/输出设备的接合或使用而提供的命令。此外，根据某些实施例，输入/输出设备126可以包括一个或多个监视器和/或显示器，该监视器和/或显示器可以向操作者提供信息，包括例如与由管理系统104的操作者提供的命令或指令有关的信息、从(多个)补充数据库系统105和/或机器人站102接收/向其传输的信息、和/或在机器人102运行(或试图运行)程序或进程时生成的通知。例如，根据某些实施例，输入/输出设备126可以显示例如经由视觉系统114的至少视觉设备114a的使用而获取的图像，无论是实际的还是虚拟的。
28.根据某些实施例，管理系统104可以包括具有控制器120的任何类型的计算设备，例如膝上型计算机、台式计算机、个人计算机、可编程逻辑控制器(plc)或移动电子设备设备、以及其他计算设备，该计算设备包括存储器和处理器，该存储器和处理器的大小和操作足以存储和操纵数据库122和一个或多个应用以用于至少经由通信网络或链路118与机器人站102通信。在某些实施例中，管理系统104可以包括连接设备，该连接设备可以经由以太网wan/lan连接以及其他类型的连接与通信网络或链路118和/或机器人站102通信。在某些其他实施例中，管理系统104可以包括网络服务器或网络门户，并且可以使用通信网络或链路118经由互联网与机器人站102和/或(多个)补充数据库系统105通信。
29.管理系统104可以位于相对于机器人站102的多个位置。例如，管理系统104可以在与机器人站102相同的区域、相同的房间、相邻的房间、相同的建筑物，相同的工厂位置，或
备选地，在相对于机器人站102在远程位置。类似地，(多个)补充数据库系统105(如果有的话)也可以位于相对于机器人站102和/或相对于管理系统104的多个位置。因此，通信网络或链路118可以至少部分基于机器人站102、管理系统104、和/或(多个)补充数据库系统105的位置之间的物理距离(如果有的话)。根据所示实施例，通信网络或链路118包括一个或多个通信链路118(图1中的通信链路1-n)。另外，系统100可以被操作以经由在机器人站102、管理系统104和/或(多个)补充数据库系统105之间的通信网络或链路118的使用来维持相对可靠的实时通信链路。因此，根据某些实施例，系统100可以基于通信链路118的当前可用数据速率和/或传输时间来改变通信链路118的参数，包括例如对所使用的通信链路118的选择。
30.通信网络或链路118可以以多种不同方式构造。例如，机器人站102、管理系统104和/或(多个)补充数据库系统105之间的通信网络或链路118可以通过多种不同类型的通信技术中的一种或多种的使用来实现，包括但不限于经由在类似或不同类型和层的数据协议上使用基于光纤、无线电、电缆或无线的技术。例如，根据某些实施例，通信网络或链路118可以利用(多个)以太网安装，该以太网安装具有无线局域网(wlan)、局域网(lan)、蜂窝数据网络、蓝牙、紫蜂、点对点无线电系统、激光光学系统和/或卫星通信链路、以及其他无线工业链路或通信协议。
31.管理系统104的数据库122和/或(多个)补充数据库系统105的一个或多个数据库128可以包括可以用于标识机器人站102内机器人106正在其中操作的元件的各种信息。例如，如下文更详细讨论的，数据库122、128中的一个或多个可以包括或存储信息，该信息用于检测、解释和/或解密由视觉系统114检测到的图像或其他信息，例如，(多个)第一或人工校准特征和/或(多个)第二或自然校准特征。附加地或备选地，这样的数据库122、128可以包括关于一个或多个传感器132的信息，包括例如关于预期至少在机器人106执行工作时经由在机器人站102中和/或沿着车辆136的一个或多个不同位置的一个或多个力传感器134的使用而检测到的力或力范围的信息。另外，数据库122、128中的信息还可以包括至少初始用于校准一个或多个传感器132的信息，包括例如与第一校准特征相关联的第一校准参数和与第二校准特征相关联的第二校准参数。
32.管理系统104的数据库122和/或(多个)补充数据库系统105的一个或多个数据库128还可以包括可以帮助辨别机器人站102内的其他特征的信息。由视觉系统114的一个或多个视觉设备114a捕获的图像可以用于经由来自数据库122的信息的使用来标识机器人站102内的fta组件，包括拣选箱内的fta组件、以及其他组件，该组件可以由机器人106在执行fta时使用。
33.图2示出了示例性机器人站102的示意图，自动化或自动引导车辆(agv)138使车辆136移动通过该机器人站102，并且该机器人站102包括安装到机器人基座142上的机器人106，机器人基座142沿着或通过轨道130或诸如agv的移动平台可移动。尽管至少出于说明的目的，图2中描绘的示例性机器人站102被示出为具有或接近于车辆136和相关联的agv 138，但是机器人站102可以具有多种其他布置和元件，并且可以用于各种其他制造、组装和/或自动化过程。此外，虽然所描绘的机器人站102可以与机器人106的初始设置相关联，但是站102也可以与机器人106在组装和/或生产过程中的使用相关联。
34.此外，虽然图中描绘的示例示出了单个机器人站102，但根据其他实施例，机器人
站102可以包括多个机器人站102，每个站102具有一个或多个机器人106。所示的机器人站102还可以包括一个或多个agv 138、电源线或输送机、感应输送机和/或一个或多个分拣机输送机，或者与其相结合操作。根据所示实施例，agv 138可以相对于一个或多个机器人站102定位和操作，以便运输例如车辆136，车辆136可以接收(多个)车辆136的一个或多个组件或以其他方式与其组装或包括其，包括例如门组件、驾驶舱组件和座椅组件、以及其他类型的组件和部件。类似地，根据所示实施例，轨道130可以相对于一个或多个机器人106定位和操作，以促进(多个)机器人106将组件组装到正在经由agv 138移动的(多个)车辆136。此外，可以操作轨道130或诸如agv、机器人基座142和/或机器人的移动平台，使得机器人106以至少通常跟随agv 138的移动以及因此跟踪在agv 138上的(多个)车辆136的移动的方式移动。此外，如前所述，机器人106的这种运动还可以包括至少部分由一个或多个力传感器134提供的信息引导的运动。
35.图5示出了用于校准传感器融合引导机器人106的一个或多个传感器132的示例性过程200。针对本技术中的所有过程而示出的操作仅被理解为示例，并且除非有明确相反的说明，否则操作可以全部或部分组合或划分、和添加或删除、以及重新排序。此外，虽然本文中讨论的过程200可以在机器人106的寿命期间或和/或操作阶段期间的各种不同时间段、和/或在各种不同的设置中使用，但根据某些实施例，过程200至少可以在传感器融合引导机器人106的初始设置和/或优化阶段期间使用，此外，在机器人106被用于装配或生产线、操作或应用之前使用。
36.如图5所示，在步骤202，传感器132可以至少最初使用一个或多个第一校准特征144(图2和图3)进行校准。与其他类型的第二校准特征146(图2和图4)相比，第一校准特征144可以具有可能较不易受噪声影响并且更不易受高噪声和误差影响的配置或位于这样的位置，如下文讨论的，该第二校准特征146随后可以用于细化传感器132的校准。因此，根据某些实施例，与其他第二校准特征146相比，第一校准特征144(在本文中也称为人工特征)可以是被配置为和/或在机器人站102中可能较不易受噪声影响的位置处的特征，包括例如与照明、运动不规则性、振动和平衡问题相关联的噪声。因此，根据某些实施例，虽然(多个)第二校准特征146可以涉及传感器132最终将在机器人106被编程或被训练以执行的组装操作中跟踪、接合或以其他方式利用的(多个)特征，但是第一校准特征144可以是用于至少初始校准传感器132以满足相对较窄范围的第一校准参数的特征。如下面所讨论的，传感器132的校准随后可以被进一步细化，使得校准后的传感器132满足甚至更窄范围的第二校准参数。
37.因此，例如，根据某些实施例，这样的第一校准特征144可以包括但不限于被配置和/或定位以主要用于校准传感器132的物品。例如，关于至少校准视觉系统114，根据某些实施例，第一校准特征144可以是三维快速响应(qr)码，例如如图3所示。然而，各种其他类型的图像或视觉指示器可以与视觉系统114的至少初始校准相结合用于第一校准特征144，包括但不限于二维qr码。备选地或附加地，第一校准特征144可以是车辆136或工件或相关组件的一部分，该组件位于通常与车辆136或工件的其他部分相比更不易受噪声影响的位置。
38.此外，使用第一校准特征144的校准可以涉及将感测到的信息与已知信息进行比较。例如，关于力传感器134，当机器人106在(多个)特定位置或沿着(多个)特定方向移动
时，由(多个)力传感器134在该(多个)已知位置或方向处检测到的(多个)力可以与该(多个)位置或方向的(多个)已知力测量进行比较。与用于校准视觉系统114的第一校准特征144类似，用于校准机器人106的(多个)力传感器134的组件和/或位置可以是位于或不位于车辆136或工件上的位置，该位置通常比其他位置更不易受到影响，包括例如不易受运动不规则性、振动和平衡问题影响的位置。此外，相同的第一校准特征144可以用于校准不同类型的传感器132，包括例如用于校准视觉系统114和(多个)力传感器134两者的相同的第一校准特征144。例如，根据某些实施例，第一校准特征144可以包括与视觉系统114的校准相关联的图像，并且位于与力传感器134的校准相结合使用的位置处。
39.因此，第一校准特征144可以位于机器人站102周围的多个位置。例如，如图5所示，根据某些实施例，第一校准特征144可以定位在agv 138上，包括例如在车辆136下方并且与车辆136一起移动的agv 138的一部分上。附加地或备选地，根据某些实施例，第一校准特征144可以位于车辆136的一部分上，该部分不直接参与机器人106被设置和/或优化以执行的组装操作。例如，根据某些实施例，虽然机器人106可能处于被编程以最终用于fta组装操作的过程中，其中机器人106可能需要定位和对准车辆136中的门开口或门柱周围的孔，但是第一校准特征144可以在车辆136的某个其他部分处或安装到该处，例如后车顶柱的一部分。
40.在步骤204，可以例如由控制器112确定经由使用(多个)第一校准特征144对传感器132的校准是否满足第一校准参数或与第一校准特征144相关联的标准。例如可以预先确定并且存储在由控制器112可访问或与控制器112电通信的存储器中的这样的参数可以基于由每个传感器或传感器类型提供的信息来评估，和/或可以基于由传感器融合引导的机器人106的运动的(多个)评估，该传感器融合基于传感器132的当前校准程度。此外，根据某些实施例，与第一校准参数相关联的参数可以比在使用其他第二校准特征146时与传感器132的进一步或附加校准一起使用的参数更广，如下所述。
41.因此，例如，根据某些图示实施例，关于第一校准参数是否满足的确定可以至少部分基于由力传感器134感测到的力的(多个)值在预定参数范围内或满足预定参数阈值、机器人106在使用视觉系统114时的运动中的误差程度(如果有的话)、和/或在使用由多个传感器132提供的信息引导时机器人106的运动中的准确度，例如，当使用来自至少力传感器134和视觉系统114以及其他传感器的组合或整合信息时。
42.如果在步骤204，例如由控制器112确定一个或多个传感器132不满足第一校准参数，或者由传感器融合引导的机器人106的移动不具有所需要的准确度，则过程200可以继续在步骤202通过使用第一校准特征144校准传感器132。
43.然而，如果在步骤204确定第一校准参数满足，则在步骤206，为了校准，第一校准特征144可以替换为第二校准特征146，也称为自然校准特征。与第一校准特征144相比，第二校准特征146可以是在将使用机器人106执行的组装过程中直接涉及或利用的车辆136上或中的特征。例如，根据某些实施例，第二校准特征146可以是一个或多个孔(图2和图4)，该孔用于接收组件或组件的一部分的插入，例如，安装柱和/或机械紧固件，例如，螺栓、销、螺钉，同时机器人106正在执行组装过程，包括例如fta操作。
44.由于第二校准特征146可以是车辆136的部分，这些部分直接参与将由机器人106执行的组装过程的至少一些方面，因此在选择第二校准特征146时可能不存在与在选择第
一校准特征144时相同的自由度或灵活性。因此，与第一校准特征不同，第二校准特征146的校准可以涉及车辆136的部分或相关组件，其具有尺寸、配置、位置、数目和/或移动、以及其任何组合、以及其他因素可能会产生与校准传感器132相关的更高程度的困难。这样的困难可以包括由与照明、振动和运动、以及其他噪声和错误形式相关联的噪声带来的增加的挑战。例如，第二校准特征146可以是一个或多个孔，该孔的尺寸、位置和/或取向被确定为产生视觉系统114捕获第二校准特征146的清晰图像的潜在问题。此外，在这种情况下，第二校准特征146可能以导致由视觉系统114捕获的(多个)图像中的像素化问题的方式接收太多或太少的光或振动。这种像素化可能在机器人102准确地检测或以期望的精度检测第二校准特征146的位置和/或边界方面造成困难，因此使用第二校准特征146的校准过程进一步复杂化。然而，本文中讨论的过程200可以减少或最小化与使用第二校准特征146进行校准相关联的这种复杂性和时间，因为传感器132已经预先校准，因为传感器132先前已经被校准以至少满足第一校准标准。因此，根据所示实施例，基于第二校准特征146的校准可以涉及对已经很好校准的传感器132的校准，如果需要，其进一步细化或缩小，以满足与第二校准特征146相关联的第二校准参数的更窄参数。这样的过程200不仅可以减少与校准传感器132相关联的复杂性和时间以满足与第二校准特征146相关联的第二校准参数，而且还可以导致与直接基于第二校准特征146而没有第一校准特征144的益处的校准相比更准确的校准。此外，传感器132校准中的这种改进的精度可以导致机器人106的更可靠和稳定的操作，包括机器人106的传感器融合引导运动。
45.在步骤208，过程200可以确定与在步骤204满足第一校准参数相关而获取的校准是否也满足第二校准参数，如前所述，第二校准参数比步骤206的第一校准标准的对应参数窄。如果在步骤202和204获取的传感器132的校准满足第二校准参数，则校准过程200可以在步骤212结束。然而，如果需要进一步细化校准，则之后，在步骤210，传感器132可以再次进行校准，其中校准过程现在利用第二校准特征146。这种校准可以继续，直到在步骤208例如由控制器112确定传感器132已经以满足第二校准参数的方式校准。同样，在确定传感器132已经以满足第二校准参数的方式校准之后，校准过程200可以进行到步骤212，其中校准过程200结束。
46.图6示出了用于评估机器人106与车辆136之间的碰撞事件的严重性的示例性过程300。可以理解，在本文中设想的实施例中，机器人106包括末端执行器，该末端执行器用于抓握车辆组件136可以组装到其上/其内的汽车工件。汽车工件可以采取门组件、驾驶舱组件、座椅组件等的形式。如将进一步理解的，机器人106可以被操纵以将汽车工件定位成与车辆136的一个或多个部分接触。例如，车辆136上的特征146形式的门铰链可以用于在门定位成与门铰链接合时接合由机器人106抓握的门146。在这种上下文中，门铰链是汽车总成的一部分，尽管它已经附接到车辆136。当机器人106沿着轨道130或移动平台(诸如agv)移动时，可能存在振动和其他扰动，这使得机器人的精确跟踪变得更加困难。
47.如图6所示，在步骤302，传感器可以用于收集与由机器人106正在操纵的工件与车辆136的一个或多个部分之间在工件与车辆136的装配过程中的碰撞相关的信息。步骤302可以包括直接从测量传感器收集信息，或者可以包括已经从测量传感器计算的信息的收集。测量传感器可以包括来自图像传感器的信息(诸如与视觉系统114和/或114a相关联的信息)、以及来自力传感器的信息(诸如与力传感器134相关联的信息)。控制器112可以同时
使用来自图像传感器的图像反馈以及来自力传感器的力反馈来调节机器人106的运动。
48.如将理解的，力传感器134可以采用能够直接测量力和/或从其他收集的数据估计力的多种形式。例如，测量与电动机相关联的电流的传感器可以用于确定施加到电动机的力。机器人106可以具有被构造为向机器人106提供原动力的多种电动机。可以使用多个传感器来监测与电动机的操作相关联的电流。然后可以使用感测到的电流来估计施加到电动机的力。
49.在步骤302用传感器收集的数据可以以多种数据采集速率收集并且可以在任何时间段内收集。例如，可以连续收集数据，并且可以围绕碰撞事件执行加窗操作。这种加窗操作可以用于在碰撞之前和在碰撞事件之后收集数据，以确保捕获整个碰撞事件。力数据可能包括一些噪声，并且可以包括由碰撞引起的动量、弯曲、反弹和其他物理反应引起的多个力和扭矩峰值形式的冲击特性。在一些操作中，控制器112可以被预编程以包括围绕预期撞击事件b的时间窗口。在其他替代和/或附加形式中，在步骤302用传感器收集的数据可以减少到单个数目。在一个示例中，这样的单个数字可以表示与碰撞事件相关联的峰值力。无论数据是时间历史还是根据时间历史数据计算得出(例如，最大峰值力、诸如功率谱密度等频域度量值等)，这样的数据都将在图6所示的步骤中进一步用于确定碰撞的严重性并且采取适当的行动。
50.在本文中描述的设备的一些形式中，可以包括步骤304以评估包括机器人106和车辆136的系统的性能指标。性能指标在包括图6中描绘的步骤的每个实施例中可能是不需要的。性能指标在步骤304中列出，并且可以彼此独立地评估，或者可以组合以基于步骤304中描述的两个或更多个指标来形成混合性能指标。
51.在步骤306，控制器112被构造为分析根据在步骤302收集的感测信息而测量或估计的碰撞强度。控制器112被构造为基于从力传感器提供的力传感器信息来评估碰撞强度。此外，在一些形式中，控制器112可以使用人工特征144或自然特征146来执行健全性检查。如将理解的，人工特征可以与汽车总成和汽车工件中的一者或两者相关联。附加地和/或备选地，自然特征可以与汽车总成和汽车工件中的一者或两者相关联。这种健全性检查可以用于确定是否可以依赖在步骤302收集的力信息。控制器112可以被构造为以分层方式评估力传感器信息的强度。例如，由控制器112评估的低强度碰撞将允许机器人106继续其操纵工件以使其与车辆136或后续车辆接触的操作。更高强度的碰撞可以导致控制器112随着机器人106的继续操作而更新，并且在某些形式中，非常高强度的碰撞可以导致控制器112的更新以及机器人106停止向车辆136操纵工件的中止过程。
52.在步骤306，控制器112可以将来自力传感器的信息与参考值进行比较以确定碰撞应当被分类的类别。在图6的图示形式中，碰撞可以分类为三个类别中的一个类别，但其他实现可以考虑更少或更多的类别。将参考图6中描绘的三个区域，但在此不旨在限制实施例必须仅限于三个区域。与控制器112一起使用的参考值可以采用多种形式。在一些形式中，参考值可以采用两个单独的值的形式，该值用于区分与轻微碰撞、中等碰撞和更强烈的高碰撞区域相关联的区域。在一个实施例中，参考值是与机器人106的特定运动相关联的力数据的时间历史，使得如果在机器人106操作期间收集的传感器反馈信息超过与参考值相关联的阈值，则这种偏移可以用于将碰撞事件表征为轻微碰撞、中等碰撞或高度碰撞。
53.在本文中的实施例中还设想在确定碰撞强度之前比较一个或多个性能指标、或性
能指标的混合版本。此外，如上所述，人工特征144和/或自然特征146也可以用于增强对碰撞是否满足任何碰撞类别的标准的确定。
54.图6中描绘了三个独立的分支，它们指示碰撞的结果及其对机器人106操作的影响。如果碰撞被评估为轻微碰撞，则步骤208允许机器人106继续操作。步骤210将导致与控制器112相关联的一个或多个参数被调谐。这种调节可以包括使用人工特征144或自然特征146重新校准图像传感器。如果机器人106的环境中存在变化，例如机器人当前经历的不同照明条件、现在存在的影响来自图像传感器的图像质量的遮挡等，则可能需要这种重新校准。可以设想，当机器人106将工件与车辆136接合时，这种重新调节可以在对与机器人106相关联的持续制造操作的影响最小或没有影响的情况下完成。
55.如本文中使用的，与机器人末端执行器的相对运动相关联的与工件和车辆136之间的接触相关联的力相关的讨论包括力和扭矩，因为应当理解，扭矩是力的乘积。在本文中的描述中单独使用术语“力”是为了简化讨论，但决不旨在将本公开的应用仅限于力。例如，如果使用扭矩更好地评估碰撞，则可以使用扭矩的相关参考值以及用于确定受影响扭矩的随附传感器/估计器。“力”的任何使用意在也包括扭矩，因为它们在本文中可以是彼此的同义词。
56.图7示出了用于确定上述讨论中描述的系统的实施例的性能是否足够以及如果不是则可以采取什么措施来解决性能不足的问题的示例性过程400。与结合图7的实施例相关的描述的技术可以在机器人106的操作之前使用，例如在制造班次开始之前，但也可以在机器人106的操作期间使用，同时机器人106处于制造班次的中间。例如，在将工件紧固到车辆136之间，可以命令机器人106使用图7中描述的步骤检查其性能。还可以命令机器人106进行短暂的休息以检查性能。简而言之，图7中描述的步骤可以在任何时间使用。
57.如图7所示，在步骤402，可以计算性能的混合度量，其可以是多种度量的组合。在框402中示出了与制造和内部组件相关的性能度量的一些非限制性示例，但本文也考虑其他度量。可以考虑诸如周期时间等度量，其可以是任何类型的时间，诸如使车辆136前进通过各种工作站所花费的周期、或者机器人106抓握工件、将其移动到车辆136、安装工件并且返回到起始位置所花费的周期。也可以考虑其他循环时间。其他度量包括与将工件组装到车辆136相关联的接触力、以及组装的成功率。更进一步的度量包括机器人106检测人工和/或自然特征的能力、系统中的任何通信延迟(例如但不限于，由于诸如照明等环境条件的变化而导致的计算持续时间延长而可能导致的延迟)、以及可能存在的振动。这些度量中的任何两个或更多个、以及任何其他相关度量可以混合在一起以形成可以在机器人106的操作期间或操作之前进行比较的整体性能指标。这两个或更多个度量可以使用任何类型的配方进行混合，诸如直接添加、加权添加、比例等。
58.在步骤404，可以将混合的性能指标与性能阈值进行比较，以确定整体系统性能是否保持或者是否存在任何性能下降。如果混合的性能指标保持低于可接受的劣化阈值，则不需要如步骤406中的重新校准。然而，如果混合的性能指标超过可接受的劣化阈值，则过程400进行到步骤408。
59.在步骤408，控制器112被配置为在确定下一步骤之前对机器人106的一个或多个组件执行健全性检查。步骤408可以称为“健全性检查”，其用于确定与机器人106的操作相关联的传感器融合过程是否正常操作。控制器112被构造为基于18个变量确定传感器融合
输出。在一种形式中，传感器融合输出可以由与力传感器134和视觉传感器114相关的信息的组合构成。视觉传感器114可以用于捕获人工特征144和/或自然特征146的图像，然后该图像可以在传感器融合参数的计算中与任何其他合适的值(力传感器等)一起使用。
60.传感器融合可以表示任何数目的变量的任何类型的组合。例如，可以将个体感测值或计算值相加，可以将它们相加并且除以常数，每个值可以加权并且然后彼此相加，等等。在其他形式中，可以处理这些值，例如通过在相互组合之前进行过滤。在一种非限制性形式中，传感器融合可以表示由控制器112的子集生成的控制信号，该控制信号基于来自力传感器的信息进行调节，然后该控制信号与由控制器112的不同子集生成的控制信号组合，该控制信号基于来自图像传感器的信息进行调节。这样的控制调节方案可以彼此独立，并且可以采取任何多种形式。例如，力反馈调节可以使用传统的pid控制器，而图像反馈调节可以使用不同类型的控制器。从不同的控制调节方案生成的每个控制信号可以组合在一起形成控制调节参数，该控制调节参数可以表示传感器融合输出。然而，这种通过控制调节计算来确定传感器融合参数的方法只是可以表示传感器融合的多种信号中的一种信号。
61.在步骤408，将传感器融合参数与传感器融合参考值进行比较以确定可以由控制器112发起的控制动作。传感器融合参考值可以基于包括实验确定以及公式确定在内的各种方法来预先确定。在一种形式中，所使用的传感器融合参考可以表示在使用图像传感器查看人工特征时的最佳情况传感器融合。例如，最佳情况传感器融合可以表示公式推导出的理论值，或者可以表示使用最佳照明和环境条件以确保最佳机器人性能的传感器融合。
62.步骤408的比较可以导致传感器融合误差的分类和至少两个单独的类别。如图7所示，表示了传感器融合误差的三个单独类别，其他实施例可以包括更少或更多的类别。在一种形式中，传感器融合参数可以通过减去两个值来与传感器融合参考进行比较。本文中还设想了将传感器融合参数与传感器融合参考进行比较的其他技术。无论使用哪种技术来确定传感器融合参数与传感器融合参考之间的比较，步骤408都用于评估与至少一个传感器融合差异阈值的比较。
63.在步骤410，如果传感器融合参数与传感器融合参考之间的比较未能超过第一传感器融合差异阈值，则控制器112命令机器人106继续其组装。此时，过程400返回到在适当的时间评估性能指标。这种返回到步骤402的性能指标评估可以立即发生，或者可以安排在稍后的时间，或者可以以周期性频率发生。性能指标也可以在其他时间确定，包括由操作者随机请求。简而言之，从步骤410到步骤402的过程可以在任何时间发生。
64.在步骤412，如果传感器融合参数与传感器融合参考之间的比较超过第一传感器融合差异阈值，则控制器112命令机器人106调谐某些参数。这种参数调谐可以包括使用视觉传感器114来对上述人工特征和/或自然特征进行成像。如果已经发生改变了图像传感器114的性能的某些环境变化，则人工特征和/或自然特征的这种重新成像可能是必要的。例如，如果视觉系统使用人工特征和/或自然特征在良好的照明条件下进行校准，但机器人106附近的后续变化导致照明条件不佳，则重新校准视觉传感器可能有利于提高机器人106的性能。系统中相对于机器人被教导时存在的原始振动水平的不同振动也可能导致视觉传感器劣化，这也有助于重新调谐。性能下降的其他原因是机器人位置的变化、或者它的任务的变化、或者机器人正在操纵的工件的变化。任何和所有这些原因都可能导致机器人106的性能下降，这可能在步骤402和/或步骤408中表现出来。如将理解的，在步骤412期间也可以
使用其他传感器来重新校准与控制器112和机器人106的操作相关联的任何种类的参数，这些传感器也可能受到与机器人106的性能可能下降有关的任何上述原因的影响。
65.在步骤414，如果传感器融合参数与传感器融合参考之间的比较超过第二传感器融合差异阈值，则控制器112可以使机器人离线以进行重新教导。这种重新教导可以涉及从装配线移除机器人以重新教导，或者在生产线暂停和/或停止时将机器人106重新教导到位。
66.本技术的一个方面包括一种装置，装置包括：汽车制造机器人系统，被配置为评估机器人与汽车总成之间的碰撞，机器人包括末端执行器、力传感器、以及图像传感器，末端执行器被配置为与汽车工件耦合并且被构造为能够相对于汽车总成移动力传感器用于检测通过末端执行器的运动而由汽车工件与汽车总成之间的接触施加的力，图像传感器被构造为捕获汽车工件和汽车总成中的至少一者的图像，汽车制造机器人系统还包括控制器，控制器被配置为生成对操纵末端执行器有用的命令，并且在力传感器的数据通信中从力传感器接收力反馈信息和从图像传感器接收图像信息，控制器被构造为：使用力反馈信息和图像信息调节末端执行器的位置；收集与由末端执行器相对于汽车总成的运动引起的接合事件相关联的接合力反馈信息；将接合力反馈信息与力参考进行比较以生成力事件比较；将力事件比较分类到至少两个层中的一个层中；如果力事件比较被分类在至少两个层中的第一层中，则生成继续生产的信号；以及如果力事件比较被分类在至少两个层中的第二层中，则生成中断生产的信号。
67.本技术的特征包括，其中力反馈传感器被构造为通过与机器人的电动机相关联的电动机电流的使用来提供对力的估计。
68.本技术的另一特征包括，其中接合事件包括在机器人的至少一部分与汽车工件之间的物理接触之前和之后的时间段，并且其中物理接触由界定峰值电流事件的时间段确定。
69.本技术的又一特征包括，其中末端执行器被构造为抓握汽车工件，使得汽车工件在接合事件期间通过末端执行器的移动与汽车工件接触，并且其中图像传感器被构造为在汽车工件与车辆总成接触的过程期间捕获特征的图像，特征包括自然特征和人工特征中的一种特征。
70.本技术的又一特征包括，其中控制器还被构造为收集与接合事件相关联的接合图像信息，其中机器人位于可移动平台上，其中汽车总成位于可移动平台上，并且其中具有机器人的可移动平台与具有汽车总成的可移动平台一致地移动。
71.本技术的又一特征包括，其中至少两个层中的第一层是第一强度碰撞，其中至少两个层中的第二层是强度高于第一强度碰撞的第二强度碰撞，并且其中控制器被配置为当力事件比较被分类在至少两个层中的第二层中时被置于重新教导模式。
72.本技术的又一特征包括，其中控制器还被构造为当力事件比较被分类在至少两个层中的第三层中时生成继续生产并且调谐控制器的至少一个参数的信号，至少两个层中的第三层表示高于第一强度碰撞但低于第二强度碰撞的第三强度碰撞。
73.本技术的另一特征包括，其中控制器还被构造为通过利用校准特征对图像传感器的重新校准来调谐至少一个参数。
74.本技术的又一特征包括，其中力参考是基于时间历史的极限，其中控制器被构造
为将接合事件期间的力反馈信息的时间历史与基于时间历史的极限进行比较。
75.本技术的又一方面包括一种装置，装置包括：汽车制造机器人系统，被配置为在机器人相对于汽车总成移动时调节机器人，机器人包括末端执行器、力传感器、以及图像传感器，末端执行器被构造为与汽车工件耦合，汽车工件能够通过机器人的动作被移动成与汽车总成接触，力传感器用于检测通过末端执行器的相对运动而由汽车工件与汽车总成之间的接触施加的力，图像传感器被构造为捕获汽车总成和汽车工件中的至少一者的图像，汽车制造机器人系统还包括控制器，控制器被配置为生成对操纵末端执行器有用的命令，并且在力传感器的数据通信中从力传感器接收力反馈信息和从图像传感器接收图像信息，控制器被构造为：基于至少两个性能度量来计算混合性能指标；将混合性能指标与性能阈值进行比较；基于来自至少两个传感器的信息的组合来计算传感器融合输出；以及生成传感器融合输出与传感器融合参考之间的传感器融合差异以确定由控制器发起的控制动作。
76.本技术的一个特征包括，其中至少两个传感器是图像传感器和力反馈传感器。
77.本技术的另一特征包括，其中如果传感器融合差异未能超过传感器融合差异阈值，则继续利用机器人进行操作，并且其中如果传感器融合差异超过传感器融合差异阈值达大于第一量的第二量，则继续利用机器人进行操作并且改变与控制器相关联的至少一个参数。
78.本技术的又一特征包括，其中如果传感器融合差异超过传感器融合差异阈值达大于第一量的第二量，则继续利用机器人进行操作并且调谐与控制器相关联的至少一个参数。
79.本技术的又一特征包括，其中如果传感器融合差异超过传感器融合差异阈值达大于第一量的第二量，则继续利用机器人进行操作并且重新教导机器人改变与控制器相关联的至少一个参数。
80.本技术的又一特征包括，其中传感器融合差异阈值是第一传感器融合差异阈值，其中控制器包括第二传感器融合差异阈值，并且其中如果传感器融合差异超过第二传感器融合差异阈值，则将机器人从操作中移除并且将控制器配置为处于重新教导模式。
81.本技术的又一特征包括，其中控制器还被构造为检查控制方案选择和传感器参数是否满足成本函数。
82.本技术的另一特征包括，其中控制器还被构造为提供对振动和噪声中的至少一种的补偿。
83.本技术的又一特征包括，其中控制器还被构造为检查振动和噪声补偿是否满足操作标准。
84.本技术的另一特征包括，其中控制器被构造为将来自图像传感器的信息与参考进行比较以评估振动和噪声补偿是否满足操作标准。
85.本技术的又一特征包括，其中至少两个传感器是图像传感器和力反馈传感器；其中如果传感器融合差异未能超过传感器融合差异阈值，则继续利用机器人进行操作；其中如果传感器融合差异超过传感器融合差异阈值达大于第一量的第二量，则继续利用机器人进行操作并且改变与控制器相关联的至少一个参数；其中传感器融合差异阈值是第一传感器融合差异阈值；其中控制器包括第二传感器融合差异阈值；并且其中如果传感器融合差异超过第二传感器融合差异阈值，则将机器人从操作中移除并且将控制器配置为处于重新
教导模式。
86.虽然已经结合目前认为是最实用和优选的实施例描述了本发明，但是应当理解，本发明不限于(多个)所公开的实施例，相反，旨在涵盖所附权利要求的精神和范围内包括的各种修改和等效布置，该范围应当被给予最广泛的解释，以涵盖法律允许的所有这样的修改和等效结构。此外，应当理解，虽然在上面的描述中使用了“优选”、“优选地”或“优选的”一词表示这样描述的特征可能是更合乎需要的，但它可能不是必需的，并且可以在本发明的范围内考虑缺少相同特征的任何实施例，该范围由所附权利要求限定。在阅读权利要求时，意图在于，当使用诸如“一”、“一个”、“至少一个”和“至少一部分”的词语时，除非在权利要求中有明确相反的说明，否则无意将权利要求限制为仅一项。此外，当使用语言“至少一部分”和/或“一部分”时，该项目可以包括一部分和/或整个项目，除非有明确相反的说明。