根据场景的油漆修复方法与流程

1.本专利申请涉及用于去除涂覆表面上或涂覆表面中的缺陷以使得表面可被修复并且看起来均匀的系统和方法。该过程通常针对需要改善的美观性的部件或表面来执行，并且包括整平缺陷，然后进一步精修修复区域，直到修复区域与周围区域几乎没有或没有可识别的差异。


背景技术：

2.清漆涂层修复是汽车原始装备制造(oem)部门中要自动化的最后操作中的一项操作。期望用于使该过程以及适于使用磨料和/或机器人检查和修复的其他油漆应用(例如，底漆砂磨、清漆涂层缺陷去除、清漆涂层抛光等)自动化的技术。另外，该问题在售后部门还未得到解决。
3.使油漆缺陷的检测和修复自动化的早期工作包括美国专利公布2003/0139836中描述的系统，该专利公布公开了使用电子成像来检测和修复车身上的油漆缺陷。该系统参考车辆成像数据与车辆cad数据，以形成每个油漆缺陷的三维油漆缺陷坐标。油漆缺陷数据和油漆缺陷坐标用于开发用于使用多个自动化机器人进行自动化修复的修复对策，该自动化机器人执行多种任务，包括砂磨和抛光油漆缺陷。修复对策包括路径和处理参数、工具以及机器人选择。力反馈传感器可用于控制修复过程。附加任务可包括生成机器人路径和工具参数、执行质量数据记录和错误报告。然而，没有提供修复过程的细节。另外，该系统不应用图案匹配或机器学习技术来帮助识别缺陷或确定用于校正缺陷的最佳过程。
4.美国专利公布2017/0277979公开了在车辆检查系统中使用图案分类器来从图像中识别缺陷，该图像是通过将光照射在固定位置处的镜面上并且使用固定相机测量反射光而生成的。通过使用图像构建车辆模型和颜色的图像训练集来训练图案分类器以改善缺陷检测结果。训练集中的图像由人或机器检查以识别哪些图像和哪些像素具有缺陷。然而，没有公开用于校正所识别的缺陷的自动化技术。
5.美国专利9811057公开了使用机器学习通过观察状态变量来预测电机的寿命，该状态变量包括检测电机的操作状态的传感器的输出数据和与电机中存在或不存在故障相关的数据。学习单元根据训练数据集学习与电机的预测寿命相关联的条件，该训练数据集基于状态变量和所测量的电机的实际寿命的组合而创建。
6.申请人可能不应用机器学习技术来以自动化方式识别和修复油漆缺陷。另外，现有技术系统不考虑客户用来检查和校正油漆缺陷的自动化过程中的变化。期望用于使此类过程自动化的改进技术。


技术实现要素：

7.现在将描述各种示例以引入简化形式的概念选择，这些概念在下面的具体实施方式中进一步描述。本发明内容并非意图识别受权利要求书保护的主题的主要特征或本质特征，也非意图用于限制受权利要求书保护的主题的范围。
8.本文描述的系统和方法提供了用于针对研磨自动化的所有区域使油漆缺陷的校正自动化的技术。
9.本文所述的系统和方法通过向用于实现油漆修复过程的完全自动化的框架提供包括检查/反馈的选项以及学习新过程和/或适应客户过程偏差的能力，从而解决机器人研磨处理问题。换句话说，本文所述的系统和方法用作传统应用工程技术的数字化，其方式是通过提供成本有效的最佳解决方案来坚持彻底改变磨料被消耗的方式，该最佳解决方案以保护客户和磨料制造商的领域特定知识的方式针对客户的应用和磨料制造商的特定研磨产品进行定制。虽然描述了提供机器人油漆修复，该机器人油漆修复包括底漆、油漆和清漆涂层的修复，但应当理解，本文所述的技术适用于除油漆修复之外的其他工业应用。
10.如本文所述的提供自动化研磨油漆修复的计算机实现的方法的样本实施方案包括如下步骤：接收基底中的每个所识别的缺陷的坐标以及描述每个缺陷的特性的参数；基于由技术/专业操作人员建立的凭经验得出的规则和所接收的参数，选择砂磨过程、磨光过程和抛光过程中的至少一个；以及指示自动化研磨油漆修复装置使用所接收的参数来执行砂磨过程、磨光过程和抛光过程中的所选择的至少一个。在样本实施方案中，凭经验得出的规则和参数存储在查找表中，并且使用实施所接收的参数的凭经验设计的参数函数的参数选择算法从查找表中选择参数。在其他样本实施方案中，使用机器学习模块更新凭经验得出的规则，该机器学习模块运行学习更新，以基于特定的识别缺陷和对所执行的修复的后续评估，来改善未来的自动化研磨油漆修复动作。在此类实施方案中，参数选择算法可用于实施决策树、已知k最近邻方法和机器学习技术中的至少一种，以基于先前执行的修复来选择参数。
11.在样本实施方案中，所接收的参数包括来自分类器的缺陷类型、描述缺陷的近似体积信息和/或基底材料信息。所接收的参数还可包括过程参数诸如停留时间或力分布曲线。所接收的参数可手动测量或使用包括相机的自动化数字机器人检查装置测量。
12.在样本实施方案中，指示自动化研磨油漆修复装置使用所选择的砂磨过程、使用研磨过程参数来执行研磨步骤，然后是使用所选择的至少一种磨光过程和抛光过程、使用磨光/抛光参数来执行至少一个磨光/抛光步骤。在样本实施方案中，基于先前执行的修复策略，来选择磨光/抛光参数。提供给自动化研磨油漆修复装置的输出可包括磨料类型、磨料等级、砂磨工具使用的rpm、砂磨工具使用的轨道、抛光化合物、磨光/抛光工具使用的rpm和/或磨光/抛光工具使用的轨道。输出还可包括用于砂磨工具的rpm的设定点、用于顺应力凸缘的控制输入、机器人操纵器的轨迹和/或总处理时间。在此类实施方案中，机器人操纵器的轨迹作为与正在修复的缺陷的原点的时变位置偏移而被传送到机器人操纵器。
13.在样本实施方案中，每个缺陷的特性作为本地收集的原位检查数据从端部执行器传感器接收。可以将原位检查数据提供给机器学习单元，用于使用条纹图案投影、偏折法和使用相机进行的漫反射或正常白光的强度测量中的至少一者来创建学习更新。在样本实施方案中，砂磨过程和抛光过程包括用于连续参数的连续参数函数。
14.在其他样本实施方案中，基于基底的图像和所接收的参数，来选择至少一种研磨介质以及磨光和抛光垫。机器学习技术还可用于基于先前执行的修复，来选择研磨介质和/或磨光和抛光垫。所述方法还可包括监测研磨介质以及磨光和抛光垫的使用情况，以在推荐更换研磨介质或磨光和抛光垫时发信号通知。
15.所述方法通过自动化研磨油漆修复系统来实现，该自动化研磨油漆修复系统包括：自动化研磨油漆修复装置，该自动化研磨油漆修复装置响应于所接收的指令选择性地执行砂磨、磨光和抛光基底中的至少一种；以及控制器，该控制器具有一个或多个处理器，所述一个或多个处理器执行指令以生成控制自动化研磨油漆修复装置的指令。该控制器包括执行指令的处理器，所述指令用于实施如下步骤：接收基底中的每个所识别的缺陷的坐标以及描述每个缺陷的特性的参数；基于由技术/专业操作人员建立的凭经验得出的规则和所接收的参数，选择砂磨过程、磨光过程和抛光过程；以及将指令提供给自动化研磨油漆修复装置以使用所接收的参数来执行所选择的砂磨过程、磨光过程和/或抛光过程。在样本实施方案中，查找表存储凭经验得出的规则和参数，并且控制器实施参数选择算法，该参数选择算法根据所接收的参数的凭经验设计的参数函数从查找表中选择参数。在其他样本实施方案中，使用机器学习模块更新凭经验得出的规则，该机器学习模块运行学习更新，以基于特定的识别缺陷和对所执行的修复的后续评估，来改善未来的自动化研磨油漆修复动作。在此类实施方案中，参数选择算法可用于实施决策树、已知k最近邻方法和机器学习技术中的至少一种，以基于先前执行的修复来选择参数。控制器还包括用于实现如本文所述的方法的其他步骤的指令。
16.前述示例中的任一个示例可与其他前述示例中的任一个或多个示例组合以形成在本公开的范围内的新实施方案。
附图说明
17.在未必按比例绘制的附图中，类似的数字可描述不同视图中的类似部件。附图通常以举例的方式示出，但不受限于本文档中讨论的各种实施方案。
18.图1是示出用于oem和售后应用的机器人油漆修复硬件的示意图。
19.图2示意性地示出了分解的机器人油漆修复堆栈的部件。
20.图3是示出由控制器实现的过程的示例性实施方案的示意图，该控制器用于控制自动化研磨油漆修复装置提供自动化研磨油漆修复。
21.图4示出了两个单独凸起的“尖端”缺陷的曲线图。
22.图5示出了在预砂磨(左侧)、后砂磨/预抛光(中心)和后抛光(右侧)期间拍摄的多模态图像。
23.图6示出了来自两个缺陷的偏折法(砂磨前)的局部曲率计算输出。
24.图7示出了来自过度处理区域的曲率输出。
25.图8示出了使用激光轮廓术拍摄的高度图，该激光轮廓术表示使用激光成像来测量高度图。
26.图9示出了从现有工艺专有技术生成的专门用于油漆修复任务的示例性凭经验得出的查找表。
27.图10示出了根据样本实施方案的包括学习部件和基于云的过程规划和优化的机器人油漆修复。
28.图11示出了样本实施方案中用于机器人油漆修复的样本实施方案的样本处理流程。
29.图12示出了样本实施方案中适用于强化学习的砂磨和抛光过程的马尔可夫决策
过程(mdp)转换图。
30.图13示出了另外的样本实施方案中适用于强化学习的砂磨和抛光过程的简化mdp转换图。
31.图14示出了高密度缺陷学习基底，其中通过在清漆涂层下面引入特定大小的合成污垢而引起的缺陷在顶篷光反射的边界处最为可见。
32.图15示出了样本抛光图案。
33.图16示出了抛光图案的高效嵌套的示例。
34.图17示出了由制造商提供的micro
‑
epsilon反射控制油漆缺陷图像。
35.图18示出八个图像，四个具有偏折的垂直条纹图案，并且四个具有偏折的水平条纹图案，它们各自偏移π/2的倍数。
36.图19示出了使用四个偏折的条纹图案上的像素的反正切计算出的水平曲率图和垂直曲率图，其中随后进行相位解缠。
37.图20是组合了水平结果和垂直结果两者的复合(平方和的平方根)局部曲率图，该水平结果和垂直结果被可视化为强度图和网状栅格两者。
38.图21示出了样本近暗场反射图像。
39.图22示出了可被编程为适用于实现样本实施方案中所述的系统的一个或多个实施方案的专用计算机的通用计算机。
具体实施方式
40.首先应当理解，尽管下面提供了一个或多个实施方案的示例性具体实施，但是可以使用任何数量的技术来实现相对于图1至图22描述的所公开的系统和/或方法，无论是当前已知的还是现有的。本公开绝不应限于下文所示的例示性具体实施、附图和技术，包括本文所示和所述的示例性设计和具体实施，而是可在所附权利要求以及其等同物的完整范围的范围内进行修改。
41.在一个实施方案中，本文所述的函数或算法可在软件中实施。软件可由计算机可执行指令组成，该计算机可执行指令存储在计算机可读介质或计算机可读存储装置上，该计算机可读存储装置诸如一个或多个非暂态存储器或其他类型的基于硬件的存储装置，本地的或联网的。另外，此类函数对应于模块，这些模块可以是软件、硬件、固件或它们的任何组合。多种函数可根据需要在一个或多个模块中执行，并且所述的实施方案仅是示例。软件可在数字信号处理器、asic、微处理器或在计算机系统上运行的其他类型的处理器上执行，从而将这种计算机系统转化为特定编程的机器，该计算机系统诸如个人计算机、服务器或其他计算机系统。
42.概述
43.本发明描述了用于使用自动化研磨处理和后续抛光来使修复油漆应用的缺陷的过程自动化的系统和方法。该系统和方法包括机器人(智能)工具和/或部件处理、感测技术、随机过程策略、以及任选学习部件的新颖组合，该随机过程策略基于当前部件/系统状态和所提供的反馈导致期望的系统行为，该任选学习部件能够优化所提供的过程策略，由于客户的上游过程变化而连续调整策略，并且/或者从零开始以很少到没有人为干预来学习该过程策略。
44.一般来讲，本文所述的系统和方法实现自动化研磨处理。虽然在样本实施方案中相对于汽车清漆涂层/油漆修复进行了描述，但本领域的技术人员应当理解，本文所述的系统和方法适用于除油漆修复之外的其他工业应用。在样本实施方案中，本文所述的自动化研磨处理技术表现出以下特性：
45.1.机器人(智能)工具和/或部件处理；
46.利用先进研磨系统(例如，3m的finesse
‑
it
tm
)；
47.能够处理多个输入模态，包括部件/缺陷的原始像素数据、预先识别的缺陷位置(具有表面法线信息)以及预先识别的缺陷分类和对应的度量(例如，严重程度)；
48.能够使用机器/强化学习来实现从简单经验得出的策略到自学习随机策略范围内的一系列过程选择复杂化；以及
49.能够在现有工业控制基础设施的范围内工作或完全控制研磨过程硬件/设备，包括机器人操纵、端部执行器/工具、成像前/成像后和原位感测。
50.端部执行器顺应性/力控制方面的最新进展已使得汽车清漆涂层修复的完全自动化成为可行的。具体地讲，现在存在主动和高动态气动式顺应性力控制凸缘，其使得机器人系统能够表现出敏感研磨操作(即，经由砂磨、磨光和后续抛光的清漆涂层修复)所需的力/压力保真性。先前，在工具处使用力/扭矩传感器与机器人的控制器结合的整个臂上的力控制是公认的方法；然而，该方法具有较差的响应时间和非常刚性的响应曲线，从而剔除了它们作为该应用领域的可接受解决方案。
51.上述工具(在下图1中称为堆栈106)包括任何研磨工具和制品以及任何辅助设备，诸如(顺应性)力控制。堆栈106与术语端部执行器或多或少地同义；然而，术语堆栈在本文中用于机器人研磨修整的上下文中。图1进一步示意性地分解示例性堆栈106。
52.计算能力的最新进展使得以生产速度进行清漆涂层检查的过程成为可行的。具体地讲，立体偏折法最近已被证明能够利用空间信息以适当的分辨率提供油漆和清漆涂层缺陷，以允许随后的自动化斑点修复。使用常规检查方法，样本实施方案中的自动化清漆涂层斑点修复系统100可能看起来像图1的用于oem应用的示意图。在图1中，相应的框表示系统的各种硬件部件，包括机器人控制器102、机器人操纵器104和机器人油漆修复堆栈106(包括顺应力控制单元108、工具110和研磨制品/化合物112)。数据流由背景箭头114描绘，该背景箭头开始于提供包括基底中的所识别的缺陷的检查数据的检查前数据模块116，并且结束于用于处理在缺陷修复过程期间从基底120产生的数据的检查后缺陷数据模块118。
53.在样本实施方案中，基底120可为车身本身，并且饰面在整个制造过程中可为汽车的任何状态。通常，感兴趣的汽车或面板已被刷上油漆，涂覆有清漆涂层，而且已看到某种形式的固化(例如，烘烤)并被检查缺陷。在操作中，将缺陷位置和特性从检查前数据模块116馈送到机器人控制器102，该机器人控制器控制机器人操纵器104，在该机器人操纵器上程序将端部执行器(堆栈)106引导到所识别的缺陷以执行一些预先确定的修复程序(确定性)策略。在一些罕见情况下，策略可能能够根据所提供的缺陷特性进行调整。
54.对于油漆修复应用，机器人油漆修复堆栈106包括研磨工具110以及研磨制品和化合物112以及任何辅助装备，诸如(顺应)力控制单元108。如本文所用，机器人油漆修复堆栈106与术语端部执行器或多或少地同义；然而，在本文档中，术语“堆栈”是在机器人油漆修复的上下文中的端部执行器。另外，虽然描述了提供机器人油漆修复，该机器人油漆修复包
括底漆、油漆和清漆涂层的修复，但应当理解，本文所述的技术适用于除油漆修复之外的其他工业应用。
55.图2示意性地示出了分解的机器人油漆修复堆栈106的部件。如图所示，机器人油漆修复堆栈106包括机械臂200、力控制传感器和装置108、磨削/抛光工具110、硬件集成装置202、研磨垫和化合物112、设计研磨过程204以及数据和服务206。这些元件可以一起工作以识别缺陷位置，并且使用用于所识别的缺陷的确定性策略来实现预先确定的修复程序。
56.因此，图1和图2基于新近可用的检查方法(即，偏折法)实现了使清漆涂层修复自动化的相当简单的方法。下文所述的系统和方法的实施方案与图1和图2的系统和方法的区别之处在于，利用来自检查、工作单元或工具的附加数据以基于每个缺陷实时修改用于修复的机器人程序(即，策略)。在这方面，程序基于观察进行调整，以执行最佳(或接近最佳)修复对策(策略)，该修复对策在确定性的凭经验得出的配方(技术服务/应用工程)与基于性能不断改善的随机策略(即，强化学习)之间的范围上。另外，可以应用其他形式的学习，诸如分类(监督学习)或聚类(无监督学习)，以帮助对感测数据等执行降维。这些方法一起包括将相对于下文的样本实施方案描述的学习模块。
57.样本实施方案
58.尽管在工具方面取得了进步，但关于如何对相对于图1和图2所述的系统进行编程以有效地使用磨料仍然普遍缺乏理解/经验。成功的实施方式需要在机器人集成/编程和领域特定的磨料利用方面具有专业知识。本文所述的技术通过提供完整的自动化解决方案来解决该问题，该自动化解决方案能够为当前任务选择和执行最佳磨料利用/技术，不需要代表用户的专业知识。在汽车油漆修复的上下文中，这涉及获取缺陷信息(例如，图像和/或位置、描述等)并计算缺陷特定的、磨料特定的修复策略。根据分配给应用控制器的输入的类型和控制/执行的总宽度，这些技术可以多个各种实例来实现。代表性实施方案示意性地示于图3中。
59.图3是示出由控制器实现的过程300的示例性实施方案的示意图，该控制器具有至少一个处理器，该至少一个处理器被编程为控制自动研磨油漆修复装置提供如本文所述的自动研磨油漆修复。在图3中，数据如箭头所示从左向右流动。实线和虚线竖直条分别描绘输入之间的数据或选择的集合，并且可被认为是总线(实线)和多路复用器(虚线)。框表示模块，每个模块在下文中详细说明。如图所示，过程300一般包括由高实线分开的五个主要阶段(i
‑
v)。下面将描述这些阶段中的每个阶段。
60.阶段i
61.在第一阶段(阶段i)，过程300收集关于油漆缺陷修复的特定实例的相关信息。具体地讲，该过程获取关于使用中的油漆系统的相关信息310(例如，顺序、组成等)以及描述缺陷位置和待修复缺陷的缺陷量化的数据312。缺陷数据可以多种不同的形式呈现，以适应对各种控制架构和设备基础设施的整合。在最简单的情况下，制造商通过他们自己的(现有的)检测方法提供最少的缺陷信息。这可以是手动的、自动的或两者的某种组合。一般来讲，过程300使用至少缺陷的位置(具有表面法线信息)以及缺陷本身的某种量度。这些特征描述得越详细，缺陷就可以通过下文相对于第四阶段(阶段iv)描述的砂磨、磨光和抛光过程选择器处理得越好。
62.图3的过程足够灵活，以处理包括当今工业中使用的当前以人为中心的标准在内
的任何可用信息。此类标准通常在性质上是专有的，并且会根据每个制造商的不同而变化，但具有许多相同的基本特性。作为获取所提供的外部信息的替代形式，图3的过程可获取从缺陷图像的原始像素数据到来自提供此类图像的成像处理系统314的高度或曲率图范围内的连续形式的数字信息(例如，立体偏折法)。
63.本文所述的过程300能够以包括位置和特征信息的某种形式获取预先存在的/提供的缺陷信息。例如，图4示出了两个单独凸起的“尖端”缺陷的曲线图。然而，优选的输入模式为丰富数据图像输入的形式，诸如来自图像处理系统314的高度图或甚至原始图像数据(例如，在常用偏折法的情况下，相移缺陷的原始图像)。在后一种情况下，过程300能够就如何最有效地修复缺陷甚至以自动化方式定位/识别缺陷做出更好的决定。虽然经预处理的输入似乎更有意义，但通常情况下，特征是以对于所选择的研磨产品/系统而言可能不正确或次优的先验假设来构建的。例如，描述缺陷的常见的以人为中心的方法是通过类型分类以及某种严重程度的量度。然而，这几乎没有提供关于磨料在这种特殊情况下将如何表现的信息，因此不可能有最佳的修复解决方案。
64.作为完全集成的图像处理的样本实施方案，图5示出了由3m公司(3m corporation)提供的finesse
‑
it
tm
修复过程的预修复阶段、后砂磨阶段和后抛光阶段中的每个阶段的原始像素数据。具体地讲，图5示出了在预砂磨(左侧)500、后砂磨/预抛光(中心)510和后抛光(右侧)520期间拍摄的多模态图像。顶部的两行图像是针对镜面反射区域的未处理的偏折法相移图像捕获，而底部的一行是针对漫反射区域的单个实心白色照明图像。相移偏折法图像允许对镜面进行高精度检查(四个水平偏移，四个竖直偏移)，而用漫反射白色照明捕获的正常图像可用于观察漫反射表面的特征。
65.图6和图7示出了使用局部计算的曲率的图像处理的可能输出。图6示出了来自两个缺陷的偏折法(砂磨前)的局部曲率计算输出。区域600具有比剩余区域610更高的曲率。此处，区域600为凸起的“尖端”缺陷，所述“尖端”缺陷在左侧图像中为两个并且在右侧图像中为一个大的“尖端”缺陷。图7示出了来自过度处理区域700的曲率输出。此处，修复过于有力，导致修复后的表面形貌不均匀。修复将去除任何存在的缺陷，同时保持部件的大面积无缺陷外观。其他可能的实施方式包括经由类似于神经网络的卷积层的某物进行的自动分类和/或隐式特征提取，如下文相对于第四阶段(阶段iv)所述。
66.图8示出了使用激光轮廓术拍摄的高度图，该激光轮廓术表示使用激光成像来测量高度图。此处，区域800高于区域810。倒置的“坑”缺陷820的示例可见于图8的底行。
67.阶段ii
68.过程300的第二阶段(阶段ii)是允许利用最佳产品选择器模块320的任选阶段。考虑到应用领域和相关细节诸如产品状态322，产品选择器模块320为即将进行的过程提供最佳研磨产品选择。由产品选择器模块320进行的产品选择不仅可基于领域细节，而且可基于每个部件，诸如在这种情况下的缺陷信息本身。例如，更大、更严重的缺陷可能需要更有力的磨料。如果产品选择器模块320不存在/不可用，则过程300默认使用预定产品选择324。
69.在样本实施方案中，产品选择器模块320是数字工具，该数字工具提供查看给定光洁度、通过视觉定义它、然后为研磨过程提供推荐解决方案以实现期望的最终状态光洁度的能力。产品选择器模块320可使用数字图像，并且可包括应用要求或过程条件的附加描述符。数字图像可经由蜂窝相机收集，并且可在移动设备上提供解决方案。驱动该工具的算法
结合了来自广泛范围的最终用户应用的应用工程师专业知识，以通知和改进图像分析以及研磨过程解决方案的推荐选项。产品选择器模块320可以用在多步骤处理的迭代方法中。
70.最终用户访问研磨应用程序通常包括查看工件以显示所需的最终光洁度。“最终光洁度”适用于工件在最终生产阶段，在进一步上漆、电镀或涂覆工件之前的倒数第二个步骤，或较大制造过程的中间步骤的外观。在许多情况下，最终用户只有有限的测量值可用于定量光洁度。大多数情况下，没有通过视觉手段(例如，通过肉眼)来定义光洁度的质量和最终检查的测量值。光洁度外观是工件特征(材料、涂层、颜色、刮痕深度/形状/浓度等)与照明条件(反射率、亮度等)的复杂组合。虽然人眼捕获了整体外观的许多属性，但即使是“受过训练的眼睛”识别缺陷或瑕疵也是非常主观的。此外，人们难以准确地描述整体外观，使得在相同光照条件下“新手眼睛”或未直视工件的人完全理解。产品选择器模块320通过创建包括馈送到产品选择器模块320中的可能缺陷的视野的数字捕获来最小化这些主观因素。
71.最终光洁度也是一系列研磨操作的产物。磨料类型、等级和/或工艺条件的选择不当可导致几种不期望的情况，诸如需要再加工工件的最终光洁度中的不需要的特征(诸如反射镜或近反射镜光洁度中的深划痕)，以及过多的材料去除，从而导致工件的刮伤(废件)。通常，过于谨慎的操作人员将采取使用不太有力的研磨步骤/更精细等级并牺牲生产率以最大限度地减少最终浪费或避免返工。产品选择器模块320利用应用工程师在多步骤研磨处理中的广泛专业知识来建议解决方案。
72.应用工程师利用影响性能的一般因素开始产品选择器模块320的过程评估，然后建议参数以优化现有过程或推荐新的过程解决方案。产品选择器模块320经由数字图像中的光洁度绘制先前的示例以作出推荐。可持续插入来自应用程序的附加图像、参数和设备信息，以进一步教导产品选择器模块320如何从分类或聚类移动到预测输出。
73.因此，产品选择器模块320为客户需求(光洁度)创建难以描述的结构化数据。产品选择器模块320可实现增强机器人应用程序的规划和执行的机器学习算法。产品选择器模块320还可根据操作参数生成对光洁度输出的预测。产品选择器模块320(如果提供)因此能够提高提出研磨解决方案的质量和速度，并且提高在客户研磨应用的广度方面经验有限的更多新手员工(销售或应用工程师)的效率。
74.阶段iii
75.过程300的第三阶段(阶段iii)包括离散动作选择器模块330，该离散动作选择器模块处理包括改变和/或倾向于研磨产品的离散动作的选择。有时情况是研磨制品可用于多于一次修理；然而，性能通常随时间推移而劣化。这防止了权衡并且需要必须做出关于何时更换磨料盘的后续决定。新的磨料可更好地切割，但通常会考虑磨料本身的成本和转换的时间成本。
76.由于任何研磨介质的使用寿命有限，因此需要定期更换磨料以随着时间的推移保持足够的性能。根据应用、使用情况和磨料本身，更换之间的时间可变化。当需要更换磨料时，离散动作选择器模块330将向过程300发出信号作为其主要工作。另外，许多研磨操作利用某种形式的补充流体等。离散动作选择器模块330还处理何时使用补充流体和/或使用补充流体的量。这种逻辑也适用于磨光和抛光，在这些地方也需要更换垫，但是通常这种垫的更换频率要低得多。新垫需要调理，并且用过的垫需要不断重新施加抛光。
77.在清漆涂层/油漆修复砂磨的情况下，离散动作选择器模块330获取关于当前盘使用情况的数据(例如，随时间施加的力)，并且任选地获取关于即将进行的修复的信息，并输出包括更换盘/不更换盘、补充流体施加的量等的一组动作。
78.在一些情况下，出于各种原因，离散动作决策基于制造偏好凭经验预先确定。如果是，则在332处提供此类预定动作。例如，一种策略是在每次出现缺陷后更换磨料。这通常是次优的，因为许多研磨产品表现出远远超过单次修复的使用寿命。也就是说，利用磨料的整个使用寿命而不显著改变性能(即，最终修复质量)的最佳决策是有价值的。处于其最先进形式的离散动作选择器模块330考虑磨料更换的成本(在时间和金钱方面)并相应地做出决定。
79.阶段iv
80.第四阶段(阶段iv)是计算磨料的实际使用情况策略的位置。在油漆修复的情况下，这相当于选择处理时间、盘速度、盘运动、施加的力等值。所选择的模块(砂磨过程选择器模块340、磨光过程选择器模块342或抛光过程选择器模块344)对应于当前的处理阶段(即，砂磨、磨光或抛光)。一般来讲，该阶段的输出可以是标量值或时变函数，这取决于所采用的方法的复杂程度。
81.过程选择器模块340、342和344基于当前修复阶段来选择。例如，修复过程的第一遍将调用砂磨过程选择器模块340，随后(最终)选择磨光过程选择器模块342和抛光过程选择器模块344。在一般情况下，整个修复过程是多步骤的并且可以是迭代的。每个过程选择器被选择的顺序和次数没有限制。在这方面，可获得迭代修复策略(尽管由于它们的处理时间较长而并不总是可取的)。
82.凭经验得出的查找表
83.实施这些过程选择器的最直接方法来自现有的经验领域专业知识和过程知识。可以通过查找表或机器学习技术(诸如模仿学习)以多种不同的方式捕获该信息。图9示出了从现有工艺专有技术生成的专门用于油漆修复任务的示例性凭经验得出的查找表900。根据油漆系统、缺陷类型、缺陷量度以及缺陷附近的周围外观，建议采用适当的修复策略。此类表通常在可能/适当时将输入分入区间范围。其他选项是记录许多不同的已知离散策略并使用当前任务进行插值。
84.然后可使用存储在凭经验得出的查找表900中的值来识别缺陷类型，并且使用所测量的参数来确定适当的砂磨、磨光和抛光工具以及应用于缺陷的工序。例如，用于处理所存储的凭经验得出的参数的样本伪代码可能如下所示：
85.切换缺陷_类型：
86.案号尖端：
87.[磨料_类型，
[0088]
磨料_等级，
[0089]
磨料_停留，
[0090]
磨料_力_分布曲线，
[0091]
磨料_rpm，
[0092]
磨料_轨道]＝尖端_磨料_查找(体积_信息，基底_信息)
[0093]
[抛光_化合物，
[0094]
抛光_停留，
[0095]
抛光_力_分布曲线，
[0096]
抛光_rpm，
[0097]
抛光_轨道]＝抛光_查找(基底_信息)
[0098]
磨料_类型，
[0099]
磨料_等级，
[0100]
磨料_停留，
[0101]
磨料_力_分布曲线，
[0102]
磨料_rpm，
[0103]
磨料_轨道)
[0104]
案号坑：
[0105]
[磨料_类型，
[0106]
磨料_等级，
[0107]
磨料_停留，
[0108]
磨料_力_分布曲线，
[0109]
磨料_rpm，
[0110]
研磨_轨道]＝坑_磨料_查找(体积_信息，基底_信息)
[0111]
[抛光_化合物，
[0112]
抛光_停留，
[0113]
抛光_力_分布曲线，
[0114]
抛光_rpm，
[0115]
抛光_轨道]＝抛光_查找(基底_信息)
[0116]
磨料_磨料，
[0117]
磨料_等级，
[0118]
磨料_停留，
[0119]
磨料_力_分布曲线，
[0120]
磨料_rpm，
[0121]
磨料_轨道)
[0122]
...
[0123]
案号默认：
[0124]
[磨料_类型，
[0125]
磨料_等级，
[0126]
磨料_停留，
[0127]
磨料_力_分布曲线，
[0128]
磨料_rpm，
[0129]
磨料_轨道]＝默认_磨料_查找(体积_信息，基底_信息)
[0130]
[抛光_化合物，
[0131]
抛光_停留，
[0132]
抛光_力_分布曲线，
[0133]
抛光_rpm，
[0134]
抛光_轨道]＝抛光_查找(基底_信息)
[0135]
磨料_磨料，
[0136]
磨料_等级，
[0137]
磨料_停留，
[0138]
磨料_力_分布曲线，
[0139]
磨料_rpm，
[0140]
磨料_轨道)
[0141]
在样本实施方案中，所述方法根据技术人员/专业人员凭经验得出的规则实施自动化研磨油漆修复策略和程序。如图9所示，作为输入提供的凭经验得出的参数可包括：
[0142]
1.来自所提供的分类器的缺陷类型。样本缺陷类型包括尖端、坑、液滴、凹陷、毛发等。
[0143]
2.缺陷的近似体积信息。样本包括高度、宽度、纵横比等中的任一种/全部。
[0144]
3.基底材料信息。样本包括类型、材料、硬度等中的任一种/全部。在样本实施方案中，所提供的过程参数可包括停留时间、力(分布曲线)等。
[0145]
如本文所述，这些输入可手动测量或可使用自动数字机器人检查(即，相机)来测量。在样本实施方案中，所得的自动化研磨油漆修复包括研磨步骤，随后是一个或多个磨光/抛光步骤，其中过程选择器模块340、342和344首先生成研磨过程参数，然后生成抛光参数，由此抛光参数是通过考虑先前生成/执行的修复策略来选择的。在第一实施方案中，过程选择器模块340、342和344使用参数选择算法从图9所示类型的凭经验得出的查找表中选择参数，所述参数选择算法为输入的凭经验设计的参数函数。在另选的实施方案中，可通过实现决策树和/或已知k最近邻方法的参数选择算法来选择参数，并且/或者使用机器学习技术(即，分类和/或回归)来生成参数选择，如下文更详细地描述的。
[0146]
所得的磨料特定输出可包括磨料类型(产品/系列)、磨料等级、砂磨工具使用的rpm、轨道等。所得的抛光特定输出可包括化合物、磨光/抛光工具使用的rpm、轨道等。就油漆而言，输入可包括基底固化水平、橘皮测量、雾度灵敏度等。
[0147]
这种方法的结果可以指定两步或三步油漆缺陷修复系统的标准操作程序。例如，第一步骤可指定待使用的磨砂机工具和垫以及适当的磨料。应向使用者提供有关所选砂磨工具和垫的最佳操作的砂磨说明和技巧。第二步可指定待使用的抛光工具和垫以及推荐的抛光。应向使用者提供有关所选磨光工具和垫的最佳操作的磨光说明和技巧。在三步修复系统中，第三步可指定磨光工具和垫以及推荐给我们的抛光。还应向使用者提供有关所选磨光工具和垫的最佳操作的磨光说明。
[0148]
机器学习过程
[0149]
在其他实施方案中，可在过程选择器模块340、342和344中应用完整的端到端机器学习技术。例如，图10示出了包括学习部件和基于云的过程规划和优化的机器人油漆修复系统的样本实施方案。在图10的实施方案中，机器人油漆修复堆栈1000已从上文讨论的机器人油漆修复堆栈106增强，以进一步包括附加传感器1002、智能工具1003、辅助控制单元1004、以及云计算系统1006，该云计算系统包括数据库1007，该数据库是本地的或保持在云计算系统1006中，并且负责执行和保持油漆修复堆栈1000的控制策略，该控制策略包括由
机器学习单元1008推荐并由策略服务器1009保持的那些策略和程序。数据库1007和策略服务器1009可以在云中或在本地现场服务器或边缘计算机中。
[0150]
辅助控制模块1004代替先前驻留在机器人控制器1002中的确定性代码，并且提供立即的实时信号和处理以用于执行机器人操纵器1004和智能工具1003。就这一点而言，机器人操纵器1004现在在由辅助控制器1004驱动的系统1000中起反作用。云计算系统1006的数据库1007用作长期数据储存库，该长期数据储存库存储与所识别的缺陷相关的对包括状态变量、测量和所得性能的处理的观察，以生成由策略服务器1009实现的策略。最后，机器学习模块1008负责基于观察(状态/传感器数据)和后续回报(修复的质量)连续改善修复策略。在线学习是通过强化学习的形式来完成的，诸如时间差分(td)学习、深度q学习、信任区域策略优化等。
[0151]
在图10的实施方案中，机器人操纵器104能够充分定位端部执行器(堆栈)工具1005以实现本文所述的缺陷检查和修复。对于本文相对于样本实施方案所述的问题领域(底漆/油漆/清漆涂层修复)，缺陷通常位于基底120(金属片、塑料、碳纤维等的多个成形件的组件)的外表面上，该表面通常表现出2d歧管结构(即，其为局部“平坦的”或“平滑的”)。虽然理论上可使用较低自由度系统，但已发现工业标准六自由度串行机器人操纵器是该过程的最佳适配。一些示例包括发那科公司(fanuc)的m
‑
20系列、abb公司(abb)的irb 1600、或库卡公司(kuka)的kr 60系列。例如，kuka kr 60ha具有6个轴和自由度，支持60kg有效载荷，并且具有2.033m的可及范围。在下文对堆栈1005的描述中更详细地涵盖了过程特定的工具(即，端部执行器)。
[0152]
机器人控制器模块102是用于所选择的机器人操纵器104的机器人oem提供的控制器。机器人控制器模块102负责将运动命令直接发送到机器人操纵器104并监测任何单元相关的安全问题。在实践中，机器人控制器模块102通常包括与一个或多个安全可编程逻辑控制器(plc)结合以用于单元监测的机器人控制器。在样本实施方案中，机器人控制器模块102被设置为从辅助控制单元1004获取输入，该辅助控制单元提供缺陷特定的信息和/或命令。根据期望的具体实施，这经由程序下载或预先确定的函数的参数来执行离线发生，或者经由位置/速度偏移流实时发生。离线方法的示例将是由机器人控制器模块102运行的用本地机器人语言(例如，rapid、krl、karel、inform等)的预处理机器人程序。另一方面，示例性串流接口将通过机器人oem提供的传感器接口包，诸如发那科公司的动态路径修改包或库卡公司的机器人传感器接口。在该实时实施方案中，辅助控制器1004(下文进一步详细描述)将基于正在修复的缺陷向机器人控制器模块102发送在线实时位置偏移。
[0153]
在样本实施方案中，具有用于位置校正的在线实时串流的kuka.robotsensorinterface选项包的kuka kr c4控制器可与kuka kr 60ha机器人操纵器104一起用作机器人控制器102。
[0154]
在图10的实施方案中，检查前数据模块116和检查后数据模块118为每个待处理的部件提供全车身检查数据。此处所需的传感器1002的类型取决于目前问题的特性(即，底漆或清漆涂层修复)。具体地讲，基底120的表面的镜面反射驱动传感器1002的选择。对于高度镜面(反射)表面，通常选择反射方法，其中前沿技术之一是校准的立体偏折法。对于非反射场景(即，底漆修复)，投影方法是优选的。这两种方法在其基本数学原理上类似，并且主要不同之处在于其表面照明方法(即，偏折/反射与投影)。除了投影方法之外，对于非镜面场
景或混合场景，使用漫反射或非结构化光与常规单色或rgb成像也是有益的。
[0155]
在车身的清漆涂层修复和足够镜面反射的样本实施方案中，将micro
‑
epsilon反射控制成像系统用于检查前模块116和检查后模块118两者，从而实现连续的现场学习和策略改善以及过程漂移补偿。
[0156]
辅助控制器1004用作专用油漆修复端部执行器1005、机器人操纵器104和云计算系统1006和/或本地现场服务器或边缘计算机之间的中央通信集线器。辅助控制器1004接收用于目前修复的所有缺陷检查数据(来自检查前数据和/或任何机器人安装的硬件，诸如端部执行器传感器1002)，并且将所得策略传输到机器人控制器模块102和端部执行器堆栈1005，如图10所示。如上所述，根据特定具体实施，该传输可以是在线的或离线的。辅助控制器1004还负责控制任何专有的端部执行器硬件1005，诸如顺应力控制单元108、空气/伺服工具、水/化合物分配器、传感器1002等。
[0157]
在样本实施方案中，辅助控制器1004包括运行实时/低延迟linux内核的嵌入式(工业硬化)过程pc。通过udp协议完成与机器人控制器模块102的通信(经由kuka.robotsensorinterface)。与各种端部执行器部件1005的通信可为udp、tcp、usb(其上串行)、数字输入/输出等的混合。
[0158]
堆栈(端部执行器工具)1005可包括样本实施方案中的目标所需的任何过程特定的工具。相对于包括材料移除(砂磨、底漆修复、清漆涂层修复、抛光等)的实施方案，需要某种形式的压力/力控制和/或顺应性。一般来讲，机器人操纵器104本身太过刚性而不能充分地施加用于清漆涂层修复的正确处理力，因此通常需要或期望某种形式的主动顺应性。除了工具1003和研磨系统112之外，传感器1002也是期望的，因为原位检查允许在处理时间进行局部高保真度测量以及在处理中获得反馈的能力，这对于仅使用检查前和检查后的方法是不可实现的。例如，处理中反馈有助于成功的学习算法。
[0159]
对于机器人油漆修复(以及更广义地，机器人砂磨)的应用，用作传感器302的期望传感器包括(但不限于)以下各项：
[0160]
1.使用加速度计或麦克风检测振动并且使用rpm工具，关节受力(即，力、扭矩、加速度和/或速度)，包括加速度和/或速度的线性(端部执行器)受力(即，力和/或扭矩)以及力/压力工具检测动力学的本体感受传感器。
[0161]
2.包括成像传感器、温度传感器和/或湿度传感器的外感受传感器。成像传感器可以是包括rgb传感器、单色传感器、红外传感器、雾度传感器、反射率传感器和/或漫射率传感器的视觉传感器，或者可以是包括rgb
‑
d(结构化光、飞行时间和/或立体摄影测量)、立体偏折法、轮廓测量法和/或显微镜法的地形传感器。外感受传感器还可包括用于弹性体成像(即，gelsight)的触觉传感器。
[0162]
3.也可使用温度传感器，包括热电偶和/或ir热成像。
[0163]
4.也可使用湿度传感器。
[0164]
在用于砂磨、底漆修复、清漆涂层修复和抛光应用的样本具体实施中，磨料/化合物112可包括3m trizact finesse
‑
it研磨系统，该研磨系统与3m气动随机轨道式砂磨机一起用作工具1003。在这样的样本具体实施中，顺应力控制单元108可包括ferrobotics acf，并且传感器1002可包括pico投影仪、5英寸4k lcd微型显示器、以太网相机和/或gelsight单元。下文提供了传感器1002的另外示例。
[0165]
高水平的手动清漆涂层修复过程在行业中是众所周知和被接受的。这是两步过程：研磨/砂磨和抛光/磨光。从自动化的角度来看，以下输入和输出在不同的实施方案中可能是相关的(具有来自3m finesse
‑
it
tm
系统的示例)：
[0166]
输入：
[0167]
共用(砂磨和抛光)
[0168]
工具速度[频率]
[0169]
工具轨道[长度]
[0170]
随机性(即，随机轨道与轨道)
[0171]
路径图案
[0172]
路径速度[速度]
[0173]
施加的力
[0174]
角度(即，偏离法线)
[0175]
总处理时间
[0176]
砂磨特定的支撑垫
[0177]
硬度
[0178]
磨料盘
[0179]
产品
[0180]
例如，{468la、366la、464la、466la}
[0181]
等级
[0182]
例如，{a3、a5、a7}
[0183]
直径/扇形部
[0184]
例如，{1
‑
1/4"，1
‑
3/8"扇形}
[0185]
状态
[0186]
年龄(例如，年龄≈f(压力，时间))
[0187]
清洁度(例如，盘是否已被清洁？)
[0188]
抛光特定的磨光垫
[0189]
泡沫
[0190]
例如，{灰色、橙色、红色、绿色、白色}
[0191]
直径
[0192]
例如，{3
‑
1/4"，3
‑
3/4"，5
‑
1/4"}
[0193]
表面轮廓
[0194]
例如，{平坦的蛋箱}
[0195]
抛光
[0196]
量
[0197]
分布
[0198]
结束
[0199]
例如，{fm、p、ef、k211、ff、uf}
[0200]
输出：
[0201]
均匀度
[0202]
粗糙度
[0203]
光泽度百分比
[0204]
磨光时间
[0205]
最终磨光质量(例如，均匀度、雾度等)
[0206]
在样本修复场景中，可实现包括此类输入和输出的处理流程，如图11所示。如图11所示，处理流程1100包括在1102处从检查前数据模块116向辅助控制器1004提供检查前数据。检查前数据包含每个所识别的缺陷的全局、车身中心坐标以及缺陷本身的(任选的)几何数据/轮廓和/或分类。在1104处，将所识别的缺陷的全局坐标以及任何外部轴(诸如传送带位置)一起传送到机器人控制器模块102，使得机器人操纵器104可使端部执行器连续地紧密接近所识别的缺陷。如果提供了任选的局部缺陷信息和/或分类，则这可用于选择要处理或跳过的缺陷。然后，在1106处，辅助控制器模块1004结合机器人控制器模块102移动机器人操纵器104并由传感器1002触发端部执行器感测，以使用局部未校准的偏折法信息来获取原位局部缺陷检查数据。
[0207]
在1108处，将检查前数据、原位检查数据和系统的当前状态(例如，加载的磨料/化合物、磨料寿命、当前工具等)转移到云计算系统1006中的策略服务器1009，该策略服务器获取所有检查数据和当前系统状态并使用先前学习的控制策略返回修复动作。然后在1110处由辅助控制器1004通过与机器人控制器模块102和端部执行器堆栈1005同时通信来执行来自所学习的策略的返回砂磨动作(两部分修复的步骤一)。该示例中的动作包括用于工具rpm的设定点、压力(到顺应力凸缘中的控制输入)、机器人轨迹和总处理时间。在样本实施方案中，使用kuka.robotsensorinterface包接口将机器人轨迹作为与缺陷原点的时变位置偏移来传送。使用传感器1002收集原位数据以确保修复的质量。保存原位数据，以便稍后使用条纹图案投影或传统成像来进行学习更新，该传统成像使用单色/rgb相机以及漫反射或非结构化白光以捕获来自新磨损区域的漫反射。
[0208]
除了驱动所选择的修复策略之外，任何原位成像数据还可用于在引导机器人时定位/伺服去除缺陷，从而消除制造系统中的任何错误。一般来讲，全局检查前数据(如果收集的话)在制造过程中明显地在上游获取，并且到部件到达油漆修复工位时，定位误差可容易地达到英寸的数量级。
[0209]
如果在1114处确定修复不令人满意，则可重复步骤1106
‑
1112，直到修复被认为是令人满意的，但是在最佳修复策略执行的情况下不需要此类迭代。
[0210]
还可重复步骤1106
‑
1114以用于从云计算系统1006中的策略服务器1009返回的磨光命令(两部分修复的步骤二)。
[0211]
最后，在1116处，由检查后数据模块118收集关于最终修复质量的检查后数据，并且将检查后数据发送到辅助控制器1004以进行处理。将所有数据(检查前、原位和检查后)发送到云计算系统1006中的策略服务器1009，以用于记录和学习更新。该过程随后在1118处结束。
[0212]
策略服务器1009在本文中已被描述为位于云计算系统1006中。然而，应当理解，策略服务器1009可根据期望的具体实施和/或安全性需求而位于制造车间的机器人油漆修复堆栈1000的其余部分的本地。在操作中，策略服务器1009保持一个或多个当前学习的策略，并且基于状态和观察查询提供控制输出。通过适当的学习算法(如下所述)获得策略。策略
服务器1009的输出的特定性质取决于由辅助控制器1004所使用的通信模式(即，在线或离线)。在离线方法中，策略服务器1009的输出对应于过程参数，诸如停留时间、压力、速度等。另一方面，在线方法能够输出直接控制机器人的关节(致动器)处的受力的策略。在该场景中，延迟是问题并且通常需要本地(非基于云的)策略服务器1009。
[0213]
在策略服务器1009的基于云的样本配置中，策略服务器1009接收检查前数据和系统状态作为输入，并且输出处理时间、处理压力、处理速度(rpm)、轨道图案(工具轨迹)等。策略服务器1009任选地还可接收原位检查数据。
[0214]
机器学习单元1008是与策略服务器1009串联运行并运行学习更新以在请求时改善策略的模块。机器学习程序包括学习用于缺陷修复的良好策略，其中策略只是情形(缺陷观察)与行为(机器人动作/修复对策)之间的映射。理想的是，机器学习系统1008提供超人性能，因此不能假设存在缺陷和修复对策的显著较大标记数据集。因为现有知识可能不完整，所以系统不使用监督学习技术作为整体解决方案。然而，系统确实具有使用在处理期间收集的传感器反馈将修复识别为良好或不良(或其间的任何地方)的能力，并且还具有使用强化学习来解决缺陷和修复对策的较大标记数据集的缺乏的能力。
[0215]
强化学习是旨在通过经验改善性能的一类问题和解决方案。一般来讲，强化学习系统具有四个主要元素：策略、回报函数、值函数和系统的任选模型。该策略主要是当其将系统的感知状态映射到动作时有兴趣查找的内容。在本文所述的样本场景中，这是缺陷图像与机器人修复动作之间的映射。可以对图像进行预处理和/或提取特征，但这些不是必需的。回报函数将问题的目标定义为状态(或状态
‑
动作对)之间的映射以及捕获情形期望性的单个数值回报。该系统的目标是识别使回报最大化的策略。值函数是对从用于制定策略的当前状态可实现的未来回报的预测。任选的模型是可用于规划目的的环境的近似值。
[0216]
一般来讲，大多数强化学习任务(包括用于样本实施方案中的那些强化学习任务)，满足马尔可夫特性并且构成马尔可夫决策过程(mdp)。在高水平下，使用机器学习的砂磨和抛光过程的缺陷修复问题可由图12所示的mdp转换图1200表示为有限mdp。在图12的mdp转换图1200中，使用s＝{初始(1202)、砂磨(1204)、抛光(1206)、完成(1208)}的四个状态来表示任务。初始状态1202为其初始未改变状态下的缺陷。砂磨状态1204和抛光状态1206分别在砂磨动作和抛光动作之后发生，并且完成状态1208标记修复的结束(以及学习阶段的结束)。另一方面，动作由集合a＝{完成(1210)、tenddisc()(1212)、砂磨()(1214)、抛光剂()(1216)}表示。如图所示，完成动作1210立即将系统转到(终止)完成状态1208。来自初始状态1202的完成动作1210类似于“不修复”场景，并且使系统能够在缺陷不可修复和/或修复将使系统处于比其原始状态更差的状态的情况下选择不进行修复。tenddisc()1212动作向机器人操纵器104发出信号，以获得用于端部执行器堆栈1005的新磨料盘112，将水施加到当前盘112，或者执行当前盘112的清洁操作以移除加载的材料。一般来讲，磨料寿命大于单次修复。然而，磨料盘112随时间推移的性能不是恒定的。具有该动作允许系统(最佳地)决定何时需要或期望新磨料盘112。另外，最佳策略将考虑盘的学习的磨料寿命补偿并相应地选择修复动作(例如，当垫磨损/负载时，可能需要更多的力等)。最后两个动作，砂磨()1214和抛光()1216是处理函数并且一般是参数的。参数包括处理信息，诸如工具rpm、施加的压力、停留/处理时间、修复轨迹等。根据所识别缺陷的性质和要采取的修复动作，多个不同的参数化是可能的。
[0217]
虽然该问题已表达为有限mdp，但应当理解，每种状态和动作都存在于连续域内。例如，高水平的砂磨状态1204表示砂磨发生后的缺陷，但状态本身包括砂磨之后的缺陷的成像数据，该成像数据固有地为高维和连续的。另外，砂磨动作1214和抛光动作1216分别是参数函数，其中参数本身是连续的。
[0218]
如图13所示的另选简化mdp转换图1300是可能的，其中完全修复由单个砂磨动作1214、之后是单个抛光动作1216组成。mdp转换图1300减少了任何给定状态下的动作数量，并且因此减小了目前问题的维度。虽然mdp转换图1300构成简化，但是问题可更一般地以完全连续的方式来表达，其中状态被扩展成包括机器人的关节位置/速度，并且动作被扩展成由位置、速度或受力命令组成。在该场景中，机器人操纵器104没有被给予有限状态转换形式的修复过程的经验领域知识，而是必须学习实现期望过程的实时控制动作。然而，该问题公式化需要显著更多的经验来收敛到有用的策略，并且对于目前工业任务可能不必要地为普遍的。
[0219]
在使用中，系统继续拍摄图像并在过程中提供传感器反馈，该传感器反馈用于在运行中调节系统参数。
[0220]
机器学习系统的样本实施方案也可在所示的自动化机器人清漆涂层缺陷修复系统上实现。描述了两种可能的算法具体实施：图12和图13所示的mdp转换图中的每一者有一种可能的算法具体实施。对于两个示例，使用相同的硬件设置，包括机器人操纵器104和机器人控制器102，它们使用kuka kr10 r900 sixx与kr c4 compact控制器来实现；工具1003，其包括结合ferrobotics acf/111/01xshd主动接触凸缘的机器人安装的定制随机轨道式砂磨机(ros)；磨料/抛光盘，其包括3m finesse
‑
it
tm
系统(例如，具有3m抛光和对应的支撑垫/附件的3m trizact磨料盘)；以及传感器1002，其包括5"4k led显示器、1080p pico投影仪和5mp彩色ccd摄像机，用于以镜面(偏折法)和漫射(条纹投影)两种模态成像。
[0221]
利用上述设置，使用图12的较大n步mdp转换图应用上述系统和方法。在这种情况下，深度确定性策略梯度(ddpg)与分级经验回放(her)和稀疏回报(经由预先训练的分类器)一起使用。
[0222]
上述系统和方法也使用图13的简化的较小2步mdp转换来应用，假定利用成像的砂磨和抛光的处理步骤紧接在每个步骤之前。在这种情况下，再次使用深度确定性策略梯度(ddpg)，但替代地使用基于图像的成形回报(类似于感知回报函数的工作)，其基于修复区域与“良好”周围区域相比的相似性度量。该方法基于这样的观察，即完全修复与周围未修复的良好区域没有区别。
[0223]
上述系统和方法也使用图13的简化的较小2步mdp转换来应用，假定利用成像的砂磨和抛光的处理步骤紧接在每个步骤之前。在这种情况下，连续的参数动作与离散化参数一起用作输入，从而使得能够使用深度q学习(dqn)。这种情况可使用稀疏回报或成形回报中的任一者。
[0224]
数据收集
[0225]
任何强化学习问题中的重要问题是为学习算法生成足够的经验以收敛到期望的最佳策略。在工业处理应用中，生成足够的经验是显著的问题，并且通常成本过高和/或耗时。所有强化学习的一种通用方法是利用足够好的计算机(数字)模拟来生成经验。然而，对于工业任务和一般的处理，构建准确的计算机模拟的任务可能与找到最佳策略的问题一样
困难或者甚至更难。也就是说，找到产生低成本、数据丰富的真实世界经验的有效和更熟练的方式常常是重要的。在这方面，生成足以反映感兴趣的实际制造过程的物理模拟。
[0226]
相对于目前的领域，机器人油漆修复，由于该过程本质上固有地为“破坏性”的以及因此不可逆的(即，施加到油漆缺陷的任何处理将改变缺陷的状态)，该问题甚至更困难。下文概述了用于数据收集程序和缺陷部件创建两者的实施方案。
[0227]
缺陷模拟
[0228]
某种形式的模拟(数字或物理)通常是期望的，以便为所应用的学习算法生成足够量的经验。下面在油漆修复的上下文中概述了几种可能的方法。
[0229]
首先应注意，绝大部分油漆修复发生在表现出2d歧管结构的车身区域上(即，它们在单次修复的上下文中是局部平坦的)。汽车车身的高曲率区域(例如，在装饰物、门把手等周围)是例外，但是一般来讲，来自平坦表面的所学习的策略可应用于具有一些机器人轨迹修改的弯曲表面。考虑到这一点，方便的(从成本和处理的角度来看)标准化是对于大多数数据收集和经验生成使用平坦的刷上油漆的基底。
[0230]
平坦的刷上油漆的矩形测试面板可商购获得于具有多种可用的不同厚度、大小、油漆、清漆涂层、面漆下涂层等的多种不同基底上。面板可购自这样的商业来源或使用与待学习的过程相同或类似的方法和装备来制备。
[0231]
理想的是，始终不会在制造部件上引入油漆缺陷，并且因此制造过程被设计成生产可能的最佳部件。实际上，确实存在缺陷；然而，从强化学习的角度来看，任何生产部件或模拟测试/学习基底上的缺陷密度都相对较低。每个制造过程在质量方面都不同，但每千平方英寸油漆具有大约小于一个缺陷并不罕见。因此，找到足够量的缺陷以生成学习算法的经验可能变得非常昂贵。
[0232]
为了解决该问题，已开发出生成缺陷足够密集的基底的方法。对于任何方便的标准大小的平坦基底，产生缺陷密度为大约每平方英寸大于一个的有缺陷的油漆和/或清漆涂层。确切的密度是可调节的，但是特定的密度导致学习基底的任何任意栅格离散化将包含至少一个缺陷的概率很高。
[0233]
通过利用(合成)污染物、硅氧烷、油漆/清漆涂层喷涂速率/图案、溶剂等的组合，可以模仿大多数感兴趣的天然存在的缺陷，诸如尖头(污染物)、凹坑、鱼眼、液滴、表膜不匀等。图14示出了在清漆涂层下面引入特定大小的合成污垢的结果。图14示出了高密度缺陷学习基底，其中缺陷在顶篷光反射的边界处最为可见。为了制备该学习基底，从可商购获得的刷上油漆并且涂覆有清漆涂层的测试面板开始。将面板整体砂磨(在随机轨道式工具上使用3m trizact 6英寸盘)，然后在重新施加清漆涂层和最终固化之前用合成污垢进行处理。
[0234]
附加方法涉及使用足够薄的面板并且以受控方式(例如，利用弹簧加载的冲头)冲压背面以在顶部上产生凸起的缺陷。虽然方便，但此类缺陷并不总是像天然存在和在oem环境中的那些缺陷一样模仿精确的修复行为。
[0235]
数据收集程序
[0236]
以下为用于收集缺陷修复数据的示例性程序。不管缺陷的类型、数量和/或存在与否，系统都在多个离散的预先确定的位置处对基底执行缺陷修复(参见例如下文的离散化和讨论)。除了学习/优化算法差异之外，单个基底的基本处理结构如下：
[0237]
对于所提供的基底q
[0238]
图像q
[0239]
对于q的每个单元i,j
[0240]
采取动作tenddisc()
[0241]
采取动作砂磨()
[0242]
end for
[0243]
图像q
[0244]
对于q的每个单元i,j
[0245]
采取动作抛光()
[0246]
采取动作完成
[0247]
end for
[0248]
图像q
[0249]
end for
[0250]
从图12和图13的mdp中获取指定状态砂磨和完成，并且由指定的学习/优化算法提供由动作获取的任何参数。
[0251]
如所概述的，首先对基底120进行成像，并且随后呈现给机器人以进行砂磨。基底120经由压紧机构(例如，磁体、真空、夹具等)固定。在预定义栅格的每单元基础上，算法首先经由tenddisc()动作执行盘保养。这导致磨料盘的清洁、润湿和/或改变的某种组合。然后基于当前经由策略服务器1009提供的策略的成像数据(缺陷特性)，来采取砂磨()动作。
[0252]
在每个栅格位置被砂磨之后，然后在抛光之前再次对面板进行成像。同样，在每单元基础上，机器人用施加到每个栅格单元的指定抛光来抛光基底的预先确定栅格位置中的每个栅格位置。在抛光之后，再次对面板进行成像。
[0253]
在如上所述处理整个面板之后，在修复过程之前、期间和之后，经由成像数据的缺陷特性可用于栅格单元中的每个栅格单元。另外，结合特性成像数据为每个单元存储所执行的策略。在已处理规定数量的基底之后，对单元中的每个单元运行强化学习更新。
[0254]
上述内容可基于速度和成本要求在自动化范围上实现。简单的具体实施可对于砂磨动作和抛光动作中的每一者使用单独的机器人，并且可使用台式成像设置，其中操作人员负责在单元之间移动基底以及在需要时更换盘。完全自动化的设置可以包括用于端部执行器的工具更换，并且因此可用单个机器人来实现。另外，传送机可用于基底处理，或者成像可经由安装在单元上的相机或成像端部执行器在机器人单元内发生。
[0255]
利用具有高密度缺陷的刷上油漆的基底和自动化的基于栅格的策略执行的上述方法，期望使栅格离散化尽可能紧密以使每个基底的使用部分最大化。作出规定以使得在基底处理程序期间没有修复干扰其相邻单元。一种方法是选择最紧密的单元离散化，使得任何特定的修复动作完全存在于单个单元内。这种原始方法虽然可行，但可能导致对基底的利用不佳。
[0256]
使用3m finesse
‑
it
tm
系统作为示例，概述了用于有效基底处理的样本离散化。在该系统中，磨料盘显著小于磨光垫(例如，直径为1英寸
‑
1/4英寸的砂磨垫与直径为3英寸
‑
1/2英寸的磨光垫)。另外，随机轨道式工具上的抛距分别为1/4英寸和1/2英寸。假定具有至少半直径的圆形轨迹重叠，则用于砂磨和抛光的最小修复影响区域分别是直径为2英寸
‑
1/
4英寸和6英寸的圆圈。此处可以看出，所需的磨光区域大得多，并且因此通过极大地限制修复单元嵌套密度而显著造成基底浪费。
[0257]
为了克服该限制，可以设计出在相邻单元之间共用抛光的修改的面板处理程序。相邻批次的单元可被独立地磨光，然后使用由各个单元的抛光轨迹的串接形成的抛光轨迹一起抛光。
[0258]
作为示例，使用3m
‑
finesse
‑
it
tm
系统建议的“l”形抛光轨迹，其中缺陷位于“l”的左下顶点处，并且抛光垫以交替的上下运动和左右运动移动。利用该图案，可以通过旋转和平移来将四个“l”放置在一起以形成正方形。因此，可独立地砂磨一起形成正方形的四个单元，然后使用正方形抛光轨迹对其进行抛光。该方法极大地提高了可实现的单元密度，并且允许在12英寸
×
18英寸的基底上有最多24个修复单元。
[0259]
图15示出了由透明圆圈1500描绘的样本抛光图案。缺陷位置被描绘为点1502。具有虚线轮廓的圆圈表示修复区域1504。每次抛光机停止时，“l”图案1506(左)和正方形图案1508(右)由带有数字的箭头1510表示。
[0260]
图16示出了在18英寸
×
24英寸面板基底1602上具有前述finesse
‑
it
tm
附件尺寸的抛光图案1600的高效嵌套的示例。每组四次砂磨修复共用图15(右)中的单个正方形抛光路径。
[0261]
缺陷特性
[0262]
一般来讲，缺陷特性可被视为以下各项的任何组合：
[0263]
工程化特征(尺寸、类型等)
[0264]
原始图像数据(强度值的矩阵/张量)
[0265]
修复前、修复中(原位)或修复后收集
[0266]
当前方法使用一般以人为中心的工程化特征。即，它们基于当前手动过程的历史专业知识而存在。此类特征包括“有意义的”量度，诸如缺陷的类型、缺陷的大小、缺陷的严重性等。在实践中，每个制造商具有其自身的一组特征和相应的分类，这些特征和分类随时间推移以油漆修复过程的操作程序的形式演变。另外，许多较新的自动化检查提供以及其自身的分类和特征。
[0267]
例如，图17示出了由micro
‑
epsilon反射控制装置1702提供的一系列油漆缺陷图像1700。这些分类传统上是基于人类处理经验/专业知识来凭经验设计的，但是其他方法已经成功地使用了较新的机器学习技术，诸如监督学习和无监督学习。
[0268]
虽然看起来有吸引力，但机器人过程不一定受益于此类以人为中心的特征、分类和/或描述符。通过使用强化学习技术以及深度神经网络，系统被给予经由卷积核在内部学习其自身的表示的自由，该卷积核在过程领域(即，机器人油漆修复)的上下文中最佳地捕获缺陷特性。
[0269]
发明人已发现使用未处理的、未校准的和/或原始的成像数据代替前述传统的工程化特征描述符的益处。在样本实施方案中使用来自图像处理模块314的未校准的偏折法数据。该方法极大地减轻了系统的复杂性，因为校准、对准和处理可能是实现这样的视觉处理的最困难部分。另外，使用未校准的和/或原始的成像极大地减小了保持负担，并且允许可以采取原位处理成像和数据的较小(安装机器人的)系统。这可极大地改善系统的学习速率以及改善总体能力、性能、反馈、分析选项等。
[0270]
图18至图20示出了可如何使用未校准的偏折法图像来计算缺陷的局部曲率图。图18示出八个图像，四个具有偏折的垂直条纹图案1800，并且四个具有偏折的水平条纹图案1802，每个图像都是在图案源偏移π/2的倍数处拍摄的。图19示出了使用四个偏折的条纹图案上的像素的反正切计算出的水平曲率图和垂直曲率图。顶部曲率图1900是反正切(模2π)的结果，中间曲率图1902是解缠的相移的结果，并且底部曲率图1904是使用一阶有限像素级差值近似的局部曲率的结果。图20是组合了水平结果和垂直结果两者的复合(平方和的平方根)局部曲率图，该水平结果和垂直结果被可视化为强度图2000和网状栅格2002两者。
[0271]
使用偏折法计算表面的高度图的更常见的动作需要对所测量的相移进行积分，并且因此对校准和噪声非常敏感。局部曲率改为使用导数，因此不太敏感。另外，如果仅关注显著小的区域(即，单个缺陷修复)，则可作出以下假设：低曲率特征不相关(即，2d歧管)，并且因此可利用相对曲率作为缺陷大小和强度的指示符。
[0272]
在上述示例中，局部曲率是手动提取的，但仅为了示出这样的信息存在于原始成像数据内并且是有用的。在实践中，强化学习算法将发现类似的(可能更相关的)特征和映射。
[0273]
上述示例的另一个感兴趣的用途是构造回报函数和缺陷分类。局部曲率图提供简单的阈值方法，其中如果最大局部曲率超过某个阈值，则区域被标记为有缺陷的。
[0274]
实用性还可存在于使用近暗场反射光以及用非结构化白光和rgb/单色相机进行的常规成像的更简单方法中。前者对镜面(处理前/处理后)和哑光/漫射(处理中)原位起作用，并且后者原位起作用。图21示出了样本近暗场反射图像2100。在该方法中，像素强度可被解释(利用关于表面均匀度的一些假设)为表面梯度(即，斜率)的近似值。因此，此类图像具有提供表面/缺陷信息的能力，而没有像偏折方法那样的相位解缠的计算负担。
[0275]
以强化学习能够推断其自身的特征表示的相同方式，强化学习还能够学习使用对磨料未来性能的影响。换句话讲，磨料在其整个寿命中表现不同。通过在mdp状态增强中对盘的使用进行编码，策略可以基于磨料的预测状态来选择动作。一些可能的编码仅包括修复的次数，或力、时间等的更复杂的函数。另一种方法是经由来自端部执行器的原位数据收集结合指示性能的测量诸如振动/热量/等，或者甚至将传感器放置在研磨制品(或抛光垫)本身内。在该方法中，允许强化学习算法直接识别和利用在过程中观察和预测性能之间的映射。
[0276]
阶段v
[0277]
重新参见图3，最终阶段(阶段v)是由应用程序控制模块350执行所选动作。根据具体实例，应用程序控制模块350使端部执行器工具、机器人和其他重要工具的动作和反馈同步。
[0278]
在最高级别，应用程序控制模块350仅负责执行由离散动作选择器模块330和处理器选择器模块340、342和344提供的动作。然而，根据动作规范的确切性质，应用程序控制模块350的实施方式可以不同。两个主要控制特性是控制的宽度和输入形式。
[0279]
控制宽度由在应用程序控制模块350控制下的设备的数量确定。在简单的情况下，应用程序控制模块350可以向主设备诸如工业plc发送命令。对于更先进的实施方式，应用程序控制模块350可直接控制任何专用硬件，包括机器人、端部执行器和辅助设备。
[0280]
例如，应用程序控制模块350可提供指示磨料基于所施加的阻力和压力切割基底
120的表面的良好程度的反馈，可测量在该过程中使用的水的乳浊度，因为乳白色水指示尘屑的量，这继而指示切割发生的良好程度。类似地，砂磨后可以用相机或肉眼检查砂磨盘，以确定盘上是否有过量的材料。然后，应用程序控制模块350将相应地调整过程300。
[0281]
关于输入形式，输入形式可在从(简单)离散和/或标量输入到任意时变函数的最一般(复杂)的情况的范围内。在后一种情况下，应用程序控制模块350必须具有与所有相关硬件和传感器的实时交互。
[0282]
计算机实施方案
[0283]
图22示出了可被编程到适用于实现本文所公开的系统的一个或多个实施方案的专用计算机中的典型通用计算机。上述机器人控制器模块102、辅助控制模块1004、机器学习单元1008和云计算系统1006可在专用处理装置上或任何通用处理部件上实现，诸如具有足够的处理能力、存储器资源和通信吞吐能力以处理置于其上的必要工作负荷的计算机。这样的通用处理部件2200包括与存储器装置通信的处理器2202(其可被称为中央处理器单元或cpu)，该存储器装置包括二级存储装置2204、只读存储器(rom)2206、随机存取存储器(ram)2208、输入/输出(i/o)装置2210和网络连接性装置2212。处理器2202可被实现为一个或多个cpu芯片，或者可以是一个或多个专用集成电路(asic)的一部分。
[0284]
次级存储装置2204通常由一个或多个磁盘驱动器或磁带驱动器构成，并且用于数据的非易失性存储，并且如果ram 2208不够大以保持所有工作数据，则用作溢出数据存储装置。当选择用于执行的此类程序时，次级存储装置2204可用于存储加载到ram 2208中的程序。rom 2206用于存储在程序执行期间读取的指令和可能的数据。rom 2206是非易失性存储器装置，其相对于次级存储装置2204的较大存储容量通常具有小存储容量。ram 2208用于存储易失性数据并且可能用于存储指令。对rom2206和ram 2208两者的访问通常比对次级存储装置2204的访问快。
[0285]
本文所述的装置可被配置为包括存储计算机可读指令的计算机可读非暂态介质以及联接到存储器的一个或多个处理器，并且在执行计算机可读指令时，将处理部件2200配置为执行上文参考图1至图21所述的方法步骤和操作。计算机可读非暂态介质包括所有类型的计算机可读介质，包括磁存储介质、光存储介质、闪存介质和固态存储介质。
[0286]
应当进一步理解，包括如上文参考本公开的任一个或所有步骤所述的促进处理和操作的一个或多个计算机可执行指令的软件可安装在符合本公开的消费者和/或生产者领域内的一个或多个服务器和/或一个或多个路由器和/或一个或多个装置中并且与其一起销售。替代地，软件可被获得并加载到符合本公开的消费者和/或生产者领域内的一个或多个服务器和/或一个或多个路由器和/或一个或多个装置中，包括通过物理介质或分发系统(包括例如从软件创建者所拥有的服务器或从软件创建者不拥有但使用的服务器)获得软件。例如，软件可存储在服务器上以用于通过互联网分发。
[0287]
另外，本领域的技术人员应当理解，本公开并不将其应用局限于以下描述所提及的或附图所示出的具体构造和部件布置方式。本文的实施方案能够具有其他实施方案，并且能够以各种方式实践或实施。而且，应当理解，本文使用的措辞和术语是用于说明目的而不应视为限制性的。本文中“包括”、“包含”或“具有”以及其变型的使用意指涵盖其后所列举的项目及其等同形式以及附加的项目。除非另外限定，本文中的术语“连接”、“联接”和“安装”及其变型广义地使用，涵盖直接和间接的连接、联接和安装。此外，术语“连接”和“联
接”及其变型不限于物理或机械连接或联接。另外，诸如向上、向下、底部和顶部的术语是相对的，并且用于辅助说明，但不是限制性的。
[0288]
根据本发明的图示实施方案采用的示例性装置、系统和方法的部件可至少部分地在数字电子电路、模拟电子电路中，或在计算机硬件、固件、软件中，或在它们的组合中实现。这些部件可被实现为例如计算机程序产品，诸如计算机程序、程序代码或计算机指令，它们有形地体现在信息载体中或机器可读存储装置中以供数据处理设备(诸如可编程处理器、计算机或多个计算机)执行或控制数据处理设备的操作。
[0289]
计算机程序可以以任何形式的编程语言(包括编译性或解释性语言)编写，并且其可以以任何形式被部署，包括作为独立程序或者作为模块、部件、子例程、或适用于计算环境中的其他单元。计算机程序可被部署为在一个计算机上执行，或在位于一个站点处或分布在多个站点上并通过通信网络互连的多个计算机上执行。另外，用于实现本发明的函数程序、代码和代码段可由本发明所属领域的程序员容易地解释为在本发明的范围内。与本发明的示例性实施方案相关联的方法步骤可由执行计算机程序、代码或指令以执行函数的一个或多个可编程处理器来执行(例如，通过对输入数据进行操作和/或生成输出)。例如，方法步骤也可通过专用逻辑电路(例如，fpga(现场可编程门阵列)或asic(专用集成电路))来执行，并且本发明的设备可被实现为专用逻辑电路。
[0290]
可用被设计用于执行本文描述的功能的通用处理器、数字信号处理器(dsp)、asic、fpga或其他可编程逻辑装置、离散门或晶体管逻辑器件、离散硬件部件或它们的任意组合来实现或执行结合本文所公开的实施方案描述的各种例示性逻辑块、模块和电路。通用处理器可以是微处理器，但在替代形式中，处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器还可被实现为计算装置的组合，例如，dsp和微处理器的组合、多个微处理器、结合dsp核的一个或多个微处理器、或任何其他这样的配置。
[0291]
适用于执行计算机程序的处理器包括(以举例的方式)通用和专用微处理器、以及任何类型的数字计算机中的任何一个或多个处理器。一般来讲，处理器将接收来自只读存储器或随机访问存储器或这两者的指令和数据。计算机的基本元件为用于执行指令的处理器以及用于存储指令和数据的一个或多个存储装置。一般来讲，计算机还将包括用于存储数据的一个或多个大容量存储装置(例如，磁盘、磁光盘或光盘)，或者将可操作地联接以从大容量存储装置接收数据、或将数据传输至大容量存储装置、或上述两者。适于体现计算机程序指令和数据的信息载体包括所有形式的非易失性存储器，包括例如半导体存储器装置，例如电可编程只读存储器或rom(eprom)、电可擦除可编程rom(eeprom)、闪存存储器装置和数据存储盘(例如，磁盘、内部硬盘或可移动盘、磁光盘、以及cd
‑
rom和dvd
‑
rom盘)。处理器和存储器可由专用逻辑电路进行补充或者可结合到专用逻辑电路中。
[0292]
本领域的技术人员应当理解，可使用各种不同技术中的任一种技术来表示信息和信号。例如，可在以上描述中引用的数据、指令、命令、信息、信号、位、符号和芯片可由电压、电流、电磁波、磁场或粒子、光场或粒子、或它们的任何组合来表示。
[0293]
本领域的技术人员还应认识到，结合本文所公开的实施方案描述的各种示例性逻辑块、模块、电路和算法步骤可被实现为电子硬件、计算机软件或二者的组合。为了清楚地示出硬件和软件的该可互换性，各种示例性组件、块、模块、电路和步骤在以上已经大体依据它们的功能进行了描述。这种功能被具体实施为硬件还是软件取决于特定应用和施加于
整体系统的设计限制。技术人员可针对每个特定应用以变化方式实现所述功能，但这种实现的决定不应被理解为造成脱离本发明的范围。软件模块可驻留在随机存取存储器(ram)、闪存存储器、rom、eprom、eeprom、寄存器、硬盘、可移动磁盘、cd
‑
rom或本领域已知的任何其他形式的存储介质中。示例性存储介质联接到处理器，使得处理器可从存储介质读取信息并且将信息写入存储介质。在替代形式中，存储介质可以与处理器成一整体。换句话讲，处理器和存储介质可驻留在集成电路中或被实现为分立部件。
[0294]
如本文所用，“机器可读介质”意指能够暂时或永久地存储指令和数据的装置，并且可包括但不限于随机存取存储器(ram)、只读存储器(rom)、缓冲存储器、闪存存储器、光学介质、磁介质、高速缓存存储器、其他类型的存储装置(例如，可擦除可编程只读存储器(eeprom))、和/或它们的任何合适的组合。术语“机器可读介质”应视为包括能够存储处理器指令的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还应视为包括能够存储供一个或多个处理器执行的指令的任何介质或多个介质的组合，使得指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行本文所述的方法中的任何一种或多种方法。因此，“机器可读介质”是指单个存储设备或装置，以及包括多个存储设备或装置的“基于云的”存储系统或存储网络。就此类信号是暂态的而言，如本文所用的术语“机器可读介质”排除信号本身。
[0295]
以上描述和附图仅以举例的方式给出，并非意图以任何方式限制例示性实施方案，除非在所附权利要求书中示出。需注意，上文已描述的各种示例性实施方案的各种元件的各种技术方面可以以许多其他方式组合，所有这些方式都被认为在本公开的范围内。
[0296]
因此，虽然为了进行示意性的说明而公开了示例性实施方案，但本领域的技术人员将会知道，各种修改、添加和替换是可能的。因此，本公开不限于上述实施方案，而是可在所附权利要求以及其等同物的完整范围的范围内进行修改。