用于过程监测的方法和系统与流程

本公开涉及用于生成检测器模型的系统和方法，特别是，涉及一种用于过程监测以确定组装过程中的延迟的检测器模型。

背景技术：

1、机器学习是分析以确定将输入数据映射到输出数据的模型的过程。一种类型的机器学习是监督学习，其中以针对足够量的输入数据包括已知输出数据的数据集训练模型。一旦模型被训练，它就可被部署，即，应用于新的输入数据以预测预期输出。

2、机器学习可应用于回归问题(其中输出数据为数值，例如电压、压力、循环数)和分类问题(其中输出数据为标签、类和/或类别，例如通过-失败、失败类型等)。对于两种类型的问题，广泛的机器学习算法可用，新算法也在积极研究。然而，生成数据集来训练模型会非常耗费劳力。另外，提供用于训练的数据集的质量可极大地影响模型从新的数据集预测预期输出的能力。

3、因此，需要改进用于训练模型的输入数据集及模型预测的预期输出以确定组装过程中的延迟。

技术实现思路

1、本文公开了一种监测组装过程的方法。该方法包括：获得组装过程中的多个对象中的每一个的事件模型，其中，多个对象中的每一个的事件模型包括发生存在变化的预定时间范围。该方法包括：收集组装过程的图像序列以用于监测；以及利用检测器模型标识是否发生多个对象中的每一个的存在变化。该方法还包括：查看多个对象中的每一个的事件模型，以确定预定时间范围是否逝去而没有标识出多个对象中的对应一个对象的存在变化；以及如果预定时间范围逝去而没有标识出多个对象中的对应一个对象的存在，则发出警报。

2、在该方法的一个或更多个实施方式中，基于在前面或后面的至少一个图像中是否检测到对象利用状态机过滤来自标识多个对象中的每一个的存在变化的检测器模型的结果。

3、在该方法的一个或更多个实施方式中，标识多个对象中的每一个的存在变化的步骤包括确定多个对象中的每一个从图像序列出现或消失的时间。

4、在该方法的一个或更多个实施方式中，时间基于由多个对象之一的存在变化设定的相对时间。

5、在该方法的一个或更多个实施方式中，多个对象包括单个对象的多个配置。

6、在该方法的一个或更多个实施方式中，收集组装过程的图像序列的步骤实时进行。

7、在该方法的一个或更多个实施方式中，通过以下步骤生成多个对象中的每一个的事件模型：接收多次出现示出多个对象中的每一个的组装过程的至少一个训练图像序列；以及利用检测器模型来标识至少一个训练图像序列中多个对象中的每一个的存在。此外，基于对象在训练图像序列中应该何时出现的统计预测来生成与多个对象中的每一个对应的事件模型。

8、在该方法的一个或更多个实施方式中，统计预测包括多个对象中的对应一个对象存在的预定时间范围。

9、在该方法的一个或更多个实施方式中，预定时间范围基于多个对象中的对应一个对象存在的均值出现时间的标准偏差的三倍。

10、在该方法的一个或更多个实施方式中，预定时间范围包括基于多个对象之一的存在的相对时间。

11、在该方法的一个或更多个实施方式中，组装过程的多次出现包括组装过程的历史出现。

12、在该方法的一个或更多个实施方式中，检测器模型通过以下步骤训练：获得与多个对象中的每一个对应的单独训练数据集，各个单独训练数据集包括标识多个对象中的对应一个对象的标记图像集。检测器模型还通过以下步骤训练：基于各个单独训练数据集训练零件级检测器；以及基于各个零件级检测器训练检测器模型。

13、在该方法的一个或更多个实施方式中，单独训练数据集通过以下步骤创建：接收多个对象中的每一个的单独图像序列，在单独图像序列的至少一个图像中标识多个对象中的对应一个对象；在对应一个单独图像序列中跟踪在至少一个图像中标识的多个对象中的每一个。单独训练数据集还通过以下步骤创建：在单独图像序列中的各个图像中标记跟踪多个对象中的每一个的对应一个的感兴趣区域；以及通过从各个单独图像序列中的各个图像收集跟踪对应对象的感兴趣区域来为多个对象中的每一个创建单独训练数据集。

14、在该方法的一个或更多个实施方式中，获得与多个对象中的每一个对应的单独训练数据集的步骤包括通过对照多个对象中的每一个的地面真值时间线验证在多个训练数据集中的每一个中多个对象中的每一个的存在来消除假阴性标记。

15、本文公开了一种用于检测组装过程中的对象的系统。该系统包括被配置为捕获多个图像的至少一个相机和控制器。该控制器被配置为：获得组装过程中的多个对象中的每一个的事件模型，其中，多个对象中的每一个的事件模型包括发生存在变化的预定时间范围；并且收集组装过程的图像序列以用于监测。该控制器还被配置为：利用检测器模型标识是否发生多个对象中的每一个的存在变化；并且查看多个对象中的每一个的事件模型，以确定预定时间范围是否逝去而没有标识出多个对象中的对应一个对象的存在变化。该控制器还被配置为：如果预定时间范围逝去而没有标识出多个对象中的对应一个对象的存在，则发出警报。

16、在该系统的一个或更多个实施方式中，基于在前面或后面的至少一个图像中是否检测到对象利用状态机过滤来自标识多个对象中的每一个的存在变化的检测器模型的结果。

17、在该系统的一个或更多个实施方式中，通过以下步骤生成多个对象中的每一个的事件模型：接收多次出现示出多个对象中的每一个的组装过程的至少一个训练图像序列；利用检测器模型来标识至少一个训练图像序列中多个对象中的每一个的存在；以及基于对象在训练图像序列中应该何时出现的统计预测来生成与多个对象中的每一个对应的事件模型。

18、本文公开了一种包含编程的指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时可操作以用于执行一种方法。该方法包括：获得组装过程中的多个对象中的每一个的事件模型，其中，多个对象中的每一个的事件模型包括发生存在变化的预定时间范围；以及收集组装过程的图像序列以用于监测。该方法包括：利用检测器模型标识是否发生多个对象中的每一个的存在变化；以及查看多个对象中的每一个的事件模型，以确定预定时间范围是否逝去而没有标识出多个对象中的对应一个对象的存在变化。该方法还包括：如果预定时间范围逝去而没有标识出多个对象中的对应一个对象的存在，则发出警报。

19、在该方法的一个或更多个实施方式中，通过以下步骤生成多个对象中的每一个的事件模型：接收多次出现示出多个对象中的每一个的组装过程的至少一个训练图像序列；利用检测器模型来标识至少一个图像序列中多个对象中的每一个的存在；以及基于对象在训练图像序列中应该何时出现的统计预测来生成与多个对象中的每一个对应的事件模型。

20、在该方法的一个或更多个实施方式中，检测器模型通过以下步骤训练：获得与多个对象中的每一个对应的单独训练数据集，各个单独训练数据集包括标识多个对象中的对应一个对象的标记图像集；基于各个单独训练数据集训练零件级检测器；以及基于各个零件级检测器训练检测器模型。

21、以上概述并非旨在表示本公开的每一个可能的实施方式或每一个方面。相反，以上概述旨在举例说明本文所公开的一些新颖方面和特征。本公开的特征、功能和优点可在各种实施方式中独立地实现，或者可在其它实施方式中组合，其进一步细节可参照以下详细描述和附图看到。