一种生产线的智能监控方法、装置及系统与流程

本申请涉及生产线监控，具体涉及一种生产线的智能监控方法、装置及系统。

背景技术：

1、目前，大多制造业都为离散型企业，在实际生产中，对流程化工作的监管和报工的难度较大。

2、通常为了实现流程化工作的管理和报工，都需要人工操作，这样不仅需要更多的人工成本，而且也增加了工作人员的工作量。并且由不同的工作人员的操作有所区别，从而导致相同的生成操作可能会有所区别，譬如单个工序的时长不同等，从而可能导致产品的一致性降低。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种生产线的智能监控方法、装置及系统，解决了上述技术问题。

2、根据本申请的一个方面，提供了一种生产线的智能监控方法，包括：获取所述生产线的监控视频；其中，所述监控视频包括多帧监控图像，每帧所述监控图像包括所述生产线上的物品图像或在所述生产线上作业的人员图像；跟踪多帧所述监控图像中所述物品图像或所述人员图像，获取物品的跟踪数据或人员的跟踪数据；以及获取所述物品的跟踪数据或所述人员的跟踪数据与预设的生产操作的轨迹数据的比对结果，并基于所述比对结果确定所述生产线的生产进度。

3、在一实施例中，所述跟踪多帧所述监控图像中所述物品图像或所述人员图像，获取物品的跟踪数据或人员的跟踪数据包括：识别多帧所述监控图像中所述物品图像的特征信息或所述人员图像的动作信息，以得到多帧特征信息或多帧动作信息；以及根据多帧所述特征信息得到所述物品的跟踪数据，或根据多帧所述动作信息得到所述人员的跟踪数据。

4、在一实施例中，所述特征信息包括位置信息；其中，所述识别多帧所述监控图像中所述物品图像的特征信息或所述人员图像的动作信息，以得到多帧特征信息或多帧动作信息包括：识别多帧所述监控图像中所述物品图像的位置信息或所述人员图像的动作信息，以得到多帧所述特征信息或多帧所述动作信息；所述根据多帧所述特征信息得到所述物品的跟踪数据，或根据多帧所述动作信息得到所述人员的跟踪数据包括：根据多帧所述位置信息得到所述物品的跟踪数据，或根据多帧所述动作信息得到所述人员的跟踪数据。

5、在一实施例中，所述获取所述物品的跟踪数据或所述人员的跟踪数据与预设的生产操作的轨迹数据的比对结果，并基于所述比对结果确定所述生产线的生产进度包括：比对所述物品的跟踪数据与所述生产操作的轨迹数据，或比对所述人员的跟踪数据与所述生产操作的轨迹数据，以得到差异值；以及当所述差异值小于预设值时，确定所述比对结果为完成了所述生产操作。

6、在一实施例中，所述获取所述生产线的监控视频包括：周期性获取所述生产线的所述监控图像。

7、在一实施例中，所述跟踪多帧所述监控图像中所述物品图像或所述人员图像，获取物品的跟踪数据或人员的跟踪数据包括：识别多帧所述监控图像中的所述物品图像或所述人员图像，并生成json格式的数据。

8、在一实施例中，所述获取所述物品的跟踪数据或所述人员的跟踪数据与预设的生产操作的轨迹数据的比对结果，并基于所述比对结果确定所述生产线的生产进度包括：将所述物品的跟踪数据或所述人员的跟踪数据输入识别模型，得到所述生产线的生产进度。

9、在一实施例中，所述识别模型的训练方法包括：将带有标签的标准物品的跟踪数据和人员的跟踪数据作为训练样本训练所述识别模型。

10、根据本申请的另一个方面，提供了一种生产线的智能监控装置，包括：获取模块，用于获取所述生产线的监控视频；其中，所述监控视频包括多帧监控图像，每帧所述监控图像包括所述生产线上的物品图像或在所述生产线上作业的人员图像；识别模块，用于跟踪多帧所述监控图像中所述物品图像或所述人员图像，获取物品的跟踪数据或人员的跟踪数据；以及确定模块，用于获取所述物品的跟踪数据或所述人员的跟踪数据与预设的生产操作的轨迹数据的比对结果，并基于所述比对结果确定所述生产线的生产进度。

11、根据本申请的另一个方面，提供了一种生产线的智能监控系统，包括：图像获取装置，用于获取所述生产线的监控视频；以及如上所述的生产线的智能监控装置。

12、本申请提供的一种生产线的智能监控方法、装置及系统，通过获取生产线的监控视频；其中监控视频包括多帧监控图像，每帧监控图像包括生产线上的物品图像或在生产线上作业的人员图像；并且跟踪多帧监控图像中物品图像或人员图像，获取物品的跟踪数据或人员的跟踪数据，获取物品的跟踪数据或人员的跟踪数据与预设的生产操作的轨迹数据的比对结果，并基于比对结果确定生产线的生产进度；即通过实时跟踪监控生产线上的标志性物品图像或在生产线上作业的操作人员的人员图像，根据物品的跟踪数据或人员的跟踪数据，综合确定生产线当前的生产进度，从而实现智能监控，为在线化流程作业和智能报工提供了技术基础，不仅可以减少人工成本，还可以提高作业效率和效果。

技术特征：

1.一种生产线的智能监控方法，其特征在于，包括：

2.根据权利要求1所述的智能监控方法，其特征在于，所述跟踪多帧所述监控图像中所述物品图像或所述人员图像，获取物品的跟踪数据或人员的跟踪数据包括：

3.根据权利要求2所述的智能监控方法，其特征在于，所述特征信息包括位置信息；其中，所述识别多帧所述监控图像中所述物品图像的特征信息或所述人员图像的动作信息，以得到多帧特征信息或多帧动作信息包括：

4.根据权利要求1所述的智能监控方法，其特征在于，所述获取所述物品的跟踪数据或所述人员的跟踪数据与预设的生产操作的轨迹数据的比对结果，并基于所述比对结果确定所述生产线的生产进度包括：

5.根据权利要求1所述的智能监控方法，其特征在于，所述获取所述生产线的监控视频包括：

6.根据权利要求1所述的智能监控方法，其特征在于，所述跟踪多帧所述监控图像中所述物品图像或所述人员图像，获取物品的跟踪数据或人员的跟踪数据包括：

7.根据权利要求1所述的智能监控方法，其特征在于，所述获取所述物品的跟踪数据或所述人员的跟踪数据与预设的生产操作的轨迹数据的比对结果，并基于所述比对结果确定所述生产线的生产进度包括：

8.根据权利要求7所述的智能监控方法，其特征在于，所述识别模型的训练方法包括：

9.一种生产线的智能监控装置，其特征在于，包括：

10.一种生产线的智能监控系统，其特征在于，包括：

技术总结
本申请公开了一种生产线的智能监控方法、装置及系统，通过获取生产线的监控视频；其中监控视频包括多帧监控图像，每帧监控图像包括生产线上的物品图像或在生产线上作业的人员图像；并且获取物品的跟踪数据或人员的跟踪数据，获取物品的跟踪数据或人员的跟踪数据与预设的生产操作的轨迹数据的比对结果，并基于比对结果确定生产线的生产进度；即通过实时跟踪监控生产线上的标志性物品图像或在生产线上作业的操作人员的人员图像，根据物品的跟踪数据或人员的跟踪数据，综合确定生产线当前的生产进度，从而实现智能监控，为在线化流程作业和智能报工提供了技术基础，不仅可以减少人工成本，还可以提高作业效率和效果。

技术研发人员：付惠斌,王志强,徐晓光
受保护的技术使用者：三一汽车起重机械有限公司
技术研发日：
技术公布日：2024/1/11