一种复杂工业环境下视觉机器人的控制系统及方法与流程

本发明涉及机器视觉，尤其涉及一种复杂工业环境下视觉机器人的控制系统及方法。

背景技术：

1、随着科技的高速发展，科技产品的更新迭代速度越来越快，为了适应这种快速变化，柔性生产线应运而生。柔性生产线能够根据生产需求的变化来调整生产线的生产加工操作，能够实现个性化、多样化、定制化的生产加工。但是由于柔性生产线的产品多样、工作环境复杂，给智能化控制带来了不小的挑战。

2、柔性生产线中能够生产不同类型的产品，而不同产品的生产工艺存在差异，进一步不同生产工艺中不同加工工位的加工任务也更加复杂，对于柔性生产线中如何进行高效可靠的混线生产，是亟需解决的技术问题。此外，通常在加工工位的加工任务结束后，基于机器视觉技术对产品进行缺陷检测，识别加工后的产品是否存在加工缺陷；但是由于生产线上的产品是持续性地依次加工的，在第一个产品进行缺陷检测时，后续的第二个产品大概率已经开始加工了；这就产生了一个严重的问题，由于生产线中的加工任务经常会包含焊接等产生强光照的加工任务，还包含一些产生强振动的加工任务，本发明统称为干扰事件；而干扰事件会影响图像识别的准确性，从而严重影响缺陷检测的准确性，容易出现漏检、误判的情况。此外，由于柔性生产线的加工工具处于频繁调整的状态，导致加工工具更加容易出现位置的偏移，这对加工产品的质量产生了不利影响，更加容易出现加工缺陷，而现有技术中对于加工产品的缺陷检测，通常是检测产品是否平滑、是否有缺口、是否有突刺等，并不能全面地量化出产品的缺陷情况。而即使检测出加工缺陷，现有的柔性生产控制系统也难以分析出关联影响因素，更无法给出进行调整维护的指导性建议。

3、现有的发明专利cn113109348b提出一种基于机器视觉的桨影移印缺陷识别方法，包括以下步骤：采集获取待检测桨翼的图像；与标准合格产品的模板进行匹配，匹配成功的为合格产品，匹配失败的为广义不合格产品；使用分好类的缺陷图像集对ai算法模型进行训练，得到ai算法模型分类器，利用该分类器对广义不合格产品进行分类；将符合针对性检测条件的广义不合格产品改判为合格产品。通过以上方法，区别对待不同缺陷的检测，更加真实还原产品的质检过程，同时通过对不同类型缺陷设置不同的品质控制误差，可调节合格产品的品控等级，使机器视觉缺陷检测具有柔性。但是该发明专利并未解决上述技术问题。

技术实现思路

1、发明目的：针对以上问题，本发明提出一种复杂工业环境下视觉机器人的控制系统及方法。技术方案：

2、第一方面，本发明提出一种复杂工业环境下视觉机器人的控制系统，包括柔性生产线，加工工具，传送单元，第一机器视觉单元，从站控制器，主站控制器，第二机器视觉单元，视觉监控控制器；

3、所述传送单元包含传送带、光电传感器；

4、优选地，所述光电传感器用于在传送带上的待加工产品达到加工工位入口时产生触发信号；

5、所述第一机器视觉单元用于采集代加工产品的图像；

6、所述主站控制器用于根据代加工产品的图像识别产品类型、根据从站控制器序号确定加工工艺流程中的加工工位的加工动作参数、将加工动作参数加载至加工工位的从站控制器中；

7、所述从站控制器用于控制加工工具执行加工任务；

8、所述第二机器视觉单元用于采集加工后的产品的图像以及加工工具的图像；

9、所述视觉监控控制器包含缺陷检测模块、偏移检测模块、关联分析模块；

10、所述缺陷检测模块用于对加工后的产品进行缺陷检测，并基于加工后产品的图像计算缺陷向量；

11、所述偏移检测模块用于检测加工工具的位置偏移情况，并基于加工工具在加工位置和归零位置的图像计算位置偏移量；

12、所述关联分析模块用于对产品加工缺陷与加工工具位置偏移进行关联性分析。

13、优选地，所述缺陷检测模块用于基于机器视觉技术对加工后的产品进行缺陷检测，提取图像中的产品轮廓曲线，与标准产品轮廓曲线进行比对分析，得到缺陷区域，计算缺陷区域的像素数量mq，计算缺陷区域的方向系数mf，即从产品中心像素至缺陷区域中心像素方向的单位向量，基于缺陷区域的像素数量mq和缺陷区域的方向系数mf，得到第i个缺陷区域的缺陷向量mi，计算全部缺陷向量的合向量，即为加工产品的缺陷向量m。

14、优选地，所述偏移检测模块用于判断加工位置的加工工具图像中加工工具的位置，与预设的加工位置进行比较，获取第一偏移量n1，判断加归零位置的加工工具图像中加工工具的位置，与预设的初始零位进行比较，获取第二偏移量n2，根据第一偏移量n1和第二偏移量n2计算加工工具的位置偏移量n。

15、第二方面，本发明还提供了一种复杂工业环境下视觉机器人的控制方法，包括：

16、s3、判断是否产生干扰事件，包括：

17、s31、第一机器视觉单元采集加工工位的图像，判断加工工具是否在执行加工任务；若是，则进入步骤s32，若否则进入步骤s4；

18、s32、判断是否产生强振动干扰事件，包括：

19、获取加工工位的k帧图像，识别第i帧图像中加工产品中心点的坐标位置（xi，yi）；

20、判断x方向的振动偏移参数sx和y方向的振动偏移参数sy；

21、；

22、；

23、其中，为k帧图像中加工产品中心点x坐标的均值，为k帧图像中加工产品中心点y坐标的均值；

24、计算振动表征参数u：

25、；

26、判断u是否大于第一预设值，若是则进入步骤s34，若否则进入步骤s33；

27、s33、判断是否出现强光照干扰事件，包括：

28、获取加工工位的k帧图像，识别第t帧图像中第m个像素的亮度参数btm；

29、计算第t帧图像的平均亮度；

30、其中，m0为图像的像素数量；

31、判断是否大于第二预设值，若是则进入步骤s34，若否则进入步骤s4；

32、s34、延迟第一预设时长，返回步骤s31；

33、s4、基于机器视觉技术对加工后的产品进行缺陷检测；

34、s5、检测加工工具的位置偏移情况；

35、s6、对产品加工缺陷与加工工具位置偏移进行关联性分析。

36、优选地，所述步骤s3之前还包括步骤s1、通过第一机器视觉单元识别柔性生产线中的产品，包括：

37、s11、待加工产品由传送带传输至柔性生产线中的加工工位入口，触发第一机器视觉单元工作；

38、s12、第一机器视觉单元采集加工工位入口处的待加工产品图像，传输至主站控制器；

39、s13、主站控制器基于待加工产品图像识别产品类型。

40、优选地，所述步骤s3之前还包括步骤s2、查询并加载与产品相匹配的加工任务，包括：

41、s21、主站控制器获取与第一机器视觉单元相对应的从站控制器序号；

42、s22、根据从站控制器序号确定加工工艺流程中的加工工位的加工动作参数；

43、s23、将加工动作参数加载至加工工位的从站控制器中；

44、s24、从站控制器控制加工工具执行加工任务。

45、优选地，所述步骤s4、基于机器视觉技术对加工后的产品进行缺陷检测包括：

46、s41、触发第二机器视觉单元采集加工后产品的图像；

47、s42、提取图像中的产品轮廓曲线，与标准产品轮廓曲线进行比对分析，得到缺陷区域；

48、s43、计算缺陷区域的像素数量mq；

49、s44、计算缺陷区域的方向系数mf，即从产品中心像素至缺陷区域中心像素方向的单位向量；

50、s44、基于缺陷区域的像素数量mq和缺陷区域的方向系数mf，得到第i个缺陷区域的缺陷向量mi；

51、s45、计算全部缺陷向量的合向量，即为加工产品的缺陷向量m。

52、优选地，所述步骤s5、检测加工工具的位置偏移情况包括：

53、s51、控制加工工具处于加工位置，第二机器视觉单元采集加工工具的第一图像；

54、s52、判断第一图像中加工工具的位置，与预设的加工位置进行比较，获取第一偏移量n1；

55、s53、控制加工工具回归零位，第二机器视觉单元采集加工工具的第二图像；

56、s54、判断第二图像中加工工具的位置，与预设的初始零位进行比较，获取第二偏移量n2；

57、s55、计算加工工具的位置偏移量n：

58、；

59、其中，α、β均为预设权重系数。

60、优选地，所述步骤s6、对产品加工缺陷与加工工具位置偏移进行关联性分析包括：

61、s61、获取第一预设时间段内多个加工产品的缺陷向量m，将多个缺陷向量m均分解从而获得x方向的分量序列mx和y方向的分量序列my；

62、s62、获取第一预设时间段内加工工具的多个位置偏移量，从而获得加工工具的位置偏移量序列nt；

63、s63、对x方向的分量序列mx和加工工具的位置偏移量序列nt进行相关性分析，获取第一相关性系数ρx；

64、s64、对y方向的分量序列my和加工工具的位置偏移量序列nt进行相关性分析，获取第二相关性系数ρy；

65、s65、根据第一相关性系数ρx和第二相关性系数ρy判断产品加工缺陷与加工工具位置偏移的关联性。

66、优选地，所述步骤s6之后还包括步骤s7、将缺陷检测结果和关联性分析结果发送至监控终端。

67、本发明相对于现有技术具有以下有益效果：

68、1、本发明基于机器视觉技术识别柔性生产线中的产品类型，区别于现有的标签识别、射频识别方式，无需在产品上贴设标签，简化了操作流程、提高了生产效率；此外，通过机器视觉识别技术，查询与产品类型相匹配的加工工艺，并查询与加工工位相匹配的加工任务，通过主站-从站控制器的控制架构，能够稳定可靠有序地控制混线生产中的加工调配任务，提高了混线生产的可靠性。

69、2、本发明通过第一机器视觉单元监测单元采集加工图像，从而判断当前的加工任务是否会干扰第二机器视觉单元的缺陷检测任务，若会产生干扰，则延缓第二机器视觉单元的缺陷检测任务，直至当前加工任务结束或者干扰事件结束，这样就能够避免加工任务对缺陷检测任务的干扰，从而提高缺陷检测的准确性。

70、3、本发明的缺陷检测方式，不但通过计算缺陷区域的像素数量来表征缺陷的面积大小，还量化出了缺陷的位置，更加准确地表征出产品的加工缺陷的客观情况；并且，这种方式也有助于后续进行关联性分析。

71、4、此外，在实际生产中，加工工具的位置处于变化之中，需要在加工位置和归零位置之间来回切换；本发明在对加工工具的位置偏移情况进行检测时，综合考量了归零位、加工位两种状态下的位置偏移情况，更加准确合理，能够降低检测误差。

72、5、本发明在进行关联性分析时，首先将缺陷向量分解为x方向和y方向的分量，而后依次对x方向分量和y方向分量进行分析，分析与加工工具的位置偏移量的关联性，通过采集第一预设时间段内的多个图像，形成了多个数据序列，这样解决了具有方向的向量难以进行相关性分析的技术问题，并且能够更加详细地分析出不同方向的缺陷的相关性，从而使工作人员能够进行针对性地维护与调整，更具指导性。