基于智能制造的生产监测方法与流程

1.本发明涉及智能制造和生产监测领域，尤其涉及一种基于智能制造的生产监测方法。


背景技术：

2.近年来，在工业生产线中广泛地引进了工业机器人并且生产以及自动化。在生产线中工作的工作人员的数量减少了并且生产成本降低了。
3.在传统的工业机器人中，可能会遇到下面的问题，工业机器人在执行生产操作的过程中，随着时间的推移工业机器人的各安装模块出现松动，影响其操作结果的精度，管理人员无法及时知道该工业机器人出现了故障，由工业机器人组成的生产线总是出现快生产，慢检测的状态，对工业机器人生产结果的检测需要耗费大量的人力资源和劳动成本。
4.因此如何提高机器人的操作精度和生产结果的准确度成为工业机器人应用中最需要解决的关键问题之一。


技术实现要素：

5.有鉴于此，本发明提供了一种基于智能制造的生产监测方法，包括：
6.分别获取待装配产品的第一位姿数据和工业机器人的第二位姿数据；所述第一位姿数据包括第一装配点标识、校准位姿和校准距离；所述第二位姿数据包括第二装配点标识、实到位姿和实到距离；
7.根据第二装配点标识获取第一位姿数据中对应的校准位姿和校准距离；
8.根据第二装配点标识获取第二位姿数据中对应的实到位姿和实到距离；
9.在第一位姿数据和第二位姿数据间建立两个类型的连接线；
10.第一类型的线为校准位姿与实到位姿间的差值大于位姿阈值的连接线；
11.第二类型的线为校准距离与实到距离间的差值大于距离阈值的连接线；
12.根据第一位姿数据和第二位姿数据之间的多个连接线得到装配误差图；
13.根据装配误差图分析末端执行器的位姿准确度和距离准确度以判断待装配产品是否合格。
14.根据一个优选实施方式，所述第一装配点标识为待装配产品的装配点标识；所述第二装配点标识为工业机器人的末端执行器的装配点标识；所述位姿准确度为校准位姿与实到位姿均值间的差值；距离准确度为校准距离和实到距离均值间的差值。
15.根据一个优选实施方式，智能制造平台获取工业机器人的第二位姿数据包括：
16.智能制造平台从图像采集设备采集到的不同图像帧中获取装配机器人的每个末端执行器对应的每个第二装配点在不同图像坐标系下的位姿数据；
17.根据工业机器人的视点信息对每个第二装配点进行旋转平移以将每个第二装配点在不同图像坐标系下的位姿数据映射至同一三维坐标系下得到每个第二装配点的实际装配位姿，其中，所述视点信息用于表征图像采集设备对工业机器人的末端执行器的位置
进行采集时的不同采集角度和不同采集距离，所述实际装配位姿包括对应第二装配点在三维空间中的三维坐标位置；
18.根据每个第二装配点的实际装配位姿分析得到每个第二装配点的实到位姿和实到距离，并根据每个第二装配点的实到位姿和实到距离为工业机器人生成相应的第二位姿数据。
19.根据一个优选实施方式，智能制造平台从图像采集设备采集到的不同图像帧中获取装配机器人的末端执行器对应的第二装配点在不同图像坐标系下的位姿数据包括：
20.智能制造平台根据工业机器人在三维空间中移动的纵向距离和横向距离对图像采集设备采集到的不同角度下的图像帧的变化尺度进行分析以得到不同图像帧之间的尺度变化系数，其中，所述尺度变化系数用于表征不同图像帧之间的视角差和尺寸差；
21.智能制造平台对不同图像帧之间的尺度变化系数进行分析以得到不同图像帧之间的转角误差度，并将其与预设角度误差阈值进行比较，以从所有转角误差度小于预设角度误差阈值的图像帧中获取每个第二装配点在不同图像坐标系下的位姿数据。
22.根据一个优选实施方式，智能制造平台根据装配误差图分析末端执行器的位姿准确度和距离准确度以判断待装配产品是否合格包括：
23.智能制造平台从所述装配误差图中获取若干校准位姿与实到位姿间的差值大于位姿阈值的连接线以分析得到工业机器人的位姿误差域，从所述装配误差图中获取若干校准距离与实到距离间的差值大于距离阈值的连接线以分析得到工业机器人的距离误差域；
24.智能制造平台将工业机器人的位姿误差域和距离误差域映射至工业机器人各个末端执行器的偏差约束几何中以分析得到工业机器人的每个末端执行器对应的第二装配点所夹持的用于装配的产品的平行度、垂直度和倾斜度；
25.智能制造平台根据每个末端执行器对应的第二装配点所夹持的用于装配的产品的平行度、垂直度和倾斜度分析得到装配机器人各个末端执行器的位姿准确度和距离准确度。
26.根据一个优选实施方式，智能制造平台根据第二装配点标识获取第一位姿数据中对应的校准位姿和校准距离；
27.根据第二装配点标识获取第二位姿数据中对应的实到位姿和实到距离；
28.在第一位姿数据和第二位姿数据间建立两个类型的连接线；
29.第一类型的线为校准位姿与实到位姿间的差值大于位姿阈值的连接线；
30.第二类型的线为校准距离与实到距离间的差值大于距离阈值的连接线；
31.根据第一位姿数据和第二位姿数据之间的多个连接线得到装配误差图。
32.根据一个优选实施方式，所述位姿为空间位置和姿态的合称；所述校准位姿为对工业机器人的末端执行器设定一个几何基准所给定的位姿；所述实到位姿为工业机器人的末端执行器实际达到的位姿。
33.根据一个优选实施方式，所述校准距离为对工业机器人的末端执行器设定一个几何基准所给定的距离；所述实际距离为工业机器人的末端执行器实际达到的距离。
34.根据一个优选实施方式，根据末端执行器的位姿准确度w和距离准确度d计算装配准确度v，
35.v＝pew+qed36.w为位姿准确度，d为距离准确度，p为第一评价系数，q为第二评价系数，e为自然底数。
37.根据一个优选实施方式，工业机器人包括操作机、控制器和机器人传感器；操作机包括手臂、杆件、关节、末端执行器连接装置和末端执行器；控制器包括示教盒，示教盒为与控制系统相连使机器人运动的手持式单元。机器人传感器包括内部状态传感器和外部状态传感器，所述内部状态传感器用于测量机器人内部状态的机器人传感器其包括码盘、电位计、测速发电机和陀螺仪。
38.本发明具有以下有益效果：本发明根据待装配产品的第一位姿数据和工业机器人的第二位姿数据得到装配误差图，并通过装配误差图来分析工业机器人对产品进行装配时的装配误差，及时的判断待装配产品是否合格，工作人员可以根据判断结果对装配不准确的产品进行人工校正，以免造成过大的损失，该方法比人工校验更快速，且节约劳动成本。此外，工业机器人执行指令的准度会随着机器零件的损耗而下降，工作人员也可以通过装配产品的准确度发现工业机器人的异常状况，从而对工业机器人的运行参数以及故障部位作出相应调整。
附图说明
39.图1为一示例性实施例提供的基于智能制造的生产监测方法的流程图。
具体实施方式
40.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
41.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
42.应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
43.参见图1，在一个实施例中，一种基于智能制造的生产监测方法可以包括：
44.s1、智能制造平台的数据处理模块接收装配客户端发送的待装配产品的第一位姿数据，所述第一位姿数据包括第一装配点标识、校准位姿和校准距离。
45.可选地，本发明中通过工业机器人实现的智能制造的生产，主要是指用工业机器人替代工作人员的高强度、重复性操作，例如对各类汽车、各类生产机床中大型零部件的组装，以提高生产装配的效率，降低劳动成本。本发明中通过工业机器人实现的智能制造的生产，需要指出的是，本发明的基于智能制造的生产监测方法可通过调整待装配产品的装配
误差的精度，以及待装配产品的第一位姿数据、工业机器人的第二位姿数据在相应场景映射到多维模型场景中对应第一位姿数据中校准位姿和校准距离、第二位姿数据中实到位姿和实际距离的缩放的比例，以适用于任何场景下产品装配的监测。
46.装配误差的精度、待装配产品的第一位姿数据、工业机器人的第二位姿数据在相应场景映射到多维模型场景中对应第一位姿数据中校准位姿和校准距离、第二位姿数据中实到位姿和实际距离的缩放的比例可由使用本发明提供的基于智能制造的生产监测方法的厂商、工厂管理员、车间工作人员等根据具体应用场景面积、场地大小和装配产品的不同装配误差的允差预先进行设置。
47.可选地，将本发明中通过调整待装配产品的装配误差精度以适用于不同生产场景进行举例说明。在对汽车大型零部件进行装配时，待装配的各零件装配误差的允差在10mm以内，在对医疗设备，如x光机器械、超声器械的零部件和飞机内部零部件进行装配时，待装配的各零件装配误差的允差在0.2mm以内，根据不同的生产场景对装配误差的精度进行调整。
48.可选地，第一位姿数据为测距传感器采集的数据，所述数据为绝对坐标系下采集到的位姿，所述绝对坐标系为参照大地的不变坐标系与待装配产品的位置无关，测距传感器包括红外测距传感器、激光测距传感器、超声波测距传感器。
49.可选地，待装配产品处于初始状态时，所述第一位姿数据为测距传感器采集到的该装配点的位姿；待装配产品处于变化状态时，所述第一位姿数据为测距传感器采集到的所述待装配产品的位姿；所述初始状态为待装配产品刚被固定到对应装配点以进行装配，工业机器人第一次对所述待装配产品执行装配指令之前的待装配产品的状态。所述变化状态为工业机器人对所述待装配产品执行装配指令时，所述待装配产品的状态和对所述待装配产品执行装配指令以后，所述待装配产品的状态。
50.可选地，所述装配点的位姿在一个生产场景中装配同一类型产品时，是固定不变的，装配不同类型产品时，对于不同类型产品是不同的。
51.举例说明，某个车间内的装配架上可放置两种类型的汽车进行零件装配，第一种类型为小型面包车，第二种类型为小轿车，上述两种类型的车辆高度不同，长度和宽度都不相同，其对应车辆部位的每个装配点的位置不相同，因此，小型面包车和小型轿车的装配点位置不一样。针对小型面包车这一类汽车而言，每辆车的装配点的位置是相同的，同理，小型轿车也是如此。
52.可选地，所述装配点的位姿经一次测量，在整个生产场景和装配环境未改变的情况下，均是相同且可用的；所述待装配产品的位姿，随着工业机器人执行装配指令中的相应操作而发生改变。
53.可选地，所述第一装配点标识包括待装配产品所有装配点的装配点标识；所述校准位姿包括待装配产品所有装配点的校准位姿；所述校准距离包括待装配产品所有装配点的校准距离。
54.可选地，所述位姿为空间位置和姿态的合称；所述校准位姿为对工业机器人的末端执行器设定一个几何基准所给定的位姿。所述校准距离为对工业机器人的末端执行器设定一个几何基准所给定的距离。
55.可选地，所述第一装配点标识为待装配产品的装配点标识。
56.s2、智能制造平台的数据处理模块接收工业机器人发送的第二位姿数据，所述第二位姿数据包括第二装配点标识、实到位姿和实到距离。
57.具体地，智能制造平台获取工业机器人的第二位姿数据包括：
58.智能制造平台从图像采集设备采集到的不同图像帧中获取装配机器人的每个末端执行器对应的每个第二装配点在不同图像坐标系下的位姿数据；
59.根据工业机器人的视点信息对每个第二装配点进行旋转平移以将每个第二装配点在不同图像坐标系下的位姿数据映射至同一三维坐标系下得到每个第二装配点的实际装配位姿，其中，所述视点信息用于表征图像采集设备对工业机器人的末端执行器的位置进行采集时的不同采集角度和不同采集距离，所述实际装配位姿包括对应第二装配点在三维空间中的三维坐标位置；
60.根据每个第二装配点的实际装配位姿分析得到每个第二装配点的实到位姿和实到距离，并根据每个第二装配点的实到位姿和实到距离为工业机器人生成相应的第二位姿数据。
61.具体地，智能制造平台从图像采集设备采集到的不同图像帧中获取装配机器人的末端执行器对应的第二装配点在不同图像坐标系下的位姿数据包括：
62.智能制造平台根据工业机器人在三维空间中移动的纵向距离和横向距离对图像采集设备采集到的不同角度下的图像帧的变化尺度进行分析以得到不同图像帧之间的尺度变化系数，其中，所述尺度变化系数用于表征不同图像帧之间的视角差和尺寸差；
63.智能制造平台对不同图像帧之间的尺度变化系数进行分析以得到不同图像帧之间的转角误差度，并将其与预设角度误差阈值进行比较，以从所有转角误差度小于预设角度误差阈值的图像帧中获取每个第二装配点在不同图像坐标系下的位姿数据。
64.可选地，所述转角误差度用于表征不同图像帧之间的拍摄角度以及图像尺寸的差异程度；所述预设角度误差阈值为系统预设的用于判断不同图像帧之间的拍摄角度和尺寸差异是否过大的数值。
65.可选地，所述视角差用于表征不同图像帧之间的拍摄角度的偏移量；所述尺寸差用于表征不同图像帧之间的图像尺寸差异。所述图像采集设备用于对工业机器人末端执行器的实际位置进行采集，以减少工业机器人自主定位的坐标误差。
66.可选地，所述实际距离为工业机器人的末端执行器实际达到的距离；所述实到位姿为工业机器人的末端执行器实际达到的位姿；所述第二装配点标识为工业机器人的末端执行器的装配点标识。
67.可选地，所述第二装配点标识包括所有用于装配待装配产品的工业机器人的末端执行器的装配点标识；所述实到位姿包括所有用于装配待装配产品的工业机器人的末端执行器的装配点的实到位姿；所述实到距离包括所有用于装配待装配产品的工业机器人的末端执行器的装配点的实到距离。
68.可选地，第二装配点标识中包含的所有用于装配待装配产品的工业机器人的末端执行器的装配点标识，其数量少于或等于第一装配点标识中包含的待装配产品所有装配点的装配点标识数量。
69.可选地，工业机器人包括操作机、控制器和机器人传感器；操作机包括手臂、杆件、关节、末端执行器连接装置和末端执行器；控制器包括示教盒，示教盒为与控制系统相连使
机器人运动的手持式单元。机器人传感器包括内部状态传感器和外部状态传感器，所述内部状态传感器用于测量机器人内部状态的机器人传感器其包括码盘、电位计、测速发电机和陀螺仪。所述外部状态传感器用于测量机器人所处环境状态与环境交互状态的机器人传感器，其包括全球定位系统、视觉传感器、距离传感器、力传感器、触觉传感器和声传感器。
70.s3、智能制造平台的模型构建模块根据第二装配点标识建立第一位姿数据和第二位姿数据的连接以得到装配误差图。
71.具体地，智能制造平台根据第二装配点标识获取第一位姿数据中对应的校准位姿和校准距离；
72.根据第二装配点标识获取第二位姿数据中对应的实到位姿和实到距离；
73.在位姿空间中建立第一位姿数据和第二位姿数据间的两个类型的连接线；
74.第一类型的线为校准位姿与实到位姿间的差值大于位姿阈值的连接线；
75.第二类型的线为校准距离与实到距离间的差值大于距离阈值的连接线；
76.根据第一位姿数据和第二位姿数据之间的多个连接线得到装配误差图，
77.所述装配误差图为在位姿空间根据第一位姿数据和第二位姿数据的误差描绘的有关位姿与距离的误差的模型图。
78.可选地，在第一类型的线为校准位姿与实到位姿间的差值小于位姿阈值的连接线时，待装配产品的装配误差在可接受范围内，无需在装配误差图中描绘有关误差线以节约计算资源。
79.可选地，在第二类型的线为校准距离与实到距离间的差值小于距离阈值的连接线时，也表示待装配产品的装配误差在可接受范围内，无需在装配误差图中描绘有关误差线以节约计算资源。
80.可选地，智能制造平台根据第二装配点标识获取第一位姿数据中对应的校准位姿和校准距离的过程包括：
81.智能制造平台的模型构建模块获取第二装配点标识中一个末端执行器的装配点标识；
82.模型构建模块根据所述末端执行器的装配点标识获取装配执行指令中第一装配点标识中与之对应的待装配产品的装配点标识；
83.模型构建模块根据所述对应的待装配产品的装配点标识获取第一位姿数据中对应的校准位姿和校准距离。
84.可选地，所述装配执行指令用于指示工业机器人执行装配操作；装配执行指令包括执行映射表和执行动作参数，其中执行映射表将末端执行器的装配点标识与待装配产品的装配点标识相关联，其包含一个末端执行器的装配点标识、待装配产品的一个装配点标识。
85.可选地，所述装配执行指令为指示工业机器人的一个末端执行器的装配点进行装配操作的命令，在工业机器人对待装配产品进行装配的过程中，工业机器人将接收智能制造平台发送的多条装配执行指令，直到待装配产品完成装配。
86.可选地，在工业机器人的一个末端执行器的装配点完成对待装配产品的对应装配点的装配操作时，智能制造云平台将根据末端执行器的运动限制空间为其分配待装配产品中未被装配的其它装配点以进行装配。
87.s4、智能制造平台的装配分析模块根据装配误差图分析末端执行器的位姿准确度和距离准确度以判断待装配产品是否合格。
88.具体地，智能制造平台根据装配误差图分析末端执行器的位姿准确度和距离准确度以判断待装配产品是否合格包括：
89.智能制造平台从所述装配误差图中获取若干校准位姿与实到位姿间的差值大于位姿阈值的连接线以分析得到工业机器人的位姿误差域，从所述装配误差图中获取若干校准距离与实到距离间的差值大于距离阈值的连接线以分析得到工业机器人的距离误差域；
90.智能制造平台将工业机器人的位姿误差域和距离误差域映射至工业机器人各个末端执行器的偏差约束几何中以分析得到工业机器人的每个末端执行器对应的第二装配点所夹持的用于装配的产品的平行度、垂直度和倾斜度；
91.智能制造平台根据每个末端执行器对应的第二装配点所夹持的用于装配的产品的平行度、垂直度和倾斜度分析得到装配机器人各个末端执行器的位姿准确度和距离准确度。
92.可选地，将工业机器人的位姿误差域和距离误差域映射至工业机器人各个末端执行器的偏差约束几何中以删除误差较大的数据，使得测量出的工业机器人的末端执行器的位姿数据更加准确。
93.可选地，所述位姿误差域用于表征工业机器人的所有末端执行器的位姿误差下限和位姿误差上限，即位姿的最小误差值和最大误差值；
94.所述距离误差域用于表征工业机器人的所有末端执行器的距离误差下限和距离误差上限，即距离的最小误差值和最大误差值；所述偏差约束几何用于表征工业机器人的各个末端执行器在各个方向上的最大工作距离，即在各个方向上的最大运动范围。
95.可选地，所述位姿准确度为校准位姿与实到位姿均值间的差值；距离准确度为校准距离和实到距离均值间的差值。
96.具体地，装配分析模块根据装配误差图分析校准位姿与实到位姿均值间的差值和校准距离和实到距离均值间的差值以得到位姿准确度和距离准确度。
97.具体地，根据末端执行器的位姿准确度w和距离准确度d计算装配准确度v，
98.v＝pew+qed99.w为位姿准确度，d为距离准确度，p为第一评价系数，q为第二评价系数，e为自然底数。
100.所述第一评价系数和第二评价系数根据生产监测方法的厂商、工厂管理员、车间工作人员等根据具体应用场景面积和装配产品进行预先设置。
101.可选地，根据第二装配点标识对应的装配点的装配准确度得到装配准确度矢量t，
102.t＝[t1,t2,t3…
tn]
[0103]
其中，装配准确度矢量的每个元素表示相应末端执行器在相应装配点的装配准确度。
[0104]
可选地，从数据库获取装配阈值矢量h，
[0105]
h＝[h1,h2,h3…hn
]
[0106]
其中装配阈值矢量的每个元素表示末端执行器在相应装配点的装配准确度的阈值。
[0107]
所述装配准确度的阈值用于判断相应装配点的是否合格。
[0108]
可选地，计算装配重复矢量g，
[0109]
g＝t-h
[0110]
在装配重复矢量中包含负数元素时，待装配产品不合格；在装配重复矢量不包含负数元素时，待装配产品合格。
[0111]
在装配重复矢量中包含负数元素时表示相应的装配点装配不准确。
[0112]
可选地，装配分析模块根据装配误差图分析末端执行器的位姿准确度和距离准确度以判断待装配产品是否合格，在待装配产品的装配结果为合格时，装配分析模块将生成合格信息将其发送给相应管理人员，以使管理人员知道该产品的装配结果准确。
[0113]
在待装配产品的装配结果为装配不准确时，装配分析模块将生成装配错误报告，并将其发送给装配客户端，以使管理人员知道该产品的装配结果不准确，并根据错误报告中的相关信息对该装配产品进行人工校正；所述装配错误报告包括待装配产品的装配误差的差量，第一位姿数据中对应存在装配误差的装配点标识、校准位姿和校准距离。
[0114]
本发明根据待装配产品的第一位姿数据和工业机器人的第二位姿数据得到装配误差图，并通过装配误差图来分析工业机器人对产品进行装配时的装配误差，及时的判断待装配产品是否合格，工作人员可以根据判断结果对装配不准确的产品进行人工校正，以免造成过大的损失，该方法比人工校验更快速，且节约劳动成本。
[0115]
在另一种情况下，工业机器人执行指令的准度会随着机器零件的损耗而下降，例如零件故障导致工业机器人的运动范围受限，工作人员也可以通过装配产品的准确度发现工业机器人的异常状况，从而对工业机器人的运行参数以及故障部位作出相应调整。
[0116]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。