焊接信息的学习模型生成方法、学习模型、程序以及焊接系统与流程

1.本发明涉及焊接信息的学习模型生成方法、学习模型、程序以及焊接系统。


背景技术：

2.近年来，在焊接作业的领域中，实现了自动作成或调整最佳的焊接条件的技术。例如在专利文献1中，以自动作成最佳的焊接条件为目的，公开了“一种机器学习装置(30)，学习决定至少一个电弧焊接条件，具备：状态观测部(31)，其在电弧焊接执行中或电弧焊接执行后的至少一方，观测由与电弧焊接相关的至少一个物理量和至少一个电弧焊接条件构成的状态变量；和学习部(35)，其将由该状态观测部观测到的至少一个物理量的变化和至少一个电弧焊接条件建立关联来进行学习”。
3.现有技术文献
4.专利文献
5.专利文献1：日本国特开2017-30014号公报


技术实现要素：

6.发明要解决的课题
7.专利文献1中，作为物理量，使用从电流电压测量部得到的焊接电流的波形、焊接电压的波形、由摄像部摄像的焊接部位的摄像数据、从摄像数据提取的信息。另外，所谓从摄像数据提取的信息，是指焊道的外观、焊道的余高输出
8.高度、焊道宽度、溅射的产生量。
9.然而，焊接现象根据焊接电流、电弧电压、嘴-母材间距离(以下也称作“突出长度”)、被焊接物(以下也称作“工件”)的形状、焊接姿态、视觉传感器的位置、其他电弧焊接条件(以下称作“焊接条件”)的组合的差异而发生种种变化。
10.此外，焊接现象的变化不仅通过组合的差异产生，还通过各个焊接条件的设定的差异产生。
11.然而，在专利文献1中，并未提及各个焊接条件的设定的差异给焊接现象带来的影响。
12.为此，在专利文献1的情况下，在学习模型的学习中所用的焊接条件的设定和现实的焊接中使用的焊接条件的设定不同的情况下，从焊接现象自动提取的物理量(以下也称作“焊接信息”)的精度不稳定，存在基于错误提取的焊接信息执行错误的处理的可能性。
13.本发明目的在于，生成一种学习模型，其能不依赖于实际的焊接中设定的种种焊接条件，从摄像的图像数据以高的精度稳定地提取焊接信息。
14.用于解决课题的手段
15.根据相关的目的，作为1个发明，提供一种焊接信息的学习模型生成方法，生成若被输入从对焊接的情形进行摄像的视觉传感器输出的图像数据就输出与图像数据对应的焊接信息的学习模型，在学习模型生成方法中，学习模型的生成中所使用的图像数据针对
至少1个焊接条件的多个设定进行摄像，图像数据包含熔池、焊丝以及电弧的至少一者，焊接信息包含与熔池的变动相关的信息、与焊丝的位置相关的信息以及与电弧相关的信息的至少一者，在示教数据中使用图像数据和与图像数据对应的焊接信息来生成学习模型。
16.另外，优选地，图像数据对应于与焊丝的突出长度、喷嘴的形状、图像数据的明度、被焊接物的形状、导电嘴的形状、焊接电流、电弧电压、焊接速度、摆动条件、焊接姿态当中的至少1者相关的2个以上的设定。
17.此外，优选地，至少1个焊接条件是焊丝的突出长度，突出长度的设定至少从10～40mm的范围中选择多个。
18.此外，与熔池的变动相关的信息包含：在焊接所推进的方向上出现的熔池的前端的1个以上的位置的信息；以及相对于焊接所推进的方向熔池的左右的端部的位置的信息。
19.此外，优选地，与焊丝的位置相关的信息包含焊丝的前端位置的信息。
20.此外，优选地，与电弧相关的信息包含电弧的中心点的信息。
21.作为其他发明，提供学习模型，若被输入一种从对焊接的情形进行摄像的视觉传感器输出的图像数据就输出与图像数据对应的焊接信息，其特征在于，学习模型的生成中所使用的图像数据针对至少1个焊接条件的多个设定进行摄像，图像数据包含熔池、焊丝以及电弧的至少一者，焊接信息包含与熔池的变动相关的信息、与焊丝的位置相关的信息以及与电弧相关的信息的至少一者，在示教数据中使用图像数据和与图像数据对应的焊接信息来生成学习模型。
22.作为再其他发明，提供一种程序，使计算机实现生成若被输入从对焊接的情形进行摄像的视觉传感器输出的图像数据、就输出与图像数据对应的焊接信息的学习模型的功能，功能在示教数据中使用图像数据和与图像数据对应的焊接信息，学习模型的生成中所使用的图像数据针对至少1个焊接条件的多个设定进行摄像，图像数据包含熔池、焊丝以及电弧的至少一者，焊接信息包含与熔池的变动相关的信息、与焊丝的位置相关的信息以及与电弧相关的信息的至少一者。
23.作为再其他发明，提供一种焊接系统，具有：焊接装置，其对被焊接物进行焊接；视觉传感器，其对焊接的情形进行摄像；学习模型，其若被输入从视觉传感器输出的图像数据，就输出与图像数据对应的焊接信息；和控制装置，其使用将用视觉传感器摄像得到的图像数据输入到学习模型的情况下输出的焊接信息，来控制焊接装置的活动，学习模型的生成中所使用的图像数据针对至少1个焊接条件的多个设定进行摄像，图像数据包含熔池、焊丝以及电弧的至少一者，焊接信息包含与熔池的变动相关的信息、与焊丝的位置相关的信息以及与电弧相关的信息的至少一者，控制装置在示教数据中使用图像数据和与图像数据对应的焊接信息来生成学习模型。
24.此外，优选地，该焊接系统除了输出与图像数据对应的焊接信息的学习模型以外，还设置输入被从学习模型输出的焊接信息且输出焊接信息的补正信号的其他学习模型。
25.发明的效果
26.根据本发明，能生成一种学习模型，其能不依赖于实际的焊接中设定的种种焊接条件，从摄像得到的图像数据以高的精度稳定地提取焊接信息。
附图说明
27.图1是表示实施方式的说明中使用的自动焊接系统的结构例的图。
28.图2是说明视觉传感器的配置位置的立体图。
29.图3是说明控制焊接机器人的动作的机器人控制装置的结构例的图。
30.图4是说明数据处理装置的结构例的图。
31.图5是概念地说明学习模型的生成工艺的图。
32.图6是说明示教作业和所用的画面的一例的图。
33.图7是说明学习模型的有监督学习的流程图。
34.图8是说明机器人控制装置以及电源装置的处理动作的流程图。
35.图9是说明数据处理装置的补正信息的生成处理的流程图。
36.图10是说明示教数据的生成中所用的焊接条件的一例的图。
37.图11是说明与具体例1对应的焊接信息的输出例和与比较例1对应的焊接信息的输出例的图。
38.图12是说明示教数据的生成中所用的焊接条件的其他一例的图。
39.图13是说明摄像机的光圈值f＝8的情况下的具体例2的输出例的图。
40.图14是现实的焊接环境中所用的摄像机的光圈值f＝15的情况下的具体例2的输出例的图。
41.图15是说明摄像机的光圈值f＝8的情况下的比较例2的输出例的图。
42.图16是说明现实的焊接环境中所用的摄像机的光圈值f＝15的情况下的比较例2的输出例的图。
具体实施方式
43.以下参考附图来说明本发明所涉及的焊接信息的学习模型生成方法、学习模型、程序以及焊接系统的实施方式。另外，各图为了本发明的说明而作成，本发明的实施方式并不限于图示的内容。
44.《自动焊接系统的结构》
45.图1是表示实施方式的说明中使用的自动焊接系统1的结构例的图。
46.图1所示的自动焊接系统1具备焊接机器人10、机器人控制装置20、电源装置30、视觉传感器40和数据处理装置50。
47.本实施方式中的自动焊接系统1具有：将焊接位置的图像和关于对应的图像由操作人员示教的焊接信息用在示教数据中来生成学习模型的功能；和使用所生成的学习模型来自动控制电弧焊接的功能。另外，学习模型的生成使用深度学习。
48.图1所示的焊接机器人10是6轴的多关节机器人，在其前端部安装电弧焊接用的焊炬11。另外，电弧焊接例如有mig(metal inert gas，金属惰性气体)焊接、mag(metal active gas，金属活性气体)焊接，在本实施方式中选择mag焊接。
49.此外，焊接机器人10例如可以采用可挪动型的小型机器人。
50.对焊炬11从焊丝进给装置12供给焊丝13。将焊丝13从焊炬11的前端送出。
51.电源装置30是电源装置，对焊丝13供给电力。通过该电力，来在焊丝13与工件w之间施加电弧电压，产生电弧。在电源装置30中设有检测从焊接中的焊丝13流到工件w的焊接
电流的未图示的电流传感器。
52.电源装置30具有未图示的cpu(central processing unit，中央处理器)和存储器，通过cpu执行电源控制用的计算机程序，来控制对焊丝13施加的电力。
53.电源装置30还与焊丝进给装置12连接，cpu控制焊丝13的进给速度。
54.视觉传感器40例如是ccd(charge coupled device，电荷耦合器件)摄像机。
55.图2是说明视觉传感器40的配置位置的立体图。在本实施方式的情况下，工件w是对接接头。工件w是2片金属板，隔着坡口对接。另外，在对接的2片金属板的背面侧安装有陶瓷制的背衬件14。另外，在背面侧，也可以使用金属系的背衬件，还可以没有背衬件。
56.在对接接头中，沿着坡口在一方向上进行电弧焊接。
57.以下将焊接推进的方向称作“前方”。在图2中，用箭头示出焊接推进的方向。为此，焊炬11位于视觉传感器40的后方。
58.此外，在本实施方式中，将在从后方观察视觉传感器40的情况下右手所位于的一侧称作“右方”，将观察前方的情况下左手所位于的一侧称作“左方”。
59.本实施方式中的工件w水平地设置，以使得进行焊接一侧的表面朝向铅垂上方。为此，焊接机器人10从工件w的上方侧焊接工件w。
60.如图2所示那样，视觉传感器40相对于工件w的焊接位置设置于斜上方。视觉传感器40的摄像范围包含工件w的焊接位置，对电弧焊接中的焊接位置的图像进行摄像。在该图像中包含熔池、焊丝13和电弧。
61.本实施方式中的视觉传感器40例如能连续摄像1024
×
768像素的静止图像。换言之，视觉传感器40能将焊接图像作为动态图像摄像。
62.《机器人控制装置的结构》
63.图3是说明控制焊接机器人10的动作的机器人控制装置20的结构例的图。
64.机器人控制装置20具有：控制装置整体的cpu201；存储数据的存储器202；包含多个开关的操作面板203；示教作业中使用的示教器204；输入输出部205；和通信部206。
65.在存储器202中存储用在焊接机器人10的控制中的控制程序202a。cpu201通过控制程序202a的执行来控制焊接机器人10的焊接动作。
66.在对机器人控制装置20的指示的输入中使用操作面板203和示教器204。操作人员能使用示教器204来输入示教程序。
67.机器人控制装置20按照从示教器204输入的示教程序来控制焊接机器人10的焊接动作。本来，示教程序也能使用未图示的计算机来作成。
68.在输入输出部205连接电源装置30和焊接机器人10的驱动电路。从从电源装置30，将例如由未图示的电流传感器检测到的焊接电流的电流值经过输入输出部205提供到cpu201。此外，cpu201将基于控制程序202a的控制信号输出到焊接机器人10的驱动电路。
69.通信部206是有线或无线通信用的通信模块。通信部206用于与电源装置30以及数据处理装置50的数据通信。
70.机器人控制装置20还通过焊接机器人10的各轴的控制来控制焊炬11的速度。在本实施方式的情况下，机器人控制装置20使用图像认识的结果来控制焊炬11的速度。不过，也可以将焊炬11的速度控制成固定。
71.机器人控制装置20还控制焊接机器人10的摆动动作。所谓摆动动作，是指在与焊
接的推进方向交叉的方向上使焊炬11交替地摇动。机器人控制装置20对应于所设定的周期、振幅、焊接速度来控制摆动动作。
72.机器人控制装置20和摆动动作一起执行焊接线模仿控制。所谓焊接线模仿控制，是控制焊炬11的左右的位置以使得沿着焊接线形成焊道的动作。
73.《数据处理装置的结构》
74.图4是说明数据处理装置50的结构例的图。
75.数据处理装置50例如由计算机构成。计算机具备主体510、输入部520和显示部530。
76.主体510具有cpu511、rom(read only memory，只读存储器)512、ram(random access memory，随机存取存储器)513、非易失性存储装置514、输入输出接口515、通信接口516和影像输出接口517。
77.cpu511、rom512、ram513、非易失性存储装置514、输入输出接口515、通信接口516、影像输出接口517通过总线、信号线相互连接。
78.在非易失性存储装置514中存储有：执行将对焊接现象摄像而得到的图像数据和对于图像数据由操作人员示教的焊接信息作为示教数据的深度学习的学习程序514a；经过学习程序514a的执行而生成的学习模型514b；使用学习模型514b来生成与电弧焊接相关的焊接信息的焊接信息生成程序514c；和焊接位置的图像数据514d。
79.本实施方式中的学习模型514b由卷积神经网络(convolutional neural network)构成。此外，在非易失性存储装置514中还安装有操作系统、应用程序。
80.通过由cpu511执行程序，数据处理装置50实现各种功能。
81.在本实施方式的情况下，数据处理装置50实现：生成学习模型的功能；在实际的焊接的执行时输入图像数据并输出焊接信息的功能。关于这些功能的内容，之后叙述。另外，可以配合生成学习模型的功能、和在实际的焊接的执行时输入图像数据并输出焊接信息的功能，来划分数据处理装置50。从通用性的观点来看，优选配合各个功能，来划分数据处理装置50。
82.在rom512中存储cpu511中执行的bios(basic input output system，基本输入输出系统)等。ram513作为从非易失性存储装置514读出的程序的作业区域来使用。
83.输入输出接口515与由键盘、鼠标等构成的输入部520连接。在输入输出接口515还连接有视觉传感器40。从视觉传感器40输出的图像数据经由输入输出接口515提供到cpu511。
84.通信接口516是有线或无线通信用的通信模块。影像输出接口517例如与由液晶显示器、有机el(electro-luminescence，电致发光)显示器构成的显示部530连接，将与从cpu511提供的影像数据相应的影像信号输出到显示部530。
85.《自动焊接系统的动作》
86.以下说明自动焊接系统1的动作。
87.《学习模型的生成》
88.在此说明学习模型514b的生成。学习模型514b通过学习程序514a的执行来生成。
89.图5是概念地说明学习模型514b的生成工艺的图。本实施方式中的学习模型514b由卷积神经网络构成，包含多个卷积层、多个池化层和多个全连接层。
90.学习模型514b将从视觉传感器40输出的图像数据作为输入，输出图像数据中出现的种种焊接信息。
91.输入到学习模型514b的图像数据中包含熔池、焊丝13(参考图1)以及电弧。以下将该图像数据称作“焊接图像”。
92.在本实施方式的情况下，进行改变焊接条件的设定的焊接，准备摄像各焊接的情形得到的焊接图像。
93.在本实施方式中的焊接条件中，例如有焊丝13的突出长度、图像数据的明度(f值)、工件w的形状、导电嘴的形状、焊接电流、电弧电压、焊接速度、摆动条件、焊丝13相对于工件w的姿态(焊接姿态)。
94.例如导电嘴的形状有直喷嘴和锥形喷嘴。此外，规定焊接姿态的信息例如有后退角、前进角、焊接线相对于坡口的偏离。
95.在本实施方式中，进行改变了焊接条件当中的“突出长度”的设定的多个焊接，准备对各焊接时的情形摄像得到的焊接图像，作为示教数据。例如准备突出长度为22mm的情况的焊接图像、27mm的情况的焊接图像和32mm的情况的焊接图像。此外，准备关于这些焊接图像由操作人员示教的焊接信息，作为示教数据。
96.另外，也可以关于突出长度以外的焊接条件也改变设定进行焊接，准备对各焊接时的情形摄像得到的焊接图像和关于该焊接图像由操作人员示教的焊接信息。
97.在本实施方式中，作为焊接信息，使用焊丝13的前端(焊丝前端)、电弧的中心点(电弧中心)、熔池的左右的前端的位置、熔池的左右的端部的位置。
98.按照支援示教作业的操作画面的指示，操作人员指定焊接图像上的特定的位置，由此进行用作示教数据的焊接信息的输入。
99.图6是说明用在示教作业中的画面的一例的图。在图6所示的焊接图像中包含熔池15、焊丝13、电弧16。在图6中，以阴影表示熔池15。
100.在本实施方式的情况下，作为焊接信息，由操作人员示教电弧中心的坐标位置(arcx，arcy)、焊丝前端的坐标位置(wirex，wirey)、熔池前端左端的坐标位置(pool_lead_lx，pool_lead_ly)、熔池前端右端的坐标位置(pool_lead_rx，pool_lead_ry)、熔池左端的坐标位置(pool_lx)、熔池右端的坐标位置(pool_rx)。
101.通过操作人员指示画面上的特定的位置来执行焊接信息的输入。
102.给出焊丝13与电弧的边界的坐标，是焊丝前端的位置坐标的一例。
103.此外，熔池前端左端、熔池前端右端、熔池左端和熔池右端，是与熔池15的变动相关的信息的一例。另外，若熔池左端和熔池右端，就能计算熔池15的宽度。
104.图7是说明学习模型514b的有监督学习的流程图。图中所示的记号的s是指步骤。
105.在有监督学习的执行时，数据处理装置50(参考图1)的cpu511(参考图4)接受对关于焊接条件的至少一者改变设定进行的焊接摄像而得到的图像数据和关于该图像数据示教的焊接信息，作为示教数据(步骤1)。
106.如前述那样，焊接信息由操作人员事前准备。在本实施方式的情况下，在作为示教数据的焊接图像中例如使用尺寸缩小成120
×
100像素的浓淡图像。
107.接下来，cpu511，将作为示教数据的浓淡图像输入到学习模型514b，并执行有监督学习以使得所输出的焊接信息与作为示教数据的焊接信息一致(步骤2)。具体地，执行反向
传播处理等作为误差反馈，调整学习模型514b的各层以及层间的参数。
108.接下来，cpu511判定是否满足结束条件(步骤3)。所谓结束条件，例如是指最近给定个示教数据中的误差平均不足给定值。
109.在不满足结束条件的情况下(步骤3中否定结果)，cpu511回到步骤2，继续有监督学习。另一方面，在满足结束条件的情况下(步骤3中肯定结果)，cpu511结束学习模型514b的生成。
110.《利用了所生成的学习模型的实际的焊接》
111.以下说明实际的焊接时的自动焊接系统1的焊接动作。
112.在进行电弧焊接的情况下，操作人员将机器人控制装置20、电源装置30以及数据处理装置50分别启动。
113.机器人控制装置20控制焊接机器人10的活动，电源装置30执行焊接。此外，数据处理装置50对由视觉传感器40摄像的焊接图像进行监视，逐次算出与电弧焊接相关的焊接信息。
114.在本实施方式中，将焊接信息设为焊丝前端的位置、电弧中心、熔池前端右端以及左端位置以及熔池右端以及左端位置。
115.图8是说明机器人控制装置20以及电源装置30的处理动作的流程图。图中所示的记号的s是指步骤。
116.操作人员在开始电弧焊接的情况下，操作示教器204(参考图3)，来对机器人控制装置20输入示教程序、各种设定值以及焊接开始指示。这里的示教程序规定焊接机器人10(参考图1)的活动等。
117.机器人控制装置20的cpu201(参考图3)接受示教程序、各种设定值以及焊接开始指示(步骤11)。
118.cpu201对电源装置30指令焊接开始(焊接电力的供给开始)(步骤12)。电源装置30接收该指令(步骤13)，控制内置于电源装置30的电源电路来开始焊接(步骤14)。由此，对焊丝13(参考图1)与工件w(参考图1)之间施加焊接电压，产生电弧。
119.接下来，cpu201对焊接机器人10发送控制信号，执行焊接控制(步骤15)。焊接控制包含自动焊接控制(步骤151)、摆动动作的控制(步骤152)以及焊接线模仿控制(步骤153)。
120.在自动焊接控制中，cpu511使焊炬11在焊接方向上自动移动的同时，将用于控制焊接速度、焊接电流或电弧电压的至少一者的补正信号发送到电源装置30，电源装置30按照补正信号来执行焊接。另外，出于控制的容易性的观点，优选在自动焊接控制中包含焊接速度的控制，在本实施方式中仅进行焊接速度的控制。
121.cpu201判定是否需要焊接动作的停止(步骤16)。在不需要焊接动作的停止的情况下(步骤16中否定结果)，机器人控制装置20从数据处理装置50接收焊接信息(步骤17)，回到步骤15。回到步骤15cpu201基于接收到的焊接信息来执行焊接控制。
122.例如在有来自操作人员的焊接停止的指示的接受、设于焊接机器人10的传感器的焊接结束位置的检测或焊接异常的检测、或者两方的检测的情况下(步骤16中肯定结果)，cpu201判断为需要焊接动作的停止。
123.在该情况下，cpu201停止焊接控制(步骤18)，对电源装置30指令焊接停止(步骤19)。焊接的停止通过焊接电力的供给的停止来实现。
124.此外，cpu201对数据处理装置50指令焊接信息的生成停止(步骤20)。
125.另一方面，电源装置30若接收到焊接停止的指令(步骤21)，就通过未图示的cpu控制电源电路，来停止焊接(步骤22)。由此，机器人控制装置20以及电源装置30的动作结束。
126.另外，机器人控制装置20的cpu201在步骤17接收的焊接信息如以下那样生成。
127.图9是说明数据处理装置50所进行的焊接信息的生成处理、和基于焊接信息执行焊接控制并将各控制因子的补正信号发送到电源装置30为止的流程图。另外，所谓各控制因子，是指焊接条件，例如能举出焊接速度、焊接电流、电弧电压、摆动动作或焊接线模仿等。图中所示的记号的s是指步骤。
128.数据处理装置50的cpu511在执行自动焊接的期间从视觉传感器40接收对焊接位置摄像而得到的焊接图像(步骤31)。
129.接下来，cpu511将接收到的焊接图像缩小，变换成浓淡图像(步骤32)。另外，cpu511将焊接图像的尺寸缩小到120
×
100像素。
130.接下来，cpu511将缩小的焊接图像输入到学习模型514b，取得从学习模型514b输出的焊接信息(步骤33)。
131.从学习模型514b，输出电弧中心的坐标位置(arcx，arcy)、焊丝前端的坐标位置(wirex，wirey)、熔池前端左端的坐标位置(pool_lead_lx，pool_lead_ly)、熔池前端右端的坐标位置(pool_lead_rx，pool_lead_ry)、熔池左端的坐标位置(pool_lx)、熔池右端的坐标位置(pool_rx)。
132.cpu511基于所取得的焊接信息来进行焊接控制，算出各控制因子的补正信号(步骤34)。
133.在本实施方式的情况下，作为补正信号，算出焊炬11的左右位置补正量δx、焊炬11的速度补正量δv、摆动动作的宽度(以下称作“摆动宽度”)的设定值w。
134.焊炬11的左右位置补正量δx通过下式(1)算出。
135.poolcenx＝(pool_lx+pool_rx)/2
136.δx＝poolcenx-x0
ꢀꢀꢀ
(1)
137.其中，x0是熔池的中心的左右方向位置的基准值，是预先设定的值。
138.所算出的左右位置补正量δx，为了使焊炬11在左右方向上移动以使得熔池像的中心poolcenx与x0一致而用。
139.在算出速度补正量δv时，首先通过下式(2)算出距离δl。
140.leady＝(pool_lead_ly+pool_lead_ry)/2-arcy
141.δl＝leady-l0
ꢀꢀꢀ
(2)
142.其中，l0是熔池前端位置与电弧中心的距离，预先设定成能形成品质最佳的熔透焊道的值。
143.leady也是熔池前端位置与电弧中心的距离。其中，leady通过使用了从焊接图像提取的作为图像特征信息的pool_lead_ly、pool_lead_ry以及arcy的前式(2)来算出。
144.距离δl是leady与l0的差分。若算出距离δl，就通过使用了变换系数β的下式(3)来算出速度补正量δv。
145.δv＝δl
×
β
ꢀꢀꢀ
(3)
146.摆动宽度的设定值w通过下式(5)或(6)来算出。
147.leadw＝pool_lead_rx-pool_lead_lx
148.if leadw＜w0then w＝0
ꢀꢀꢀ
(4)
149.if leadw≥w0then w＝(leadw-α)
ꢀꢀꢀ
(5)
150.其中，w0是坡口的间隙宽度，预先设定成需要摆动的最低限的值。
151.leadw也表示间隙宽度，这是由于从焊接图像提取的图像特征信息的坐标位置(pool_lead_lx，pool_lead_rx)分别相当于坡口的左右位置、因此如上述那样算出的值。
152.根据上述的(4)式，在间隙宽度leadw不足w0的情况下，摆动宽度的设定值w成为0，不进行摆动动作。
153.根据上述的(5)式，在间隙宽度leadw为w0以上的情况下，摆动宽度的设定值w成为比间隙宽度leadw小α的值。另外，α是预先设定的值。
154.步骤34的工艺可以另外进行学习模型化，例如，可以在示教数据中使用将焊接信息和焊接结果信息等建立关联的信息来生成学习模型，将焊接信息向该学习模型输入，输出各控制因子的补正信号，以使得成为最佳的焊接结果。在此，所谓焊接结果信息，能举出焊接电流的波形数据、电弧电压的波形数据、焊接时的电弧声数据、焊道形状数据、溅射产生数据、烟产生数据、焊接缺陷数据等，优选将这些数据的至少一者作为焊接结果信息来处置。
155.若步骤34的补正信号的算出完成，cpu511就对机器人控制装置20发送补正信号(步骤35)。
156.接下来，cpu511判定是否从机器人控制装置20接收到补正信号的生成的停止指令(步骤36)。
157.在未接收到停止指令的情况下(步骤36中否定结果)，cpu511回到步骤31。
158.另一方面，在接收到停止指令的情况下(步骤36中肯定结果)，cpu511结束补正信号的生成处理。
159.如以上那样，在本实施方式所涉及的自动焊接系统1中，由于将对焊接条件的至少一者改变设定而摄像得到的焊接图像和关于该焊接图像由操作人员示教的焊接信息用在示教数据中执行深度学习，来生成学习模型514b，因此，不依赖于实际的焊接中设定的种种焊接条件，稳定地输出可靠度高的焊接信息。即，生成鲁棒性跃升的学习模型。
160.《具体例》
161.以下，说明通过使用以实施方式中说明的手法生成的学习模型514b从而焊接信息的认识精度得以提升。
162.(1)具体例1
163.图10是说明用在示教数据的生成中所用的焊接条件的一例的图。在图10中，将与实施方式中说明的手法对应的示教数据称作具体例1，将与现有的手法对应的示教数据称作比较例1。
164.在具体例1的情况下，作为示教数据，使用共计5400张焊接图像。该张数是比较例1中使用的焊接图像的张数的2倍。
165.具体例1的焊接图像在以下所示的2点上与比较例1的焊接图像不同。
166.第1个相异点在于，对作为焊接条件之一的突出长度使用2种类的设定。在比较例1的情况下，仅是突出长度25mm的状态下摄像得到的焊接图像，在具体例1的情况下，追加了
22mm的状态下摄像得到的焊接图像。
167.第2个相异点在于，追加焊丝13(参考图1)位于熔池的右侧的情况和位于左侧的情况的焊接图像。
168.不过，在比较例1的情况下，由于并未确定用作示教数据的焊接图像内的焊丝13的位置，因此，不管是焊丝13位于熔池的右侧的状态下摄像得到的焊接图像，还是焊丝13位于熔池的左侧的状态下摄像得到的焊接图像，都有被包含的可能性。但相应位置的张数与具体例1相比格外少。
169.图11是说明与具体例1对应的焊接信息的输出例和与比较例1对应的焊接信息的输出例的图。
170.在图11示出6个焊接图像。上层的3个焊接图像与焊丝13位于熔池的右方的状态对应，下层的3个焊接图像与焊丝13位于熔池的左方的状态对应。此外，左侧的2列的焊接图像与比较例1对应，右侧的1列的焊接图像与具体例1对应。
171.在各焊接图像中，以圆形记号示出使用学习模型514b认识到的电弧中心、焊丝前端、熔池前端左端、熔池前端右端、熔池左端、熔池右端的位置。
172.在比较例1的情况下，不管在哪个焊接图像中，表示焊丝前端的认识位置的圆形记号都出现在与焊丝13的实际的前端不同的位置。这意味着焊丝前端的认识中有错误。为此，在图11中，在比较例1的栏标注ng1和ng2。
173.另一方面，在具体例1的情况下，不管在哪个焊接图像中，表示焊丝前端的认识位置的圆形记号和焊丝13的前端都重叠。即，在具体例1的情况下，认识了正确的位置。另外，在具体例1的情况下，不管是焊丝13相对于熔池位于哪个位置的情况，都确认了焊丝前端的认识的精度的提升。
174.此外，在比较例1的情况下，若在学习模型的生成中使用的突出长度和实际的焊接环境中所用的突出长度不同，就确认到焊丝前端的认识精度的降低，但在具体例的情况下，能不依赖于焊接环境中所用的突出长度地进行精度高的认识。
175.(2)具体例2
176.图12是说明示教数据的生成中所用的焊接条件的其他一例的图。在图12中，将与实施方式中说明的手法对应的示教数据称作具体例2，将与现有的手法对应的示教数据称作比较例2。
177.具体例2的焊接图像中，对应的焊接条件的一部分与具体例1的焊接图像不同。具体例2也是，将焊丝13(参考图1)位于熔池的右侧的情况和位于左侧的情况的焊接图像作为示教数据来使用，但关于作为焊接条件的曝光时间和坡口间隙，也考虑多个设定。
178.例如比较例2的曝光时间是1100μs的1种类，但具体例2的曝光时间是2000μs、1100μs、800μs的3种类。
179.此外，比较例2的坡口间隙仅是5mm，但具体例2的坡口间隙考虑3～10mm的范围的100型式。另外，坡口间隙的值随机决定。
180.另外，具体例2中所用的焊接图像和比较例2中所用的摄像机的光圈值均是f＝8。
181.图13是说明摄像机的光圈值f＝8的情况下的具体例2的输出例的图。
182.在图13中，示出6个焊接图像。上层的3个焊接图像是坡口间隙窄的情况，下层的3个焊接图像是坡口间隙宽的情况。此外，左端的列是曝光时间为2000μs的情况，正中间的列
是曝光时间为1100μs的情况，右端的列是曝光时间为800μs的情况。
183.不管关于哪个焊接图像，都正确地认识了电弧中心、焊丝前端、熔池前端左端、熔池前端右端、熔池左端、熔池右端的位置。
184.图14是说明现实的焊接环境中所用的摄像机的光圈值f＝15的情况下的具体例2的输出例的图。在图14的情况下，左端的列是曝光时间为6000μs的情况，正中间的列是曝光时间为5000μs的情况，右端的列是曝光时间为4000μs的情况。
185.在图14的情况下，曝光时间和摄像机的光圈值f均与学习模型514b的学习中使用的焊接条件的设置不同。但在图14所示的任何焊接图像中，无论哪个焊接信息都被正确地认识。
186.图15是说明摄像机的光圈值f＝8的情况下的比较例2的输出例的图。在图15中，对与图13的对应部分标注对应的附图标记。即，上层的3个焊接图像是坡口间隙窄的情况，下层的3个焊接图像是坡口间隙宽的情况。此外，左端的列是曝光时间为2000μs的情况，正中间的列是曝光时间为1100μs的情况，右端的列是曝光时间为800μs的情况。
187.在比较例2的情况下，不管在哪个焊接图像中，在电弧中心、焊丝前端、熔池前端左端、熔池前端右端、熔池左端、熔池右端的位置的任意者的认识中都能看到偏离。例如在曝光时间为2000μs的情况下，与坡口间隙的宽度无关，认识到的电弧中心、焊丝前端从正确的位置大幅偏离。此外，熔池前端右端和左端也同样地从正确的位置大幅偏离。
188.图16是说明现实的焊接环境中所用的摄像机的光圈值f＝15的情况下的比较例2的输出例。在图16中，对与图14的对应部分标注对应的附图标记。即，上层的3个焊接图像是坡口间隙窄的情况，下层的3个焊接图像是坡口间隙宽的情况。此外，左端的列是曝光时间为6000μs的情况，正中间的列是曝光时间为5000μs的情况，右端的列是曝光时间为4000μs的情况。
189.在图16的情况下，也是在电弧中心、焊丝前端、熔池前端左端、熔池前端右端、熔池左端、熔池右端的位置的任意者的认识中能看到偏离。例如在曝光时间6000μs且坡口间隙窄的情况下，认识到的熔池前端右端和左端、熔池右端和左端从正确的位置大幅偏离。此外，在即使曝光时间为6000μs坡口间隙也宽的情况下，认识到的电弧中心和焊丝前端从正确的位置大幅偏离。
190.如此地，在比较例2的情况下，在现实的焊接环境中所用的焊接条件与学习时所用的焊接条件不同的情况下，认识的精度大幅降低。
191.(3)汇总
192.如以上使用2个具体例说明的那样，作为学习模型514b的学习中所用的示教数据，准备与至少1个焊接条件的多个设定对应的焊接图像，由此，与在示教数据中使用与1个焊接条件的1个设定对应的焊接图像的情况相比，使用环境中的曝光条件的变化给焊接信息的认识精度带来的影响变少。
193.其结果，使用认识的结果的焊接的控制变得恰当，实现了自动焊接的品质的提升。
194.《其他实施方式》
195.以上说明了本发明的实施方式，但本发明的技术的范围并不限定于上述的实施方式记载的范围。在上述的实施方式中加进种种变更或改良而得到的方案也含在本发明的技术的范围中，这点从权利要求书的记载中得以明确。
196.(1)例如在前述的实施方式中，作为电弧焊接机的一例而例示了熔极式的mig焊接、mag焊接，但也可以使用在惰性气体中使电弧产生的tig(tungsten inert gas，钨惰性气体)焊接。在该情况下，可以追加地准备在作为焊接条件变更了填充金属的形状、姿态的设定的状态下摄像得到的焊接图像。此外，还能适用于不使电弧产生的焊接机。例如可以也用在基于电渣焊接的焊接中。
197.(2)在前述的实施方式的情况下，说明了焊接机器人10为多关节机器人的示例，但也可以是单关节型的机器人。
198.(3)在前述的实施方式中，将熔池左端和熔池右端作为焊接信息输出，但也可以输出根据这些信息计算的熔池的宽度。此外，也可以在焊接信息中包含根据熔池前端左端和熔池前端右端计算的熔池的前端宽度。此外，也可以在焊接信息中包含焊接池前端位置与电弧中心的距离即l0、leady。
199.(4)在前述的实施方式中，使作为焊接条件的突出长度以5mm步幅变化，以使得成为22mm、27mm、32mm，将对各突出长度下的焊接的情形摄像得到的焊接图像用作示教数据，但也可以如具体例1那样，突出长度的步幅为3mm。不过，用作示教数据的焊接图像的摄像中所用的突出长度的步幅是任意的。
200.(5)在前述的实施方式以及具体例中，例示了在对用作示教数据的焊接图像摄像的焊接时使焊接条件的突出长度可变的情况，但在用作示教数据的焊接图像中，并不意味着必须让突出长度是可变的。即，关于前述的焊接条件的任意1者或多者，也可以将在示教数据中使用使各个设定可变而摄像得到的焊接图像来生成学习模型514b。
201.以上参考附图说明了各种实施方式，但本发明并不限定于相关的示例，这点不言自明。只要是本领域技术人员即可明确，能在记载于权利要求书的范畴内想到各种变更例或修正例，对于这些，当然也属于本发明的技术的范围。此外，也可以在不脱离发明的主旨的范围内任意组合上述实施方式中的各构成要素。
202.另外，本技术基于2020年4月30日申请的日本专利申请(特愿2020-080006)，将其内容作为参考援用在本技术中。
203.附图标记的说明
204.1...自动焊接系统、10...焊接机器人、11...焊炬、12...焊丝进给装置、13...焊丝、14...背衬件、20...机器人控制装置、30...电源装置、40...视觉传感器、50...数据处理装置、514a...学习程序、514b...学习模型、514c...焊接信息生成程序、514d...图像数据