控制装置、机器人及机器人系统的制作方法

本发明涉及控制装置、机器人以及机器人系统。

背景技术

现有技术中，在使用安装于机械臂的工具来处理工件之前，进行设定工具相对于机械臂的偏移的处理。在专利文献1中已经公开有一种方法，其改变机械臂的姿势来执行多次将安装于机械臂上的工具与实空间(realspace)的基准点对准的操作，根据其结果而导出工具相对于机械臂的偏移。

现有技术文献

专利文献

专利文献1：日本特开平8-85083号公报

可是，在通过工具来处理工件时，必须使工具以恰当的姿势接触或者接近于工件。但是，在专利文献1记载的方法中，由于将工具的一点与基准点对准来导出偏移，因此即使能够设定工具相对于机械臂的位置偏移，也无法设定工具相对于机械臂的姿势偏移。如果不设定工具相对于机械臂的姿势偏移，就无法恰当地控制工具相对于工件的姿势，难以设为所希望的姿势。

技术实现要素：

本发明为了解决上述的问题的至少一部分而做出，能够通过以下来实现。

本发明的控制装置的特征在于，能够控制机器人的驱动，所述控制装置具备：

显示控制部，使对用于求出设于所述机器人的工具的姿势偏移的信息的输入进行指导的姿势设定用引导画面显示于显示部；以及

控制部，根据所述工具的姿势偏移来控制所述机器人的驱动。

根据这样的本发明的控制装置，能够容易且迅速地进行用于求出工具的姿势偏移的信息的输入操作。

另外，通过求出工具的姿势偏移，能够根据工具相对于机器人所具有的机械臂的姿势而容易且准确地将工具设为所希望的姿势。

在本发明的控制装置中，优选地，所述信息包括所述工具的形状。

由此，能够准确地求出工具的姿势偏移。

在本发明的控制装置中，优选地，所述形状包括棒状和平面状的至少一个。

由此，能够在棒状和平面状的至少一个形状的工具上准确地求出姿势偏移。

在本发明的控制装置中，优选地，所述姿势设定用引导画面依次指导所述工具对特定点接触的部位。

由此，能够容易且准确地进行用于求出工具的姿势偏移的操作。

在本发明的控制装置中，优选地，所述显示控制部使调出部显示于所述姿势设定用引导画面之中，所述调出部调出对用于求出所述工具的位置偏移的信息的输入进行指导的位置设定用引导画面。

由此，用户能够经由调出部来调出位置设定用引导画面，因此能够容易且迅速地进行用于求出位置偏移的信息的输入操作。

本发明的机器人的特征在于，设有工具，通过本发明的控制装置来控制所述机器人。

根据这样的本发明的机器人，能够在控制装置的控制之下根据工具相对于机器人所具有的机械臂的姿势而容易且准确地将工具设为所希望的姿势。

本发明的机器人系统的特征在于，具备：

本发明的控制装置；以及

机器人，设有工具，通过所述控制装置来控制所述机器人。

根据这样的本发明的机器人系统，能够容易且迅速地进行用于求出工具的姿势偏移的信息的输入操作。

另外，通过求出工具的姿势偏移，能够根据工具相对于机器人所具有的机械臂的姿势而容易且准确地将工具设为所希望的姿势。

附图说明

图1是本发明的第一实施方式所涉及的机器人视觉系统的网络图。

图2是示出图1中所示的机器人视觉系统所具有的机器人的一个例子的立体图。

图3是示出图1中所示的机器人视觉系统所具有的机器人的一个例子的立体图。

图4是图2或图3中所示的机器人的系统构成图。

图5是图1中所示的机器人系统所具有的计算机的系统构成图。

图6是图1中所示的机器人系统所具有的机器人控制装置的系统构成图。

图7是图1中所示的机器人系统所具有的图像处理装置的系统构成图。

图8是示出由图1所示的控制系统进行的作业程序创建的流程的流程图。

图9是示出由图1所示的控制系统进行的作业程序创建的流程的流程图。

图10是用于说明图8的步骤s111的图。

图11是用于说明图8的步骤s113的图。

图12是用于说明图8的步骤s116的图。

图13是用于说明图8的步骤s118的图。

图14是用于说明图9的步骤s126的图。

图15是用于说明图9的步骤s128和步骤s129的图。

图16是示出执行根据图8和图9所示的流程图而作成的作业程序的流程的流程图。

图17是示出使其显示于图1所示的显示装置的主窗口和机器人操作用子窗口的图。

图18是示出使其显示于图1所示的显示装置的主窗口和图像处理用子窗口的图。

图19是示出设定图8中所示的局部坐标系的流程的流程图。

图20是显示于图1中所示的显示装置的局部设定画面。

图21是显示于图1中所示的显示装置的局部设定画面。

图22是显示于图1中所示的显示装置的示教用画面。

图23是显示于图1中所示的显示装置的局部设定画面。

图24是示出图8中所示的工具设定的流程的流程图。

图25是显示于图1中所示的显示装置的工具设定画面。

图26是显示于图1中所示的显示装置的工具设定画面。

图27是显示于图1中所示的显示装置的工具设定画面。

图28是示出图9中所示的校准的流程的流程图。

图29是示出图9中所示的校准的流程的流程图。

图30是显示于图1中所示的显示装置的校准创建画面。

图31是显示于图1中所示的显示装置的校准创建画面。

图32是显示于图1中所示的显示装置的校准创建画面。

图33是显示于图1中所示的显示装置的校准创建画面。

图34是显示于图1中所示的显示装置的校准创建画面。

图35是显示于图1中所示的显示装置的校准创建画面。

图36是显示于图1中所示的显示装置的校准创建画面。

图37是显示于图1中所示的显示装置的校准创建画面。

图38是显示于图1中所示的显示装置的示教用画面。

图39是示出在图18所示的子窗口中显示有属性设定窗口的状态的图。

图40是示出在图18所示的子窗口中显示有示教流程的状态的图。

图41是示出在图18所示的子窗口中显示有示教流程的状态的图。

图42是示出在图18所示的子窗口中显示有校准执行按钮的状态的图。

图43是在图29所示的步骤s545中显示于显示装置的画面。

图44是示出在创建图8所示的图像处理时序中的显示处理的流程的流程图。

图45是示出显示于图1所示的显示装置的子窗口的图。

图46是示出显示于图1所示的显示装置的列表的图。

图47是示出显示于图1所示的显示装置的列表的图。

图48是示出显示于图1所示的显示装置的列表的图。

图49是示出显示于图1所示的显示装置的列表的图。

图50是示出显示于图1所示的显示装置的列表的图。

图51是显示于图1所示的显示装置的子窗口中的引导画面。

图52是显示于图1所示的显示装置的子窗口中的引导画面。

图53是显示于图1所示的显示装置的子窗口中的引导画面。

图54是示出显示于图1所示的显示装置的子窗口且与图45不同的显示的图。

图55是示出显示于图1所示的显示装置的子窗口且与图45不同的显示的图。

图56是示出本发明的第二实施方式所涉及的机器人视觉系统所具有的机器人的一个例子、安装于机械臂上的工具的一个例子以及示教用工具的一个例子的立体图。

图57是示出本发明的第二实施方式所涉及的机器人视觉系统所具有的机器人的一个例子、安装于机械臂上的工具的一个例子以及示教用工具的一个例子的立体图。

图58是示出本发明的第二实施方式所涉及的机器人视觉系统的工具设定的流程的流程图。

图59是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图60是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图61是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图62是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图63是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图64是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图65是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图66是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图67是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图68是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图69是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图70是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。

图71是用于说明本发明的第二实施方式所涉及的机器人视觉系统的工具设定的图。

图72是用于说明本发明的第二实施方式所涉及的机器人视觉系统的工具设定的图。

图73是用于说明本发明的第二实施方式所涉及的机器人视觉系统的工具设定的图。

图74是用于说明本发明的第二实施方式所涉及的机器人视觉系统的工具设定的图。

图75是用于说明本发明的第二实施方式所涉及的机器人视觉系统的工具设定的图。

图76是用于说明本发明的第二实施方式所涉及的机器人视觉系统的工具设定的图。

附图标记说明

2...机器人；2a...机器人、2b...机器人；3...摄像部；10...控制系统；11...计算机；12...机器人控制装置；13...图像处理装置；20...机械臂；21...第一臂；22...第二臂；23...第三臂；24...第四臂；25...第五臂；26...第六臂；31...移动式摄像机；32...固定摄像机；36...示教用工具；37...工具；38…工具；41…显示装置；42...输入装置；50...主窗口；51…子窗口；52…面板；53…标签；54…点动(jog)面板；56...标签；57...列表；60...属性设定窗口；61…子窗口；62…流程图显示部；63...阅览部；65...引导画面；68…画面；71…工具设定画面；71a…工具设定画面；71b...工具设定画面；71c…工具设定画面；72…局部设定画面；72a…局部设定画面；72b…局部设定画面；72c…局部设定画面；73…校准创建画面；73a…校准创建画面；73b…校准创建画面；73c…校准创建画面；73d…校准创建画面；73e…校准创建画面；73f…校准创建画面；73g…校准创建画面；81…姿势设定用引导画面；81a…姿势设定用引导画面；81b…姿势设定用引导画面；81c…姿势设定用引导画面；81d…姿势设定用引导画面；81e…姿势设定用引导画面；81f…姿势设定用引导画面；81g…姿势设定用引导画面；81h…姿势设定用引导画面；81i…姿势设定用引导画面；81j…姿势设定用引导画面；81k…姿势设定用引导画面；90…作业台；91…供材台；92…校准板；93…工件；94…合格用除材台；95…不合格用除材台；100…机器人视觉系统；110…处理部；111…控制部；112…主存储器；113…存储部；114…显示控制部；115…输入控制部；116…通信部；121…控制部；122…主存储器；123…存储部；126…通信部；131…控制部；132…主存储器；133…存储部；136…通信部；201…第一手臂；202…第二手臂；203…花键轴；210…基座；270…手部；280…驱动部；281…位置传感器；283…电机驱动器；290…力检测部；361…前端；371…棒状部；372…前端；373…点；374…点；375…直线；381…板状部；382…前端面；383…点；384…点；385…点；502…工具栏；521…点动动作组；522…示教组；601…图标；612…图像影像显示部；613…执行组；614…按钮；615…工具栏；616…示教组；621…显示部；622…显示部；651…框；652…框；653…窗口；660…流程图；660a…流程图；660b…流程图；661…流程；662…流程；662a…流程；662b…流程；663…对话框；671…图标；672…图标；680…标记；681…区域；682…区域；683…ok按钮；684…取消按钮；701…工具设定用图标；702…局部设定用图标；703…校准创建用图标；711…单选按钮；712…下拉列表；713…文本框；714…下拉列表；720…画面；721…单选按钮；722…下拉列表；723…单选按钮；724…点动组；725…图像影像显示部；726…点动&示教面板；727…文本框；728…下拉列表；729…复选框；730…画面；733…下拉列表；736…复选框；801…命令输入图标；811…单选按钮；812…下拉列表；813…图像影像显示部；1110…校准控制部；1111…控制程序编辑部；1112…控制程序构建部；1113…校准编辑部；1114…校准执行部；1115…图像处理时序编辑部；1211…控制程序执行部；1212…机器人控制部；1311…图像处理时序执行部；1312…图像处理部；1313…摄像部控制部；5212…按钮；6151…示教按钮；6152…校准执行按钮；6221…图标；6501…按钮；6502…按钮；6503…按钮；6504…按钮；6511…项目；6521…项目；6540…列表；6541…图标；6542…字符串；7101…按钮；7102…按钮；7103…按钮；7104…按钮；7105…按钮；7106…按钮；7201…按钮；7202…按钮；7203…按钮；7204…按钮；7205…按钮；7206…示教按钮；7208…按钮；7241…按钮；7301…按钮；7302…按钮；7303…按钮；7304…按钮；7305…ok按钮；7306…取消按钮；7307…按钮；7311…下拉列表；7312…下拉列表；7313…下拉列表；7321…单选按钮；7322…下拉列表；7323…组；7324…单选按钮；7341…局部向导按钮；7342…下拉列表；7351…工具向导按钮；7352…下拉列表；7353…单选按钮；7354…复选框；7371…文本框；7372…复选框；7373…示教按钮；8101…按钮；8102…按钮；8103…按钮；8104…按钮；8105…按钮；8106…按钮；a31…光轴；a32…光轴；j3…轴；o6…转动轴；p…工具中心点；s111…步骤；s112…步骤；s113...步骤；s114...步骤；s115...步骤；s116...步骤；s117...步骤；s118...步骤；s119...步骤；s120...步骤；s121...步骤；s122...步骤；s123...步骤；s124...步骤；s125...步骤；s126...步骤；s127...步骤；s128...步骤；s129...步骤；s130...步骤；s131...步骤；s132...步骤；s211...步骤；s212...步骤；s213...步骤；s214...步骤；s215...步骤；s216...步骤；s217...步骤；s218...步骤；s219...步骤；s220...步骤；s221...步骤；s222...步骤；s223...步骤；s224...步骤；s225...步骤；s226a...步骤；s226b...步骤；s227...步骤；s228...步骤；s229...步骤；s31...步骤；s311...步骤；s312...步骤；s313...步骤；s314...步骤；s315...步骤；s316...步骤；s317...步骤；s318...步骤；s319...步骤；s320...步骤；s321...步骤；s322...步骤；s323...步骤；s324...步骤；s325...步骤；s326...步骤；s327...步骤；s328...步骤；s329...步骤；s33...步骤；s330...步骤；s41...步骤；s411...步骤；s412...步骤；s413...步骤；s414...步骤；s415...步骤；s416...步骤；s417...步骤；s418...步骤；s419...步骤；s420...步骤；s421...步骤；s422...步骤；s423...步骤；s424...步骤；s425...步骤；s426...步骤；s427...步骤；s428...步骤；s429...步骤；s43...步骤；s430...步骤；s51...步骤；s511...步骤；s512...步骤；s513...步骤；s514...步骤；s515...步骤；s516...步骤；s517...步骤；s518...步骤；s519...步骤；s52...步骤；s520...步骤；s521...步骤；s522...步骤；s523...步骤；s524...步骤；s525...步骤；s526...步骤；s527...步骤；s528...步骤；s529...步骤；s530...步骤；s531...步骤；s532...步骤；s533...步骤；s534...步骤；s535...步骤；s536...步骤；s537...步骤；s538...步骤；s539...步骤；s54...步骤；s540...步骤；s541...步骤；s542...步骤；s543...步骤；s544...步骤；s545...步骤；s546...步骤；s547...步骤；s611...步骤；s612...步骤；s613...步骤；s614...步骤；s615...步骤；s616...步骤；s617...步骤；s618...步骤；s619...步骤；s620...步骤；s621...步骤；s622...步骤；s623...步骤；s624...步骤；s625...步骤；s626...步骤；s627...步骤；s628...步骤；s629...步骤；s711...步骤；s712...步骤；s713...步骤；s714...步骤；s715...步骤；s716...步骤；s717...步骤；s718...步骤；s719...步骤；s720...步骤；s721...步骤；s722...步骤；s723...步骤。

具体实施方式

下面，根据附图所示的优选的实施方式来详细说明本发明的控制装置、机器人以及机器人系统。

＜第1实施方式＞

＜机器人视觉系统(机器人系统)的结构＞

图1是本发明的第一实施方式所涉及的机器人视觉系统的网络图。图2是示出图1中所示的机器人视觉系统所具有的机器人的一个例子的立体图。图3是示出图1中所示的机器人视觉系统所具有的机器人的一个例子的立体图。图4是图2或图3中所示的机器人的系统构成图。图5是图1中所示的机器人系统所具有的计算机的系统构成图。图6是图1中所示的机器人系统所具有的机器人控制装置的系统构成图。图7是图1中所示的机器人系统所具有的图像处理装置的系统构成图。

需要注意的是，以下，为了方便说明，将图2和图3中的上侧称为“上”、将下侧称为“下”。另外，将图2和图3中的基座210侧称为“基端”，将其相反侧(作为末端执行器的手部270侧)称为“前端”。另外，将图2或图3中的上下方向作为“垂直方向”，将左右方向作为“水平方向”。在本说明书中，所谓“水平”，不仅包括完全水平的情况，而且还包括相对于水平在±5°以内倾斜的情况。同样地，在本说明书中，所谓“垂直”，不仅包括完全垂直的情况，而且还包括相对于垂直而在±5°以内倾斜的情况。另外，在本说明书中，所谓“平行”不仅包括两条线(包括轴)或面彼此完全平行的情况，而且还包括在±5°以内倾斜的情况。另外，在本说明书中，所谓“正交”不仅包括两条线(包括轴)或面彼此完全正交的情况，而且还包括在±5°以内倾斜的情况。

图1所示的机器人视觉系统100(机器人系统)是在例如电子零部件和电子设备等工件的保持、搬运、组装以及检查等作业中使用的装置。机器人视觉系统100具有：控制系统10(控制装置)、至少一个机器人2、具有摄像功能的多个摄像部3、显示装置41(显示部)、以及输入装置42(输入部)。控制系统10具有：计算机11(主控制装置、第一控制装置)、机器人控制装置12(第二控制装置)、以及图像处理装置13(第三控制装置)。在机器人视觉系统100具有多个机器人2的情况下，可以具有多个同型(同种)的机器人2(例如机器人2a或机器人2b任一个)，还可以具有多个不同类型(异种)的机器人2(例如机器人2a和机器人2b)。

计算机11、机器人控制装置12以及图像处理装置13彼此通过有线或无线通信连接(以下也只称为“连接”)。另外，显示装置41和输入装置42各个通过有线或无线通信而与计算机11连接。另外，机器人2通过有线或无线通信而与机器人控制装置12连接。另外，多个摄像部3的各个通过有线或无线通信而与图像处理装置13连接。需要说明的是，摄像部3、显示装置41以及输入装置42可以分别连接于图像处理装置13。

在该机器人视觉系统100中，例如在控制系统10的控制之下摄像部3对工件等进行摄像，机器人2根据由摄像部3拍摄到的拍摄图像(图像数据)而对工件等进行作业。另外，在机器人视觉系统100中，在控制系统10的控制之下例如为了由摄像部3识别工件而进行图像处理时序的创建等或者进行使摄像坐标系与机器人坐标系(前端坐标系或者基坐标系)建立对应的校准，以便机器人2能够进行恰当的作业。

下面，对构成机器人视觉系统100的各个部分进行说明。

〈机器人〉

如图1所示，机器人2与机器人控制装置12连接。能够连接于机器人控制装置12的机器人2的种类不作特别限定。例如，可以是图2所示那样的作为垂直多关节机器人的机器人2a(机器人2)或者图3所示那样的作为水平多关节机器人的机器人2b(机器人2)。在此，所谓“水平多关节机器人”是指臂(花键轴203除外)在水平方向上动作的机器人。另外，所谓“垂直多关节机器人”是指轴数(臂数)为三个以上且三个轴中的两个轴彼此交叉(正交)的机器人。

下面，对机器人2a、2b进行简单说明。

(机器人2a)

如图2所示，机器人2a(机器人2)被设置于例如作业台90上。机器人2a是所谓的六轴垂直多关节机器人(自由度6)。机器人2a具有：安装于作业台90的基座210、与基座210连接的机械臂20、安装于机械臂20的前端的力检测部290、以及安装于力检测部290的前端的手部270(末端执行器)。

机器人2a所具有的机械臂20包括：第一臂21(臂)、第二臂22(臂)、第三臂23(臂)、第四臂24(臂)、第五臂25(臂)以及第六臂26(臂)。这些臂21～26从基端侧朝着前端侧按上述顺序连结。另外，力检测部290由例如施加于手部270的力(包括力矩)的力传感器(例如六轴力传感器)等构成。另外，手部270具有能够握持工件的两个手指，随着第六臂26的转动而转动。该手部270在设计上以手部270的中心轴与第六臂26(前端臂)的转动轴o6一致的方式安装。在此，将手部270的前端中心称为工具中心点p。在本实施方式中，工具中心点p是手部270所具有的两个手指之间的区域的中心。另外，将机械臂20的前端中心设为“前端轴坐标”。

另外，如图4所示，机器人2a具有使一个手臂相对于另一个手臂(或者基座210)来回转动(驱动)的驱动部280。驱动部280具有产生驱动力的电机(未图示)和对电机的驱动力进行减速的减速器(未图示)。作为驱动部280所具有的电机，能够使用例如ac伺服电机、dc伺服电机等伺服电机。作为减速器，能够使用例如行星齿轮型减速器、波动齿轮装置等。另外，在各驱动部280设有检测电机或者减速器的旋转轴的旋转角度的位置传感器281(角度传感器)。在本实施方式中，机器人2a具有作为与六个手臂21～26相同数量的六个驱动部280和位置传感器281。另外，各驱动部280与电机驱动器283电连接，经由电机驱动器283而被机器人控制装置12控制。

在这种结构的机器人2a中，如图2所示，作为以基座210为基准的基坐标系，设定了由分别与水平方向平行的xr轴和yr轴以及与水平方向正交且将垂直向上作为正方向的zr轴规定的三维正交坐标系。在本实施方式中，基坐标系将基座210的下端面的中心点作为原点。将相对于xr轴的平移分量设为“分量xr”，将相对于yr轴的平移分量设为“分量yr”，将相对于zr轴的平移分量设为“分量zr”，将绕zr轴的旋转分量设为“分量ur”，将绕yr轴的旋转分量设为“分量vr”，将绕xr轴的旋转分量设为“分量wr”。分量xr、分量yr以及分量zr的长度(大小)的单位为“mm”，分量ur、分量vr以及分量wr的角度(大小)的单位为“°”。

另外，在机器人2a中，设定有以手部270的前端部为基准的前端坐标系。前端坐标系是由彼此正交的xa轴、ya轴以及za轴规定的三维正交坐标系。在本实施方式中，前端坐标系将机器人2a的前端轴坐标作为原点。另外，基坐标系和前端坐标系的校正(校准)已完毕，是能够算出以基坐标系为基准的前端坐标系的坐标的状态。另外，将相对于xa轴的平移分量设为“分量xa”，将相对于ya轴的平移分量设为“分量ya”，将相对于za轴的平移分量设为“分量za”，将绕za轴的旋转分量设为“分量ua”，将绕ya轴的旋转分量设为“分量va”，将绕xa轴的旋转分量设为“分量wa”。分量xa、分量ya以及分量za的长度(大小)的单位为“mm”，分量ua、分量va以及分量wa的角度(大小)的单位为“°”。

这里，在本说明书中，将基坐标系和前端坐标系分别也称为机器人坐标系。即，在本说明书中，将以机器人2的任一部位为基准而设定的坐标称为“机器人的坐标系(机器人坐标系)”。

(机器人2b)

如图3所示，机器人2b(机器人2)也与机器人2a同样地被设置于例如作业台90上。机器人2b也与机器人2a同样地具有：安装于作业台90的基座210、与基座210连接的机械臂20、安装于机械臂20的前端的力检测部290、以及安装于力检测部290的前端并能够握持工件的手部270(末端执行器)。需要注意的是，关于机器人2b，对与机器人2a同样的结构省略其说明，以与机器人2a的不同点为中心来说明。

机器人2b所具有的机械臂20具有：第一臂201(臂)、设于臂201的前端部的第二臂202(臂)以及设于第二臂202的前端部的花键轴203(臂)。另外，手部270在设计上以手部270的中心轴与花键轴203的轴j3一致的方式安装。手部270随着花键轴203的转动而转动。

机器人2b也与机器人2a同样地具有作为与三个手臂相同数量的三个驱动部280和位置传感器281(参照图3和图4)。需要说明的是，虽未作图示，但花键轴203与作为传递驱动部280的动力的动力传递机构的花键螺母和滚珠丝杠螺母连接。为此，花键轴203能够绕其轴j3转动且能够在上下方向上移动(升降)。

另外，机器人2b也与机器人2a同样地设定有基坐标系(由xr轴、yr轴以及zr轴规定的三维正交坐标系)和前端坐标系(由xa轴、ya轴以及za轴规定的三维正交坐标系)。

以上，对机器人2(机器人2a、2b)的结构进行了简单说明。需要注意的是，作为由控制系统10控制的机器人2，不限定于图2和图3所示的结构。例如，手臂的数量不限定于上述的数量，是任意的。另外，作为对工件进行作业的末端执行器，不限定于手部270，可以是任何结构。

〈摄像部〉

如图1所示，多个摄像部3分别与图像处理装置13连接。在本实施方式中，如图2和图3所示，机器人视觉系统100具有配置于机器人2的周边的固定摄像机32(摄像部3)和固定于机器人2所具有的机械臂20的移动式摄像机31(摄像部3)。需要说明的是，在图2和图3中，移动式摄像机31安装于机械臂20的前端部。具体而言，如果是图2所示的机器人2a，移动式摄像机31就安装于第六手臂26；如果是图3所示的机器人2b，移动式摄像机31就安装于花键轴203的前端部。

下面，对固定摄像机32和移动式摄像机31进行简单说明。

(固定摄像机32)

图2和图3所示的固定摄像机32被固定于作业台90，设置于机器人2的手部270的可动范围内。固定摄像机32具有摄像功能，被设置成能够对垂直方向上方进行摄像。

虽未作图示，但固定摄像机32包括例如由具有多个像素的ccd(chargecoupleddevice：电荷耦合器件)图像传感器构成的摄像元件和透镜(光学系统)。该固定摄像机32通过透镜来使在拍摄对象上反射后的光在摄像元件的受光面(传感器面)上成像并将光转换成电信号，将该电信号输出至控制系统10(在本实施方式中图像处理装置13)。在此，受光面是摄像元件的表面且是光成像的面。另外，固定摄像机32在设计上被设置成其光轴a32(透镜的光轴)沿着作业台90的平面(上表面)的垂直方向。

在固定摄像机32上，作为图像坐标系(从固定摄像机32输出的拍摄图像的坐标系)，虽未图示，但设定了由分别与拍摄图像的面内方向平行的xc轴和yc轴规定的二维正交坐标系。另外，将相对于xc轴的平移分量设为“分量xc”，将相对于yc轴的平移分量设为“分量yc”，将绕xc-yc平面的法线的旋转分量设为“分量uc”。分量xc和分量yc的长度(大小)的单位为“像素”，分量uc的角度(大小)的单位为“°”。需要注意的是，固定摄像机32的图像坐标系是参考了透镜的光学特性(焦点距离、畸变等)和摄像元件的像素数及大小而对在固定摄像机32的相机视场中拍到的三维正交坐标进行了非线性转换而得的二维正交坐标系。

(移动式摄像机31)

图2和图3所示的移动式摄像机31如上所述被固定于机械臂20。移动式摄像机31具有摄像功能，在本实施方式中被设置成能够对机械臂20的前端侧进行摄像。

虽未作图示，但移动式摄像机31包括例如由具有多个像素的ccd图像传感器构成的摄像元件和透镜(光学系统)。该移动式摄像机31通过透镜来使在摄像对象上反射后的光在摄像元件的受光面(传感器面)上成像并将光转换成电信号，将该电信号输出至控制系统10(在本实施方式中图像处理装置13)。在此，受光面是摄像元件的表面且是光成像的面。另外，移动式摄像机31在设计上被设置成其光轴a31(透镜的光轴)沿着与机械臂20的前端轴(在为机器人2a的情况下第六手臂26的转动轴o6，在为机器人2b的情况下花键轴203的轴j3)相同的方向。

在移动式摄像机31上，作为移动式摄像机31的图像坐标系(从移动式摄像机31中输出的拍摄图像的坐标系)，虽未图示，但设定了由分别与拍摄图像的面内方向平行的xb轴和yb轴规定的二维正交坐标系。另外，将相对于xb轴的平移分量设为“分量xb”，将相对于yb轴的平移分量设为“分量yb”，将绕xb-yb平面的法线的旋转分量设为“分量ub”。分量xb和分量yb的长度(大小)的单位为“像素”，分量ub的角度(大小)的单位为“°”。需要注意的是，移动式摄像机31的图像坐标系是参考了透镜的光学特性(焦点距离、畸变等)和摄像元件的像素数及大小而对在移动式摄像机31的相机视场中拍到的三维正交坐标进行了非线性转换而得的二维正交坐标系。

以上，对摄像部3的结构进行了简单说明。需要注意的是，由控制系统10控制的摄像部3不限定于图示的摄像部。另外，由控制系统10控制的摄像部3的安装部位(设置部位)不限定于图示的部位。例如，移动式摄像机31的安装部位可以是图2所示的机器人2a的第五手臂25、图3所示的机器人2b的第二手臂202等。另外，虽未作图示，但固定摄像机32可以设置于位于机器人2的上方的顶棚等，还可以沿横向设置于在机器人2的周边设置的墙壁、柱子等。另外，摄像部3的拍摄方向不限定于上述的方向，是任意的。另外，摄像部3的数量在图2和图3中分别为两个，但是，摄像部3的数量不作特别限定，既可以为一个，也可以为三个以上。

〈显示装置41〉

图1所示的显示装置41(显示部)具备由例如液晶显示器等构成的监视器(未图示)，具有显示例如由摄像部3拍摄到的拍摄图像、各种画面(例如操作窗口、关于处理结果的画面)等的功能。因此，用户能够掌握拍摄图像、机器人2的作业等。

〈输入装置42〉

输入装置42(输入部)由例如鼠标、键盘等构成。因此，用户能够通过操作输入装置42来对控制系统10进行各种处理等的指示。

需要说明的是，在本实施方式中，可以设置兼具显示装置41和输入装置42的显示输入装置(未图示)来代替显示装置41和输入装置42。作为显示输入装置，能够使用例如触摸面板(静电式触摸面板、压敏式触摸面板)等。另外，输入装置42可以是识别声音(包括语音)的结构。

〈控制系统(控制装置)〉

如上所述，控制系统10具有：计算机11、机器人控制装置12以及图像处理装置13(参照图1)。该控制系统10控制机器人2、多个摄像部3以及显示装置41的驱动。需要说明的是，虽然在图2和图3中未图示，但控制系统10被设置于例如作业台90的外部。

下面，对控制系统10、计算机11以及机器人控制装置12依次进行说明。

(计算机)

计算机11由例如安装有程序(os：operatingsystem，操作系统)的计算机(例如pc(personalcomputer，个人计算机)、plc(programmablelogiccontroller，可编程逻辑控制器)等)构成。该计算机11具有：例如作为处理器的cpu(centralprocessingunit，中央处理单元)和gpu(graphicsprocessingunit，图形处理单元)、ram(randomaccessmemory，随机存取存储器)、以及存储有程序的rom(readonlymemory，只读存储器)。

下面，对计算机11所具备的各功能(功能部)进行说明。

如图5所示，计算机11具有：控制部111、主存储器112、存储部113、显示控制部114、输入控制部115(接收部)以及通信部116，构成为在这些部分之间能相互进行数据交换(通信)。这里，在本说明书中，控制部111和显示控制部114构成了处理部110。

控制部111的功能能够通过例如由cpu和gpu执行主存储器112、存储部113中所存储的各种程序来实现。该控制部111具有：例如，控制程序编辑部1111、控制程序构建部1112、校准编辑部1113、校准执行部1114、以及图像处理时序编辑部1115。需要注意的是，控制部111所具有的功能部(要素)不限定于这些。可以省略这些功能部的任一个或者追加其他功能部。

控制程序编辑部1111创建或者编辑驱动机器人2的控制程序(包括机器人2进行各种作业的作业程序)。另外，例如，控制程序编辑部1111(计算机11)能够在控制程序之中指定具有规定的引数的各种命令。控制程序构建部1112构建控制程序，转换成能够在机器人控制装置12中解释的语言(数据列)。

校准编辑部1113创建或者编辑关于校准的校准程序。即，校准编辑部1113具有编辑关于校准的设定内容的功能。校准执行部1114执行校准程序。详细说明的话，校准执行部1114将基于校准程序的指示传送至机器人控制装置12和图像处理装置13，使机器人2和摄像部3进行校准所涉及的动作。这里，在本说明书中，校准编辑部1113和校准执行部1114构成了校准控制部1110。

图像处理时序编辑部1115创建或者编辑关于由摄像部3进行的图像处理时序的图像处理程序。即，图像处理时序编辑部1115具有编辑关于图像处理时序的设定内容的功能。

除此以外，控制部111还根据由输入控制部115接收到的用户指示而进行各种运算、判断、向计算机11所具有的各功能部的指示、向机器人控制装置12的指示以及向图像处理装置13的指示等。

主存储器112是控制部111的作业区域。主存储器112的功能能够通过例如ram来实现。

存储部113具有记录各种数据(包括程序)的功能。存储部113的功能能够通过rom等所谓的外部存储装置(未图示)来实现。存储部113存储有包括例如驱动机器人2的控制程序、关于校准的校准程序、关于由摄像部3进行的图像处理时序的图像处理程序等的软件(例如应用软件)。换种说法，在计算机11中安装有上述的软件。另外，在该软件中包括：关于工具设定的程序、关于局部设定(局部坐标系的设定)的程序、通过各种命令来驱动各种机器人2而使各种处理(例如工具设定、局部设定、校准创建/执行(校准)以及图像处理时序创建/执行(图像处理时序的创建)等)执行的程序以及设定基于来自力检测部290的输出的力控制中的各种参数的程序。另外，上述的软件既可以储存于例如cd-rom等记录介质(未图示)而由该记录介质提供，也可以经由网络而提供。

显示控制部114与显示装置41连接，具有使显示装置41的监视器显示拍摄图像、各种画面(例如操作窗口、关于处理结果的画面)的功能。即，显示控制部114控制显示装置41的驱动。该显示控制部114的功能能够通过例如gpu来实现。例如，显示控制部114使关于图像处理时序的多个引导画面以与用户对话的形式(对话式)依次显示于显示装置41。另外，显示控制部114使关于校准的多个校准创建画面、关于工具设定的多个工具设定画面、以及关于局部坐标系的设定的多个局部设定画面各个以与用户对话的形式依次显示于显示装置41。

输入控制部115与输入装置42连接，具有接受来自输入装置42的输入的功能。该输入控制部115的功能能够通过例如接口电路来实现。需要说明的是，例如在使用触摸面板的情况下，输入控制部115具有作为检测用户的手指向触摸面板的接触等的输入检测部的功能。

通信部116具有与机器人控制装置12和图像处理装置13等外部进行数据交换的功能。通信部116的功能能够通过例如接口电路等来实现。

(机器人控制装置)

机器人控制装置12例如根据来自计算机11的指示而控制机器人2的驱动。机器人控制装置12是安装有程序(os等)的计算机。该机器人控制装置12具有例如作为处理器的cpu、ram、以及存储有程序的rom。

下面，对机器人控制装置12所具备的各功能(功能部)进行说明。

如图6所示，机器人控制装置12具有：控制部121(机器人控制部)、主存储器122、存储部123以及通信部126，构成为在这些部分之间能相互进行数据交换。

控制部121的功能能够通过例如由cpu执行主存储器122、存储部123中所存储的各种程序来实现。该控制部121具有例如控制程序执行部1211和机器人控制部1212。需要注意的是，控制部121所具有的功能部(要素)不限定于这些。可以省略这些功能部的任一个或者追加其他功能部。

控制程序执行部1211根据来自计算机11的指示来执行驱动机器人2的控制程序。例如，控制程序执行部1211根据各种命令而在机器人2上执行各种处理(例如工具设定、局部设定、校准处理(校准)以及图像处理时序执行指示等)。机器人控制部1212控制各驱动部280的驱动，使机械臂20驱动或者停止。例如，控制部121根据从位置传感器281、力检测部290中输出的信息而导出为了使手部270移动至目标位置而各驱动部280所具有的电机(未图示)的目标值。除此以外，控制部121还具有进行各种运算和判断等处理的功能、进行机器人控制装置12所具有的指示的功能等。

主存储器122是控制部121的作业区域。主存储器122的功能能够通过例如ram来实现。存储部123具有记录各种数据(包括程序)的功能。存储部123记录例如控制程序等。存储部123的功能能够通过rom等所谓的外部存储装置(未图示)来实现。通信部126具有进行与机器人2、计算机11以及图像处理装置13等外部的数据交换的功能。通信部126的功能能够通过例如接口电路等来实现。

(图像处理装置)

图像处理装置13例如根据来自计算机11的指示而控制摄像部3的驱动或者进行由摄像部3拍摄到的拍摄图像的处理(图像处理)。图像处理装置13例如是安装有程序(os等)的计算机。该图像处理装置13具有例如作为处理器的cpu和gpu、ram、以及存储有程序的rom。

下面，对图像处理装置13所具备的各功能(功能部)进行说明。

如图7所示，图像处理装置13具有：控制部131(摄像部控制部)、主存储器132、存储部133以及通信部136，构成为在这些部分之间能相互进行数据交换。

控制部131的功能能够通过例如由cpu和gpu执行主存储器132、存储部133中所存储的各种程序来实现。该控制部131具有例如图像处理时序执行部1311、图像处理部1312以及摄像部控制部1313。需要注意的是，控制部131所具有的功能部(要素)不限定于这些。可以省略这些功能部的任一个或者追加其他功能部。

图像处理时序执行部1311具有根据来自计算机11的指示(命令)而执行图像处理时序的功能。图像处理部1312具有进行例如从拍摄图像中提取出各种信息等图像处理的功能。具体而言，图像处理部1312例如根据来自摄像部3等的拍摄图像(图像数据)而进行各种运算、各种判断等处理。例如，图像处理部1312以拍摄图像为根据而对拍摄对象在图像坐标系下的坐标(分量xb、yb、ub或者分量xc、yc、uc)进行运算。另外，例如，图像处理部1312进行将图像坐标系下的坐标(图像坐标)转换成机器人2的前端坐标系下的坐标(前端坐标)或者机器人2的基坐标系下的坐标(基坐标)之类的处理。用于该转换的校正参数例如由计算机11或者机器人控制装置12求出。需要注意的是，图像处理装置13也可以求出用于所述转换的校正参数。另外，摄像部控制部1313具有例如控制摄像部3的驱动或者从摄像部3中取得拍摄图像(图像数据)的功能。

除此以外，控制部131还具有接受来自计算机11的指示而进行各种运算和判断等处理的功能、进行向图像处理装置13所具有的各功能部指示的功能等。

主存储器132是控制部131的作业区域。主存储器132的功能能够通过例如ram来实现。

存储部133具有记录各种数据(包括程序)的功能。存储部133记录例如关于图像处理时序的程序等。存储部133的功能能够通过rom等所谓的外部存储装置(未图示)来实现。

通信部136具有进行与摄像部3、机器人控制装置12以及计算机11等外部的数据交换的功能。通信部136的功能能够通过例如接口电路等来实现。

以上，对控制系统10的结构以及功能进行了说明。需要说明的是，计算机11、机器人控制装置12以及图像处理装置13任一个都可以具有上面已述的计算机11、机器人控制装置12以及图像处理装置13分别具有的各功能。另外，计算机11、机器人控制装置12以及图像处理装置13可以为一体。例如，计算机11的控制部111可以具有图像处理装置13所具有的图像处理时序执行部1311、图像处理部1312、摄像部控制部1313。另外，图像处理装置13可以具有计算机11所具有的显示控制部114和输入控制部115。另外，控制系统10可以不具备图像处理装置13，在那种情况下，计算机11能够具备图像处理装置13所具有的各功能。另外，机器人控制装置12的控制部121可以具有计算机11所具有的校准执行部1114。

以上，对机器人视觉系统100的基本结构进行了简单说明。

接下来，说明作业程序创建和示教的一个例子。需要注意的是，在以下，主要以使用了图2所示的机器人2a作为机器人2的情况为例来进行说明。

＜作业程序的创建＞

图8和图9分别是示出由图1所示的控制系统进行的作业程序创建的流程的流程图。图10是用于说明图8的步骤s111的图。图11是用于说明图8的步骤s113的图。图12是用于说明图8的步骤s116的图。图13是用于说明图8的步骤s118的图。图14是用于说明图9的步骤s126的图。图15是用于说明图9的步骤s128和步骤s129的图。

在以下，例如，图2所示的机器人2a握持已设置在作业台90上的供材台91上的工件(在图2中未图示)而在固定摄像机32上进行工件的检查(例如外观检查)，并基于检查结果而生成将工件放置于合格用除材台94或者不合格用除材台95的作业的作业程序。另外，进行在创建该作业程序时所必需的各种处理。作为各种处理，例如，进行移动式摄像机31的图像坐标系与机器人2a的机器人坐标系(前端坐标系或基坐标系)的校准和固定摄像机32的图像坐标系与机器人2a的机器人坐标系(前端坐标系或基坐标系)的校准。另外，例如，进行相对于机器人2a的各部位的示教。另外，例如，进行求出在机器人2a的工具中心点p和前端轴坐标上的偏移(工具中心点p和前端轴坐标中的另一方相对于一方的偏移)的工具设定。另外，进行与机器人坐标系不同的局部坐标系的设定(局部设定)。另外，进行图像处理时序创建、执行以及结果的反映等图像处理时序的创建(图像处理时序)。

在此，用户在执行作业程序的创建之前，如图2所示，预先将校准板92(校正用部件)放置于已设置在作业台90上的供材台91。另外，显示控制部114预先使主窗口50(指示画面)显示于显示装置41(参照图17或图18)。需要说明的是，关于主窗口50，将在后面详述。

以后，用户通过用输入装置42的鼠标对显示于显示装置41的各种画面(窗口)点击的操作、用输入装置42的键盘对显示于显示装置41的指示画面输入字符、数字等的操作来进行对控制系统10的指示。即，在以下的作业程序创建中的控制系统10的控制(处理)根据由用户发出的使用了输入装置42的指示而进行。以下，将该由用户发出的使用了输入装置42的指示(即通过输入装置42进行的输入)称为“操作指示”。该操作指示包括通过输入装置42来从指示画面上所显示的内容中选择所希望的内容的选择操作和通过输入装置42来向指示画面输入字符、数字等的输入指示等。

下面，根据图8和图9所示的流程图来对作业程序创建进行说明。

首先，计算机11对机器人控制装置12发出使移动式摄像机31位于校准板92上的移动指示(图8：步骤s111)。接受该移动指示，机器人控制装置12使机械臂20驱动，使移动式摄像机31位于校准板92上(参照图10)。在本实施方式中，以移动式摄像机31的光轴a31与校准板92大致正交的方式使移动式摄像机31与校准板92正对。另外，使移动式摄像机31位于对附于移动式摄像机31的校准板92上的标记(未图示)进行对焦这样的位置。

接着，计算机11进行局部坐标系的设定即局部设定(图8：步骤s112)。所谓局部坐标系是与机器人坐标系(基坐标系或前端坐标系)不同的坐标系，是由在机器人坐标系中已定义的原点、xd轴、yd轴以及zd轴规定的三维正交坐标系。在本实施方式中，作为与作业台90平行的平面，使用移动式摄像机31来向与校准板92的上表面平行的面设定包括局部坐标系的xd轴和yd轴的局部平面(假想面)。由此，例如即使是供材台91的上表面相对于水平面已倾斜的情况，机器人2a也能够在供材台91的上表面上进行准确的作业。需要说明的是，在使用图3所示的机器人2b的情况下，可以省略局部坐标系的设定。另外，所谓上述的局部设定，就是设定上述的局部坐标系，是包括通过局部设定中的各种设定(包括显示处理)、执行局部设定的处理以及反映局部设定结果来设定局部坐标系的意思。

局部设定的具体设定方法不作特别限定，例如，可列举出根据对附于校准板92上的至少三个标记(未图示)逐一进行了摄像而得的拍摄图像和进行了摄像时的工具中心点p的前端坐标而求出的方法。

另外，通过使用了后述的指示画面的显示处理来进行局部设定。需要注意的是，将在后面进行说明关于局部设定中的显示处理。

另外，若局部坐标系的设定结束，用户就将校准板92从供材台91上拿掉，预先将工件93放置在供材台91上(参照图11)。

接着，计算机11对机器人控制装置12发出使移动式摄像机31位于能够对工件93进行摄像的位置的移动指示(图8：步骤s113)。接受该移动指示，机器人控制装置12使机械臂20驱动，使移动式摄像机31位于能够对工件93进行摄像的位置(参照图11)。该移动通过在将移动式摄像机31移动为其光轴a31(机器人2a的前端轴)与局部平面正交的姿势之后不变更移动式摄像机31的姿势而使移动式摄像机31移动至局部平面内来进行。另外，使其也向与局部平面正交的方向移动以便对工件93的上表面进行对焦。

接着，计算机11设定机器人2a在步骤s113中的前端轴坐标(分量xr、yr、zr、ur、vr、wr)作为第一点，并存储于存储部113(图8：步骤s114)。

接着，计算机11向机器人控制装置12和图像处理装置13发出指示(命令)，进行关于附在工件93的上表面中心的标记(未图示)的第一图像处理时序的创建(图8：步骤s115)。

在此，所谓图像处理时序就是汇总了由摄像部3拍摄图像并对拍摄图像进行处理而对拍到拍摄图像中的规定的零件进行检测、检查等的方法和程序。另外，所谓图像处理时序的创建就是包括图像处理时序的各种设定、零件的示教、图像处理时序的执行以及反映的意思。另外，所谓第一图像处理时序表示关于已被赋予在工件93的上表面中心的标记作为零件的图像处理时序。

另外，通过使用了后述的指示画面的显示处理来进行第一图像处理时序的创建等。需要注意的是，关于第一图像处理时序中的显示处理，将在后面进行说明。

接着，计算机11对机器人控制装置12发出握持工件93的握持指示(图8：步骤s116)。接受该握持指示，机器人控制部1212使机器人2a驱动机械臂20，通过手部270来握持工件93(参照图12)。接着，计算机11设定机器人2a在步骤s116中的前端轴坐标(分量xr、yr、zr、ur、vr、wr)作为第二点，并存储于存储部113(图8：步骤s117)。在此，工具中心点p的位置(分量za)使用握持有工件93的位置。

接着，计算机11对机器人控制装置12发出使工件93位于固定摄像机32上的移动指示(图8：步骤s118)。接受该移动指示，机器人控制装置12使机械臂20驱动，以使工件93向在固定摄像机32的视场内对工件93进行对焦的位置定位(参照图13)。接着，计算机11将机器人2a在步骤s118中的前端轴坐标(分量xr、yr、zr、ur、vr、wr)设定作为第三点，并存储于存储部113(图8：步骤s119)。

接着，计算机11向机器人控制装置12和图像处理装置13发出指示，进行被赋予在工件93的下表面中心的标记(未图示)的第二图像处理时序(第二视觉时序)的创建(图8：步骤s120)。在此，所谓第二图像处理时序表示关于被赋予在工件93的下表面中心的标记作为零件的图像处理时序。

需要注意的是，很难在工件93的上表面中心和下表面中心的完全相同的位置分别设置标记，因此，识别例如设于工件93的贯通孔等从工件93的上下相同的目标。

另外，通过使用了后述的指示画面的显示处理来进行第二图像处理时序的创建等。需要注意的是，关于第二图像处理时序中的显示处理，将在后面进行说明。

接着，计算机11向机器人控制装置12和图像处理装置13发出指示，进行工具设定(图8：步骤s121)。在此，所谓工具设定就是求出机器人的前端轴等的轴坐标与工具的规定部位的坐标的偏移(位置姿势的关系)，是包括工具设定中的各种设定(包括显示处理)、执行工具设定的处理以及反映工具设定结果的意思。由此知道工具的规定部位的机器人坐标。另外，所谓工具只要是设于机器人2a的物体，则可以为任何物体，可列举出例如摄像部3、工件93。在步骤s121中，将工具设为工件93，求出机器人2a的前端轴坐标与工件93的中心的偏移。由此，能够计算工件93的中心在各种各样的机器人姿势下的机器人坐标，能够准确地进行另一工件93的握持以及所握持的工件93的移动、检查等。

作为求出偏移的方法，不作特别限定，例如，可列举出如下的方法：在将机器人2a的前端轴坐标和工件93的中心中的任一方的位置已固定的状态下使另一方的位置移动(例如转动)，根据工具中心点p和工件93的中心在其移动前后(例如转动前后)的前端坐标和移动量(例如转动角度)而求出。

另外，通过使用了后述的指示画面的显示处理来进行工具设定。需要注意的是，关于工具设定中的显示处理，将在后面进行说明。

接着，计算机11向机器人控制装置12和图像处理装置13发出指示，使用被赋予在工件93的下表面中心的标记(未图示)来进行使固定摄像机32的图像坐标系与局部坐标系(机器人坐标系)建立对应的校准(图8：步骤s122)。在此，所谓校准就是使图像坐标系与机器人坐标系建立对应，是包括通过校准中的各种设定(包括显示处理)即创建校准、示教摄像机点、执行校准以及反映校准结果来使图像坐标系与机器人坐标系建立对应的意思。在此，使机器人坐标系中的与作业台90平行设定的局部坐标与图像坐标系建立对应。

校准的具体方法不作特别限定，例如，可列举出如下的方法：使一个标记等目标(拍摄对象)位于在拍摄图像内的至少三个以上的摄像机点上，使用根据基于该各摄像机点上的拍摄图像的图像坐标和进行了摄像时的标记等目标的机器人坐标而求出的图像坐标与机器人坐标的变换矩阵。能够使用机器人的前端轴等的轴坐标的位置姿势和上述的工具设定(偏移)来算出各摄像机点上的标记等的机器人坐标。由此，能够使图像坐标系与机器人坐标系建立对应，能够将图像坐标转换成机器人坐标。因此，能够求出拍到拍摄图像中的拍摄对象的机器人坐标。需要说明的是，在步骤s122中，设定有九个摄像机点。

另外，通过使用了后述的指示画面的显示处理来进行固定摄像机32的校准。需要注意的是，关于校准中的显示处理，将在后面进行说明。

接着，计算机11向机器人控制装置12和图像处理装置13发出指示，进行用于检测被赋予在工件93的下表面的两个a点(未图示)和b点(未图示)的第三图像处理时序(第三视觉时序)的创建等(图8：步骤s123)。在此，所谓第三图像处理时序，表示关于检侧被赋予在工件93的下表面的a点(零件)和b点(零件)的图像处理时序。另外，在步骤s123中，使第三图像处理时序与固定摄像机32的校准结果建立关联，并执行使用了已创建的图像处理时序的图像处理来进行检查。在此，作为检查，计测a点与b点之间的距离，进行若是规定阈值以内则判断为合格、若是规定阈值以外则判断为不合格的检查。在此，通过将使用图像坐标和机器人坐标的校准(校准结果)建立关联，从而能够以机器人坐标的单位(mm等)而非图像上的长度单位(像素)来判断a点与b点之间的距离。

另外，通过使用了后述的指示画面的显示处理来进行第三图像处理时序的创建。需要注意的是，关于第三图像处理时序中的显示处理，将在后面进行说明。

接着，计算机11对机器人控制装置12发出向在步骤s117中已设定的第二点的移动指示，并发出将工件93放置于供材台91上的放置指示(图9：步骤s124)。接受该移动指示，机器人控制装置12使机器人2a驱动机械臂20来使机器人2a的前端轴坐标(分量xr、yr、zr、ur、vr、wr)位于第二点，并通过手部270来使工件93放置于供材台91上(参照图14)。接着，计算机11以在步骤s121中的工具设定为根据而设定工件93的中心的位置(分量xr、yr、zr、ur、vr、wr)作为第四点，并存储于存储部113(图9：步骤s125)。

接着，计算机11对机器人控制装置12发出使工件93在供材台91上脱离了之后使其移动至在步骤s114中已求出的第一点、使移动式摄像机31位于能够对已放置于供材台91上的工件93进行摄像的位置的移动指示(图9：步骤s126)。接受这样的移动指示，机器人控制装置12使机器人2a通过手部270来使工件93在供材台91上脱离了之后使工具中心点p位于第一点，使移动式摄像机31位于能够对工件93进行摄像的位置。

接着，计算机11向机器人控制装置12和图像处理装置13发出指示，使用被赋予在工件93的上表面中心的标记和作为第四点而已保存(为第四点)的机器人坐标来进行移动式摄像机31的图像坐标系与机器人坐标系的校准(图9：步骤s127)。

步骤s127中的校准使用被赋予在工件93的上表面中心的标记作为一个目标(拍摄对象)，使移动式摄像机31相对于工件93移动以便在拍摄图像内的九个摄像机点上对该标记进行摄像。然后，使用基于九个摄像机点上的拍摄图像的图像坐标和作为第四点而已保存(为第四点)的被赋予在工件93的上表面的标记的机器人坐标来求出图像坐标与前端坐标的变换矩阵。由此，能够将移动式摄像机31的图像坐标转换成机器人坐标。

另外，在步骤s127的校准中，为了使机器人2a准确地握持工件93，进行第一图像处理时序与移动式摄像机31的校准结果的关联建立。

另外，通过使用了后述的指示画面的显示处理来进行移动式摄像机31的校准。需要注意的是，关于校准中的显示处理，将在后面进行说明。

接着，计算机11对机器人控制装置12发出使工具中心点p位于合格用除材台94上的移动指示，放置工件93，设定机器人2a的前端轴坐标(分量xr、yr、zr、ur、vr、wr)作为第五点，并存储于存储部113(图9：步骤s128)。接受该移动指示，机器人控制部1212使机器人2a驱动机械臂20来使机器人2a的前端轴位于合格用除材台94上之后使工件93放置于合格用除材台94上(参照图15)。

接着，计算机11对机器人控制装置12发出使机器人2a的前端轴位于不合格用除材台95上的移动指示，放置工件93，设定机器人2a的前端轴坐标(分量xr、yr、zr、ur、vr、wr)作为第六点，并存储于存储部113(图9：步骤s129)。接受该移动指示，机器人控制部1212使机器人2a驱动机械臂20来使机器人2a的前端轴位于不合格用除材台95上之后使工件93放置于不合格用除材台95上(参照图2、图15)。

接着，计算机11(控制程序编辑部1111)根据步骤s111～s129而创建机器人2a的作业程序(图9：步骤s130)。接着，计算机11(控制程序构建部1112)构建在步骤s113中已作成的作业程序而转换(编译)成在机器人控制装置12中能够解释的语言(数据列)(图9：步骤s131)。接着，计算机11将编译后的作业程序传送至机器人控制装置12、图像处理装置13而对机器人控制装置12和图像处理装置13发出作业程序的执行指示(图9：步骤s132)。

通过以上，作业程序的创建结束。

这里，在现有技术中，当进行通常的作业坐标的示教时，在使手部270握持了工件93之后，用户点动进给手部270而向作业对象的装入位置等插入、设置工件93而示教其作业坐标，但是，这样的示教作业存在如下(1)、(2)这样的问题。

(1)在需要以高精度向作业位置插入、设置工件93的情况下，用户以手动操作向该地方点动进给工件93来以高精度插入、设置工件，这需要很长的时间。

(2)在示教众多的作业位置的情况下，在现有的方法中，对所有的示教点，用户从最初直至最后都以手动操作而点动进给来插入、设置工件93，因此很难自动化。

为了解决上述的问题，在进行作业的作业位置(作业坐标)的示教中也能够分别利用步骤s116至步骤s125的处理中的除步骤s122、步骤s123以外的处理。在这样的示教作业中，通过用手部270从后面握持并抽出用户以手动操作而以高精度设置好的工件93，从而能够省略精密对准需要时间的手部270的点动进给，能够大幅缩短示教时间。另外，在示教众多的作业坐标的情况下，通过预先向各作业位置设置工件93并示教握持各工件93的坐标，也能够将之后的作业坐标的取得处理简单地自动化。

另外，在重复进行示教的情况下，步骤s116至步骤s125的处理中的步骤s119、步骤s120只执行(实施)第一次，而在之后的示教中，能够利用第一次的值。并且，步骤s124、步骤s125不一定是必需的处理，可以由在第二点上已设定的坐标和在工具设定中已取得的工具偏移来计算第四点的坐标。

接着，对由机器人控制装置12和图像处理装置13根据步骤s132的执行指示而执行作业程序进行说明。

＜作业程序的执行＞

图16是示出执行根据图8和图9所示的流程图而创建出的作业程序的流程的流程图。

首先，当执行作业程序时，预先将工件93放置在供材台91上。如图16所示，机器人控制装置12接收作业程序的执行指示(步骤s211)，使机械臂20驱动，使机器人2a的前端轴移动至第一点(步骤s212)。

接着，机器人控制装置12对图像处理装置13发出第一图像处理时序的执行指示(步骤s213)。图像处理装置13接收该执行指示，执行用于由移动式摄像机31检测工件93的第一图像处理时序(步骤s214)。在步骤s214中，图像处理装置13执行第一图像处理时序而根据由移动式摄像机31对工件93进行了摄像而得的拍摄图像(图像数据)来进行图像处理，检测工件93的中心位置。另外，图像处理装置13利用移动式摄像机31的校准而将拍到拍摄图像中的工件93的中心位置转换成局部坐标(分量xd、yd、ud)。

接着，图像处理装置13向机器人控制装置12发送第一图像处理时序结果(图像检测点的机器人坐标等)(步骤s215)。机器人控制装置12如果接收到第一图像处理时序结果(步骤s216)，则根据该结果而设定基于局部坐标系的工件93的中心位置(分量xd、yd、zd、ud)作为第七点，并记录于存储部113(步骤s217)。在此，工件93的位置(分量zd)使用第二点的位置(分量zd)。

接着，机器人控制装置12使机械臂20驱动，根据工具设定而使工具中心点p移动至第七点并通过手部270来握持工件93(步骤s218)。接着，机器人控制装置12使机械臂20驱动，使机器人2a的前端轴移动至第三点(步骤s219)。接着，机器人控制装置12对图像处理装置13发出第三图像处理时序的执行指示(步骤s220)。图像处理装置13接收该执行指示，执行用于由固定摄像机32检测工件93的第三图像处理时序(步骤s221)。在步骤s221中，图像处理装置13执行第三图像处理时序而根据由固定摄像机32对工件93进行了摄像而得的拍摄图像(图像数据)来进行图像处理，检测工件93的点a、点b。另外，图像处理装置13利用固定摄像机32的校准结果而将拍到拍摄图像中的工件93的点a和点b的位置转换成机器人坐标(基坐标)。接着，图像处理装置13向机器人控制装置12发送第三图像处理时序结果(点a和点b的各机器人坐标等)(步骤s222)。机器人控制装置12如果接收第三图像处理时序结果(步骤s223)，则根据该结果而进行对基于局部坐标系的工件93的点a与点b之间的距离进行测量的检查(步骤s224)。

接着，机器人控制装置12进行若点a与点b之间的距离为规定阈值以内则设为合格、若为规定阈值以外则设为不合格的合格与否判定(步骤s225)。在为合格的情况下，机器人控制装置12转移至步骤s226a并使机械臂20驱动，使机器人2a的前端轴移动至第五点。另一方面，在为不合格的情况下，机器人控制装置12转移至步骤s226b并使机械臂20驱动，使机器人2a的前端轴移动至第六点。

接着，机器人控制装置12进行累加计数(步骤s227)，判断工件93是否已达到规定数(步骤s228)。如果已达到规定数，机器人控制装置12转移至步骤s229，将作业已结束发送至计算机11(步骤s229)，结束作业。另一方面，在未达到规定数的情况下，返回至步骤s211，重复步骤s211～s228直至达到规定数为止。

按以上方式，作业结束。另外，计算机11根据作业的结果(例如工件93握持的成功与否、握持位置的偏差以及图像时序执行成功与否等)而重新创建上述的作业程序。例如，计算机11如果判断为工件93的握持频繁地失败，则重新创建(改写)作业程序，再次进行作业。按这种方式，通过进行作业程序的创建(更新)直至工件93的握持稳定为止和基于该作业程序的作业，从而能够提高机器人2a的作业精度。另外，计算机11可以只重新创建作业程序的一部分而非作业程序的全部。例如，在握持工件93的精度不是规定阈值内的情况下，也能只对移动式摄像机31的校准(图9：步骤s127)再次重新创建。这样，只对作业程序的一部分重新创建，从而能够高效地进行作业程序的再设定(编辑)。

如上所述根据使用了各种指示画面的、由用户进行的操作指示(通过输入装置42进行的输入)而由控制系统10执行用于进行这种作业的作业程序的创建及其所必需的各种处理的设定。下面，对各种指示画面、由用户进行的指示画面的操作(通过输入装置42进行的输入)以及由计算机11(显示控制部114)进行的显示处理等进行说明。需要注意的是，以下，将基于使用了各种指示画面的由用户进行的操作指示(通过输入装置42进行的输入)的、由控制系统10进行的各种设定等称为“显示处理”。

＜主窗口和显示处理＞

图17是示出使其显示于图1所示的显示装置的主窗口和机器人操作用子窗口的图。图18是示出使其显示于图1所示的显示装置的主窗口和图像处理用子窗口的图。

如图17所示，主窗口50至少具有工具栏502。工具栏502具有：工具设定用图标701、局部设定用图标702、校准创建用图标703、用于使图像处理用子窗口61显示的图标601以及命令输入图标801。这些图标的显示(图等)不作特别限定，但优选是用户易于识别用途的显示。关于各图标的用途，将在后面进行说明。

另外，显示控制部114能够使图17所示的机器人操作用子窗口51、图18所示的图像处理用子窗口61与主窗口50同时显示于显示装置41。除此以外，虽未作图示，但显示控制部114还能够使命令输入用子窗口、设定力控制中的各种参数的子窗口与主窗口50同时显示于显示装置41。显示控制部114根据用户的操作指示而使这些子窗口(包括子窗口51、61)中的所希望的子窗口显示于最前面。需要注意的是，可以并排显示这些子窗口。

图17所示的机器人操作用子窗口51具备面板52，该面板具有点动动作组521(区域)和示教组522。另外，虽未作图示，但子窗口51除面板52以外还具备设定机器人2的各种参数(例如移动速度等)的面板等多个面板。另外，子窗口51具有用于使所希望的面板显示于最前面的多个标签53。

点动动作组521具有接受由用户进行的使机器人2的规定部位点动动作的操作指示的多个按钮5212。像这样，点动动作组521具有在视觉上易于理解的按钮5212，因此用户能够简单地指示机器人2的点动进给。该点动动作组521在上述的作业程序创建中的步骤s111、s113、s116、s118、s124、s126、s128、s129中使用。具体而言，例如，在步骤s111中，若输入控制部115接受来自用户的对多个按钮5212的操作指示，则控制部111对机器人控制装置12发出使移动式摄像机31位于校准板92上的移动命令(图8：步骤s111)。

另外，示教组522用于由用户对示教点进行设定。该示教组522在上述的作业程序创建中的步骤s114、s117、s119、s125、s128、s129中使用。具体而言，例如，在步骤s114中，若输入控制部115执行用户对示教按钮的操作指示，则控制部111设定第一点，并使第一点记录于存储部113(图8：步骤s114)。

图18所示的图像处理用子窗口61具有：工具栏615、图像影像显示部612、执行组613、以及流程图显示部62。通过用户操作指示位于主窗口50上的图标601来显示该图像处理用子窗口61。

工具栏615具有用于使图像处理时序创建用的画面群显示的图标671。图像影像显示部612显示由摄像部3进行了摄像而得的拍摄图像、图像处理结果。执行组613具有接受由用户进行的使图像处理时序执行的操作指示的各种按钮。流程图显示部62显示图像处理时序的图像处理程序、校准的示教程序等。

另外，子窗口61具有：与点动动作组521同样的结构的点动面板54和设定机器人2的各种参数(例如移动速度等)的面板(未图示)。子窗口61具有用于使设定机器人2的各种参数的面板和点动面板54任一个显示于最前面的两个标签56。需要注意的是，也可以并排显示这些面板。

像这样，通过子窗口61具有点动面板54，从而用户能够在图像处理用子窗口61中进行机器人操作。另外，同样地，通过子窗口61具有设定机器人2的各种参数的面板，从而用户能够在图像处理用子窗口61中设定机器人2的各种参数。

另外，在图18中未图示，子窗口61具有校准设定(已创建的校准的名称和各种设定内容)、图像处理时序设定(已创建的图像处理时序的名称和各种设定内容)及进行显示、编辑的属性设定窗口60(参照图39)。该属性设定窗口60显示于点动面板54所显示的区域(参照图18)。关于该属性设定窗口60，将在后面详细说明。

如以上已说明的，显示控制部114能够在控制部111的控制之下与一个主窗口50同时地使多种子窗口(包括子窗口51、61)重叠或者并排显示，因此用户能够高效地进行多种作业。特别地，如上所述，在本实施方式中，能够使机器人操作用子窗口51、图像处理用子窗口61、命令输入用子窗口以及关于力控制的子窗口显示于显示装置41，因此具有特别高的便利性。

另外，如上所述，显示控制部114能够使用于进行机器人2的各种参数的设定的面板(未图示)和用于进行机器人2的点动动作的点动面板54重叠或者并排显示于图像处理用子窗口61。因此，用户能够准确且高效地进行在执行图像处理时序时机器人2的操作。

接着，对上述的作业程序中的局部设定和该局部设定中的显示处理进行说明。

＜局部设定和显示处理＞

图19是示出设定图8中所示的局部坐标系的流程的流程图。图20、图21以及图23分别是显示于图1所示的显示装置的局部设定画面。图22是显示于图1所示的显示装置的示教用画面。

下面，参照图19所示的流程图来对上述的作业程序创建中的局部坐标系的设定(步骤s112)进行说明。局部坐标系的设定(局部设定)具有：[1a]局部设定中的各种设定(步骤s31)、[2a]局部设定处理的执行(步骤s32(未图示))、以及[3a]局部设定结果的反映(步骤s33)。在此，如上所述，局部设定就是包括通过局部设定中的各种设定(包括显示处理)、执行局部设定的处理以及反映局部设定结果来设定局部坐标系的意思。

[1a]局部设定中的各种设定(步骤s31)

首先，控制系统10根据通过输入装置42进行的输入而执行局部设定中的各种设定。

具体而言，首先，若用户进行(点击)对图17所示的主窗口50的局部设定用图标702的操作指示，则输入控制部115接受该操作指示(局部设定开始的指示)(图19：步骤s311)。由此，控制部111开始使多个(在本实施方式中为五个)局部设定画面72(指示画面)以与用户对话的形式显示的局部设定用画面群的显示处理，对显示控制部114发出图20所示的第一个局部设定画面72a(局部设定画面72)的输出指示(图19：步骤s312)。接受该输出指示，显示控制部114使第一个局部设定画面72a显示于显示装置41。

(第一个局部设定画面)

如图20所示，第一个局部设定画面72a是用于选择局部设定模式(局部校准类型)的画面。所谓局部设定模式表示局部坐标系的设定的方法。即，所谓局部设定模式表示采用怎样的手段或者进行什么样的种类的(例如以手动操作进行局部设定或者平行于固定摄像机32的局部设定等)局部设定。在本实施方式中，局部设定画面72a具有多个单选按钮721，构成为能够接受图20所示的三个局部设定模式中的任一个的选择。像这样，局部设定画面72a是指导从多个模式中选择一个的结构，从而能够防止用户选择两种以上的模式。需要注意的是，局部设定模式的种类不限定于图20所示的三个模式，既可以再添加其他模式，也可以省略图20所示的三个模式的任一个。

另外，局部设定画面72a具有：显示为“取消”的按钮7201、显示为“返回”的按钮7202、显示为“下一步”的按钮7203、显示为“示教”的按钮7204(示教按钮)、以及显示为“完成”的按钮7205。按钮7201用于取消局部设定向导。按钮7202用于在依次显示的局部设定画面72中返回至前一个局部设定画面72。按钮7203用于在依次显示的局部设定画面72中进入下一个局部设定画面72。需要注意的是，局部设定画面72a是依次显示的局部设定画面72中的第一个，因此按钮7202已变为灰显。另外，按钮7204、7205也已变为灰显。

若用户对这样的局部设定画面72a进行选择所希望的模式的操作指示(点击或者触摸所希望的一个单选按钮721)并进行对显示为“下一步”的按钮7203的操作指示，则输入控制部115接受局部设定模式的选择(图19：步骤s313)。由此，控制部111使已选择的局部设定模式存储于存储部113，对显示控制部114发出第二个局部设定画面(未图示)的输出指示(图19：步骤s314)。接受该输出指示，显示控制部114使第二个局部设定画面(未图示)显示于显示装置41。

(第二个局部设定画面)

虽未作图示，但第二个局部设定画面是用于选择(设定)保存局部设定结果的保存编号(局部编号)的画面。需要注意的是，第二个局部设定画面是除显示了保存编号的选择以代替显示局部设定模式的选择以外与第一个局部设定画面72a大致同样的显示方式。

第二个局部设定画面中的选择保存编号的显示能够使用例如列表框等。这样的第二个局部设定画面是受理保存编号的选择的结构，从而能够防止由用户导致的输入错误。需要说明的是，所选择的可以是保存名来代替保存编号。需要注意的是，虽未作图示，但第二个局部设定画面也具有与第一个局部设定画面72a所具备的按钮7201～7205同样的按钮。

若用户对这样的第二个局部设定画面进行了选择所希望的保存编号的操作指示之后进行对显示为“下一步”的按钮(对应于按钮7203的按钮)的操作指示，则输入控制部115接受局部设定结果的保存编号的选择(图19：步骤s315)。由此，控制部111使已选择的保存编号存储于存储部113，对显示控制部114发出图21所示的第三个局部设定画面72b(局部设定画面72)的输出指示(图19：步骤s316)。若接受该输出指示，则显示控制部114使第三个局部设定画面72b显示于显示装置41。

(第三个局部设定画面)

如图21所示，第三个局部设定画面72b是用于选择各种视觉组件的内容的画面。所谓局部设定中的视觉组件表示在局部坐标系的设定中使用的摄像部3的种类、设置位置(摄像机工具)、图像处理方法等关于图像处理的要素。在本实施方式中，如图21所示，局部设定画面72b构成为选择摄像部3、摄像部3的设置部位、图像处理时序、摄像机工具、以及校准的板五个视觉组件的各内容。具体而言，局部设定画面72b具有多个用于从关于视觉组件的多个内容(信息)中选择一个内容的下拉列表722和单选按钮723。需要注意的是，省略下拉列表722的列表的图示(对于其他附图，也是同样的)。局部设定中的视觉组件不限定于上述的五个视觉组件，既可以再添加其他视觉组件，也可以省略上述的视觉组件的任一个。

另外，局部设定画面72b具有选择是否示教局部基准点的复选框729。若接受该选择，控制部111将包含局部坐标系的局部平面设定于通过已指定的进行了示教的点的位置。由此，能够提高在机器人2a中利用已设定的局部坐标时的便利性。

在此，第三个局部设定画面72b的显示内容根据第一个局部设定画面72a的摄像部3的种类(选择)而变化。具体而言，下拉列表722的显示内容根据第一个局部设定画面72a的摄像部3的种类(选择)而变化。例如，在上述的作业程序生成的步骤s112中，使用移动式摄像机31来进行局部设定。因此，若输入控制部115接受由用户进行的第一个局部设定画面72a的从图中的上面起第二个单选按钮721的选择，则显示控制部114使具有与移动式摄像机31相关联的显示内容的下拉列表722的局部设定画面72b显示于显示装置41。另外，例如，若输入控制部115接受第一个局部设定画面72a的从图中的上面起第三个单选按钮721的选择，则显示控制部114使具有与固定摄像机32相关联的显示内容的下拉列表722的局部设定画面72b显示于显示装置41。

像这样，使与先显示的局部设定画面72a中的选择相对应的限定性内容显示于后显示的局部设定画面72b，因此能够减少由用户导致的选择失误。

若用户对这样的第三个局部设定画面72b进行选择各视觉组件的内容的操作指示并操作指示显示为“下一步”的按钮7203，输入控制部115接受各视觉组件的内容的选择(图19：步骤s317)。由此，控制部111使已选择的视觉组件存储于存储部113，对显示控制部114发出第四个局部设定画面(未图示)的输出指示(图19：步骤s318)。接受该输出指示，显示控制部114使第四个局部设定画面(未图示)显示于显示装置41。

(第四个局部设定画面)

虽未作图示，但第四个局部设定画面是用于设定开始局部设定的摄像机点(开始位置)和局部基准点的画面。局部基准点只在第三个局部设定画面中作出了示教局部基准点的选择的情况下设定。需要说明的是，第四个局部设定画面是除选择内容(设定内容)不同以外与第一个局部设定画面72a大致同样的显示方式。另外，第四个局部设定画面也具有与第一个局部设定画面72a所具备的按钮7201～7205同样的按钮。

若用户对这样的第四个局部设定画面操作指示示教按钮(灰显已被解除的对应于按钮7204的按钮)，则输入控制部115接受该操作指示(图19：步骤s319)。由此，控制部111对显示控制部114发出示教用画面720的输出指示(图19：步骤s320)。接受该输出指示，显示控制部114使示教用画面720弹出式显示于显示装置41。

〔示教用画面〕

如图22所示，示教用画面720是用于对开始局部设定的摄像机点和决定设定的局部平面的高度的局部基准点的位置进行示教的画面。该画面720至少具有点动&示教面板726和示教按钮7206。点动&示教面板726具有：点动组724，具有接受使机器人2a的规定部位点动动作的操作指示的多个按钮7241；以及图像影像显示部725，显示摄像部3的拍摄图像。

使用这样的画面720，用户例如进行使用多个按钮7241来使机器人2a的规定部位移动以使校准板位于图像影像显示部725的中心(拍摄图像的中心)的指示(操作指示)。若输入控制部115接受该用户的操作指示，则控制部111根据该操作指示来对机器人控制装置12发出使手部270移动的移动指示。另外，发出移动指示，并且向图像处理装置13发出使摄像部3的图像摄像的摄像指示并显示于图像影像显示部725，由此用户向恰当地拍到拍摄对象的位置移动摄像部而对开始局部设定的摄像机点进行示教(图19：步骤s321)。接着，在第三个局部设定画面中选择为示教局部基准点的情况下，将机器人2a的手部270等向被设定的局部平面应通过的点移动了之后，若用户对示教按钮7206进行操作指示，则输入控制部115接受这个由用户进行的示教按钮7206的操作指示。由此，控制部111设定被局部设定的局部平面通过的局部基准点(基准点)(图19：步骤s322)。另外，控制部111使摄像机点、局部基准点存储于存储部113。之后，控制部111对显示控制部114发出使示教用画面720消去的指示，显示控制部114使示教用画面720从显示装置41消去。

接下来，若用户进行对上述的第四个局部设定画面(未图示)的显示为“下一步”的按钮(对应于按钮7203)的操作指示，则输入控制部115接受该由用户进行的操作指示(图19：步骤s323)。接着，控制部111对显示控制部114发出第五个局部设定画面72c的输出指示(图19：步骤s324)。由此，显示控制部114使第五个局部设定画面72c显示于显示装置41。

(第五个局部设定画面)

如图23所示，第五个局部设定画面72c是用来选择用于自动执行局部设定的各种参数的内容的画面。在本实施方式中，如图23所示，局部设定画面72c构成为选择目标的允许量、最大移动距离、最大姿势变化量(角度)及ljm模式的四个参数的各内容。具体而言，局部设定画面72c具有用于输入关于参数的内容的文本框727、用于从关于参数的多个内容(信息)中选择一个内容的下拉列表728。需要注意的是，参数不限定于上述的四个参数，既可以再添加其他参数，也可以省略上述的参数的任一个。

另外，局部设定画面72c与第一个局部设定画面72a同样具有按钮7201～7205，按钮7203～7205已变为灰显。由于该第五个局部设定画面72c是局部设定用画面群中的最后的局部设定画面，所以按钮7203已变为灰显。

另外，局部设定画面72c具有显示为“执行”的按钮7208。若用户对这样的局部设定画面72c进行选择各种参数的内容的操作指示并进行对显示为“执行”的按钮7208的操作指示，则输入控制部115接受各参数的内容的选择和来自用户的局部设定的执行指示(图19：步骤s325)。由此，控制部111使已选择的参数的内容存储于存储部113，对机器人控制装置12和图像处理装置13发出进行局部设定的执行指示(图19：步骤s326)。按以上方式，通过局部设定的显示处理来进行的局部设定的各种设定完成。

[2a]局部设定处理的执行(步骤s32)

接下来，控制系统10执行局部设定的处理。

具体而言，机器人控制装置12和图像处理装置13根据步骤s326的来自控制部111的执行指示来执行局部设定的处理。

首先，机器人控制装置12若接收到执行指示，则从机器人2a取得机器人2a的状态(例如驱动部280的电机是否已接通等)。接着，机器人控制装置12对机器人2a发出移动指示，使移动式摄像机31向已被示教为局部设定的开始位置的摄像机点移动以便校准板进入移动式摄像机31的视场。此时，机器人2a每次对机器人控制装置12返回关于机械臂20移动的信息(位置传感器的值)等。接着，机器人控制装置12对图像处理装置13发出图像处理时序的执行指示。图像处理装置13接收该执行指示，执行用于由移动式摄像机31(摄像部3)检测校准板的图像处理时序。该图像处理时序执行由上述的局部设定画面72b受理的图像处理时序。图像处理装置13执行图像处理时序，从而根据由移动式摄像机31对校准板进行了摄像而得的拍摄图像(图像数据)来进行图像处理，检测校准板相对于移动式摄像机31的相对位置姿势。接下来，如果图像处理结束，则图像处理装置13将图像处理时序的执行结果(校准板的位置姿势)发送至机器人控制装置12。接着，机器人控制装置12根据已取得的校准板的位置姿势和进行了摄像时的移动式摄像机31的机器人坐标(基坐标)来计算局部坐标系。然后，机器人控制装置12向计算机11发送局部坐标系的设定结果(局部设定结果)。需要注意的是，如上所述，关于局部设定的执行内容等，具体方法不作特别限定。在存储部113中针对各种设定的每一个存储有处理(程序)，控制部111执行对应于已选择的设定的处理(程序)。

[3a]局部设定结果的反映(步骤s33)

接下来，控制系统10反映局部设定结果。

具体而言，首先，若计算机11的通信部116接收局部设定结果(图19：步骤s327)，则控制部111对显示控制部114发出显示局部设定结果的画面的输出指示(图19：步骤s328)。由此，显示控制部114使显示有局部设定结果的画面(未图示)显示于显示装置41。虽未作图示，但该画面构成为用户能够选择是否使局部设定结果反映。

若输入控制部115受理由用户进行的使局部设定结果反映这一选择(图19：步骤s329)，则控制部111对机器人控制装置12发出对局部设定结果进行设定的指示(图19：步骤s330)。接受该指示，机器人控制装置12设定局部设定并存储。由此，反映局部设定。

另一方面，若用户选择不反映局部设定的结果，则虽然在图19中未作图示，但控制部111再次执行例如[1a]局部设定中的各种设定(步骤s31)和[2a]局部设定处理的执行(步骤s32)。需要注意的是，只要至少再次进行[2a]局部设定处理的执行(步骤s32)即可。按这种方式，根据需要，通过重复进行[2a]局部设定处理的执行(步骤s32)等，能够提高局部设定结果的精度。

在以上说明过的局部设定中，如上所述，在[1a]局部设定中的各种设定上，显示控制部114输出使多个(本实施方式中为五个)局部设定画面72以与用户对话的形式显示的局部设定用画面群。进而，用户使用多个局部设定画面72来对控制系统10进行各种设定的指示。由此，用户能够按照规定的顺序而以对话形式选择设定内容(信息)，因此能够无复杂的操作而简单且轻易地完成局部设定中的各种设定。为此，能够省去像以前那样对各种设定进行编程的麻烦。另外，通过显示在局部设定中所必需的设定内容，从而即使是初学者，也能够减少产生局部设定所必需的设定内容的设定不足，能够减少在局部设定的执行中产生例如错误等。

需要注意的是，虽然如上所述局部设定用画面群具有五个局部设定画面72，但局部设定画面72的个数不限定于此。既可以再添加其他局部设定画面，也可以省略五个局部设定画面72中的任一个。另外，显示五个局部设定画面72的顺序不限定于上述的顺序，是任意的。但是，优选地，后显示的局部设定画面72的显示内容根据先显示的局部设定画面72的选择内容而变化。即，优选地，后显示的局部设定画面72的显示内容是对应于先显示的局部设定画面72的选择内容的限定性内容。因此，优选设定为在上述的局部设定画面72a之后显示局部设定画面72b。另外，通过以上所述的已说明那样的顺序显示上述的五个局部设定画面72，从而用户特别易于掌握设定内容，因此能够提高对用户而言的便利性。

接着，对上述的作业程序中的工具设定和该工具设定中的显示处理进行说明。

＜工具设定和显示处理＞

图24是示出图8中所示的工具设定的流程的流程图。图25、图26以及图27分别是显示于图1所示的显示装置的工具设定画面。

下面，参照图24所示的流程图来对上述的作业程序创建中的工具设定(步骤s121)进行说明。工具设定具有：[1b]工具设定中的各种设定(步骤s41)、[2b]执行工具设定的处理(步骤s42(未图示))以及[3b]反映工具设定结果(步骤s43)。在此，所谓工具设定是包括工具设定中的各种设定(包括显示处理)、执行工具设定的处理以及反映工具设定结果的意思。

[1b]工具设定中的各种设定(步骤s41)

首先，控制系统10根据由用户进行的操作指示来执行工具设定中的各种设定。

具体而言，首先，若用户进行对图17所示的主窗口50的工具设定用图标701的操作指示，则输入控制部115接受该操作指示(工具设定开始时的指示)(图24：步骤s411)。由此，控制部111开始使多个(在本实施方式中为五个)工具设定画面71(指示画面)以与用户对话的形式显示的工具设定用画面群的显示处理，对显示控制部114发出图25所示的第一个工具设定画面71a(工具设定画面71)的输出指示(图24：步骤s412)。由此，显示控制部114使第一个工具设定画面71a显示于显示装置41。

(第一个工具设定画面)

如图25所示，第一个工具设定画面71a是用于选择工具设定模式(校准工具类型)的画面。所谓工具设定模式表示工具设定的种类、方法。即，所谓工具设定模式表示设定怎样的工具偏移、采用什么样的手段来进行工具设定。在本实施方式中，工具设定画面71a具有多个单选按钮711，构成为能够接受图25所示的四个工具设定模式中的任一个。像这样，工具设定画面71a是指导从多个模式中选择一个的结构，从而能够防止用户选择两种以上的模式。需要注意的是，工具设定模式的种类不限定于图25所示的四个模式，既可以再添加其他模式，也可以省略图25所示的四个模式的任一个。

另外，局部设定画面71a与上述的局部设定画面72a同样具有：显示为“取消”的按钮7101、显示为“返回”的按钮7102、显示为“下一步”的按钮7103、显示为“示教”的按钮7104、以及显示为“完成”的按钮7105。

若用户对这样的工具设定画面71a进行选择所希望的模式的操作指示并进行对按钮7103的操作指示，则输入控制部115接受工具设定模式的选择(图24：步骤s413)。由此，控制部111使已选择的工具设定模式存储于存储部113，对显示控制部114发出第二个工具设定画面(未图示)的输出指示(图24：步骤s414)。接受该输出指示，显示控制部114使第二个工具设定画面(未图示)显示于显示装置41。

(第二个工具设定画面)

虽未作图示，但第二个工具设定画面是用于选择(设定)保存工具设定结果的保存编号(工具编号)的画面。需要说明的是，第二个工具设定画面是除了选择内容(设定内容)不同以外与第一个工具设定画面71a大致同样的显示方式。

选择第二个工具设定画面中的保存编号的显示能够使用例如列表框等。这样的第二个工具设定画面是受理保存编号的选择的结构，从而能够防止由用户导致的输入错误。需要说明的是，所选择的可以是保存名来代替保存编号。需要注意的是，虽未作图示，但第二个工具设定画面也具有与第一个工具设定画面71a所具备的按钮7101～7105同样的按钮。

若用户对这样的第二个工具设定画面进行了选择所希望的保存编号的操作指示之后进行对显示为“下一步”的按钮(对应于按钮7103的按钮)的操作指示，则输入控制部115接受工具设定结果的保存编号的选择(图24：步骤s415)。由此，控制部111使已选择的保存编号存储于存储部113，对显示控制部114发出图26所示的第三个工具设定画面71b(工具设定画面71)的输出指示(图24：步骤s416)。若接受该输出指示，则显示控制部114使第三个工具设定画面71b显示于显示装置41。

(第三个工具设定画面)

如图26所示，第三个工具设定画面71b是用于选择各种视觉组件的内容的画面。所谓工具设定中的视觉组件表示在工具设定中用于检测工具的摄像部3的种类、图像处理的对象、方法等要素。在本实施方式中，如图26所示，工具设定画面71b构成为选择用于检测工具的摄像部3和用于检测工具的图像处理时序两个视觉组件的各内容。具体而言，工具设定画面71b具有多个用于从关于视觉组件的多个内容(信息)中选择一个内容的下拉列表712。需要注意的是，工具设定中的视觉组件不限定于上述的两个视觉组件，既可以再添加其他视觉组件，也可以省略上述的视觉组件的任一个。

在此，第三个工具设定画面71b的显示内容根据第一个工具设定画面71a的摄像部3的种类(选择)而变化。具体而言，下拉列表712的显示内容根据第一个工具设定画面71a的摄像部3的种类(选择)而变化。例如，上述的作业程序生成中的步骤s121使用未校准的固定摄像机32来进行工具设定。因此，若输入控制部115接受第一个工具设定画面71a的从图中的上面起第三个单选按钮711的选择，则显示控制部114使具有与固定摄像机32相关联的显示内容的下拉列表712的工具设定画面71b显示于显示装置41。

像这样，使对应于先显示的工具设定画面71a中的选择的限定性内容显示于后显示的工具设定画面71b，因此能够减少由用户导致的选择失误。

若用户对这样的第三个工具设定画面71b进行选择各视觉组件的内容的操作指示并操作指示显示为“下一步”的按钮7103，则输入控制部115接受各视觉组件的内容的选择(图24：步骤s417)。由此，控制部111使已选择的视觉组件存储于存储部113，对显示控制部114发出第四个工具设定画面(未图示)的输出指示(图24：步骤s418)。接受该输出指示，显示控制部114使第四个工具设定画面(未图示)显示于显示装置41。

(第四个工具设定画面)

虽未作图示，但第四个工具设定画面是接受开始工具设定的摄像机点的示教的画面。需要说明的是，第四个工具设定画面是除了选择内容(设定内容)不同以外与第一个工具设定画面71a大致同样的显示方式。另外，第四个工具设定画面也具有与第一个工具设定画面71a所具备的按钮7101～7105同样的按钮。

若用户对这样的第四个工具设定画面操作指示示教按钮(灰显已被解除的对应于按钮7104的按钮)，则输入控制部115接受该操作指示(图24：步骤s419)。由此，控制部111对显示控制部114发出示教用画面(未图示)的输出指示(图24：步骤s420)。接受该输出指示，显示控制部114使示教用画面弹出式显示于显示装置41。需要说明的是，该示教用画面是与上述的局部设定中的示教用画面720同样的显示形式(参照图24)。

用户使用该示教用画面而进行使被赋予在例如作为工具的手部270握持的工件93的标记(目标)位于拍摄图像的中心附近的指示(操作指示)。若输入控制部115接受该用户的指示，则控制部111根据该指示而对机器人控制装置12发出使手部270移动的移动指示，并向图像处理装置13发出使标记在摄像部3中进行摄像的摄像指示(图24：步骤s421)。接着，在标记已位于拍摄图像的中心附近之后，输入控制部115接受由该用户进行的示教按钮(对应于按钮7104的按钮)的操作指示。由此，控制部111将标记已位于拍摄图像的中心时的机器人2a的前端轴坐标设定为工具设定开始时的摄像机点(图24：步骤s422)。另外，控制部111使摄像机点存储于存储部113。之后，控制部111对显示控制部114发出使示教用画面消去的指示，显示控制部114使示教用画面从显示装置41消去。

接下来，若用户进行对上述的第四个工具设定画面(未图示)的显示为“下一步”的按钮(对应于按钮7103)的操作指示，则输入控制部115接受该由用户进行的选择(图24：步骤s423)。接着，控制部111对显示控制部114发出第五个工具设定画面71c的输出指示(图24：步骤s424)。由此，显示控制部114使第五个工具设定画面71c显示于显示装置41。

(第五个工具设定画面)

如图27所示，第五个工具设定画面71c是用来选择用于自动执行工具设定的各种参数的内容的画面。在本实施方式中，如图27所示，工具设定画面71c构成为选择初始旋转、最终旋转、目标的允许量、最大移动距离以及ljm模式的五个参数的各内容。具体而言，工具设定画面71c具有用于输入关于参数的内容的文本框713、用于从关于参数的多个内容(信息)中选择一个内容的下拉列表714。需要注意的是，参数不限定于上述的五个参数，既可以再添加其他参数，也可以省略上述的参数的任一个。

另外，工具设定画面71c与第一个工具设定画面71a同样具有按钮7101～7105。另外，工具设定画面71c具有显示为“执行”的按钮7106。

若用户对这样的工具设定画面71c进行选择各种参数的内容的操作指示并操作指示显示为“执行”的按钮7106，则输入控制部115接受各参数的内容的选择和来自用户的工具设定的执行指示(图24：步骤s425)。由此，控制部111使已选择的参数的内容存储于存储部113，对机器人控制装置12和图像处理装置13发出进行工具设定的执行指示(图24：步骤s426)。按以上方式，通过工具设定的显示处理来进行的工具设定的各种设定完成。

[2b]执行工具设定的处理(步骤s42)

接下来，控制系统10执行工具设定的处理。

具体而言，机器人控制装置12和图像处理装置13根据步骤s425的来自控制部111的执行指示而执行工具设定的处理。

首先，机器人控制装置12若接收执行指示，则从机器人2a取得机器人2a的状态。接着，机器人控制装置12对机器人2a发出移动指示，使其能够由固定摄像机32对被赋予在工件93的标记进行摄像以便进行工具设定。在此，发出移动指示例如使标记位于拍摄图像的中心。此时，机器人2a每次都向机器人控制装置12返回关于机械臂20移动的信息(位置传感器的值)等。接着，机器人控制装置12对图像处理装置13发出图像处理时序的执行指示。图像处理装置13接收该执行指示，由固定摄像机32检测标记，执行图像处理时序。在此，执行由上述的工具设定画面71b受理了的图像处理时序。图像处理装置13执行图像处理时序而根据由固定摄像机32对标记进行了摄像而得的拍摄图像(图像数据)来进行图像处理。接着，机器人控制装置12对机器人2a发出移动指示，使其以例如拍摄图像的中心为转动中心而使轴坐标转动。接着，图像处理装置13接收该执行指示，由固定摄像机32检测标记，执行图像处理时序。需要说明的是，机器人控制装置12除上述的处理以外还可以进行例如使标记相对于轴坐标转动的操作，或者可以使轴坐标再转动。接着，图像处理装置13将图像处理时序的执行结果(标记的检测结果)发送至机器人控制装置12。接着，机器人控制装置12根据已取得的标记检测结果和进行了摄像时的机器人坐标等而计算偏移。然后，机器人控制装置12向计算机11发送工具设定的结果。需要注意的是，如上所述，关于工具设定的执行内容等，具体方法不作特别限定。在存储部113中对各种设定按每个存储有处理(程序)，控制部111执行对应于已选择的设定的处理(程序)。

[3b]反映工具设定结果(步骤s43)

接下来，控制系统10执行工具设定结果的反映和设定。

具体而言，首先，若计算机11的通信部116接收工具设定的结果(图24：步骤s427)，则控制部111对显示控制部114发出显示工具设定结果的画面的输出指示(图24：步骤s428)。由此，显示控制部114使显示有工具设定结果的画面显示于显示装置41。虽未作图示，但该画面构成为用户能够选择是否使工具设定的结果反映。

若输入控制部115受理由用户进行的使工具设定的结果反映的选择(图24：步骤s429)，则控制部111对机器人控制装置12发出反映并存储工具设定的结果的指示(图24：步骤s430)。接受该指示，机器人控制装置12使工具设定反映并存储。

另一方面，若用户选择不反映工具设定的结果，则虽然在图24中未图示，但控制部111再次进行例如[1b]工具设定中的各种设定(步骤s41)和[2b]执行工具设定的处理(步骤s42)。需要注意的是，只要至少再次进行[2b]工具设定处理的执行(步骤s42)即可。按这种方式，根据需要，通过重复进行[2b]工具设定处理的执行(步骤s42)等，能够提高工具设定结果的精度。

在以上说明过的工具设定中，如上所述，在[1b]工具设定中的各种设定中，显示控制部114使工具设定用画面群显示，该画面群使多个(在本实施方式中为五个)工具设定画面71以与用户对话的形式显示。进而，用户使用多个工具设定画面71来对控制系统10进行各种设定的指示。由此，用户能够按照规定的顺序而以对话形式选择设定内容(信息)，因此能够无复杂的操作而简单且轻易地完成工具设定中的各种设定。为此，能够省去像以前那样对各种设定进行编程的麻烦。另外，通过显示在工具设定中所必需的设定内容，从而即使是初学者，也能够减少产生工具设定所必需的设定内容的设定不足，能够减少在工具设定的执行中产生例如错误等。

需要注意的是，虽然如上所述工具设定用画面群具有五个工具设定画面71，但是工具设定画面71的个数不限定于此。既可以再添加其他工具设定画面，也可以省略五个工具设定画面71中的任一个。另外，显示五个工具设定画面71的顺序不限定于上述的顺序，是任意的。但是，优选后显示的工具设定画面71的显示内容根据先显示的工具设定画面71的选择内容而变化。即，优选地，后显示的工具设定画面71的显示内容是对应于先显示的工具设定画面71的选择内容的限定性内容。因此，优选设定为在上述的工具设定画面71a之后显示工具设定画面71b。另外，通过以正如已说明过的那样的顺序显示上述的五个工具设定画面71，从而用户特别易于掌握设定内容，因此能够提高对用户而言的便利性。

接着，对上述的作业程序中的校准和该校准中的显示处理进行说明。

＜校准创建及显示处理＞

图28和图29分别是示出图9所示的校准的流程的流程图。图30～图37分别是显示于图1所示的显示装置的校准创建画面。图38是显示于图1所示的显示装置的示教用画面。图39是示出在图18所示的子窗口中显示有属性设定窗口的状态的图。图40和图41是示出在图18所示的子窗口中显示有示教流程的状态的图。图42是示出在图18所示的子窗口中显示有校准执行按钮的状态的图。图43是在图29所示的步骤s545中显示于显示装置的画面。

下面，参照图28和图29所示的流程图来对上述的作业程序创建中的校准(步骤s122、s127)进行说明。校准主要具有：[1c]校准中的各种设定(步骤s51)、[2c]示教摄像机点(步骤s52)、[3c]执行校准(步骤s53(未图示))以及[4c]反映校准结果(步骤s54)。在此，如上所述，所谓校准就是包含通过校准中的各种设定(包括显示处理)即校准创建、示教摄像机点和基准点、执行校准以及反映校准结果来使摄像部3的坐标系(图像坐标系)与机器人坐标系建立对应的意思。

[1c]校准中的各种设定(步骤s51)

首先，控制系统10根据由用户进行的操作指示而执行校准中的各种设定即校准的创建。

具体而言，首先，若用户进行对图17所示的主窗口50的校准创建用图标703的操作指示，则输入控制部115接受该操作指示(开始校准创建的指示)(图28：步骤s511)。由此，控制部111开始使多个(在本实施方式中为十个)校准创建画面73(指示画面)以与用户对话的形式显示的校准创建用画面群的显示处理，对显示控制部114发出图30所示的第一个校准创建画面73a(校准创建画面73)的输出指示(图28：步骤s512)。由此，显示控制部114使第一个校准创建画面73a显示于显示装置41。

(第一个校准创建画面)

如图30所示，第一个校准创建画面73a是用于设定之后设定的校准名和选择作为校准对象的摄像部3的种类的画面。在本实施方式中，校准创建画面73a具有用于选择校准名的下拉列表7311、用于选择摄像部3的下拉列表7312以及用于选择复制源的校准的下拉列表7313。

在保存有以前已设定的校准的情况下，通过使用下拉列表7313，能够复制复制源的校准的设定。由此，在校准创建画面73a以后显示的多个校准创建画面73上显示复制源的校准的设定内容。因此，用户在想稍微修改以前已设定的校准的各种内容而创建新的校准的情况下，通过指定复制源的校准，能够简单地进行修改。

另外，校准创建画面73a与上述的局部设定画面72a同样具有：显示为“取消”的按钮7301、显示为“返回”的按钮7302、显示为“下一步”的按钮7303、以及显示为“完成”的按钮7304。

若用户对这样的校准创建画面73a进行校准名的输入等的操作指示并进行对按钮7303的操作指示，输入控制部115接受校准名的输入等(图28：步骤s513)。由此，控制部111使校准名等存储于存储部113，对显示控制部114发出图31或图32所示的第二个校准创建画面的输出指示(图28：步骤s514)。接受该输出指示，显示控制部114使第二个校准创建画面73b(校准创建画面73)显示于显示装置41。

(第二个校准创建画面)

如图31或图32所示，第二个校准创建画面73b是用于选择独立(standalone)摄像机或者机器人摄像机的画面，具有接受独立摄像机和机器人摄像机中任一方的选择的两个单选按钮7321。“独立摄像机的选择”就是进行使实空间中的坐标系与摄像部3的坐标系(图像坐标系)建立对应的校准。“机器人摄像机的选择”就是执行使摄像部3的坐标系(图像坐标系)与机器人2的坐标系建立对应的校准。

另外，校准创建画面73b具有用于从多个机器人2的种类中选择一个机器人2的下拉列表7322和接受摄像部3的安装部位的选择的组7323(区域)。这里，在本说明书中，所谓摄像部3的安装部位包括设置摄像部3的设置部位和摄像部3的摄像方向(朝向)。

在本实施方式中，下拉列表7322的显示内容是作为垂直多关节机器人的机器人2a和作为水平多关节机器人的机器人2b。校准创建画面73b构成为能够选择这些机器人2a、2b的任一个。另外，在本实施方式中，组7323具有四个单选按钮7324，构成为能够受理图31或图32所示的四个摄像部3的安装部位中的任一个。由此，能够防止用户选择两种以上的安装部位。需要注意的是，该机器人2的种类的选择和摄像部3的安装部位的选择被用于选择了机器人摄像机的情况。

在此，第二个校准创建画面73b的显示内容根据机器人2的选择内容(种类)而变化。具体而言，第二个校准创建画面73b的组7323的安装部位根据机器人2的选择内容而变化(参照图31和图32)。例如，若输入控制部115接受作为垂直多关节机器人的机器人2a的选择，则显示控制部114使具有与机器人2a相关联的安装部位的组7323显示于显示装置41(参照图31)。另外，例如，若输入控制部115接受作为水平多关节机器人的机器人2b的选择，则显示控制部114使具有与机器人2b相关联的安装部位的组7323显示于显示装置41(参照图32)。

例如，在上述的作业程序生成中的步骤s122中，进行作为垂直多关节机器人的机器人2a的机器人坐标系与固定摄像机32的图像坐标系的校准。因此，若输入控制部115接受机器人2a的选择，则显示控制部114使在校准创建画面73b中图31所示那样的具有与机器人2a相关联的安装部位的组7323显示于显示装置41。

像这样，组7323的显示内容即摄像部3的设置部位等信息根据机器人2的种类而被限定性显示，从而能够减少由用户导致的选择失误。

若对这样的第二个校准创建画面73b如上所述用户进行选择所希望的机器人2和摄像部3的安装部位的操作指示并进行对显示为“下一步”的按钮7303的操作指示，则输入控制部115接受机器人2和摄像部3的设置部位的选择(图28：步骤s515)。由此，控制部111使已选择的摄像部3的设置部位存储于存储部113，对显示控制部114发出图33所示的第三个校准创建画面73c的输出指示(图28：步骤s516)。接受该输出指示，显示控制部114使第三个校准创建画面73c显示于显示装置41。

在此，下面以步骤s122中的校准的设定为中心来进行说明。即，以关于固定摄像机32的校准为中心进行说明。因此，在以下，作为在上述的图31的校准创建画面73b中由用户选择了机器人2a并选择了向上的固定摄像机32(固定向上：fixedupward)的情况进行说明。另外，在以下说明的第三～第十个校准创建画面73上显示与校准创建画面73a、73b的选择内容相应的内容。因此，在第三～第十个校准创建画面73上显示对应于向上的固定摄像机32的内容。

(第三个校准创建画面)

如图33所示，第三个校准创建画面73c是用于选择目标时序的内容的画面。目标时序表示关于在执行校准时由摄像部3进行摄像的标记等目标的图像处理时序。在本实施方式中，校准创建画面73c具有用于从多个目标时序的种类中选择一个目标时序的下拉列表733。

下拉列表733的显示内容根据第一个校准创建画面73a的摄像部3的种类(选择)而变化。例如，若输入控制部115在第一个校准创建画面73a中接受固定摄像机32的选择，则显示控制部114使具有与固定摄像机32相关联的显示内容的下拉列表733的校准创建画面73c显示于显示装置41。需要注意的是，在第一个校准创建画面73a中选择了移动式摄像机31的情况下，在下拉列表733中显示与移动式摄像机31相关联的内容。像这样，后显示的校准创建画面73c的下拉列表733的显示内容是对应于先显示的校准创建画面73a中的选择的限定性内容，从而能够减少由用户导致的选择失误。

若用户对这样的校准创建画面73c进行选择目标时序的操作指示并操作指示显示为“下一步”的按钮7303时，则输入控制部115接受目标时序的选择(图28：步骤s517)。由此，控制部111使已选择的目标时序存储于存储部113。另外，此时，控制部111使已选择的目标时序与当前设定的校准建立关联并使其存储于存储部113。另外，控制部111对显示控制部114发出图34所示的第四个校准创建画面73d(校准创建画面73)的输出指示(图28：步骤s518)。接受该输出指示，显示控制部114使第四个校准创建画面73d显示于显示装置41。

(第四个校准创建画面)

如图34所示，第四个校准创建画面73d是用于选择在校准中与图像坐标建立对应的局部坐标系(机器人局部)的画面。在本实施方式中，校准创建画面73d具有用于选择局部设定的保存编号的下拉列表7342和局部向导按钮7341。

在下拉列表7342中显示已经设定的局部设定的保存编号和由此设定并保存的局部设定的保存编号(未设定的局部设定的保存编号)。另外，局部向导按钮7341用于使具有上述的多个局部设定画面72的局部设定用画面群启动。

若向这样的校准创建画面73d例如用户不进行对局部向导按钮7341的操作指示而进行从下拉列表7342中选择已设定的局部设定的保存编号的操作指示并进行对显示为“下一步”的按钮7303的操作指示，则输入控制部115接受局部设定保存编号的选择(图28：步骤s519)。由此，控制部111如果判断为不进行局部设定(图28：步骤s520)，则使已选择的局部坐标系存储于存储部113，对显示控制部114发出图35所示的第五个校准创建画面73e(校准创建画面73)的输出指示(图28：步骤s522)。接受该输出指示，显示控制部114使第五个校准创建画面73e显示于显示装置41。

另一方面，若用户对校准创建画面73d从下拉列表7342中选择未设定的局部设定的保存编号并进行对局部向导按钮7341的操作指示，则输入控制部115接受该由用户进行的操作指示(图28：步骤s519)。由此，在控制部111判断为进行局部设定(图28：步骤s520)之后，转移至上述的局部设定，使具有多个局部设定画面72的局部设定用画面群启动(图28：步骤s521)。接着，在上述的局部设定结束了之后，若输入控制部115接受由用户进行的对校准创建画面73d的显示为“下一步”的按钮7303的操作指示，则控制部111使已设定的局部设定存储于存储部113，对显示控制部114发出图35所示的第五个校准创建画面73e的输出指示(图28：步骤s522)。

(第五个校准创建画面)

如图35所示，第五个校准创建画面73e是接受在执行校准时使用的基准点的取得类型的设定(选择)的画面。向上摄像机(固定摄像机32)的校准的情况可以只选择末端执行器作为基准点的取得类型。即向上校准使被赋予在末端执行器的标记等目标的局部坐标(机器人坐标)与检测到该目标的图像坐标建立对应。校准创建画面73e是接受对已附于末端执行器的目标在机器人2a的前端轴坐标上的偏移进行保持的工具设定(机器人工具)的设定的画面。

校准创建画面73e具有：接受末端执行器的选择的单选按钮7353、用于选择工具设定的保存编号的下拉列表7352、工具向导按钮7351、以及接受使用两个基准点的复选框7354。

单选按钮7353在进行关于固定摄像机32的校准的情况下被显示。另外，在下拉列表7352中显示已设定的工具设定的保存编号和之后设定并保存的工具设定的保存编号(未设定的工具设定的保存编号)。在本实施方式中，不局限于设于作为末端执行器的手部270的目标，能够将例如被赋予在手部270所握持的工件上的目标作为基准点来设定。下拉列表7352选择对作为目标的基准点在机器人2a的前端轴坐标上的偏移进行保持的工具设定的保存编号。另外，工具向导按钮7351被用于在上述的作为目标的基准点的工具设定为尚未设定的情况下启动上面已述的具有多个工具设定画面71的工具设定用画面群来进行工具设定。

若向这样的校准创建画面73e例如用户不进行对工具向导按钮7351的操作指示而进行从下拉列表7352中选择已设定的基准点的取得类型(末端执行器和工具设定的保存编号)的操作指示并进行对显示为“下一步”的按钮7303的操作指示，则输入控制部115接受基准点的取得类型(末端执行器和工具设定的保存编号)的选择(图28：步骤s523)。由此，控制部111判断为不进行工具设定(图28：步骤s524)，使已选择的工具设定存储于存储部113，并对显示控制部114发出图36所示的第六个校准创建画面73f(校准创建画面73)的输出指示(图28：步骤s526)。接受该输出指示，显示控制部114使第六个校准创建画面73f显示于显示装置41。

另一方面，若用户对校准创建画面73e从下拉列表7352中选择未设定的工具设定的保存编号并进行对工具向导按钮7351的操作指示，则输入控制部115接受该由用户进行的操作指示(图28：步骤s523)。由此，控制部111如果判断为进行工具设定(图28：步骤s524)，则转移至上述的工具设定，使具有多个工具设定画面71的工具设定用画面群启动(图28：步骤s525)。接着，在上述的工具设定结束了之后，若输入控制部115接受由用户进行的对校准创建画面73e的显示为“下一步”的按钮7303的操作指示，则控制部111使已设定的工具设定存储于存储部113，对显示控制部114发出图36所示的第六个校准创建画面73f的输出指示(图28：步骤s526)。

(第六个校准创建画面)

如图36所示，第六个校准创建画面73f是用于选择是否进行摄像机点的自动生成的画面，具有复选框736。所谓摄像机点就是位于拍摄图像内的点，是在执行校准时使目标(基准点)或者摄像部3位于的点。该摄像机点的个数不作特别限定，但优选为三个以上，在本实施方式中设定九个。

若用户向这样的校准创建画面73f对复选框736选中并进行显示为“下一步”的按钮7303的操作指示，则输入控制部115接受进行摄像机点的自动生成这一选择(图28：步骤s527)。另一方面，若用户对复选框736不选中而进行显示为“下一步”的按钮7303的操作指示，则输入控制部115接受不进行摄像机点的自动生成这一选择(图28：步骤s527)。然后，控制部111使摄像机点的自动生成的有无存储于存储部113，对显示控制部114发出第七个校准创建画面(未图示)的输出指示(图28：步骤s528)。接受该输出指示，显示控制部114使第七个校准创建画面显示于显示装置41。

(第七个校准创建画面)

虽未作图示，但第七个校准创建画面是用于选择是否进行摄像部3的透镜的畸变校正以及设定在进行畸变校正的情况下的图像处理时序的画面。需要说明的是，该第七个校准创建画面是除了选择内容(设定内容)不同以外均与第一个校准创建画面73a大致同样的结构。

若用户对这样的第七个校准创建画面(未图示)选择透镜畸变校正的有无而在进行畸变校正的情况下选择图像处理时序并进行对显示为“下一步”的按钮7303的操作指示，则输入控制部115接受透镜畸变校正的有无(图28：步骤s529)。控制部111使透镜畸变校正的有无存储于存储部113，对显示控制部114发出第八个校准创建画面(未图示)的输出指示(图28：步骤s530)。接受该输出指示，显示控制部114使第八个校准创建画面显示于显示装置41。

(第八个校准创建画面)

虽未作图示，但第八个校准创建画面是用于设定在执行校准时的照明的画面。在第八个校准创建画面中，能够设定例如直至照明开启为止的待机时间、开启照明的输出比特等。需要说明的是，该第八个校准创建画面是除了选择内容(设定内容)不同以外与第一个校准创建画面73a大致同样的结构。

若对这样的第八个校准创建画面(未图示)设定照明并进行显示为“下一步”的按钮7303的操作指示，则输入控制部115接受照明的设定(图28：步骤s531)。控制部111使照明的设定存储于存储部113，对显示控制部114发出图37所示的第九个校准创建画面73g(校准创建画面73)的输出指示(图29：步骤s532)。接受该输出指示，显示控制部114使第九个校准创建画面显示于显示装置41。

(第九个校准创建画面)

如图37所示，第九个校准创建画面73g是用于选择校准中的关于机器人动作的各种参数的内容的画面。在本实施方式中，如图37所示，校准创建画面73g构成为选择机器人速度(机器人2的规定部位的移动速度)、机器人加速度(机器人2的规定部位的移动加速度)、以及动作延迟(在机器人2的规定部位停止了之后几秒后进行摄像)三个参数的各内容。具体而言，校准创建画面73g具有多个用于输入关于参数的内容(信息)的文本框7371。需要注意的是，参数不限定于上述的三个参数，既可以再添加其他参数，也可以省略上述的参数的任一个。

另外，校准创建画面73g具有选择接近点的使用的有无的复选框7372和示教按钮7373。所谓接近点就是作为在执行校准时摄像机点移动的基点的部位。通过使用接近点，从而在执行校准时使机器人2的规定部位总是从接近点向摄像机点移动。因此，能够提高机器人2在摄像机点上的位置的稳定性，其结果，能够进一步提高校准结果的精度。

若向这样的校准创建画面73g例如用户对复选框7372选中并进行对示教按钮7373的操作指示，则输入控制部115接受该由用户进行的操作指示。由此，控制部111判断为进行接近点的设定(图29：步骤s533)，对显示控制部114发出用于设定接近点的画面730的输出指示(图29：步骤s534)。由此，显示控制部114使画面730弹出显示于显示装置41。

如图38所示，画面730是用于输入接近点的字符串(机器人坐标)的画面。另外，画面730具有ok按钮7305、取消按钮7306以及用于使接受点动动作的操作指示的画面(未图示)显示的按钮7307(点动&示教按钮)。若输入控制部115接受按钮7307的选择，则显示控制部114在控制部111的控制之下虽未图示但使接受点动动作的操作指示的画面(对应于图22所示的画面720的画面)显示于显示装置41。由此，用户能够通过不输入字符串而进行点动动作的操作指示来设定接近点。

若用户使用这样的画面730和接受点动动作的操作指示的画面(未图示)来进行接近点的设定并进行对画面730的ok按钮7305的操作指示，则输入控制部接收接近点的设定(图29：步骤s535)。由此，控制部111使接近点存储于存储部113，对显示控制部114发出使画面730消去的指示，显示控制部114使画面730从显示装置41消去。

接着，若用户进行对图37所示的校准创建画面73g的显示为“下一步”的按钮7303的操作指示，则输入控制部115接受该操作指示。由此，控制部111对显示控制部114发出第十个校准创建画面(未图示)的输出指示(图29：步骤s536)。接受该输出指示，显示控制部114使第十个校准创建画面显示于显示装置41。

需要说明的是，若用户向校准创建画面73g不选中复选框7372而进行对显示为“下一步”的按钮7303的操作指示，则输入控制部115接受该由用户进行的操作指示。由此，控制部111判断为不进行接近点的设定(图29：步骤s533)，对显示控制部114发出第十个校准创建画面(未图示)的输出指示(图29：步骤s536)。

(第十个校准创建画面)

虽未作图示，但第十个校准创建画面是罗列有在第一～第九个校准创建画面中已设定的内容的画面。需要说明的是，该第十个校准创建画面是除了选择内容(设定内容)不同以外与第一个校准创建画面73a大致同样的结构。通过观察这样的第十个校准创建画面，用户能够一眼确认校准的设定内容。

另外，第十个校准创建画面与第一个校准创建画面73a同样具有对应于按钮7301～7304的按钮。因此，若输入控制部115受理对显示为“返回”的按钮的操作指示，则控制部111再次重新进行设定。另外，若输入控制部115接受对显示为“取消”的按钮的操作指示，则控制部111撤销已设定的校准。另外，若输入控制部115接受对显示为“完成”的按钮的操作指示，则控制部111使通过使用了第一～第十个校准创建画面的显示处理而已设定的校准存储于存储部113。

需要说明的是，若输入控制部115接受对显示为“取消”的按钮或者显示为“完成”的按钮的操作指示，则控制部111结束校准创建用画面群的显示处理，对显示控制部114发出使校准创建画面73从显示装置41消去的指示。由此，显示控制部114使校准创建画面73从显示装置41消去。

通过以上，通过校准的显示处理来进行的校准的各种设定(校准的创建)完成。

[2c]摄像机点的示教(步骤s52)

接下来，控制系统10执行多个摄像机点的示教。

如上所述，若输入控制部115接受由用户进行的对显示为“完成”的按钮的操作指示(图29：步骤s537)，则控制部111对显示控制部114发出使校准创建画面73从显示装置41消去的指示，并且发出具有属性设定窗口60的子窗口61的输出指示(图29：步骤s538)。由此，显示控制部114使图39所示的具有属性设定窗口60的子窗口61显示于显示装置41。

(子窗口)

若校准的各种设定完成，在子窗口61中显示属性设定窗口60、示教按钮6151、以及图像影像显示部612。需要说明的是，在图39所示的图像影像显示部612拍摄有工件93的一个例子(对于图40～图42也是同样的)。

属性设定窗口60具有阅览部63和列表57(属性列表)。

阅览部63是一起显示已创建的校准设定(校准名)和通过后述的显示处理来创建的图像处理时序(图像处理时序名)的区域。在本实施方式中，阅览部63的显示方式是分别分层显示校准设定和图像处理时序设定的树形显示。由此，用户易于一眼便掌握多个校准设定和多个图像处理时序。因此，易于选择所希望的校准设定、图像处理时序。需要注意的是，阅览部63的显示方式不限定于此，例如，也可以是分别并列列举了校准设定和图像处理时序设定的列表显示等。

另外，列表57是显示在阅览部63中已选择的校准设定、图像处理时序的各种设定内容的区域。该属性列表构成为受理由用户进行的操作指示(输入)。因此，用户能够使用该属性列表来设定(变更)校准设定的详细的设定内容。

若用户向这样的子窗口61进行对示教按钮6151的操作指示，则输入控制部115接受该操作指示(示教的执行指示)(图29：步骤s539)。由此，控制部111对机器人控制装置12和图像处理装置13发出进行一个或多个摄像机点、基准点的示教的执行指示(图29：步骤s540)。另外，控制部111对显示控制部114发出示教组616的输出指示。由此，显示控制部114使图40或图41所示的具有示教组616的子窗口61显示于显示装置41。

例如，计算机11在上述的步骤s527中接受了进行摄像机点的自动生成这一选择的情况下对机器人控制装置12和图像处理装置13发出示教一个摄像机点的执行指示。另外，在这种情况下，控制部111对显示控制部114发出使流程图660a(流程图660)和点动面板54显示的输出指示(参照图40)。由此，在子窗口61的流程图显示部62上显示设定一个摄像机点的流程图660a(参照图40)。接着，若用户向图40所示的子窗口61进行对示教组616所具有的各种按钮和点动面板54所具有的各种按钮等的操作指示，则计算机11接受该由用户进行的操作指示。然后，机器人控制装置12和图像处理装置13使摄像部3和机器人2驱动，使已附于由手部270握持的工件的目标位于例如图40所示的图像影像显示部612的中心(摄像机点)。

另一方面，计算机11在上述的步骤s527中接受了不进行摄像机点的自动生成这一选择的情况下对机器人控制装置12和图像处理装置13发出示教规定的全部摄像机点(在本实施方式中九个摄像机点)的执行指示。另外，在这种情况下，控制部111对显示控制部114发出使流程图660b(流程图660)和点动面板54显示的输出指示(参照图41)。由此，在子窗口61的流程图显示部62上显示设定九个摄像机点的流程图660b(参照图41)。接着，若用户向图41所示的子窗口61进行对示教组616所具有的各种按钮和点动面板54所具有的各种按钮等的操作指示，则计算机11接受该由用户进行的操作指示。然后，机器人控制装置12和图像处理装置13使摄像部3和机器人2驱动，使已附于由手部270握持的工件的目标位于图41所示的图像影像显示部612内的规定的九个部位(摄像机点)。

在此，流程图660a、660b分别是示出示教的处理的流程的图，最前头的流程661表示已选择的校准设定(校准名)。另外，从图中的上面起第二个以后的流程662表示已选择的校准设定中所包括的示教步骤。

另外，例如，如图41所示，示教完毕的流程662a(流程662)的显示形式与示教尚未完毕的流程662b(流程662)的显示形式不同。在本实施方式中，在流程662a与流程662b间变更了背景色。由此，用户能够一眼辨别已示教的基准点和示教尚未完成的基准点。

如果流程图660a或者流程图660b具有的所有流程662的示教完成即所有基准点的示教完成，则控制部111就对显示控制部114发出图42所示的校准执行按钮6152的显示的输出命令(图29：步骤s541)。由此，通过显示控制部114而使校准执行按钮6152显示于子窗口61(参照图42)。

接着，若用户进行对校准执行按钮6152的操作指示，则输入控制部115接受该操作指示(校准的执行指示)(图29：步骤s542)。由此，控制部111对机器人控制装置12和图像处理装置13发出校准的执行指示(图29：步骤s543)。

按以上方式，摄像机点的示教完成。

[3c]校准的执行(步骤s53)

接下来，控制系统10执行校准。

具体而言，机器人控制装置12和图像处理装置13根据步骤s543中的来自控制部111的执行指示而执行校准。

首先，机器人控制装置12若接收执行指示，则从机器人2a取得机器人2a的状态。接着，机器人控制装置12对机器人2a发出移动指示以使目标位于第一个摄像机点。此时，机器人2a每次对机器人控制装置12返回关于机械臂20移动的信息(位置传感器的值)等。接着，机器人控制装置12对图像处理装置13发出图像处理时序的执行指示。图像处理装置13接收该执行指示，由固定摄像机32(摄像部3)检测目标(例如标记)，执行图像处理时序。图像处理装置13执行图像处理时序而根据由固定摄像机32对目标进行了摄像而得的拍摄图像(图像数据)来进行图像处理。接着，如果图像处理结束，则图像处理装置13就将图像处理时序的执行结果(目标的检测结果)发送至机器人控制装置12。由此，机器人控制装置12取得在第一个摄像机点上的图像处理时序的执行结果。接下来，机器人控制装置12对剩下的第二个至第九个为止的摄像机点进行与直至取得上述的第一个摄像机点的图像处理时序的执行结果的一系列处理同样的处理。接着，机器人控制装置12根据从第一个至第九个为止的基准点的图像处理时序的执行结果和目标在从第一个至第九个为止的摄像机点上的局部坐标(机器人坐标)而算出使固定摄像机32(摄像部3)的图像坐标系与机器人2a(机器人2)的局部坐标(机器人坐标)已建立对应的校准结果。然后，机器人控制装置12将已算出的校准结果发送至计算机11。需要注意的是，如上所述，关于校准的执行内容等，具体方法不作特别限定。在存储部113中对各种设定按每个存储有处理(程序)，控制部111执行对应于已选择的设定的处理(程序)。

按以上方式，校准的执行完成。

[4c]校准结果的反映(步骤s54)

接下来，控制系统10执行校准结果的反映和设定。

具体而言，首先，若计算机11的通信部116接收校准结果(图29：步骤s544)，则控制部111对显示控制部114发出显示校准结果的画面68的输出指示(图29：步骤s545)。由此，显示控制部114使画面68显示于显示装置41。

画面68具有：显示上次的校准结果的区域681、显示本次的校准结果的区域682、ok按钮683以及取消按钮684。通过具有ok按钮683和取消按钮684，从而用户能够在想使校准结果反映的情况下选择ok按钮683，在不想使其反映的情况下选择取消按钮684。像这样，画面68构成为用户能够选择是否使校准结果反映。另外，通过具有区域681、682，从而用户能够与上次的校准结果的内容比较来选择是否使本次的校准结果反映。

对于这样的画面68，若输入控制部115受理由用户进行的使校准结果反映的选择即对ok按钮683的操作指示(图29：步骤s546)，则控制部111对机器人控制装置12发出反映并存储校准结果的指示(图29：步骤s547)。接受该指示，计算机11使校准结果反映并存储。需要说明的是，机器人控制装置12也可以使校准结果反映并存储。

另一方面，若用户选择不反映校准结果，则虽然在图29中未图示，但控制部111再次进行例如[1c]校准中的各种设定(步骤s51)、[2c]摄像机点的示教(步骤s52)以及[3c]校准的执行(步骤s53)。需要注意的是，只要至少再次进行[3c]校准的执行(步骤s53)即可。按这种方式，根据需要，通过重复进行[3c]校准的执行(步骤s53)等，能够提高校准结果的精度。另外，如上所述，用户能够使用画面68来比较上次的校准结果与本次的校准结果，因此能够简单地进行是否使校准结果反映的判断。

如以上说明过的那样，在[1c]校准的各种设定中，显示控制部114使作为指导用于进行校准的信息的输入的“校准用引导画面”的校准创建画面73显示于作为“显示部”的显示装置41。由此，用户按照校准创建画面73中所显示的内容而选择信息(设定内容)，从而能够无复杂的操作而简单且轻易地完成校准的设定。因此，即使是初学者，也能够容易地进行校准的设定。

另外，如上所述，本实施方式的控制系统10具有作为受理输入的“受理部”的输入装置42。而且，显示控制部114根据在输入装置42受理了的输入而使多个作为“校准用引导画面”的校准创建画面73依次显示于作为“显示部”的显示装置41。在本实施方式中，显示控制部114使局部设定用画面群显示，其中，该画面群使多个(在本实施方式中为十个)局部设定画面72以与用户对话的形式依次显示。由此，用户能够按照依次显示的校准创建画面73(向导画面)而以对话形式(向导形式)将信息(设定内容)选择下去。这样，用户能够按照规定的顺序而以对话形式选择设定内容，因此能够无复杂的操作而简单且轻易地完成校准的设定。因此，能够减少产生输入失误、输入不足等。另外，能够省去像以前那样对各种设定进行编程的麻烦。另外，只有在校准创建中所必需的设定内容被限定性显示，从而即使是初学者，也能够减少产生校准创建所必需的设定内容的设定不足。因此，能够减少在执行校准中产生例如错误等。

需要注意的是，虽然如上所述校准创建用画面群具有十个校准创建画面73，但是校准创建画面73的个数不限定于此。既可以再添加其他校准创建画面，也可以省略十个校准创建画面73中的任一个。另外，显示十个校准创建画面73的顺序不限定于上述的顺序，是任意的。但是，优选地，后显示的校准创建画面73的显示内容根据先显示的校准创建画面73的选择内容而变化。即，优选地，后显示的校准创建画面73的显示内容是对应于先显示的校准创建画面73的选择内容的限定性内容。特别地，上述的十个校准创建画面73按已说明的那样的顺序显示，从而用户特别易于掌握设定内容，因此能够提高对用户而言的便利性。

在此，如上所述，控制系统10是能够根据作为“输入部”的输入装置42的输入而控制机器人2、摄像部3以及作为“显示部”的显示装置41的驱动的“控制装置”。另外，如上所述，控制系统10具备：显示控制部114，使作为用于输入作为控制对象的机器人2的“输入画面”的校准创建画面73b显示于显示装置41，使作为指导与已输入的机器人2(例如机器人2a)对应的摄像部3的安装位置(设置位置)的输入的“摄像部输入部”的组7323(区域)显示于显示装置41；以及校准编辑部1113和校准执行部1114，其作为根据已输入的摄像部3的安装位置而进行使机器人2的坐标系(机器人坐标系)与摄像部3的坐标系(图像坐标系)建立对应的校准的“校准控制部”。即，上述的校准的各处理(步骤s51～s54)主要由控制部111的校准编辑部1113和校准执行部1114进行。

根据这样的控制系统10，在显示装置41显示对应于已输入(选择)的机器人2的摄像部3的安装位置。即，不对应于已输入的机器人2的摄像部3的安装位置成为不显示。例如，如上所述，在校准创建画面73b的组7323只显示对应于使用下拉列表7322而选择的机器人2的摄像部3的安装位置，未对应的摄像部3的安装位置成为不显示。由此，用户能够简单地进行对应于已输入的机器人2的摄像部3的安装位置的选择。其结果，能够简单且恰当地进行用于进行校准的各种设定。

在此，“输入”包括“选择”。另外，在机器人2的输入上，例如，用户可以用键盘等输入机器人2，另外，可以选择机器人2。

特别地，如上所述，显示控制部114能够使垂直多关节机器人和水平多关节机器人显示于作为“输入画面”的校准创建画面73b，作为“摄像部输入部”的组7323(区域)的显示方式在输入了作为“垂直多关节机器人”的一例的机器人2a的情况与输入了作为“水平多关节机器人”的一例的机器人2b的情况下不同。由此，能够简单地进行对应于机器人2a的摄像部3的安装位置的选择和对应于机器人2b的摄像部3的安装位置的选择的各个。另外，根据控制系统10(已安装于控制系统10的应用软件)，不用准备对应于机器人2a和机器人2b各个的控制系统(应用软件)而用一个控制系统10(一个应用软件)即可进行关于多种机器人2的校准，便利性卓越。

另外，如上所述，显示控制部114使作为“局部设定调出部”的局部向导按钮7341显示于作为“校准用引导画面”的校准创建画面73d之中，其中，该“局部设定调出部”用于调出作为“局部设定用引导画面”的局部设定画面72，而该“局部设定用引导画面”指导用于设定与机器人2的坐标系(机器人坐标系)不同的局部坐标系的信息的输入。由此，用户通过进行经由局部向导按钮7341来调出局部设定画面72的操作指示(通过点击或者触摸)，能够简单地调出局部设定画面72。为此，例如，能够省去如下这样的麻烦：为进行局部设定而一次取消通过校准创建画面73进行的设定，在进行了局部设定之后再次从头重新进行校准的设定。因此，能够大幅节省用户的时间。

特别地，在本实施方式中，显示控制部114根据在输入控制部115中受理了的对局部向导按钮7341的操作指示而使多个局部设定画面72依次显示于显示装置41。由此，用户通过按照依次显示的局部设定画面72而以对话形式将信息(设定内容)选择下去，从而能够无复杂的操作而简单且轻易地进行局部设定。

另外，如上所述，显示控制部114使作为“工具设定调出部”的工具向导按钮7351显示于作为“校准用引导画面”的校准创建画面73e之中，其中，该“工具设定调出部”用于调出作为“工具设定用引导画面”的工具设定画面71，而该“工具设定用引导画面”指导用于求出安装于机器人2的工具(例如工件93)的偏移的信息(用于为求出偏移而进行工具设定的信息)的输入。由此，用户通过进行经由工具向导按钮7351来调出工具设定画面71的指示，能够简单地调出工具设定画面71。为此，例如，能够省去如下这样的麻烦：为进行工具设定而一次取消通过校准创建画面73进行的设定，在进行了工具设定之后再次从头重新进行校准的设定。因此，能够大幅节省用户的时间。

特别地，在本实施方式中，显示控制部114根据在输入控制部115受理了的对工具向导按钮7351的操作指示而使多个工具设定画面71依次显示于显示装置41。由此，用户通过按照依次显示的工具设定画面71而以对话形式将信息(设定内容)选择下去，从而能够无复杂的操作而简单且轻易地进行工具设定。

另外，如上所述，显示控制部114使作为“校准点选择部”的复选框736显示于作为“校准用引导画面”的校准创建画面73f之中，其中，该“校准点选择部”用于选择是否进行作为在校准中使用的“校准点”的摄像机点的自动生成。由此，用户能够经由复选框736而简单且根据用户的目的来选择是否进行摄像机点的自动生成。例如，通过进行摄像机点的自动生成，用户能够减轻进行多个摄像机点的设定的麻烦。另一方面，例如，在机械臂20的驱动范围已被限定的情况下，不进行摄像机点的自动生成也是有效的。通过不进行摄像机点的自动生成，从而用户能够在机械臂20与外围设备不干扰的区域进行各摄像机点的设定。通过像这样校准创建画面73f具有复选框736，从而能够简单地进行对应于用户的目的的设定。

另外，如上所述，显示控制部114使作为“接近点选择部”的复选框7372显示于作为“校准用引导画面”的校准创建画面73g之中，其中，该“接近点选择部”用于选择是否进行成为机器人2的规定部位(例如工具中心点p)向作为“校准点”的摄像机点移动的基点的接近点的自动生成。由此，用户通过进行经由复选框7372的操作指示，从而能够简单且根据用户的目的来选择是否进行接近点的自动生成。例如，通过进行接近点的自动生成，从而机器人2总是从接近点向摄像机点移动，因此能够提高机器人2在摄像机点上的位置的稳定性。其结果，能够进一步提高校准结果的精度。另一方面，不进行接近点的自动生成的情况能够更迅速地进行校准的执行。通过像这样校准创建画面73g具有复选框7372，从而能够简单地进行对应于用户的目的的设定。

特别地，如上所述，处理部110具有控制作为“显示部”的显示装置41的驱动的显示控制部114，显示控制部114将由图像处理时序编辑部1115已编辑的多个图像处理时序调出至(使其显示于)作为指导关于校准的设定内容的输入的“校准用引导画面”的校准创建画面73c。在本实施方式中，显示控制部114使已编辑的(现有的)多个图像处理时序显示于校准创建画面73c的下拉列表733中。由此，用户能够经由下拉列表733而从多个图像处理时序中选择所希望的图像处理时序。即，在使用了校准创建画面73的校准的设定之中，用户能够调出已编辑的现有的图像处理时序。为此，例如在想进行多个校准的设定的情况下，能够省去在各校准的设定中进行图像处理时序的创建的麻烦，所以能够省去每次设定校准都创建图像处理时序。其结果，校准的设定变为简便，能够大大地提高用户的使用便利性。

另外，如上所述，本实施方式在图39所示的属性设定窗口60的列表57中也能够选择(变更)所希望的图像处理时序。为此，即使在已进行使用了多个校准创建画面73的校准创建之后，用户也能够变更校准中的图像处理时序。

像这样，控制系统10是能够控制机器人2和摄像部3的驱动的“控制装置”，具备处理部110，该处理部具有：图像处理时序编辑部1115，编辑关于图像处理时序的设定内容，该图像处理时序包括由摄像部3进行了摄像而得的拍摄图像(图像数据)的图像处理；以及校准编辑部1113，编辑关于使机器人2的坐标系(机器人坐标系)与摄像部3的坐标系(图像坐标系)建立对应的校准的设定内容，处理部10能够在由校准编辑部1113进行的关于校准的设定内容的编辑(校准创建)中(时)调出由图像处理时序编辑部1115已编辑的图像处理时序。根据这样的控制系统10，在进行了多个校准的情况下，能够在各校准的设定中调出现有的(已编辑的)图像处理时序，所以能够省去每次设定校准都创建图像处理时序的时间。为此，能够减少设定校准所花费的时间和劳力。另外，在使用了后述的命令的处理中，也能够调出已编辑的图像处理时序。需要注意的是，在本说明书中，所谓“调出图像处理时序”包括使其显示于显示部和在控制程序中能够执行图像处理时序。

另外，处理部110具有控制作为“显示部”的显示装置41的驱动的显示控制部114，显示控制部114使进行了关于校准的设定内容的编辑的校准设定和进行了关于图像处理时序的设定内容的编辑的图像处理时序设定在作为同一“画面”的属性设定窗口60中显示于显示装置41(参照图39、图42的阅览部63)。由此，用户能够一看便掌握现有的校准设定和现有的图像处理时序设定。

特别地，显示控制部114使校准设定和图像处理时序设定树形显示(参照图39、图42的阅览部63)。由此，用户能够一眼便掌握现有的校准设定的种类、个数和现有的图像处理时序设定的种类、个数。

并且，显示控制部114使彼此具有关联的校准设定和图像处理时序设定显示(参照图39、图42的阅览部63)。由此，用户易于掌握已建立关联的校准设定和图像处理时序设定。因此，易于根据需要而进行校准设定和图像处理时序设定至少一方的修正等。

接下来，对图像处理时序(视觉处理时序)的创建进行说明。

＜图像处理时序的创建＞

图44是示出在图8所示的图像处理时序创建中的显示处理的流程的流程图。图45是示出显示于图1中所示的显示装置的子窗口的图。图46～图50分别是示出显示于图1中所示的显示装置的列表的图。图51～图53分别是显示于图1中所示的显示装置的子窗口中的引导画面。图54和图55分别是示出显示于图1所示的显示装置的子窗口且与图45不同的显示的图。

需要注意的是，在以下，为便于说明起见，将图45～图55中的上侧称为“上”，将下侧称为“下”。

在图像处理时序的创建中，依次执行图像处理时序的项目的输入、图像处理对象向图像处理时序的追加、图像处理时序的执行以及图像处理时序的执行结果(检测结果)的反映。通过进行图像处理时序的项目的输入和图像处理对象向图像处理时序的追加，进行图像处理时序的各种设定，实现用于检测标记等目标的图像检测(图像处理)。下面，对图像处理时序的创建进行说明。

(图像处理时序的项目的输入)

在创建图像处理时序时，输入图像处理时序的项目。

用户在图17所示的主窗口50中进行对图标601的操作指示。然后，若计算机11的输入控制部115(受理部)接受由用户进行的对图标601的操作指示(图像处理时序创建指示)(步骤s611)，则图像处理时序编辑部1115进行子窗口61的输出命令(指示)(步骤s612)，显示控制部114在图17所示的主窗口50中替换机器人操作用子窗口51而使图45所示的子窗口61显示于显示装置41(显示部)。

如图45所示，在子窗口61中显示阅览部63、流程图显示部62、两个标签56、56、列表57、图像影像显示部612、用于使图像处理时序创建用的画面群显示的图标671、向导选择用图标672以及工具栏615。工具栏615由表示“检测”、“计数”、“检查”、“图像”、“读取”以及“全部工具”的图标构成。

接下来，用户在显示于显示装置41的图45所示的子窗口61中进行对图标671的操作指示。然后，若输入控制部115接受由用户进行的对图标671的操作指示，则显示控制部114使对话框663显示于显示装置41。

接下来，用户在子窗口61中使用对话框663来输入例如“时序名”、“在时序中使用的摄像机”、“复制源的时序”等各项目中的必需的项目(进行操作指示)。关于“复制源的时序”，在复制现有的图像处理时序的情况下输入(指定)。

若计算机11的输入控制部115接受由用户进行的操作指示，则图像处理时序编辑部1115开始图像处理时序的创建。

在该阶段，图像处理时序在创建的中途。另外，若复制源的图像处理时序被指定，则复制源的图像处理时序的设定被复制。因此，在子窗口61、引导画面65等上显示复制源的图像处理时序的设定内容。因此，用户在想创建将以前已设定的图像处理时序的各种内容稍作变更后的图像处理时序的情况下，通过指定复制源的图像处理时序，从而能够简单地创建。

在此，在流程图显示部62显示流程图。在该流程图的最前头(最上部)的显示部621显示当前已选择的时序。另外，在流程图的第二个显示部622(参照图54)及其以后的显示部(未图示)显示当前已选择的图像处理时序中所包括的图像处理对象。

另外，在阅览部63上分别树形显示有已进行关于图像处理时序的设定内容的编辑的图像处理时序设定和已进行关于校准的设定内容的编辑的校准设定。由此，用户能够一眼便掌握校准设定的种类、个数和图像处理时序设定的种类、个数。

另外，在阅览部63显示彼此具有关联的图像处理时序设定和校准设定。另外，在本实施方式中，图像处理时序设定显示于阅览部63的上侧，校准设定显示于图像处理时序设定的下侧。

另外，在图像处理时序设定的树形中显示已进行编辑(设定)的所有时序，在校准设定的树形中显示已进行编辑(设定)的所有校准。

另外，若输入控制部115接受由用户进行的对关于图像处理时序(图像处理时序的创建)的流程图的“时序”或者树形的“时序”的操作指示，则显示控制部114使列表57(时序窗口)显示于显示装置41。在列表57中显示例如关于图像处理时序的属性、图像处理时序的执行结果等。另外，能够使用列表57来进行关于图像处理时序的属性的设定等。

另外，若输入控制部115接受由用户进行的对关于图像处理时序的流程图的“对象”或者树形的“对象”的操作指示，则显示控制部114使列表57(对象窗口)显示于显示装置41。在列表57中显示例如关于图像处理时序的属性、在执行了图像处理对象或者图像处理时序时的图像处理对象的执行结果等。另外，能够使用列表57来进行关于图像处理对象的属性的设定等。

另外，若输入控制部115接受由用户进行的对关于校准的树形的操作指示时，则显示控制部114使列表57(校准窗口)显示于显示装置41。在列表57中显示例如校准的设定、校准的执行结果等。需要注意的是，也可以做到能够使用列表57来进行校准的属性的设定等。

(图像处理对象向图像处理时序的追加)

为了指定图像处理时序中的图像处理，向图像处理时序追加规定的图像处理对象。

在这种情况下，作为追加图像处理对象的方法，具有两种方法即使用工具栏615的方法(第一方法)和使用指导信息的输入的引导画面的方法(第二方法)即使用图像处理选择向导(步骤向导)的方法。

首先，对第一方法进行说明。

第一方法是使用工具栏615来追加图像处理对象的方法。

在使用第一方法的情况下，用户在显示于显示装置41的图45所示的子窗口中不进行对图标672的操作指示。然后，在输入控制部115未接受由用户进行的对图标672的操作指示的情况即接受到后述的由用户进行的从工具栏615的多个工具栏项目中选择规定的工具栏项目的指示的情况下，图像处理时序编辑部1115执行第一方法。即，图像处理时序编辑部1115判断是否使用图像处理选择向导(步骤s613)，在判断为不使用图像处理选择向导的情况下执行第一方法。

在第一方法中，首先，用户从示出图像处理(图像检测)的种类(操作的类型)的图像处理引导的菜单(工具栏615的多个工具栏项目)中选择规定的图像处理种类，接着，从该已选择的图像处理种类上的多个图像处理对象中选择规定的图像处理对象(关于图像处理的功能)。

具体而言，首先，用户进行从子窗口61中的工具栏615的多个工具栏项目中选择规定的工具栏项目的操作。然后，若输入控制部115接受由用户进行的对规定的工具栏项目的操作指示(图像处理种类的选择)(步骤s621)，则图像处理时序编辑部1115进行对应于已选择的种类的列表6540的输出命令(步骤s622)。显示控制部114接受该输出命令，使图46、图47、图48、图49以及图50所示的对应的列表6540显示于显示装置41。在该列表6540中列举出的各项目(用字符串6542示出)是图像处理对象的具体例子。

在选择了“检测”的情况下，图46所示的列表6540显示于显示装置41。另外，在选择了“计数”的情况下，图47所示的列表6540显示于显示装置41。另外，在选择了“图像”的情况下，图48所示的列表6540显示于显示装置41。另外，在选择了“读取”的情况下，图49所示的列表6540显示于显示装置41。另外，在选择了“全部工具”的情况下，图50所示的列表6540显示于显示装置41。

在各列表6540中分别显示使图标6541与字符串6542建立对应而成的项目。若列举一个例子，在选择了“检测”的情况下，在列表6540中例如“geometric”字符串6542与由规定的图形构成的图标6541建立对应而显示。

用户通过使用各列表6540中的必需的列表6540来选择(指定)使规定的图标6541与字符串6542建立对应而成的项目，从而进行追加对应于该项目的图像处理对象的操作。然后，若输入控制部115接受由用户进行的操作指示(图像处理对象的选择)(步骤s623)，则图像处理时序编辑部1115将已指定的图像处理对象追加至当前的图像处理时序中。通过以上，图像处理时序的设定完成。需要注意的是，在追加图像处理对象的工序中进行例如标记680(记号)的模型注册(示教)等。

接下来，对第二方法进行说明。

第二方法是使用图像处理选择向导(步骤向导)来追加图像处理对象的方法。作为图像处理(图像检测)的种类，可列举出例如检测、计数、检查、读取、图像处理(图像)、全部工具等。

在使用第二方法的情况下，用户在子窗口61中进行对图标672的操作指示。然后，若输入控制部115接受由用户进行的对图标672的操作指示，则图像处理时序编辑部1115执行第二方法。即，图像处理时序编辑部1115判断是否使用图像处理选择向导(步骤s613)，在判断为使用图像处理选择向导的情况下执行第二方法。

在第二方法中，首先，图像处理时序编辑部1115进行第一个引导画面的输出命令(步骤s614)，显示控制部114使图51所示的引导画面65(窗口)显示于显示装置41的图像影像显示部612。在引导画面65中显示框651。在该框651显示图像处理的种类(操作的类型)，在框651中能够选择图像处理的种类。图像处理的种类是与第一方法同样的。

另外，在引导画面65的下部显示有显示为“取消”的按钮6501(图标)、显示为“返回(b)”的按钮6502(图标)、显示为“下一步(n)＞”的按钮6503(图标)、显示为“完成(f)”的按钮6504(图标)。在本实施方式中，能够对按钮6501、6502、6503、6504中的按钮6501、6503进行操作指示(选择)。

虽然用户从多个图像处理的种类中选择规定的图像处理的种类，但在以下代表性地对选择了“检测”的情况进行说明。

若输入控制部115接受由用户进行的选择【“检测”、“设定零件的坐标值”】的项目6511的操作指示(图像处理种类的选择)(步骤s615)，则显示控制部114将框651中的该已被选择的项目6511的部分的颜色变更为与其他部分的颜色不同的颜色。

接着，若输入控制部115接受由用户进行的对显示为“下一步(n)＞”的按钮6503的操作指示，则图像处理时序编辑部1115进行第二个引导画面的输出命令(步骤s616)，显示控制部114使图52所示的引导画面65显示于显示装置41的图像影像显示部612。在引导画面65显示框652。在该框652中显示零件检测工具的类型(图像处理对象)，在框652中能够选择零件检测工具的类型。零件检测工具的类型是与第一方法中的“检测”的列表6540的项目同样的。即，各列表6540的图像处理对象分别是与第二方法同样的。

另外，在本实施方式中，能够对按钮6501、6502、6503、6504中的按钮6501、6502、6503进行操作指示(选择)。

虽然用户从多个零件检测工具的类型中选择规定的零件检测工具的类型，但在以下代表性地对选择了“geometric”的情况进行说明。

若输入控制部115接受由用户进行的选择【“geometric”、“使用基于边缘的几何学模型来检测零件”】项目6521的操作指示(图像处理对象的选择)(步骤s617)，则显示控制部114将框652中的该已被选择的项目6521的部分的颜色变更为与其他部分的颜色不同的颜色。

接着，若输入控制部115接受由用户进行的对显示为“下一步(n)＞”的按钮6503的操作指示，则图像处理时序编辑部1115进行第三个引导画面的输出命令(步骤s618)，显示控制部114使图53所示的引导画面65显示于显示装置41的图像影像显示部612。在引导画面65显示设有输入对话的窗口653。在该窗口653中，能够设定新的步骤。

按这种方式，显示控制部114根据在输入控制部115中受理了的输入而使三个引导画面65以与用户对话的形式依次显示于显示装置41。由此，用户通过按照依次显示的引导画面65而以对话形式将信息(项目)选择下去，从而能够无复杂的操作而简单、轻易且迅速地进行追加图像处理对象的操作。

另外，在本实施方式中，能够对按钮6501、6502、6503、6504中的按钮6501、6502、6504进行操作指示(选择)。

用户在“输入新的步骤的名称”的输入对话中记录规定的名称，进行指定插入位置的操作。

接着，若输入控制部115接受由用户进行的对显示为“完成(f)”的按钮6504的操作指示(图像处理对象的追加完成指示)(步骤s619)，则图像处理时序编辑部1115将已指定的图像处理对象追加至当前的图像处理时序中。

若图像处理对象向图像处理时序的追加完成，则图像处理时序编辑部1115进行已追加的图像处理对象的显示的输出命令(步骤s620)，显示控制部114分别使已追加的图像处理对象显示于在阅览部63上所显示的图像处理时序的树形、在流程图显示部62上所显示的流程图中。

在此，如上所述，图像处理时序具有至少一个图像处理对象。显示控制部114能够使图像处理对象显示，未进行示教的情况下的图像处理对象的显示方式与已进行示教的情况下的图像处理对象的显示方式不同。

由此，用户能够一眼便掌握图像处理对象是否已被示教。下面，具体进行说明。

图像处理时序编辑部1115对已追加的图像处理对象判断是否已进行示教(步骤s624)，在判断为未进行示教(未示教)的情况下，进行未示教的显示的输出命令(步骤s625)。然后，显示控制部114对已追加的未示教的图像处理对象进行未示教的显示。即，使流程图的未示教的部分的显示形式与示教已完毕的部分不同。在本实施方式中，使“！”图标6221显示于流程图的未示教的部分。由此，用户能够一眼辨别未示教的图像处理对象。

需要注意的是，可以代替“！”图标6221的显示或者与“！”图标6221的显示一起使流程图的未示教部分的颜色例如背景色与示教已完毕的部分不同。

在已追加的图像处理对象为未示教的情况即需要示教的情况下，对于已追加的图像处理对象，用户进行对显示为“示教”的按钮614(图标)的操作指示来进行规定的示教。

若输入控制部115接受由用户进行的对按钮614的操作指示，对已追加的未示教的图像处理对象进行的已指示的示教完成，则图像处理时序编辑部1115追加已完成的示教的内容。由此，能够执行已追加的图像处理对象。通过以上，图像处理时序的设定完成。

需要说明的是，作为示教的一例，在为“geometricsearch”的情况下，可列举出标记680的模型注册等。

在图像处理时序编辑部1115在步骤s624中判断为已进行示教(示教完毕)的情况下，进行示教完毕的显示的输出命令(步骤s626)。然后，显示控制部114对已追加的未示教的图像处理对象进行示教完毕的显示。在本实施方式中，消去显示于流程图的“！”图标6221。由此，用户能够一眼辨别未示教的图像处理对象的示教已完毕。

(图像处理时序的执行)

图像处理时序(图像处理时序的创建)包括根据由摄像部3进行了摄像而得的图像来检查的工序。

由此，能够通过图像处理时序来检查由摄像部3进行了摄像的对象物。下面，具体进行说明。

首先，若输入控制部115接受由用户进行的“图像处理时序的执行”的操作指示(图像处理时序的执行命令)(步骤s627)，则首先，图像处理时序编辑部1115将图像处理时序的设定内容发送至图像处理装置13。在这种情况下，机器人控制装置12可以进行中继，还可以不进行中继。

接着，图像处理装置13接收图像处理时序的设定内容。然后，图像处理时序执行部1311反映图像处理时序的设定内容。

接着，图像处理时序编辑部1115将使图像处理时序执行的图像处理时序执行命令发送至图像处理装置13。在这种情况下，机器人控制装置12可以进行中继，还可以不进行中继。

接着，图像处理装置13接收图像处理时序执行命令。然后，图像处理时序执行部1311执行图像处理时序。

在这种情况下，首先，通过摄像部控制部1313的控制来驱动摄像部3。摄像部3对例如标记等规定的对象物进行摄像，并将拍摄图像的图像数据发送至图像处理装置13。接着，图像处理装置13接收图像数据。然后，图像处理部1312根据图像数据而进行规定的图像处理。

作为具体例，例如，作为对象物的一例，对图54所示的标记680(几何学模型：图形)进行摄像，进行该标记680的图像识别等各种图像处理。另外，进行使用了标记680的检查的一部分或全部。即，在图像处理时序的创建中包括进行使用了作为对象物的一例的标记680的检查的工序(检查工序)。

在本实施方式中，在为第一图像处理时序的创建的情况下，通过移动式摄像机31来对被赋予在工件93的上表面中心的标记680进行摄像，进行规定的处理。作为所述处理，可列举出例如确认检测精度等。

另外，在为第二图像处理时序的创建的情况下，通过固定摄像机32来对被赋予在工件93的下表面中心的标记680进行摄像，进行规定的处理。

另外，在为第三图像处理时序的创建的情况下，通过固定摄像机32来对将已附于工件93的下表面的两个标记(未图示)例如标记680以规定间隔配置两个而成的物体(对象物)进行摄像，进行规定的处理。作为所述处理，可列举出：例如第三图像处理时序与固定摄像机32的校准结果的关联建立、检查等。

另外，作为检查的具体例，可列举出a点与b点之间的距离是否为规定阈值内的检查等。在这种情况下，两个标记680相当于所述a点与b点之间的距离是否为规定阈值内的检查中的a点和b点。在该检查中，根据固定摄像机32的校准结果和拍摄图像而测量a点与b点之间的距离，判断测量出的a点与b点之间的距离是否为规定阈值内。然后，如果测量出的a点与b点之间的距离为规定阈值内，则判断为“合格”，如果不是规定阈值内(如果是规定阈值以外)，则判断为不合格。

(图像处理时序的执行结果(检测结果)的反映)

通信部116接收从图像处理装置13中发送的图像处理时序的执行结果(检测结果)(步骤s628)，计算机11反映该图像处理时序的执行结果。

具体而言，首先，图像处理时序编辑部1115将使图像处理时序的执行结果发送的图像处理时序执行结果发送命令发送至图像处理装置13。在这种情况下，机器人控制装置12可以进行中继，还可以不进行中继。

接着，图像处理装置13将图像处理时序的执行结果发送至计算机11。在这种情况下，机器人控制装置12可以进行中继，还可以不进行中继。

接着，计算机11通过通信部116来接收图像处理时序的执行结果。然后，图像处理时序编辑部1115反映图像处理时序的执行结果。

即，图像处理时序编辑部1115进行关于图像处理时序的执行结果的显示等的输出命令(步骤s629)，显示控制部114使图像处理时序的执行结果显示于显示装置41(被反映至显示)。另外，图像处理时序的执行结果也被反映至属性等。作为图像处理时序的执行结果，可列举出例如检测出标记的图像坐标等。

需要注意的是，在图像处理时序的创建中，可以设置对移动式摄像机31、固定摄像机32等的畸变校正进行设定的窗口和对摄像时的照明条件进行设定的窗口。

接着，对使用了命令的工具设定、局部设定、校准以及图像处理时序的创建等处理进行说明。

首先，关于概要，使其对应于权利要求书而进行简单说明，在之后进行详细说明。

处理部110具有能够对驱动机器人2的控制程序进行编辑的控制程序编辑部1111。控制程序编辑部1111能够在控制程序之中插入调出已编辑的图像处理时序的命令(在本实施方式中命令的引数)。

由此，例如，能够在使机器人2作规定的动作来使其进行规定的作业的控制程序之中调出现有的(已编辑的)图像处理时序。因此，能够省去每次创建控制程序都创建图像处理时序的时间。

另外，控制系统10(控制装置)的机器人控制装置12具备能够执行对机器人2进行驱动的控制程序的控制程序执行部1211。控制程序执行部1211通过能设定与机器人2的坐标系不同的局部坐标系的命令来执行局部坐标系的设定。

由此，能够更迅速地进行局部坐标系的设定。另外，在定期重复执行校准或者在执行了校准之后多次重复根据该执行结果而修正包括局部坐标系的设定等的校准的各种设定的情况下，使用命令是特别有效的。这是因为，能够容易且迅速地进行基于执行结果的修正。

另外，控制程序执行部1211通过作为能够进行工具设定的命令的一例的“commandvdeftool”来执行该工具设定，其中，该工具设定求出安装于机器人2上的工具的偏移。

由此，能够更迅速地进行工具设定。另外，在定期重复执行校准或者多次重复在执行了校准之后根据该执行结果而修正包括工具设定等的校准的各种设定的情况下，使用命令是特别有效的。这是因为，能够容易且迅速地进行基于执行结果的修正。下面，具体进行说明。

＜使用了命令的处理＞

控制系统10能够进行使用了命令的处理来代替上面已述的使用了各种操作画面的显示处理。

命令包括用于执行目的的处理的动作命令。例如，作为命令，可列举出：用于使用图像处理时序的执行结果来进行工具设定(算出偏移)的工具设定用处理命令、用于使用图像处理时序的执行结果来进行局部设定的局部设定用处理命令、用于使用图像处理时序的执行结果来进行校准的校准用处理命令、用于使用图像处理时序的执行结果来使机械臂20驱动以使摄像部3的拍摄图像内的例如目标向规定的位置移动的命令等。

另外，命令具有例如指定参数的引数。

需要注意的是，以下，代表性地列举工具设定为例来说明，但对于局部设定、校准以及图像处理时序的创建也能够同样地进行。

(程序创建、输入)

用户使用命令来创建程序，使用输入装置42来输入至计算机11(边创建边输入)。计算机11的输入控制部115(受理部)受理从输入装置42中输入的程序，存储于存储部113中。需要注意的是，在程序的创建中包括重新创建程序的情况和改写或追加现有的程序的情况。

程序的一个例子如下述这样。另外，该程序能够进行与前面已述的工具设定同样的设定。

所述程序的“vdeftool1，vision_deftool_fixednocal，testvisseq，180，5”是命令(各引数为一个例子)。命令中的“vdeftool”是命令名。

另外，作为命令vdeftool中的引数(引数名)，例如，可列举出与前面已述的工具设定中的第一个工具设定画面71a、第二个工具设定画面(未图示)、第三个工具设定画面71b、第四个工具设定画面(未图示)、第五个工具设定画面71c中能够设定的参数同样的参数等。作为具体例，例如，可列举出：“toolnumber”、“tooldeftype”、“sequence”、“[finalangle]”、“[initialangle]”、“[targettolerance]”等。

“toolnumber”是保存工具设定结果的保存编号(工具编号)。作为具体例，为1～15。

另外，“tooldeftype”是工具类型。具体例子如下述这样。

vision_deftool_fixednocal：使用未进行校准的固定摄像机来进行工具设定。

vision_deftool_j4cam：算出设于第四手臂上的移动式摄像机的图像中心。

vision_deftool_j6cam：算出设于第六手臂上的移动式摄像机的图像中心。

另外，“sequence”是用于检测工具(对象)的图像处理时序。

另外，“[finalangle]”是旋转工具/摄像机工具的角度(最终旋转角度)。

另外，“[initialangle]”是暂时旋转工具设定时的工具/摄像机工具的角度(初始旋转角度)。

另外，“[targettolerance]”是视为图像处理时序的执行结果(检测结果)与对象位置已一致的像素距离(目标的允许量)。

(构建、发送项目)

构建已作成的程序(项目)而转换(编译)成在机器人控制装置12中能够解释的语言(数据列)。

在这种情况下，首先，若输入控制部115接受由用户进行的“构建”的操作指示，则计算机11的控制程序构建部1112构建程序而编译成在机器人控制装置12中能够解释的语言。

接着，计算机11将编译后的程序发送至机器人控制装置12。机器人控制装置12接收从计算机11中已发送的程序，存储于存储部123。

另外，计算机11将图像处理检测设定等必需的各信息发送至图像处理装置13。在这种情况下，机器人控制装置12可以进行中继，或者也可以不进行中继。图像处理装置13接收从计算机11中已发送的图像处理检测设定，存储于存储部133。

(工具设定处理的执行(程序的执行))

在使机器人视觉系统100进行工具设定的处理的情况下，用户进行对显示于显示装置41的规定的图标(未图示)的操作指示。

若输入控制部115接受由用户进行的“开始程序的主函数的选择、执行”的操作指示(工具设定的处理的执行命令)，则首先，计算机11将程序的执行处理的命令发送至机器人控制装置12。

接着，图像处理装置13接收程序的执行处理的命令(指示)。然后，图像处理装置13的控制程序执行部1211开始程序的主函数的执行处理。然后，若控制程序执行部1211发现commandvdeftool的执行处理，则将commandvdeftool的执行处理的命令(工具设定的处理的执行命令)与commandvdeftool的引数一起发送至计算机11。

接着，计算机11接收commandvdeftool的执行处理的命令，执行(开始)commandvdeftool的执行处理即工具设定的处理。需要注意的是，关于工具设定的处理的执行，由于与前面已述的[2b]同样，所以省略其说明。另外，关于工具设定结果的反映，由于与前面已述的[3b]同样，所以省略其说明。

通过使用这样的命令，能够容易且迅速地执行工具设定等各处理。

在使用前面已述的工具设定画面的工具设定中，在执行工具设定的处理的情况下，每次使五个工具设定画面依次显示于显示装置41而进行工具设定中的各种设定，之后，能够执行工具设定的处理，所以每次在准备上需要时间和劳力。与此相反，只要通过使用命令来一次设定完命令的引数，则从下次开始，就不需要其设定，因此，能够容易且迅速地执行工具设定的处理。

另外，例如在执行了工具设定的处理之后执行校准的情况下，通过使用命令，能够连续地自动执行工具设定的处理和校准，便利性较高。

另外，在变更工具设定中的各种设定的情况下，通过进行变更命令的所对应的引数的部分的简单操作，能够变更各种设定。

以上虽然列举工具设定为例而进行了说明，但对于局部设定、校准以及图像处理时序的创建等，也分别能够同样地通过命令来执行。

例如，在局部设定中，创建能够设定与机器人2的坐标系不同的局部坐标系的命令。进而，控制程序执行部1211通过该命令来执行局部坐标系的设定。需要注意的是，关于局部坐标系的设定(局部设定的处理的执行)，由于与前面已述的[2a]同样，所以省略其说明。另外，关于局部设定结果的反映，由于与前面已述的[3a]同样，所以分别省略其说明。

以上说明过的机器人视觉系统100具备：作为“控制装置”的控制系统10以及由控制系统10控制的机器人2和摄像部3。根据这样的机器人视觉系统100，通过具备上述的控制系统10，从而机器人2能够根据来自摄像部3的拍摄图像(图像数据)而准确地进行校准所涉及的动作。因此，能够提高校准的精度。其结果，能够提高机器人2的作业的精度。

另外，机器人2通过作为“控制装置”的控制系统10来控制。因此，在控制系统10的控制之下，机器人2能够准确地进行校准所涉及的动作。

＜第2实施方式＞

图56和图57分别是示出本发明的第二实施方式所涉及的机器人视觉系统所具有的机器人的一个例子、安装于机械臂的工具的一个例子以及示教用工具的一个例子的立体图。图58是示出本发明的第二实施方式所涉及的机器人视觉系统的工具设定的流程的流程图。图59～图70分别是本发明的第二实施方式所涉及的机器人视觉系统的姿势设定用引导画面。图71～图76分别是用于说明本发明的第二实施方式所涉及的机器人视觉系统的工具设定的图。

需要注意的是，以下，为便于说明，将图56～图76中的上侧称为“上”，将下侧称为“下”。另外，在图71～图76中，省略工具的基端侧的部分的图示。

下面，对第二实施方式进行说明，但以与前面已述的实施方式的不同点为中心来说明，同样的事项省略其说明。另外，在本实施方式中，列举使用了图56所示的机器人2a作为机器人2的情况为例来进行说明。

首先，使其对应于技术方案的描述来对控制系统10(控制装置)、机器人2a以及机器人视觉系统100(机器人系统)的概要进行说明，在之后进行具体说明。

控制系统10(控制装置)是能够控制机器人2a的驱动的控制装置。该控制系统10具备：计算机11，其具有使姿势设定用引导画面81a～81k显示于显示装置41(显示部)的显示控制部114，该姿势设定用引导画面指导用于求出作为设于机器人2a的工具的一例的工具37、38的姿势偏移的信息的输入；机器人控制装置12(控制部)，根据工具37、38的姿势偏移而控制机器人2a的驱动；以及图像处理装置13(参照图1)。所谓工具37、38的姿势偏移是指实际的工具37、38的姿势相对于预先已设定的基准姿势的偏差量。

根据这样的控制系统10，能够容易且迅速地进行用于求出工具37、38的姿势偏移的信息的输入操作。另外，通过求出工具37、38的姿势偏移，能够根据工具37、38相对于机器人2a所具有的机械臂20的姿势而容易且准确地将工具37、38设为所希望的姿势。

另外，用于求出工具37、38的姿势偏移的信息包括工具37、38的形状。由此，能够准确地求出工具37、38的姿势偏移。需要注意的是，用于求出工具37、38的姿势偏移的信息可以不包括工具37、38的形状。

另外，在本实施方式中，工具37的形状是棒状，工具38的形状是平面状，构成为能够设定该工具37、38的姿势偏移。但是，也可以构成为能够设定工具37和工具38中的只有一个工具的姿势偏移。

即，工具的形状包括棒状和平面状至少一方。由此，能够在棒状的工具37和平面状的工具38至少一方上准确地求出姿势偏移。需要注意的是，工具的形状可以是棒状和平面状以外的形状。

另外，机器人2a设有作为工具的一例的工具37、38，通过控制系统10(控制装置)来控制。

根据这样的机器人2a，能够在控制系统10的控制之下根据工具37、38相对于机器人2a所具有的机械臂20的姿势而容易且准确地将工具37、38设为所希望的姿势。

另外，机器人视觉系统100(机器人系统)具备：控制系统10(控制装置)、多个摄像部3、显示装置41(显示部)、输入装置42(输入部)、以及设有作为工具的一例的工具37、38并通过控制系统10(控制装置)来控制的机器人2a(参照图1、图56、图57)。

根据这样的机器人视觉系统100，能够容易且迅速地进行用于求出工具37、38的姿势偏移的信息的输入操作。另外，通过求出工具37、38的姿势偏移，能够根据工具37、38相对于机器人2a所具有的机械臂20的姿势而容易且准确地将工具37、38设为所希望的姿势。下面，具体进行说明。

第二实施方式的机器人视觉系统100(机器人系统)(参照图1)构成为在工具设定中能够求出、设定工具(例如图56所示的工具37，图57所示的工具38)相对于机械臂20的位置偏移和姿势偏移(姿势相对于基准姿势的偏移)的各个。

首先，对工具的位置偏移进行说明。

所谓工具的位置偏移是指实际的工具位置相对于预先已设定的基准位置(基准点)的偏差量。

工具的位置偏移的基准点(原点)即工具的位置偏移为“x轴方向的位置(x)＝0、y轴方向的位置(y)＝0、z轴方向的位置(z)＝0”的点不作特别限定，能够根据诸多条件而适当设定，而在本实施方式中，设定为在机械臂20(第六臂26)的前端且在转动轴o6上的点。因此，在本实施方式中，位置的偏移是设于工具上的位置基准点相对于在机械臂20的前端且在转动轴o6上的点(基准点)的偏差量。工具的位置基准点不作特别限定，能够根据诸多条件而适当设定，而在本实施方式中，设定于工具37、38的前端。需要说明的是，在为平面状的工具38的情况下，该工具38的位置基准点设定于工具38的前端面中的规定的位置(点)。

接着，对工具的姿势偏移进行说明。

所谓工具的姿势偏移是指实际的工具姿势相对于预先已设定的基准姿势(基准点)的偏差量。

工具的姿势偏移的基准点(基准姿势)即工具的姿势偏移为“绕z轴的转动角度(u)＝0、绕y轴的转动角度(v)＝0、绕x轴的转动角度(w)＝0”的基准姿势不作特别限定，能够根据诸多条件而适当设定。在本实施方式中，棒状的工具37的基准姿势设定为工具37的中心轴与转动轴o6一致的规定的姿势，平面状的工具38的基准姿势设定为通过工具38的前端面382的中心的法线与转动轴o6一致的规定的姿势。

需要注意的是，在本实施方式中，虽然能够设定工具的位置偏移和姿势偏移，但也可以构成为能够只设定姿势偏移。

接下来，对工具进行说明。

所谓工具，正如在第一实施方式中也已说明的那样，只要是设于机械臂20(机器人2a)的物体，则可以为任何物体。另外，工具可以是机器人2a的构成要素，还可以不是机器人2a的构成要素而是附加于机器人2a的部分。作为工具的具体例，例如，可列举出：手部270等(参照图2)末端执行器、摄像部3(参照图2)、通过末端执行器保持(支撑)的对象物(工件)等。

另外，工具可以相对于机械臂20(机器人2a)能装卸，还可以不能装卸。另外，所述保持(支撑)包括例如握持、吸附等。

因此，所谓“设置于机械臂20(机器人2a)的工具”中的“设置”，例如在工具为手部270(参照图2)等末端执行器的情况下与“安装(装上)”同义，另外，在工具为通过手部270(参照图2)来握持的未图示的对象物的情况下与“保持(支撑)”同义。

另外，工具的形状不作特别限定，在本实施方式中，列举工具的形状为棒状的情况和平面状的情况为例来进行说明。具体而言，在本实施方式中，作为棒状的工具而列举图56所示的工具37为例、作为平面状的工具而列举图57所示的工具38为例来进行说明。

另外，所谓工具的形状并非只意味着工具的整体形状，工具的形状也包括工具的一部分的形状。即，所谓工具的形状为棒状是指工具具有棒状的部分(例如工具的主要部分为棒状)。另外，所谓工具的形状为平面状是指工具具有平面状的部分(例如平板状等工具的主要部分具有平面)。

如图56和图71所示，在本实施方式中，工具37是末端执行器，具有构成棒状的棒状部371。该棒状部371的前端372较尖。另外，与棒状部371的长度方向垂直的截面上的形状构成正方形。另外，棒状部371在其中途弯曲。该工具37以能装卸的方式安装于机器人2a的力检测部290的前端。另外，可以省略力检测部290，工具37以能装卸的方式安装于机械臂20(第六臂26)的前端。

需要注意的是，棒状的工具不限定于该工具37，例如，前端372可以不尖，另外，棒状部371可以在其中途不弯曲，另外，与棒状部371的长度方向垂直的截面上的形状不限定于正方形，例如，可列举出：长方形等其他四边形、五边形或六边形等多边形、圆形、椭圆形等。

另外，如图57和图74所示，在本实施方式中，工具38是末端执行器，具有构成板状的板状部381。该板状部381的前端面382是平面。另外，板状部381(前端面382)的形状构成了正方形。该工具38以能装卸的方式安装于机器人2a的力检测部290的前端。另外，可以省略力检测部290，工具38以能装卸的方式安装于机械臂20(第六臂26)的前端。

需要注意的是，平面状的工具不限定于该工具38，例如，板状部381(前端面382)的形状不限定于正方形，例如，可列举出：长方形等其他四边形、五边形或六边形等多边形、圆形、椭圆形等。

接下来，对示教用工具36进行说明。

如图56和图57所示，示教用工具36设置于作业台90上的规定的位置。示教用工具36只要是能够识别特定点(一点)的则不作特别限定，而在本实施方式中，构成了呈棒状、前端361较尖的形状。该示教用工具36的前端361作为特定点来利用。所谓特定点就是在求出工具37、38的姿势偏移时使用的、位置为已知的点。需要说明的是，也可以代替示教用工具36，例如为在作业台90上的规定的位置设置表示特定点的“点”等标记而成的结构。

接下来，根据图56～图76来说明在设定工具37、38相对于机械臂20的姿势偏移的情况下的用户的操作程序和机器人视觉系统100的动作。

若计算机11的输入控制部115(受理部)接受由用户进行的规定的操作指示，则控制部111开始使多个姿势设定用引导画面81(作为子窗口的指示画面)以与用户对话的形式显示的姿势设定用引导画面群(画面群)的显示处理。

在这种情况下，姿势设定用引导画面81c、81d、81e依次指导使工具37接触于作为特定点的一例的示教用工具36的前端361的部位。由此，能够容易且准确地进行用于求出工具37、38的姿势偏移的操作。需要注意的是，姿势设定用引导画面不限定于依次指导使工具37接触的部位的形式，可以是其他形式。下面，具体进行说明。

首先，图像处理时序编辑部1115进行图59所示的第一个姿势设定用引导画面81a(姿势设定用引导画面81)的输出指示(命令)(步骤s711)，显示控制部114在图17所示的主窗口50中使图59所示的第一个姿势设定用引导画面81a显示于显示装置41(显示部)。

第一个姿势设定用引导画面81a是指导步骤1中的输入的画面，在该姿势设定用引导画面81a上显示图59所示的操作说明(注释)。

另外，在姿势设定用引导画面81a上显示：“bartype”和“planetype”两个单选按钮811、显示为“取消”的按钮8101(图标)、显示为“＜返回”的按钮8102(图标)、显示为“下一步＞”的按钮8103(图标)、显示为“机器人管理器(工具向导/jog&teach)”的按钮8104(图标)、显示为“模拟器”的按钮8105(图标)、显示为“完成”的按钮8106(图标)。在该姿势设定用引导画面81a上，能够对按钮8101～按钮8106中的按钮8101、8103、8105进行操作指示(选择)。

另外，“bartype”和“planetype”两个单选按钮811是根据工具的形状来选择设定方法(设定模式)的单选按钮。在为关于棒状的工具37的工具设定的情况下选择“bartype”，在为关于平面状的工具38的工具设定的情况下选择“planetype”。

首先，对关于棒状的工具37的工具设定进行说明。

用户在姿势设定用引导画面81a上用单选按钮811选择“bartype”，进行对按钮8103的操作指示。若输入控制部115接受由用户进行的对按钮8103的操作指示即工具设定的方法的选择(是“bartype”)(步骤s712)，则图像处理时序编辑部1115进行图60所示的第二个姿势设定用引导画面81b的输出指示(步骤s713)，显示控制部114使图60所示的第二个姿势设定用引导画面81b替换姿势设定用引导画面81a而显示于显示装置41。

第二个姿势设定用引导画面81b是指导步骤2中的输入的画面，在该姿势设定用引导画面81b上显示图60所示的操作说明。

另外，在姿势设定用引导画面81b上显示用于选择工具编号的下拉列表812、图像影像显示部813、以及按钮8101～按钮8106。在该姿势设定用引导画面81b上，能够对按钮8101～按钮8106中的按钮8101～按钮8105进行操作指示。另外，在图像影像显示部813上显示图60所示的图像。用户通过这个显示于图像影像显示部813上的图像而能够容易地掌握在步骤2中可以进行怎样的输入操作。

另外，按钮8104是调出对用于求出工具37的位置偏移的信息的输入进行指导的位置设定用引导画面(未图示)的按钮(调出部)。

像这样，显示控制部114(计算机11)使调出对用于求出工具37的位置偏移的信息的输入进行指导的位置设定用引导画面的按钮8104(调出部)显示于姿势设定用引导画面81b之中。所谓工具37的位置偏移是指实际的工具37的位置相对于预先已设定的基准位置的偏差量。由此，用户能够容易且迅速地进行用于求出工具37的位置偏移的信息的输入操作。需要注意的是，可以构成为调出位置设定用引导画面的按钮8104显示于姿势设定用引导画面81a～姿势设定用引导画面81f以外的画面中。

在已经设定有工具37的位置偏移的情况下，用户在下拉列表812中选择该已设定的工具编号，并按下按钮8103。

另外，在尚未设定工具37的位置偏移的情况下，用户按下按钮8104，设定工具37的位置偏移。

若输入控制部115接受由用户进行的对按钮8104的操作指示，则控制部111开始使多个位置设定用引导画面(作为子窗口的指示画面)以与用户对话的形式显示的位置设定用引导画面群(画面群)的显示处理。省略其详细的说明，作为所述多个位置设定用引导画面中的一个位置设定用引导画面的一例，包括例如图17所示的点动动作组521、图18所示的点动面板54等。另外，作为求出工具37的位置偏移的方法，不作特别限定，例如，在使工具37的前端372已位于示教用工具36的前端361的状态下(参照图71)变更工具37的姿势，例如，将工具37的姿势设为三个不同的姿势，根据在各个姿势下的信息来求出工具37的位置偏移。

在以下的说明中，列举已经设定有工具37的位置偏移的情况为例来继续说明。

用户在姿势设定用引导画面81b中进行了规定的操作之后进行对按钮8103的操作指示。若输入控制部115接受由用户进行的对按钮8103的操作指示即工具编号的选择等(步骤s714)，则图像处理时序编辑部1115进行图61所示的第三个姿势设定用引导画面81c的输出指示(步骤s715)，显示控制部114使图61所示的第三个姿势设定用引导画面81c替换姿势设定用引导画面81b而显示于显示装置41。

第三个姿势设定用引导画面81c是指导步骤3中的输入的画面，在该姿势设定用引导画面81c上显示图61所示的操作说明。

另外，在姿势设定用引导画面81c上显示按钮8101～按钮8106。在该姿势设定用引导画面81c上，能够对按钮8101～按钮8106中的按钮8101～按钮8105进行操作指示。另外，在图像影像显示部813上显示图61所示的图像。用户通过这个显示于图像影像显示部813上的图像而能够容易地掌握在步骤3中可以进行怎样的输入操作。

如图71所示，用户使机器人2a动作，使工具37的前端372移动至示教用工具36的前端361。在这种情况下，可以使转动轴o6(参照图56)的轴向与垂直方向一致，还可以使它们不一致，而在本实施方式中使它们一致。

用户在姿势设定用引导画面81c中进行了规定的操作之后进行对按钮8103的操作指示。若输入控制部115接受由用户进行的对按钮8103的操作指示即工具37的前端372(第一点)移动至示教用工具36的前端361的动作已完成(步骤s716)，则图像处理时序编辑部1115进行图62所示的第四个姿势设定用引导画面81d的输出指示(步骤s717)，显示控制部114使图62所示的第四个姿势设定用引导画面81d替换姿势设定用引导画面81c而显示于显示装置41。

第四个姿势设定用引导画面81d是指导步骤4中的输入的画面，在该姿势设定用引导画面81d上显示图62所示的操作说明。

另外，在姿势设定用引导画面81d上显示按钮8101～按钮8106。在该姿势设定用引导画面81d上，能够对按钮8101～按钮8106中的按钮8101～按钮8105进行操作指示。另外，在图像影像显示部813上显示图62所示的图像。用户通过该显示于图像影像显示部813上的图像而能够容易地掌握在步骤4中可以进行怎样的输入操作。

如图72所示，用户使机器人2a动作，使工具37的侧面的前端侧的点373移动至示教用工具36的前端361。

用户在姿势设定用引导画面81d中进行了规定的操作之后进行对按钮8103的操作指示。若输入控制部115接受由用户进行的对按钮8103的操作指示即工具37的侧面的前端侧的点373(第二点)移动至示教用工具36的前端361的动作已完成(步骤s718)，则图像处理时序编辑部1115进行图63所示的第五个姿势设定用引导画面81e的输出指示(步骤s719)，显示控制部114使图63所示的第五个姿势设定用引导画面81e替换姿势设定用引导画面81d而显示于显示装置41。

第五个姿势设定用引导画面81e是指导步骤5中的输入的画面，在该姿势设定用引导画面81e上显示图63所示的操作说明。

另外，在姿势设定用引导画面81e上显示按钮8101～按钮8106。在该姿势设定用引导画面81e上，能够对按钮8101～按钮8106中的按钮8101～按钮8105进行操作指示。另外，在图像影像显示部813上显示图63所示的图像。用户通过该显示于图像影像显示部813上的图像而能够容易地掌握在步骤5中可以进行怎样的输入操作。

如图73所示，用户使机器人2a动作，使工具37的侧面的基端侧的点374移动至示教用工具36的前端361。点374是与点373不同的点，在本实施方式中，是与点373所位于的边同一边上的点。

用户在姿势设定用引导画面81e中进行了规定的操作之后进行对按钮8103的操作指示。若输入控制部115接受由用户进行的对按钮8103的操作指示即工具37的侧面的基端侧(根底侧)的点374(第三点)移动至示教用工具36的前端361的动作已完成(步骤s720)，则控制部111根据至此为止已输入的各信息而求出工具37的姿势偏移，图像处理时序编辑部1115进行图64所示的第六个姿势设定用引导画面81f的输出指示(步骤s721)，显示控制部114使图64所示的第六个姿势设定用引导画面81f替换姿势设定用引导画面81e而显示于显示装置41。

第六个姿势设定用引导画面81f是指导确认用步骤(最终步骤)中的输入的画面，在该姿势设定用引导画面81f上显示图64所示的工具37的姿势偏移设定的设定前和设定后的信息。即，该例子显示：在工具37的姿势偏移的设定前(现状)，工具37的偏移的设定值(x、y、z、u、v、w)为(-25.080，75.490，84.750，0.000，0.000，0.000)，在工具37的姿势偏移的设定后，工具37的偏移的设定值(x、y、z、u、v、w)被变更为(-25.080，75.490，84.750，-74.785，-28.441，1.535)。

另外，若设定该工具37的姿势偏移，则设定图73所示的作为具有彼此正交的x轴、y轴以及z轴的三维正交坐标系的工具坐标系。

在这种情况下，工具坐标系的原点是工具37的前端372。另外，x轴是与通过点373和点374的直线375正交并通过工具37的前端372的轴。另外，z轴是与直线375平行或一致(在图37所示的例子中平行)并通过工具37的前端372的轴。另外，y轴是与x轴及z轴正交并在从原点朝z轴的正方向观察时使x轴沿顺时针旋转了90°的轴。

另外，在姿势设定用引导画面81f上显示按钮8101～按钮8106。在该姿势设定用引导画面81f上，能够对按钮8101～按钮8106中的按钮8101、8102、8105、8106进行操作指示。

用户在姿势设定用引导画面81f上确认工具设定的设定前和设定后的信息，进行对按钮8106的操作指示。若输入控制部115接受由用户进行的对按钮8106的操作指示即设定的指示(步骤s722)，控制部111进行工具设定(步骤s723)。通过以上，设定关于工具37的姿势偏移。

接着，对关于平面状的工具38的工具设定进行说明。需要注意的是，以与对所述工具37的工具设定的不同点为中心来说明，同样的事项省略其说明。

用户在图65所示的第一个姿势设定用引导画面81a上用单选按钮811选择“planetype”，进行对按钮8103的操作指示。若输入控制部115接受由用户进行的对按钮8103的操作指示即工具设定的方法的选择(是“planetype”)(步骤s712)，则图像处理时序编辑部1115进行图66所示的第二个姿势设定用引导画面81g的输出指示(步骤s713)，显示控制部114使图66所示的第二个姿势设定用引导画面81g替换姿势设定用引导画面81a而显示于显示装置41。

第二个姿势设定用引导画面81g是指导步骤2中的输入的画面，在该姿势设定用引导画面81g上显示图66所示的操作说明。

另外，在姿势设定用引导画面81g上显示用于选择工具编号的下拉列表812、图像影像显示部813、以及按钮8101～按钮8106。在该姿势设定用引导画面81g上，能够对按钮8101～按钮8106中的按钮8101～按钮8105进行操作指示。另外，在图像影像显示部813上显示图66所示的图像。用户通过该显示于图像影像显示部813上的图像而能够容易地掌握在步骤2中可以进行怎样的输入操作。

在已经设定有工具38的位置偏移的情况下，用户在下拉列表812中选择该已设定的工具编号，并按下按钮8103。

另外，在尚未设定工具38的位置偏移的情况下，用户按下按钮8104，设定工具38的位置偏移。

在以下的说明中，列举已经设定有工具38的位置偏移的情况为例来继续说明。

用户在姿势设定用引导画面81g中进行了规定的操作之后进行对按钮8103的操作指示。若输入控制部115接受由用户进行的对按钮8103的操作指示即工具编号的选择等(步骤s714)，则图像处理时序编辑部1115进行图67所示的第三个姿势设定用引导画面81h的输出指示(步骤s715)，显示控制部114使图67所示的第三个姿势设定用引导画面81h替换姿势设定用引导画面81g而显示于显示装置41。

第三个姿势设定用引导画面81h是指导步骤3中的输入的画面，在该姿势设定用引导画面81h上显示图67所示的操作说明。

另外，在姿势设定用引导画面81h上显示按钮8101～按钮8106。在该姿势设定用引导画面81h上，能够对按钮8101～按钮8106中的按钮8101～按钮8105进行操作指示。另外，在图像影像显示部813上显示图67所示的图像。用户通过这个显示于图像影像显示部813的图像而能够容易地掌握在步骤3中可以进行怎样的输入操作。

如图74所示，用户使机器人2a动作，使工具38的前端面382的中央的点383移动至示教用工具36的前端361。在这种情况下，可以使转动轴o6(参照图57)的轴向与垂直方向一致，还可以使它们不一致，而在本实施方式中使它们一致。

用户在姿势设定用引导画面81h中进行了规定的操作之后进行对按钮8103的操作指示。若输入控制部115接受由用户进行的对按钮8103的操作指示即工具38的前端面382的中央的点383(第一点)移动至示教用工具36的前端361的动作已完成(步骤s716)，则图像处理时序编辑部1115进行图68所示的第四个姿势设定用引导画面81i的输出指示(步骤s717)，显示控制部114使图68所示的第四个姿势设定用引导画面81i替换姿势设定用引导画面81h而显示于显示装置41。

第四个姿势设定用引导画面81i是指导步骤4中的输入的画面，在该姿势设定用引导画面81i上显示图68所示的操作说明。

另外，在姿势设定用引导画面81i上显示按钮8101～按钮8106。在该姿势设定用引导画面81i上，能够对按钮8101～按钮8106中的按钮8101～按钮8105进行操作指示。另外，在图像影像显示部813上显示图68所示的图像。用户通过这个显示于图像影像显示部813上的图像而能够容易地掌握在步骤4中可以进行怎样的输入操作。

如图75所示，用户使机器人2a动作，使与工具38的前端面382的中央的点383不同的点384移动至示教用工具36的前端361。点384的位置只要与点383的位置不同则不作特别限定，在本实施方式中，是前端面382的规定的边(图75中的在上下方向上延伸的边)的中央且从与所述边正交的边(图75中的在左右方向上延伸的边)的中央离开的位置。

用户在姿势设定用引导画面81i中进行了规定的操作之后进行对按钮8103的操作指示。若输入控制部115接受由用户进行的对按钮8103的操作指示即工具38的前端面382的点384(第二点)移动至示教用工具36的前端361的动作已完成(步骤s718)，则图像处理时序编辑部1115进行图69所示的第五个姿势设定用引导画面81j的输出指示(步骤s719)，显示控制部114使图69所示的第五个姿势设定用引导画面81j替换姿势设定用引导画面81i而显示于显示装置41。

第五个姿势设定用引导画面81j是指导步骤5中的输入的画面，在该姿势设定用引导画面81j上显示图69所示的操作说明。

另外，在姿势设定用引导画面81j上显示按钮8101～按钮8106。在该姿势设定用引导画面81j上，能够对按钮8101～按钮8106中的按钮8101～按钮8105进行操作指示。另外，在图像影像显示部813上显示图69所示的图像。用户通过这个显示于图像影像显示部813上的图像而能够容易地掌握在步骤5中可以进行怎样的输入操作。

如图76所示，用户使机器人2a动作，使与工具38的前端面382的中央的点383和点384不同的点385移动至示教用工具36的前端361。点385的位置只要是与点383和点384的位置的各个不同且不在通过点383和点384的直线上的位置则不作特别限定，可适当设定。

用户在姿势设定用引导画面81j中进行了规定的操作之后进行对按钮8103的操作指示。若输入控制部115接受由用户进行的对按钮8103的操作指示即工具38的前端面382的点385(第三点)移动至示教用工具36的前端361的动作已完成(步骤s720)，则控制部111根据至此为止已输入的各信息而求出工具37的姿势偏移，图像处理时序编辑部1115进行图70所示的第六个姿势设定用引导画面81k的输出指示(步骤s721)，显示控制部114使图70所示的第六个姿势设定用引导画面81k替换姿势设定用引导画面81j而显示于显示装置41。

第六个姿势设定用引导画面81k是指导确认用步骤(最终步骤)中的输入的画面，在该姿势设定用引导画面81k上显示图70所示的工具38的姿势偏移设定的设定前和设定后的信息。即，该例子显示：在工具38的姿势偏移的设定前(现状)，工具38的偏移的设定值(x、y、z、u、v、w)为(25.720，-65.150，80.780，0.000，0.000，0.000)；在工具38的姿势偏移的设定后，工具38的偏移的设定值(x、y、z、u、v、w)被变更为(25.720，-65.150，80.780，116.442，-26.670，-14.283)。

另外，若设定该工具38的姿势偏移，则设定图76所示的作为具有彼此正交的x轴、y轴以及z轴的三维正交坐标系的工具坐标系。

在这种情况下，工具坐标系的原点是工具38的前端面382的中央的点383。另外，x轴是通过点383和点384的轴。另外，z轴是与前端面382垂直并通过点383的轴。另外，y轴是与x轴及z轴正交并在从原点朝z轴的正方向观察时使x轴沿顺时针旋转了90°的轴。

另外，在姿势设定用引导画面81k上显示按钮8101～按钮8106。在该姿势设定用引导画面81k上，能够对按钮8101～按钮8106中的按钮8101、8102、8105、8106进行操作指示。

用户在姿势设定用引导画面81k上确认工具设定的设定前和设定后的信息，进行对按钮8106的操作指示。若输入控制部115接受由用户进行的对按钮8106的操作指示即设定的指示(步骤s722)，则控制部111进行工具设定(步骤s723)。通过以上，设定关于工具38的姿势偏移。

通过以上那样的第二实施方式，也能够发挥与前面已述的实施方式同样的效果。

另外，能够容易且迅速地进行用于求出工具37、38的姿势偏移的信息的输入操作。

另外，由于不仅求出工具37、38的位置偏移，而且求出工具37、38的姿势偏移，所以能够根据工具相对于机械臂20的姿势而容易且准确地将工具37、38设为所希望的姿势。

需要说明的是，在本实施方式中，关于棒状的工具37的姿势偏移的设定，对工具37的前端372与工具37的侧面的前端侧的点373不同且工具37的前端372、工具37的侧面的前端侧的点373以及工具37的侧面的基端侧的点374不位于同一直线上的情况进行了说明。

但是，即使在这种结构以外的情况下，也能够设定棒状的工具的姿势偏移，下面，对棒状的工具的姿势偏移的设定说明其他结构例。

(结构1)

在工具的前端与工具的侧面的前端侧的点一致的情况和工具的前端、工具的侧面的前端侧的点以及工具的侧面的基端侧的点位于同一直线上的情况下，将工具的姿势偏移u、v、w中的任一个设定为“0”。

(结构2)

在工具的前端与工具的侧面的前端侧的点一致的情况和工具的前端、工具的侧面的前端侧的点以及工具的侧面的基端侧的点位于同一直线上的情况下，使用户能够将工具的姿势偏移u、v、w中的任一个设定为任意的值。

以上，虽然根据图示的实施方式而说明了本发明的控制装置、机器人以及机器人系统，但本发明并非限定于此，各部的结构能够替换成具有同样功能的任意的结构。另外，可以追加其他任意的构成物。另外，本发明可以是组合了所述各实施方式中的任意的两个以上的结构(特征)的发明。