示教操作盘以及机器人控制系统的制作方法

本发明涉及机器人的示教操作盘以及机器人控制系统。

背景技术：

在工业用机器人的使用环境下，因夹具、工件的误差、生产线与机器人的位置关系的偏离等因素，有在机器人的加工位置、工作轨迹中产生距预先离线作成的位置偏离的情况，因而在使用示教操作盘的现场需要进行修正作业。作为用于减少这样的动作示教的操作中的操作人员的负担的技术，公知一种将操作人员的身体坐标系中的动作指示变换为规定机器人的动作的坐标系的技术(例如参照日本特开2009-119579号公报)。

技术实现要素：

然而，在生产线的现场，有在照明变暗的昏暗的环境下使用机器人的情况，在这样的现场中操作人员一边目视确认机器人的加工位置、动作轨迹一边使用示教操作盘进行修正指示，这对操作人员而言，负担变大且作业需要时间。并且，例如，根据工件，有机器人的加工位置处于若操作人员不窥视则无法目视的部位的情况。对操作人员而言，操作人员在这样的状况下一边目视确认加工位置一边使用示教操作盘进行修正指示的话，负担较大。在这些场面中，都期望减少确认、修正指示的作业的负担来提高作业效率。

本公开的一个方案是一种进行机器人的示教的示教操作盘，具备：操作部，其配置于上述示教操作盘的第一面且用于进行操作输入；显示部，其配置于上述第一面；以及摄像机，其配置于上述示教操作盘的与上述第一面相反侧的第二面。在该结构中，在显示部显示摄像机所拍摄到的图像。

并且，本公开的其它方案是一种机器人控制系统，具备：上述示教操作盘；机器人控制装置，其与示教操作盘连接；以及机器人，其与机器人控制装置连接且在机器人控制装置的控制下动作。

附图说明

通过与附图关联的以下的实施方式的说明，本发明的目的、特征以及优点会进一步变得清楚。这些附图中，

图1是一个实施方式的示教操作盘1的主视图。

图2是从侧面侧观察图1的示教操作盘的情况下的示意图。

图3是表示机器人控制系统的整体结构的框图。

图4是示出图1的示教操作盘的硬件结构的一个例子的图。

图5是表示进行点焊的打点修正的情况下的动作的流程图。

图6是示出对操作人员的打点确认、修正的作业进行辅助的图像的第一例的图。

图7是示出对操作人员的打点确认、修正的作业进行辅助的图像的第二例的图。

图8是表示在示教操作盘的前面配置有摄像机的结构例的图。

图9是表示在示教操作盘设有摄像机接口、并装配有外部摄像机的情况下的结构的参考图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。所有附图中，对对应的结构要素标注共同的符号。为便于理解，这些附图中适当地变更比例尺。并且，附图所示的方式是用于实施本发明的一个例子，本发明不限定于图示的方式。

图1是一个实施方式的示教操作盘1的主视图。如图1所示，示教操作盘1具有操作人员用于进行各种操作输入的操作部10和能够进行图形显示的液晶显示装置(lcd)20。操作人员能够通过操作操作部10来进行示教点的指定等各种操作输入。当将设有操作部10以及lcd20的面定义为前面时，在本实施方式的示教操作盘1的背面侧具有摄像机30。此外，摄像机30也可以构成为具有照明被拍摄体的照明功能以及变焦功能。

图2是从侧面侧观察示教操作盘1的情况下的示意图，示出配置于背面侧的摄像机30的位置。如图2所示，摄像机30能够拍摄示教操作盘1的背面侧的被拍摄体s。在lcd20显示摄像机30所拍摄到的图像。摄像机30配置于示教操作盘1的背面上的上侧的位置。由于操作部10配置于示教操作盘1的前面中的下侧，所以在操作人员用手把持示教操作盘1进行各种操作输入时，摄像机30的视野不会被操作人员的手遮挡。并且，由于摄像机30配置于lcd20的正背面，所以能够使摄像机30的视场与操作人员的视场大致一致，从而成为对操作人员而言能够提高便利性的结构。

示教操作盘1的代表性的使用例是汽车生产线中的点焊机器人的打点修正的作业。在汽车生产线中，由于点焊机器人通常在照明变暗的环境下使用，所以在点焊机器人的打点修正的作业中，操作人员被迫在昏暗的环境下进行作业。现今，这样的环境下的点焊机器人的打点修正的作业是指操作人员直接目视确认打点并输入修正指示。与此相对，通过使用本实施方式的示教操作盘1，操作人员能够将工件的打点附近作为容易识别的图像而显示于lcd20，并在此基础上进行打点是否正确的确认，因而能够减少操作人员的负担，并且能够进一步可靠地进行打点的确认以及修正。点焊的部位位于工件中的人的头部难以进入的部位的情况也不少，但根据本实施方式，在这样的情况下，操作人员也能够用手把持示教操作盘1使其进入人的头部难以进入的场所，并显示打点附近的图像，从而能够可靠地进行打点的确认。

图3是表示进行在上述的生产线中使用的点焊机器人等的控制的机器人控制系统100的整体结构的框图。如图3所示，机器人控制系统100成为在机器人控制装置50连接有机器人70和示教操作盘1的结构。在机器人控制装置50中，在存储装置内存储有控制机器人70的动作的机器人程序、工件的形状数据等各种数据，通过执行该机器人程序来进行机器人70的控制。并且，使用示教操作盘1输入的打点位置等各种动作示教数据被输送至机器人控制装置50侧而反映在机器人70的控制中。此外，机器人控制装置50也可以由具有cpu、rom、ram、硬盘等存储装置、通信接口等的计算机构成。

图4是示出示教操作盘1的硬件结构的一个例子的图。如图4所示，示教操作盘1具备cpu11、rom12、ram13、闪存14、用于装配ic卡15a的pcmcia(personalcomputermemorycardinternationalassociation)规格的pcmcia插口15、液晶显示装置(lcd)接口16、触摸面板接口17、用于与机器人控制装置50连接的通信接口18、以及操作部接口19，上述结构要素分别经由总线21连接。示教操作盘1还具备与lcd接口16连接的lcd20、装配于lcd20的显示面且与触摸面板接口17连接的触摸面板20a、以及与操作部接口19连接的操作部10。

另外，在本实施方式的示教操作盘1中，在总线21连接有摄像机接口31，并在该摄像机接口31连接有摄像机30。摄像机30具有摄像机控制部32、带变焦功能的拍摄透镜33、拍摄元件34、以及照明装置35(例如，led灯)。拍摄透镜33和拍摄元件34连接于摄像机控制部32，并由摄像机控制部32进行驱动控制。摄像机控制部32通过驱动控制拍摄透镜33和拍摄元件34，来执行自动调焦、变焦、实时影像的获取、静止画获取等各种动作。在该结构中，操作人员通过操作操作部10，来将操作输入了的针对摄像机30的各种操作命令(摄像机30的起动、静止画的获取、变焦等)经由cpu11输入至摄像机控制部32，并执行与操作命令对应的动作。

接下来，参照图5，说明在机器人控制系统100中使用焊接机器人作为机器人70的情况下用于进行点焊的打点修正的动作流程的例子。图5示出点焊的打点修正的动作流程。例如，若以汽车的生产线为例，则在新的车型在流水线上运行的情况下，因各种夹具、工件的误差、生产线与机器人的位置关系的因素，产生进行打点、姿势的示教修正的需要。并且，即使在因焊接机器人的维护而更换马达、减速机后的情况下，伴随机器人的原点位置的偏差等，从而产生进行打点、姿势的示教修正的需要。图5的打点修正处理在这样的情况下执行。

首先，在步骤s1中，基于工件的模型数据等并通过模拟来作成包括打点、工作轨迹的数据在内的程序，并将该程序下载至机器人控制装置50。由此，机器人70能够根据下载的程序来动作。接下来，操作人员操作示教操作盘1，使机器人70以极低速度动作，使机器人70的点焊枪移动至打点位置，确认打点、关闭点焊枪前的姿势是否正确，并在需要时使用示教操作盘1来进行打点位置、姿势的调整(步骤s2)。在该情况下，操作人员能够利用示教操作盘1的摄像机30来拍摄点焊枪的尖端附近的图像并使之显示在lcd20上来进行确认。并且，操作人员根据需要能够使用摄像机30的变焦功能来放大显示点焊枪的尖端附近，或者使用照明功能来照亮地进行拍摄，从而能够以容易观察的图形来确认打点、焊接枪的姿势。并且，关于若操作人员不窥视则无法目视的部位之类的打点，操作人员通过用手把持示教操作盘1使之接近该打点，能够使打点附近的图像显示在lcd20上来进行打点、姿势的确认，从而能够减轻操作人员的负担。

若打点的确认以及修正结束，则关闭枪来进行试打点(点焊)(步骤s3)。接下来，从流水线取出工件(车身)并进行点的质量确认(偏离量等的确认)(步骤s4)，若质量有问题(s5：否)，则反复进行从打点修正(步骤s2)起的处理。若焊接质量没有问题(s5：是)，则结束本处理。

根据使用以上说明的示教操作盘1的打点修正处理，由于操作人员能够一边观察显示于lcd20的容易识别的图像一边进行打点、姿势的确认和修正，所以能够减轻对打点修正的操作人员的负担来提高作业效率，并且也能够实现作业时间缩短。

接下来，对在操作人员进行打点、姿势的确认时为了辅助操作人员而显示在lcd20上的信息(以下也称作辅助信息)的例子进行说明。

辅助信息的第一例为：在操作人员对一个焊接斑点(打点)结束了确认和修正的处理时，显示位于该打点的附近且下一个应该处理的打点的指引信息。作为指引的例子，可以举出显示示出下一个应该处理的打点的方向(即，接着应该使摄像机30朝向的方向)的图标(箭头等)。为了实现该功能，在示教操作盘1中，例如在ram13预先存储包括机器人70的打点、工作轨迹在内的机器人程序、工件(车身)的模型数据。例如，若操作人员对操作部10进行预定操作，来指定显示辅助信息的动作模式，则进行从摄像机30获取并显示在lcd20上的工件(车身)的局部二维图像与存储在示教操作盘1内的工件(车身)的模型数据的对照，可特定显示图像在工件模型内的位置，由此可特定显示图像上的打点位置。此外，作为对照从摄像机30获取到的二维图像与工件的模型数据来定二维图像在工件模型内的位置的图像处理，也可以使用一般在本技术领域公知的从二维图像和工件模型数据提取各自的特征(边缘、轮廓等)来进行比较的图像对照的技术。特定的打点位置也可以利用图标等重叠地显示在显示图像上。而且，若操作人员例如通过显示画面的触摸操作来指定修正结束了的打点，则作为一个例子，则位于离该打点最近的位置的未修正的打点(例如位于显示图像的范围外的打点)被特定作为下一个应该作业的打点。而且，当前显示的显示图像中的示出下一个打点位置的信息例如作为箭头图标而重叠显示在显示图像上。

图6是指引信息的显示例。图6中，工件w上的打点sp是修正作业结束了的打点，若用户通过触摸操作来将打点sp指定为修正作业结束了的打点，则在显示图像上重叠显示示出下一个应该作业的打点(位于图6的显示图像的范围外的打点)所处的方向的箭头图标k。以上的动作能够作为由示教操作盘1的cpu11执行的图像处理程序来实现。

辅助信息的第二例为：在图像上重叠显示关于实际的点焊痕迹的位置与数据上的点焊位置(目标加工点)之间的偏离量的信息。为了实现该功能，与上述的第一例的情况相同，在示教操作盘1中，例如在ram13预先存储包括机器人70的打点、工作轨迹在内的机器人程序、工件(车身)的模型数据。若操作人员对操作部10进行预定操作，来指定该动作模式，则进行从摄像机30获取并显示在lcd20上的工件(车身)的局部二维图像与存储在示教操作盘1内的工件(车身)的对照，可特定显示图像在工件模型内的位置，由此特定显示图像上的打点位置。另外，解析显示图像来特定实际的点焊痕迹的位置，并在显示图像上重叠显示关于该实际的点焊痕迹的位置(图7中标注符号301)与数据上的斑点位置(图7中标注符号401)之间的偏离量的信息(图7中“偏离量＝1mm”的显示)。图7是上述动作的显示画面例。图7中，符号301示出实际的点焊位置，符号401示出在原本的点焊位置显示的图标。并且，在显示图像上重叠显示有关于实际的点焊位置301与原本的点焊位置401间的偏离量的信息410。通过显示以上的辅助操作人员所进行的打点的确认、修正作业的图像，能够进一步提高打点的修正的作业效率。以上的动作能够作为由示教操作盘1的cpu11执行的图像处理程序来实现。

以上，对本发明的实施方式进行了说明，但本领域技术人员应该能够理解，在不脱离权利要求书的公开范围的情况下能够进行各种修正以及变更。

上述的实施方式中的示教操作盘1在背面具有摄像机，但也考虑除背面的摄像机30之外在前面侧也具备摄像机的结构。图8是构成为除背面侧的摄像机30之外在前面侧也具备摄像机130的示教操作盘1a的主视图。前面侧的摄像机130例如也可以用于操作人员的面部认证。根据该结构，能够提高安全性能。此外，作为面部认证处理，作为一个例子，也可以使用将摄像机130的拍摄图像中的操作人员的面部图像的特征(轮廓、眼鼻的位置关系等)与图像数据库进行对照来特定人物的本领域内常见的技术。这样的面部认证处理能够构成为示教操作盘1的cpu11所执行的程序。

并且，为了解决本公开的课题，能够提供如下的各种方案和其效果。此外，以下的方案的说明文字中的符号与本公开的附图中的符号对应。

例如，本公开的第一方案是一种示教操作盘1，进行机器人的示教，其具备：操作部10，其配置于上述示教操作盘的第一面且用于进行操作输入；显示部20，其配置于上述第一面；以及摄像机30，其配置于上述示教操作盘1的与上述第一面相反侧的第二面。在上述显示部20显示上述摄像机30所拍摄到的图像。

根据上述第一方案，能够减轻操作人员所进行的加工点的确认、修正的作业负担，从而能够提高作业效率。

并且，本公开的第二方案在上述第一方案的示教操作盘的基础上，上述操作部10在上述示教操作盘1的操作状态下配置于上述第一面的下侧，并且上述摄像机30在上述操作状态下配置于上述第二面的上侧。

并且，本公开的第三方案在上述第一或者第二方案的示教操作盘的基础上，上述摄像机30具有变焦功能。

并且，本公开的第四方案在上述第一至第三方案任一项中的示教操作盘的基础上，上述摄像机30具有照明功能。

并且，本公开的第五方案在上述第一至第四方案任一项中的示教操作盘的基础上，还具备配置于上述第一面的第一面侧摄像机130。上述第一面侧摄像机130用于进行操作人员的面部认证。

并且，本公开的第六方案在上述第五方案的示教操作盘的基础上，还具备面部认证处理部11，该面部认证处理部11基于上述第一面侧摄像机所拍摄到的图像来执行面部认证处理。

并且，本公开的第七方案在上述第一至第六方案任一项中的示教操作盘1的基础上，还具备图像处理部11，该图像处理部11基于关于上述机器人对工件进行加工的加工点的信息和关于上述工件的形状模型的信息，来特定上述摄像机30所拍摄到的上述工件的局部拍摄图像在上述形状模型内的位置，并且在上述拍摄图像上显示示出与上述拍摄图像内所包括的加工点邻接且存在于上述拍摄图像的范围外的加工点的位置的信息。

并且，本公开的第八方案在上述第一至第六方案任一项中的示教操作盘1的基础上，还具备图像处理部11，该图像处理部11基于关于上述机器人对工件进行加工的加工点的信息和关于上述工件的形状模型的信息，来特定上述摄像机30所拍摄到的上述工件的局部拍摄图像在上述形状模型内的位置，并且在上述拍摄图像上显示关于上述拍摄图像所包括的实际的加工点痕迹的位置与对应于上述实际的加工点痕迹的目标加工点的位置之间的偏离的信息。

并且，本公开的第九方案是一种机器人控制系统100，具备：上述第一至第八方案任一项中的示教操作盘1；机器人控制装置50，其与上述示教操作盘1连接；以及机器人70，其与上述机器人控制装置50连接，并且在上述机器人控制装置50的控制下动作。

接下来，虽并非构成本发明的实施例，但以示教操作盘构成为具有用于连接外部摄像机的摄像机接口的结构例作为参考例进行说明。图9是表示这样的示教操作盘1b的结构的主视图。如图9所示，示教操作盘1b具备摄像机接口231。在该摄像机接口231连接有外部摄像机250。外部摄像机250例如构成为拍摄示教操作盘1b的背面侧的映像。在这样的结构的情况下，也能够实现与上述的实施方式的情况相同的效果。