判定装置的制作方法

本发明涉及判定装置，尤其涉及自动地判定与机器人的力控制相关的状态数据的判定装置。

背景技术：

有时通过带力传感器的机器人进行使部件之间精密地嵌合的工作、齿轮的相位校准、去毛刺、研磨等工作。通过使机器人把持部件、工具，将预定方向的力控制为所希望的值(力控制)，由此实现这样的工作。作为这样的力控制的方式，已知阻抗控制、阻尼控制、混合控制等，但在任意的方式中，都必须手动地设定适当的控制增益。自动调整控制增益的方法是公知的(例如，日本特开2007-237312号公报等)。

如上述那样，对于力控制的控制增益的设定方法是公知的，但其他参数、例如适当的按压力、行进速度、行进方向等需要由工作人员进行调整。在工作人员对这样的参数调整的好坏的判定中，对于熟练的工作人员和不熟悉的工作人员会产生差异。尤其，如果由不熟悉的工作人员进行参数调整的判定，则有时试错地进行判定会花费时间，或进行与实际的参数调整的结果不同的判定，或妨碍此后的基于该判定结果的工作。例如，存在以下的问题，即如果根据这样的错误的判定结果进行机器学习，则无法得到高精度的学习结果(学习模型)。

技术实现要素：

因此，本发明提供一种判定装置，其在力控制的参数调整中，进行辅助使得即使是不熟悉的工作人员也能够进行与熟练的工作人员同样的判定。

在本发明的一个实施例中，在与工业用机器人的机械手的控制有关的各参数的调整中，制作输出针对从执行工业用机器人的力控制时的动作取得的数据的与该动作的成功/失败相关的判定结果的评价函数，由此解决上述问题。在这样构成的判定装置中，通过使用依照预定的基准输出判定结果的评价函数，使用评价函数进行针对在工业用机器人动作时取得的数据的该动作的判定，因此能够与工作人员的经验无关地进行稳定的动作判定。

本发明的判定装置对具备检测向机械手施加的力和力矩的功能的工业用机器人的动作进行判定。该判定装置具备：数据取得部，其至少取得进行上述工业用机器人的力控制时的动作中的向机械手施加的力和力矩的状态、位置和姿势的状态，作为取得数据；评价函数制作部，其根据上述取得数据，制作对上述动作的好坏进行评价的评价函数；判定数据制作部，其使用上述评价函数制作部制作的评价函数，制作针对上述取得数据的判定数据；预处理部，其根据上述取得数据，制作用于机器学习的状态数据；学习部，其使用上述状态数据和上述判定数据，生成用于对上述工业用机器人的动作的好坏进行判定的学习模型。

也可以是上述数据取得部制作根据上述动作所花费的时间对动作的好坏进行判定的临时判定数据，上述评价函数制作部根据该制作的临时判定数据，制作上述评价函数。

本发明的判定装置具有上述的结构，因此在力控制的参数调整中，即使是不熟悉的工作人员，也能够根据预定的基准来判断工业用机器人的动作的好坏。

附图说明

图1是一个实施方式的判定装置的概要硬件结构图。

图2是第一实施方式的控制装置的概要功能框图。

图3是表示工业用机器人进行的部件的嵌合工作的例子的图。

图4是表示工业用机器人进行的齿轮的组装工作的例子的图。

图5是表示工业用机器人进行的工件的去毛刺/研磨工作的例子的图。

图6是第二实施方式的控制装置的概要功能框图。

图7是第三实施方式的系统的概要功能框图。

图8是一个实施方式的计算机的概要硬件结构图。

图9是第四实施方式的系统的概要功能框图。

具体实施方式

图1是表示一个实施方式的具备机器学习装置的控制装置的主要部分的概要硬件结构图。例如，可以作为控制进行部件的嵌合、组装、去毛刺等的工业用机器人的控制装置，来实现本实施方式的判定装置1。

本实施方式的判定装置1具备的cpu11是整体地控制判定装置1的处理器。cpu11经由总线20读出存储在rom12中的系统程序，依照该系统程序，控制判定装置1整体。在ram13中，临时存储临时的计算数据、工作人员经由示教操作盘60、输入装置71输入的各种数据等。

非易失性存储器14例如由通过未图示的电池备份的存储器、固态驱动器(solidstatedrive：ssd)等构成，即使判定装置1的电源被切断也保持存储状态。在非易失性存储器14中，存储经由接口19从示教操作盘60输入的示教数据、从输入装置71输入的数据、经由未图示的接口输入的工业用机器人控制用的程序、安装在工业用机器人中的传感器3检测出的数据(施加到机械手(manipulator)的力、力矩(moment)等)、从驱动工业用机器人的轴的伺服电动机50检测出的数据(伺服电动机50的电流值、位置、速度、加速度、转矩(torque)等)、经由未图示的外部存储装置、网络读入的数据等。在执行时/利用时，在ram13中展开存储在非易失性存储器14中的程序、各种数据。另外，在rom12中，预先写入有用于执行对机器人的控制、示教位置的示教的处理等的各种系统程序(包括用于控制与后述的机器学习装置100的交换的系统程序)。

经由接口17向显示装置70输出读入到存储器上的各数据、作为执行程序等的结果而得到的数据、从后述的机器学习装置100输出的数据等并进行显示。另外，由键盘、指示设备等构成的输入装置71将基于工作人员的操作的指令、数据等经由接口18传递到cpu11。

示教操作盘60是具备显示器、手柄、硬按键等的手动数据输入装置，经由接口19接受来自判定装置1的信息并显示，并且向cpu11传递从手柄、硬按键等输入的脉冲、指令、各种数据。

用于控制工业用机器人具备的关节等的轴的轴控制电路30接受来自cpu11的轴的移动指令量，将轴的指令输出到伺服放大器40。伺服放大器40接受该指令，驱动使机器人具备的轴移动的伺服电动机50。轴的伺服电动机50内置有位置/速度检测器，将来自该位置/速度检测器的位置/速度反馈信号反馈到轴控制电路30，进行位置/速度的反馈控制。此外，在图1的硬件结构图中，仅示出了一个轴控制电路30、伺服放大器40、伺服电动机50，但实际上准备了与成为控制对象的机器人所具备的轴数对应的数量。例如，在具备6个轴的机器人的情况下，针对各个轴，准备轴控制电路30、伺服放大器40、伺服电动机50。

接口21是用于连接判定装置1和机器学习装置100的接口。机器学习装置100具备统一控制机器学习装置100整体的处理器101、存储系统程序等的rom102、用于进行机器学习的各处理中的临时存储的ram103、以及用于学习模型等的存储的非易失性存储器104。机器学习装置100能够经由接口21观测能够通过判定装置1取得的各信息(施加到机械手的力、力矩、伺服电动机50的电流值、位置、速度、加速度、转矩等)。另外，判定装置1接受从机器学习装置100输出的力指令或转矩指令的变更指示，进行基于程序、示教数据的机器人的控制指令的修正等。

图2是第一实施方式的判定装置1和机器学习装置100的概要功能框图。

本实施方式的判定装置1具有在机器学习装置100进行学习的情况下所需要的结构(学习模式)。由图1所示的判定装置1具备的cpu11、以及机器学习装置100的处理器101执行各个系统程序，控制判定装置1和机器学习装置100的各部的动作，由此实现图2所示的各功能模块。

本实施方式的判定装置1具备控制部32、数据取得部34、评价函数制作部36、判定数据制作部37、以及预处理部38。该判定装置1具备的机器学习装置100具备学习部110。另外，在非易失性存储器14上，设置有存储从工业用机器人2、传感器3等取得的数据的取得数据存储部54、以及存储用于针对所取得的数据的评价的评价函数的评价函数存储部56。在机器学习装置100的非易失性存储器104上，设置有存储通过学习部110的机器学习构筑的学习模型的学习模型存储部130。

控制部32具备用于控制工业用机器人2的各部所需要的一般的控制的功能，以便根据存储在非易失性存储器104中的控制用程序52，控制工业用机器人2的动作，或根据工作人员对未图示的操作盘的控制操作、存储在非易失性存储器14等中的控制用程序对工业用机器人2进行控制，另外，在由控制用程序52指示了工业用机器人2具备的各轴(关节)的移动的情况下，在每个控制周期向驱动该轴的电动机输出作为轴角度的变化量的指令数据。并且，控制部32取得工业用机器人2具备的各电动机的电动机状态量(电动机的电流值、位置、速度、加速度、转矩等)，并输出到数据取得部34。

数据取得部34从工业用机器人2、传感器3、以及输入装置71等取得各种数据。数据取得部34例如取得基于工业用机器人控制用的程序的指令、施加到工业用机器人2的机械手的力、力矩、驱动工业用机器人2的轴的伺服电动机50的电流值、位置、速度、加速度、转矩等，并存储到取得数据存储部54中。数据取得部34既可以取得从传感器3检测出的数据、施加到伺服电动机50的数据作为时序数据，此外，也可以经由未图示的外部存储装置、有线/无线的网络7从其他计算机取得数据。

数据取得部34在判定装置1通过评价函数制作部36制作评价函数的阶段(评价函数制作模式)，针对从工业用机器人2、传感器3、以及输入装置71等取得的取得数据，制作依照预先确定的预定的基准对取得数据进行分类的临时判定数据，并将制作的临时判定数据和取得数据关联起来，作为评价函数制作用数据而存储到取得数据存储部54中。

作为数据取得部34制作的临时判定数据的例子，若以将图3所示那样的在缸的插入等的目的下使用的判定将圆柱插入到圆筒孔的圆柱嵌合的好坏的情况为例子，则考虑如下情况，即预先确定阈值tlim1<阈值tlim2<阈值tlim3，在嵌合到目标深度为止所花费的时间t不到tlim1的情况下设为成功(高)，在嵌合到目标深度为止所花费的时间t为tlim1以上且不到阈值tlim2的情况下设为成功(中)，在嵌合到目标深度为止所花费的时间t为tlim2以上且不到阈值tlim3的情况下设为成功(低)，在到时间tlim3为止没有嵌合到目标深度的情况下设为失败。

这样，数据取得部34根据预先确定的基准，将取得数据如成功、失败等那样分类为多个分类，除此以外还将成功、失败等各分类分类为多个副分类。在上述例子中，示出了按照时间基准对成功的分类进一步进行副分类的情况，但例如既可以将成功的分类分类为重视细节的副分类(与施加到机器人前端部的力的最大值对应地进行分类)，也可以与撬动程度(与施加到机器人前端部的力的最大值对应地进行分类)、精度(机器人前端部的位置的精度)对应地对失败的分类进行分类。例如，可以由熟练的工作人员等适当地确定该基准。

另外，数据取得部34在判定装置1进行机器学习装置100的机器学习的阶段(学习模式)，将从工业用机器人2、传感器3、输入装置71等取得的取得数据作为机器学习所使用的取得数据而存储到取得数据存储部54中。

评价函数制作部36根据由数据取得部34取得并存储在取得数据存储部54中的评价函数制作用数据，制作输出针对取得数据的判定数据的评价函数，并存储到评价函数存储部56中。评价函数制作部36制作的评价函数例如由将取得数据的各数据值作为参数而计算预定的评价值的函数、从该评价值导出判定数据的评价公式构成。评价函数制作部36制作的评价函数所输出的判定数据与根据取得数据制作的状态数据一起用于机器学习装置100的机器学习。

说明评价函数制作部36制作的评价函数的例子。例如，设想图3所示那样的在缸的插入等的目的下使用的、将圆柱插入到圆筒孔的圆柱嵌合。在这样的圆柱嵌合的情况下，作为取得数据，数据取得部34可以从工业用机器人2、传感器3等，取得从动作开始到结束为止所花费的时间、机器人前端部的力数据6个成分的推移、位置数据6个成分的推移(能够根据各伺服电动机的位置数据的推移计算出)等。另外，作为机器学习装置100的机器学习所使用的状态数据s，例如确定为使用从作为传感器3的力检测单元(力传感器)和位置检测单元(脉冲编码器)分别取得的机器人前端部的时序的力和力矩的数据6个成分(fx、fy、fz、mx、my、mz)、以及位置和姿势数据6个成分(px、py、pz、pw、pd、pr)，作为判定数据d，取得成功(高)、成功(中)、成功(低)、失败的值。

这时，在评价函数存储部56中，例如预先存储以下所示的公式(1)所示例那样的计算评价值的函数的雏形、公式(2)所示例那样的评价公式的雏形。此外，在公式(1)中，qk表示评价值，t表示时间，fp表示按压力的最大值，po表示姿势的变化量，pd表示位置的变化量，另外，wk1、wk2、wk3、wk4表示针对各个数据的加权系数。另外，在公式(2)中，lim0、lim1、lim2、lim3表示用于决定判定数据的分类的阈值。

qk＝t×wk1+fp×wk2+po×wk3+pd×wk4……(1)

其中，wk1+wk2+wk3+wk4＝1

失败：如果qk>lim0

成功(低)：如果qk>lim1，

成功(中)：如果qk>lim2，

成功(高)：如果qk>lim3……(2)

其中，lim3<lim2<lim1<lim0

评价函数制作部36通过决定上述公式(1)、公式(2)中的加权系数、阈值，而制作评价函数。更具体地说，将根据由数据取得部34取得并存储在取得数据存储部54中的包含在各个评价函数制作用数据中的取得数据计算出的时间t、按压力的最大值fp、姿势的变化量po、位置的变化量pd代入公式(1)，决定加权系数和阈值使得这时计算出的各个评价值qk与包含在评价函数制作用数据中的临时判定数据一致。评价函数制作部36例如通过相关分析、回归分析等那样的公知的统计方法求出加权系数即可。另外，对于阈值，评价函数制作部36与相邻的分类中的各取得数据的评价值的分布对应地，将其边界值作为阈值而求出即可。

判定数据制作部37使用评价函数制作部36制作并存储在评价函数存储部56中的评价函数，制作针对存储在取得数据存储部54中的机器学习用的取得数据的判定数据。在预处理部38进行的学习数据的制作中，使用判定数据制作部37制作的判定数据。

预处理部38根据数据取得部34取得的机器学习用的取得数据、判定数据制作部37针对该取得数据制作的判定数据，制作机器学习装置100的学习所使用的学习数据。预处理部38制作将数据取得部34取得的数据变换为在机器学习装置100中处理的统一形式(数值化、采样等)所得的状态数据。

预处理部38制作的状态数据s例如也可以包括包含与施加到工业用机器人2的机械手的力相关的信息的力状态数据s1、以及包含与机械手的位置相关的信息的位置状态数据s2。在这样的情况下，力状态数据s1可以至少包含施加到工业用机器人2的机械手的进给方向的力，另外，也可以包含施加到进给方向以外的方向的力、力的力矩。力状态数据s1既可以通过设置在工业用机器人2的机械手的传感器3检测，也可以根据流过驱动工业用机器人2的各个轴的伺服电动机50的电流等综合地求出。位置状态数据s2也可以至少包含机械手的进给方向的速度指令、力指令、转矩指令等控制指令作为在上述力状态数据s1的力的状态下进行的机械手的进给方向的控制指令(速度指令、力指令、转矩指令等)的调整行为，另外，还可以包含进给方向以外的方向的控制指令。

此外，预处理部38作为学习数据而使用的判定数据d直接使用判定数据制作部37制作的判定数据即可。

学习部110进行使用预处理部38制作的数据的机器学习。学习部110例如通过监督学习等公知的机器学习的方法，生成与由工作人员调整后的工业用机器人2的动作状态对应的学习了对该动作的好坏的判定所得的学习模型，将生成的学习模型存储到学习模型存储部130中。作为学习部110进行的监督学习的方法，例如可以列举多层感知(multilayerperceptron)法、循环神经网络(recurrentneuralnetwork)法、长短期记忆(longshort-termmemory)法、卷积神经网络(convolutionalneuralnetwork)法等。

学习部110可以针对根据取得数据制作的状态数据s，使用将判定数据制作部37根据该取得数据使用评价函数制作的判定数据d作为标签数据的学习数据进行监督学习，生成工业用机器人2的动作的成功/失败(即，工作人员进行的调整动作的成功/失败)的判别边界、成功的程度或失败的程度的判别边界作为学习模型。后述的判定部120可以使用这样生成的学习模型，根据在工业用机器人2动作时取得的数据，判定该动作的成功/失败、成功的程度、失败的程度，并计算出判定结果。

在具有上述结构的判定装置1中，能够根据在工业用机器人2动作时取得的数据，制作在判定该工业用机器人2的动作时使用的评价函数。为了制作针对在工业用机器人2动作时取得的数据的判定数据而使用通过判定装置1制作的评价函数，能够输出基于预定的评价基准(基于熟练人员的评价基准)的与在工业用机器人2动作时取得的数据对应的该动作的判定结果，因此能够与工作人员的经验无关地，制作出稳定的工业用机器人2的动作的判定数据。

除了图3示例的嵌合动作以外，本实施方式的判定装置1例如还能够应用于如图4所示例的那样通过安装在工业用机器人2的机械手握持齿轮一边使齿轮的相位与其他齿轮匹配一边组装齿轮的动作、如图5所示例的那样代替机械手而通过安装在工业用机器人2的研磨工具进行工件的去毛刺、研磨的动作等。

作为本实施方式的变形例子，作为学习部110用于学习的状态数据s，除了从工业用机器人2和传感器3取得的力状态数据和位置状态数据以外，也可以向状态数据s追加安装在机器人的前端的工具的质量、工件与工具的间隙距离、摩擦系数、温度、力传感器特性等各种数据，来进行机器学习。

图6是第二实施方式的判定装置1和机器学习装置100的概要功能框图。本实施方式的判定装置1具有在机器学习装置100进行推定的情况下所需要的结构(推定模式)。通过由图1所示的判定装置1具备的cpu11、以及机器学习装置100的处理器101执行各个系统程序，控制判定装置1和机器学习装置100的各部的动作，来实现图6所示的各功能模块。

本实施方式的判定装置1具备控制部32、数据取得部34、以及预处理部38。判定装置1具备的机器学习装置100具备判定部120。另外，在非易失性存储器14上，设置有存储机器学习装置100对工业用机器人2的动作的判定所使用的取得数据的取得数据存储部54。在机器学习装置100的非易失性存储器104上，设置有存储通过学习部110的机器学习构筑的学习模型的学习模型存储部130。

本实施方式的数据取得部34在判定装置1进行机器学习装置100的机器学习的阶段(判定模式)，将从工业用机器人2、传感器3、以及输入装置71等取得的取得数据作为工业用机器人2的动作的判定所使用的取得数据而存储到取得数据存储部54中。

另外，本实施方式的控制部32具有与第一实施方式的控制部32同样的功能。

本实施方式的预处理部38根据数据取得部34取得并存储在取得数据存储部54中的取得数据，制作机器学习装置100用于判定工业用机器人2的动作的状态数据s。预处理部38例如制作将数据取得部34取得的取得数据变换为在机器学习装置100中处理的统一形式(数值化、采样等)所得的数据。

判定部120根据预处理部38制作的状态数据s，进行使用了存储在学习模型存储部130中的学习模型的工业用机器人2的动作的判定。在本实施方式的判定部120中，向通过学习部110生成(决定了参数)的学习模型输入从预处理部38输入的状态数据s，由此判定工业用机器人2的动作的成功/失败、成功的程度、失败的程度等并输出。判定部120判定的结果可以显示输出到显示装置70，或经由未图示的有线/无线网络发送输出到主机计算机、云计算机等并利用。

在具有上述结构的判定装置1中，使用从工业用机器人2取得的取得数据，由判定部120进行该工业用机器人2的动作的判定。通过使用根据评价函数制作部36制作的评价函数按照预定的基准制作的判定数据而进行的学习，制作存储在学习模型存储部130中的学习模型，因此使用它的判定部120能够基于预定的基准，进行高精度的工业用机器人2的动作的判定。

图7表示具备判定装置1的第三实施方式的系统170。系统170具备安装在单元计算机、雾计算机、主机计算机、云服务器等计算机5上的至少一台机器学习装置100、作为控制工业用机器人2的控制装置(边沿计算机)实现的至少一台判定装置1、将计算机5和判定装置1相互连接起来的有线/无线的网络172。

本实施方式的判定装置1不具备预处理部38和机器学习装置100，而在经由网络连接的计算机5上配置有预处理部38和机器学习装置100，这一点与上述第一、第二实施方式的判定装置1不同。

在具有上述结构的系统170中，具备机器学习装置100的计算机5经由网络172从各个判定装置1收集在工业用机器人2动作时取得的取得数据、(通过判定数据制作部37制作的)判定数据，进行使用了收集到的取得数据和判定数据的机器学习，生成学习模型(相当于第一实施方式的动作模式)。

另外，具备机器学习装置100的计算机5经由网络172从各个判定装置1接受在各个工业用机器人2动作时取得的取得数据，进行各个工业用机器人2的动作的判定，并向判定装置1返回该判定结果(相当于第二实施方式的动作模式)。

在本实施方式的系统中，例如将机器学习装置100配置在针对作为边沿计算机的多个工业用机器人2(判定装置1)设置的作为雾计算机的计算机5上，使得能够在计算机5上集中地进行各个工业用机器人2(判定装置1)的动作的判定，而不需要对每个判定装置1准备机器学习装置100，因此能够削减机器学习装置100的运用成本。

图8是图7所示的计算机5的概要硬件结构图。

计算机5具备的cpu511是整体地控制计算机5的处理器。cpu511经由总线520读出存储在rom512中的系统程序，依照该系统程序控制计算机5整体。在ram513中，临时存储临时的计算数据、工作人员经由输入装置531输入的各种数据等。

非易失性存储器514例如由被未图示的电池备份的存储器、固态存储器(ssd)等构成，即使计算机5的电源被切断也保持存储状态。在非易失性存储器514中，存储有存储与计算机5的动作相关的设定信息的设定区域、从输入装置531输入的数据、从各判定装置1取得的数据、经由未图示的外部存储装置、网络读入的数据等。在执行时/利用时，在ram513中展开存储在非易失性存储器514中的程序、各种数据。另外，在rom512中，预先写入有包括用于分析各种数据的公知的分析程序等的系统程序。

计算机5经由接口516与网络172连接。网络172连接至少一个判定装置1、其他计算机等，在与计算机5之间相互进行数据的交换。

经由接口517向显示装置530输出读入到存储器上的各数据、作为执行程序等的结果而得到的数据等并显示。另外，由键盘、指示设备等构成的输入装置531经由接口518向cpu511传递基于工作人员的操作的指令、数据等。

此外，对于机器学习装置100，具有与在图1中说明的硬件结构同样的硬件结构。

图9表示具备判定装置1的第四实施方式的系统170。系统170具备安装在单元计算机、雾计算机、主机计算机、云服务器等计算机上的判定装置1、控制工业用机器人2的控制装置6(边沿计算机)、将判定装置1和控制装置6相互连接起来的有线/无线的网络172。

在具有上述结构的系统170中，判定装置1经由网络172从各个控制装置6收集在工业用机器人2动作时取得的取得数据，使用收集到的取得数据，制作多个工业用机器人2的动作所共通的评价函数。另外，判定装置1经由网络172从各个控制装置6收集在工业用机器人2动作时取得的取得数据，进行使用了收集到的取得数据的机器学习，生成学习模型(相当于第一实施方式的动作模式)。

并且，判定装置1经由网络172从各个控制装置6接受在各个工业用机器人2动作时取得的取得数据，进行各个工业用机器人2的动作的判定，并向控制装置6返回该判定结果(相当于第二实施方式的动作模式)。

在本实施方式的系统中，例如配置针对作为边沿计算机的多个工业用机器人2(控制装置6)设置的作为雾计算机的判定装置1，使得能够在判定装置1上集中地进行各个工业用机器人2(控制装置6)的动作的判定，而不需要对每个工业用机器人2准备机器学习装置100，因此能够削减机器学习装置100的运用成本。

以上说明了本发明的实施方式，但本发明并不只限于上述实施方式的例子，通过施加适当的变更，能够以各种形式实施。

例如，在上述实施方式中，将判定装置1和机器学习装置100说明为具备不同的cpu(处理器)的装置，但也可以通过判定装置1具备的cpu11、存储在rom12中的系统程序，来实现机器学习装置100。