进行关于作业工序的学习的机器学习方法和机器学习装置与流程

[0001]
本发明涉及进行关于作业工序的学习的机器学习方法以及机器学习装置。


背景技术：

[0002]
人在进行某些作业工序(例如组装工序、检查工序、洗净工序、打包工序、或者事务工序等)时，例如从作业辅助或者品质管理的观点出发，有时希望掌握作业工序的特性(作业内容、作业者、作业时间、以及作业日期时间等)。例如，能够基于掌握到的作业工序的特性，根据需要来通过影像或者声音向作业者示教正确的作业顺序，或者对工序不良的主要原因进行分析。
[0003]
在日本特开2014-155207号公报中公开了一种头部佩戴型显示装置，其通过对外景图像进行图像识别来对当前的顺序进行推定，显示表示指示内容的字符串或者表示使用者应实施的内容的图像。
[0004]
在日本专利6224873号公报中公开了一种信息处理系统，其在登记了作业的标准数据与获取到的作业数据的差异为阈值以上的情况下，在现实空间中重叠显示与作业的修正有关的指示图像。
[0005]
在国际公开第2010/143361号中公开了一种作业识别装置，其使用速度传感器的输出以及拍摄部的输出来确定用户的作业。
[0006]
在日本特开2017-131335号公报中公开了一种内窥镜洗净管理系统，其根据作业者的技能等级来对提供的作业顺序信息进行决定。


技术实现要素：

[0007]
将作业工序的特性(作业内容、作业者、作业时间、以及作业日期时间等)与例如用于进行作业辅助或者品质管理的所需的条件(用于示教作业顺序的条件、或者用于分析工序不良要因的条件等)关联起来，作为已知的信息进行收集积累，由此能够有效地进行该条件的新设定、修正、或者变更等。在该情况下，期望迅速且准确地进行信息的收集以及积累、以及提高积累的信息的可靠性等。
[0008]
本公开的一实施方式是机器学习方法，其进行与各自包含至少一个种类的单位作业的多个不同的作业工序有关的学习，其中，对多个不同的作业工序中包含的全部的单位作业进行合计，解译有无相同种类的多个单位作业，判断相同种类的多个单位作业是否彼此类似，将彼此类似的第1单位作业和第2单位作业作为类似作业集，通过共通的机器学习算法，生成将类似作业集的特性作为输入数据的类似作业学习模型，基于类似作业学习模型，进行与包含第1单位作业的第1作业工序以及包含第2单位作业的第2作业工序有关的学习。
[0009]
本公开的另一实施方式是机器学习装置，其进行与各自包含至少一个种类的单位作业的多个不同的作业工序有关的学习，该机器学习装置具备：作业合计部，其对多个不同的作业工序中包含的全部的单位作业进行合计，解译有无相同种类的多个单位作业；类似
判断部，其判断相同种类的多个单位作业是否彼此类似；第1学习部，其将彼此类似的第1单位作业和第2单位作业作为类似作业集，通过共通的机器学习算法，生成将类似作业集的特性作为输入数据的类似作业学习模型；第2学习部，其基于类似作业学习模型，进行与包含第1单位作业的第1作业工序以及包含第2单位作业的第2作业工序有关的学习。
附图说明
[0010]
图1是表示一实施方式所涉及的机器学习装置的功能框图。
[0011]
图2是表示一实施方式所涉及的机器学习方法的流程图。
[0012]
图3是概念性地表示图2的机器学习方法的具体例的图。
[0013]
图4是表示图1的机器学习装置所具有的学习部的一例的功能框图。
[0014]
图5是表示图4的学习部所执行的机器学习算法的一例的流程图。
[0015]
图6是表示装备了具有图4的学习部的机器学习装置的显示系统的功能框图。
[0016]
图7是表示图6的显示系统中的显示处理的一例的流程图。
具体实施方式
[0017]
以下，参照附图，对本公开的实施方式进行说明。在全部附图中，在对应的构成要素上附加共通的附图标记。
[0018]
图1通过功能块来表示一实施方式所涉及的机器学习装置10。图2表示机器学习装置10所执行的一实施方式所涉及的机器学习方法。
[0019]
机器学习装置10通过所谓的机器学习对与人完成某些作业工序(例如组装工序、检查工序、洗净工序、打包工序、或者事务工序等)时的作业工序的特性(作业内容、作业者、作业时间、以及作业日期时间等)相关联的各种各样的事项进行自主学习，并且具备用于执行对各种学习算法进行定义的软件的电子计算机的处理器(例如中央处理装置(cpu))等硬件。例如机器学习装置10能够将作业工序的特性与用于进行作业辅助或者品质管理所需的条件(用于示教作业顺序的条件、或者用于分析工序不良要因的条件等)关联起来进行学习。机器学习装置10使用通过学习而生成的学习模型，由此能够有效地进行上述条件的新设定、修正、或者变更等。
[0020]
如图1所示，机器学习装置10具备处理器12，该处理器12进行与各自包含至少一个种类的单位作业的多个不同的作业工序有关的学习。处理器12具备：作业合计部14，其对多个不同的作业工序中包含的全部的单位作业进行合计，解译有无相同种类的多个单位作业；类似判断部16，其判断相同种类的多个单位作业是否彼此类似；第1学习部18，其将彼此类似的第1单位作业和第2单位作业作为类似作业集，通过共通的机器学习算法，生成将类似作业集的特性作为输入数据的类似作业学习模型；第2学习部20，其基于类似作业学习模型，进行与包含第1单位作业的第1作业工序以及包含第2单位作业的第2作业工序有关的学习。在此，类似作业集能够通过n个(n≥2)单位作业(即第1～第n单位作业)构成，第1学习部18能够通过共通的学习算法，对于第1～第n单位作业生成类似作业学习模型，第2学习部20能够基于类似作业学习模型，进行与分别包含第1～第n单位作业的第1～第n作业工序有关的学习。
[0021]
处理器12例如能够具有cpu、asic(application specific integrated circuit，
专用集成电路)、或者fpga(field programmable gate array，现场可编程门阵列)等结构。作业合计部14、类似判断部16、第1学习部18以及第2学习部20能够分别构成为为处理器12的一个功能块、或者能够构成为用于使处理器12发挥作用的程序或者记录介质(计算机可读取的非暂态的记录介质)。在作业工序例如是设备的组装工序的情况下，作为作业工序中包含的单位作业，按种类能够例示线缆安装作业、钣金安装作业、螺丝安装作业、基板安装作业、单元安装作业、以及夹紧作业等。在作业工序例如是装置的检查工序的情况下，作为作业工序中包含的单位作业，按种类能够例示为组装好的装置的外观确认作业、以及组装部件的固定状态确认作业等。
[0022]
如图2所示，机器学习装置10所执行的机器学习方法进行与各自包含至少一个种类的单位作业的多个不同的作业工序有关的学习，该机器学习方法具备：对多个不同的作业工序中包含的全部的单位作业进行合计，解译有无相同种类的多个单位作业的步骤(步骤s1～s3：作业合计部14的动作)；判断相同种类的多个单位作业是否彼此类似的步骤(步骤s4～s6：类似判断部16的动作)；将彼此类似的第1单位作业和第2单位作业作为类似作业集，通过共通的机器学习算法，生成将类似作业集的特性作为输入数据的类似作业学习模型的步骤(步骤s7：第1学习部18的动作)；基于类似作业学习模型，进行与包含第1单位作业的第1作业工序以及包含第2单位作业的第2作业工序有关的学习的步骤(步骤s8：第2学习部20的动作)。
[0023]
图3概念性表示机器学习装置10所执行的机器学习方法的一个具体例。以下，参照图1、图2以及图3，基于具体例来详细地说明机器学习装置10以及机器学习方法的结构。在图3的具体例中，作业工序是设备的组装工序，机器学习装置10的学习对象是三个不同的组装工序a～c。组装工序a包含线缆安装a、钣金安装a以及螺丝安装a这三种类的单位作业。组装工序b包含线缆安装b、钣金安装b以及基板安装b这三种的单位作业。组装工序c包含线缆安装c、单元安装c以及夹紧c这三种的单位作业。
[0024]
如图2所示，通过任意的作业者在任意的日期时间以任意的作业环境开始各个组装工序a～c，由此学习开始。首先，作业合计部14在步骤s1中，提取三个组装工序a～c中包含的全部的单位作业。作为提取方法的一例，能够采用使用设置于作业环境(即学习环境)的照相机或者条形码读取器等的特征识别装置来识别组装工序a～c的各个特征的方法。例如，通过照相机来拍摄各组装工序的最初的单位作业、或者通过条形码读取器来读取各组装工序的最初的作业对象物的条形码，由此能够通过与预先准备的数据库的对照，提取包含该最初的单位作业的一系列的单位作业。
[0025]
接着，在步骤s2中，作业合计部14按种类将提取到的全部的单位作业分类，对多个作业种类进行定义。在图3的具体例中，全部的单位作业被分类为：种类相同的线缆安装a～c的作业种类22、种类相同的钣金安装a以及b的作业种类24、仅螺丝安装a的作业种类26、仅基板安装b的作业种类28、仅单元安装c的作业种类30、仅夹紧c的作业种类32。
[0026]
接着，在步骤s3中，作业合计部14判断在全部的单位作业中是否具有相同种类的多个单位作业，具体而言，判断在步骤s2中定义的多个作业种类22～32中是否存在包含多个单位作业的作业种类，通过该判断，解译有无相同种类的单位作业。在图3的具体例中，由于存在包含多个单位作业的作业种类22以及24，因此被解译为具有相同种类的单位作业。
[0027]
在具有相同种类的单位作业的情况下(步骤s3的判断为是的情况下)，类似判断部
16在步骤s4～s6中，判断这些相同种类的单位作业是否彼此类似。在图3的具体例中，判断属于作业种类22的线缆安装a～c是否彼此类似、以及属于作业种类24的钣金安装a以及b是否彼此类似。
[0028]
为了判断单位作业的类似，对构成单位作业的作业要素的共通性进行解译是有效的。作业要素是指人为了完成单位作业所需的多个设定事项的每一个。例如在单位作业为线缆安装作业的情况下，作为作业要素，能够例示线缆的安装位置、线缆连接器的形状、以及线缆的长度等。另外，在单位作业为钣金安装作业的情况下，作为作业要素，能够例示钣金材料的安装位置、钣金材料的尺寸以及形状、设置于钣金材料的组装孔的位置等。在图3的具体例中，在作业种类22中，作为线缆安装a的作业要素，示出安装位置1、连接器外形1、线缆线长1，作为线缆安装b的作业要素，示出安装位置1、连接器外形1、线缆线长2，作为线缆安装c的作业要素，示出安装位置1、连接器外形3、线缆线长3(数字1～3表示设定值的区别)。
[0029]
作为步骤s4～s6中的类似判断处理的一例，类似判断部16能够基于构成相同种类的多个单位作业的每一个的作业要素中的、在这些单位作业之间共通的作业要素的个数，判断多个单位作业是否彼此类似。首先，在步骤s4中，类似判断部16提取构成相同种类的单位作业的每一个的全部的作业要素，计算在这些单位作业之间共通的作业要素的个数(作业要素重复数量)。作为提取方法，例如能够采用使用前述的照相机或者条形码读取器等的特征识别装置的方法。在图3的具体例中，在作业种类22中，提取线缆安装a的安装位置1、连接器外形1以及线缆线长1、线缆安装b的安装位置1、连接器外形1以及线缆线长2、线缆安装c的安装位置1、连接器外形3以及线缆线长3。在线缆安装a与线缆安装b之间，由于安装位置1以及连接器外形1共通，因此线缆安装a以及b的作业要素重复数量计算为“2”。同样地，线缆安装b以及c的作业要素重复数量计算为“1”，线缆安装c以及a的作业要素重复数量计算为“1”。
[0030]
接着，在步骤s5中，基于作业要素重复数量，例如按照以下的式1来计算相同种类的单位作业相互的类似度。式1相当于用于将上述的作业要素重复数量变换为考虑了各个作业要素的权重而得到的值(即类似度)an的函数。
[0031]
〔式1〕
[0032]
an＝x
·
x+y
·
y+z
·
z+
…
[0033]
在式1中，x、y、z以及z之后的变量分别表示构成单位作业的作业要素(不考虑设定值)。对于在相同种类的单位作业之间共通的作业要素，赋予表示“共通”的相同的参数，对于不共通的作业要素，赋予零作为参数。x、y、z以及z之后的变量分别表示作业要素的权重，例如根据机器学习装置10的设计者的经验法则等进行设定。在图3的具体例中，x表示安装位置，y表示连接器外形，z表示线缆线长。作业要素重复数量“2”的线缆安装a以及b的类似度对安装位置1以及连接器外形1各自的权重进行加权，计算为an＝x
·
x+y
·
y。同样地，作业要素重复数量“1”的线缆安装b以及c的类似度被计算为an＝x
·
x，作业要素重复数量“1”的线缆安装c以及a的类似度被计算为an＝x
·
x。
[0034]
接着，在步骤s6中，判断类似度an是否是预先设定的阈值以上。阈值是成为相同种类的单位作业相互是否类似的判断基准的值，根据单位作业的种类等，例如根据机器学习装置10的设计者的经验法则等进行设定。在图3的具体例中，线缆安装作业的类似度an的阈
值被设定为大于x
·
x且小于(x
·
x+y
·
y)的值，其结果是，判断为在作业种类22中，线缆安装a与线缆安装b类似。在此，同样地，设为在作业种类24中，钣金安装a和钣金安装b被判断为类似。
[0035]
在相同种类的多个单位作业彼此类似的情况下(步骤s6的判断为是的情况下)，第1学习部18在步骤s7中，将彼此类似的单位作业作为类似作业集，通过共通的机器学习算法，生成将类似作业集的特性(即类似作业集中包含的多个单位作业的各个特性)作为输入数据的类似作业学习模型。在图3的具体例中，线缆安装a和线缆安装b被处理为类似作业集，生成将线缆安装a的特性(作业内容、作业者、作业时间、以及作业日期时间等)以及线缆安装b的特性(作业内容、作业者、作业时间、以及作业日期时间等)作为输入数据的一个(即线缆安装a以及b中共通的)类似作业学习模型。针对钣金安装a以及b，同样地也生成共通的类似作业学习模型。
[0036]
当在属于多个作业种类的每一个的相同种类的单位作业中，具有与其他的单位作业不类似的单位作业的情况下，在上述步骤s7中，第1学习部18对于不类似的单位作业，单独执行机器学习算法，生成将该不类似的单位作业的特性作为输入数据的非类似作业学习模型。用于生成非类似作业学习模型的机器学习算法可以与生成类似作业学习模型的机器学习算法相同，也可以不同。在图3的具体例中，在作业种类22中，由于线缆安装c是与其他的单位作业不类似的单位作业，因此生成将线缆安装c的特性(作业内容、作业者、作业时间、以及作业日期时间等)作为输入数据的非类似作业学习模型。另一方面，针对作业种类24，由于不存在与其他的单位作业不类似的单位作业，因此不生成非类似作业学习模型。
[0037]
在步骤s7中，进一步针对仅包含单一的单位作业的作业种类，与对应于与其他的单位作业不类似的单位作业的上述处理同样地，也生成非类似作业学习模型。在图3的具体例中，针对属于作业种类26的螺丝安装a、属于作业种类28的基板安装b、属于作业种类30的单元安装c、以及属于作业种类32的夹紧c中的每一个，生成非类似作业学习模型。
[0038]
若针对在步骤s4中提取的全部的单位作业，生成类似作业学习模型或者非类似作业学习模型，则第2学习部20在步骤s8中，基于类似作业学习模型和非类似作业学习模型(至少基于类似作业学习模型)来进行与多个不同的作业工序(组装工序a～c)有关的学习。进行与各作业工序有关的学习是指与针对该作业工序中包含的各个单位作业来生成类似作业学习模型或者非类似作业学习模型实质上同义，但第2学习部20对第1学习部18按照每个单位作业生成的类似作业学习模型或者非类似作业学习模型(至少类似作业学习模型)适当进行取舍选择，进行每个作业工序的学习。因而，针对各个单位作业的类似作业学习模型或者非类似作业学习模型(即输入输出的相关性的准确度)到达所期望的信赖水准，由此结束第2学习部20进行的与各作业工序有关的学习。
[0039]
在图3的具体例中，基于以下模型进行与组装工序a有关的学习：针对线缆安装a而生成的类似作业学习模型、针对钣金安装a而生成的类似作业学习模型、针对螺丝安装a而生成的非类似作业学习模型。另外，基于以下模型进行与组装工序b有关的学习：针对线缆安装b而生成的类似作业学习模型、针对钣金安装b而生成的类似作业学习模型、针对基板安装b而生成的非类似作业学习模型。另外，基于以下模型进行与组装工序c有关的学习：针对线缆安装c而生成的非类似作业学习模型、针对单元安装c而生成的非类似作业学习模型、针对夹紧c而生成的非类似作业学习模型。
[0040]
在相同种类的多个单位作业全部不彼此类似的情况下(步骤s6的判断为否的情况下)，在步骤s9中，第2学习部20针对多个不同的作业工序(组装工序a～c)单独执行机器学习算法，生成将各个作业工序的特性作为输入数据的学习模型。用于生成每个作业工序的学习模型的机器学习算法可以与生成类似作业学习模型的机器学习算法相同，也可以不同。另外，各作业工序的学习模型可以是通过该作业工序整体而生成的一个学习模型，第1学习部18可以将按照该作业工序中包含的每个单位作业而生成的多个非类似作业学习模型组合。针对各个作业工序的学习模型(即输入输出的相关性的准确度)到达所期望的信赖水准，由此结束与各作业工序有关的学习。
[0041]
另外，在多个不同的作业工序中包含的全部的单位作业是相互不同的种类的情况下(步骤s3的判断为否的情况下)，在步骤s10中，第2学习部20对于多个不同的作业工序(组装工序a～c)单独执行机器学习算法，生成将各个作业工序的特性作为输入数据的学习模型。用于生成每个作业工序的学习模型的机器学习算法可以与生成类似作业学习模型的机器学习算法相同，也可以不同。针对各个作业工序的学习模型(即输入输出的相关性的准确度)达到所期望的信赖水准，从而结束与各作业工序有关的学习。
[0042]
如此，进行与多个不同的作业工序(组装工序a～c)有关的学习，在与各作业工序有关的学习模型(类似作业学习模型以及非类似作业学习模型)的可靠性深化到所期望的水准的阶段，结束用于学习的作业工序。
[0043]
如上所述，在一实施方式所涉及的机器学习装置10以及机器学习方法中，与多个不同的作业工序有关的学习通过针对各个作业工序中包含的单位作业中的彼此类似的单位作业生成共通的类似作业学习模型来进行。类似作业学习模型的输入数据由于是与类似作业集的特性(即类似作业集中包含的多个单位作业的每一个特性)有关的数据，因此与关于多个作业工序(或者多个单位作业)而单独地进行学习的构成相比较，数据数(即学习次数)增加。因而，针对彼此类似的单位作业的类似作业学习模型的可靠性提高，与此相伴，与各个作业工序有关的学习的精度以及准确度提高。
[0044]
例如，在将作业工序的特性(作业内容、作业者、作业时间、以及作业日期时间等)与用于进行作业辅助或者品质管理所需的条件(用于示教作业顺序的条件、或者用于分析工序不良要因的条件等)关联起来，作为已知的信息进行收集积累的应用中，根据一实施方式所涉及的机器学习装置10以及机器学习方法，不仅能够迅速且准确地进行此种信息的收集以及积累来进行学习模型化，还能够提高积累的信息即学习模型的可靠性。其结果是，能够高效率且高精度地进行用于作业辅助或者品质管理的所需的条件的新设定、修正、或者变更等。
[0045]
在具有上述结构的机器学习装置10以及机器学习方法中，第1学习部18所执行的学习方法(机器学习算法)并未特别限定，例如能够采用公知的学习方法作为监督学习、无监督学习、强化学习等的机器学习。监督学习是预先大量提供输入数据和与其对应的输出数据(一般而言称为教师数据或者标签等)的已知的学习数据集，根据这些已知的学习数据集来识别对输入数据与输出数据的相关性进行暗示的特征，由此生成用于推定与新输入相对应的所需要的输出的相关性模型(机器学习装置10中类似作业学习模型)的方法。与其相对应，无监督学习以及强化学习从输入与输出的关系是未知的状态起开始进行学习。
[0046]
参照图4以及图5来说明在机器学习装置10中第1学习部18所执行的机器学习算法
(即类似作业学习模型的生成处理)的一例。图4通过功能块表示第1学习部18的结构。图5表示第1学习部18所执行的机器学习算法。
[0047]
第1学习部18具备：数据获取部34，其获取状态数据d1和标签数据d2作为学习数据集ds，该状态数据d1包含单位作业的内容信息且表示单位作业的特性，该标签数据d2表示与状态数据d1对应的单位作业的行为是否异常；阈值计算部36，其基于学习数据集ds，计算用于判定单位作业的行为是否容易异常的阈值t；学习模型生成部38，其使用学习数据集ds，生成表示内容信息(状态数据d1)与阈值t的相关性的类似作业学习模型m。
[0048]
第1学习部18所执行的机器学习算法具有：相当于上述的监督学习，获取状态数据d1和标签数据d2作为学习数据集ds的步骤u1(数据获取部34的动作)；基于学习数据集ds来计算阈值t的步骤u2(阈值计算部36的动作)；使用学习数据集ds，生成类似作业学习模型m的步骤u3(学习模型生成部38的动作)。
[0049]
图6作为具有图4所示的第1学习部18的机器学习装置10的应用的具体例，通过功能块表示显示系统40的结构。以下，参照图6，基于具体例，详细地说明第1学习部18所执行的机器学习算法的结构。如图6所示，显示系统40包含完成前述的作业工序的环境42、配置于环境42的作业对象44、对作业对象44进行既定的作业工序的作业者46。显示系统40具有向作业者46显示对作业工序进行辅助的信息的功能。
[0050]
显示系统40具备机器学习装置10以及显示装置48。机器学习装置10和显示装置48能够经由有线或者无线的网络等相互通信。机器学习装置10构成为pc(personal computer，个人电脑)以及服务器等。显示装置48作为配置于环境42中的手提电脑、pda(personal digital assistant，个人数字助理)、智能手机、或者可穿戴设备等而构成。显示系统40可以具备多个显示装置48，在该情况下，显示装置48分别被配置于相同环境或者不同环境。
[0051]
显示系统40除了具有作为第一处理器的机器学习装置10的第1学习部18之外，还具有显示装置48的第二处理器50。第二处理器50具有显示控制部52，显示控制部52基于第1学习部18的阈值计算部36计算出的阈值t，对在显示装置48的显示部54中显示正常作业信息的定时进行控制。第二处理器50还能够具有判定作业对象44是否是正常品的功能、显示作业对象44的不良部位并指示进行更换的功能、以及判定单位作业是否正常的功能。
[0052]“正常作业信息”可以是与单位作业有关的正常的作业顺序，还可以是正常的作业结果。显示部54构成为液晶显示器或者触控板显示器等的公知的显示器。显示部54根据显示控制部52的指令，显示作业辅助信息，尤其根据显示控制部52控制的显示定时来显示正常作业信息。显示部54可以构成为增强现实设备，在该情况下，能够在现实空间的图像中重叠显示正常作业信息。
[0053]
第1学习部18的数据获取部34从环境42获取状态数据d1以及标签数据d2作为学习数据集ds。状态数据d1除了单位作业的内容信息之外，还能够包含单位作业的作业者信息、作业时间信息以及作业日期时间信息中的至少一个追加信息。在该情况下，第1学习部18的学习模型生成部38所生成的类似作业学习模型m表示内容信息以及追加信息与阈值t的相关性。
[0054]“内容信息”被定义为表示作业者46在环境42中对作业对象44进行哪个单位作业的信息。例如内容信息包含作业类别代码、以及作业难易度等。内容信息例如使用照相机或
者条形码读取器等的特征识别装置来进行确定。特征识别装置可以设置于显示装置48，或者可以单独设置。内容信息例如可以基于作业对象44的id或者图像来确定。例如在将多个部件相互组装的组装作业的情况下，通过将各个部件的id与预先存储的基准数据进行对照，能够确定内容信息。另外，内容信息还能够用于判定作业是否正常。单位作业的内容由于具有与作业结果或者是否需要作业辅助等直接性的关联性，因此状态数据d1设为至少包含内容信息。
[0055]“作业者信息”被定义为表示作业者46的熟练度的信息。例如作业者信息包含作业者id、年龄、工作年数、以及作业年数等。例如基于进出环境42的权限、或者在显示装置48验证访问权限时输入的作业者46的id来确定作业者信息。存在在作业者46的熟练度与作业结果或者是否需要作业辅助等之间发现有关联性的情况。
[0056]“作业时间信息”被定义为表示从单位作业开始起到结束为止花费的时间的信息。作业时间信息例如使用照相机或者条形码读取器等的特征识别装置来确定。或者，使用内部时钟等的计时装置来确定作业时间信息。作业开始时刻可以是获取到作业对象44的id的时刻，可以是接通了显示装置48的电源的时刻，或者可以是作业者46向显示装置48输入了作业开始的时刻。作业结束时刻可以是获取到赋予作业对象44的作业结束标记的图像的时刻，可以是切断显示装置48的电源的时刻，或者可以是作业者46向显示装置48输入了作业结束的时刻。存在在作业时间与作业结果或者是否需要作业辅助等之间发现有关联性的情况。
[0057]“作业日期时间信息”被定义为表示作业者46进行了单位作业的日期、时刻以及星期的信息。例如，作业日期时间信息可以是作业开始日期时间，可以是作业结束日期时间，或者可以是作业开始日期时间与作业结束日期时间之间的中间的日期时间。作业日期时间信息例如使用照相机或者条形码读取器等的特征识别装置来确定。或者，作业日期时间信息使用内部时钟等的计时装置来确定。存在若工作时间或者工作日数等成为预定值以上则有损作业的准确性等、在作业日期时间与作业结果或者是否需要作业辅助等之间发现有关联性的情况。
[0058]
标签数据d2例如使用照相机或者条形码读取器等的特征识别装置来确定。在该情况下，标签数据d2例如能够基于作业对象44的id或者图像等来确定。例如在将多个部件相互组装的组装作业的情况下，能够通过将各个部件的id或者组装后的作业对象44的图像与预先存储的基准数据进行对照来确定标签数据d2。在使用图像数据的情况下，作为基准数据，可以使用正常作业以及异常作业的任意的图像。对于哪种单位作业是正常，例如根据机器学习装置10的设计者的经验法则等来进行决定。
[0059]
接着，说明阈值计算部36以及学习模型生成部38的动作的一例。以下的式2是将异常作业标志f与状态数据d1的关系模型化得出的函数的一例。异常作业标志f表示与状态数据d1对应的单位作业的行为是否容易异常。
[0060]
〔式2〕
[0061]
f＝g
·
g0+h
·
h0+i
·
i0+j
·
j0
[0062]
在式2中，g、h、i、以及j分别表示内容信息、作业者信息、作业时间信息以及作业日期时间信息。g0、h0、i0以及j0分别表示内容信息的权重、作业者信息的权重、作业时间信息的权重、以及作业日期时间信息的权重。这些权重的初始值能够在状态数据d1被积累一定
以上后通过回归分析等而求出。
[0063]
以下的式3是将标签数据d2的权重l1、l2与状态数据d1的权重g0、h0、i0、j0的关系模型化得出的函数的一例。
[0064]
〔式3〕
[0065]
g1＝g0
·
l1、h1＝h0
·
l1、i1＝i0
·
l1、j1＝j0
·
l1
[0066]
g2＝g0
·
l2、h2＝h0
·
l2、i2＝i0
·
l2、j2＝j0
·
l2
[0067]
在式3中，权重l1表示标签数据d2中的正常作业标签数据l1的权重，权重l2表示标签数据d2中的异常作业标签数据l2的权重。g1、h1、i1、j1分别表示l1获取时的各状态数据d1的权重，g2、h2、i2、j2分别表示l2获取时的各状态数据d1的权重。
[0068]
以下的式4是将l1获取时以及l2获取时的异常作业标志f与阈值t的关系模型化而得出的函数。
[0069]
〔式4〕
[0070]
l1获取时：
[0071]
t＝t
′
+(g
·
g1+h
·
h1+i
·
i1+j
·
j1)
[0072]
l2获取时：
[0073]
t＝t
′-
(g
·
g2+h
·
h2+i
·
i2+j
·
j2)
[0074]
在式4中，t
′
表示前次获取到标签数据d2时的阈值。t
′
的初始值可以是零。如式4所示，在l1获取时，阈值t增加，在l2获取时，阈值t减少。如此，在数据获取部34每次获取状态数据d1以及标签数据d2时，将阈值t更新。如此，阈值计算部36计算阈值t，学习模型生成部38生成表示状态数据d1与阈值t的相关性的类似作业学习模型m。
[0075]
以下的式5是在使用机器学习装置10的学习结果(作业工序的学习模型)，在现场执行的用于进行作业辅助的显示处理时，判定与状态数据d1对应的单位作业的行为是否容易异常的函数。
[0076]
〔式5〕
[0077]
f≥t时：在作业前显示正常作业信息
[0078]
f<t时：在作业前不显示正常作业信息
[0079]
如式5所示，在异常作业标志f为阈值t以上的情况下，由于单位作业容易异常，因此在作业者46完成单位作业前，在显示部54中显示“正常作业信息”。另一方面，在异常作业标志f未达到阈值t的情况下，由于单位作业难以异常，因此仅在作业者46实际完成的单位作业不正常的情况下，在显示部54中显示“正常作业信息”。
[0080]
图7表示在具备机器学习装置10的显示系统40中，使用机器学习装置10的学习结果(作业工序的学习模型)在现场执行的用于进行作业辅助的显示处理流程的一例。首先，在步骤p1中，数据获取部34获取状态数据d1。在图示的例子中，状态数据d1除了内容信息之外，还包含作业者信息、作业时间信息以及作业日期时间信息。
[0081]
接着，在步骤p2中，例如第二处理器50判断作业对象44是否是正常品。能够通过图像识别等来确定作业对象44是否是正常品。例如，在将多个部件相互组装的组装作业的情况下，能够通过将各个部件的图像与基准数据进行对照来确定各部件是否是正常品。在作业对象44不是正常品的情况下(步骤p2的判断是否的情况下)，在步骤p3中，显示控制部52使显示部54显示不良部位，根据需要来指示作业对象44的更换，之后返回步骤p1。在作业对
象44是正常品的情况下(步骤p2的判断为是的情况下)，进入步骤p4。
[0082]
在步骤p4中，例如第二处理器50判断与获取到的状态数据d1对应的单位作业的行为是否容易异常、即判断异常作业标志f(式2)是否是阈值t以上(式5)。在单位作业难以异常的情况下(步骤p4的判断为否的情况下)，例如在作业者46完成了单位作业后，第二处理器50在步骤p5中判断该单位作业的行为是否正常。
[0083]
在单位作业的行为不正常的情况下(步骤p5的判断为否的情况下)，在步骤p6中，显示控制部52使显示部54显示正常作业信息，并且显示不良部位，根据需要来指示作业对象44的更换。通过此种处理，例如熟练的作业者46能够仅在实际上进行了错误作业等时，确认正常作业信息。接着，例如第二处理器50在步骤p7中增加异常作业标志f，并且返回步骤p1。
[0084]
在单位作业的行为是正常的情况下(步骤p5的判断为是的情况下)，例如第二处理器50在步骤p8中减少异常作业标志f，在步骤p9中判断单位作业是否结束。当在现场的作业辅助显示处理期间进行学习的情况下，在步骤p7以及p8中更新阈值t(式4)。
[0085]
在与获取到的状态数据d1对应的单位作业的行为容易异常的情况下(步骤p4的判断为是的情况下)，在步骤p10中，在作业者46完成单位作业前，显示控制部52使显示部54显示正常作业信息。由此，即使在状态数据d1表示具有作业者46不熟练、作业内容复杂、作业时间长、或者作业者46的工作时间或者工作日数多的特性的情况下，也能够将错误作业或者工序不良防止于未然。
[0086]
当作业者46在作业辅助显示下完成了单位作业之后，例如第二处理器50在步骤p11中判断该单位作业的行为是否正常。在单位作业的行为不正常的情况下(步骤p11的判断为否的情况下)，在步骤p12中显示控制部52再次使显示部54显示正常作业信息，并且显示不良部位，根据需要来指示作业对象44的更换。通过此种处理，当尽管在作业前显示了正常作业信息但单位作业仍异常的情况下，也能够降低错误作业或者工序不良的频度。接着，例如第二处理器50在步骤p13中增加异常作业标志f，并且返回步骤p1。
[0087]
在单位作业的行为正常的情况下(步骤p11的判断为是的情况下)，例如第二处理器50在步骤p14中减少异常作业标志f，在步骤p9中判断单位作业是否结束。当在现场的作业辅助显示处理期间进行学习的情况下，在步骤p13以及p14中更新阈值t(式4)。
[0088]
在单位作业没有结束的情况下(步骤p9的判断为否的情况下)，返回步骤p1。在单位作业结束的情况下(步骤p9的判断为是的情况下)，结束显示处理流程作为作业结束。
[0089]
本公开的机器学习装置以及机器学习方法并不限于上述以及图示的实施方式的结构。例如，成为机器学习的对象的作业工序以及单位作业的特性(即输入数据)并不限于上述以及图示的实施方式，能够将与用户的要求对应的各种各样的特性作为输入数据。另外，机器学习算法并不限于上述以及图示的实施方式，能够采用与用户的要求对应的各种各样的算法。作为机器学习装置的应用，除了前述的显示系统以外，例如，还能够例示根据机器学习装置生成的作业工序的学习模型来新设置或变更工序顺序手册的记载事项的系统。
[0090]
根据一实施方式所涉及的机器学习方法，通过针对各个作业工序中包含的单位作业中的彼此类似的单位作业，生成共通的类似作业学习模型，来进行与多个不同的作业工序有关的学习，因此与针对多个作业工序(或多个单位作业)单独地进行学习的结构相比，
数据数(即学习次数)增加，与各个作业工序有关的学习的精度以及准确度提高。例如，不仅能够将作业工序的特性(作业内容、作业者、作业时间、作业日期时间等)与用于进行作业辅助或者品质管理所需的条件(用于示教作业顺序的条件、或者用于分析工序不良要因的条件等)关联起来，迅速且准确地进行学习模型化，还能够提高学习模型的可靠性，从而能够为了进行作业辅助或者品质管理而高效率且高精度地进行所需的条件的新设定、修正、或者变更等。
[0091]
根据另一实施方式所涉及的机器学习装置，产生与机器学习方法的上述效果同等的效果。