动作确定装置、动作确定方法以及动作确定程序与流程

本发明涉及一种从拍摄了对象者的图像数据确定对象者的动作内容的技术。

背景技术：

在产业领域中，具有针对诸如测量作为作业者组装产品的时间的循环时间、以及为了检测作业的遗漏或者不是稳定的作业的非稳定作业而分析作业内容这样的处理的需要。当前，通过人工进行这些处理是主流。为此，需要许多人力成本，并且只能针对限定的范围作为处理的对象。

在专利文献1中，记载了使用佩戴于人的头部的相机以及三维传感器，提取人的动作的特征量，并自动地进行动作分析。

现有技术文献

专利文献

专利文献1：日本特开2016-099982号公报

技术实现要素：

发明要解决的课题

在专利文献1中，在人的头部佩戴相机。然而，在产业领域中，在作业中在作业者的身体的一部分佩戴对作业不需要的物品可能成为作业的妨碍，因而被回避。

本发明的目的在于，不在作业者的身体佩戴对作业不需要的物品，而能够进行诸如循环时间的测量和作业内容的分析这样的处理。

用于解决课题的手段

本发明的动作确定装置具备：

图像取得部，取得关于对象者的图像数据；

骨骼提取部，从通过所述图像取得部所取得的所述图像数据，提取对象信息，该对象信息是表示所述对象者的姿势的骨骼信息；以及

动作确定部，将动作信息示出的动作内容确定为所述对象者正进行的动作内容，所述动作信息是与通过所述骨骼提取部所提取的所述对象信息相似的所述骨骼信息。

发明效果

在本发明中，从图像数据提取作为表示对象者的姿势的骨骼信息的对象信息，并将动作信息示出的动作内容确定为对象者正进行的动作内容，所述动作信息是与对象信息相似的骨骼信息。因此，不在作业者的身体佩戴对作业不需要的物品，而能够进行诸如循环时间的测量和作业内容的分析这样的处理。

附图说明

图1是实施方式1的动作确定装置10的结构图。

图2是实施方式1的登记处理的流程图。

图3是实施方式1的图像数据的说明图。

图4是实施方式1的骨骼信息43的说明图。

图5是实施方式1的登记处理的说明图。

图6是实施方式1的动作信息表格31的说明图。

图7是实施方式1的确定处理的流程图。

图8是实施方式1的确定处理的说明图。

图9是变形例1的动作确定装置10的结构图。

图10是变形例3的动作确定装置10的结构图。

图11是实施方式2的动作确定装置10的结构图。

图12是实施方式2的学习处理的流程图。

图13是实施方式2的确定处理的流程图。

图14是变形例5的动作确定装置10的结构图。

(附图标记说明)

10：动作确定装置；11：处理器；12：存储器；13：存储设备；14：通信接口；15：电子电路；21：图像取得部；22：骨骼提取部；23：动作信息登记部；24：动作确定部；25：输出部；26：学习部；31：动作信息表格；32：学习模型；41：拍摄装置；42：人；43：骨骼信息。

具体实施方式

实施方式1

＊＊＊结构的说明＊＊＊

参照图1说明实施方式1的动作确定装置10的结构。

动作确定装置10是计算机。

动作确定装置10具备处理器11、存储器12、存储设备13和通信接口14这样的硬件。处理器11经由信号线与其他硬件连接，并控制这些其他硬件。

处理器11是进行处理的ic(integratedcircuit，集成电路)。作为具体示例，处理器11是cpu(centralprocessingunit，中央处理单元)、dsp(digitalsignalprocessor，数字信号处理器)、gpu(graphicsprocessingunit，图像处理单元)。

存储器12是暂时存储数据的存储装置。作为具体示例，存储器12是sram(staticrandomaccessmemory，静态随机存取存储器)、dram(dynamicrandomaccessmemory，动态随机存取存储器)。

存储设备13是保管数据的存储装置。作为具体示例，存储设备13是hdd(harddiskdrive，硬盘驱动器)。另外，存储设备13也可以是sd(注册商标，securedigital，安全数字)存储卡、cf(compactflash，注册商标)、nand闪存、软盘、光盘、压缩盘、蓝光(注册商标)盘、dvd(digitalversatiledisk，数字多功能盘)这样的可移动存储介质。

通信接口14是用于和外部的装置进行通信的接口。作为具体示例，通信接口14是以太网(ethernet，注册商标)、usb(universalserialbus，通用串行总线)、hdmi(注册商标，high-definitionmultimediainterface，高清晰度多媒体接口)的端口。另外，通信接口14也可以针对每个所通信的数据分别设置。例如，也可以设置hdmi(注册商标)用于对后述的图像数据进行通信，并设置usb用于对后述的标签信息进行通信。

作为功能结构要素，动作确定装置10具备图像取得部21、骨骼提取部22、动作信息登记部23、动作确定部24和输出部25。动作确定装置10的各功能结构要素的功能是通过软件实现的。

在存储设备13中，保存有实现动作确定装置10的各功能结构要素的功能的程序。该程序由处理器11读入到存储器12中，并由处理器11执行。由此，实现动作确定装置10的各功能结构要素的功能。

另外，存储设备13存储动作信息表格31。

在图1中，仅示出一个处理器11。然而，处理器11也可以是多个，多个处理器11也可以联合地执行实现各功能的程序。

作为具体示例，动作确定装置10也可以具备cpu和gpu，作为处理器11。在该情况下，也可以如后述那样，关于进行图像处理的骨骼提取部22，通过gpu实现，而关于剩余的图像取得部21、动作信息登记部23、动作确定部24和输出部25，通过cpu实现。

＊＊＊动作的说明＊＊＊

参照图2至图8说明实施方式1的动作确定装置10的动作。

实施方式1的动作确定装置10的动作相当于实施方式1的动作确定方法。另外，实施方式1的动作确定装置10的动作相当于实施方式1的动作确定程序的处理。

实施方式1的动作确定装置10的动作包括登记处理和确定处理。

参照图2说明实施方式1的登记处理。

(步骤s11：图像取得处理)

图像取得部21经由通信接口14取得通过拍摄装置41拍摄了正在做对象动作的人42的图像数据和示出对象动作的标签信息的一个以上的组。如图3所示，在实施方式1中，图像数据是通过拍摄装置41从对象者的正面拍摄正在做对象动作的人42的身体整体而取得的。

图像取得部21将所取得的图像数据和标签信息的组写入到存储器12中。

(步骤s12：骨骼提取处理)

骨骼提取部22从存储器12读出在步骤s11中所取得的图像数据。骨骼提取部22从图像数据提取表示人42的姿势的骨骼信息43，作为动作信息。如图4所示，在实施方式1中，骨骼信息43示出人42的脖子和肩这样的多个关节的坐标或者多个关节的相对的位置关系。

骨骼提取部22将所提取的动作信息写入到存储器12中。

(步骤s13：动作信息登记处理)

动作信息登记部23从存储器12读出在步骤s12中所提取的动作信息以及与动作信息的提取源的图像数据相同组的标签信息。动作信息登记部23将所读出的动作信息和标签信息对应起来，并写入到动作信息表格31中。

(步骤s14：结束判断处理)

骨骼提取部22判断是否针对在步骤s11中所取得的全部的组进行了处理。

骨骼提取部22在针对全部的组进行了处理的情况下结束登记处理。另一方面，骨骼提取部22在存在未处理的组的情况下，将处理返回到步骤s12，并执行针对接下来的组的处理。

通过执行登记处理，在动作信息表格31中积蓄多个动作信息和标签信息的组。

例如，如图5所示，在步骤s11中，关于构成拍摄了进行一连串作业的人的影像数据的各时刻的图像数据，图像取得部21取得该时刻的图像数据和示出该时刻的图像数据所示出的人的动作的标签信息的组。然后，在步骤s12中，骨骼提取部22从处理对象的图像数据提取动作信息，在步骤s13中，动作信息登记部23将与处理对象的图像数据相同组的标签信息和动作信息对应起来写入到动作信息表格31中。由此，如图6所示，关于在一连串作业中的各时刻的动作，在动作信息表格31中积蓄所对应起来的动作信息和标签信息。

另外，在步骤s11中，关于构成拍摄了在一连串作业中进行了通常不进行的非稳定作业的人的影像数据的各时刻的图像数据，图像取得部21也可以取得该时刻的图像数据和示出该时刻的图像数据所示出的人的动作的标签信息的组。由此，关于非稳定作业，对于各时刻的动作，也在动作信息表格31中积蓄所对应起来的动作信息和标签信息。

参照图7说明实施方式1的确定处理。

(步骤s21：图像取得处理)

图像取得部21经由通信接口14取得拍摄了对象者的一个以上的图像数据。在实施方式1中，与在步骤s11中所取得的图像数据同样地，在步骤s21中所取得的图像数据是通过拍摄装置41从对象者的正面拍摄对象者的身体整体而取得的。

图像取得部21将所取得的图像数据写入到存储器12中。

(步骤s22：骨骼提取处理)

骨骼提取部22从存储器12读出在步骤s21中所取得的图像数据。骨骼提取部22从图像数据提取表示对象者的姿势的骨骼信息43，作为对象信息。

骨骼提取部22将所提取的对象信息写入到存储器12中。

(步骤s23：动作确定处理)

动作确定部24将动作信息示出的动作内容确定为对象者正进行的动作内容，动作信息是与在步骤s22中所提取的对象信息相似的骨骼信息。

具体地，动作确定部24从动作信息表格31检索与对象信息相似的动作信息。相似是指，在骨骼信息43示出多个关节的坐标的情况下，在对象信息和动作信息中相同的关节的坐标间的欧几里得距离(euclideandistance)短的意思。另外，在骨骼信息43示出多个关节的相对的位置关系的情况下，是对象信息示出的各关节间的欧几里得距离和动作信息示出的各关节间的欧几里得距离接近的意思。然后，动作确定部24将与检索中命中的动作信息对应起来的标签信息示出的动作内容确定为对象者正进行的动作内容。

例如，关于在动作信息表格31中所积蓄的全部的动作信息，动作确定部24计算与对象信息的相似度。然后，对象确定部24将相似度最高的动作信息作为在检索中命中的动作信息进行处理。另外，动作确定部24在没有相信度比阈值更高的动作信息的情况下，也可以设为没有在检索中命中的动作信息。

另外，在特定的关节间的相对位置关系表征动作的情况下，也可以进行加权，使得关于特定的关节的欧几里得距离的差对相似度产生大的影响。也就是说，在骨骼信息43示出多个关节的坐标的情况下，也可以进行加权，使得关于特定的关节的对象信息中的坐标和动作信息中的坐标之间的欧几里得距离的差对相似度产生大的影响。另外，在骨骼信息43示出多个关节的相对的位置关系的情况下，也可以进行加权，使得特定的关节间的欧几里得距离的差对相似度产生大的影响。

(步骤s24：输出处理)

输出部25将在步骤s23中所确定的动作内容输出到经由通信接口14连接的显示装置等。输出部25也可以输出示出动作内容的标签信息。

另外，在没有在检索中命中的动作信息的情况下，输出部25输出示出无法确定动作内容的信息。

(步骤s25：结束判断处理)

骨骼提取部22判断是否针对在步骤s21中所取得的全部的图像数据进行了处理。

骨骼提取部22在针对全部的图像数据进行了处理的情况下结束登记处理。另一方面，骨骼提取部22在存在未处理的图像数据的情况下，将处理返回到步骤s22，并执行针对接下来的图像数据的处理。

例如，如图8所示，在步骤s21中，关于构成拍摄了进行一连串作业的人的影像数据的各时刻的图像数据，图像取得部21取得该时刻的图像数据。然后，在步骤s22中，骨骼提取部22从处理对象的图像数据提取对象信息，在步骤s23中，动作信息登记部23检索与对象信息相似的动作信息，并确定动作内容。由此，能够确定在一连串作业中的各时刻的动作内容。

此时，也能够确定作为对象的作业何时开始、何时结束。另外，也能够在对象者在一连串作业中进行了非稳定作业的情况下，确定进行了非稳定作业。

＊＊＊实施方式1的效果＊＊＊

如上所述，实施方式1的动作确定装置10从自正面拍摄了对象者的图像数据提取作为表示对象者的姿势的骨骼信息的对象信息，将作为与对象信息相似的骨骼信息的动作信息示出的动作内容确定为对象者正进行的动作内容。因此，实施方式1的动作确定装置10将包括多个图像数据的影像数据作为输入，确定关于各图像数据的动作内容，由此能够分析一连串的动作。其结果，在作业者的身体不佩戴对作业不需要的物品，而能够进行循环时间的测量和作业内容的分析这样的处理。

＊＊＊其他结构＊＊＊

<变形例1>

在实施方式1中，如图1所示，动作确定装置10是一个装置。然而，动作确定装置10也可以是包括多个装置的系统。

作为具体示例，如图9所示，动作确定装置10也可以是包括具有与登记处理有关的功能的登记装置和具有与确定处理有关的功能的确定装置的系统。在该情况下，动作信息表格31可以存储在设置于登记装置和确定装置的外部的存储装置中，也可以存储在登记装置和确定装置中的任意装置的存储设备中。

另外，在图9中，省略了登记装置和确定装置中的硬件。关于登记装置和确定装置，与动作确定装置10同样地，作为硬件具备处理器、存储器、存储设备和通信接口。

<变形例2>

在实施方式1中，作为图像数据使用了通过拍摄装置41拍摄的数据。然而，作为图像数据也可以使用通过诸如深度传感器这样的传感器获得的三维图像数据。

<变形例3>

在实施方式1中，各功能结构要素通过软件实现。然而，作为变形例3，各功能结构要素也可以通过硬件实现。关于该变形例3，说明与实施方式1的不同点。

参照图10说明变形例3的动作确定装置10的结构。

在各功能结构要素通过硬件实现的情况下，动作确定装置10具备电子电路15来代替处理器11、存储器12和存储设备13。电子电路15是实现各功能结构要素、存储器12和存储设备13的功能的专用电路。

作为电子电路15，可设想单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑ic、ga(gatearray，门阵列)、asic(applicationspecificintegratedcircuit，专用集成电路)、fpga(field-programmablegatearray，现场可编程门阵列)。

可以通过一个电子电路15实现各功能结构要素，也可以在多个电子电路15中分散地实现各功能结构要素。

<变形例4>

作为变形例4，也可以通过硬件实现各功能结构要素的一部分，并通过软件实现其他的各功能结构要素。

处理器11、存储器12、存储设备13和电子电路15称为处理电路。也就是说，各功能结构要素的功能通过处理电路实现。

实施方式2

实施方式2基于动作信息和标签信息生成学习模型32，并通过学习模型32确定与对象信息对应的标签信息，这点与实施方式1不同。在实施方式2中说明该不同点，而关于相同点省略说明。

＊＊＊结构的说明＊＊＊

参照图11说明实施方式2的动作确定装置10的结构。

动作确定装置10具备学习部26来代替动作信息登记部23，这点与图1所示的动作确定装置10不同。另外，关于动作确定装置10，存储设备13存储学习模型32来代替动作信息表格31，这点与图1所示的动作确定装置10不同。

＊＊＊动作的说明＊＊＊

参照图12至图13说明实施方式2的动作确定装置10的动作。

实施方式2的动作确定装置10的动作相当于实施方式2的动作确定方法。另外，实施方式2的动作确定装置10的动作相当于实施方式2的动作确定程序的处理。

实施方式2的动作确定装置10的动作包括学习处理和确定处理。

参照图12说明实施方式2的学习处理。

步骤s31至步骤s32的处理与图2的步骤s11至步骤s12的处理相同。另外，步骤s34的处理与图2的步骤s14的处理相同。

(步骤s33：学习模型生成处理)

学习部26使得将在步骤s32中所提取的动作信息和与动作信息的提取源的图像数据相同组的标签信息的多个组作为学习数据学习。由此，学习部26生成学习模型32，该学习模型32在输入了骨骼信息43时确定与所输入的骨骼信息43相似的动作信息，输出与所确定的动作信息对应的标签信息。关于基于学习数据的学习的方法，使用现有的机器学习模型等即可。学习部26将所生成的学习模型32写入到存储设备13中。

在已经生成有学习模型32的情况下，学习部26针对已生成的学习模型32提供学习数据，由此更新学习模型32。

另外，在步骤s31中，不只是图像数据和标签信息的对，也可以只输入图像数据。在该情况下，在步骤s32中从图像数据提取动作信息，在步骤s33中仅动作信息作为学习数据提供给学习模型32。这样，在不存在标签信息的情况下也能够得到一定的学习效果。

参照图13说明实施方式2的确定处理。

步骤s41至步骤s42的处理与图7的步骤s21至步骤s22的处理相同。另外，步骤s44至步骤s45的处理与图7的步骤s24至步骤s25的处理相同。

(步骤s43：动作确定处理)

动作确定部24将在步骤s42中所提取的对象信息输入到存储于存储设备13的学习模型32中，并取得从学习模型32输出的标签信息。然后，动作确定部24将所取得的标签信息示出的动作内容确定为对象者正进行的动作内容。也就是说，动作确定部24将通过学习模型32从对象信息推断并输出的标签信息示出的动作内容确定为对象者正进行的动作内容。

＊＊＊实施方式2的效果＊＊＊

如上所述，实施方式2的动作确定装置10生成学习模型32，并通过学习模型32确定与对象信息对应的标签信息。因此，能够高效地执行与对象信息对应的标签信息的确定。

＊＊＊其他结构＊＊＊

<变形例5>

在实施方式2中，如图11所示，动作确定装置10是一个装置。然而，与变形例1同样地，动作确定装置10也可以是包括多个装置的系统。

作为具体示例，如图14所示，动作确定装置10也可以是包括具有与学习处理有关的功能的登记装置和具有与确定处理有关的功能的确定装置的系统。在该情况下，学习模型32可以存储在设置于学习装置和确定装置的外部的存储装置中，也可以存储在学习装置和确定装置中的任意装置的存储设备中。

另外，在图14中，省略了登记装置和确定装置中的硬件。关于学习装置和确定装置，与动作确定装置10同样地，作为硬件具备处理器、存储器、存储设备和通信接口。

<变形例6>

在实施方式2中，如图11所示，关于动作确定装置10，作为硬件具备处理器11、存储器12、存储设备13和通信接口14。关于动作确定装置10，作为处理器11也可以具备cpu、gpu、学习处理用的处理器和推断处理用的处理器。在该情况下，也可以是：关于进行图像处理的骨骼提取部22，通过gpu实现；关于与学习模型32的学习有关的学习部26；通过学习处理用的处理器实现；关于通过学习模型32进行推断的动作确定部24，通过推断处理用的处理器实现；关于剩余的图像取得部21和学习部26，通过cpu实现。