信息处理系统、行为量化程序以及行为量化方法与流程

本发明涉及信息处理系统、行为量化程序以及行为量化方法。

背景技术：

1、近年来，在工厂等制造现场中，通过使用了机器人的自动化来实现生产率的提高以及生产成本的抑制。

2、但是，特别是在mfp(multi function peripheral，多功能外围设备)等精密设备的制造等的领域中，要求对于机器人而言难以完成的精细的作业。在这样的领域中，通过人工来进行作业，要求通过作业人员的作业的高效化来实现生产率的提高以及生产成本的抑制。

3、一般而言，为了推进生产率的提高等，灵活运用质量管理、生产工程(productionengineering)的方法。在生产工程的方法中，通过使用科学的方法来细致地量化工序、作业的方法、作业所花费的时间等，从而导出最佳的方法，由此实现生产率的提高等。在生产工程的方法中为了改进生产工序而使用时间分析法。在时间分析法中，根据工序的作业内容来决定“标准时间”，并与通过利用秒表等来测量工序的作业实际上需要的时间而得到的“实际作业时间”进行比较，将“实际作业时间”大幅地多于“标准时间”的工序确定为生产率低的工序并进行改进。

4、为了推进工序的改进，理想的是基于时间分析法而使“现状分析”、“要因确定”、“对策研究/投入”以及“效果测定”的改进循环高速地运转。为了进行“现状分析”和“效果测定”，需要收集全部工序的“实际作业时间”。但是，为了收集全部工序的“实际作业时间”，通常需要庞大的工时，成为改进循环的瓶颈。

5、另外，在“现状分析”完成之后，实施用于“要因确定”的“作业内容解析”。通过根据收集到的实际作业时间来划分直接作业(例如产品装配所需的作业)和间接作业(直接作业所附带的作业(例如丢弃废品、从袋子取出零件)，并验证直接作业和间接作业中的哪一个比规定的时间花费得多等，从而进行“要因确定”。现状为这些验证是通过由分析担当人员直接观察对象工序中的作业人员的作业而进行的，所以这也成为改进循环的瓶颈。

6、与时间分析法关联地，在下述专利文献1中公开了如下的技术。在探测到由rfid读取器读取了作业人员的rfid标签时，显示作业指示画面。在由作业人员基于作业指示画面实施的作业结束后，如果探测到由作业人员进行的作业完成按钮等的操作，则计算出从探测到由rfid读取器读取rfid标签起至探测到作业完成按钮等的操作为止的时间作为作业所需的时间并保存。

7、现有技术文献

8、专利文献1：日本特开2019-109856号公报

技术实现思路

1、但是，专利文献1公开的技术存在如下问题：为了得到实际作业时间，作业人员需要操作装置，由于操作的错误等而存在所得到的实际作业时间的精度降低的可能性。本发明是为了解决这样的问题而完成的，目的在于提供一种能够简单并且高精度地实现作业人员的行为的量化的信息处理系统、行为量化程序以及行为量化方法。

2、本发明的上述课题通过以下的手段来解决。

3、(1)一种信息处理系统，具有：取得部，从物体的图像取得所述物体的关节点；以及行为量化部，根据所述关节点，对所述物体的行为进行量化。

4、(2)在上述(1)记载的信息处理系统中，具有识别部，该识别部根据所述关节点来识别所述物体。

5、(3)在上述(2)记载的信息处理系统中，所述识别部根据所述关节点和取得所述关节点的所述图像来识别所述物体。

6、(4)在上述(2)或者(3)记载的信息处理系统中，具有控制部，该控制部将由所述行为量化部量化的所述物体的所述行为的量化值与由所述识别部识别的所述物体对应起来。

7、(5)在上述(3)记载的信息处理系统中，具有：确定部，确定所述关节点之中的附带预定的物品的所述关节点；以及颜色信息抽出部，从所述图像抽出由所述确定部确定的所述关节点的颜色信息作为所述物体的所述颜色信息，所述识别部根据抽出的所述颜色信息来识别所述物体。

8、(6)在上述(5)记载的信息处理系统中，所述确定部将被用户指定的所述关节点确定为附带所述预定的物品的所述关节点。

9、(7)在上述(5)或者(6)记载的信息处理系统中，所述识别部识别与抽出的所述颜色信息之中的亮度值为预定的范围内的所述颜色信息被抽出的所述关节点对应的所述物体。

10、(8)在上述(1)～(7)中的任意一个记载的信息处理系统中，具有轨迹计算部，该轨迹计算部计算所述关节点的轨迹，所述行为量化部通过根据所述轨迹来计算所述物体的移动距离，从而对所述物体的所述行为进行量化。

11、(9)在上述(1)～(8)中的任意一个记载的信息处理系统中，所述信息处理系统具有特征量计算部，该特征量计算部根据所述关节点来计算特征量，所述信息处理系统具有判别部，该判别部根据所述关节点以及所述特征量，将在所述图像中所述物体进行的作业判别为多个种类的所述作业，所述行为量化部针对所判别的每个所述作业，对所述物体的所述行为进行量化。

12、(10)在上述(9)记载的信息处理系统中，所述特征量包括所述关节点之间的相对距离。

13、(11)在上述(9)或者(10)记载的信息处理系统中，所述特征量包括所述关节点的移动速度。

14、(12)在上述(9)～(11)中的任意一个记载的信息处理系统中，所述判别部通过将各作业的作业标志设为目标变量并将所述关节点以及所述特征量设为说明变量的监督学习，将所述物体进行的所述作业判别为多个种类的所述作业。

15、(13)在上述(9)～(11)中的任意一个记载的信息处理系统中，所述判别部根据从所述图像的多个时间序列的帧取得的所述关节点的分布，通过无监督学习，将所述物体进行的所述作业判别为多个种类的所述作业。

16、(14)一种行为量化程序，用于使计算机执行：步骤(a)，从物体的图像取得所述物体的关节点；以及步骤(b)，根据所述关节点，对所述物体的行为进行量化。

17、(15)一种行为量化方法，具有：步骤(a)，从物体的图像取得所述物体的关节点；以及步骤(b)，根据所述关节点，对所述物体的行为进行量化。

18、从物体的图像取得物体的关节点，根据关节点对物体的行为进行量化。由此，能够简单并且高精度地实现作业人员的行为的量化。

1.一种信息处理系统，具有：

2.根据权利要求1所述的信息处理系统，其中，

3.根据权利要求2所述的信息处理系统，其中，

4.根据权利要求2或者3所述的信息处理系统，其中，

5.根据权利要求3所述的信息处理系统，其中，

6.根据权利要求5所述的信息处理系统，其中，

7.根据权利要求5或者6所述的信息处理系统，其中，

8.根据权利要求1～7中的任意一项所述的信息处理系统，其中，

9.根据权利要求1～8中的任意一项所述的信息处理系统，其中，

10.根据权利要求9所述的信息处理系统，其中，

11.根据权利要求9或者10所述的信息处理系统，其中，

12.根据权利要求9～11中的任意一项所述的信息处理系统，其中，

13.根据权利要求9～11中的任意一项所述的信息处理系统，其中，

14.一种行为量化程序，用于使计算机执行：

15.一种行为量化方法，具有：