信息处理装置和信息处理方法与流程

本公开涉及信息处理装置和信息处理方法。

背景技术：

1、以往，进行了使用由设置于工厂等作业现场的摄像头拍摄到的动态图像来改善作业现场所包含的作业工序的尝试。例如，日本特开2020-204819号公报公开了对通过顶棚摄像头的拍摄得到的动态图像进行图像分析的信息处理装置。信息处理装置通过对动态图像进行图像分析，判定在与各工序对应的监视区域中是否存在作业者，生成表示判定为在监视区域中存在作业者的时间段的数据。

2、在日本特开2020-204819号公报所公开的技术中，虽然监视在与各工序对应的监视区域中是否存在作业者，但无法监视到作业者的详细状况。

技术实现思路

1、本公开是鉴于上述问题而完成的，其目的在于提供一种能够掌握作业者的详细状况的信息处理装置以及信息处理方法。

2、根据本公开的一例，信息处理装置具有取得部、动作区间检测部和提供部。取得部从设置于生产现场、且拍摄对象作业者和对象作业者的周围的摄像头取得动态图像。动作区间检测部使用推断模型，从动态图像所包含的连续的规定张数的第1帧中，检测在规定张数的第1帧中映现的对象作业者的作业的动作区间。提供部提供动作区间检测部的检测结果。推断模型是通过使用了多个学习数据集的学习处理而生成的。多个学习数据集分别包含：在映现有特定作业者的动态图像中包含的、连续的规定张数的第2帧；以及标签，其表示在规定张数的第2帧中映现的特定作业者的作业的动作区间。

3、根据本公开的一例，信息处理装置具有：取得部，其从设置于生产现场、且拍摄作业者的面部的摄像头取得动态图像；情绪检测部，其检测在动态图像的各帧中映现的作业者的情绪；以及提供部，其提供由情绪检测部检测的情绪的推移。

4、在上述公开中，优选的是，情绪检测部输出情绪的多个种类各自的得分。优选的是，提供部还根据多个种类中的对象种类的得分脱离规定范围这一情况，提供促使作业者的关注的通知。

5、根据本公开的一例，信息处理装置具有：取得部，其从设置于生产现场、且拍摄作业者的面部的摄像头取得动态图像；视线检测部，其检测在动态图像的各帧中映现的作业者的视线方向；以及提供部，其提供映现有作业者的眼前存在的物体的图像。提供部基于由视线检测部检测出的视线方向，决定图像中的作业者的视点的位置，在图像中，在所决定的位置处显示标记。

6、根据本公开的一例，信息处理方法具有以下步骤：从设置于生产现场、且拍摄对象作业者和对象作业者的周围的摄像头取得动态图像；使用推断模型，从动态图像所包含的连续的规定张数的第1帧中，检测在规定张数的第1帧中映现的对象作业者的作业的动作区间；以及提供检测结果。推断模型是通过使用了多个学习数据集的学习处理而生成的，多个学习数据集分别包含：在映现有特定作业者的动态图像中包含的、连续的规定张数的第2帧；以及标签，其表示在规定张数的第2帧中映现的特定作业者的作业的动作区间。

7、根据本公开的一例，信息处理方法具有以下步骤：从设置于生产现场、且拍摄作业者的面部的摄像头取得动态图像；检测在动态图像的各帧中映现的作业者的情绪；以及提供所检测的情绪的推移。

8、在上述公开中，优选的是，进行检测的步骤包含以下步骤：输出情绪的多个种类各自的得分。进行提供的步骤优选包含以下步骤：根据多个种类中的对象种类的得分脱离规定范围这一情况，提供促使作业者的关注的通知。

9、根据本公开的一例，信息处理方法具有以下步骤：从设置于生产现场、且拍摄作业者的面部的摄像头取得动态图像；检测在动态图像的各帧中映现的作业者的视线方向；以及提供映现有作业者的眼前存在的物体的图像。进行提供的步骤包含以下步骤：基于检测出的视线方向，决定图像中的作业者的视点的位置；以及在图像中，在所决定的位置处显示标记。

10、根据这些公开，用户能够掌握作业者的详细状况(作业的动作区间、视线方向、情绪)。

11、本发明的上述以及其他目的、特征、方面以及优点根据与附图相关联地理解的和本发明有关的以下详细说明而变得明确。

技术特征：

1.一种信息处理装置，其中，该信息处理装置具有：

2.根据权利要求1所述的信息处理装置，其中，该信息处理装置具有：

3.根据权利要求1所述的信息处理装置，其中，该信息处理装置具有：

4.根据权利要求1所述的信息处理装置，其中，该信息处理装置具有：

5.一种信息处理装置，其中，该信息处理装置具有：

6.根据权利要求5所述的信息处理装置，其中，

7.一种信息处理方法，其中，该信息处理方法具有以下步骤：

8.一种信息处理方法，其中，该信息处理方法具有以下步骤：

技术总结
信息处理装置和信息处理方法。信息处理装置(10)具有：摄像头接口(16)，其从设置于生产现场且拍摄作业者及其周围的摄像头(40)、和拍摄作业者的面部的摄像头(30)取得动态图像；以及处理器(11)。处理器(11)使用推断模型，从摄像头(40)的动态图像所包含的连续的规定张数的帧中，检测作业者的作业的动作区间。处理器(11)检测摄像头(30)的动态图像的各帧中映现的作业者的情绪和视线方向。进而，处理器(11)提供检测结果。

技术研发人员：南百濑勇,藤木翼
受保护的技术使用者：欧姆龙株式会社
技术研发日：
技术公布日：2024/1/13