一种核电厂主控室的人机交互方法、系统及计算机设备与流程

本发明涉及人机交互，尤其涉及一种核电厂主控室的人机交互方法、系统及计算机设备。

背景技术：

1、目前在核电厂主控室大量使用的图形用户界面大多使用键盘和鼠标两种输入设备进行人机交互，操作员全部依赖于二维图形界面来输入和获取信息，人机交互的方式比较单一。

技术实现思路

1、本发明所要解决的技术问题是：现有技术中，核电厂主控室的人机交互的方式比较单一的问题。

2、针对现有技术的上述不足，提供一种核电厂主控室的人机交互方法、系统及计算机设备，在核电厂主控制室二维图形人机界面的基础上增加基于手势的交互方式，通过多元化人机交互方式提高人机交互的效率和多维度可靠性。

3、第一方面，本发明提供了一种核电厂主控室的人机交互方法，包括：获取预设时间段内的操作员视频。根据操作员视频和手势识别网络，获取操作员当前手势的分类结果。根据预设的手势分类结果与控制任务的映射关系，获取与操作员当前手势的分类结果对应的当前控制任务。以及，根据操作员当前手势的分类结果与其对应的当前控制任务，实现与当前控制任务对应的控制功能。其中，操作员视频包括操作员的多帧图像，操作员的多帧图像中至少有一帧图像包括操作员的手部图像信息。

4、具体地，根据操作员视频和手势识别网络，获取操作员当前手势的分类结果，包括：根据操作员视频和手部区域检测网络，获取操作员的多帧图像中包含手部的每一帧图像的手部区域图像。根据操作员的多帧图像中包含手部的每一帧图像的手部区域图像和手部关键点检测网络，获取操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息。以及，根据操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息和动态手势识别网络，获取操作员当前手势的分类结果。

5、具体地，根据操作员视频和手部区域检测网络，获取操作员的多帧图像中包含手部的每一帧图像的手部区域图像，包括：在不同的照明条件下，分别获取多个操作员的多帧手部图像。在多个操作员的多帧手部图像中的每一帧手部图像中标记手部区域，以制作手部区域图像的数据集。根据深度学习算法对手部区域图像的数据集进行训练，以获取手部区域检测网络。以及，将操作员的多帧图像输入至手部区域检测网络，得出操作员的多帧图像中包含手部的每一帧图像的手部区域图像。

6、具体地，根据操作员的多帧图像中包含手部的每一帧图像的手部区域图像和手部关键点检测网络，获取操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息，包括：在不同的照明条件下，分别获取多个操作员的多帧手部图像。在多个操作员的多帧手部图像中的每一帧手部图像中标记手部区域，以制作手部区域图像的数据集。在手部区域图像的数据集中的每一帧手部区域图像中标记手部关键点，以制作手部关键点的数据集。根据深度学习算法对手部关键点的数据集进行训练，以获取手部关键点检测网络。以及，将操作员的多帧图像中包含手部的每一帧图像的手部区域图像输入至手部关键点检测网络，得出操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息。

7、具体地，根据操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息和动态手势识别网络，获取操作员当前手势的分类结果，包括：分别获取多个操作员的多种手势类型的视频。根据多个操作员的多种手势类型的视频和手部关键点检测网络，获取动态手势数据集。根据深度学习算法对动态手势数据集进行训练，以获取动态手势识别网络。以及，将操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息输入至动态手势识别网络，获取操作员当前手势的分类结果。

8、具体地，根据多个操作员的多种手势类型的视频和手部关键点检测网络，获取动态手势数据集，包括：根据手部关键点检测网络获取第一手势类型的视频中每一帧图像的手部关键点信息。第一手势类型为多种手势类型中的任一种手势类型。根据第一手势类型的视频中每一帧图像的手部关键点信息生成第一手势类型的视频的关键点信息序列。以及，根据第一手势类型的视频的关键点信息序列和第一手势类型生成动态手势数据集。

9、具体地，将操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息输入至动态手势识别网络，得出操作员当前手势的分类结果，包括：根据操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息生成关键点信息序列。以及，将关键点信息序列输入至动态手势识别网络，获取操作员当前手势的分类结果。

10、第二方面，本发明提供了一种核电厂主控室的人机交互系统，包括视频采集模块、手势分类模块、任务获取模块和任务实现模块。视频采集模块，其设置为获取预设时间段内的操作员视频。操作员视频包括操作员的多帧图像，操作员的多帧图像中至少有一帧图像包括操作员的手部图像信息。手势分类模块，其设置为根据操作员视频和手势识别网络，获取操作员当前手势的分类结果。任务获取模块，其设置为根据预设的手势分类结果与控制任务的映射关系，获取与操作员当前手势的分类结果对应的当前控制任务。任务实现模块，其设置为根据操作员当前手势的分类结果与其对应的当前控制任务，实现与当前控制任务对应的控制功能。

11、具体地，手势识别网络包括手部区域检测网络、手部关键点检测网络以及动态手势识别网络。手势分类模块包括手部区域检测模块、手部关键点检测模块和动态手势检测模块。手部区域检测模块设置为根据操作员视频和手部区域检测网络，获取操作员的多帧图像中包含手部的每一帧图像的手部区域图像。手部关键点检测模块设置为根据操作员的多帧图像中包含手部的每一帧图像的手部区域图像和手部关键点检测网络，获取操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息。动态手势检测模块设置为根据操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息和动态手势识别网络，获取操作员当前手势的分类结果。

12、具体地，视频采集模块还设置为在不同的照明条件下，获取多个操作员的多帧手部图像。手部区域检测模块设置为在多个操作员的多帧手部图像中的每一帧手部图像中标记手部区域，以制作手部区域图像的数据集。根据深度学习算法对手部区域图像的数据集进行训练，以获取手部区域检测网络。以及，将操作员的多帧图像中的每一帧图像输入至手部区域检测网络，得出操作员的多帧图像中包含手部的每一帧图像的手部区域图像。

13、具体地，手部关键点检测模块设置为：在手部区域图像的数据集中的每一帧手部区域图像中标记手部关键点，以制作手部关键点的数据集。根据深度学习算法对手部关键点的数据集进行训练，以获取手部关键点检测网络。以及，将操作员的多帧图像中包含手部的每一帧图像的手部区域图像输入至手部关键点检测网络，得出操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息。操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息为关键点在操作员的多帧图像中每一帧图像的坐标。

14、具体地，动态手势检测模块设置为：分别获取多个操作员的多种手势类型的视频。根据多个操作员的多种手势类型的视频和手部关键点检测网络，获取动态手势数据集。根据深度学习算法对动态手势数据集进行训练，以获取动态手势识别网络。以及，将操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息输入至动态手势识别网络，得出操作员当前手势的分类结果。

15、具体地，动态手势检测模块设置为：根据手部关键点检测网络获取第一手势类型的视频中每一帧图像的手部关键点信息。第一手势类型为多种手势类型中的任一种手势类型。根据第一手势类型的视频中每一帧图像的手部关键点信息生成第一手势类型的视频的关键点信息序列。以及，动态手势数据集包括第一手势类型的视频的关键点信息序列和第一手势类型。

16、具体地，动态手势检测模块设置为：根据操作员的多帧图像中包含手部的每一帧图像的手部区域图像的手部关键点信息生成关键点信息序列。以及，将关键点信息序列输入至动态手势识别网络，得出操作员当前手势的分类结果。

17、第三方面，本发明提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述核电厂主控室的人机交互方法的步骤。

18、第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，处理器执行上述核电厂主控室的人机交互方法的步骤。

19、本发明的有益效果为：通过本发明提供的核电厂主控室的人机交互方法，操作员可以使用包括手势在内的多种方式与核电厂的系统进行信息交互，这种多元化的交互方式可以大大提升操作员的交互体验，更加自然地与核电控制系统进行交互，高效完成控制任务。而在智能交互系统中，手势交互是一个重要的组成部分，手势作为人类交流的重要语言，以手势作为媒介进行辅助控制，可以有效弥补操作员交互效率不足的问题，减轻操作员的任务负担，提高操作员的工作效率。