基于云计算的智能培训监督方法及系统与流程

文档序号:33640519发布日期:2023-03-29 01:56阅读:38来源:国知局
1.本发明涉及信息处理
技术领域
:,具体而言,涉及一种基于云计算的智能培训监督方法及系统。
背景技术
::2.在企业、厂房、团队管理中,为了提升员工的工作熟练度,企业需要及时地对每一位员工的职业技能进行评估和培训。传统的人工培训方式存在培训成本高、培训方案单一、培训进度难以个性化、培训成果难以评估等一些列问题。3.同时,在相关技术中,无法对参加培训的人员进行监督,也无法知道培训效果,仅仅能够通过培训主讲人的打分来确定整体培训效果,无法具体到个人,与实际的培训需求完全不匹配,导致很多公司、企业在后续工作中减少培训,耗费大量的时间通过私下会议进行沟通,影响了员工办公效率。4.针对上述的问题,目前尚未提出有效的解决方案。技术实现要素:5.本发明实施例提供了一种基于云计算的智能培训监督方法及系统,以至少解决相关技术中培训成果难以评估的技术问题。6.根据本发明实施例的一个方面,提供了一种基于云计算的智能培训监督方法,包括:采集在培训空间内的多个视频流,并提取每个所述视频流中出现的人脸图像;将提取的人脸图像与注册图像进行匹配,确定与每个参加培训的用户对象的图像集合;建立与每个所述用户对象对应的块存储区间,将所述图像集合存储至与所述用户对象对应的所述块存储区间;对于后续每个培训时间段产生的图像集合分别放入对应的块存储区间;采用指定的云计算分析网络对每个所述块存储区间内存储的图像进行分析,确定每个用户对象在每个子时间段的学习状态,对该子时间段的学习状态配置状态分数;统计每个用户对象在培训总时长内与每个子时间段对应的学习状态和状态分数,得到每个用户对象的总学习分数;输出每个所述用户对象的对象信息和对应的总学习分数,以确定各用户对象的培训得分。7.根据本发明实施例的另一方面,还提供了一种基于云计算的智能培训监督系统,包括:采集单元,用于采集在培训空间内的多个视频流,并提取每个所述视频流中出现的人脸图像;第一确定单元,用于将提取的人脸图像与注册图像进行匹配,确定与每个参加培训的用户对象的图像集合;建立单元,用于建立与每个所述用户对象对应的块存储区间,将所述图像集合存储至与所述用户对象对应的所述块存储区间;放入单元,用于对于后续每个培训时间段产生的图像集合分别放入对应的块存储区间;第二确定单元,用于采用指定的云计算分析网络对每个所述块存储区间内存储的图像进行分析,确定每个用户对象在每个子时间段的学习状态,对该子时间段的学习状态配置状态分数;统计单元,用于统计每个用户对象在培训总时长内与每个子时间段对应的学习状态和状态分数,得到每个用户对象的总学习分数;输出单元,用于输出每个所述用户对象的对象信息和对应的总学习分数,以确定各用户对象的培训得分。8.根据本发明实施例的另一方面,还提供了一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的基于云计算的智能培训监督方法。9.根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的基于云计算的智能培训监督方法。10.本发明中,可以在培训过程中,采集在培训空间内的多个视频流,并提取每个视频流中出现的人脸图像,将提取的人脸图像与注册图像进行匹配,确定与每个参加培训的用户对象的图像集合,建立与每个用户对象对应的块存储区间,将图像集合存储至与用户对象对应的块存储区间,对于后续每个培训时间段产生的图像集合分别放入对应的块存储区间,采用指定的云计算分析网络对每个块存储区间内存储的图像进行分析,确定每个用户对象在每个子时间段的学习状态,对该子时间段的学习状态配置状态分数,统计每个用户对象在培训总时长内与每个子时间段对应的学习状态和状态分数,得到每个用户对象的总学习分数,输出每个用户对象的对象信息和对应的总学习分数,以确定各用户对象的培训得分。在本发明中,可以通过云计算分析技术对每个用户对象在培训过程中各个子时间段的学习状态进行分析,统计每个用户对象在培训总时长内与每个子时间段对应的学习状态和状态分数,得到每个用户对象的总学习分数,进而通过培训得分确定每个被培训对象的培训效果,量化培训成果,使得培训成果能够准确评估,从而解决相关技术中培训成果难以评估的技术问题。附图说明11.此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:图1是根据本发明实施例的一种基于云计算的智能培训监督方法的流程图;图2是根据本发明实施例的一种可选的基于云计算的智能培训监督系统的示意图。具体实施方式12.为了使本
技术领域
:的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。13.根据本发明实施例,提供了一种基于云计算的智能培训监督方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。14.图1是根据本发明实施例的一种基于云计算的智能培训监督方法的流程图,如图1所示,该方法包括如下步骤:步骤s101,采集在培训空间内的多个视频流,并提取每个视频流中出现的人脸图像;步骤s102,将提取的人脸图像与注册图像进行匹配,确定与每个参加培训的用户对象的图像集合;步骤s103,建立与每个用户对象对应的块存储区间,将图像集合存储至与用户对象对应的块存储区间;本实施例提供的块存储区间是将图像对应的数据拆分成块,并单独存储与每个图像对应的各个块,每个块存储区间都有一个唯一标识符,所以存储系统能将较小的数据存放在最方便的位置。15.步骤s104,对于后续每个培训时间段产生的图像集合分别放入对应的块存储区间;步骤s105,采用指定的云计算分析网络对每个块存储区间内存储的图像进行分析,确定每个用户对象在每个子时间段的学习状态,对该子时间段的学习状态配置状态分数;步骤s106,统计每个用户对象在培训总时长内与每个子时间段对应的学习状态和状态分数,得到每个用户对象的总学习分数;步骤s107,输出每个用户对象的对象信息和对应的总学习分数,以确定各用户对象的培训得分。16.通过上述步骤,可以在培训过程中,采集在培训空间内的多个视频流,并提取每个视频流中出现的人脸图像,将提取的人脸图像与注册图像进行匹配,确定与每个参加培训的用户对象的图像集合,建立与每个用户对象对应的块存储区间,将图像集合存储至与用户对象对应的块存储区间,对于后续每个培训时间段产生的图像集合分别放入对应的块存储区间,采用指定的云计算分析网络对每个块存储区间内存储的图像进行分析,确定每个用户对象在每个子时间段的学习状态,对该子时间段的学习状态配置状态分数,统计每个用户对象在培训总时长内与每个子时间段对应的学习状态和状态分数,得到每个用户对象的总学习分数,输出每个用户对象的对象信息和对应的总学习分数,以确定各用户对象的培训得分。在该实施例中,可以通过云计算分析技术对每个用户对象在培训过程中各个子时间段的学习状态进行分析,统计每个用户对象在培训总时长内与每个子时间段对应的学习状态和状态分数,得到每个用户对象的总学习分数,进而通过培训得分确定每个被培训对象的培训效果,量化培训成果,使得培训成果能够准确评估,从而解决相关技术中培训成果难以评估的技术问题。17.可选的,采集在培训空间内的多个视频流,并提取每个视频流中出现的人脸图像的步骤,包括:通过培训讲台上预先配置的拍摄设备以及培训空间的顶层均匀配置的n个拍摄设备分别拍摄在座椅区的视频流,得到多个视频流,其中,n为大于等于1的正整数,座椅区的大小根据每个培训空间内的形状和参数人数设置,座椅区中包含有多个被用户对象使用的座凳;按照指定时间间隔提取视频流中的m帧图像,m为大于等于1的正整数;对m帧图像进行平滑滤波处理和噪声过滤处理,得到多通道图像;采用滑动窗口对多通道图像依次进行处理,得到每相邻两帧之间在时间顺序上的关联关系;基于关联关系以及预先构建的分类器cascadecnn,筛选多通道图像,得到候选人脸图像集合,其中,分类器cascadecnn是采用预先构建的卷积神经网络所使用的每一级的分类器;采用非极大值抑制算法合并重叠度高于指定重叠度阈值的滑动窗口,并对保留的滑动窗口对应的候选人脸图像进行分类,并确定与每个类别的候选人脸图像对应的准确度评估值;筛选准确度评估值最高的目标类别的候选人脸图像作为视频流中出现的人脸图像。18.其中,培训空间的顶层可以是指靠近房间顶部区域的角落或者屋顶区域,配置的拍摄设备尽量覆盖整个座椅区。19.上述的分类器cascadecnn是一种用于人脸检测的级联分类器,级联的效果:初始网络不用设计很复杂,减小计算量,可以设置较宽松的阈值,保证高召回率的同时排除大量非人脸窗口。20.上述的非极大值抑制算法(non-maximumsuppression,简称nms),是指抑制不是极大值的元素,可以理解为局部最大搜索。21.通过上述实施方式,过滤掉非人脸信息,例如,过滤座椅、地面、墙面等,主要提取出座椅区内的各个人脸图像。22.可选的,预先构建的卷积神经网络,包括:relu激活函数,用于加载多通道图像的人脸线性框;softmax函数,用于对候选人脸图像进行归一化处理,输出用户对象的初始学习状态。23.通过relu激活函数能够对人脸区域进行人脸感兴趣框提取,例如,包含人脸主要器官的长方体框或者正方体框。通过softmax函数能够进行初始分类,确认用户对象的初始学习状态,本实施例中可以初始学习状态划分为:专注、疲劳、走神、深思等。24.可选的,将提取的人脸图像与注册图像进行匹配,确定与每个参加培训的用户对象的图像集合的步骤,包括:将提取的人脸图像输入至锥形嵌入模型cone,输出匹配度最高的用户对象,将人脸图像归纳至匹配度最高的用户对象所对应的图像集合中,其中,锥形嵌入模型cone预先管理所有的用户对象的注册图像,并对每个用户对象分别建立匹配层级,每个匹配层级中的层次结构相同。25.将人脸图像输入至锥形嵌入模型cone之后,模型输出匹配对最高的用户对象(通过对象标识等信息进行指定),从而将该人脸图像归纳至对应该用户对象的图像集合中。通过不断地图像匹配,每个图像对应的拍摄时间点,后续就能够分析用户对象在各个时间点的培训得分。26.可选的,采用指定的云计算分析网络对每个块存储区间内存储的图像进行分析,确定每个用户对象在每个子时间段的学习状态的步骤,包括:将基于不变学习的内在可解释图神经网络ii-gnn作为指定的云计算分析网络;将块存储区间内存储的图像输入至ii-gnn,输出用户对象与每张人脸图像对应的子时间段的学习状态。27.gnn可以是指图神经网络(graphneuralnetwork,简称gnn),是指使用神经网络来学习人脸图像的结构数据,提取人脸图像中的学习状态的,实现学习状态的分类。28.ii-gnn可以是指基于不变学习的内在可解释(intrinsicallyinterpretable)的图神经网络。该ii-gnn,是指在通过多粒度的学习状态分类的事前解释和预分类之后,并进一步针对事前解释衡量模型框架的失真性进行探索,所引出的基于不变学习的内在可解释(intrinsicallyinterpretable)图神经网络,不仅可以使得学习状态的评估透明化,而且还可以增强模型的泛化能力与鲁棒性。29.可选的,在采用指定的云计算分析网络对每个块存储区间内存储的图像进行分析之前,还包括:预先构建多个学习状态标签,每个学习状态标签对应一个学习状态;为每个学习状态标签构建人脸表情集合和眼部状态集合,其中,人脸表情集合中包含有多个已知的脸型对应学习状态的表情信息,眼部状态集合包含多个已知的脸型对应学习状态的眼部闭合信息和眼部注意度信息;为人脸表情集合中每种人脸表情和眼部状态集合中的每种眼部闭合、眼部注意度配置对应的注册图像。30.可选的,还包括:采集培训空间内的声音信息;提取与声音信息对应的培训主讲者的主讲文本,对主讲文本进行预处理,获取与主讲文本的词向量和句向量;基于词向量和句向量,获取培训主讲者的培训意图;在培训意图偏离当前培训会的主题要求时,向培训主讲者的终端输出提醒信息。31.可选的,还包括:向用户对象持有的终端发送培训问题,并接收用户回复答案;基于培训问题的标准答案对用户回复答案进行匹配,计算用户对象的作答评分;结合作答评分以及状态分数,计算用户对象的总学习分数。32.可选的,基于培训问题的标准答案对用户回复答案进行匹配,包括:基于用户回复答案对应的词向量和句向量,与标准答案的词向量和句向量进行多维相似度计算,获取多维相似度矩阵;通过gcn+attention机制进行监督式训练,获取各维度的权重值;基于权重值对多维相似度矩进行加权求和,得到目标相似度矩阵;在目标相似度矩阵中,对目标相似度矩阵的每一行提取相似度最大值,判断相似度最大值是否大于相似度矩阵阈值;若相似度最大值大于相似度矩阵阈值,则确认用户回复答案与标准答案匹配。33.下面通过另一个可选的实施例来说明本发明。34.本实施例提供了一种基于云计算的智能培训监督系统,该系统包含的各个实施单元对应于上述实施例中的各个实施步骤。35.图2是根据本发明实施例的一种可选的基于云计算的智能培训监督系统的示意图,包括:采集单元21,用于采集在培训空间内的多个视频流,并提取每个视频流中出现的人脸图像;第一确定单元22,用于将提取的人脸图像与注册图像进行匹配,确定与每个参加培训的用户对象的图像集合;建立单元23,用于建立与每个用户对象对应的块存储区间,将图像集合存储至与用户对象对应的块存储区间;放入单元24,用于对于后续每个培训时间段产生的图像集合分别放入对应的块存储区间;第二确定单元25,用于采用指定的云计算分析网络对每个块存储区间内存储的图像进行分析,确定每个用户对象在每个子时间段的学习状态,对该子时间段的学习状态配置状态分数;统计单元26,用于统计每个用户对象在培训总时长内与每个子时间段对应的学习状态和状态分数,得到每个用户对象的总学习分数;输出单元27,用于输出每个用户对象的对象信息和对应的总学习分数,以确定各用户对象的培训得分。36.上述基于云计算的智能培训监督系统,可以通过采集单元21在培训过程中,采集在培训空间内的多个视频流,并提取每个视频流中出现的人脸图像,通过第一确定单元22将提取的人脸图像与注册图像进行匹配,确定与每个参加培训的用户对象的图像集合,通过建立单元23建立与每个用户对象对应的块存储区间,将图像集合存储至与用户对象对应的块存储区间,通过放入单元24对于后续每个培训时间段产生的图像集合分别放入对应的块存储区间,通过第二确定单元25采用指定的云计算分析网络对每个块存储区间内存储的图像进行分析,确定每个用户对象在每个子时间段的学习状态,对该子时间段的学习状态配置状态分数,通过统计单元26统计每个用户对象在培训总时长内与每个子时间段对应的学习状态和状态分数,得到每个用户对象的总学习分数,通过输出单元27输出每个用户对象的对象信息和对应的总学习分数,以确定各用户对象的培训得分。在该实施例中,可以通过云计算分析技术对每个用户对象在培训过程中各个子时间段的学习状态进行分析,统计每个用户对象在培训总时长内与每个子时间段对应的学习状态和状态分数,得到每个用户对象的总学习分数,进而通过培训得分确定每个被培训对象的培训效果,量化培训成果,使得培训成果能够准确评估,从而解决相关技术中培训成果难以评估的技术问题。37.可选的,采集单元21包括:拍摄模块,用于通过培训讲台上预先配置的拍摄设备以及培训空间的顶层均匀配置的n个拍摄设备分别拍摄在座椅区的视频流,得到多个视频流,其中,n为大于等于1的正整数,座椅区的大小根据每个培训空间内的形状和参数人数设置,座椅区中包含有多个被用户对象使用的座凳;第一提取模块,用于按照指定时间间隔提取视频流中的m帧图像,m为大于等于1的正整数;第一过滤模块,用于对m帧图像进行平滑滤波处理和噪声过滤处理,得到多通道图像;第一滑动处理模块,用于采用滑动窗口对多通道图像依次进行处理,得到每相邻两帧之间在时间顺序上的关联关系;第一筛选模块,用于基于关联关系以及预先构建的分类器cascadecnn,筛选多通道图像,得到候选人脸图像集合,其中,分类器cascadecnn是采用预先构建的卷积神经网络所使用的每一级的分类器;合并处理模块,用于采用非极大值抑制算法合并重叠度高于指定重叠度阈值的滑动窗口,并对保留的滑动窗口对应的候选人脸图像进行分类,并确定与每个类别的候选人脸图像对应的准确度评估值;第二筛选模块,用于筛选准确度评估值最高的目标类别的候选人脸图像作为视频流中出现的人脸图像。38.可选的,预先构建的卷积神经网络,包括:relu激活函数,用于加载多通道图像的人脸线性框;softmax函数,用于对候选人脸图像进行归一化处理,输出用户对象的初始学习状态。39.可选的,第一确定单元22包括:第一输入模块,用于将提取的人脸图像输入至锥形嵌入模型cone,输出匹配度最高的用户对象,将人脸图像归纳至匹配度最高的用户对象所对应的图像集合中,其中,锥形嵌入模型cone预先管理所有的用户对象的注册图像,并对每个用户对象分别建立匹配层级,每个匹配层级中的层次结构相同。40.可选的,第二确定单元25包括:第一确定模块,用于将基于不变学习的内在可解释图神经网络ii-gnn作为指定的云计算分析网络;第二输入模块,用于将块存储区间内存储的图像输入至ii-gnn,输出用户对象与每张人脸图像对应的子时间段的学习状态。41.可选的,基于云计算的智能培训监督系统还包括:第一构建模块,用于在采用指定的云计算分析网络对每个块存储区间内存储的图像进行分析之前,预先构建多个学习状态标签,每个学习状态标签对应一个学习状态;第一构建模块,用于为每个学习状态标签构建人脸表情集合和眼部状态集合,其中,人脸表情集合中包含有多个已知的脸型对应学习状态的表情信息,眼部状态集合包含多个已知的脸型对应学习状态的眼部闭合信息和眼部注意度信息;第一配置模块,用于为人脸表情集合中每种人脸表情和眼部状态集合中的每种眼部闭合、眼部注意度配置对应的注册图像。42.可选的,基于云计算的智能培训监督系统还包括:采集模块,用于采集培训空间内的声音信息;第二提取模块,用于提取与声音信息对应的培训主讲者的主讲文本,对主讲文本进行预处理,获取与主讲文本的词向量和句向量;第一获取模块,用于基于词向量和句向量,获取培训主讲者的培训意图;输出模块,用于在培训意图偏离当前培训会的主题要求时,向培训主讲者的终端输出提醒信息。43.可选的,基于云计算的智能培训监督系统还包括:发送模块,用于向用户对象持有的终端发送培训问题,并接收用户回复答案;第一计算模块,用于基于培训问题的标准答案对用户回复答案进行匹配,计算用户对象的作答评分;第二计算模块,用于结合作答评分以及状态分数,计算用户对象的总学习分数。44.可选的,第一计算模块包括:计算子模块,用于基于用户回复答案对应的词向量和句向量,与标准答案的词向量和句向量进行多维相似度计算,获取多维相似度矩阵;获取子模块,用于通过gcn+attention机制进行监督式训练,获取各维度的权重值;加权求和子模块,用于基于权重值对多维相似度矩进行加权求和,得到目标相似度矩阵;提取子模块,用于在目标相似度矩阵中,对目标相似度矩阵的每一行提取相似度最大值,判断相似度最大值是否大于相似度矩阵阈值;确认子模块,用于若相似度最大值大于相似度矩阵阈值,则确认用户回复答案与标准答案匹配。45.根据本发明实施例的另一方面,还提供了一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的基于云计算的智能培训监督方法。46.根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的计算机程序,其中,在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的基于云计算的智能培训监督方法。47.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。48.在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。49.在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的系统实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。50.以上所述仅是本发明的优选实施方式,应当指出,对于本
技术领域
:的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1