一种基于元空间自反馈学习的凝视图像标记方法

本技术涉及图像处理，尤其涉及一种基于元空间自反馈学习的凝视图像标记方法。

背景技术：

1、为了研究智慧课堂环境教学环境下学习者的课堂专注度、投入度、活跃度等相关课堂表现状态，目前通常采集教学场景下的学习者视频数据进行分析和研究，进而从学习者的凝视方向，也即跟随学习者的目光注视方向分析学生在课堂上的注意力状态。然而学习者在课堂下的目光注视情况通常是多变的，且每种目光注视情况的持续时间短暂，难以捕获到学生在一段时间内的目光注视情况的，当学习者注意力不集中时，往往伴随着注意力的偏移，这种偏移是教师所不易察觉的，也就难以判断学生的实际学习状态。

2、目前，课堂中的学习者凝视标记，也即学习者的目光注视方向通常采用人工标记的方式进行，这种方式会导致学习者的凝视标记存在一定的误差和主观性，容易受到标记人员个人经验的影响，不同标记人员对同一种待标记图像可能会出现不同的标记结果，导致标记出现歧义，而且人工标记会耗费大量的人力物力。再有，由于光线的变化采集的图像中可能存在噪点存在噪声问题，进而影响凝视计算的准确度。

3、因此，目前采集图像的清晰度的局限性以及人工对图像进行标记的主观性、歧义性在一定程度上会对学习者凝视状态的分析产生影响，也就不能客观、准确的判断学生在课堂中的注意力情况。

技术实现思路

1、本技术实施例提供一种基于元空间自反馈学习的凝视图像标记方法，用以解决上述相关技术中的缺陷，所述技术方案如下：

2、第一方面，本技术实施例提供一种基于元空间自反馈学习的凝视图像标记方法，包括：

3、获取目标学习者的人脸图像序列；

4、将所述人脸图像序列中的每个图像帧输入元空间编码器中，提取得到每个所述图像帧对应的凝视特征；

5、将所述凝视特征输入训练好的拟态图像生成模型中，通过所述拟态图像生成模型结合带凝视方向标签的预设图像生成拟态图像；

6、对所述拟态图像进行特征提取得到拟态凝视特征，对所述拟态凝视特征和所述凝视特征进行特征拼接，输出拼接后的凝视特征；

7、基于所述拼接后的凝视特征计算得到所述目标学习者的凝视方向，基于所述凝视方向标记对应的图像帧得到凝视标记图像。

8、在第一方面的一种可选方案中，所述获取目标学习者的人脸图像序列，包括：

9、获取所述目标学习者的图像序列，对所述图像序列中的每个图像帧进行人脸检测，并分别基于所述人脸检测的结果对所述图像序列中的每个图像帧进行裁剪，输出对应的人脸图像序列。

10、在第一方面的一种可选方案中，所述获取目标学习者的人脸图像序列之后，还包括：

11、通过训练好的扩散模型对所述人脸图像序列中的每个图像帧进行去噪处理，得到去噪后的纯化图像序列；

12、基于所述纯化图像序列执行所述将所述人脸图像序列中的每个图像帧输入元空间编码器中，提取得到每个所述图像帧对应的凝视特征的步骤。

13、在第一方面的一种可选方案中，所述得到去噪后的纯化图像序列之后，还包括：

14、将所述纯化图像序列和对应的人脸图像序列分别输入所述元空间编码器中，执行所述提取得到每个所述图像帧对应的凝视特征的步骤，直至计算得到所述目标学习者在所述纯化图像序列的图像帧中的第一凝视方向，以及所述目标学习者在所述人脸图像序列的图像帧中的第二凝视方向；

15、计算所述第一凝视方向和所述第二凝视方向的凝视方向差值，若所述凝视方向差值大于预设阈值，则将所述纯化图像序列重新输入所述元空间编码器中，输出基于所述纯化图像序列的图像帧计算得到的凝视方向。

16、在第一方面的一种可选方案中，所述将所述凝视特征输入训练好的拟态图像生成模型中，通过所述拟态图像生成模型结合带凝视方向标签的预设图像生成拟态图像，包括：

17、将所述凝视特征输入训练好的拟态图像生成模型中，通过所述拟态图像生成模型提取所述凝视特征中的眼部特征，并调整所述眼部特征和除所述眼部特征外的其他特征的分布情况，使得所述凝视特征对应的图像帧与所述带凝视方向标签的预设图像的特征分布情况相同；

18、结合所述凝视特征中的眼部特征以及所述带凝视方向标签的预设图像中除眼部特征以外的其他特征生成对应的拟态图像；

19、其中，所述训练好的拟态图像生成模型基于所述带凝视方向标签的预设图像训练得到。

20、在第一方面的一种可选方案中，所述方法还包括：

21、基于所述目标学习者在预设时段内多个时刻的凝视标记图像，确定所述目标学习者在所述预设时段内的凝视方向变化情况；

22、比较所述凝视方向变化情况与凝视方向变化阈值，基于比较结果判断所述目标学习者在所述预设时段内的注意力状态。

23、第二方面，本技术实施例还提供一种基于元空间自反馈学习的凝视图像标记装置，包括：

24、图像序列获取模块，用于获取目标学习者的人脸图像序列；

25、第一凝视特征提取模块，用于将所述人脸图像序列中的每个图像帧输入元空间编码器中，提取得到每个所述图像帧对应的凝视特征；

26、拟态图像生成模块，用于将所述凝视特征输入训练好的拟态图像生成模型中，通过所述拟态图像生成模型结合带凝视方向标签的预设图像生成拟态图像；

27、第二凝视特征提取模块，用于对所述拟态图像进行特征提取得到拟态凝视特征，对所述拟态凝视特征和所述凝视特征进行特征拼接，输出拼接后的凝视特征；

28、凝视方向标记模块，用于基于所述拼接后的凝视特征计算得到所述目标学习者的凝视方向，基于所述凝视方向标记对应的图像帧得到凝视标记图像。

29、第三方面，本技术实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本技术实施例第一方面或第一方面的任意一种实现方式提供的方法。

30、第四方面，本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术实施例第一方面或第一方面的任意一种实现方式提供的方法。

31、本技术一些实施例提供的技术方案带来的有益效果至少包括：

32、本技术实施例通过采集教室内每个学生的图像数据，基于视频数据分析学生的凝视方向，可以为学习注意力的评估提供了更丰富的数据支持，从而更准确地评估每个学生的学习注意力。通过简单的布置，实现了对课堂上每个学习者凝视方向的识别，从而可以确认每个学生在课堂上的状态，避免了识别凝视方向的主观性，而且能够批量的对大规模的图像数据进行分别标记，能让教学人员专注于提高教学效果，提高教学人员的教研效率。

33、本技术实施例基于采集到的学习者人脸图像序列结合带凝视方向标签的预设图像生成拟态图像，该拟态图像包含待标记图像的眼部特征，其背景、光照等其他特征都是带凝视方向标签的预设图像中的原始信息，通过这样的方式，可以提高提取拟态图像的凝视特征的准确度并降低计算难度，另外将基于人脸图像序列提取到的凝视特征作为辅助特征，拼接凝视特征和拟态图像的凝视特征再进行凝视方向的识别，可以更准确的在图像中标记学生的凝视方向。

34、本技术实施例可以得出学习者学习过程中注意力状态，通过不同时间下注意力的转移状态，有利于教师或授课者给予及时的干预，保证学习者学习效率高效性。