一种基于视觉行为分析的学生抑郁状态识别方法

本发明属于计算机视觉识别，特别提供一种基于视觉行为分析的学生抑郁状态识别方法。

背景技术：

1、计算机视觉就是通过分析摄像机获取的图像来达到对物体形成表达的科学和技术。目标检测与目标追踪是该领域目前的研究热点之一。情绪是一种综合了人的感觉、思想和行为的状态，它包括人对外界或自身刺激的心理反应，以及伴随这种心理反应的生理反应。情绪识别研究的内容包括面部表情、语音和生理信号识别等方面，通过以上内容来判断用户的情绪状态。

2、自杀是15-34岁人群的首要死因，其中80％的人患有抑郁症。目前判断抑郁症的主要诊断方法是心理医生通过量表进行诊断。以抑郁情绪问题的识别为例，常用的量表工具包括自评的健康问卷(phq-9)、抑郁情绪快速评定量表(qids)，也包括通常使用的他评量表，如汉密尔顿抑郁量表(hamd)、蒙哥马利抑郁评定量表(madrs)等。但大部分人认为，抑郁症是个难以启齿的疾病，所以大部分可能患有抑郁症的人不愿意去看心理医生。随着计算机视觉技术的不断突破，许多情绪识别技术出现。已有的技术主要是利用视频捕捉人的面部表情来进行面部表情识别，通过优化识别网络结构来提高识别精度。

3、针对面部表情识别技术，目前的研究多通过录制一定时长的视频或抓拍视频中的某帧来实现，实时性差，无法对心里抑郁的同学进行及时的处理。因此，如何使情绪识别技术具有及时性是本领域内的研究方向之一。

技术实现思路

1、针对上述现有技术存在的问题，本发明提供一种基于视觉行为分析的学生抑郁状态识别方法，使抑郁情绪识别具有实时性，能够及时发现心理存在问题的学生并进行心理疏导与治疗。

2、为了实现上述目的，本发明采用的技术方案是：一种基于视觉行为分析的学生抑郁状态识别方法，包括以下步骤：

3、s1、通过yolov5算法，对获取到的视频进行目标检测，得到目标所在位置的边界框(bounding box)；

4、s2、利用人体姿态识别与分类器，对于检测到的目标进行异常行为分析，异常行为包括：长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人；

5、s3、通过基于长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人这些异常行为，得到抑郁情绪识别结果，并进行加权综合评价，得到被追踪学生的最终抑郁情绪识别分数；

6、s4、将得到的被追踪学生的最终抑郁情绪识别分数与设定的抑郁评估分数阈值进行比较；如果最终抑郁情绪识别分数超过设定的抑郁评估分数阈值，那么就会进行报警，并将拍摄视频地点与分析的视频片段送至相关人员处；

7、如果最终抑郁情绪识别分数没有超过设定的抑郁评估分数阈值，那么就会进行二次追踪定位，分析异常行为，并重复判断；如果第二次的最终抑郁情绪识别分数超过设定的抑郁评估分数阈值，那么就会进行报警；如果第二次的最终抑郁情绪识别分数没有超过设定的抑郁评估分数阈值，那么就会停止对该目标进行抑郁情绪识别。

8、活动视频通过学校内部带有的单目摄像机进行视频采集，当通过yolov5算法检测到人后，将视频转化为帧图进行保存后，自动进入异常行为的识别判断。

9、进一步得，通过人体姿态估计与分类器的结合使用，对于设定好的四个异常行为进行检测识别；四个异常行为为：长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人；异常行为的设定基于文献搜索与各类报道综合，并进行实际效果检测后筛选。

10、进一步得，对于分类器，选择使用svm分类器进行分类，用来处理上述六个特征中瞭望、抱膝下蹲、掩面哭泣这三个特征；svm分类的类别设为：瞭望、抱膝下蹲、掩面，共计三个类别。

11、进一步得，在进行svm分类之前，会将帧图像裁剪至边界框(bounding box)大小作为输入图像，并对输入图像进行画面预处理操作；对于图像预处理，去噪操作使用高斯滤波，以滤波器窗口中像素的平均值作为输出；使用伽马校正，对图像进行亮度补偿；使用锐化突出图像边缘细节特征以去除噪音影响。

12、进一步得，独自一人这一异常行为通过yolov5算法，对于画面中的人数进行检测并计数。

13、进一步得，对于需要时间计数的异常行为，以长时间的瞭望为例，当模型第一次检测到被检测对象为瞭望状态的时刻为开始时刻，d秒后为截止时刻，这段时刻中的总帧数记为a，判定为瞭望状态的帧数记为t，判定为非瞭望状态的帧数记为f，则当t/a的结果大于阈值s时，可判定为长时间瞭望。

14、进一步得，长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人这些异常行为中抑郁情绪识别分析，存在则输出为1，不存在则输出为0。

15、进一步得，对于异常行为的加权综合，其加权值总和为100％。

16、本发明的有益效果是：与现有的技术相比，本发明提供了一种基于视觉行为分析的学生抑郁状态识别方法，通过单目摄像机获取视频，通过算法模型对视频中被检测追踪到的人物进行异常行为分析，判断学生的抑郁状态，并将判定为抑郁状态的学生位置信息与模型处理的视频发送给相关人员，整个识别过程非常简单，提高了发现与救治的及时性。

技术特征：

1.一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，活动视频通过学校内部带有的单目摄像机进行视频采集，当通过yolov5算法检测到人后，将视频转化为帧图进行保存后，自动进入异常行为的识别判断。

3.根据权利要求1所述的一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，通过人体姿态估计与分类器的结合使用，对于设定好的四个异常行为进行检测识别；四个异常行为为：长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人；异常行为的设定基于文献搜索与各类报道综合，并进行实际效果检测后筛选。

4.根据权利要求3所述的一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，对于分类器，选择使用svm分类器进行分类，用来处理上述六个特征中瞭望、抱膝下蹲、掩面哭泣这三个特征；svm分类的类别设为：瞭望、抱膝下蹲、掩面，共计三个类别。

5.根据权利要求3所述的一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，在进行svm分类之前，会将帧图像裁剪至边界框(bounding box)大小作为输入图像，并对输入图像进行画面预处理操作；对于图像预处理，去噪操作使用高斯滤波，以滤波器窗口中像素的平均值作为输出；使用伽马校正，对图像进行亮度补偿；使用锐化突出图像边缘细节特征以去除噪音影响。

6.根据权利要求3所述的一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，独自一人这一异常行为通过yolov5算法，对于画面中的人数进行检测并计数。

7.按照权利要求3所述一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于：对于需要时间计数的异常行为，以长时间的瞭望为例，当模型第一次检测到被检测对象为瞭望状态的时刻为开始时刻，d秒后为截止时刻，这段时刻中的总帧数记为a，判定为瞭望状态的帧数记为t，判定为非瞭望状态的帧数记为f，则当t/a的结果大于阈值s时，可判定为长时间瞭望。

8.按照权利要求1所述一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于：长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人这些异常行为中抑郁情绪识别分析，存在则输出为1，不存在则输出为0。

9.按照权利要求1所述一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于：对于异常行为的加权综合，其加权值总和为100%。

技术总结
本发明公开一种基于视觉行为分析的学生抑郁状态识别方法，包括以下步骤，首先通过YOLOv5算法，对获取到的视频进行目标检测；S2、利用分类器，对于检测到的目标进行异常行为分析；S3、通过异常行为分析，得到抑郁情绪识别结果，并进行加权综合评价，得到被追踪学生的最终抑郁情绪识别分数；S4、将得到的被追踪学生的最终抑郁情绪识别分数与设定的抑郁评估分数阈值进行比较与识别。本发明通过单目摄像机获取视频，通过算法模型对视频中被检测追踪到的人物进行异常行为分析，判断学生的抑郁状态，并将判定为抑郁状态的学生位置信息与模型处理的视频发送给相关人员，整个识别过程非常简单，提高了发现与救治的及时性。

技术研发人员：王海权,徐权杰,于玮,胡春红,张桓瑜,邵一鸣
受保护的技术使用者：南通大学
技术研发日：
技术公布日：2024/1/16