基于表情识别的状态分析系统

1.本发明属于课堂监控技术领域，具体涉及一种基于表情识别的状态分析系统。


背景技术：

2.学生的听课质量，对其学习的影响非常大。传统的教育方式为教师对学生的听课行为进行观察，并在发现学生的听课情况出现问题时进行提醒。
3.但是，通常一个班有几十个学生，而一节课有40分钟或45分钟，由教师对学生的听课行为进行全程监控，对教师的精力要求非常高；并且，教师的主要任务是传授知识，将过多的精力投入到对学生状态的观察，很多时候会对其教学的质量产生影响；除此，教师在讲课的过程中，由于需要讲解知识点、习题讲解等，其注意力也并不能始终放在对学生学习状态的监控上。
4.综上，由授课教师进行监控的方式不仅监督效果难以保证，还可能会影响到教师的授课质量，容易出现课堂质量不高的情况。


技术实现要素：

5.本发明的目的在于，提供一种基于表情识别的状态分析系统，可以全程准确的监控学生的学习监控，解放教师的精力，提升课堂的质量。
6.本发明提供的基础方案为：
7.基于表情识别的状态分析系统，包括采集单元、分析单元和接收单元；
8.采集单元用于采集学生影像；分析单元用于根据学生影像进行个体状态分析，并对个体状态为差的学生进行迷糊标记；分析单元还用于将迷糊标记的学生信息发送给接收单元；接收单元用于接收并显示迷糊标记的学生信息。
9.基础方案工作原理及有益效果：
10.使用本系统，在上课时，采集单元会采集教室内学生的影像，并由分析单元进行个体状态分析，通过个体状态分析可以了解当前学生的个体状态，即当前是否在认真学习。如果某学生的个体状态为差，说明该学生没有认真学习，因此，对该学生进行迷糊标记。同时，分析单元将该学生信息发送给接收单元，接收单元可集成在教师端(如装载对应app的平板电脑)，接收单元接收到迷糊标记的学生信息后进行显示。教师可通过接收单元了解目前哪些学生没有认真学习。
11.由于系统会自动对学生的学习状态进行分析识别，教师在上课时不用再花费过多的精力来了解学生当前的学习状态，只需要了解接收单元的显示内容即可，这样，教师可以将精力集中在授课上，保证授课的质量。除此，系统通过学生影像进行状态分析，可以保证分析尺度标准的一致性，可避免出现不同教师监管尺度不一的情况。并且，系统可以在上课的过程中进行持续的监控分析，可以保证整个课堂时间都对学生的学习状态进行监控。
12.综上，本系统可以全程准确的监控学生的学习监控，解放教师的精力，提升课堂的质量。
13.进一步，还包括输入单元；分析单元采用表情识别结合个体对比的方式进行个体状态分析；分析单元分析出某学生的状态为走神时，将该学生的个体状态认定为差；分析单元还用于当分析结果为学生都在思考，但某学生的思考过程中没有表情变化时，将该学生认定为疑似走神并给接收单元发送存疑信息，存疑信息包括疑似走神的学生信息；接收单元还用于接收到存疑信息并显示；输入单元用于输入存疑信息的验证信息；分析单元还用于当验证信息为差时，将对应的疑似走神的个体状态进行迷糊标记。
14.有益效果：表情识别结合个体对比的方式，可以保证个体状态分析的全面性和准确性。但即使采用这样的情况，也可能存在分析单元拿不准的情况。当学生需要对教师提出的问题或布置的随堂练习进行思考时，由于很多人思考时的面部表情存在区别，有些学生会眉头紧锁，有些学生在思考时则表情较为平静，虽然大部分的思考的进度从表情上可以明显看出来，但也与少部分学生在思考时表情变化非常小。此时，若有学生在走神想其他的事情，分析单元就难以区分该学生是在思考还是在走神。
15.使用本系统，当遇到学生都在思考，但某学生的思考过程中没有表情变化时，分析单元会将该学生认定为疑似走神并给接收单元发送存疑信息。授课教师通过疑似信息，可以了解到上述情况，在进行后续的课堂互动时，就可以对这些存疑的学生进行抽查，虽然思考后不一定立马就能很好的掌握知识点，但与走神相比其对于知识的掌握度肯定会好很多。之后，授课教师可通过输入单元输入存疑信息的验证信息。如果验证信息为差，则分析单元将对应的疑似走神的个体状态进行迷糊标记。通过这样的方式，即使存在难以识别是否走神的情况，也可以通过后续的处理进行校验，从而保证对学生课堂状态的有效监控。
16.进一步，还包括存储单元，用于存储疑似走神的学生信息并生成对应学生的特殊档案；分析单元还用于分析结果为学生都在思考时，从分析结果中提入存在特殊档案的学生的思考习惯并存储在对应的特殊档案中；分析单元还用于某特殊档案中存储的思考习惯的数量达到预设值时，进行对应学生的思考习惯分析，得到该学生的思考表情规律并存储在该学生的特殊档案中；分析单元还用于认定某学生为疑似走神时，判断存储单元内是否存储有该学生的特殊档案，若存在则判断该特殊档案是否有思考表情规律，若有且为表情会变化，则分析单元将该疑似信息对应的学生的个体状态认定为差。
17.有益效果：如果每次出现疑似走神的学生，都需要授课教师进行验证，会存在两个问题，第一，比较消耗授课教师的精力；第二，当疑似走神的学生较多时，授课教师会验证不过来。本方案中，存储单元会存储疑似走神的学生信息并生成对应学生的特殊档案。之后，分析单元在分析结果为学生都在思考时，会提取存在特殊档案的学生的思考习惯并存储在对应的特殊档案中。当某特殊档案中存储的思考习惯的数量达到预设值时，对该学生进行思考习惯分析，得到该学生的思考表情规律并存储在该学生的特殊档案中。由于课堂上的思考行为经常发生，上述过程的实际所需时间并不长。再然后，分析单元认定某学生为疑似走神时，可判断存储单元内是否存储有该学生的特殊档案，若存在并且该学生的思考表情规律为表情会变化，则说明该学生当前处于走神状态，因此，分析单元直接将该疑似信息对应的学生的个体状态认定为差，不再给接收端发送该学生存疑信息。
18.通过这样的方式，系统的识别能力可以持续提升，持续减少教师的工作量。并且，由于思考问题时不存在表情变化的学生本来就是少数人，随着系统使用时间的增加，需要授课教师进行辅助验证的情况会越来越少，授课教师需要花费在验证是否走神上的时间和
精力也会越来越少。
19.进一步，分析单元还用于根据个体状态分析的结果进行整体状态分析，得到课堂的整体状态，并将整体状态与授课教师的信息进行关联；分析单元还用于当整体状态为差时，给接收单元发送改善信号；接收单元还用于接收到改善信号后发出改善提醒。
20.有益效果：如果教室内学生的整体状态都不好，除了学生自己的问题外，授课教师可能也存在一些需要改进的地方。例如管理过松导致学生上课漫不经心，或者讲课的方式太过枯燥导致学生容易走神。发生这种情况时，需要当堂的授课教师作出一些改变，否则会出现大量学生该课时学习效果不佳的情况。因此，分析单元给接收单元发送改善信号。并由接收单元发出改善提醒，让授课教师了解情况，即使作出调整。
21.进一步，存储单元还用于对整体状态的分析结果进行存储；还包括统计单元，用于根据整体状态的分析结果对教师的授课情况进行分析，若某教师关联的整体状态中为差的整体状态的出现频率大于预设值，则统计单元生成提升信号。
22.有益效果：存储单元对整体状态的分析结果存储后，由于整体状态与授课教师的信息相关联，统计单元可通过整体状态的分析结果对教师的授课情况进行分析。如果某教师关联的整体状态中，为差的整体状态的出现频率大于预设值，说明该教师的上课过程中经常出现整个课堂状态不佳的情况。如果继续发展下去，很可能会发展为该授课教师的学生大部分都没有掌握课堂知识的情况。因此，统计单元生成提升信号，便于学校管理人员了解情况，及时督促该教师提升可让状态质量。
23.进一步，分析单元进行整体状态分析时，还将整体状态与所处课堂时刻进行关联。
24.有益效果：当某教师的课堂质量需要提升时，可快速了解该教师的课堂在哪个阶段容易出现质量不高的问题，便于该教师根据具体的课堂阶段进行针对性的提高。
25.进一步，统计单元还基于课堂时刻将课堂分为多个时段；统计单元还用于分析各时段内各教师的课堂的整体状态并进行排名，并在每个时段筛选出预设数量的教师作为推荐学习对象生成学习对象建议表。
26.有益效果：很多教师的授课风格不同，对于课堂内各个时段的把控方式也不同，通过这样的方式，可以筛选出各个时段内课堂质量把控得好的教师，当教师想要针对性的对自己课堂上某个时段的质量进行提升时，可以快速准确的找到学习的对象。
27.进一步，统计单元分析出某教师关联的整体状态中为差的整体状态的出现频率大于预设值时，还分析该教师各个时段的授课情况并生成提升建议计划，提升建议计划的内容包括需要提升的时段。
28.有益效果：当某教师的授课技巧需要进行提升时，统计单元会进行进一步的分析，了解其在各个时段的表现并生成提升建议计划，该教师可根据提升建议计划对自己需要提升授课质量的时段进行提升。教师可以尽快将自己的短板时段补上，保证授课质量。
29.进一步，提升建议计划还包括需要提升时段的先后顺序。
30.有益效果：授课教师按照提升建议计划进行能力提升时，会优先将最需要提升的时段进行提升，即，对课堂上学生最容易状态不好的时段进行补强，对教师而言，可以很快的看到提升效果增强其提升能力的信心；对于学生而言，由于最易状态不好的时段改善了授课质量，可以稳定的提升学习质量。
31.进一步，还包括监管单元，统计单元生成提升信号时，将提升信号发送给监管单
元。
32.有益效果：管理人员通过监管单元，可以了解哪些教师的课堂质量需要进行提升，便于对其进行督促。
附图说明
33.图1为本发明实施例一的逻辑框图。
具体实施方式
34.下面通过具体实施方式进一步详细的说明：
35.实施例一
36.如图1所示，包括采集单元、分析单元、存储单元、接收单元和输入单元；其中，采集单元为设置在教室内的摄像头，摄像头的数量及安装位置，本领域技术人员可依据教室的空间结构具体设置。分析单元及存储单元集成在后台端，本实施例中，后台端为服务器。接收单元和输入单元集成在授课端，本实施例中授课端为装载对应app的平板电脑。
37.采集单元用于采集学生影像。分析单元用于根据学生影像进行个体状态分析，并对个体状态为差的学生进行迷糊标记；分析单元还用于将迷糊标记的学生信息发送给接收单元；接收单元用于接收并显示迷糊标记的学生信息。具体的，分析单元采用表情识别结合个体对比的方式进行个体状态分析。
38.其中，分析单元分析出某学生的状态为走神时，将该学生的个体状态认定为差。分析单元还用于当分析结果为学生都在思考，但某学生的思考过程中没有表情变化时，将该学生认定为疑似走神并给接收单元发送存疑信息，存疑信息包括疑似走神的学生信息；接收单元还用于接收到存疑信息并显示；输入单元用于输入存疑信息的验证信息；分析单元还用于当验证信息为差时，将对应的疑似走神的个体状态进行迷糊标记。
39.存储单元用于存储疑似走神的学生信息，并生成对应学生的特殊档案；分析单元还用于分析结果为学生都在思考时，从分析结果中提入存在特殊档案的学生的思考习惯并存储在对应的特殊档案中；分析单元还用于某特殊档案中存储的思考习惯的数量达到预设值时，进行对应学生的思考习惯分析，得到该学生的思考表情规律并存储在该学生的特殊档案中；分析单元还用于认定某学生为疑似走神时，判断存储单元内是否存储有该学生的特殊档案，若存在则判断该特殊档案是否有思考表情规律，若有且为表情会变化，则分析单元将该疑似信息对应的学生的个体状态认定为差。
40.具体实施过程如下：
41.在上课时，采集单元会采集教室内学生的影像，并由分析单元进行个体状态分析，通过个体状态分析可以了解当前学生的个体状态，即当前是否在认真学习。如果某学生的个体状态为差，说明该学生没有认真学习，因此，对该学生进行迷糊标记。同时，分析单元将该学生信息发送给接收单元，接收单元接收到迷糊标记的学生信息后进行显示。教师可通过接收单元了解目前哪些学生没有认真学习。
42.由于系统会自动对学生的学习状态进行分析识别，教师在上课时不用再花费过多的精力来了解学生当前的学习状态，只需要了解接收单元的显示内容即可，这样，教师可以将精力集中在授课上，保证授课的质量。除此，系统通过学生影像进行状态分析，可以保证
分析尺度标准的一致性，可避免出现不同教师监管尺度不一的情况。并且，系统可以在上课的过程中进行持续的监控分析，可以保证整个课堂时间都对学生的学习状态进行监控。
43.本系统在进行个体状态分析时，由于采用表情识别结合个体对比的方式，可以保证个体状态分析的全面性和准确性。但即使这样，也可能存在分析单元拿不准的情况。例如，当学生需要对教师提出的问题或布置的随堂练习进行思考时，由于很多人思考时的面部表情存在区别，有些学生会眉头紧锁，有些学生在思考时则表情较为平静，虽然大部分的思考的进度从表情上可以明显看出来，但也与少部分学生在思考时表情变化非常小。此时，若有学生在走神想其他的事情，分析单元就难以区分该学生是在思考还是在走神。本系统中，当遇到学生都在思考，但某学生的思考过程中没有表情变化时，分析单元会将该学生认定为疑似走神并给接收单元发送存疑信息。授课教师通过疑似信息，可以了解到上述情况，在进行后续的课堂互动时，就可以对这些存疑的学生进行抽查，虽然思考后不一定立马就能很好的掌握知识点，但与走神相比其对于知识的掌握度肯定会好很多。之后，授课教师可通过输入单元输入存疑信息的验证信息。如果验证信息为差，则分析单元将对应的疑似走神的个体状态进行迷糊标记。通过这样的方式，即使存在难以识别是否走神的情况，也可以通过后续的处理进行校验，从而保证对学生课堂状态的有效监控。
44.如果每次出现疑似走神的学生，都需要授课教师进行验证，会存在两个问题，第一，比较消耗授课教师的精力；第二，当疑似走神的学生较多时，授课教师会验证不过来。本方案中，存储单元会存储疑似走神的学生信息并生成对应学生的特殊档案。之后，分析单元在分析结果为学生都在思考时，会提取存在特殊档案的学生的思考习惯并存储在对应的特殊档案中。当某特殊档案中存储的思考习惯的数量达到预设值时，对该学生进行思考习惯分析，得到该学生的思考表情规律并存储在该学生的特殊档案中。由于课堂上的思考行为经常发生，上述过程的实际所需时间并不长。再然后，分析单元认定某学生为疑似走神时，可判断存储单元内是否存储有该学生的特殊档案，若存在并且该学生的思考表情规律为表情会变化，则说明该学生当前处于走神状态，因此，分析单元直接将该疑似信息对应的学生的个体状态认定为差，不再给接收端发送该学生存疑信息。通过这样的方式，系统的识别能力可以持续提升，持续减少教师的工作量。并且，由于思考问题时不存在表情变化的学生本来就是少数人，随着系统使用时间的增加，需要授课教师进行辅助验证的情况会越来越少，授课教师需要花费在验证是否走神上的时间和精力也会越来越少。
45.实施例二
46.与实施例一不同的是，本实施例中还包括统计单元和监管单元，其中，统计单元集成在后台端，监管单元集成在管理端，本实施例中管理端为装载对应app的智能手机。
47.本实施例中，分析单元还用于根据个体状态分析的结果进行整体状态分析，得到课堂的整体状态，并将整体状态与授课教师的信息进行关联；分析单元还用于当整体状态为差时，给接收单元发送改善信号；接收单元还用于接收到改善信号后发出改善提醒。
48.存储单元还用于对整体状态的分析结果进行存储；还包括统计单元，用于根据整体状态的分析结果对教师的授课情况进行分析，若某教师关联的整体状态中为差的整体状态的出现频率大于预设值，则统计单元生成提升信号并发送给监管单元。
49.其中，分析单元进行整体状态分析时，还将整体状态与所处课堂时刻进行关联。统计单元还基于课堂时刻将课堂分为多个时段；统计单元还用于分析各时段内各教师的课堂
的整体状态并进行排名，并在每个时段筛选出预设数量的教师作为推荐学习对象生成学习对象建议表。
50.统计单元分析出某教师关联的整体状态中为差的整体状态的出现频率大于预设值时，还分析该教师各个时段的授课情况并生成提升建议计划，提升建议计划的内容包括需要提升的时段。提升建议计划的内容包括需要提升的时段以及需要提升时段的先后顺序。
51.具体实施过程如下：
52.如果教室内学生的整体状态都不好，除了学生自己的问题外，授课教师可能也存在一些需要改进的地方。例如管理过松导致学生上课漫不经心，或者讲课的方式太过枯燥导致学生容易走神。发生这种情况时，需要当堂的授课教师作出一些改变，否则会出现大量学生该课时学习效果不佳的情况。因此，分析单元给接收单元发送改善信号。并由接收单元发出改善提醒，让授课教师了解情况，即使作出调整。
53.另一方面，存储单元对整体状态的分析结果存储后，由于整体状态与授课教师的信息相关联，统计单元可通过整体状态的分析结果对教师的授课情况进行分析。如果某教师关联的整体状态中，为差的整体状态的出现频率大于预设值，说明该教师的上课过程中，经常出现整个课堂状态不佳的情况。如果继续发展下去，很可能会发展为该授课教师的学生大部分都没有掌握课堂知识的情况。因此，统计单元生成提升信号并发送给监管单元，便于学校管理人员了解情况，及时督促该教师提升可让状态质量。由于分析单元进行整体状态分析时还将整体状态与所处课堂时刻进行关联，当某教师的课堂质量需要提升时，可快速了解该教师的课堂在哪个阶段容易出现质量不高的问题，便于该教师根据具体的课堂阶段进行针对性的提高。
54.当发现需要提升授课质量的教师时，统计单元还会分析该教师各个时段的授课情况生成提升建议计划，提升建议计划的内容包括需要提升的时段以及需要提升时段的先后顺序。当某教师的授课技巧需要进行提升时，统计单元会进行进一步的分析，了解其在各个时段的表现并生成提升建议计划，该教师可根据提升建议计划对自己需要提升授课质量的时段进行提升。教师可以尽快将自己的短板时段补上，保证授课质量。并且，授课教师按照提升建议计划进行能力提升时，会优先将最需要提升的时段进行提升，即，对课堂上学生最容易状态不好的时段进行补强，对教师而言，可以很快的看到提升效果增强其提升能力的信心；对于学生而言，由于最易状态不好的时段改善了授课质量，可以稳定的提升学习质量。
55.除此，由于很多教师的授课风格不同，对于课堂内各个时段的把控方式也不同，为了充分发觉各教师的特长，方便教师之间相互学习。本方案中，统计单元会分析各时段内各教师的授课情况并进行排名，并在每个时段筛选出预设数量的教师作为推荐学习对象生成学习对象建议表。通过这样的方式，筛选出各个时段内课堂质量把控得好的教师，当教师想要针对性的对自己课堂上某个时段的质量进行提升时，可以快速准确的找到学习的对象。
56.以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本技术给出的启示下，结合自身能力完善并实施
本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本技术的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。