本发明涉及认知诊断，尤其涉及一种基于多模态信息融合的目标认知诊断方法。
背景技术：
1、随着智能化课堂的快速发展，对课堂学生行为识别或对学生学情数据的分析成为人工智能领域研究的重点。现有技术中通常会通过骨架检测的手段识别学生的姿态，但是现有技术仅考虑学生的大幅度、高互动性的动作，这些动作本身排除了教室场景中常见的遮盖问题。对于低互动性的课堂环境，如高等教育课堂，因为大幅度动作较为罕见，现有的方案对动作的识别不尽如人意。其次，现有的学生姿态识别方案对上半身肢体的完整程度要求较高，对于有遮挡的人体难以准确的进行识别，且在实际场景中，除了常见的看书、低头、写字之外，走神、玩手机、互动等姿态或行为较为常见，现有的方案难以识别出这些姿态与动作。
2、此外，现有技术的学生认知诊断分析方法通常只对单一类型的数据源来进行学生行为和学习状态的评估，例如利用视频进行面部表情和姿态识别，或通过学生的考试成绩来判断他们的学习状况。在实际场景中，存在抄袭、假装听课等现象，模型可能会被表面数据“欺骗”，因此这种单模态数据的建模方法无法全面反映学生在课堂中的行为和学习状态，具有一定的局限性。
技术实现思路
1、为解决现有技术存在的不足，本发明提供了一种基于多模态信息融合的目标认知诊断方法，包括：
2、步骤1从视频信息中截取图像信息，经过图像处理分析后输出各目标的目标图像。
3、步骤2根据目标图像分析得到目标的静态特征，并根据静态特征得到目标姿态信息，进而对目标的全部姿态信息进行姿态分类。
4、步骤3根据预设时间段内同一目标的全部目标姿态信息，经过注意力分析得到目标注意力信息。
5、步骤4获取试题数据并进行试题数据分析得到试题信息。
6、步骤5将目标注意力信息与试题信息结合，进行目标认知诊断分析，得到认知诊断评分结果。
7、进一步，步骤1所述图像处理分析包括：
8、步骤1.1对图像信息进行识别检测，提取目标人体上半身的关键点信息。
9、步骤1.2以步骤1.1获得的关键点信息为基础，按照正面、左视、右视三种人体模型基础，将关键点信息区分为头部关键点信息和躯干关键点信息。
10、步骤1.3将头部关键点信息连线，得到头部骨骼指示线。将躯干关键点信息连线，得到躯干骨骼指示线。根据头部骨骼指示线和躯干骨骼指示线形成目标上半身骨架信息。
11、步骤1.4根据目标上半身骨架信息定位目标人脸位置，并根据检测到的头部关键点缺失程度判断是否启动人脸识别对目标人脸进行识别。同一位置目标在连续的检测周期内完成一次人脸识别即绑定该位置的目标，得到目标身份信息。
12、步骤1.5基于各目标身份信息，提取对应每个目标的轮廓信息，将目标轮廓信息裁剪或调整或补充为固定大小后，输出为对应目标的目标图像。
13、进一步，步骤1.1识别检测后提取：鼻子、双眼、双耳、左右肩膀、左右手肘、左右手腕、额头、嘴唇、脖子、左右腰部，这16个关键点的空间位置信息，其中将：鼻子、双眼、双耳、额头、嘴唇归入步骤1.2所述头部关键点信息，将脖子、左右肩膀、左右手肘、左右手腕、左右腰部归入步骤1.2所述躯干关键点信息。
14、进一步，将关键点连线后形成18根骨骼构建的骨架，使用partaffinity fields算法对上述骨架建模，每根骨骼由一个双通道的特征图来表示，总计拥有16+2×18＝52个通道。
15、进一步，进行步骤1.4时，当双眼、鼻子、额头、嘴唇的关键点信息中存在两项及两项以上不同部位的缺失时，判断为不启动人脸识别。
16、进一步，进行步骤1.5所述提取每个目标的轮廓信息的动作时，如根据目标的轮廓判断目标距离较远时，采用上采样方式填充裁剪框。如根据目标的轮廓判断目标距离较近时，采用下采样方式以保证可以进行合适的裁剪。
17、进一步，步骤2具体包括：
18、步骤2.1将步骤1所得各目标的目标图像处理为卷积神经网络的输入信息，所述输入信息包括目标关键点、骨架、轮廓的静态特征信息。
19、步骤2.2将步骤2.1所得输入信息输入带有inception结构的卷积网络模型中进行分析，并根据分析结果输出目标的姿态类型。
20、进一步，步骤3所述注意力分析包括：课堂注意力分析和课堂技能关联分析。其中：
21、课堂注意力分析包括：
22、步骤3.1.1以每节课的上课时间为分割点，获取各目标在每次上课时间内的全部姿态信息，并通过ahp法得到各种类型姿态的权重pn，其中p为权重值，n为姿态类型的自然数编号。
23、步骤3.1.2统计各节课堂内每个目标全部姿态信息中各类型姿态出现的次数mn，其中m为次数值，n为姿态类型的自然数编号。
24、步骤3.1.3计算各节课堂内每个目标的姿态加权值a＝p1*m1+p2*m2+...+pn*mn。
25、步骤3.1.4计算各节课堂内每个目标的姿态最大权重值b＝pmax*(m1+m2+...+mn)，其中pmax为pn中的最大值。
26、步骤3.1.5计算各节课堂内每个目标的注意力标准化得分c＝a/b。
27、步骤3.1.6将预设时间内全部课堂、全部目标的注意力标准化得分汇总，得到课堂注意力得分矩阵q1。
28、课堂技能关联分析包括：
29、步骤3.2.1以每节课的上课时间为分割点，获取需要分析的全部技能信息集jv，其中v为不同技能的自然数编号。
30、步骤3.2.2由专家系统根据课堂内容对该课堂与全部技能信息集jv中各技能的关联度进行评分。
31、步骤3.2.3将预设时间内全部课堂的各技能的关联度评分汇总，得到课堂技能关联矩阵s1。
32、进一步，步骤4具体包括：试题得分分析和试题-技能关联分析。
33、所述试题得分分析包括：
34、步骤4.1.1获取试题全部题目，并形成客观题部分和主观题部分。
35、步骤4.1.2对于客观题部分，获取目标具体得分后，将分数编码为一个取值于{0，1}的二元变量，并采用伯努利分布来建模学生的客观题作答得分。
36、对于主观题部分，获取目标具体得分后，将目标具体得分除以对应题的满分，得到一个[0,1]区间的值作为主观题得分。
37、步骤4.1.2汇总全部目标的各客观题作答得分和各主观题得分，得到试题得分矩阵q2。
38、所述试题-技能关联分析包括：
39、步骤4.2.1获取需要分析的全部技能信息集jv，其中v为不同技能的自然数编号。
40、步骤4.2.2由专家系统根据试题内容对该试题与全部技能信息集jv中各技能的关联度进行评分。
41、步骤4.2.3将全部试题与各技能的关联度评分汇总，得到试题-技能关联矩阵s2。
42、进一步，步骤s5具体包括：
43、步骤5.1将步骤s3所得课堂注意力得分矩阵q1与步骤s4所得试题得分矩阵q2汇总为第一数据q。将步骤s3所得课堂技能关联矩阵s1与步骤s4所得试题-技能关联矩阵s2汇总为第二数据s。
44、步骤5.2将第一数据q和第二数据s作为输入，使用认知诊断模型进行训练，并输出学生综合能力的预测分数。
45、本发明至少具有以下优点的中一项：
46、(1)本发明采用了将人体骨架特征与轮廓特征结合的姿态与动作识别的姿态识别方法，增强了对于学生的小幅度动作的识别，并实现了对静态姿态的识别，可以用于更精细且个性化的分析。
47、(2)本发明将基于姿态识别得到的学生课堂注意力得分数据与试题得分数据进行多模态融合，通过将这两种不同类型的数据相互关联，能够更全面地理解学生在课堂中的表现和学习状态。