技术特征：
1.一种基于分层时序多示例学习的学生学习参与度评估方法，其特征在于，包括以下步骤：步骤1，从每个视频中抽取图像帧，每l帧图像构成一个视频片段，一个视频获取n个视频片段。步骤2，对每个视频片段里的每一帧图像使用openpose、fsa
‑
net以及plfd网络分别提取身体姿态特征、头部姿态特征以及面部关键点特征，用于学习参与度的评估。步骤3，对于视频片段的每一类特征序列，分别使用bi
‑
lstm网络获取每个时刻的隐藏状态；将隐藏状态输入底层时序多示例学习模块(b
‑
tmil)，得到视频片段的特征表示。将一个视频所有视频片段提取的特征，通过全连接以及顶层多示例学习模块(t
‑
tmil)进行处理，得到视频的特征表示。其中，b
‑
timil、t
‑
tmil均基于自注意力机制实现，结构相同。步骤4，将步骤3中b
‑
tmil提取的三类视频片段级的特征进行融合，同时将步骤3中t
‑
tmil提取的三类视频级的特征进行融合。步骤5，视频片段级的融合特征经过全连接操作，得到视频片段的学习参与度。视频级的融合特征经过全连接操作，得到视频的学习参与度。用视频片段参与度的均值和视频的学习参与度，分别建立局部与全局监督，训练整个网络。2.如权利要求1所述基于分层时序多示例学习的学生学习参与度评估方法，其特征在于，步骤1中，抽取图像帧具体为等间距每隔几帧保留一帧。3.如权利要求1所述基于分层时序多示例学习的学生学习参与度评估方法，其特征在于，步骤2中，对于视频片段帧v
i,j
，使用openpose、fsa
‑
net以及plfd网络分别提取头部姿势特征e
i,j
、身体姿势特征b
i,j
和面部关键点m
i,j
。对于视频片段v
i
，则得到头部姿势序列e
i
＝{e
i,1
,e
i,2
…
,e
i,l
}，身体姿势序列b
i
＝{b
i,1
,b
i,2
…
,b
i,l
}和面部关键点序列m
i
＝{m
i,1
,m
i,2
…
,m
i,l
}。4.如权利要求1所述基于分层时序多示例学习的学生学习参与度评估方法，其特征在于，步骤3中，b
‑
tmil模块作用于构成一个短视频片段的采样视频帧序列，其中帧是示例，片段是包。需要获取包的有效表示，以便准确获取其标签。使用一个自注意力机制的多示例学习模块来作用于bi
‑
lstm的所有时刻的隐藏状态，通过可训练的参数自适应地获得包的表征。5.如权利要求4所述基于分层时序多示例学习的学生学习参与度评估方法，其特征在于，用x
i
表示头部姿势序列、身体姿势序列、面部关键点序列中的一个，将x
i
输入到bi
‑
lstm中，得到隐藏状态序列h
i
＝{h
i,1
,h
i,2
…
,h
i,l
}。x
i
对应的片段级聚合特征计算为经过降维处理后的加权和形式：维处理后的加权和形式：维处理后的加权和形式：其中，表示片段级头部姿势特征序列、片段级身体姿势特征序列、片段级面部关键点
特征序列中的一个。δ是relu函数，是用于降维的全连接操作。是权重矩阵，
⊙
是逐元素乘法，σ是sigmoid函数，τ是tanh函数。6.如权利要求1所述基于分层时序多示例学习的学生学习参与度评估方法，其特征在于，步骤3中，t
‑
tmil作用于视频片段之间，视频片段认为是示例，由片段组成的完整视频就是包。在片段级特征的基础上应用mil模块。通过全连接操作减少片段级特征的维度，以生成更有效的嵌入表示。构造视频片段的加权组合来表示视频。7.如权利要求6所述基于分层时序多示例学习的学生学习参与度评估方法，其特征在于，表示视频级头部姿势特征序列、视频级身体姿势特征序列、视频级面部关键点特征序列中的一个：列中的一个：列中的一个：其中，是t
‑
tmil中的权重矩阵。表示片段级头部姿势特征序列、片段级身体姿势特征序列、片段级面部关键点特征序列中的一个。8.如权利要求1所述基于分层时序多示例学习的学生学习参与度评估方法，其特征在于，步骤4中，采用加权特征融合方法，提取用于评估的片段级和视频级融合特征。权重矩阵与特征矩阵大小相同，由可训练的参数组成。权重矩阵的每一列通过softmax函数归一化得到不同特征在对应维度上的不同比例，然后加权求和得到加权融合特征。
技术总结
本发明公开了一种基于分层时序多示例学习的学生学习参与度评估方法，该方法根据示例之间的时间相关性，建立分层时序多示例学习模型，该模型由视频帧
技术研发人员：李特 姜新波 马嘉遥 秦学英 顾建军
受保护的技术使用者：之江实验室
技术研发日：2021.08.17
技术公布日：2021/11/29