行为分析方法、装置、电子设备及存储介质

文档序号:24688839发布日期:2021-04-16 09:54阅读:来源:国知局

技术特征:
1.一种行为分析方法,其特征在于,所述方法包括:根据包含宣讲者的行为的宣讲者视频对所述宣讲者的行为进行识别得到第一识别结果,并对所述第一识别结果进行量化得到第一评价数据;根据包含听讲者的行为的听讲者视频对所述听讲者的行为进行识别得到第二识别结果,并对所述第二识别结果进行量化得到第二评价数据;基于所述第一评价数据构建特征矩阵;基于所述第二评价数据以及设定行为计量表计算得到标签向量,所述设定行为计量表为对所述听讲者的行为的评价规则;将所述特征矩阵与所述标签向量进行拼接后得到第一矩阵,并将所述第一矩阵输入线性回归模型以得到拟合数据曲线,所述拟合数据曲线用于表征所述宣讲者的行为与所述听讲者的行为的关联性。2.根据权利要求1所述的方法,所述第一识别结果包括第一肢体动作识别结果,所述第一评价数据包括第一肢体动作评价数据,其特征在于,所述根据包含宣讲者的行为的宣讲者视频对所述宣讲者的行为进行识别得到第一识别结果,并对所述第一识别结果进行量化得到第一评价数据,包括:对包含所述宣讲者视频按照表达语句进行划分得到与各个所述表达语句对应的各个宣讲者视频帧;基于每个所述宣讲者视频帧进行肢体动作特征提取得到第一特征矩阵,基于每个所述宣讲者视频帧进行人脸特征提取得到第二特征矩阵;基于所述第一特征矩阵进行肢体动作识别得到所述第一肢体动作识别结果,对所述第一肢体动作识别结果进行量化得到所述第一肢体动作评价数据。3.根据权利要求2所述的方法,所述第一评价数据还包括所述宣讲者的第一情绪评价数据,其特征在于,所述根据包含宣讲者的行为的宣讲者视频对所述宣讲者的行为进行识别得到第一识别结果,并对所述第一识别结果进行量化得到第一评价数据,还包括:将所述宣讲者视频按照所述表达语句进行划分后得到与各个所述表达语句对应的各个局部音频,并获取各个所述局部音频对应的各个局部特征矩阵;将所述各个局部音频进行拼接得到整体音频,并获取所述整体音频的整体特征矩阵;将所述整体特征矩阵和各个所述局部特征矩阵进行拼接得到语音特征矩阵;将所述语音特征矩阵输入lstm模型得到第一语音评价数据;基于所述第二特征矩阵与所述第一语音评价数据进行多模态数据融合,得到所述第一情绪评价数据。4.根据权利要求2所述的方法,所述第二评价数据包括注意力评价数据和成绩评价数据,其特征在于,所述根据包含听讲者的行为的听讲者视频对所述听讲者的行为进行识别得到第二识别结果,对所述第二识别结果进行量化得到第二评价数据,包括:对所述听讲者视频按照所述表达语句进行划分得到与各个所述表达语句对应的各个听讲者视频帧;将所述各个听讲者视频帧输入人脸识别模型得到听讲者人脸识别结果;基于所述听讲者人脸识别结果以及预设阈值确定所述各个听讲者视频帧的分类结果;当所述分类结果为人脸时,对分类结果为人脸的所有所述听讲者视频帧进行人脸识别
和视点定位,以根据得到的人脸识别结果和视点定位结果统计所述听讲者的抬头率以及所述听讲者的视点定位数据;基于所述抬头率以及所述视点定位数据得到所述注意力评价数据;从所述听讲者的成绩数据库中获取所述听讲者的成绩数据,并将所述成绩数据进行量化得到所述成绩评价数据。5.根据权利要求1所述的方法,其特征在于,将所述特征矩阵与所述标签向量进行拼接后得到第一矩阵,并将所述第一矩阵输入线性回归模型以得到拟合数据曲线,包括:采用线性回归模型将所述第一矩阵进行预设交叉验证处理得到验证集以及测试集;基于所述验证集以及所述测试集对所述线性回归模型进行训练,得到所述线性回归模型输出的所述拟合数据曲线。6.根据权利要求5所述的方法,其特征在于,所述采用线性回归模型将所述第一矩阵进行预设交叉验证处理得到验证集以及测试集,包括:对所述第一矩阵进行数据探索性分析得到第一矩阵探索数据,并对所述第一矩阵探索数据进行数据组织处理得到处理后的第一矩阵探索数据;采用所述线性回归模型将所述的第一矩阵探索数据进行预设交叉验证处理得到所述验证集以及所述测试集。7.一种行为分析装置,其特征在于,所述装置包括:第一评价模块,根据包含宣讲者的行为的宣讲者视频对所述宣讲者的行为进行识别得到第一识别结果,并对所述第一识别结果进行量化得到第一评价数据;第二评价模块,用于根据包含听讲者的行为的听讲者视频对所述听讲者的行为进行识别得到第二识别结果,并对所述第二识别结果进行量化得到第二评价数据;构建模块,用于基于所述第一评价数据构建特征矩阵;计算模块,用于基于所述第二评价数据以及设定行为计量表计算得到标签向量,所述设定行为计量表为对所述听讲者的行为的评价规则;拟合模块,用于将所述特征矩阵与所述标签向量进行拼接后得到第一矩阵,并将所述第一矩阵输入线性回归模型以得到拟合数据曲线,所述拟合数据曲线用于表征所述宣讲者的行为与所述听讲者的行为的关联性。8.根据权利要求7所述的装置,所述第一识别结果包括第一肢体动作识别结果,所述第一评价数据包括第一肢体动作评价数据,其特征在于,所述第一评价模块用于:对包含所述宣讲者视频按照表达语句进行划分得到与各个所述表达语句对应的各个宣讲者视频帧;基于每个所述宣讲者视频帧进行肢体动作特征提取得到第一特征矩阵,基于每个所述宣讲者视频帧进行人脸特征提取得到第二特征矩阵;基于所述第一特征矩阵进行肢体动作识别得到所述第一肢体动作识别结果,对所述第一肢体动作识别结果进行量化得到所述第一肢体动作评价数据。9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器运行所述程序指令时,执行权利要求1

6中任一项所述方法中的步骤。10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序指令,所述计算机
程序指令被一处理器运行时,执行权利要求1

6中任一项所述方法中的步骤。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1