基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台的制作方法

1.本发明属于会议管理技术领域，涉及远程视频会议管理技术，具体为基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台。


背景技术：

2.远程视频会议是指两个或两个以上不同地方的个人或群体,通过传输线路及相关设备,达到即时互动的沟通,以完成会议目的，其打破了传统会议必须把人们聚到一起才能够举行的常规,突破了空间的限制。这种视频会议可视化的交流自然,简单,高效,成为众多企业会议方式的首选。但对于远程视频会议主办方来说，如何分析整个远程视频会议召开的效果，即各参会人员的参会表现情况，是远程视频会议主办方进行会议管理的重点。
3.目前对参会人员表现情况的分析方式大多是根据参会人员的发言情况进行分析，这种分析方式存在单一、片面化的弊端，因而使得分析的结果可靠度低，无法综合反映各参会人员的参会表现力。


技术实现要素：

4.为了改善上述问题，本发明提供一种基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台，通过对参加远程视频会议的参会人员在会议过程中进行参会图像采集，并以此统计各参会人员对应的综合参会精神状态系数，同时对各参会人员进行发言内容分析，进而统计各参会人员对应的发言相关度系数，由此根据以上统计各参会人员对应的参会表现力系数，有效弥补了目前对参会人员表现情况分析存在的单一、片面化的弊端。
5.本发明的第一方面提出基于大数据和云计算的远程视频会议智能管理系统，包括视频终端统计标记模块、参会人员人脸图像采集模块、参会数据库、参会人员身份确认模块、参会人员参会图像采集模块、参会精神状态分析模块、参会人员发言跟踪模块、发言相关度分析模块、监控管理服务器和后台显示终端；
6.所述视频终端统计标记模块与参会人员人脸图像采集模块连接，参会人员人脸图像采集模块与参会人员身份确认模块连接，参会人员身份确认模块与参会人员参会图像采集模块连接，参会人员参会图像采集模块与参会精神状态分析模块连接，参会人员发言跟踪模块与发言相关度分析模块连接，参会精神状态分析模块和发言相关度分析模块均与监控管理服务器连接，监控管理服务器与后台显示终端连接；
7.所述视频终端统计标记模块用于统计远程视频会议中参会视频终端的数量，并对统计的各视频终端按照预设的顺序进行编号，分别标记为1,2...i...n，其中各视频终端分别对应一个参会人员；
8.所述参会人员人脸图像采集模块用于根据各视频终端上的高清摄像头分别采集参会人员的人脸图像，并将采集的各参会人员的人脸图像发送至参会人员身份确认模块；
9.所述参会人员身份确认模块接收参会人员人脸图像采集模块发送的各参会人员的人脸图像，并从接收的各参会人员的人脸图像中提取人脸特征，进而与参会数据库中各参会人员姓名对应的人脸特征进行比对，从而得到各参会人员人脸图像对应的参会人员姓名，由此可确认各视频终端对应的参会人员姓名；
10.所述参会人员参会图像采集模块用于在视频会议过程中根据各视频终端上的高清摄像头按照预设的图像采集时间间隔实时采集该视频终端对应的参会人员参会图像，得到各视频终端各图像采集时间段内的参会人员参会图像，并构成图像采集时间段参会图像集合p
r
(p
r
1,p
r
2,...,p
r
t,...,p
r
k)，p
r
t表示为第r个视频终端在第t个图像采集时间段采集的参会人员参会图像，r表示为视频终端编号，r＝1,2...i...n,t表示为图像采集时间段，t＝1,2...k,参会人员参会图像采集模块将图像采集时间段参会图像集合发送至参会精神状态分析模块；
11.所述参会数据库用于存储各参会人员姓名对应的人脸特征，存储各参会人员姓名对应的音色特征，存储各种表情对应的表情特征，存储各种坐姿状态对应的坐姿特征，存储各种表情对应的面部精神状态系数，存储各种坐姿状态对应的坐姿精神状态系数，并存储各会议主题词；
12.所述参会精神状态分析模块接收参会人员参会图像采集模块发送的图像采集时间段参会图像集合，并提取集合中各视频终端在各图像采集时间段内的参会人员参会图像，进而将提取的参会人员参会图像分别聚焦在参会人员的面部区域和腿部区域，以此从参会人员的面部区域提取参会人员的面部表情特征，从参会人员的腿部区域提取参会人员的坐姿特征，从而将提取的参会人员的面部表情特征和坐姿特征分别与参会数据库中各种表情对应的表情特征进行对比和各种坐姿状态对应的坐姿特征进行对比，由此筛选出各视频终端的参会人员在各图像采集时间段对应的表情和坐姿状态，并构成参会人员参会精神状态参数集合q
wr
(q
wr
1,q
wr
2,...,q
wr
t,...,q
wr
k)，q
wr
t表示为第r个视频终端的参会人员在第t个图像采集时间段的第w个参会精神状态参数对应的数据，w表示为参会精神状态参数，w＝d1,d2,d1,d2分别表示为表情，坐姿状态，参会精神状态分析模块将参会人员参会精神状态参数集合与参会数据库中各种表情对应的面部精神状态系数和各种坐姿状态对应的坐姿精神状态系数进行对比，由此得到各视频终端的参会人员在各图像采集时间段对应的面部精神状态系数和坐姿精神状态系数，从而统计各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数，并发送至监控管理服务器；
13.所述参会人员发言跟踪模块用于在视频会议过程中对各参会人员的发言内容进行跟踪，并将获取的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量发送至发言相关度分析模块，其中参会人员发言跟踪模块包括发言人身份确认模块、发言时长统计模块和发言内容匹配分析模块；
14.所述发言人身份确认模块用于在视频会议过程中，当有参会人员进行发言时，提取发言人发言语音的音色特征，并将其与参会数据库中各参会人员姓名对应的音色特征进行对比，进而从中确认发言人对应的参会人员姓名；
15.所述发言时长统计模块用于在各参会人员进行发言时开始计时，并在对应的参会人员结束发言时停止计时，由此统计出各参会人员对应的发言时长；
16.所述发言内容匹配分析模块用于对各参会人员在对应发言时长内发言的语音信
息进行截取，并对截取的语音信息进行文本内容识别和内容匹配，其具体识别匹配的过程执行以下步骤：
17.s1:将截取的语音信息进行语音增强处理；
18.s2:对语音增强处理后的语音信息进行语音特征提取；
19.s3:将提取的语音特征在语音模板库中存储的各种语音模板中进行解析，并从中筛选与提取的语音特征解析匹配度最大的语音模板，作为该语音信息对应的目标语音模板；
20.s4:根据该目标语音模板的定义识别该语音信息对应的文本内容，由此得到各参会人员发言语音信息对应的文本内容；
21.s5:对得到的各参会人员发言语音信息对应的文本内容进行文本预处理，得到各个分词，并从得到的各分词中抓取发言关键词，同时统计抓取的发言关键词的数量；
22.s6:将抓取的各参会人员对应的各发言关键词分别与参会数据库中存储的各会议主题词进行匹配，并统计各参会人员匹配成功的发言关键词数量；
23.所述发言相关度分析模块接收参会人员发言跟踪模块发送的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量，并提取参会数据库中设置的发言时长阈值，进而由此统计各参会人员对应的发言相关度系数，并发送至监控管理服务器；
24.所述监控管理服务器分别接收参会精神状态分析模块发送的各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数和发言相关度分析模块发送的各参会人员对应的发言相关度系数，进而统计各参会人员对应的参会表现力系数，并发送至后台显示终端；
25.所述后台显示终端接收监控管理服务器发送的各参会人员对应的参会表现力系数，并在系统后台显示。
26.在第一方面的一种可能的设计中，所述各种表情包括兴奋、喜欢、惊讶、痛苦、恐惧、羞辱、厌恶和愤怒，各种坐姿状态包括端正状态、斜坐状态、趴坐状态和仰靠状态。
27.在第一方面的一种可能的设计中，所述参会人员身份确认模块还包括对未参会人员进行统计,具体统计过程为将各视频终端对应的参会人员姓名与本次远程视频会议的应参会人员姓名进行比对，若存在某应参会人员的姓名与各视频终端对应的参会人员姓名比对失败，则表明该应参会人员未参会，由此统计未参会的人员。
28.在第一方面的一种可能的设计中，所述图像采集时间段的获取方法为统计整个视频会议的时长，将整个视频会议的时长除以预设的图像采集时间间隔即为图像采集时间段的个数，并将各图像采集时间段按照图像采集时间点的先后顺序进行编号，依次标记为1,2...t...k。
29.在第一方面的一种可能的设计中，所述各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数的计算公式为η
r
表示为第r个视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数，ε
rt
、δ
rt
分别表示为第r个视频
终端的参会人员在第t个图像采集时间段对应的面部精神状态系数、坐姿精神状态系数。
30.在第一方面的一种可能的设计中，所述文本预处理包括去停用词和分词操作。
31.在第一方面的一种可能的设计中，所述各参会人员对应的发言相关度系数的计算公式为σ
r
表示为第r个视频终端的参会人员对应的发言相关度系数，t
r
表示为第r个视频终端的参会人员对应的发言时长，t0表示为设置的发言时长阈值，k
r
表示为第r个视频终端的参会人员匹配成功的发言关键词数量，k
r
′
表示为第r个视频终端的参会人员对应的发言关键词总数量。
32.在第一方面的一种可能的设计中，所述各参会人员对应的参会表现力系数的计算公式为公式为表示为第r个视频终端的参会人员对应的参会表现力系数。
33.本发明的第二方面提出一种云会议管理平台，所述云会议管理平台包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个远程视频会议智能管理设备通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行本发明所述的基于大数据和云计算的远程视频会议智能管理系统。
34.基于上述任一方面，本发明的有益效果如下：
35.(1)本发明通过对参加远程视频会议的参会人员在会议过程中进行参会图像采集，并获取各参会人员在会议过程中的表情和坐姿，以此统计各参会人员对应的综合参会精神状态系数，同时对各参会人员的发言进行跟踪，对发言内容进行分析，进而统计各参会人员对应的发言相关度系数，由此根据以上统计各参会人员对应的参会表现力系数，为远程会议主办方分析会议召开的效果提供全面可靠的参考依据，有效弥补了目前对参会人员表现情况分析存在的单一、片面化的弊端，提高了分析结果的准确度和可靠度，进而提高了远程视频会议的管理水平。
36.(2)本发明统计的各参会人员对应的综合参会精神状态系数综合了参会人员的面部精神状态状况和坐姿精神状态状况，全面直观反映了各参会人员在整个会议过程中的综合精神状态状况，避免了只根据面部精神状态或坐姿精神状态统计综合参会精神状态系数造成的统计结果片面，影响后面参会人员对应参会表现力系数统计的可靠度。
37.(3)本发明在统计各参会人员对应的综合参会精神状态系数过程中，通过将整个会议时长划分为若干图像采集时间段，以此采集各参会人员在各图像采集时间段的参会图像，避免在整个会议过程中只采集单张参会图像进行综合参会精神状态系数统计造成的统计误差，使统计结果更能全过程性的反映参会人员的真实参会精神状态。
附图说明
38.利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
39.图1为本发明的系统模块连接示意图；
40.图2为本发明的参会人员发言跟踪模块连接示意图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.参照图1所示，本发明的第一方面提出一种基于大数据和云计算的远程视频会议智能管理系统，包括视频终端统计标记模块、参会人员人脸图像采集模块、参会数据库、参会人员身份确认模块、参会人员参会图像采集模块、参会精神状态分析模块、参会人员发言跟踪模块、发言相关度分析模块、监控管理服务器和后台显示终端，其中视频终端统计标记模块与参会人员人脸图像采集模块连接，参会人员人脸图像采集模块与参会人员身份确认模块连接，参会人员身份确认模块与参会人员参会图像采集模块连接，参会人员参会图像采集模块与参会精神状态分析模块连接，参会人员发言跟踪模块与发言相关度分析模块连接，参会精神状态分析模块和发言相关度分析模块均与监控管理服务器连接，监控管理服务器与后台显示终端连接。
43.视频终端统计标记模块用于统计远程视频会议中参会视频终端的数量，并对统计的各视频终端按照预设的顺序进行编号，分别标记为1,2...i...n，其中各视频终端分别对应一个参会人员。
44.参会人员人脸图像采集模块用于根据各视频终端上的高清摄像头分别采集参会人员的人脸图像，并将采集的各参会人员的人脸图像发送至参会人员身份确认模块。
45.参会人员身份确认模块接收参会人员人脸图像采集模块发送的各参会人员的人脸图像，并从接收的各参会人员的人脸图像中提取人脸特征，进而与参会数据库中各参会人员姓名对应的人脸特征进行比对，从而得到各参会人员人脸图像对应的参会人员姓名，由此可确认各视频终端对应的参会人员姓名，为后面统计各参会人员对应的参会表现力系数提供铺垫，同时还能够对未参会人员进行统计,具体统计过程为将各视频终端对应的参会人员姓名与本次远程视频会议的应参会人员姓名进行比对，若存在某应参会人员的姓名与各视频终端对应的参会人员姓名比对失败，则表明该应参会人员未参会，由此统计未参会的人员。
46.参会人员参会图像采集模块用于在视频会议过程中根据各视频终端上的高清摄像头按照预设的图像采集时间间隔实时采集该视频终端对应的参会人员参会图像，得到各视频终端各图像采集时间段内的参会人员参会图像，其中图像采集时间段的获取方法为统计整个视频会议的时长，将整个视频会议的时长除以预设的图像采集时间间隔即为图像采集时间段的个数，并将各图像采集时间段按照图像采集时间点的先后顺序进行编号，依次标记为1,2...t...k，并构成图像采集时间段参会图像集合p
r
(p
r
1,p
r
2,...,p
r
t,...,p
r
k)，p
r
t表示为第r个视频终端在第t个图像采集时间段采集的参会人员参会图像，r表示为视频终端编号，r＝1,2...i...n,t表示为图像采集时间段，t＝1,2...k,参会人员参会图像采集模块将图像采集时间段参会图像集合发送至参会精神状态分析模块。
47.本实施例通过将整个会议时长划分为若干图像采集时间段，以此采集各参会人员
在各图像采集时间段的参会图像，避免在整个会议过程中只采集单张参会图像进行综合参会精神状态系数统计造成的统计误差，使统计结果更能全过程性的反映参会人员的真实参会精神状态。
48.参会数据库用于存储各参会人员姓名对应的人脸特征，存储各参会人员姓名对应的音色特征，存储各种表情对应的表情特征，其中各种表情包括兴奋、喜欢、惊讶、痛苦、恐惧、羞辱、厌恶和愤怒，存储各种坐姿状态对应的坐姿特征，其中各种坐姿状态包括端正状态、斜坐状态、趴坐状态和仰靠状态，存储各种表情对应的面部精神状态系数，存储各种坐姿状态对应的坐姿精神状态系数，并存储各会议主题词。
49.参会精神状态分析模块接收参会人员参会图像采集模块发送的图像采集时间段参会图像集合，并提取集合中各视频终端在各图像采集时间段内的参会人员参会图像，进而将提取的参会人员参会图像分别聚焦在参会人员的面部区域和腿部区域，以此从参会人员的面部区域提取参会人员的面部表情特征，从参会人员的腿部区域提取参会人员的坐姿特征，从而将提取的参会人员的面部表情特征和坐姿特征分别与参会数据库中各种表情对应的表情特征进行对比和各种坐姿状态对应的坐姿特征进行对比，由此筛选出各视频终端的参会人员在各图像采集时间段对应的表情和坐姿状态，并构成参会人员参会精神状态参数集合q
wr
(q
wr
1,q
wr
2,...,q
wr
t,...,q
wr
k)，q
wr
t表示为第r个视频终端的参会人员在第t个图像采集时间段的第w个参会精神状态参数对应的数据，w表示为参会精神状态参数，w＝d1,d2,d1,d2分别表示为表情，坐姿状态，参会精神状态分析模块将参会人员参会精神状态参数集合与参会数据库中各种表情对应的面部精神状态系数和各种坐姿状态对应的坐姿精神状态系数进行对比，由此得到各视频终端的参会人员在各图像采集时间段对应的面部精神状态系数和坐姿精神状态系数，从而统计各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数η
r
表示为第r个视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数，ε
rt
、δ
rt
分别表示为第r个视频终端的参会人员在第t个图像采集时间段对应的面部精神状态系数、坐姿精神状态系数，并发送至监控管理服务器。
50.本实施例统计的各参会人员对应的综合参会精神状态系数综合了参会人员的面部精神状态状况和坐姿精神状态状况，全面直观反映了各参会人员在整个会议过程中的综合精神状态状况，避免了只根据面部精神状态或坐姿精神状态统计综合参会精神状态系数造成的统计结果片面性，影响后面参会人员对应参会表现力系数统计的可靠度。
51.参会人员发言跟踪模块用于在视频会议过程中对各参会人员的发言内容进行跟踪，并将获取的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量发送至发言相关度分析模块，其中参会人员发言跟踪模块包括发言人身份确认模块、发言时长统计模块和发言内容匹配分析模块。
52.所述发言人身份确认模块用于在视频会议过程中，当有参会人员进行发言时，提取发言人发言语音的音色特征，并将其与参会数据库中各参会人员姓名对应的音色特征进行对比，进而从中确认发言人对应的参会人员姓名。
53.所述发言时长统计模块用于在各参会人员进行发言时开始计时，并在对应的参会人员结束发言时停止计时，由此统计出各参会人员对应的发言时长。
54.所述发言内容匹配分析模块用于对各参会人员在对应发言时长内发言的语音信息进行截取，并对截取的语音信息进行文本内容识别和内容匹配，其具体识别匹配的过程执行以下步骤：
55.s1:将截取的语音信息进行语音增强处理；
56.s2:对语音增强处理后的语音信息进行语音特征提取；
57.s3:将提取的语音特征在语音模板库中存储的各种语音模板中进行解析，并从中筛选与提取的语音特征解析匹配度最大的语音模板，作为该语音信息对应的目标语音模板；
58.s4:根据该目标语音模板的定义识别该语音信息对应的文本内容，由此得到各参会人员发言语音信息对应的文本内容；
59.s5:对得到的各参会人员发言语音信息对应的文本内容进行文本预处理，其中文本预处理包括去停用词和分词操作，得到各个分词，并从得到的各分词中抓取发言关键词，同时统计抓取的发言关键词的数量；
60.s6:将抓取的各参会人员对应的各发言关键词分别与参会数据库中存储的各会议主题词进行匹配，并统计各参会人员匹配成功的发言关键词数量；
61.所述发言相关度分析模块接收参会人员发言跟踪模块发送的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量，并提取参会数据库中设置的发言时长阈值，进而由此统计各参会人员对应的发言相关度系数σ
r
表示为第r个视频终端的参会人员对应的发言相关度系数，t
r
表示为第r个视频终端的参会人员对应的发言时长，t0表示为设置的发言时长阈值，k
r
表示为第r个视频终端的参会人员匹配成功的发言关键词数量，k
r
′
表示为第r个视频终端的参会人员对应的发言关键词总数量，并发送至监控管理服务器。
62.本实施例统计的发言相关度系数实现了参会人员发言内容与会议主题相关度的量化展示，发言相关度系数越大，表明与会议主题的相关度越高，为后期统计参会表现力系数提供发言内容的相关参数。
63.监控管理服务器分别接收参会精神状态分析模块发送的各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数和发言相关度分析模块发送的各参会人员对应的发言相关度系数，进而统计各参会人员对应的参会表现力系数员对应的发言相关度系数，进而统计各参会人员对应的参会表现力系数表示为第r个视频终端的参会人员对应的参会表现力系数，并发送至后台显示终端。
64.本实施例统计的参会人员对应的参会表现力系数融合了参会人员整个会议过程中的参会精神状态和发言内容与会议主题的相关度，有效弥补了目前对参会人员表现情况只针对发言内容进行分析存在的单一、片面化的弊端，提高了统计结果的准确度和可靠度。
65.后台显示终端接收监控管理服务器发送的各参会人员对应的参会表现力系数，并在系统后台显示，便于远程会议主办方直观了解各参会人员的参会表现情况，为分析会议召开的效果提供全面可靠的参考依据，提高了远程视频会议的管理水平。
66.本发明的第二方面提出一种云会议管理平台，所述云会议管理平台包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个远程视频会议智能管理设备通信连接，所述机器可读存储介质用于存储程序、指令或代码，如本发明实施例中的远程视频会议智能管理程序指令/模块，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行本发明所述的基于大数据和云计算的远程视频会议智能管理系统。
67.以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。