视频会议数据处理方法、装置及电子设备与流程

本发明涉及视频会议数据，具体涉及视频会议数据处理方法、装置及电子设备。

背景技术：

1、近年来流媒体技术应用不断成熟，视频会议系统作为流媒体技术的应用之一，正在经历一个快速发展的时期，随着视频会议系统的应用场景不断拓展丰富，越来越多的企业和个人开始使用视频会议系统来进行远程工作和在线学习，正因为市场需求不断扩大，视频会议系统也在不断更新迭代，以提升其产品的竞争力，满足用户的需求，成为目前研究的重点方向。

2、目前在端到端的视频场景处理的过程中，编解码和传输过程中会引入大量时延，所以目前很多研究都针对这些过程进行优化以降低时延，虽然在整体上取得了不错的效果，但是并未充分考虑视频会议的场景下的图像特点，视频会议数据处理方面还存在以下问题：

3、（1）现有的视频会议数据处理需要端到端实时处理，视频数据包可能会出现抖动或者丢包的问题，造成接收端收到的数据不及时、不完整或者出现错误，利用错误数据解码出的画面质量会降低，出现屏幕马赛克或者是画面卡顿等问题。

4、（2）目前在带宽受限的条件下能使对端接收到高清视频，主要通过是降低码率或者解码端视频质量增强的方法，将视频的压缩比提高，并保证解码后视频质量不受到影响，但一直受限于视频会议数据过于庞大，导致计算资源消耗过高等问题。

技术实现思路

1、本发明的目的在于提供视频会议数据处理方法、装置及电子设备，以解决现有技术中视频数据包可能会出现抖动或者丢包、受限于视频会议数据过于庞大，导致计算资源消耗过高的技术问题。为解决上述技术问题，本发明具体提供下述技术方案：

2、本发明的第一个方面，提供了视频会议数据处理方法，包括以下步骤：

3、获取连续的视频流并按时间段划分视频帧，对所述视频帧进行视频编码获取视频编码数据，对所述视频编码数据进行条块划分，获取每一帧的条块信息；

4、对所述数据帧间的条块信息逐帧比较，获取相邻所述条块信息间变化的动态数据向量，根据所述动态数据向量计算所有所述条块信息的权重，依据所述条块信息的权重划分条块信息的优先级，对所述条块信息的权重优先级排序高于50%的部分进行帧内刷新编码，获取待封装视频数据；

5、对所述待封装视频数据采用卷积网络模型进行数据训练，获取训练数据集，采用时空可变形融合模型stdf对所述训练数据集聚合相邻所述视频帧间的时空信息，获取高质量视频数据。

6、作为本发明的一种优选方案，获取连续的视频流并按时间段划分视频帧，对所述视频帧进行视频编码获取视频编码数据，包括：

7、按时间段将所述视频流划分为以时间序列为单位的视频帧序列，对所述视频帧序列构建视频帧缓冲队列；

8、依次在所述视频帧缓冲队列中提取所述视频帧序列，采用霍夫曼编码进行数据压缩，获取视频编码数据。

9、作为本发明的一种优选方案，对所述视频编码数据进行条块划分，获取每一帧的条块信息，包括：

10、对所述视频编码数据在空间区域上均匀分割，将一帧画面分割为若干个条块，获取条块数据。

11、作为本发明的一种优选方案，对所述数据帧间的条块信息逐帧比较，获取相邻所述条块信息间变化的动态数据向量，包括：

12、选取相邻的所述数据帧间条块信息中运动的像素点，获取所述像素点在前后两帧内位移的方向和大小；

13、提取前后两帧内所述条块信息的特征点，对前后两帧所述条块信息做逐层分解，建立高斯金字塔；

14、计算所述条块信息中每个特征点的邻域范围内的匹配误差和，并一直迭代计算至下层，获取所述特征点的运动情况，根据所述运动情况标记所述特征点的位移大小和方向，建立动态数据向量。

15、作为本发明的一种优选方案，根据所述动态数据向量计算所有所述条块信息的权重，包括：

16、按时间序列统计所有所述条块信息的在时间段内的所述特征点的动态数据向量总和，根据当前帧第个条块中所述特征点运动情况计算所述条块信息的权重，其表达式为：

17、

18、其中，表示在第帧中第个条块中所有的特征点运动向量的总合，、、表示权重计算的影响系数，表示整体权重的调整参数，表示计算条块所在帧与当前帧的差值，表示条块所在帧，表示条块所在帧对应第个条块中第个特征点的运动向量，表示特征点数量总和。

19、作为本发明的一种优选方案，对所述待封装视频数据采用卷积网络模型进行数据训练，获取训练数据集，包括：

20、将所述待封装视频数据作为输入帧输入学生模型进行训练，获取同一时间段内训练数据的特征值，通过损失函数计算所述特征值对应的所述学生模型的参数值，其表达式为：

21、

22、其中，表示学生模型的初始参数值，表示学生模型参数更新的滑动平均系数，表示轮次迭代时学生模型的参数值，表示学生模型的迭代次数，表示轮次迭代时学生模型的参数值，表示学生模型对训练数据的影响程度；

23、采用多个教师模型通过共享网络对所述学生模型的输出值进行计算获取视频数据特征图，通过特征聚合模块将多个所述特征图聚合为对应所述学生模型的特征信息；采用层卷积网络对所述特征信息进行训练，所述层卷积网络的输入通道数为所述教师模型的通道数总和，输出通道数与所述学生模型输出的特征信息的通道数相同；

24、以卷积层的形式引入额外参数对所述特征信息进行聚合，获取所述待封装视频数据的关键信息，依据当前阶段所述学生模型的成熟程度和教师模型评价对所述关键信息的所有训练数据进行难度评分，并依据难度值从小至大对样本数据按照从易至难的顺序进行排序；

25、在每个阶段的训练数据动态更新的过程中加入多样性样本，通过参考样本数据的真实类别标签对已按照难度排序的样本集合进行筛选并重新组织样本数据集合，将所述样本数据集合作为训练数据集。

26、作为本发明的一种优选方案，采用时空可变形融合模型stdf对所述训练数据集聚合相邻所述视频帧间的时空信息，获取高质量视频数据，包括：

27、将所述时空可变形融合模型stdf的输入端设置为时间间隔的偏移预测网络，对连续的所述视频帧进行处理，生成基于所述样本数据的偏移域；

28、使用时空可变形卷积模块将偏移域与所述时空信息进行融合，获取特征图，使用质量增强网络将所述特征图生成增强后的残差图，然后将增强后的结果追加到压缩的目标帧上，得到质量增强后的视频帧；

29、对所述质量增强后的视频帧建立评价函数，获取高质量视频数据，所述评价函数表达式为：

30、

31、其中，表示时间间隔内视频帧的视频质量分数真实值，表示质量增强后视频帧的视频质量评价分数，表示调节系数，表示质量增强前后视频帧的均方误差，表示时间段内视频帧的残差数，表示视频质量评价分数。

32、本发明的第二个方面，提供了视频会议数据处理装置，应用于所述的视频会议数据处理方法，装置包括：

33、数据采集单元，用于采集连续的视频流并按时间段划分视频帧，其中，所述视频帧根据采样时间划分时间段；

34、数据编码单元，用于对所述视频进行编码，获取视频帧序列，在空间区域上对视频编码数据均匀分割，将一帧画面分割为若干个条块，获取条块数据，提取视频帧特征数据；

35、数据处理单元，利用时空可变形融合模型stdf聚合所述视频帧特征数据的所有特征信息，并将所述视频帧数据进行时空融合，获取高质量视频数据。

36、本发明的第三个方面，提供了一种电子设备，

37、包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；

38、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行。

39、本发明与现有技术相比较具有如下有益效果：

40、本发明基于运动权重的帧内刷新编解码方案，根据图像相邻帧中不同区域的动态数据向量，计算出每个区域中的运动权重，并根据每个区域中运动权重总和的大小确定编码区域的优先级，实现运动区域高频编码，以降低整体画面的时延。

41、通过将领域自适应下的meanteacher算法应用在视频质量增强stdf网络模型的训练过程中，利用无标签数据来有效改善模型的增强效果，对每一帧图像数据进行增强，提升了模型的预测准确率，通过将大量的无标签数据引入到算法的模型进行训练，不仅提升了视频质量模型的增强效果，而且提升了视频数据的处理效率。