一种基于TSN网络的视频画面抖动检测方法与流程

一种基于tsn网络的视频画面抖动检测方法
技术领域
1.本发明涉及电网视频技术领域，具体为一种基于tsn网络的视频画面抖动检测方法。


背景技术：

2.在电网视频监控类业务中，监控视频画面的抖动是系统中经常出现的一种问题，主要原因在于当前检测抖动的算法泛化效果比较差，通常是一套阈值或者一套规则只适用于特定的场景，当场景发生变化时算法的准确率会下降甚至检测失效，算法的普适应和应用灵活性存在不足，因此我们提出了一种基于tsn网络的视频画面抖动检测方法。


技术实现要素：

3.(一)解决的技术问题
4.针对现有技术的不足，本发明公开了一种基于tsn网络的视频画面抖动检测方法，以解决上述背景技术中提出的问题。
5.(二)技术方案
6.为实现以上目的，本发明通过以下技术方案予以实现：一种基于tsn网络的视频画面抖动检测方法，包括以下步骤：
7.s1、获取多媒体业务中不同场景的视频，并进行预处理；
8.s2、将预处理的视频输入深度神经网络中进行学习；
9.s3、基于段共识函数，综合相同场景下的所有片段序列的预测结果；
10.s4、采用标准分类交叉熵损失，获得不同场景的输入视频的最终识别结果；
11.检测多媒体业务中视频画面抖动需识别出抖动特征和确定抖动特征的起始时间，因通过时钟同步、数据调度、网络配置等机制，tsn可以达到10us级的周期传输，以提供微秒级确定性服务，且能够实现周期性数据和非周期性数据在同一网络中传输，简化整个通信网络的复杂度，极大保证了多媒体业务中的实时性需求；
12.tsn可以用于构建可靠性高、延迟低和抖动低的网络；
13.通过机器学习算法对视频抖动特性进行学习，判断视频是否抖动以及输出抖动特征，根据学习结果形成资源分配和网络保障需求，再tsn网络响应资源分配和网络保障需求，从而实现对抖动特性的补偿或消除。
14.优选的，通过获取时钟信息，将时钟信息写入输入视频中，对输入视频进行预处理；再利用时钟信息获取第一时刻信息，根据第一时刻信息，利用第一时刻信息获取第二时刻信息，根据第二时刻信息和预处理的输入视频生成延迟信息和抖动信息，以用于训练模型，再由训练好的深度神经网络判断视频是否抖动和输出抖动的帧号。
15.优选的，获取时钟同步后的硬件时间，取整后作为预设数量的视频数据的发出时间的时间表，再控制数据按预设的时间间隔发出，以设定时钟信息写入输入视频的视频帧中，并记录发出时间的信息作为第一时刻信息。
16.优选的，将预处理的输入视频发送至目标终端的网络接口后，且目标终端成功接收时，记录本地硬件时间作为第二时刻信息，并计算和记录该输入视频的延迟时间，即单位延迟时间＝第二时刻信息－第一时刻信息；
17.再计算和记录抖动时间，抖动时间＝相邻的单位延迟时间的差值。
18.优选的，当目标终端的网络接口接收到预设数量的视频数据后，叠加之前记录的所有单位延迟时间和所有抖动时间，作为整段输入视频的延迟时间和抖动时间，并写入输入视频中，使得可学习的抖动特征更丰富。
19.优选的，深度神经网络将输入视频划分为若干段，每个视频片段经过随机采样得到，并对视频片段进行建模；
20.如：tsn(t1,t2,...,tn)＝h(g(f(t1；w),f(t2；w),...,f(tn；w)))；
21.其中，(t1,t2,...,tn)代表片段序列，每个片段tn从输入视频中随机采样得到；
22.f(tn；w)学习函数代表采用w作为参数的卷积网络作用于每个视频片段tn，以返回相应的抖动类别的得分；
23.段共识函数g用于综合所有片段序列的类别得分，以获得关于类别假设的共识；
24.预测函数h再基于这个共识，预测整段输入视频的抖动类别的概率。
25.优选的，再获取多媒体业务中不同场景的视频作为输入视频，输入深度神经网络进行学习，最后综合利用多媒体业务中不同场景的输入视频的学习结果，结合标准分类交叉熵损失，从所有片段序列中的相同类别的得分中推断出抖动类别的分数，采用均匀平均法得到最终的识别结果。
26.优选的，不同视频片段的类别分采用共识函数进行融合来产生段共识，然后综合所有片段序列的预测结果，使得预测结果更精准。采用标准分类交叉熵损失，能更精准识别抖动特征的类别，改善多媒体业务中视频画面抖动检测算法的泛化效果，提高算法的识别精度；
27.深度神经网络通过对包含延迟时间信息和抖动时间信息的输入视频进行学习，并根据学习结果预设相应的资源分配和网络保障需求。
28.优选的，tsn网络响应于形成的资源分配和网络保障需求，对满足位于预设范围内的延时时间和预设范围内的抖动时间需求的输入视频中的抖动帧保留抖动的起始时间到预设时间间隔的抖动帧，并消除从起始时间加上预设的时间间隔的时刻起，到抖动的结束时间的抖动帧，或者，对满足位于预设范围内的延时时间和预设范围内的抖动时间需求的输入视频中的抖动帧执行消除操作，以实现对抖动特性的补偿或消除。
29.优选的，tsn网络对输入视频根据人为经验以优先级分类，高优先级的输入视频帧可以对低优先级未传输完成的输入视频帧进行抢占发送，通过设置最小可被抢占帧的长度，例如设置为128字节，则必须等待低优先级未传输完成的输入视频帧传输完128字节才能进行抢占发送，并在高优先级的输入视频帧发送完成后，再对低优先级未传输完成的输入视频帧未发送完成的部分进行发送，以减少传输延迟。
30.本发明公开了一种基于tsn网络的视频画面抖动检测方法，其具备的有益效果如下：
31.1、该基于tsn网络的视频画面抖动检测方法，基于机器学习，将多媒体业务中的不同场景下的视频分别作为输入视频进行学习，综合所有片段序列的预测结果，使得预测结
果更精准；同时，采用标准分类交叉熵损失，能更精准识别抖动特征的类别，改善多媒体业务中视频画面抖动检测算法的泛化效果，提高算法的识别精度。
32.2、该基于tsn网络的视频画面抖动检测方法，对输入视频进行预处理，使得可学习的抖动特征更丰富，利于改善算法的泛化效果和提高算法的识别精度。
33.3、该基于tsn网络的视频画面抖动检测方法，tsn网络响应资源分配和网络保障需求，实现对抖动特性的补偿或消除，以及减少传输延迟。
附图说明
34.图1为本发明流程示意图。
具体实施方式
35.本发明实施例公开一种基于tsn网络的视频画面抖动检测方法。
36.请参照附图1，包括以下步骤：
37.s1、获取多媒体业务中不同场景的视频，并进行预处理；
38.s2、将预处理的视频输入深度神经网络中进行学习；
39.s3、基于段共识函数，综合相同场景下的所有片段序列的预测结果；
40.s4、采用标准分类交叉熵损失，获得不同场景的输入视频的最终识别结果；
41.检测多媒体业务中视频画面抖动需识别出抖动特征和确定抖动特征的起始时间，因通过时钟同步、数据调度、网络配置等机制，tsn可以达到10us级的周期传输，以提供微秒级确定性服务，且能够实现周期性数据和非周期性数据在同一网络中传输，简化整个通信网络的复杂度，极大保证了多媒体业务中的实时性需求；
42.tsn可以用于构建可靠性高、延迟低和抖动低的网络；
43.通过机器学习算法对视频抖动特性进行学习，判断视频是否抖动以及输出抖动特征，根据学习结果形成资源分配和网络保障需求，再tsn网络响应资源分配和网络保障需求，从而实现对抖动特性的补偿或消除。
44.通过获取时钟信息，将时钟信息写入输入视频中，对输入视频进行预处理；再利用时钟信息获取第一时刻信息，根据第一时刻信息，利用第一时刻信息获取第二时刻信息，根据第二时刻信息和预处理的输入视频生成延迟信息和抖动信息，以用于训练模型，再由训练好的深度神经网络判断视频是否抖动和输出抖动的帧号。
45.获取时钟同步后的硬件时间，取整后作为预设数量的视频数据的发出时间的时间表，再控制数据按预设的时间间隔发出，以设定时钟信息写入输入视频的视频帧中，并记录发出时间的信息作为第一时刻信息。
46.将预处理的输入视频发送至目标终端的网络接口后，且目标终端成功接收时，记录本地硬件时间作为第二时刻信息，并计算和记录该输入视频的延迟时间，即单位延迟时间＝第二时刻信息-第一时刻信息；
47.再计算和记录抖动时间，抖动时间＝相邻的单位延迟时间的差值。
48.当目标终端的网络接口接收到预设数量的视频数据后，叠加之前记录的所有单位延迟时间和所有抖动时间，作为整段输入视频的延迟时间和抖动时间，并写入输入视频中，使得可学习的抖动特征更丰富。
49.深度神经网络将输入视频划分为若干段，每个视频片段经过随机采样得到，并对视频片段进行建模；
50.如：tsn(t1,t2,...,tn)＝h(g(f(t1；w),f(t2；w),...,f(tn；w)))；
51.其中，(t1,t2,...,tn)代表片段序列，每个片段tn从输入视频中随机采样得到；
52.f(tn；w)学习函数代表采用w作为参数的卷积网络作用于每个视频片段tn，以返回相应的抖动类别的得分；
53.段共识函数g用于综合所有片段序列的类别得分，以获得关于类别假设的共识；
54.预测函数h再基于这个共识，预测整段输入视频的抖动类别的概率。
55.再获取多媒体业务中不同场景的视频作为输入视频，输入深度神经网络进行学习，最后综合利用多媒体业务中不同场景的输入视频的学习结果，结合标准分类交叉熵损失，从所有片段序列中的相同类别的得分中推断出抖动类别的分数，采用均匀平均法得到最终的识别结果。
56.不同视频片段的类别分采用共识函数进行融合来产生段共识，然后综合所有片段序列的预测结果，使得预测结果更精准。采用标准分类交叉熵损失，能更精准识别抖动特征的类别，改善多媒体业务中视频画面抖动检测算法的泛化效果，提高算法的识别精度；
57.深度神经网络通过对包含延迟时间信息和抖动时间信息的输入视频进行学习，并根据学习结果预设相应的资源分配和网络保障需求。
58.tsn网络响应于形成的资源分配和网络保障需求，对满足位于预设范围内的延时时间和预设范围内的抖动时间需求的输入视频中的抖动帧保留抖动的起始时间到预设时间间隔的抖动帧，并消除从起始时间加上预设的时间间隔的时刻起，到抖动的结束时间的抖动帧，或者，对满足位于预设范围内的延时时间和预设范围内的抖动时间需求的输入视频中的抖动帧执行消除操作，以实现对抖动特性的补偿或消除。
59.tsn网络对输入视频根据人为经验以优先级分类，高优先级的输入视频帧可以对低优先级未传输完成的输入视频帧进行抢占发送，通过设置最小可被抢占帧的长度，例如设置为128字节，则必须等待低优先级未传输完成的输入视频帧传输完128字节才能进行抢占发送，并在高优先级的输入视频帧发送完成后，再对低优先级未传输完成的输入视频帧未发送完成的部分进行发送，以减少传输延迟。
60.工作原理：检测多媒体业务中视频画面抖动需识别出抖动特征和确定抖动特征的起始时间，因通过时钟同步、数据调度、网络配置等机制，tsn可以达到10us级的周期传输，以提供微秒级确定性服务，且能够实现周期性数据和非周期性数据在同一网络中传输，简化整个通信网络的复杂度，极大保证了多媒体业务中的实时性需求；
61.tsn可以用于构建可靠性高、延迟低和抖动低的网络；
62.基于机器学习，将多媒体业务中的不同场景下的视频分别作为输入视频进行学习，综合所有片段序列的预测结果，使得预测结果更精准；同时，采用标准分类交叉熵损失，能更精准识别抖动特征的类别，改善多媒体业务中视频画面抖动检测算法的泛化效果，提高算法的识别精度，对输入视频进行预处理，使得可学习的抖动特征更丰富，利于改善算法的泛化效果和提高算法的识别精度，tsn网络响应资源分配和网络保障需求，实现对抖动特性的补偿或消除，以及减少传输延迟。
63.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术
人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。