视频的优化传输方法及系统与流程

本发明属于电力系统通信领域，尤其涉及一种在电力作业远程监控系统中对视频的无线实时传输进一步优化的视频的优化传输方法及系统。

背景技术：

随着我国电力事业不断发展，电力系统抢修任务也越加繁重，计划性线路运维作业的一个重要环节是接地线作业，其作业环境恶劣，内容繁杂，是事故多发的阶段，难以保障现场作业人员的人身安全，因此，需要将远程的监视、抢险过程监控、远程实时指挥等实际需求与无线技术统一结合起来，做到可以基于无线网络进行对远端的监视、遥控和图像信息的传输。且投资费用相对不大，较为合理，能够较为有效地保障系统的稳定运行，将安全防范技术水平提高一个新的档次。而系统的无线化、网络化、远程化监控是当前视频监控行业公认的主要发展方向。随着移动互联网技术的蓬勃发展，尤其是4g网络近年来的高速扩张，无处不在的通信，无处不在的网络，为无线视频传输技术的发展奠定了基础。而各行业不断高涨的需求则成为无线视频发展的强大动力。除了提供语音信息外，无线视频监控还为电力应急抢修工作的及时研判提供了更为详尽的数据支持，包括高速数据业务、图像业务和视频业务。因此，无线视频业务在未来将会成为4g网络的核心业务之一。

目前主流的视频编解码标准分别来源于两个国际组织：国际电信联合会(internationaltelecommunicationsunion，itu，简称国际电联)和国际标准化组织(internationalorganizationforstandardization，iso)。分别定义了两套最为重要的视频传输编码标准：iso制定的mpeg-1、mpeg-2、mpeg-3、mpeg-4、mpeg-7、mpeg-21等系列音/视频编码标准，统称为mpeg-x标准，主要应用于广播电视、视频存储、internet或无线网上的流媒体等。itu-t制定的h.261、h.262、h.263、h.264标准，统称为h.26x标准，主要应用于实时视频通信领域，如可视电话、视频会议、多媒体网络等。时至今日，视频编码标准的发展可以分为三个阶段：第一代视频编码标准，主要有h.261、h.262、mpeg-1、mpeg-2，能够把原来的视频数据压缩到1/75；新一代视频编码标准，主要有h.264、mpeg-4、avs，能够把原来的视频压缩到1/150；下一代视频编码标准——h.265/hevc，大概能把数据压缩到1/300。目前，在视频行业广泛采用的压缩和传输标准是2003年推出的h.264，一直占据着统帅的地位。现阶段支持h.265标准的设备已经开始了运用，但还未形成大规模商用的体系，预计在未来的五年至是十年内将成为主流。

视频监控对传输速率的要求与视频的分辨率有关，目前视频监控系统的主流分辨率有cif(352*288)、d1(704*576)、720p(1280*720)和1080p(1920*1080)等四种，其中cif格式分辨率最低且图像质量最差，相应的其对传输通道带宽的要求也最低只需达到250kbps左右稳定的传输带宽即可；而d1格式的分辨率一般要求达到512kbps以上的稳定传输带宽；720p格式分辨率和1080p格式分辨率则要求更高，至少要达到1mbps以上和2mbps以上的稳定传输带宽。4g网络中传输带宽的峰值上行速率可达到50-70mbps，且稳定上行传输速率可以达到5mbps左右，足以满足720p以及1080p格式分辨率视频数据的传输带宽需求。

但在实际应用中，各行业对4g无线网络使用高峰期重叠，在电力作业实时视频传输中卡顿现象时有发生，在通信网络带宽无法“扩容”情况下，实现作业现场视频传输连续性高，尽可能降低重要帧丢失率是目前亟待解决的问题。关于视频优化传输技术的研究，国内外已经取得一定的研究成果，分别从两方面提出优化方法和策略：一方面从视频数据本身的表示方式入手，部分文献提出在对视频数据打包传输前，根据带宽的变化自适应调整视频压缩时量化参数的大小，降低视频码率，缓解因信道带宽不足而造成的网络拥堵，降低丢包率；部分文献提出一种改进dct的压缩编码算法，通过设定阈值，将小于阈值的交流系数置零，使图像压缩后的数组维数减小，降低图像在有限带宽下的传输难度；另一方面在视频数据的传输方式方面，部分文献在mpeg-4的基础上，提出了一种结合丢包率和视频数据内容的自适应分组算法，根据当前网络状况和当前的视频数据内容来动态调整分组大小，提高了视频差错的鲁棒性和信道利用率；部分文献提出自适应视频传输机制，将发送速率与接收速率之间的差值作为退出慢启动阶段进入拥塞避免阶段的信号，将回环时间rtt的变化作为网络拥塞预警信号，用于预判网络实时拥塞状况，通过仿真验证该算法有效地降低丢包率。

但上述提出的视频传输改进策略均以丢包率最小为目标，以保证采集到的视频尽可能100％的传输。但提高视频的压缩比来减少传输时的数据量，对处理能力有限的移动终端设备不能实现；而改变视频传输分组策略以防止网络拥塞的方式，又无法保证实时性。因此，部分文献提出综合考虑缓冲区大小、帧相对复杂度和剩余帧分配的平均比特与目标比特的关系的改进跳帧算法，对相似度较高的帧采取主动舍弃策略，保证关键帧的高效传输；部分文献则利用相邻帧差法检测关键帧，在实时监测网络带宽不足时，对视频帧赋予优先级，优先传输关键帧，保证实时视频传输的完整性。可见，在对实时性要求较高的场合，可以以牺牲部分非关键帧的主动丢帧策略，以保证双方的实时信息交互。

技术实现要素：

本发明的目的在于，采用h.264编码压缩技术，提出一种基于帧相似度的视频优化传输方法，用于解决线路接地线管控视频的无线实时传输的优化问题。

本发明所要解决的技术问题在于提供一种视频的优化传输方法，其中，包括：

步骤s1：对待传输视频进行解析处理；

步骤s2：根据监测rtcp获得的反馈信息判断缓存区状态；

步骤s3：通过所述待传输视频的每一视频帧的特征值确定每一所述视频帧的丢包优先级，根据所述丢包优先级于所述视频帧中筛选出多个重要视频帧；

步骤s4：传输所述多个重要视频帧。

上述的视频的优化传输方法，其中，于所述步骤s1中还包括：

步骤s11：设定多个固定参数数据；

步骤s12：通过多个所述固定参数数据对所述待传输视频进行解析获得多个所述视频帧；

步骤s13：提取每一所述视频帧的rtp数据的序列号。

上述的视频的优化传输方法，其中，于所述步骤s2中包括：当缓存区占用率大于一阈值时执行所述步骤s3。

上述的视频的优化传输方法，其中，于所述步骤s3中包括：

步骤s31：确定每一所述视频帧的尺寸，提取每一所述视频帧的特征值且基于每一所述视频帧的rtp数据的序列号通过相邻帧差法于多个所述视频帧中确定一个所述视频帧为参考帧；

步骤s32：通过实时带宽确定可传输的视频帧数量；

步骤s33：根据所述参考帧的所述特征值构建帧间相似度数学模型，通过所述帧间相似度数学模型获得所述待传输视频的每一视频帧的特征值，根据所述特征值获得每一所述视频帧的丢包优先级；

步骤s34：根据所述丢包优先级确定多个重要视频帧。

上述的视频的优化传输方法，其中，所述帧间相似度数学模型为：

importance_factor(n)＝α×δcn+β×δtn

其中△cn表征帧的内容特征值变化率，△tn表征帧的时限特征值，α、β分别为描述相似度内容的权值。

本发明还提供一种视频的优化传输系统，其中，包括：

解析处理单元，对待传输视频进行解析处理；

判断单元，根据监测rtcp获得的反馈信息判断缓存区状态；

筛选单元，通过所述待传输视频的每一视频帧的特征值确定每一所述视频帧的丢包优先级，根据所述丢包优先级于所述视频帧中筛选出多个重要视频帧；

传输单元，传输所述多个重要视频帧。

上述的视频的优化传输系统，其中，所述解析处理单元包括：

固定参数数据设定模块，设定多个固定参数数据；

解析模块，通过多个所述固定参数数据对所述待传输视频进行解析获得多个所述视频帧；

提取模块，提取每一所述视频帧的rtp数据的序列号。

上述的视频的优化传输系统，其中，所述判断单元将缓存区占用率与一阈值进行判断。

上述的视频的优化传输系统，其中，所述筛选单元包括：

参考帧确定模块，确定每一所述视频帧的尺寸，提取每一所述视频帧的特征值且基于每一所述视频帧的rtp数据的序列号通过相邻帧差法于多个所述视频帧中确定一个所述视频帧为参考帧；

视频帧数量获得模块，通过实时带宽确定可传输的视频帧数量；

丢包优先级获得模块，根据所述参考帧的所述特征值构建帧间相似度数学模型，通过所述帧间相似度数学模型获得所述待传输视频的每一视频帧的特征值，根据所述特征值获得每一所述视频帧的丢包优先级；

重要视频帧确定模块，根据所述丢包优先级确定多个重要视频帧。

上述的视频的优化传输系统，其中，所述帧间相似度数学模型为：

importance_factor(n)＝α×δcn+β×δtn

其中△cn表征帧的内容特征值变化率，△tn表征帧的时限特征值，α、β分别为描述相似度内容的权值。

本发明针对于现有技术其功效在于：

1、本发明在保证视频传输实时性的同时，提高传输质量，提出了基于视频内容优先级的主动丢帧策略，利用相邻帧差法检测关键帧，并赋予优先级，在带宽不足时优先传输关键帧，保护重要信息；

2、由于帧差法作为关键帧的判断依据，一些运动点会因为两帧的颜色相近而被误判为静止点，而产生内部空洞。因此提出一种基于特定帧相似度值的丢包优先级调度策略(prio-drop)，根据时变的网络带宽动态调整视频传输调度策略，在电力作业远程监控系统中应用改进后的传输调度算法，并取得良好的监控效果。

附图说明

图1为本发明的电力作业远程监控系统总体架构图；

图2为本发明的nal单元封装格式；

图3为本发明的rtp数据报头部格式图；

图4为本发明的优化传输算法实现方案图；

图5为本发明的优化传输方法的流程图；

图6-图7为图5的分步骤流程图；

图8a及图8b为本发明的算法改进前后丢包率对比图；

图9a及图9b为本发明的算法改进前后延时时间对比图；

图10为本发明的优化传输系统的结构示意图。

具体实施方式

兹有关本发明的详细内容及技术说明，现以一较佳实施例来作进一步说明，但不应被解释为对本发明实施的限制。

目前，最为常用的视频压缩编码技术有m-jpeg、mpeg-x和h.26x三大主流标准。m-jpeg源于静态图像压缩标准jpeg，对视频的每一帧进行帧内压缩，无法去除帧间冗余，压缩比有限；mpeg-4是面向对象的压缩标准，采用帧内、帧间混合编码模式，根据对象的内容重要性确定压缩比，为移动通信设备在internet网实时传输制定的视音频信号压缩标准。但由于面向对象编码的性能尚有技术障碍，难以普遍应用；因此，h.264以其简洁的编码结构，压缩性能较mpeg-4有很大提高。为了适应不同网络信道的要求，h.264采用分层编码结构使网络适应性显著增强。无论是从视频质量、压缩效率，还是从数据包恢复丢失性能分析，h.264标准都最适合应用于低码流下压缩编码音视频。

请参照图1-图7，图1为本发明的电力作业远程监控系统总体架构图；图2为本发明的nal单元封装格式；图3为本发明的rtp数据报头部格式图；图4为本发明的优化传输算法实现方案图；图5为本发明的优化传输方法的流程图；图6-图7为图5的分步骤流程图。如图1-图7所示，本发明的优化传输方法包括以下步骤：

步骤s1：对待传输视频进行解析处理；

步骤s2：根据监测rtcp获得的反馈信息判断缓存区状态；

步骤s3：通过待传输视频的每一视频帧的特征值确定每一视频帧的丢包优先级，根据丢包优先级于视频帧中筛选出多个重要视频帧；

步骤s4：传输多个重要视频帧。

进一步地，于步骤s1中还包括：

步骤s11：设定多个固定参数数据；

步骤s12：通过多个固定参数数据对待传输视频进行解析获得多个视频帧；

步骤s13：提取每一视频帧的rtp数据的序列号。

其中，于步骤s2中包括：当缓存区占用率大于一阈值时执行步骤s3，否则无需优化进而直接传输。

再进一步地，于步骤s3中包括：

步骤s31：确定每一视频帧的尺寸，提取每一视频帧的特征值且基于每一视频帧的rtp数据的序列号通过相邻帧差法于多个视频帧中确定一个视频帧为参考帧；

步骤s32：通过实时带宽确定可传输的视频帧数量；

步骤s33：根据参考帧的特征值构建帧间相似度数学模型，通过帧间相似度数学模型获得待传输视频的每一视频帧的特征值，根据特征值获得每一视频帧的丢包优先级；

步骤s34：根据丢包优先级确定多个重要视频帧。

其中，帧间相似度数学模型为：

importance_factor(n)＝α×δcn+β×δtn

其中△cn表征帧的内容特征值变化率，△tn表征帧的时限特征值，α、β分别为描述相似度内容的权值。

以下结合图1-图7具体说明本发明的优化传输算法的原理。

如图1所示，电力系统的电力作业远程监控系统由安装系统客户端的pc机、服务器和移动终端构成，工作模式分为在线监控和离线存储两部分，通过网络可以建立调度指挥中心与作业现场的数据连接，以实现任务分配、现场监控、人员监管和设备管理等功能。

如图2所示，h.264编码结构简洁，压缩性能较mpeg-4有很大提高。为了适应不同网络信道的要求，h.264采用分层编码结构使网络适应性显著增强。无论是从视频质量、压缩效率，还是从数据包恢复丢失性能分析，h.264标准都最适合应用于低码流下压缩编码音视频。h.264协议最大的改进在于采用了分层编码结构：视频编码层(videocodinglayer，vcl)和网络抽象层(networkabstractionlayer，nal)。在vcl层对i、p、b帧分别压缩编码，将压缩流送入nal层进行封装后，才能用来传输和存储。从图2看出，一个nal单元由一系列的nalu头部与原始字节序列载荷rbsp组成。

如图3所示，一个rtp分组由rtp报头、负载标志和有效载荷构成。在实际应用时，由待传输数据的特征信息赋值rtp协议的报头标记位。如图3所示，在报头信息标志位中，将扩展位cc置1可以在头部字段扩展一个字段，以完成特定的功能。其中，cc位是rtp报头的扩展位标志位；cc＝1时，该rtp报头可扩展；时间戳提供视频帧的发送时间，时间戳与当前时刻的差值表征视频帧的时限特征值。

如图4所示，在正常情况下视频编码器的输出码率应与网络带宽变化一致，以保证视频传输的流畅性；但当视频的输出码率达到最低仍无法满足低带宽的传输时，需要进行主动丢帧来保证重要信息的实时传输。因此，本文的视频优化传输方法为编码器提供了视频帧重要性的判别方法和传输调度策略，根据rtcp实时反馈网络状况信息，当网络状况较差时，传输缓存区拥塞，需要主动丢帧来缓解拥塞，根据h.264标准特殊的压缩格式对视频帧特征信息进行提取并标记，传输时采用改进的主动丢尾调度策略(prio-drop)，保证重要帧数据的实时传输。

real-timetransportcontrolprotocol或rtpcontrolprotocol或简写rtcp)是实时传输协议(rtp)的一个姐妹协议。rtcp由rfc3550定义(取代作废的rfc1889)。rtp使用一个偶数udpport；而rtcp则使用rtp的下一个port，也就是一个奇数port。rtcp与rtp联合工作，rtp实施实际数据的传输，rtcp则负责将控制包送至电话中的每个人。其主要功能是就rtp正在提供的服务质量做出反馈。在本实施例中，rtcp是控制协议，rtp是信息流，根据rtcp实时反馈网络状况信息中的rtp。

如图5-图7所示，视频优化传输流程如下：

终端机的视频编码器利用对视频帧重要性的判别和传输调度策略，确定每帧视频帧大小为b，视频帧重要性由帧间相似度函数表征，根据相似度函数计算丢包优先级prio(n)，结合丢包率p与网络实时带宽bw确定可传输视频帧数m，利用改进的优先级调度算法(prio-drop)优先传输较为重要的m帧数据。

(1)帧间相似度数学模型

根据对h.264视频编码标准，视频帧在进行压缩编码时，根据帧类型标志位可以确认关键帧i帧。对i帧进行帧内编码，可以保存自身的视频信息，p、b帧以i帧为参考进行帧间编码，无法保留完整视频信息。因此，提取i帧的特征值计算相邻i帧的相似度函数，从而确定i帧的丢包优先级；p、b帧的丢包优先级则根据其关联的i帧确定。

①i帧内容特征值变化率

i帧无需参考其它帧而可以直接进行帧内编码。通过这些分析，在对i帧进行帧内压缩时，直接提取i帧的dct系数，以便快捷地提取所携带的视频信息，dct系数中直流分量dc表示基色调信息，交流分量ac表示帧的纹理信息。

第n个i帧的特征信息cn：

因人眼对色调信息比对纹理信息更敏感，故本文的a、b取值分别为0.75、0.25。

相邻i帧的特征量差值diff(cn-1,cn)：

diff(cn-1,cn)＝|cn-cn-1|(5-5)

第n个i帧的特征值变化率△cn：

②i帧时限特征值

在多媒体信息流传输过程中，根据数据包产生时刻距离时限要求的长度分配任务的优先级：距离时限要求越小的数据包获得的优先级就越高。因此根据视频帧的时间戳可以给出视频帧的丢包优先级，时间戳越接近当前时刻，丢包权重越小。

其中：tn为第n帧编码单元的时间戳标志位；t0为当前时刻

(2)可传输视频帧数

目标函数：缓存区内可传输的视频帧数m：

其中：根据香农采样定理，实时带宽bw决定数据最大传输速率rmax：

rmax＝2×bw(5-2)

(3)丢包优先级prio(n)模型

①i帧的丢包优先级prio(n)模型

i帧的丢包优先级由视频帧的相似度函数确定。构造i帧的内容相似度函数，将一定时间范围内的相似度函数值进行归一化处理，确定丢包优先级prio(n)。

i帧视频帧相似度函数importance_factor(n)：

importance_factor(n)＝α×δcn+β×δtn(5-3)

其中，△cn表征帧的内容特征值变化率；△tn表征帧的时限特征值；α、β分别为描述相似度内容的权值，具体值根据场景不同而变，可通过实验测得。

将i帧根据相似度函数值从大到小排序，丢包优先级prio(n)依次赋值0、1、2……，即相似度函数值越大，丢包优先级越低，优先传输。

②p帧、b帧的丢包优先级模型

由于p、b帧的压缩编码是以i帧为参考进行帧间编码，无法保留完整视频信息，因此p、b帧的丢包优先级则根据其关联的i帧确定。通过找出与p帧相似度最小的i帧，来参考此i帧的丢包优先级，若此i帧的丢包优先级越小，则该p帧的丢包优先级也越小。

对于b帧，是最不重要的视频帧，在网络拥塞时，对b帧丢包权值赋1，即将b帧全部丢弃，为i帧、p帧的传输提供空间。

请参照图8a-图9b，图8a及图8b为本发明的算法改进前后丢包率对比图；图9a及图9b为本发明的算法改进前后延时时间对比图。如图8a-图9b所示，，在缓存区占用率低于50％时，两台设备的视频传输丢包率与延时时间相近，在网络良好时，视频传输方式相同；当缓存区占用率高于50％，2号设备改进的传输算法投入应用，即在网络拥塞前主动丢帧，因此在缓存区占用率50％-70％时，丢包率高于1号设备，以降低传输延时时间；而在缓存区占用率高于70％时，1号设备的传输调度算法无法解决缓存区拥塞的问题，因此2号设备的丢包率与延时都优于1号设备。

请参照图10，图10为本发明的优化传输系统的结构示意图。本发明视频的优化传输系统，包括：解析处理单元11、判断单元12、筛选单元13及传输单元14；解析处理单元11对待传输视频进行解析处理；判断单元12根据监测rtcp获得的反馈信息判断缓存区状态；筛选单元13通过所述待传输视频的每一视频帧的特征值确定每一所述视频帧的丢包优先级，根据所述丢包优先级于所述视频帧中筛选出多个重要视频帧；传输单元14传输所述多个重要视频帧。

其中，判断单元12将缓存区占用率与一阈值进行判断，当缓存区占用率大于一阈值时通过筛选单元13进行处理，否则无需优化进而直接传输。

进一步地，解析处理单元11包括：固定参数数据设定模块111、解析模块112及提取模块113；固定参数数据设定模块111设定多个固定参数数据；解析模块112通过多个固定参数数据对待传输视频进行解析获得多个视频帧；提取模块113提取每一视频帧的rtp数据的序列号。

更进一步地，筛选单元13包括：参考帧确定模块131、视频帧数量获得模块132、丢包优先级获得模块133及重要视频帧确定模块134；参考帧确定模块131确定每一视频帧的尺寸，提取每一视频帧的特征值且基于每一所述视频帧的rtp数据的序列号通过相邻帧差法于多个视频帧中确定一个视频帧为参考帧；视频帧数量获得模块132通过实时带宽确定可传输的视频帧数量；丢包优先级获得模块133根据参考帧的特征值构建帧间相似度数学模型，通过述帧间相似度数学模型获得待传输视频的每一视频帧的特征值，根据特征值获得每一视频帧的丢包优先级；重要视频帧确定模块134根据丢包优先级确定多个重要视频帧。

其中，帧间相似度数学模型为：

importance_factor(n)＝α×δcn+β×δtn

其中△cn表征帧的内容特征值变化率，△tn表征帧的时限特征值，α、β分别为描述相似度内容的权值。

综上所述，本发明在保证视频传输实时性的同时，提高传输质量，提出了基于视频内容优先级的主动丢帧策略，利用相邻帧差法检测关键帧，并赋予优先级，在带宽不足时优先传输关键帧，保护重要信息；同时由于帧差法作为关键帧的判断依据，一些运动点会因为两帧的颜色相近而被误判为静止点，而产生内部空洞。因此提出一种基于特定帧相似度值的丢包优先级调度策略(prio-drop)，根据时变的网络带宽动态调整视频传输调度策略，在电力作业远程监控系统中应用改进后的传输调度算法，并取得良好的监控效果。

上述仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。