一种基于增强层重传的车载监控视频混合数模传输方法与流程

本发明涉及车载监控视频无线传输领域，具体是一种基于增强层重传的车载监控视频数模混合传输方法。

背景技术：

随着经济发展和政策支持，公共汽车保有量持续提升，截止到2018年底，公交车保有量已超过85万台，公共运输事业的飞快发展过程中，除了不断出现的乘运纠纷，由于在公交车上监控设施不完善，不法分子在公交车上盗窃、抢劫和侮辱妇女等案件时有发生，严重干扰了社会安定，在上述原因的促使，公交安防监控应运而生。除此之外，为贯彻落实中央政法委和公安部关于推进执法规范化建设、加强执法办案安全防范工作的部署要求，现有执法车辆均实行了执法监控改造。利用车载监控视频无线传输系统，实现远程监控和视频数据存储回放为各级单位提供监控、管理、预警、打击、取证等服务。

但是在传统无线视频传输过程中，由于无线信道的时变特性使得数字传输方法中存在“悬崖效应”。而与数字传输不同，模拟传输方法可以有效的应对“悬崖效应”，但是相较于数字传输其压缩效率低，对带宽的需求大，在带宽受限场景下一部分系数块无法被传输，导致视频重建质量降低，如文献jakubczaks,katabid.softcast:one-size-fits-allwirelessvideo[j].acmsigcommcomputercommunicationreview,2010,40(4):449-450.中的softcast方法；将数字方法和模拟方法结合起来形成的混合数模无线视频传输系统，在全带宽条件下，不仅编码效率高，又可以利用模拟传输对信道的自适应性克服“悬崖效应”，如文献yul,lih,liw.wirelessscalablevideocodingusingahybriddigital-analogscheme[j].ieeetransactionsoncircuitsandsystemsforvideotechnology,2014,24(2):331-345.中的wsvc方法。但是车载无线视频传输受车辆快速移动属性影响，势必会加重“悬崖效应”，同时车辆的移动特性导致服务场景的切换，不同场景可提供的带宽资源也呈现出时变的特点，混合数模传输性能必然会因此而降低。而且，目前的混合数模传输方案多针对实时播放需求，所以并未对因为带宽受限导致的模拟传输的数据不完整提出重传机制，无法满足监控场景中短时间内对清晰度有要求的回放需求。

技术实现要素：

本发明的目的是针对现有技术的不足，而提供一种基于增强层重传的车载监控视频混合数模传输方法。这种方法能降低系统运算复杂度、提供更好的传输性能，能提高时监控视频的质量以满足高清回放的需求。

实现本发明目的的技术方案是：

一种基于增强层重传的车载监控视频混合数模传输方法，与现有技术不同处在于，包括如下步骤：

1)视频的分层编码：包括基本层数字编码过程和增强层模拟编码过程，将监控设备的原始视频信号即groupofpictures信号，简称gop信号采用数字信源编码器编码得到数字比特流，数字比特码流经数字信道编码器编码得到数字信道编码信号的过程为基本层数字编码过程；首先采用对应数字信源解码器将数字比特码流解码重建得到编码视频，然后计算原始视频与重建视频编码的残差信号，将其作为增强层，采用模拟技术对其进行编码得到模拟编码信号过程为增强层模拟编码过程；

2)分层编码数据的实时传输和增强层重传过程：分层编码的实时传输和增强层重传过程中，假定可用带宽b中的可用子信道为n个，每个子信道的带宽为bn，则：定义基于带宽约束下增强层信号弃传和重传步骤如下：

(1)基于带宽约束模型的层间带宽分配和增强层模拟数据的分块：

(1.1)基于模拟传输的可用信道估计：数字编码器编码的基本层视频只需要保证视频的基本质量，因此受基本质量的峰值信噪比psnrbase_layer约束的数字编码的量化步长qdi为：

可以求得基本层信源xdi的熵估计为：

h(xdi)＝log2(2πeλdi)-2log2(qdi)(2)，

其中，e为自然对数底数，λdi为数字编码符号的方差，则保证基本层数字编码传输需求nd(n≥nd)下的模拟传输可用的子信道数目ns为：

其中，rc为数字传输速率由调制速率和信道编码速率的乘积决定，由车载终端的性能决定；

(1.2)基于子信道传输能力的dct系数块划分：先将经过三维时域离散余弦变换即discretecosinetransform，简称dct系数均匀划分为ns个大小相等的视频块，组合成dct系数矩阵x(x的第i(i＝1,…,ns)行向量被看作一个无记忆零均值高斯信源产生的符号集，记为)，然后对dct系数矩阵x做正交编码，得到能量均匀分布的系数矩阵xh，为保证每一信道都可以传输一个系数块，系数矩阵xh中每一个系数块传输所需带宽和子信道的带宽bn满足下式：

bn≥max{bai,i＝1,…,na}(4)；

(2)基于总能量不受限的层间能量计算和增强层内部的能量分配：

(2.1)数字部分传输能量pd估计如下：数字部分发射功率pd满足公式(5)：

其中pmax为最大允许的总能量约束，为最差信道条件下信道复数噪声方差，γ为满足数字误码率数字符号传输所需要的最低信噪比，数字传输中存在纠错编码，所以数字部分发射功率pd并不需要最大化，只要满足最差信道的约束即可，则

(2.2)模拟部分最优传输能量pa估计如下：模拟部分最优传输能量pa满足公式(6)：

pmax≥popt＝pa(6)，

模拟传输的平均失真如公式(7)：

为了使模拟传输失真最小，pa应该尽可能的大，即pa＝pmax，pmax因为是网络中防止小区间干扰设定的上限值，则模拟信号内部的各个系数块的最佳能量分配因子g1，满足公式(8)：

(3)基于重建失真最小化的增强层弃传和重传决策过程及信道划分过程：在车载场景下，带宽资源受车辆运动影响呈时变特点时，模拟部分dct系数块弃传和重传过程以softcast方式的模拟信号传输为基础，采用一个开关实现对数字部分和模拟部分传输前差异化处理，让模拟部分传输的待传系数块集合{xt|xr∪xh，t＝1,2,…,nt}中的前ns个系数块跳过信道编码和调制后进行ofdm传输，其中nt＝nr+na，xr为上一个gop弃传的系数块集合，需要根据nt和n的大小关系，选择传输策略，步骤如下：

(3.1)模拟信号传输的决策过程：

(3.1.1)若ns＞nt，采用前nt个信道传输待传系数块集合xt，然后清空xt和xr，最后给剩余的ns-nt个信道中添加方差为零的虚拟信源，重传部分的元数据中包括xr的大小和虚拟信源的个数；

(3.1.2)若ns＝nt，传输待传系数块集合xt，然后清空xt和xr，重传部分的元数据中只有xr的大小；

(3.1.3)若ns＜nt，传输待重传系数集合xt的前ns个系数块，然后删除xt和xr的前ns个系数块，进一步，判断上一个gop弃传的系数块集合xr中是否清空，若xr未清空，则重传部分的元数据需要包括已传的上一个gop弃传系数块的数目和未传的数目，然后清空xr；若xr清空，则重传部分的元数据中只有xr的大小；

(3.2)基于重建失真最小化的信道分配：由无重传机制的模拟部分重建失真得到实时重建失真模型如公式(9)：

其中，为复数信道噪声的功率，pa为模拟部分的传输能量，nr为当前需要重传的系数块数目，公式(9)中的第一部分公式(9a)是发送系数块引起的失真，第二部分公式(9b)是弃传的系数块引起的失真，弃传系数块的方差越小重建失真越小，同时也说明方差越大，系数块越重要，基于上述分析，对当前gop的系数矩阵xh中系数块排列满足公式(10)的约束：

混合数模传输中数据的重要性不同，数字传输的基本层编码最为重要，而模拟传输的增强层中各系数块的重要性则跟其方差成正比，因此混合数模传输可用信道的根据信道质量进行排列后，各信道fi传输的数据如公式(11)所示：

3)视频接收端实时显示的视频重建：首先，根据接收到的信道分配信息，将对应子信道上接受到的信号分别送到相应的数字信道解码器和模拟解码器进行解码，然后，将当前gop的数字比特流存储，同时送往数字信源解码器解码得到重建编码视频，最后，将重建编码视频和当前gop的残差信号叠加，获得实时的视频信号，所述模拟信号解码为：首先解码该模拟信号，然后判断模拟信号中是否存在重传系数块，存在重传系数块时，将重传系数块补存到上一个gop的残差信号，剩余部分则为当前gop的残差信号，然后将其存储；若不存在重传系数块时，直接解码得到当前gop的残差信号和存储；

4)高清回放的视频重建：从存储器中调取回放gop的数字比特流送到数字信源解码器解码得到编码视频，将得到的编码视频和对应的完整残差信号叠加，获得高清的视频信号。

本技术方案针对车载场景和其功率不受限的特点，以及实时监控和高清回放的需求，对监控视频采用分层编码技术，将视频编为支持基本显示的基本层数字编码数据和支持视频质量伸缩的增强层模拟编码数据，在保证分层编码中基本层数字编码数据传输带宽的前提下，利用剩余带宽传输增强层的模拟编码数据，确保实时监控视频的基本质量，同时考虑带宽资源随着车辆的移动呈现时变的特点，重传前一阶段弃传的增强层的模拟编码数据，将重传部分补充到对应的增强层数据存储单元作为回放视频源的增强层数据，保证回放视频的质量。

与现有技术，本技术方案具有以下优点：

1)本技术方案利用车载场景下总能量不受限的特点，避免了混合数模中数字传输和模拟传输间的能量分配，仅保留信道分配，以及模拟传输中系数块的能量分配，有效的降低系统运算复杂度，且可以提供更好的传输性能；

2)带宽分配，在保证数字部分的可靠传输的前提下，利用剩余带宽发送增强层模拟数据，确保带宽受限场景下实时监控视频的基本质量可以到满足；

3)重传机制，利用车辆的移动性和无线信道的时变特性，在下一个阶段优先重传上阶段因为带宽受限弃传的增强层系数，保证视频回放时重建视频的质量；

4)混合数字模拟的视频传输系统研究成果丰硕，但是针对车载场景下的优化不多。

这种方法能降低系统运算复杂度、提供更好的传输性能，能保证实时监控视频的质量且满足高清回放的需求。

附图说明

图1为实施例中车载监控视频混合数模传输框架结构示意图；

图2为实施例中基于重建失真最小化的增强层弃传和重传决策过程示意图；

图3为实施例中基于ofdm信道的混合数模信号传输示意图；

图4为实施例中增强层重传机制与不含重传机制的方案性能中重建失真度对比示意图；

图5为实施例中增强层重传机制与不含重传机制的方案性能中峰值信噪比(psnr)对比示意图。

具体实施方式

下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。

实施例：

一种基于增强层重传的车载监控视频混合数模传输方法，包括如下步骤：

1)视频的分层编码：包括基本层数字编码过程和增强层模拟编码过程，将监控设备的原始视频信号简称gop信号采用数字信源编码器编码得到数字比特流，数字比特码流经数字信道编码器编码得到数字信道编码信号的过程为基本层数字编码过程；首先采用对应数字信源解码器将数字比特码流解码重建得到编码视频，然后计算原始视频与重建视频编码的残差信号，将其作为增强层，采用模拟技术对其进行编码得到模拟编码信号过程为增强层模拟编码过程；

2)分层编码数据的实时传输和增强层重传过程：分层编码的实时传输和增强层重传过程中，假定可用带宽b中的可用子信道为n个，每个子信道的带宽为bn，则：定义基于带宽约束下增强层信号弃传和重传步骤如下：

(1)基于带宽约束模型的层间带宽分配和增强层模拟数据的分块：

(1.1)基于模拟传输的可用信道估计：数字编码器编码的基本层视频只需要保证视频的基本质量，因此受基本质量的峰值信噪比psnrbase_layer约束的数字编码的量化步长qdi为：

可以求得基本层信源xdi的熵估计为：

h(xdi)＝log2(2πeλdi)-2log2(qdi)(2)，

其中，e为自然对数底数，λdi为数字编码符号的方差，则保证基本层数字编码传输需求nd(n≥nd)下的模拟传输可用的子信道数目ns为：

其中，rc为数字传输速率由调制速率和信道编码速率的乘积决定，由车载终端的性能决定；

(1.2)基于子信道传输能力的dct系数块划分：先将经过三维时域离散余弦变换即discretecosinetransform，简称dct系数均匀划分为ns个大小相等的视频块，组合成dct系数矩阵x(x的第i(i＝1,…,ns)行向量被看作一个无记忆零均值高斯信源产生的符号集，记为)，然后对dct系数矩阵x做正交编码，得到能量均匀分布的系数矩阵xh，为保证每一信道都可以传输一个系数块，系数矩阵xh中每一个系数块传输所需带宽和子信道的带宽bn满足下式：

bn≥max{bai,i＝1,…,na}(4)；

(2)基于总能量不受限的层间能量计算和增强层内部的能量分配：

(2.1)数字部分传输能量pd估计如下：数字部分发射功率pd满足公式(5)：

其中pmax为最大允许的总能量约束，为最差信道条件下信道复数噪声方差，γ为满足数字误码率数字符号传输所需要的最低信噪比，数字传输中存在纠错编码，所以数字部分发射功率pd并不需要最大化，只要满足最差信道的约束即可，则

(2.2)模拟部分最优传输能量pa估计如下：模拟部分最优传输能量pa满足公式(6)：

pmax≥popt＝pa(6)，

模拟传输的平均失真如公式(7)：

为了使模拟传输失真最小，pa应该尽可能的大，即pa＝pmax，pmax因为是网络中防止小区间干扰设定的上限值，则模拟信号内部的各个系数块的最佳能量分配因子g1，满足公式(8)：

(3)基于重建失真最小化的增强层弃传和重传决策过程及信道划分过程：在车载场景下，带宽资源受车辆运动影响呈时变特点时，模拟部分dct系数块弃传和重传过程以softcast方式的模拟信号传输为基础，采用一个开关实现对数字部分和模拟部分传输前差异化处理，让模拟部分传输的待传系数块集合{xt|xr∪xh，t＝1,2,…,nt}中的前ns个系数块跳过信道编码和调制后进行ofdm传输，其中nt＝nr+na，xr为上一个gop弃传的系数块集合，需要根据nt和n的大小关系，选择传输策略，步骤如下：

(3.1)模拟信号传输的决策过程：

(3.1.1)若ns＞nt，采用前nt个信道传输待传系数块集合xt，然后清空xt和xr，最后给剩余的ns-nt个信道中添加方差为零的虚拟信源，重传部分的元数据中包括xr的大小和虚拟信源的个数；

(3.1.2)若ns＝nt，传输待传系数块集合xt，然后清空xt和xr，重传部分的元数据中只有xr的大小；

(3.1.3)若ns＜nt，传输待重传系数集合xt的前ns个系数块，然后删除xt和xr的前ns个系数块，进一步，判断上一个gop弃传的系数块集合xr中是否清空，若xr未清空，则重传部分的元数据需要包括已传的上一个gop弃传系数块的数目和未传的数目，然后清空xr；若xr清空，则重传部分的元数据中只有xr的大小；

(3.2)基于重建失真最小化的信道分配：由无重传机制的模拟部分重建失真得到本例中实时重建失真模型如公式(9)：

其中，为复数信道噪声的功率，pa为模拟部分的传输能量，nr为当前需要重传的系数块数目，公式(9)的第一部分是公式(9a)发送系数块引起的失真，第二部分公式(9b)是弃传的系数块引起的失真，弃传系数块的方差越小重建失真越小，同时也说明方差越大，系数块越重要，基于上述分析，对当前gop的系数矩阵xh中系数块排列满足公式(10)的约束：

混合数模传输中数据的重要性不同，数字传输的基本层编码最为重要，而模拟传输的增强层中各系数块的重要性则跟其方差成正比，因此混合数模传输可用信道的根据信道质量进行排列后，各信道fi传输的数据如公式(11)所示：

3)视频接收端实时显示的视频重建：首先，根据接收到的信道分配信息，将对应子信道上接受到的信号分别送到相应的数字信道解码器和模拟解码器进行解码，然后，将当前gop的数字比特流存储，同时送往数字信源解码器解码得到重建编码视频，最后，将重建编码视频和当前gop的残差信号叠加，获得实时的视频信号，所述模拟信号解码为：首先解码该模拟信号，然后判断模拟信号中是否存在重传系数块，存在重传系数块时，将重传系数块补存到上一个gop的残差信号，剩余部分则为当前gop的残差信号，然后将其存储；若不存在重传系数块时，直接解码得到当前gop的残差信号和存储；

4)高清回放的视频重建：从存储器中调取回放gop的数字比特流送到数字信源解码器解码得到编码视频，将得到的编码视频和对应的完整残差信号叠加，获得高清的视频信号。

本例中车载混合数模视频传输框架如图1所示，为了保证实时显示质量的可伸缩和视频基本质量的可靠性，采用混合数模编码传输方案，本例采用的混合数字模拟编码框架采用分层编码思想，对基本层采用avs-s数字信源编解码器，以保证传输可靠性和高编码效率；用模拟编码对增强层编码，提高视频传输对信道的自适应性，以保证视频质量的连续性，基于混合数模视频传输框架实现的基于增强层重传的车载监控视频混合数模传输方法包括监控视频的分层编码过程、分层编码数据的实时传输和增强层重传过程，以及接收端实时显示的视频重建过程和高清回放的视频重建过程，该框架实施的完整步骤如下：

一、将监控视频x(设gop的大小为8)输入到avs-s编码器中压缩后得到的基本层数字比特流xd(xd的数据长度nd和视频内容有关)，同时也将x输入到加法器；

二、重建xd将得到的数字编码视频x'输入到加法器中同x求差得到作为增强层的残差信号为：

xa＝x-x'；

三、对xd采用速率为1/2卷积码编码后，利用qpsk(数字传输速率rc为1bit/symbol)调制数字信道编码，得到支持前向纠错的数字信道编码信号x'd；同时采用softcast方式对xa进行模拟编码，首先对xa进行3d-dct变换并基于子信道传输能力把dct系数sa划分为m×m个大小相等的系数块，根据系数块的方差由大到小将其排列后，组成dct系数矩阵记为x{xi,i＝1,…,na}，其中xi表示第i行的系数块；

四、对混合数模传输的各层能量需求计算和增强层内部的能量分配，数字部分发射能量pd满足下式：

为最差信道条件下信道复数噪声方差，γ为满足数字误码率数字符号传输所需要的最低信噪比，模拟部分最优传输能量pa满足下式：

pa＝pmax，

pmax由是网络中防止小区间干扰设定的上限值，则模拟信号内部的各个系数块的最佳能量分配因子矩阵g{gi,i＝1,…,na}，满足以下公式：

五、采用hadamard矩阵h和最佳能量分配因子矩阵g变换对系数矩阵x进行白化操作得到系数矩阵xh：

xh＝hgx；

六、基于重建失真最小化的增强层弃传和重传决策过程及信道划分过程：基于基本质量的峰值信噪比psnrbase_layer和数字传输速率rc已知的模拟传输可用信道ns的估计过程如下：

h(xdi)＝log2(2πeλdi)-2log2(qdi)

七、基于重建失真最小化的增强层弃传和重传决策过程如图2所示，图2中信道分配原则如下：

八、基于ofdm信道的混合数模信号传输如图3所示，根据信道条件将n个子信道由好到坏将子信道排列，根据步骤七中得到的信道分配方案，通过图3中的选择开关，以经典ofdm系统传输方式发送数字信道编码信号x'd，而模拟信号传输则跳过信道编码和调制直接发送，传输模拟信号的信道上实际传输的信号经过ifft变换后得到的时域信号；

九、监控中心的接收端通过fft变换得到接收信号，将数字信道编码信号yd送到数字信道解码器中经过解调和解码后得到数字比特流y'd；接收到的模拟信号ya可以表示为：

ya＝hgx+n

＝cx+n

式中c＝hg为编码矩阵，n为信道噪声矩阵，∑noise为对ofdm符号训练序列做信道估计得出的噪声协方差矩阵，以及由元数据解码得到自身协方差矩阵λx和编码矩阵c，则llse模块解码后的残差信号y'a可表示为：

y'a＝λxc^t(cλxc^t+∑noise)^-1ya；

十、监控中心将y'd送到数字信源解码器(avs-s解码器)中解码得到的重建编码视频y”d，同时根据元数据(包括被舍弃的系数块位置、重传的系数块位置以及系数块的均值和方差)筛选出y'a中与y'd对应的系数块后送到加法器中与y”d叠加后的到重建视频后实时显示y'；

十一、根据元数据将y'd和y'a分别存储到视频存储服务器，y'a需要根据元数据中重传的系数块位置信息将其补充到对应索引的gop增强层数据存储空间，补充完整的增强层数据记为y”a。将剩余部分同y'd以相同索引分类存储到基础层数据存储空间和增强层存储空间，并保留出足够的增强层存储空间以待重传数据补充；

十二、根据视频回放需求，利用对应的索引在视频存储服务器中找到对应视频的y'd和y”a(y”a为包含重传部分的完整增强层信号)，将y'd解码后与y”a叠加得到高质量的回放视频y。

在仿真实验中，为了说明本例传输方法的有效性，首先分析视频的重建失真，定义视频重建的总失真为：

d＝dd+da，式中dd表示数字部分传输失真，da表示模拟部分传输失真，由于这里是分析混合数模传输的整体性能，所以将数字部分失真和模拟部分失真联合起来考虑，但是在车载场景下能量不受限的特点，数字部分传输的视频基本层信息的误码率极低，故可以认为数字部分均可正确解码，则：dd＝0，

由公式(9)和公式(10)可知，重建的视频失真只与da有关，根据softcast的研究结果，无重传机制混合数模传输的视频重建失真为：

依据本例的重传机制对公式(11)进一步推导得到，实时显示视频重建失真为：

回放视频重建失真为：

仿真实验对100个gop在matlab模拟生成对应的时变信道环境下进行测试，并重复实验10次取测试的平均值作为结果，将本例提供的方法和无重传机制的混合数模视频传输后视频实时重建和回放重建的性能进行对比，如图4和图5所示，通过仿真比较，由图4可知本例相较于无重传机制实时重建失真变大，回放重建的失真则非常小，由图5可知实时重建视频的峰值信噪比满足基本显示需求(大于20db)，而回放重建的性能则明显优于无重传机制，同时，利用车载发射功率不受限的特点降低资源分配的复杂度，提高了混合数模传输的性能，在保证实时监控视频基本质量的前提下，确保回放视频质量。