专利名称：一种降低图像传输系统时延的实现方法
技术领域：
本发明属于图像传输数据链领域，涉及一种降低图像传输系统时延的实现方法。
背景技术：
图像传输系统是一种集图像的采集、处理和传输为一体的技术，随着多媒体技术和无线传输技术的广泛发展，图像传输系统以其直观方便、信息丰富的特点而广泛应用于工程的许多领域，也因此成为一个研究热点。而时延在航天工程应用尤其是图像传输系统中，是一个重要的衡量系统好坏的指标，系统的端到端时延通常要求较低。时延越低，则用户可以越可以再更短的时间内观看到解码图像，从而以此为依据，做出指挥判断。反之，若时延过高，则实时性就比较差，对于紧急情况尤其是用于精确制导控制的图像传输系统就失去了意义。所以，研究降低系统时延的方法是很有必要。在图像传输系统中，时延主要包括几大部分图像输入输出的传输时延、图像编解码处理时延、缓存时延和信道编解码处理时延。可以看出，时延的产生主要是在图像编解码端产生。所以，系统时延的降低重点在于减少图像编解码的时延。目前已公开发表的关于减少图像编解码端时延的方法主要分为两类，第一类是研究图像编码中使用的码率控制算法，通过尽量使每帧编码数据接近于目标码率、减少编码端缓冲数据的方法达到降低缓存时延的目的，但是这种策略只能实现一定时间内编码数据的平稳，不能完全精确到每帧都恰好达到目标码率，而且算法通常比较复杂、计算量大；第二类是研究图像编解码的快速算法，从而减少图像编解码的处理时延，但是速度的提升不可避免的会带来一定质量的损耗。
发明内容
本发明的技术解决问题是克服现有技术的不足，提供了一种降低图像传输系统时延的实现方法，通过对由图像分割出的条带数据的流水处理，降低了图像传输系统的时延和实现资源。本发明的技术解决方案是—种降低图像传输系统时延的实现方法，所述图像传输系统包括图像发送端和图像接收端，其中，图像发送端包括编码单元；图像接收端包括解码单元，图像发送端和图像接收端根据以下步骤进行图像数据的传输图像发送端接收输入的图像数据并划分为条带数据后输出到编码单元；编码单元图像采用并行处理的方式进行条带数据的接收，条带数据的编码和编码后条带数据的输出；图像发送端将编码后条带数据添加条带头后发送到图像接收端；图像接收端根据条带头提取出编码后条带数据，并将编码后条带数据输出到解码单元；所述解码单元采用并行处理的方式进行编码后条带数据的接收，编码后条带数据的解码和条带数据的输出；图像接收端根据条带头将解码后恢复出的条带数据组织成图像数据后输出。进一步的，所述编码单元采用至少两个与条带数据大小相同的缓存区对输入的条带数据进行缓存和编码。进一步的，所述编码单元的并行处理方式为对当前时刻的条带数据进行编码的同时，对前一时刻的编码完成的编码后条带数据进行输出，并对下一时刻到达的条带数据进行接收。
进一步的，所述条带头包括条带标志头、条带号，图像接收端根据条带标志头确定一个完整的编码后条带数据，并根据条带后将解码后恢复出的条带数据组织成图像数据。进一步的，所述解码单元采用至少两个与编码后条带数据大小相同的缓存区对输A的编码后条带数据进行缓存和编码。进一步的，所述解码单元的并行处理方式为对当前时刻的编码后条带数据进行解码的同时，对前一时刻解码后产生的条带数据进行输出，并对下一时刻到达的编码后条带数据进行接收。本发明与现有技术相比具有如下优点本发明将图像发送端将图像数据划分为多个条带，以条带数据为单元，通过并行处理方法，使多部分的处理时间重叠，从而达到降低系统时延的目的。该方法适用于按块(即本发明所述的条带为块的集合)进行图像处理的视频压缩算法，如H. 264算法、MPEG4算法，易于工程化实现，且图像质量没有损耗。现有图像传输系统图像编码端处理方式都是接收到一整帧图像以后再启动压缩编码处理。而本发明以条带数据为单元进行图像输入与压缩，输入一个条带数据以后就开始进行压缩，在单帧图像内就开启了图像输入与编码的并行处理，实现了图像输入时延与图像压缩编码时延的重叠，有效降低了编码端引起的系统时延。现有图像传输系统图像接收端都是接收到一整帧图像的码流数据以后再启动解码解压缩处理，而本发明码流结构以编码后条带数据为单元进行组织，所以图像接收端在接收到一个编码后条带数据以后就可以启动解码解压缩，实现了码流输入缓冲时延与图像解码解压缩时延的重叠，有效降低了解码端引起的系统时延。由于本发明是以条带数据为基本单元进行处理，所以其耗用的内存大多是以条带为基本单元进行分配。如对于本发明，其图像编码端的原始图像输入缓冲区至少可分配2个条带大小，而对于现有技术，其原始图像输入缓冲区至少需分配2个整帧图像大小，同理于图像解码端。因此，本发明具有耗用内存资源少，节省内存空间的特点。本发明对输入图像的复杂度没有特定要求，无论是动态大的复杂图像还是动态小的简单图像均可以达到降低图像传输系统时延的目的，具有广泛的适应性。而且算法实现简单、实时性高，易于工程实现。
图I为本发明流程2为发送端并行处理示意图；图3为接收端并行处理示意图4为本发明图像发送端流程示意图；图5为本发明图像接收端流程示意图。
具体实施例方式如图I所示流程图，本发明包括下列步骤(I)经过A/D采样数字化后的原始数字图像首先送入作为图像发送端图像采集单元的FPGA所构建的FIFO中进行缓冲，FPGA收集到一个条带数据后向作为图像发送端编码单元的DSP发送一个中断信号，DSP接收到此中 断信号后触发EDMA后台操作快速接收FPGA发送过来一个条带的图像数据。(2)编码单元DSP接收到一个条带数据后就立即启动图像编码操作，对接收到的该条带数据进行编码，并且使用EDMA对编码后条带码流数据进行输出。编码单元并行处理的方式如图2所示，一帧图像数据平分为n个条带数据，其中Smk表示一个条带数据的输入时间，m为图像帧号，k为条带号，条带号范围为(l，n) ;Cmk表示一个条带的编码时间；Tmk表示一个条带的码流数据传输时间。图2中，由于实际各条带数据的复杂度不同，所以每个条带的编码时间和码流数据长度是不一致的，而传输速率是一定的，因此各个条带的码流数据传输时间也并不一样，并且这个传输还涉及到码率控制、数据缓存的过程，所以用图2无法精确表示出其实际工作过程。图2只是简单描述了发送端按条带并行处理的一个过程。图像发送端的所有工作，由于输入一个条带就开始编码并传输，相当于图像发送端的所有工作都提前了 n-1个条带的时间，从而达到了降低图像发送端时延的目的。(3)编码单元以条带数据为单元进行编码，每生成一个条带的码流数据，就对其重新进行封装，在条带码流数据前添加条带头信息。如表I所示，其中条带标志头和条带号用来识别区分一个完整条带码流数据，条带编码方式和与条带量化值为图像接收端的解码单元所使用。表I
说明j条带标志头~条带号条带编码方式条带量化值
长度 32bit6bitIbitIbit 到 7bit 之间(4)作为图像接收端解码单元的DSP通过EDMA在后台进行码流的接收搬移操作。每收到一定量的码流数据，EDMA就触发完成中断通知DSP的CPU，CPU对接收到的码流数据进行后续处理。同时，EDMA继续对码流数据进行接收，并且使用EDMA对条带恢复数据进行输出。(5)解码单元DSP边接收码流数据边对一个完整的条带码流数据进行搜索。搜索原则为搜索条带头中的条带标志头，一旦搜索到一个条带标志头，则继续搜索下一个条带标志头，待搜索到两个条带标志头以后，则意味着接收到一个完整的条带码流数据，提取出实际条带码流数据并根据条带头信息进行解码处理，对解码生成的条带恢复数据进行输出，解码单元并行处理的方式如图3所示。其中-!^表示一个条带的码流数据输入时间，m为图像帧号，k为条带号，条带号范围为(1，n) ;Dmk表示一个条带码流数据的解码时间；Rmk表示一个条带恢复数据的输出时间。与步骤⑵的分析同理，实际中，各条带码流数据长度不同，所以传输时间与解码时间也不相同，因此用图3无法精确表示出其实际工作过程。图3只是简单描述了图像接收端按条带并行处理的过程。说明图像接收端的所有工作，由于码流数据是以条带码流数据为单元进行组织，所以可以接收到一个完整的条带码流数据后就开始进行解码操作，从而达到了降低图像接收端时延的目的。(6)对恢复出的条带数据，根据条带号将其存放到图像接收端解码图像缓冲区，并根据条带号判断该条带是否为最后一个条带，如果是，则整帧解码图像恢复完成，可用于后续显示等处理。这是由于图像发送端是按照条带号依 次按顺序对原始条带数据进行编码和传输的，所以图像接收端接收解码恢复的条带数据也是顺序的。因此，待恢复出条带号为最后一个条带的条带数据时，也意味着恢复出一整帧解码图像。实施例本实施例的实验条件为(I)输入为720x576x8bit大小的数字视频图像，帧率为25f/s ；(2)编码输出码率为2Mbps ；(3)条带数据分辨率即条带数据大小为720xl6x8bit。结合上面所述的试验条件，根据图4和图5的流程示意图。图像发送端(I)FPGA对接收到的数字图像数据进行缓存，当缓存数据达到720xl6x8bit大小以后，给DSP —个中断信号触发EDMA对输入图像数据进行搬移。EDMA搬移速率很高，其引起的搬移时延可忽略不计。根据帧率，FPGA接收缓存一个条带数据的时间为
权利要求
1.一种降低图像传输系统时延的实现方法，所述图像传输系统包括图像发送端和图像接收端，其中，图像发送端包括编码单元；图像接收端包括解码单元， 其特征在于，图像发送端和图像接收端根据以下步骤进行图像数据的传输 图像发送端接收输入的图像数据并划分为条带数据后输出到编码单元； 编码单元图像采用并行处理的方式进行条带数据的接收，条带数据的编码和编码后条带数据的输出； 图像发送端将编码后条带数据添加条带头后发送到图像接收端； 图像接收端根据条带头提取出编码后条带数据，并将编码后条带数据输出到解码单元; 所述解码单元采用并行处理的方式进行编码后条带数据的接收，编码后条带数据的解码和条带数据的输出； 图像接收端根据条带头将解码后恢复出的条带数据组织成图像数据后输出。
2.如权利要求I所述的一种降低图像传输系统时延的实现方法，其特征在于所述编码单元采用至少两个与条带数据大小相同的缓存区对输入的条带数据进行缓存和编码。
3.如权利要求I或2所述的一种降低图像传输系统时延的实现方法，其特征在于所述编码单元的并行处理方式为对当前时刻的条带数据进行编码的同时，对前一时刻的编码完成的编码后条带数据进行输出，并对下一时刻到达的条带数据进行接收。
4.如权利要求I所述的一种降低图像传输系统时延的实现方法，其特征在于所述条带头包括条带标志头、条带号，图像接收端根据条带标志头确定一个完整的编码后条带数据，并根据条带后将解码后恢复出的条带数据组织成图像数据。
5.如权利要求I所述的一种降低图像传输系统时延的实现方法，其特征在于所述解码单元采用至少两个与编码后条带数据大小相同的缓存区对输入的编码后条带数据进行缓存和编码。
6.如权利要求I或5所述的一种降低图像传输系统时延的实现方法，其特征在于所述解码单元的并行处理方式为对当前时刻的编码后条带数据进行解码的同时，对前一时刻解码后产生的条带数据进行输出，并对下一时刻到达的编码后条带数据进行接收。
全文摘要
本发明公开了一种降低图像传输系统时延的实现方法，图像发送端接收输入的图像数据并划分为条带数据后输出到编码单元；编码单元图像采用并行的方式进行条带数据的接收，条带数据的编码和编码后条带数据的输出；图像发送端将编码后条带数据添加条带头后发送到图像接收端；图像接收端根据条带头提取出编码后条带数据，并将编码后条带数据输出到解码单元；所述解码单元采用并行的方式进行编码后条带数据的接收，编码后条带数据的解码和条带数据的输出；图像接收端根据条带头将解码后恢复出的条带数据组织成图像数据后输出。本发明通过对由图像分割出的条带数据的流水处理，降低了图像传输系统的时延和图像传输系统的实现资源。
文档编号H04N7/26GK102752600SQ20121024380
公开日2012年10月24日 申请日期2012年7月13日 优先权日2012年7月13日
发明者国辉, 张宝薇, 王婷 申请人:航天恒星科技有限公司