一种基于大数据的大压缩比数据压缩方法
【技术领域】
[0001]本发明涉及一种图像通信的方法，特别涉及一种大压缩比的数据压缩方法，属于通信(如数据通信技术等)领域。
【背景技术】
[0002]当前的社会是个信息社会，需要传输的信息数据总量特别大；随着科技的发展，人们对高分辨率图像的需求越来越大，得到的数据量也非常大，这给数据存储和传输带来很大压力，因此，人们总在想方设法提高数据压缩的压缩比和压缩质量。
[0003]目前，图像压缩方法存在以下问题:
[0004](I)图像数据压缩方法的压缩比不高；
[0005]数据压缩标准JPEG2000等方法压缩比不高，如对于卫星遥感图像4倍左右，对于普通图像一般4-16倍之间。预测压缩、变换域压缩、矢量量化方法等压缩比都不大。
[0006](2)大压缩比图像压缩方法还不够完善；
[0007]文献中大压缩比的方法还很少，或者实现复杂度还无法满足要求，或者压缩性能对一部分图像好，而对另一部分图像效果却不好。
【发明内容】
[0008]本发明解决的技术问题是:提供一种压缩性比高、基于大量数据优化筛选的数据压缩方法，可用于地面设备之间、地面对航天器、航天器对地、航天器之间的图像传输。
[0009]本发明的技术方案是:一种基于大数据的大压缩比数据压缩方法，包括以下步骤:
[0010](I)把待发送的灰度图像A进行分解，形成t幅大小相同的子图像Al，一At，t为正整数；所述的灰度图像A的大小为M行、N列、Q比特量化，总比特数为M*N*Q ;所述每个子图像大小为K行、L列、Q比特量化，总比特数为K*L*Q，其中t = I时表示图像不分解或分解成I幅图像；所述的M、N、Q均为正整数；
[0011](2)从预先建立的基础图像数据库中选择η幅图像Cl，C2，…Cn，η为正整数，每幅图像大小为K行、L列、Q比特量化；根据子图像数生成t组系数，每组系数为Kl (p)，…Kn (P)，P = I, 2…t，生成图像 Dp = Kl (p) *C1+…+Kn (p) *Cn，p = I, 2…t ；
[0012]对于t幅子图像Ap，其中P = I,…t，分别与该幅子图像对应的图像Dp相减，得到每幅子图像Ap对应的图像误差Ep，如果误差Ep满足PSNR指标要求，则令Ap = Dp，保存该组系数Kl (P)，K2 (P)，…Kn (P)，转到步骤(3);如果误差Ep不满足PSNR指标要求，则重新生成一组新的系数Kl (P)...Kn (P)，生成图像Dp = Kl (p) *C1+….+Kn (p) *Cn，直到误差Ep满足要求，则令Ap = Dp并保存新生成的这组系数Kl (P)，K2 (P)...Kn (p);转到步骤(3);
[0013](3)根据t组系数Kl (p)，…Kn (P)对应的t幅生成图像Dp，得到恢复后的灰度图像B，计算灰度图像B与原灰度图像A的PSNR值；如果灰度图像B的性能不能满足PSNR指标要求，则对灰度图像A与恢复图像B的误差F进行压缩，F = A-B,得到dl比特数据；再对t组系数Kl (P)，K2 (P)，…Kn (P)进行编码，得到d2比特数据，将dl+d2比特数据进行传输；
[0014](4)接收端进行译码得到恢复后的t组系数Kl (P)，K2(p)，…Κη(ρ)，以及误差数据F，先计算t幅恢复子图像Bp = Kl(p)*Cl+....+Kn (P) *Cn，进而得到恢复图像B，p = I, 2...t，再用误差F对恢复图像B进行校正即得到最终恢复后的灰度图像A = F+B，压缩比为R =MNQ/(dl+d2)；
[0015]所述步骤(2)中建立基础图像数据库的方法如下:
[0016]从普通图像中选择若干幅灰度图像作为训练样本图像训练样本XI，X2…Xu，图像的大小为M行、N列、Q比特量化；对这些图像进行分解，分别形成T幅大小相同的子图像Yi，i = 1，…T，大小为K行、L列、Q比特量化；全部子图像Y按照矢量量化VQ码书设计方法形nl幅K行、L列、Q比特量化的码书，并从训练样本图像中选择部分图像分解后形成n2幅K行、L列、Q比特量化的典型标准图像，最后形成由m幅基础图像形成的图像数据库，η=nl+n2 ;所述的典型矢量量化VQ码书设计方法有LBG方法或者SOFM神经网络学习方法；
u、η为大于或等于I的整数，u*T大于或等于η。
[0017]所述步骤(2)中t组系数Kl (P)，K2(p)，…Kn (P)的产生方法如下:每次产生一组介于(-1，1)之间的η-1个不同随机数，分别赋予其中η-1个系数，最后一个系数Kn(P)=1-(Κ1(ρ)+Κ2 (P)+...+Kn-1 (ρ))，其中 P = l，2...t。
[0018]本发明与现有技术相比的有益效果在于:
[0019]本发明提出了一种大压缩的图像压缩方法，对原图像A或其子图像，基于图像库的基础图像进行线性计算，选择出最为接近的图像进行编码、进行误差校正传输，从而避免了直接对原图像进行压缩无法提高压缩比的问题，突破了传统的数据压缩方法的局限，以离线学习的复杂度换取了硬件实现的简易性，从而大大减少了大压缩实现的复杂度。
[0020]本发明与目前【背景技术】相比有下面几点实质性不同及进步:
[0021](I)本发明把基于矢量量化的码书设计方法设计的码书图像和基于典型图像优选图像结合起来产生图像库，涵盖面广，适应性强，为数据压缩提供了保证；
[0022](2)本发明基于随机选择及优化迭代产生大量系数，进而通过线性计算得到子图像的逼近图像，再基于误差校正技术提高恢复图像质量、解决特殊图像压缩恢复误差大的问题，通过编码过程的计算复杂度换取了压缩性能的提高；
[0023](3)本发明的大压缩传输方法，编码端与解码端具有不对称结构，接收端解压缩非常简单，这样的压缩、解压缩方式更有利于接收端解码设备的简化，更便于推广应用。也适合于点对多点通信，或广播通信；
[0024](4)本发明的大压缩比压缩方法，实用性强，压缩采用简单的线性运算快速实现，大大降低了系统复杂性，提高了传输可靠性；
[0025](5)本发明的大压缩压缩比可以根据需要选择，一般可达到512倍以上、可达8092倍甚至以上，而且压缩比越大，硬件实现越容易；
[0026](6)本发明的压缩方法，压缩比可以根据压缩性能进行事先控制，可通过控制误差图像数据的压缩比而控制总的压缩比和恢复图像质量；
【附图说明】
[0027]图1为本发明原理图。
【具体实施方式】
[0028]图像压缩技术已经广泛应用于国民经济的各个领域，包括遥感卫星、空间探测器等航天器图像压缩，机载航拍图像压缩，地面图像压缩等，随着大数据时代的来临，高倍压缩技术必将得到更广泛应用。本发明的压缩方法具有鲜明的特点和大压缩比特点，可以大大提高图像数据压缩方法的性能，同时具有对原图像的保密和隐蔽传输效果，在图像通信领域、信息网络传输领域具有实用价值。
[0029]本发明特有的“发送端事先与数据库线性运算再传输系数和误差、接收端进行误差修正的方法”，适合公开信道情况下进行图像传输，在实现过程中主要进行线性计算，非常容易高速实时实现。
[0030]由于基于LBG等矢量量化码书设计方法，生成的图像数据库具有一定代表性，再基于简单的线性计算就可以完成大压缩比压缩，如果个别情况无法得出非常接近的图像则可用误差修正的方法。由于本身压缩比极大，传输个别误差数据后依然能保证大压缩比，而且解压缩特别简单，从而节省了本压缩传输系统的成本，保证本发明的实用性，经济性。
[0031]为了说明本文提出的算法的性能，仿真实验中采用了大小为512X512的8比特灰度图像A图像进行信息压缩与解压缩。
[0032]对于图像A，M = 512，N = 512，Q = 8，压缩比R计算举例如下:
[0033]R = MNQ/ (dl+d2)，设 dl = d*Q，d2 = t*n*Q
[0034]则R = MNQ/ (dl+d2) = MNQ/ (d*Q+t*n*Q) = MN/ (d+t*n)
[0035]当t = 16，n = 64，d = 1024 时，R = MN/ (d+t*n) = 512*512/ (1024+1024) = 128 ；
[0036]当t = 8，η = 64，d = 512 时，R = MN/ (d+t*n) = 512*512/ (512+512) = 256 ；
[0037]当t = 4，η = 128，d = 512 时，R = MN/(d+t*n) = 512*512/(512+512) = 256 ；
[0038]当t = 4，η = 64，d = 256 时，R = MN/ (d+t*n) = 512*512/ (256+256) = 512 ；
[0039]当t = 2，η = 128，d = 256 时，R = MN/(d+t*n) = 512*512/(256+256) = 512 ；
[0040]当t = l，n = 128，d = 128 时，R = MN/(d+t*n) = 512*512/(128+128) = 1024 ；[0041 ]当 t = 1，η = 64，d = 64 时，R = MN/ (d+t*n) = 512*512/ (64+64) = 2048 ；
[0042]当t = 1，η = 64，d = O 时，R = MN/ (d+t*n) = 512*512/ (0+64) = 4096 ；
[0043]当t = 1，η = 32，d = 0 时，R = MN/ (d+t*n) = 512*512/ (0+32) = 8192 ；
[0044]当