专利名称：感兴趣区域的无损编码的制作方法
技术领域：
本发明涉及一种静止图像的传输中用于感兴趣区域(ROI)的无损编码的方法和设备。这个方法和设备尤其适合S+P变换。
在从发射器向接收器传输数字静止图像的传输过程中，为了减少传输图像所需要的比特的数量，通常要编码这个图像。
减少比特数的原因通常在于所使用的频道的容量是有限的，而数字化的图像却有非常巨大的比特数。当通过有限带宽的频道传输一个具有非常巨大的比特数的这样的图像时，如果必须传输该图像的每个比特，则对于大多数的应用来说，传输时间是不可容忍地过于长。
因此，为了减少传输所需的比特数，近年已经针对数字化图像的编码方法和技术作出许多探索。
这些方法可以分成两组。
无损方法，也就是使用图像中冗余使接收器能够重构造该图像而没有任何信息的丢失的方法。
无损方法，即，利用所有比特对于接收器不是同等重要，虽然接收器所接收的图像与原始图像不同，但由例如人眼来看该接收的图像与原始图像是充分相同的事实的方法。
另外，在一些应用情况下，该传输的图像的一部分可能比余下的部分更有用，因此就希望图像的这部分有更好的可视质量。通常把这样的部分称为感兴趣区域(ROI)。例如在医学数据库中，这种应用就很有用途。在一些情况下，可能还希望或要求无损传输这个感兴趣区域，而图像的余下部分的质量则不重要。
用于编码静止图像的一种方法是基于小波的S+P变换方法。这个S+P变换方法是完全可逆的，并且不扩展存储器就可以直接进行这个S+P变换。在SPIE会议记录，可视通信和图像处理‘93，麻省坎布里奇，1993，11，SPIE记录2094，第664-674页，A.Said和W.A.Pearlman所著“经过多解表达式的可逆图像压缩和预测编码”中公开了这种S+P变换方法，在此参考使用。
该S+P变换方法由S变换和预测构成的，S变换，见V.K Heer和H-E.Reinfelder的“一种用于数据压缩的可逆比较方法”，SPIE记录，第1233卷Med.Imag.IV，第354-365页，1990，在此参考使用，并且该S变换是角锥形子频带分解，该预测被用于从高频率的子频带中去掉冗余。通过多次执行子频带分解就完成前向变换。通过按照与对应合成相反的顺序完成反相变换。
在J.Str□m，P.C.Cosman的“具有无损感兴趣区域的医学图像压缩”，信号处理59，Nr2，(1997)6月155-171中，说明了S变换方法如何计算无损感兴趣区域。
但是，当把这样的技术应用于基于小波的S+P变换时，即感兴趣区域的无损传输并且图像的余下区域的有损传输时，则没有直接的技术可以被使用。
因此，现在不存在S+P变换的系统的无损感兴趣区域的传输的方式。其原因在于难于从S+P传输编码的原始图像中选择出那些信息必须应当传输从而就能够获得完好的无损重构的感兴趣区域而不必传输无损全部的图像。
本发明的一个目的是解决如何从S+P变换的图像中选择数据以便接收器获得无损感兴趣区域的问题。
如下面将说明的通过计算用于该感兴趣区域的表征码(mask)就达到了这个目的。
因此，为了获得完好的重构的感兴趣区域与此同时保持好的压缩率，通过发射很少有关图像的背景或不感兴趣的部分的信息，或者至少等待该信息直至发射的后级，将节约比特。
为了实现这个方式，需要计算无损表征码。该表征码是比特平面，指示出如果接收器能够完好地重构所要求的区域则那些小波系数必须精确地传输。在那个从图像中选择要无损传输的ROI的情况下，就应当使用结合上述的S+P变换所使用的A-预测器。
其原因在于当使用A-预测器时，就利用高频率的帮助不进行高频率的预测。如果是这种情况，就像在C-预测器的情况下，见上述的说明，一个可能的误差可以自始至终地繁殖在图像的边缘和ROI之内，因此就不能提供无损ROI。
按照与前向S+P变换相同的步骤计算该表征码，即，反向跟踪该反向步骤。开始，表征码是该ROI的二进制映射，因此在ROI之内是1，之外是0。然后在每步骤中，逐行改变该表征码，然后逐列改变该表征码。在每步骤中改变该表征码以使该表征码将指示出在这个步骤处那个系数是精确地需要的，从而使该反向S+P可以精确地再生前面表征码的系数。
该逆S+P的最后的步骤是合并两个子频带。反向追溯这个步骤，就找到在这两个子频带中的要求精确的系数。第二个最后步骤是把4个子频带合并成2个。反向追溯这个步骤，就从这4个子频带中找到那些系数是为了完好重构造在用于两个子频带的表征码中所包含的系数所需要的。
然后反向追溯所有的步骤得出表征码，如下所示如果对应于该表征码的系数被精确地传输并且接收，对这些系数计算逆S+P(用A-预测器)，则可以完好地重构造所需要的ROI。
为了在隔行(separate line)上跟踪一个反向步骤(stepbackwards)，其中Xm(n)是该反向步骤之前的表征码，Lm(n)和Hm(n)是用于低和高频率子频带之后的表征码，执行下面的步骤用A预测器(predictor)进行该S+P针对所有n在 如果{Xm(2n)＝1}或{Xm(2n+1)＝1，则Hm(n)＝1，否则是0如果{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}，则Lm(n)＝1，否则是0这样，如果满足上式，则把用于低频率子频带和用于高频率子频带的二进制表征码，即，为了获得无损感兴趣区域所要传输的对应的系数，分别设为二进制的‘1’。
为了同步，编码器和解码器都使用相同的表征码。经过某个级之后，跳跃能够被切换并且检测到的背景目录入口。这些背景目录入口是对应于设置不包含那些表示通过无损表征码进行的精确传输的系数的那些目录。
然后能够完全地跳跃这个背景目录入口，为后面的提高放入等待目录或者按照某种交织方式设置较低的优先权。
另外，发射之前不必定义ROI的形状，因此能够在传输的任意级由发射器或者接收器进行规定。
该ROI也可以由彼此不接触的两个或更多的部分构成。按照相同的方式使用这个技术。
结合非限制性的实施例和附图，将详细地说明本发明，附图是
图1是采用S+P变换的常规传输系统；图2a和2b显示当为S+P变换的静止图像编码感兴趣区域时不同的步骤流程图。
图3a-3e是不同的子频带级的无损表征码的计算的示意图。
图1示出了采用S+P变换的常规传输系统。该系统包括S+P编码器块101，它连接到ROI编码块103。S+P编码器块101编码按照上述的S+P变换方式的输入图像。该编码器块101可以从来自接收器或解码器107的频道105上的图像中接收该图像特殊部分中的，即感兴趣的区域(ROI)的信息。
然后这个信息进入ROI编码块103，该编码块103计算为解码器107提供无损感兴趣区域所必须传输的S+P变换图像的系数。解码器连接到块109，在这里对对应的ROI进行解码操作。
在图2a和2b的显示不同步骤的流程图中，示出了图1中ROI编码块103为S+P变换的静止图像所计算感兴趣区域所进行的步骤。
这样，在图1中ROI编码块103进行下面的编码步骤。首先在块201中，开始编码处理。然后在块203中，初始化ROI表征码的计算。然后在块205中，设水平子频带长度等于水平图像大小，设垂直子频带长度等于垂直图像大小。
下一步，在块207中，看第一子频带阶段，对应于该变换的第一阶段的该第一子频带阶段是最高倍频程频带。然后程序进入块209，看第一水平行。然后，在块211中，更改这个水平行。下面结合图2b更详细地说明这个更改过程。
下一步，在块213中，水平行数加1，然后在块215中，检查水平行数是否小于或等于该垂直子频带长度。如果小于或等于，则程序返回块211，否则进入块217。
在块217中，看第一垂直行数，然后在块219中，按照下面结合图2b所说明的程序更改该垂直行数。
然后，在块221中，垂直行数加1，然后在块223中，检查垂直行数是否小于或等于该垂直子频带长度。如果小于或等于，则程序返回块219，否则进入块225。
在块225中，水平子频带长度和垂直子频带长度都除2。
然后在块227中检查是否是最后阶段。如果是就进入块229，结束处理，否则返回块209。
详细说明图2b所示的由图2a中块211和块219所执行的处理。这样，在块251中开始程序。然后，在块253中，设参数n为0，参数n对应于要更改的行的顺序号。下一步，在块255中，估算该要更改的行的系数号n是否是获得无损ROI所需要的，因为需要系数(2n-2)、(2n-1)、(2n)、(2n+1)、(2n+2)、(2n+3)的预测。
这样，对于(2n-2)、(2n-1)、(2n)、(2n+1)、(2n+2)、(2n+3)，如果反向步骤之前的表征码是二进制的“1”，则前进到块257，否则前进到块259。在块257中，设当前更改的行中的系数n为二进制的“1”(开)，即需要这个系数用于获得无损ROI。在块257中，设当前更改的行中的系数n为二进制的“0”(关)，然后程序分别从块257和259前进到块261。
在块261中，检查该系数号(n+m/2)是否是为获得无损ROI所需要的，其中m是当前更改的行的长度。如果块261中所估算的结果为是，则前进到块263，否则前进到块265。
在块263中，设当前更改的行中的系数号(n+m/2)为二进制的“1”(开)，然后前进到块267。在块265中，设当前更改的行中的系数号(n+m/2)为二进制的“0”(关)，然后前进到块267。
在块267中把n加1，然后前进到块269。在块269中，检查n是否小于行长度除2，即，n＜m/2，如果小于则返回块255，否则前进到块271，结束处理。
还可以如下所示把计算感兴趣区域的无损掩膜的方法表达成伪码。
<pre listing-type="program-listing"><![CDATA[update-line(line) { for(n＝0；n＜line-length/2；n++) { if argument-line[2n-2]OR argument-line[2n-1] OR argument-line[2n]OR argument-line[2n+1]ORargument-line[2n+2] OR argument-line[2n+3] { /*turn on low*/ return-line[n]＝ON； } else return-line[n]＝OFF； if argument-line[2n]OR argument-line[2n+1] { /*turn on high*/ return-line[n+line-length/2]＝ON； } else return-line[n+line-length/2]＝OFF； } } Make-lossless-mask { Make-ROI-mask()；/*obtain a mask of the ROI in the imageplane*/ /*level loop*/ horizontal-subband-length＝vertical-image-size； vertical-subband-length＝vertical-image-size； for(all-levels-of-the-transform) { /*horizontal split*/ for(line＝0；line＜vertical-subband-length；line++) { update-horizontal-line(line)； } /*vertical split*/ for(line＝0；line＜horizontal-subband-length；line++) {update-vertical-line(line)； } horizontal-subband-length/＝2； vertical-subband-length/＝2； } }]]></pre>在图3a-3e中，显示了不同的阶段或级获得的二进制比特表征码。在图3a中示出图像平面上所需要的ROI的表征码，例如，按照上述方式从接收器向传输器传输的区域。
在图3b中示出第二子频带级处所需要的系数的二进制表征码。
在图3c-e中分别示出了第四、五和七子频带级对应的二进制表征码。
在另外一个实施例中，扩展该预测，使用低频率系数L(n-2)、L(n-1)、L(n)、L(n+1)、L(n+2)。因此该预测是P(n)＝an-2*L(n-2)+an-1*L(n-1)+an*L(n)+an+1*L(n+1)+an+2*L(n+2)+a0例如如果这些系数是an-2＝-3/64an-1＝22/64an＝0an+1＝-22/64an+2＝3/64a0＝-32/64该滤波器等于CREW中所使用那个2-10变换。在RICOH SiliconValley，Inc 1997，10，24的RICOH CREW压缩标准版本0.11(草案11)中公开了该2-10变换。如果系数an-2和an+2等于0，则该预测将是A-预测器。预测器使用更多的系数也是可以的。
现在稍微扩展反向跟踪(backward trace)所发现的表征码。为了在隔行(separate line)上跟踪一个反向步骤(step backwards)，其中Xm(n)是该反向步骤之前的表征码，Lm(n)和Hm(n)是用于前向的低和高频率子频带的表征码，执行下面的规则对于该扩展的预测器针对所有n在
如果{Xm(2n)＝1}或{Xm(2N+1)＝1，则Hm(n)＝1，否则是0如果{Xm(2n-4)＝1}或{Xm(2n-3)＝1或{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}或{Xm(2n+4)＝1}或{Xm(2n+5)＝1，则Lm(n)＝1，否则是0下面显示计算该扩展的表征码所用的简单伪码。
<pre listing-type="program-listing"><![CDATA[update-line(line){for(n＝0；n＜line-length/2；n++){ if argument-line[2n-4]OR argument-line[2n-3]OR argument-line[2n-2]OR argument-line[2n-1]OR argument-line[2n]OR argument-line[2n+1]OR argument-line[2n+2]OR argument-line[2n+3]OR argument-line[2n+4]OR argument-line[2n+5]OR { /*turn on low*/ return-line[n]＝ON； } else return-line[n]＝OFF； if argument-line[2n]OR argument-line[2n+1] { /*turn on high*/ return-line[n+line-length/2]＝ON； } else return-line[n+line-length/2]＝OFF； }}Make-lossless-mask { Make-ROI-mask()；/*obtain a mask of the ROI in the imageplane*/ /*level loop*/ horizontal--subband-length＝horizontal-image-size； vertical-subband-length＝vertical-image-size； for(all-levels-of-the-transform) { /*horizontal split*/ for(line＝0；line＜vertical-subband-length；line++) { update-horizontal-line(line)； } /*vertical split*/ for(line＝0；line＜horizontal-subband-length；line++) { update-vertical-line(line)； } horizontal-subband-length/＝2； vertical-subband-length/＝2； } }]]></pre>另外，当使用这里所说明的方法和设备时在传输期间这个感兴趣区域的形式、大小和位置也是可以改变的。其所必须执行的唯一的步骤是发射一个用于从接收器到发射器的另一个感兴趣区域的请求。然后计算一个对应新感兴趣区域的一个新表征码，并且然后把对应该新表征码的的系数发射给接收器。可以在另外的位置，例如在发射器中的程序，而不是由接收器，产生该另外感兴趣区域的请求。
这样的功能在许多应用中是非常有用的。例如，存在不总是由接收器接收他/她所要求的感兴趣区域的情况。在这种情况下，他/她能够发射更大的感兴趣区域甚至完全不同的感兴趣区域的请求。
因此，在优选实施例中，为发射器提供装置，用于在发射图像期间接收来自例如接收器的新感兴趣区域，以及用于计算对应这个新感兴趣区域的一个表征码。然后，从发射器向接收器发射这个新感兴趣区域。
这样，已经公开了一种使用表征码来传输S+P变换编码的数字化的图像的传输方法和装置，通过这个方法和装置能够无损地传输感兴趣区域(ROI)而不必传输该数字化的图像的余下的部分。利用这个表征码技术可以发射并且接收该无损ROI并且其整体图像仍然保持好的压缩率。其原因在于该图像剩余的部分可以不使用或仅使用非常少的比特。
另外，按照这里所说明的原理所计算的表征码可以用来在发射期间的任意时间发射为获得无损ROI所需要的系数。
权利要求
1.一种S+P变换的编码的数字化图像的无损感兴趣区域发射的方法，其特征在于计算表示该S+P变换的图像的对应于该感兴趣区域的系数的掩膜，并且这些系数被发射。
2.依据权利要求1的方法，其特征在于在传输的初级发射对应于该感兴趣区域的该S+P变换图像的系数，以便接收器获得无损感兴趣区域以及有损的余下的图像。
3.依据权利要求1-2之一的方法，其特征在于通过在隔行上跟踪一个反向步骤获得该表征码，并且然后执行下面的步骤—设如果{Xm(2n)＝1}或{Xm(2n+1)＝1，则Hm(n)＝1，否则是0—设如果{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}，则Lm(n)＝1，否则是0针对所有n在
，其中Xm(n)是该反向步骤之前的表征码，Lm(n)和Hm(n)是用于前向的低和高频率子频带的表征码，并且其中n是行中系数的号，这个n被改变。
4.依据权利要求1-2之一的方法，其特征在于通过在隔行上跟踪一个反向步骤获得该表征码，并且然后执行下面的步骤—设如果{Xm(2n)＝1}或{Xm(2n+1)＝1，则Hm(n)＝1，否则是0—设如果{Xm(2n-4)＝1}或{Xm(2n-3)＝1或{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}或{Xm(2n+4)＝1}或{Xm(2n+5)＝1，则Lm(n)＝1，否则是0针对所有n在
，其中Xm(n)是该反向步骤之前的表征码，Lm(n)和Hm(n)是用于前向的低和高频率子频带的表征码，并且其中n是行中系数的号，这个n被改变。
5.依据权利要求1-4之一的方法，当接收到一个新表征码的要求时，其特征在于计算对应于该感兴趣区域的新表征码并且发射对应的系数。
6.一种S+P变换的编码的数字化图像的无损感兴趣区域发射的设备，其特征在于用于计算表示对应于该感兴趣区域的该S+P变换的图像的系数的表征码装置。
7.依据权利要求6的装置，其特征在于在传输的初级用于发射对应于该感兴趣区域的该S+P变换图像的系数以便接收器获得无损感兴趣区域以及有损的余下的图像的装置。
8.依据权利要求6-7之一的装置，其特征在于通过在隔行上跟踪一个反向步骤获得该表征码的装置，并且然后执行下面的步骤—设如果{Xm(2n)＝1}或{Xm(2n+1)＝1，则Hm(n)＝1，否则是0—设如果{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}，则Lm(n)＝1，否则是0针对所有n在
，其中Xm(n)是该反向步骤之前的表征码，Lm(n)和Hm(n)是用于前向的低和高频率子频带的表征码，并且其中n是行中系数的号，这个n被改变。
9.依据权利要求6-7之一的装置，其特征在于通过在隔行上跟踪一个反向步骤获得该表征码的装置，并且然后执行下面的步骤—设如果{Xm(2n)＝1}或{Xm(2n+1)＝1，则Hm(n)＝1，否则是0—设如果{Xm(2n-4)＝1}或{Xm(2n-3)＝1或{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}或{Xm(2n+4)＝1}或{Xm(2n+5)＝1，则Lm(n)＝1，否则是0针对所有n在
，其中Xm(n)是该反向步骤之前的表征码，Lm(n)和Hm(n)是用于前向的低和高频率子频带的表征码，并且其中n是行中系数的号，这个n被改变。
10.依据权利要求6-9之一的装置，其特征在于当接收到一个新表征码的要求时计算新表征码的装置。
全文摘要
在一种通过计算表征码传输S+P变换编码的数字化的图像的传输方法和装置中,通过这个方法和装置无损地传输感兴趣区域(ROI),与该ROI能够被无损传输和接收的同时其整体图像仍然保持好的压缩率。其原因在于该图像剩余的部分可以不使用或仅使用非常少的比特。还可以使用这个计算的表征码在传输的任何级期间传输无损传输感兴趣区域所需要的系数。
文档编号H04N7/26GK1275226SQ9881005
公开日2000年11月29日 申请日期1998年10月7日 优先权日1997年10月10日
发明者D·尼斯特, C·克里斯托普洛斯 申请人:艾利森电话股份有限公司