专利名称：小波变换设备、小波逆变换设备和方法、程序和记录介质的制作方法
技术领域：
本发明涉及小波变换设备和方法、小波逆变换设备和方法、程序 及记录介质，更具体地说，涉及通过与内部存储器交换数据，使得能 够进行高速小波变换的小波变换设备和方法、小波逆变换设备和方法、 程序及记录介质。
背景技术：
已知方法中的典型图像压缩方法是由ISO(国际标准化组织)标准 化的JPEG(联合图像专家组)方法。众所周知，在使用DCT(离散余弦 变换)和占用大量比特的情况下，JPEG方法提供极好的编码图像和解 码图像。但是，超过一定水平减少编码比特会导致DCT的显著块失 真特性，并且能够主观地观察到劣化。
另一方面，近年来，对于其中利用称为滤波器组(其中组合高通 滤波器和低通滤波器)把图像分成多个频带(子带)，并对每个频带进行 编码的方法进行了大量的研究。特别地，小波变换编码被看作一种可 能是代替DCT的候选方法的新技术，因为它不存在DCT所具有的问 题，即，高压缩率下的显著块失真。
JPEG 2000的国际标准化完成于2001年1月。JPEG 2000结合 小波变换和高效熵编码(基于位平面的比特模拟和算术编码)，并且和
JPEG相比，在编码效率方面实现显著的改进。
小波变换使用一种技术，其中图像数据被作为输入，所述输入经 受水平方向滤波和垂直方向滤波，其中低频带分量被分级划分。此时， 需要在高频下进行相对于存储器的数据读写，比如图像数据的读出， 通过滤波产生的频率系数的写入，再一次的频率系数的读出等。
由于图像信号具有大量的数据，因此需要一种高速进行小波变换 的技术。另外，已提出了从外部把频率系数写入存储器，并再次读出 这些频率系数的大量技术(例如，日本未经审查的专利申请公开 No.l0-283342)。
发明内容
但是，由于数据在外部存储器和小波变换单元之间被交换，因此 频率系数被写出到外部存储器并被再次读入的技术存在不能获得足够 带宽的问题，从而， 一直难以高速进行小波变换。
另外，升高时钟(工作频率)在增大外部存储器和小波变换单元 之间数据的速率方面是有效的，但是时钟的简单增大不仅导致能耗增 大的问题；诸如FPGA (现场可编程门阵列)和PLD (可编程逻辑器件) 之类的硬件不易于处理该问题。
已认识到存在不需要外部存储器地实现高速小波变换的需要。
根据本发明的一个实施例的用于在多个级别对图像信号进行小 波变换的小波变换设备包括水平滤波单元，用于使图像信号经受水 平方向低频带分析滤波和高频带分析滤波；和对于每个级别来说独立 的，用于对每个级别保存通过水平滤波单元的水平方向分析滤波而产 生的频率分量的緩冲器。
通过水平方向分析滤波而获得的频率分量中的低频带分量和高 频带分量可被重新排序并保存在緩沖器中。
小波变换设备还可包括进行作为图像信号的元素的亮度信号和 色差信号的重新排序的再排序单元；水平滤波单元使由再排序、单元重 新排序的图像信号受到水平方向低频带分析滤波和高频带分析滤波。
作为水平滤波单元进行的水平分析滤波的结果而产生的亮度信 号的频率分量和色差信号的频率分量均可单独地被保存在緩沖器中。
小波变换设备还可包括垂直滤波单元，用于使通过水平方向分 析滤波而产生的保存在緩冲器中的频率分量经受垂直方向低频带分析 滤波和高频带分析滤波。
垂直滤波单元还可包括亮度信号垂直滤波单元，用于使作为图 像信号的元素的亮度信号的频率分量经受垂直方向低频带分析滤波和 高频带分析滤波；和色差信号垂直滤波单元，用于使作为图像信号的 元素的色差信号的频率分量经受垂直方向低频带分析滤波和高频带分 析滤波。
亮度信号垂直滤波单元和色差信号垂直滤波单元可并行操作。 小波变换设备还可包括再排序单元，用于进行通过亮度信号垂 直滤波单元进行的垂直方向分析滤波而产生的亮度信号的频率分量， 和通过色差信号垂直滤波单元进行的垂直方向分析滤波而产生的色差 信号的频率分量的低频带分量的重新排序；水平滤波单元使再排序单 元重新排序的低频带分量经受水平方向低频带分析滤波和高频带分析 滤波。
在再排序单元的重新排序之前，亮度垂直滤波单元和色差信号垂 直滤波单元之一可等待，直到另一方的分析滤波结束为止。
水平滤波单元可按照预定数目的级别进行水平方向低频带分析 滤波和高频带分析滤波。
作为由水平滤波单元进行的水平方向分析滤波的结果而产生的 亮度信号的频率分量和色差信号的频率分量可被单独地保存在緩沖器 中。
水平滤波单元和垂直滤波单元可按照分层方式对最低频带的频
率分量进行分析滤波。
水平滤波单元和垂直滤波单元可由小波变换的提升方案实现。 水平滤波单元可以行为增量输入图像信号，每次水平方向'上的样
本数达到预定数目时，进行水平方向低频带分析滤波和高频带分析滤
波；每次水平滤波单元进行的水平方向分析滤波的结果中的频率分量 的垂直方向上的行数达到预定数目时，垂直滤波单元进行垂直方向低 频带分析滤波和高频带分析滤波。
图像信号可以是包含多个画面的视频信号，小波变换设备还包括 检测单元，用于通过检测视频信号的垂直同步信号，检测每个画面的 结束，水平滤波单元和垂直滤波单元进行每个画面的分析滤波。
根据本发明的一个实施例，对图像信号进行多个级别的小波变换 的小波变换设备的小波变换方法包括下述步骤使图像信号经受水平 方向低频带分析滤波和高频带分析滤波；和对于每个级别，把通过水 平方向分析滤波而产生的频率分量保存在对每个级别来说独立的緩冲 器中。
借助上述配置，图像信号经受水平方向低频带分析滤波和高频带 分析滤波。对于每个级别，通过水平方向分析滤波而产生的频率分量 被保存在对每个级别来说独立的緩冲器中。从而，能够在不需要外部 存储器的情况进行高速小波变换。
根据本发明的一个实施例，对由对图像信号进行的多个级别的小 波变换产生的频率分量执行小波逆变换，从而重建图像的小波逆变换 设备包括水平滤波单元，用于使频率分量经受水平方向低频带合成 滤波和高频带合成滤波；和对于除最低频带之外的每个级别来说独立 的緩冲器，用于对每个级别，保存通过水平滤波单元的水平方向合成 滤波而产生的频率分量。
小波逆变换设备还可包括垂直滤波单元，用于使频率分量经受 垂直方向低频带分析滤波和高频带分析滤波；水平滤波单元对通过垂 直方向合成滤波而产生的频率分量进行水平方向低频带合成滤波和高 频带合成滤波。
垂直滤波单元和水平滤波单元可由小波逆变换的提升方案实现。 水平滤波单元可以行为增量输入频率分量，每次水平方向上的样 本数达到预定数目时，进行水平方向低频带合成滤波和高频带合成滤 波；每次水平滤波单元进行的水平方向合成滤波的结果中的频率分量
的垂直方向上的行数达到预定数目时，垂直滤波单元进行垂直方向低 频带合成滤波和高频带合成滤波。
图像信号可以是包含通过按照分级方式对最低频带频率分量进
行分析滤波而分成多个频率分量的多个画面的视频信号；垂直滤波单 元和水平滤波单元根据多个频率分量中，包括最低频带频率分量的预 定数目频率分量，以分级方式执行合成滤波，最终产生一个画面。
小波逆变化设备还可包括在垂直滤波单元和水平滤波单元产生 的画面之间插入垂直同步信号，从而产生视频信号的垂直同步信号插 入单元。
可对作为图像信号的元素的亮度信号和色差信号独立地提供垂 直滤波单元、水平滤波单元和緩沖器；用于亮度信号的垂直滤波单元、 水平滤波单元和緩沖器，以及用于色差信号的垂直滤波单元、水平滤 波单元和緩沖器被并行操作。
根据本发明的一个实施例，对由关于图像信号进行的多级小波 变换而产生的频率分量进行小波逆变换，从而重建图像的小波逆变换 方法，包括下述步骤使频率分量经受水平方向低频带合成滤波和高 频带合成滤波；和对于每个级别，把通过水平滤波单元的水平方向合 成滤波而产生的频率分量保存在对除最低频带之外的每个级别而言独 立的緩沖器中。
借助上述配置，由对图像信号进行的多个级别的小波变换而产生 的频率分量经受水平方向低频带合成滤波和高频带合成滤波。对于每 个级别，通过水平滤波单元的水平方向合成滤波而产生的频率分量被 保存在对除最低频带之外的每个级别而言独立的緩冲器中。从而，能 够不需要外部存储器地进行高速小波逆变换。
图l是图解说明应用本发明的一个实施例的小波变换设备的一个 实施例的配置例子的示图2是说明图1中所示的小波变换设备的小波变换处理的流程
图3是说明其中Y和C已被交错的图像信号的水平分析滤波的 例子的示图4是说明分别对Y和C进行垂直分析滤波的例子的示图5是为了与图4比较，说明进行分成低频带和高频带的Y和C
的垂直分析滤波的例子的示图6是图解说明分别对Y和C进行划分级别1分析滤波的结果
的示图7是说明对划分级别1低频带分量交错Y和C的例子的示图； 图8是为了与图4比较，说明在Y和C被交错的情况下，执行
垂直分析滤波的例子的示图9是图解说明在分别对Y和C进行垂直分析滤波的情况下的
时间图的例子的示图10是图解说明在分别对Y和C进行垂直分析滤波的情况下的
时间图的另一例子的示图11是说明关于5x3分析滤波器的提升方案的例子的示图； 图12是图解说明关于HDTV标准的亮度和色差信号的数据阵列
的例子的示图13是说明以行为增量的分析滤波的示图14是说明划分级别l分析滤波中的垂直滤波的示图15是图解说明进行划分级别2分析滤波的结果的示图16是图解说明对实际图像进行划分级别3分析滤波的结果的
示图17是说明视频信号中的垂直同步信号的示图18是图解说明和对应于图1中所示的小波变换设备的小波逆
变化设备相关的结构例子的示图19是说明图18中所示的小波逆变换设备的小波逆变换处理的
流程图20是说明垂直合成滤波的示图21是说明水平合成滤波的示图； 图22是图解说明进行合成滤波的结果的示图； 图23是说明关于5x3分析滤波器的提升方案的另 一例子的示图； 图24是图解说明应用本发明的一个实施例的图像编码设备的一 个实施例的结构例子的示图25是说明图24中所示的图像编码设备的图像编码处理的流程
图26是图解说明与图24中所示的图像编码设备对应的图像解码 设备的一个实施例的结构例子的示图27是说明图26中所示的图像解码设备的图像解码处理的流程
图28是图解说明应用本发明的一个实施例的数字三轴(triax) 系统的一个例子的结构的方框图29是图解说明应用了本发明的一个实施例的无线传输系统的 一个例子的结构的方框图30是图解说明把图29中所示的无线传输系统应用于家庭游戏 控制台的一个例子的示意图31是图解说明应用本发明的一个实施例的计算机的一个实施 例的结构例子的方框图。
具体实施例方式
图l是图解说明应用本发明的一个实施例的小波变换设备的一个 实施例的结构例子的示图。小波变换设备l是一种频带分析设备，它 把图像数据作为输入，并进行水平方向滤波和垂直方向滤波，其中低 频带分量被分级地分成预定的划分级别(在图1中所示的例子中，被分 成划分级别4)。
图1中所示的小波变换设备由交错单元10、水平分析滤波器单元 11、 1级緩冲器12、 2级緩冲器13、 3级緩冲器14、 4级緩冲舉15、 选择器16、 Y(亮度)垂直分析滤波器单元17、 C(色差)垂直分析滤波器
单元18、交错单元19、水平分析滤波器单元20和控制单元21组成。 亮度信号(亮度分量信号)DIO和色差信号(色差分量信号)D11(它 们是图像信号的元素)被输入交错单元IO。下面注意，亮度(分量)可视 情况被称为"Y，，，色差(分量)可视情况被称为"C"。交错单元10交错 亮度信号D10和色差信号Dll。如果输入其中Y和C已被交错的图 像信号，那么和后面参考图12说明的视频信号的情况一样，当然不需 要交错单元10进行的处理。交错的图像信号D12被输入水平分析滤 波器单元11。
水平分析滤波器单元11对其中Y和C已被交错的图像信号D12 进行划分级别1的水平方向的低频带分析滤波和高频带滤波，并产生 由通过水平分析滤波获得的低频带分量系数和高频带分量系数组成的 频率分量系数(下面视情况也称为低频带分量、高频带分量和频率分 量)。
现在，水平分析滤波器单元11对Y或C数据进行水平方向上的 低频带分析滤波和高频带分析滤波，同时交替地从未示出的内部存储 器(或者寄存器)读出按照踏脚石方式位于基带的Y和C数据。
1级緩沖器12保存和保持划分级别1水平分析滤波的结果。即， 1级緩沖器12独立保存和保持通过水平分析滤波器单元11进行的划 分级别1水平分析滤波而获得的Y频率分量(低频带分量和高频带分量) 和C频率分量(低频带分量和高频带分量)。 一旦能够实现垂直方向分 析滤波的预定数目的垂直行的数据(频率分量)已被累积在1级緩沖器 12中，就通过选择器16读出频率分量D14的该数目的垂直行量值。
2级緩冲器13保存和保持划分级别2水平分析滤波的结果。即， 2级緩沖器13独立保存和保持通过水平分析滤波器单元20进行的划 分级别2水平分析滤波而获得的Y频率分量(低频带分量和高频带分量) 和C频率分量(低频带分量和高频带分量)。 一旦能够实现垂直方向分 析滤波的预定数目的垂直行的数据已被累积在2级緩冲器13中，就通 过选择器16读出频率分量D15的该数目的垂直行量值。
3级緩沖器14独立保存和保持通过水平分析滤波器单元20进行的划 分级别3水平分析滤波而获得的Y频率分量(低频带分量和高频带分量) 和C频率分量(低频带分量和高频带分量)。 一旦能够实现垂直方向分 析滤波的预定数目的垂直行的数据已被累积在3级緩沖器14中，就通 过选择器16读出频率分量D16的该数目的垂直行量值。
4级緩冲器15保存和保持划分级别4水平分析滤波的结果。即， 4级緩沖器15独立保存和保持通过水平分析滤波器单元20进行的划 分级别4水平分析滤波而获得的Y频率分量(低频带分量和高频带分量) 和C频率分量(低频带分量和高频带分量)。 一旦能够实现垂直方向分 析滤波的预定数目的垂直行的数据(频率分量)已被累积在4级緩冲器 15中，就通过选择器16读出频率分量D17的该数目的垂直行量值。
在Y垂直分析滤波器单元17和C垂直分析滤波器单元18的控 制下，选择器16从1级緩冲器12-4级緩沖器15中选择对应划分级别 緩沖器的输出，并把选择的输出作为频率分量18输出给Y垂直分析 滤波器单元17和C垂直分析滤波器单元18。
Y垂直分析滤波器单元17和C垂直分析滤波器单元18对来自选 择器16的频率分量D18的预定数目的垂直行数据进行Y和C垂直分 才斤滤波。
即，Y垂直分析滤波器单元17从对应级别的緩冲器读出频率分 量D18的预定数目的垂直行数据，进行Y垂直方向低频带分析滤波和 高频带分析滤波，并且在通过Y垂直分析滤波获得的频率分量中，只 把低频带分量D19(对于Y来说，低频带分量D19在水平方向和垂直 方向上都是低频带)输出给交错单元19，并从小波变换设备1对外输 出Y的其它高频带分量D23(下面简称为"外部")。
另外，C垂直分析滤波器单元18从对应划分级别的緩冲器读出 频率分量D18的预定数目的垂直行数据，进行C垂直方向低频带分析 滤波和高频带分析滤波，并且在通过C垂直分析滤波获得的频率分量 中，只把低频带分量D20(对于C来说，低频带分量D20在7j^平方向 和垂直方向上都是低频带)输出给交错单元19，并对外输出C的其它
高频带分量D24。
交错单元19交错来自Y垂直分析滤波器单元17的Y低频带分 量D19和来自C垂直分析滤波器单元18的C低频带分量D20。交错 的低频带分量D21被输入到水平分析滤波器单元20。
水平分析滤波器单元20的结构基本上和水平分析滤波器单元11 的结构相同，除了待处理的频率分量的划分级别不同之外。即，对于 水平分析滤波器单元20，以踏脚石方式存在于基带上的Y和C低频 带分量D21由水平分析滤波器单元20交替地从未示出的内置存储器 读出，并且交替地对Y和C低频带分量D21执行水平方向低频带分 析滤波和高频带分析滤波。
水平分析滤波器单元20随后把作为水平分析滤波的结果的频率 分量(低频带分量和高频带分量)D22保存和保持在对应级别的緩沖器 中(2级緩沖器13 ~ 4级緩沖器15之一)。
控制单元21例如由包括CPU(中央处理器)、ROM(只读存储器) 和RAM(随机存取存储器)的微计算机等构成，并且通过执行各种程 序，控制小波变换设备l的各个单元的处理。
下面，参考图2中的流程图，说明图1中所示的小波变换设备l 的操作。即，图2图解说明由小波变换设备l执行的小波变换处理。
图像信号从外部输入交错单元IO(例如，从后面说明的图28中所 示的摄像机单元303)。在步骤Sll中，交错单元10确定是否进行交 错。例如，如果作为图像信号的元素的亮度信号DlO和色差信号Dll 被输入，那么在步骤Sll中确定要进行交错，流程进入步骤S12，交 错单元10在内部存储器中交错亮度信号DIO和色差信号Dll。交错 的图像信号D12被输入到水平分析滤波器单元11。
另外，如果输入和后面参考图12说明的视频信号的情况一样， 其中Y和C被交错的图像信号(即，信号等同于图像信号D12)，那么 在步骤Sll中，确定不进行交错，其中Y和C被交错的图像信号D12 通过交错单元10无变化地被输入到水平分析滤波器单元11。寻程随 后跳过步骤S12，并进入步骤S13。在步骤S13中，水平分析i波器 单元11对其中Y和C被交错的图像信号D12进行划分级别1水平分 析滤波。
即，水平分析滤波器单元11具有未示出的内部存储器(或寄存 器)，并且如图3中所示在内部存储器中呈递其中Y和C已被交错的 输入图像信号。注意对于图3中的例子，图解说明了其中由方块表示 的Y和C在存储器中被交替呈递的图像信号的基带图像。
在移动位置的同时，水平分析滤波器单元11读出在内部存储器 中呈递的按照踏脚石方式位于基带上的预定数目的Y数据(就图3来 说，3个样本)或者预定数目的C数据，并交替地进行Y水平方向低频 带分析滤波和高频带分析滤波，和C水平方向低频带分析滤波和高频 带分析滤波。
水平方向数据易于呈递给存储器地址。因此，在交替从存储器读 出Y数据和C数据的同时，在水平分析滤波器单元ll易于顺序执行 水平分析滤波。
在步骤S14中，水平分析滤波器单元11把通过划分级别1水平 分析滤波获得的频率分量保存到对应级别的緩沖器(这种情况下，1级 緩冲器12)。
此时，水平分析滤波器单元11交错作为Y水平分析滤波的结果 的Y高频带分量(H)和低频带分量(L),并且独立于C地保存在1级緩 沖器12中，随后交错作为C水平分析滤波的结果的C高频带分量和 低频带分量，并独立于Y地保存在1级緩冲器12中，如图4中所示。
借助已知的方案，对于Y和C两者，水平分析滤波的结果都被 分成高频带分量和低频带分量，并如此保存在緩冲器中，如图5中所 示。但是，如同已知方案的情况一样，把高频带分量和低频带分量映 射到緩沖器中的不同地址需要用于分发所述高频带分量和低频带分量 的独立控制器。
相反，对于按照本实施例的图4中所示的例子，Y高频带分量(H) 和低频带分量(L)被交替保存在1级緩冲器12中，C高频f^^量(H) 和低频带分量(L)被交替地保存在与Y不同的地址。即，对于Y和C
每个来说，作为水平分析滤波的结果的高频带分量和低频带分量都通
过水平分析滤波器单元11被交错地保存在1级緩沖器12中，从而在 读出保存在1级緩冲器12中的频率分量的时候，所需的只是从1级緩 冲器12的前端开始读出，从而简化了控制。
现在，返回图2，当通过水平分析滤波而获得的频率分量在图4 中所示的1级緩冲器12中累积达到预定数目的垂直行(就图4中所示 的情况来说，3条垂直行)，从而能够进行垂直分析滤波时，例如，在 步骤S15中，通过控制选择器16选择1级緩冲器12的输出，Y垂直 分析滤波器单元17和C垂直分析滤波器单元18从1级緩冲器12读 出必需数目的垂直行的频率分量。读出的频率分量通过选择器16作为 Y和C频率分量D18被输入到Y垂直分析滤波器单元17和C垂直分 析滤波器单元18。
在步骤S16中，Y垂直分析滤波器单元17对Y频率分量的预定 数目的垂直行数据(就图4的情况来说，3条垂直行数据)进行对应划分 级别(当前情况下，划分级别l)的Y垂直分析滤波。在步骤S17中，C 垂直分析滤波器单元18对C频率分量的预定数目的垂直行量值(就图 4的情况来说，3行量值)进行对应划分级别(当前情况下，划分级别1) 的C垂直分析滤波。步骤S16和S17中的处理并行执行；后面将参考 图8详细说明步骤S16和S17的处理。
作为划分级别1 Y和C垂直分析滤波的结果(即，划分级别1 Y 和C分析滤波的结果)，对于Y和C产生由低频带分量(1LL)系数和高 频带分量(1HH、 1LH、 1HL)系数组成的四个频率分量，如图6中所示。 注意在图6中所示的例子中，"L"和"H"的顺序指示作为先前进行水平 分析滤波的结果的带宽(低频带或高频带)，和作为进行垂直分析滤波 的结果的带宽(低频带或高频带)按该次序排列。此外，"L"或"H"之前 的数字指示划分级别。
这是划分级别1分析滤波，结果在Y垂直分析滤波器单元17产 生Y低频带分量(1LL)D19和高频带分量(1HH、 1LH、 1HL)D23，在 C垂直分析滤波器单元18产生C频带分量(1LL)D20和高频带分量
(1HH、 1LH、 1HL)D24。在这些分量中，只有低频带分量(1LL)按照 设置的划分级别(最终级别)被再次分析，而高频带分量不再被进一步 分析。即，低频带分量被进一步分成最终级别，从而，最终级别也可 被认为是输出最低频带的最低频带级。
在步骤S18中，Y垂直分析滤波器单元17和C垂直分析滤波器 单元18确定是否已按照设置的划分级别中的最终级别(就图1中所示 的情况来说，划分级别4)计算了分析滤波。就划分级别l来说，该流 程还没有达到最终级别，从而处理进入步骤S19。
在步骤S19中，Y垂直分析滤波器单元17和C垂直分析滤波器 单元18对外输出Y高频带分量(1HH、 1LH、 1HL)D23和C高频带分 量(1HH、 1LH、 1HL)D24(例如，输出给后面说明的图24所示的量化 单元112)。
另一方面，Y低频带分量(1LL)D19和C低频带分量(1LL)D20被 输出给交错单元19。因此，在步骤S20中，交错单元19交错Y低频 带分量(1LL)D19和C低频带分量(1LL)D20,并把交错的低频带分量 D21输入到水平分析滤波器单元20。
即，如图7中所示，Y频率分量的低频带分量(1LL)D19和C频 率分量的低频带分量(1LL)D20被交替交错和合成。注意在图7中所示 的例子中，示于底部的在Y和C的交错之后的低频带分量(1LL)的大 小被图解表示成和由虛线所示的交错之前Y或C独自的低频带分量 (1LL)的大小相同，但是实际上，其大小为Y或C独自的低频带分量 的大小的两倍。
在步骤S21中，水平分析滤波器单元20对其中Y和C被交错的 低频带分量D21进行对应划分级别(这种情况下，划分级别2)的水平 分析滤波(水平方向低频带分析滤波和高频带分析滤波)，并产生作为 水平分析滤波的结果的低频带分量和高频带分量。注意步骤S21中的 处理和前述步骤S13中的处理基本相同，唯一的区别是待处理的频率 分量的划分级别。
在步骤S21之后，流程返回步骤S14，并重复后续处理。即，在
步骤S14中，水平分析滤波器单元20把通过水平分析滤波获得的频率 分量(低频带和高频带分量)D22保存和保持在对应级别的緩沖器中(这 种情况下，2级緩冲器13)。
当通过水平分析滤波而获得的频率分量在2级緩沖器13中累积 达到预定数目的垂直行，从而能够进行垂直分析滤波时，在步骤S15 中，必需数目的垂直行的频率分量从2级緩沖器13被读出，并通过选 择器16被输入到Y垂直分析滤波器单元17和C垂直分析滤波器单元 18。在步骤S16中，对预定数目的垂直行的Y频率分量进行划分级别 2 Y垂直分析滤波，在步骤S17，对预定数目的垂直行的C频率分量 进行划分级别2 C垂直分析滤波。
作为划分级别2 Y和C垂直分析滤波的结果，对于Y和C,均 产生上低频带分量(2LL)系数和高频带分量(2HH、 2LH、 2HL)系数组 成的四个频率分量。在步骤S18，确定流程还没有达到最终级别，从 而在步骤S19中，高频带分量(2HH、 2LH、 2HL)D23被向外输出。在 步骤S20中，低频带分量(2LL)的Y和C被交错，以及在步骤S21中， 对其中Y和C已被交错的低频带分量2(LL)进行划分级别2水平分析 滤波，从而产生作为水平分析滤波的结果的低频带分量和高频带分量， 流程再次返回步骤S14，产生的低频带分量和高频带分量被存储和保 留在3级緩沖器14中，并重复后续处理，直到预置划分级别的最终级 别为止。
按照相同的方式执行上述一 系列的处理，直到预置划分级别的最 终级别(划分级别4)的Y和C垂直分析滤波为止。随后，在步骤S18 中，确定最终级别已完成，流程进入步骤S22。
在步骤S22中，Y垂直分析滤波器单元17和C垂直分析滤波器 单元18向外输出最终级别的亮度频率分量(4LL、4HL、4LH、4HH)D23 和最终级别的色差频率分量(4LL、 4HL、 4LH、 4HH)D24。从而，结 束划分级别4图像信号小波变换。
如上所述，图1中所示的小波变换设备l具有用于从级对1到预 定数目的级别的每个划分级别的緩沖器，并在进行水平分析滤波的时
候，把水平分析滤波结果保存在每个划分级别的緩冲器中。因此，能 够在从每个划分级别的緩冲器读出水平分析滤波的结果的时候，进行 垂直方向滤波。即，能够同时并行地进行水平方向和垂直方向分析滤 波。
从而，能够对于运动图像和高清晰度图像高速进行小波变换。 另外，内部存储器负责从级别l到预定级别的每个划分级别的緩
冲器，从而不需要向在日本未经审查的专利申请公开No.10-283342中 描述的方案那样配置外部存储器。
因此，不需要与外部存储器交换数据，能够以比当访问外部存储 器时更高的速度进行小波变换。从而，不需要提高时钟频率以提高外 部存储器和小波变换设备之间数据的速度，从而节省电能。
另外，对其中Y和C被交错的频率分量进行水平方向分析滤波，
从而，水平分析滤波器单元可以是单一结构，显著减小硬件的规模。 在水平方向上被交错的这种数据能够容易地呈递给寄存器或存储器，
此外，能够被高速读写，从而有助于实现更高速度的小波变换。
此外，如上参考图4和5所述，分别对Y和C，交错作为水平分 析滤波的结果的高频带分量和低频带分量，并将其保存在对应级别的 緩冲器中，Y和C被独立保存，从而在读出时，所需的只是的该级别 的緩沖器的前端开始读出，从而简化了控制。
另外，分别对Y和C独立进行垂直方向分析滤波，从而，不需 要在图8中所示的不对Y和C独立进行垂直方向分析滤波的情况下必 需的大存储容量，并且能够避免成本的显著增加。此外，也能够避免 对额外处理时间的需要。
现在，图8将被用于说明其中不对Y和C独立进行垂直方向分 析滤波，即，其中如同水平分析滤波器单元11和19一样，Y和C被 交错，随后在进行移动的同时交替进行Y和C垂直分析滤波的情况， 以便比较这样的方案与本发明的一个实施例的方案。
在图8中的例子中，表示了在该处呈递交错的Y和Cl的行緩冲 器的一个例子。如果例如图像由n行构成，那么首先在行緩沖器呈递
第一行的亮度分量Y1，随后呈递第一行的色差分量Cl，呈递第二行 的亮度分量Y2，接下来，呈递第二行的色差分量C2，呈递第三行的 亮度分量Y3，随后，呈递第三行的色差分量C3等等，直到呈递第n 行的亮度分量Yn,接下来呈递第n行的色差分量Cn为止，从而交错 的Y和C被呈递给行緩沖器。
即，在如同图1中所示的Y垂直分析滤波器单元17和C垂直分 析滤波器单元18 —样独立处理Y和C的情况下，所需的只是独立读 出Y和C，但是为了 一起处理Y和C,需要交错和呈递Y和C,需要 用于C(或用于Y)的额外行緩沖器。
另外，在累积了待执行的垂直分析滤波所需的行数(例如3行)时， 执行垂直分析滤波，从而在图8中的例子中，在实际操作中，当亮度 分量Y3(从顶部开始的第五行)被累积时，执行Y垂直分析滤波，当色 差分量C3(从顶部开始的第六行)被累积时，执行C垂直分析滤波，等 等，Y和C垂直分析滤波被交替进行。
相对，对于图1中所示的Y垂直分析滤波器单元17和C垂直分 析滤波器单元18的情况，Y和C垂直分析滤波被并行执行，从而每 单位时间的处理速率快于图8中的例子的处理速度。
如上所述，其中在交错Y和C之后进行Y和C垂直分析滤波的 方案是有利的，因为只需要一个垂直分析滤波器单元，但是与本发明 的实施例相比，这需要用于C(或者用于Y)的一个额外的行緩冲器。 如果用内置存储器配置该行緩沖器，那么对于水平分辨率高的图像(例 如，在HDTV(高清晰度电视)的情况下的1920像素)，需要极大数量 的存储器，显著增大成本。另外，在图8中所示的例子中，必须利用 单个垂直分析滤波器单元交替地处理Y和C，从而与如本发明的实施 例那样，用两个垂直分析滤波器单元进行处理(一个用于Y, —个用于 C)的情况相比，需要更多的处理时间。
从而，在交错Y和C之后进行Y和C垂直分析滤波的方案不利 之处多于有利之处。相反，在如本发明的实施例那样，用两个垂直分 析滤波器单元进行处理(一个用于Y， 一个用于C)的情况下，不需要
额外的行緩冲器，从而能够抑制成本的显著增大，另外，利用两个垂 直分析滤波器单元能够并行进行处理，从而能够加速处理时间。
如上所述，利用Y垂直分析滤波器单元17的Y垂直分析滤波和 利用C垂直分析滤波器单元18的C垂直分析滤波被并行进行，不过， 亮度分量的数据量通常大于色差分量的数据量，从而，滤波执行时间 趋向于较长，因此，即使同时开始Y垂直分析滤波和C垂直分析滤波， 它们也不会同时结束。
因此，在Y和C的垂直分析滤波结果中，高频带分量D23和D24 并不再次经受水平分析滤波，从而如图9中所示， 一个持续等待另一 个。
即，在图9中所示的例子中，在同时开始第一行的亮度分量Yl 的处理和第一行的色差分量Cl的处理之后，依次进行第二行的亮度 分量Y2的处理，第三行的亮度分量Y3的处理等，直到第n行的亮度 分量Yn的处理，从而完成Y垂直分析滤波。
另外，在第一行的色差分量C1的处理之后，开始第二行的色差 分量C2的处理，而不等待同时开始的第一行的亮度分量Yl的处理结 束，随后，在第二行的色差分量C2的处理之后，执行第三行的色差 分量C3的处理等等，直到第n行的色差分量Cn的处理，从而，C垂 直分析滤波结束于Y垂直分析滤波结果之前。
另一方面，对于Y和C垂直分析滤波结果，低频带分量D19和 D20随后需要在交错单元19被交错，从而，需要匹配这两者数据的输 出定时，如图10中所示。
即，在图10中所示的例子中，如同图9中所示例子一样，在同 时开始第一行的亮度分量Yl的处理和第一行的色差分量C1的处理之 后，依次执行第二行的亮度分量Y2的处理，第三行亮度分量Y3的处 理等等，直到第n行的亮度分量Yn的处理，从而完成Y垂直分析滤 波。
相反，第二行的色差分量C2的处理不是在第一行的色差分量Cl 的处理之后立即执行，而是在等候和第一行的色差分量Cl的处理同
时开始的第一行的亮度分量Yl的处理结束之后才执行。第三行的色 差分量C3的处理不是在第二行的色差分量C2的处理之后立即执行， 而是在等候和第二行的色差分量C2的处理同时开始的第二行的亮度 分量Y2的处理结束之后才执行。最后，第n行的色差分量Cn的处理 不是在第n-l行的色差分量C n-l的处理之后立即执行，而是在等候 和第n-l行的色差分量C n-l的处理同时开始的第n-l行的亮度分量Y n-l的处理结束之后才执行。
如上所述，为了独立地(并行地)进行Y和C的垂直方向分析滤波， 需要匹配作为Y和C的结果获得的低频带分量的输出时间。从而，可 使上面参考图7说明的Y和C低频带分量的交错平滑地进行。
下面详细说明上述分析滤波中的计算方法。分析滤波计算方法中 的最常见计算方法是称为巻积计算的方法。通过对滤波器抽头系数的 实际输入数据进行巻积乘，该巻积计算是实现数字滤波器的最基本方 式。但是，对于巻积计算来说，如果抽头长度较大，那么存在其中计 算负载相应增大的情况。
在论文"W. Swelden, The lifting scheme: A custom-design construction of biorthogonal wavelets', Appl. Comput. Harmon. AnaL Vol 3， No. 2， pp. 186-200， 1996，，中介绍的小波变换提升是一种处理这 种情况的已知技术。
图11图解说明和JPEG(联合图像专家组)2000标准一起使用的 5x3分析滤波器的提升方案。将说明在对该5x3分析滤波器应用提升 技术的情况下的分析提升。
在图11中所示的例子中，顶层、中间层和底层分别表示输入图 像、高频带分量输出和低频带分量输出的一个像素行。顶层并不局限 于输入图像的一个像素行，可以是从先前的分析滤波获得的系数(频率 分量)。这里注意，顶层是输入图像的一个像素行，实心方块表示偶数 像素或偶数行，实心圆表示奇数像素或奇数行。
在第一阶段，根据输入的像素行产生高频带分量系数，如下,的 表达式(l)中所示。
系数d卩-di。-l/2(SiO + Sw0) ".(l)
随后，作为第二阶段，利用产生的高频带分量系数和输入像素行 的奇数像素，产生低频带分量系数，如下面的表达式(2)中所示。 系数s卩=Si0 + 1/4(dw1 + d卩)…(2)
从而，对于分析滤波，首先产生高频带分量系数，之后产生低频 带分量系数。从表达式(1)和(2)可看出，仅仅利用加法计算和移位计算 就能够实现此时使用的两种类型的滤波器组。另外，对于Z变换表达 式，滤波器的抽头不超过2个，如下面的表达式(3)中所示。换句话说， 两个抽头能够满足需要五个抽头的情况的需要，因此，能够显著减少 计算量。从而，这种提升技术也将被应用于关于小波变换设备l的水 平分析滤波和垂直分析滤波。
P(z) = (1 + z")/2， U(z) = (1 + z")/4…(3)
现在，虽然上面利用普通的图像信号说明了小波变换设备l的结
构和操作；不过，下面将说明其中视频信号(所述视频信号是运动图像) 被输入小波变换设备1的情况。
视频信号通常由标准规定，在日本、美国和几个其它国家中常用
的电视广播信号是NTSC(国家电视标准委员会)信号。另外，HDTV 信号按照USA标准化组织SMPTE(电影和电视工程师学会)的称为 SMPTE274M的标准被标准化。下面将关于HDTV信号(分辨率 1920xl080)进行说明。
图12图解说明HDTV视频信号数据的分量。在该视频信号中， 亮度分量Y的实际样本数据的数目是1920样本/行，同时EAV(有效 视频的结束)、SAV(有效视频的开始)的样本数据被置于Y实际样本数 据之前。这些由总共280个样本构成。对于色差分量Cb和Cr来说， 配置也是一样，不过格式为4: 2: 2， Cb和Cr的实际样本数据的数 目均为Y的一半，从而，Cb和Cr的总数和Y的数目一样。
多路复用Y和Cb、 Cr对于EAV和SAV来说，产生总共560 个样本的数据，对于Y、 Cb和Cr来说，产生总共3840个样本。从 而，HDTV SMPTE274M标准(通常称为"HD-SDI(高清晰度串行数据
接口)标准")视频信号已使Y和C被交错。因此，这种多路复用的样 本数据等同于在图1中的例子中所示的图像信号D12。即，图像信号 D12被输入到图1中所示的交错单元IO，并且如上关于图2中的步骤 Sll所述那样，图像信号D12无变化地被输入水平分析滤波器单元11。 下面将假定这种情形进行说明。
如果视频信号作为图像信号被输入小波变换设备1，那么以每秒 输入60场(field)，或者1/60秒输入每个画面的形式输入视频信号，从 而前面参考图2说明的小波变换处理必须在该短时间内完成。即，必 须高速完成小波变换。
处理这种要求的一种方式是在水平分析滤波器单元11输入视频 信号(图像信号D12)，在水平方向上的列数(样本数)达到预定数目时， 立即执行水平方向低频带分析滤波和高频带分析滤波。注意虽然图13 中所示的例子是关于亮度信号Y的情况，不过色差信号C也可按照相 同的方式处理。此外，尽管说明将被省略，不过这同样适用于水平分 析滤波器单元20。
例如，水平分析滤波器单元11等待，直到在内部存储器输入和 呈递其中Y和C已被交错的2M列图像信号D12为止。M的值对应 于用于水平分析滤波的抽头的数目，因此抽头的数目越大，则M的值 越大。注意图像信号D12使Y和C被交错，从而等候两倍于列数M 的存储。
当在内置存储器中累积了 M列的Y信号时，水平分析滤波器单 元11立即进行水平分析滤波。即，水平分析滤波器单元ll从内置存 储器顺序读出M列(例如就图3来说，]\1=3)的Y，并进行Y水平方向 低频带分析滤波和高频带分析滤波。作为水平分析滤波的结果的Y低 频带分量和高频带分量被交错，并被保存在1级緩冲器12中。当行数 达到N行时，保存在1级緩沖器12中的Y低频带分量和高频带分量 被读出并被输入到Y垂直分析滤波器单元17。
在累积了N行(例如，就图4来说，N-3)的Y低频带分量，高频 带分量时，Y垂直分析滤波器单元17立即进行垂直方向低频带务析滤
波和高频带分析滤波。n的值对应于用于垂直分析滤波的抽头的数目， 因此抽头的数目越大，则n的值越大。如图13和14中所示，作为垂 直分析滤波的结果，这种y垂直分析滤波产生低频带分量(1ll)d19 和高频带分量(1hl、 1lh、 1hh)d23。
现在，尽管说明将被省略，不过在y水平分析滤波之后，按照和 y水平分析滤波相同的方式，在移动位置的时候，水平分析滤波器单 元11进行c水平分析滤波，并且并行于y垂直分析滤波器单元17的 处理，c垂直分析滤波器单元18按照和y垂直分析滤波相同的方式 对水平分析滤波的结果进行c垂直分析滤波，从而产生作为c垂直分 析滤波结果的低频带分量(1ll)d20和高频带分量(1hl、 1lh、 1hh)d24。
在垂直分析滤波之后，y低频带分量d19和c低频带分量d20 在交错单元19被交错，并且当在交错单元19的存储器中累积了和启 动其中y和c已被交错的低频带分量d21的水平方向分析滤波所必 需的列数一样多的列数时，水平分析滤波器单元20立即进行划分级别 2水平分析滤波。按照这种方式重复分析低频带分量的原因在于图像 信号的更大部分能量集中在低频带分量中。
水平分析滤波器单元20依次从内部存储器读出m列，并进行y 水平方向低频带分析滤波和高频带分析滤波，作为划分级别2水平分 析滤波。作为水平分析滤波的结果的y低频带分量和高频带分量被交 错，并被保存在2级緩沖器13中。这也适用于c，因此这里将不再赘 述。
如图14中所示，当在2级緩冲器13中累积了 n/2行的低频带和 高频带分量时，垂直分析滤波器单元18立即进行y垂直方向低频带 分量滤波和高频带分析滤波。如图15中所示，所述垂直滤波产生低频 带分量(2ll)和高频带分量(2hl、 2lh、 2hh)。即，在图15中所示的 例子中，划分级别1的频率分量1ll^皮分成四个频率分量2ll、2hl、 2lh和2hh。
如上所述，在随后输入视频信号到视频信号的一个画面的结束的
时候，重复执行在预定划分级别以前被重复执行的小波变换，从而一 个图像经受到预定划分级别的频带划分。
如果进一步增大划分级别的数目，那么可对低频带分量反复进行
分析滤波。图16是图解说明其中实际图像已由分析滤波分成划分级别 3的例子的示图，其中N=4。
即，对于该图像，在划分级别l垂直分析滤波中， 一旦累积了四 行量值的频率分量，就进行垂直分析滤波；在划分级别2垂直分析滤
波中， 一旦累积了两行量值的频率分量，就进行垂直分析滤波；在划
分级别3垂直分析滤波中， 一旦累积了一行量值的频率分量，就进行
垂直分析滤波；从而可明白划分已进行到划分级别3。
如上所述， 一旦累积了预定列数或预定行数的频率分量，就进行 分析滤波，从而能够有效地进行一个图像量值的视频画面的分析滤波。 即，能够高速进行小波变换。
另外，对于整个屏幕的所有行，分阶段地多次进行获得至少一行 的低频带分量的系数数据的分析滤波使得能够在一个系统中以很小的
延迟获得解码图像，在所述系统中，例如，如后参考图28所述，小波 变换后的频率分量被编码和传送，以及被解码。
另外，以构成视频信号的多个画面(场或帧)为增量进行如上所述 的对视频信号进行的分析滤波，从而需要检测画面的结束，并且停止 和重置分析滤波操作。这种情况下，虽然附图中的图解说明将被省略， 不过小波变换设备l被构成为具有例如提供给交错单元10的内置的用 于检测视频信号中的垂直同步信号的垂直同步信号检测单元。
图17是SMPTE274M标准交错信号的信号分布图。上半部表示 第一场，下半部表示第二场。在第一场的前面有22行量值的垂直同步 信号，在第二场的前面有23行量值的垂直同步信号。
因此，小波变换设备1具有例如内置在交错单元10中用于检测 视频信号中的垂直同步信号的垂直同步信号检测单元，并且利用该内 置的垂直同步信号检测单元检测垂直同步信号。
从而，能够容易地检测画面的结束，并且依据所述检测，、能够停
止分析滤波操作。即，能够以构成视频信号的多个画面(场或帧)为增 量对视频信号进行分析滤波。
图18是图解说明对应于图1中所示的小波变换设备的小波逆变 换设备的一个实施例的结构例子的示图。小波逆变换设备51是频带合 成设备，它获得由经受图1中所示的小波变换设备l的小波变换并被 分成预定级别(在图18中所示的情况下，划分级别4)的图4象信号获得 的频率分量。当然，如果小波变换划分级别的数目的不同，那么对应 于划分强加的数目进行逆变换。
图18中所示的小波逆变换设备51由3级緩冲器61、 2级緩冲器 62、 l级緩冲器63、选择器64、垂直合成滤波器单元65、水平合成滤 波器单元66、选择器67和控制单元68构成。即，小波逆变换设备51 具有用于除最低的频带级别(划分级别4)外的每个级别的独立緩沖器 (3级緩冲器61 ~ 1级緩冲器63)。
划分级别4频率分量(4LH、 4HH)D61和划分级别4频率分量 (4LL、 4HL)D62从未示出的外部来源(例如，从将在后面说明的图28 中所示的数字解码单元313)被输入选择器64。划分级别3频率分量 (3LH、 3HH)D63和划分级别3频率分量(3HL)D64被输入到3级緩沖 器61。划分级别2频率分量(2LH、 2HH)D65和划分级别2频率分量 (2HL)D66被输入到2级緩冲器62。划分级别1频率分量(1LH、 1HH)D67和划分级别1频率分量(1HL)D68被输入到1级緩沖器63。
3级緩沖器61保存和保持通过对划分级别4的垂直合成滤波结果 进行的水平合成滤波而获得的划分级别3低频带分量的系数 (3LL)D80，和从外部获得的划分级别3频率分量(3LH、 3HH)D63和 划分级别3频率分量(3HL)D63。划分级别3低频带分量系数(3LL)D80 和划分级别3频率分量(3HL)D64在3级緩冲器61被结合，并作为划 分级别3频率分量(3LL、 3HL)D70从3级緩沖器61输出，同时划分 级别3频率分量(3LH、 3HH)D63作为划分级别3频率分量(3LH、 3HH)D69无变化地从3级緩冲器61输出。
2级緩冲器62保存和保持通过对划分级别3的垂直合成滤波结果
进行的水平合成滤波而获得的划分级别2低频带分量(2LL)D80，和从 外部获得的划分级别2频率分量(2LH、 2HH)D65和划分级别2频率 分量(2HL)D66。划分级别2低频带分量(2LL)D80和频率分量 (2HL)D66在2级緩冲器62被结合，并作为划分级别2频率分量(2LL、 2HL)D72从2级緩沖器62输出，同时划分级别2频率分量(2LH、 2HH)D65作为划分级别2频率分量(2LH、 2HH)D71无变化地从2级 緩冲器62输出。
1级緩冲器63保存和保持通过对划分级别2的垂直合成滤波结果 进行的水平合成滤波而获得的划分级别1低频带分量(1LL)D80，和从 外部获得的划分级别1频率分量(1LH、 1HH)D67和划分级别1频率 分量(1HL)D68。划分级别1低频带分量(1LL)D80和频率分量 (1HL)D68在1级緩冲器63被结合，并作为划分级别1频率分量(1LL、 1HL)D74从1级緩冲器63输出，同时划分级别1频率分量(1LH、 1HH)D67作为划分级别1频率分量(1LH、 1HH)D73无变化地从1级 緩冲器63输出。
在垂直合成滤波器单元65的控制下，选择器64从外部来源和从 3级緩沖器61 ~ 1级緩冲器63中选择所述外部来源或者对应的划分级 别緩沖器的输出，并把选择的输出作为频率分量(LH、 HH)D75和频 率分量(LL、 HL)D76输出给垂直分析滤波器单元65。
垂直合成滤波器单元65参考在共同具有水平方向频带L的频率 分量LL和频率分量LH中的相同位置的系数，收集垂直方向上的预 定数目(借助其能够执行垂直合成滤波的数目)，并进行垂直合成滤波。 按照相同的方式，垂直合成滤波器单元65参考在共同具有水平方向频 带H的频率分量HL和频率分量HH两者中的相同位置的系数，收集 垂直方向上的预定数目(借助其能够执行垂直合成滤波的数目)，并进 行垂直合成滤波。通过垂直合成滤波产生的水平方向低频带(L)分量 D77和水平方向高频带(H)分量D78被输出给水平合成滤波器单元66。
水平合成滤波器单元66参考在水平方向低频带(L)分量和水 平方向高频带(H)分量D78中的相同位置的系数，收集水平方向上的
预定数目(借助其能够执行水平合成滤波的数目)，并进行水平合成滤 波。从而，按照从图像的顶行开始的顺序产生低频带分量，产生的低
频带分量(或图像)D79被输出给选择器67。
在控制单元68的控制下，如果进入下一划分级别，那么选择器 67把低频带分量D80输出给和所述下一划分级别对应的级别的緩冲 器一方，以便保存在和所述下一划分级别对应的级别的緩冲器中，如 果到小波变换中的初始划分级别(即，划分级别l)为止，都已结束了小 波逆变换，那么向外输出基带图像D81。
控制单元68由包括例如CPU、 ROM和RAM的微计算机等构 成，并通过执行各种程序，控制小波逆变换设备51的各个单元的处理。
注意虽然图1中所示的小波变换设备1在Y和C被交错的情况 下进行水平分析滤波，不过图18中所示的小波逆变换设备51在Y和 C被完全分离的情况下进行处理。即，小波逆变换设备51实际上具有 分别用于Y和C的两个独立的图18中所示的结构。
小波逆变换设备51不像小波变换设备1那样交错Y和C的原因 在于首先进行垂直分析滤波，之后进行水平分析滤波。即，如上参考 图8所述，垂直分析滤波需要额外的行緩冲器，另外花费更多的处理 时间。
下面将参考图19中的流程图，说明图18中所示的小波逆变换 设备51的操作。即，图19图解说明由小波逆变换设备51执行的小波 逆变换处理，其中按照从分辨率最低的低频带分量到高频带分量的顺 序执行小波逆变换处理。就划分级别来说，按照级别4、级别3、级别 2和级别1的顺序执行小波逆变换处理。注意在图19中，是在未指定 Y或C的情况下进行所述说明的，不过实际上，独立并且并行地对Y 和C进行图19的处理。
在步骤S61中，选择器64外部输入划分级别4频率分量(4LH、 4HH)D61和划分级别4频率分量(4LL、 4HL)D62。随后在垂直分析滤 波器单元65的控制下，选择器64选择来自该外部来源的输出，并把 选择的输出(划分级别4频率分量(4LH、 4HH)D61和划分级别、频率
分量(4LL、 4HL)D62)输出给垂直分析滤波器单元65，作为频率分量 (4LH、 4HH)D75和频率分量(4LL、 4HL)D76。
在步骤S62中，垂直合成滤波器单元65对频率分量(4LH、 4HH)D75和频率分量(4LL、 4HL)D76执行划分级别4垂直合成滤波。
即，如图20中所示，垂直合成滤波器单元65参考在具有水平方 向频带L和垂直方向频带L的频率分量4LL，和具有水平方向频带L 和垂直方向频带H的频率分量4LH两者(两者都具有水平方向频带L) 的相同位置的系数(由图中的圆指示)，收集垂直方向上的预定数目， 从而能够进行垂直合成滤波(就图20来说，所述数目为六)，并进行垂 直合成滤波。
另外，垂直合成滤波器单元65参考在具有水平方向频带H和垂 直方向频带L的频率分量4HL，和具有水平方向频带H和垂直方向 频带H的频率分量4HH两者(两者都具有水平方向频带H)的相同位置 的系数(由图中的圆指示)，收集垂直方向上的预定数目，从而能够进 行垂直合成滤波(就图20来说，所述数目为六)，并进行垂直合成滤波。
在图20中所示的例子中，图解说明其中利用频率分量4LL的三 个系数和频率分量4HL的在与频率分量4LL的三个系数相同位置的 三个系数进行垂直合成滤波的例子，和其中利用频率分量4HL的三个 系数和在与频率分量4HL相同位置的频率分量4HH的三个系数进行 垂直合成滤波的例子。
从而，水平方向低频带(L)分量D77和水平方向高频带(H)分量 D78被产生，并被输出给水平合成滤波器单元66。
在步骤S63中，水平合成滤波器单元66对水平方向低频带(L)分 量D77和水平方向高频带(H)分量D78进行划分级别4水平合成滤波。
即，如图21中所示，水平合成滤波器单元66参考在水平方向 低频带(L)分量D77和水平方向高频带(H)分量D78的相位位置的系数 (由图中的圆指示)，收集水平方向上的预定数目，从而能够进行水平 合成滤波(就图21的情况来说，所述数目为六)，并进行水平合^滤波。
在图21中所示的例子中，图解说明了其中利用三个低频'带分量
系数和高频带分量中位于与三个低频带分量系数相同位置的三个系 数，进行水平合成滤波的例子。
从而，如图22中所示，从图像的顶部开始顺序产生一行低频带 分量，从而产生划分级别3低频带分量(3LL)D79,输出给选择器67。 即，图22中的例子表示通过产生低频带分量行，以致按照从图像的顶 行开始的顺序产生第一行的低频带分量而获得的每个级别的基带图像 或低频带分量。
在步骤S64，控制单元68确定小波逆变换是否已进入划分级别1 ， 它是小波变换的初始级别(换句话说，小波逆变换的最终级别)，如果 确定划分级别l没有结束，那么处理进入步骤S65。
在步骤S65,控制单元68控制选择器67，以便选择给3级緩沖 器61的输出，并把通过水平合成滤波而获得的划分级别3低频带分量 (3LL)D80保存在对应级别的緩沖器中(这种情况下，3级緩冲器61)。
在步骤S66中，控制单元68把来自外部来源的划分级别3频率 分量(3LH、 3HH)D63和划分级别3频率分量(3HL)D64传送给3级緩 冲器61，以便被保存。
在步骤S67中，垂直分析滤波器单元65控制选择器64，以便选 择来自3级緩沖器61的输出，从而从3级緩沖器61读出频率分量， 并且已经读出的频率分量作为频率分量(3LH、 3HH)D75和频率分量 (3LL、 3HL)D76被输出给垂直分析滤波器单元65。
即，在3级緩冲器61,划分级别3低频带分量(3LL)D80和划分 级别3频率分量(3HL)被结合，并作为划分级别3频率分量(3LL、 3HL)D70从3级緩冲器61输出，划分级别3频率分量(3LH、3HH)D63 作为划分级别3频率分量(3LH、 3HH)D69无变化地从3级緩冲器61 输出。因此，划分级别3频率分量(3LL、 3HL)D70和划分级别3频率 分量(3LH、 3HH)D69分别作为频率分量(3LH、 3HH)D75和频率分量 (3LL、 3HL)D76被输出给垂直分析滤波器单元65。
随后，处理返回步骤S62，并重复后续处理。即，在步骤S62， 进行划分级别3垂直合成滤波，在步骤S63，进行划分级别3水平合
成滤波，产生划分级别2低频带分量(2LL)。
这种情况下，在步骤S64中，确定划分级别l还没有结束，从而 通过水平分析滤波而获得的划分级别2低频带分量(2LL)D80被保存 在对应级别的緩沖器中(这种情况下，2级緩冲器62)。按照相同的方 式，来自外部来源的划分级别2频率分量(2LH、 2HH)D65和划分级 别2频率分量(2HL)D66被传送给3级緩冲器61。
此时，按照和3级緩冲器61的情况相同的方式，在2级緩冲器 62,划分级别2低频带分量(2LL)D80和划分级别2频率分量(2HL)D64 被结合，并作为划分级别2频率分量(2LL、 2HL)D70从2级緩冲器 62输出，而划分级别2频率分量(2LH、 2HH)D63作为划分级别2频 率分量(2LH、 2HH)D69无变化地从2级緩冲器62输出。
进行上面的一系列处理，直到划分级别1频率分量被保存在1级 緩沖器63中并被读出。随后，在步骤S62中，进行划分级别l垂直合 成滤波，并在步骤S63，进行划分级别1水平合成滤波。从而，产生 其中合成滤波已结束于划分级别1的基带图像，以及在步骤S64中， 确定划分级别1已结束，从而流程进入步骤S68，在步骤S68中，来 自水平合成滤波器单元66的基带图像D81通过选择器67被向外输出 (例如，输出给后面说明的图26中所示的逆量化单元162)。
如上所述，图18中所示的小波逆变换设备51也被构成为能够用 内部存储器负责除最低频带级别之外的每个划分级别的緩冲器，从而
在进行水平合成滤波的时候，水平合成滤波结果可被保存在每个划分 级别的緩冲器中。因此，在从每个划分级别的緩沖器读出水平合成滤 波的结果的时候，能够进行垂直合成滤波。即，能够同时并行地进行 水平方向和垂直方向滤波。
从而，也能够对运动图像和高分辨率图像高速地进行小波变换。 另外，内部存储器负责除最低的频带级别之外的每个划分级别的 緩冲器，从而不需要如同已知方案那样配置外部存储器。
因此，不需要与外部存储器交换数据，能够高速地进行小波逆变 换。从而，不需要升高时钟频率来提高外部存储器和小波逆变换设备
之间数据的速度，从而节省电能。
此外，对于小波逆变换设备，Y和C被完全独立地处理，因为在 水平合成滤波之前进行垂直合成滤波，因此如上参考图8所述，避免 了在垂直合成滤波时对额外的行緩沖器的需要，另外能够抑制过多的 处理时间。
虽然上面对于小波变换设备的情况，参考图ll进行了说明，不 过通过利用提升技术，能够对分析滤波进行有效的滤波。因此，提升 技术也可类似地和用于小波逆变换的合成滤波一起使用。
图23图解说明了和JPEG(联合图像专家组)2000 —起4吏用的5x3 分析滤波器的提升方案。下面将说明把提升技术应用于该5x3分析滤 波器的情况下的合成提升。
在图23中所示的例子中，顶部表示小波变换产生的系数，实心 圆表示高频带分量系数，实心方块表示低频带分量系数。
作为第一阶段，根据输入的低频带分量和高频带分量系数产生偶 数(从0开始)系数，如下面的等式(4)中所示。 偶数系数Sj0 = s卩-1/4(di./+ d/)…(4)
随后，作为第二阶段，根据在第一阶段产生的偶数系数和输入的 高频带分量系数，产生奇数(从0开始)系数，如下面的等式(5)中所示。 奇数系数di0 = d卩+ 1/2(Si0 + is+10) ".(5)
从而，对于合成滤波，首先产生偶数系数，随后产生奇数系数。 按照和上面关于图11所述相同的方式，用于合成滤波的这两种滤波器 组具有两个抽头，这远远少于原先所需的五个抽头，从而显著减少计 算量。
另外，虽然关于对视频信号(它是运动图像)进行小波变换的例子， 参考图12-16进行了上面的说明，不过在以构成视频信号的多个画面 为增量进行小波变换产生(划分)的频率分量系数的小波逆变换的情况 下，还需要高速地进行小波逆变换。
因此，和小波变换设备l中的Y垂直分析滤波器单元17和C垂 直分析滤波器单元18的情况一样，当在垂直方向上累积了预定数艮的
频率分量系数(即，和执行垂直合成滤波所必需的数目 一样多的数目)
的时候，小波逆变换设备51的垂直合成滤波器单元65还立即执行垂 直方向合成滤波。
此外，和小波变换设备1中的水平分析滤波器单元11的情况一 样，当在水平方向上累积了预定数目的频率分量系数(即，和执行水平 合成滤波所必需的数目一样多的数目)的时候，小波逆变换设备51的 水平合成滤波器单元66还立即执行水平方向合成滤波。
如上所述， 一旦在垂直方向上和在水平方向上累积了预定数目的 频率分量系数，就进行合成滤波，从而能够有效地进行一个画面的视 频信号的合成滤波。即，能够高速进行小波逆变换。
此外，上面参考图17说明了其中如果用图1中所示的小波变换 设备1进行视频信号(它们是运动图像)的小波变换，那么通过具有检 测视频信号的垂直合成信号的方案，检测画面的结束的情况。
如果如图17中所示检测画面的结束，并以构成视频信号的多个 画面为增量进行小波变换产生的频率分量的小波逆变换，那么在小波 逆变换设备51的选择器67的下游提供图中未示出的一种安排，作为 在小波逆变换产生的图像信号(即，上面所述的基带图像D81)之后插 入视频垂直同步信号的垂直同步信号插入部分。
即，在小波逆变换设备51的选择器67的下游设置垂直同步信号 插入部分，以便在图像信号之后，例如在来自选择器67的基带图像 D81之后插入视频垂直同步信号，产生的视频信号被向外输出。
从而，不断对后续图像插入视频垂直同步信号使得能够顺序地输 出产生的视频信号。因此，能够再现运动图像。
如上所述，对于本发明的一个实施例的小波变换设备，为从级别 1到预定数目的级别的每个划分级别提供緩冲器，并且在进行水平分 析滤波的时候，水平分析滤波结果被保存在每个划分级别緩沖器中， 从而在从每个划分级别的緩沖器读出水平分析滤波的结果的时候，能 够进行垂直方向滤波。即，能够同时并行地进行水平方向和垂阜方向 滤波。从而，对于运动图像和高分辨率的图像，也能够高速地4行小
波变换。
另外，内部存储器负责从级别l到预定数目的级别的每个划分级 别的緩冲器，从而不需要与外部存储器交换数据，并且能够高速地进 行小波变换。从而，不需要升高时钟频率来增大外部存储器和小波逆 变换设备之间数据的速度，从而节省电能。
另外，对其中Y和C已被交错的频率分量进行水平分析滤波， 从而，可产生只具有一个水平分析滤波器单元的结构，这显著减小硬 件的规模。
此外，对于每个Y和C，作为水平分析滤波的结果的高频带分量 和低频带分量被交错，并被保存在对应级别的緩冲器中，Y和C被独 立保存，从而在读出时，所需的只是从该级别的緩沖器的前端开始读 出，从而简化控制。
另外，对于Y和C独立地进行垂直方向分析滤波，从而不需要 例如在不对Y和C独立进行垂直方向分析滤波的情况下所必需的大存 储容量，并且能够避免成本的显著增大。此外，也能够避免对额外处 理时间的需要。
另一方面，对于本发明的一个实施例的小波逆变换设备，为除了 最低级别之外的每个划分级别提供緩冲器，在进行水平合成滤波的时 候，水平合成滤波结果被保存在每个划分级别緩冲器中，从而，在从 每个划分级别的緩冲器读出水平合成滤波的结果的时候，能够执行垂 直方向滤波。即，能够同时并行地进行水平方向和垂直方向滤波。从 而，也能够高速地对运动图像和高分辨率图像进行小波变换。
另外，内部存储器负责用于除最低频带级别之外的每个划分级别 的緩沖器，从而不需要配置外部存储器，并且不需要与外部存储器交 换数据，并且能够高速进行小波逆变换。从而，不需要升高时钟频率 来增大外部存储器和小波逆变换设备之间数据的速度，从而节省电能。
另外，不同于小波变换，在不交错Y和C的情况下完全独立地 处理Y和C,从而避免在垂直合成滤波时C所必需的额外存储器，另 外能够抑制额外的处理时间。
此外，对于根据本发明的 一个实施例的小波变换设备和小波逆变 换设备， 一旦累积了预定数目的频率分量系数，就进行分析滤波和合 成滤波，从而能够有效地进行分析滤波和合成滤波。即，能够高速地
进行小波变换和小波逆变换，以便能够处理以每秒60场的速度输入的 视频信号(它是以1/60秒输入的每个画面)的小波变换和小波逆变换。
从而，在后面说明的包括利用小波变换的编码处理和利用小波逆 变换的解码处理的传输系统中能够实现每行的并行处理，从而以很小 的延迟获得解码图像。
另外，向根据本发明的一个实施例的小波变换设备提供垂直同步 信号检测装置，向根据本发明的一个实施例的小波逆变换设备提供垂 直同步信号插入装置，从而能够以构成视频信号的多个画面(场或帧) 为增量对视频信号进行分析滤波。
如上所述的本发明的实施例与进行图像或视频信号的小波变换 的设备或方法相关，还与执行小波逆变换的设备或方法相关，在所述 小波逆变换中，执行带分信息的合成滤波，从而恢复图像或视频信号。 对于这样的设备或方法可以设想各种应用。
即，上面说明了进行视频信号的图像的小波变换，从而把图像信 号和视频信号分成多个频率分量的小波变换设备1，以及进行小波变 换设备1产生的频率分量的小波逆变换的小波逆变换设备51，不过小 波变换被广泛用作图像压缩的预处理。因此，现在将说明进行小波变 换产生的频率分量(下面也称为"系数数据")的压缩编码的图像编码设 备，和对经历图像编码设备的压缩编码的系数数据解码的图像解码设备。
图24是图解说明根据应用了本发明的一个实施例的图像编码设 备的一个实施例的结构例子的示图。就该图像编码设备来说，以压缩 的预处理的形式执行根据本发明的一个实施例的小波变换。
在图24中所示的例子中，图像编码设备101由小波变换单元111、 量化单元112、熵编码单元113和比率控制单元114。
小波变换单元lll基本上按照和图1中所示的小波变换设备l相
同的方式构成。即，小波变换设备lll具有用于每个划分级别的独立
緩冲器(l级緩沖器12 ~ 4级緩沖器15)，其中当输入视频信号D110(等 同于其中Y和C被交错的图像信号D12)被累积到预定列数时，立即 对视频信号D110进行水平分析滤波，并且通过水平分析滤波获得的 系数数据(频率分量)被保存在对应于每个级别的緩冲器中。当通过水 平分析滤波获得的系数数据在对应于每个级别的緩沖器中累积到预定 行数时，分别关于Y和C对系数数据进行垂直分析滤波，重复所述垂 直分析滤波，直到预定的划分级别，分析后的系数数据Dili被提供 给量化单元112。
例如，对于划分级别2分析滤波，如图16中所示，执行由划分 级别l分析滤波产生的四行的1LL的小波变换，从而产生两行的2LL、 2HL、 2LH和2HH。在划分级别3分析滤波，两行的2LL经历小波 变换，从而产生一行的3LL、 3HL、 3LH和3HH。如果划分级别3 是最终的分析滤波，那么3LL是最低的频带。
注意如上参考图17所述，当输入视频信号时，在对每个画面进 行小波变换的情况下，在视频信号中检测到垂直同步信号(即，画面末 端)会在画面的末端停止分析滤波操作。
例如通过除以量化步长，量化单元112量化小波变换单元111产 生的系数数据Dlll，从而产生量化的系数数据D112。
此时，量化单元112把由产生的一行量值最低频带频率分量(就 图16来说，3LL)和用于产生所述一行所需的多行其它频率分量构成 的增量作为一个行块，并且能够为每个这样的行块设置量化步长。该 行块全面包括某一图像区域的所有频率分量(就图16来说，IO个频率 分量3LL 1HH)的系数，从而，对每个行块进行量化使得能够利用小 波变换的特征(这是多样分辨率分析的优点)。另外，对于整个屏幕， 只需要确定行块的数目，减小了图像编码设备101的负栽。
此外，图像信号的能量一般集中在低频带分量，另外，对人类视 觉感知来说，低频带分量的劣化往往更明显，从而量化能够被齐利地 加权，以致低频带分量子带的量化步长最终较小。这种加权把相当大
量的信息拨给低频带分量，从而改善了图像质量的总体印象。
熵编码单元113对在量化单元112产生的量化系数数据D112进 行源编码，从而产生压缩的编码码流数据D113。对于源编码，可以使 用和JPEG或MPEG(运动图像专家组)一起使用的哈夫曼(Huffman ) 编码，或者甚至使用和JPEG 2000 —起使用的效率更高的算术编码。
现在，应用熵编码的范围的系数是一种极其重要的问题，直接与 压缩效率相关。例如，对于JPEG和MPEG方法，对8x8的块进行 DCT(离散余弦变换)，对产生的64个DCT系数进行哈夫曼编码，从 而压缩信息。即，64个DCT系数是熵编码的范围。
对于小波变换单元lll，不同于对8x8的块进行的DCT，以行为 增量进行小波变换，从而在熵编码单元113，对每个频带并且对每个 频带内的每个P行独立地进行源编码。
对于P来说，最小为一行，但是行数越小，所需的参考信息越少， 意味着存储容量可被减少这么多。相反，存在的行数越多，那么相应 地存在更多的信息量，从而能够提高编码效率。但是，如果P超过频 带内行块的行数，那么这将需要下一行块的行。因此，处理将等待将 由小波变换和量化产生的该行块的量化系数数据，这种等待时间将变 成延迟时间。
因此，如果希望减小延迟时间，那么需要把P保持在行块的行数 之内。例如，就图16中所示的情况来说，对于频带3LL、 3HL、 3LH 和3LL,行块的行数为1，从而P-1。另外，对于子带2HL、 2LH和 2HH，行块的行数为2，从而P-1或2。
比率控制单元114进行最终匹配目标比特率或压缩率的控制，并 向外输出比率控制后的编码码流D114。例如，比率控制单元114把控 制信号D115传送给量化单元112，以便在升高比特率的情况下减小量 化步长，在降低比特率的情况下增大量化步长。
下面参考图25中所示的流程图，说明图24中所示的图像编码设 备101的图像编码处理。
视频信号D110从外部(例如从后面说明的图28中所示的摄像机
单元303)输入小波变换单元111。在步骤S111中，小波变换单元lll 对图像信号D110进行小波变换处理。注意，该小波变换处理是以行 为增量，对形成视频信号D110的每个画面(从所述画面检测垂直同步 信号)进行的处理，但是该处理通常和上面参考图2所述的小波变换处 理相同，因此不再赘述。
对于步骤Slll的小波变换处理，当输入的视频信号D110(等同 于其中Y和C已被交错的图像信号D12)被累积到预定列数时，立即 对视频信号D110进行水平分析滤波，并且通过水平分析滤波获得的 系数数据(频率分量)被保存在对应于每个级别的緩沖器中。当通过水 平分析滤波而获得的系数数据被累积到对应于每个级别的緩沖器的预 定行数时，立即关于系数数据分别对Y和C进行垂直分析滤波，重复 所述垂直分析滤波直到预定的划分级别，分析后的系数数据Dili被 提供给量化单元112。
即，如上参考图13-16所述，小波变换单元lll对整个屏幕的所 有行，分阶段地多次进行小波处理，从而能够获得一行最低频带的系 数数据。
在步骤S112,通过除以量化步长，量化单元112量化由小波变 换单元lll产生的系数数据Dlll，从而产生量化的系数数据D112。
此时，量化单元112把由产生的一行量值最低频带频率分量(就 图16来说，3LL)和用于产生所述一行所需的多行其它频率分量构成 的增量作为一个行块，并且为每个这样的行块设置量化步长。即，当 累积了预定行数时，量化单元112还立即对每个行块进行量化。
在步骤S113,熵编码单元113进行在量化单元112产生的量化 系数数据D112的熵编码(源编码)，并产生压缩的编码码流D113。
现在，在小波变换单元lll，以行为增量进行小波变换，从而熵 编码单元113也对每个频带和每个频带内的每个P行独立地进行源编 码。即，当累积了 P行(在行块中的行数之内)时，熵编码单元113还 立即对每个行块进行源编码。
在步骤S114，比率控制单元114进行比率控制(即，最终匹配目
标比特率或压缩率的控制)，并向外输出比率控制后的编码码流D114。 如上所述，对于图像编码设备，以行为增量进行小波变换，以行 块为增量进行量化，对每个P行进行源编码，P是在行块中的行数内 的数字，已对每个P行已被编码的编码码流D114被向外输出。即， 能够以行的预定增量并行地操作小波变换处理、量化处理和源编码处 理。
因此，如果由信息编码设备编码的编码数据被传送，那么每P行 被编码的数据被顺序传送，从而在接收和解码编码数据的图像解码设 备(图26中的图像解码设备151)能够几乎无延迟地接收解码的图像。
图26是图解说明根据对应于图像编码设备的图24中所示的图像 解码设备的一个实施例的结构例子的示图。
在图26中所示的例子中，图像解码设备151由熵解码单元161， 逆量化单元162和小波逆变换单元163构成。
熵解码单元161对输入的编码码流D160进行源解码，并产生量 化的系数数据D161。对于源解码，对应于图像编码设备IOI进行的源 编码，可以使用哈夫曼编码，或者甚至使用效率更高的算术编码等。 如果对于每个P行已独立地在图像编码设备101进行了源编码，如上 参考图24所述，那么熵解码单元161也对每个频带，以及对每个频带 内的每个P行独立地进行源解码。
逆量化单元162通过把量化的系数数据D161乘以量化步长，进 行逆量化，从而产生系数数据D162。该量化步长通常在编码码流等的 头部中描述。注意，如果如上参考图24所述那样，在图像编码设备 101为每个行块设置量化步长，那么逆量化单元162对应地为每个行 块设置逆量化步长，并进行逆量化。
小波逆变换单元163基本上按照和图18中所示的小波变换设备 51相同的方式构成。即，小波逆变换设备163具有用于除最低频带级 别之外的每个划分级别的独立緩沖器(3级緩冲器61-1级緩冲器63)， 其中对系数数据D162进行垂直合成滤波和水平合成滤波，并且通过 水平分析滤波而获得的系数数据被保存在对应于每个级别的绫沖器
中。当在对应于每个级别的緩冲器中，系数数据被累积到预定数目时， 立即进行垂直合成滤波和水平合成滤波，重复所述垂直合成滤波和水 平合成滤波直到级别1，从而产生基带图像。此外，小波逆变换设备
163在基带图像中插入垂直同步信号，以便产生视频信号D163,视频 信号D163被向外输出。
下面，参考图27中所述的流程图，说明图26中所示的图解解码 设备151的图像解码处理。
熵编码单元161已从外部来源(例如后面将说明的图28中所示的 数字解码单元313)向其输入了已由上面参考图25说明的图像编码处 理编码的编码码流D160。在步骤S161，熵解码单元161执行输入的 编码码流D160的熵解码(源解码)，从而产生量化的系数数据D161。
此时，在图像编码单元IOI已对每个P行进行了源编码，从而， 熵解码单元161也对每个频带，以及对每个子带内的每个P行独立地 进行源解码。
通过把量化的系数数据D161乘以量化步长，逆量化单元162进 行逆量化，从而产生系数数据D162。
现在，在图像编码设备IOI为每个行块设置了量化步长，从而逆 量化单元162相应地为每个行块设置逆量化步长，并进行逆量化。
在步骤S163，小波逆变换设备163对系数数据D162进行小波 逆变换处理。注意该小波逆变换处理是以行为增量进行的处理，同时 在产生的图像之后插入垂直同步信号，不过该处理通常与上面参考图 19所述的小波逆变换处理相同，因此这里不再赘述。
借助步骤S163中的小波逆变换处理，对系数数据D162进行垂 直合成滤波和水平合成滤波，并且通过水平合成滤波而获得的系数数 据被保存在对应于每个级别的緩冲器中，其中当保存在对应于每个级 别的緩沖器中的系数数据被累积到预定数目时，立即进行垂直合成滤 波和水平合成滤波，重复所述垂直合成滤波和水平合成滤波直到级别 1，从而产生基带图像。另外，在产生的基带图像中插入垂直同步信号， 以便产生视频信号D163，所述视频信号D163被向外输出(例如，输出
给后面将说明的图28中所示的摄像机单元303)。
即，图像编码设备IOI以行为增量进行小波变换处理，从而按照 相同的方式，图像解码设备163以行为增量进行小波逆变换处理。
如上所述，对于图像解码设备151，每P行地对输入的编码码流 进行源解码，以行块为增量进行逆量化，并且以行为增量进行小波逆 变换，从而产生基带图像。另外在基带图像中插入垂直同步信号，以 便产生视频信号D163，视频信号D163被向外输出。即，能够以行的 预定增量并行地进行解码处理，逆量化处理和小波逆变换处理。
因此，如果编码数据被传送，那么每P行地解码顺序传送的编码 数据，并以行为增量产生顺序传送的编码数据，从而能够几乎没有延迟 地获得解码图像。
如上所述，能够以行为增量进行参考图24和26说明的每个图像 编码设备101和图像解码设备151的处理，从而能够以很小的延迟进 行图像压缩编码和解码处理。
下面说明把参考图24和26说明的图像编码设备101和图像解码 设备151应用于各种系统的例子。
图28图解说明可应用根据本发明的一个实施例的包括小波变换 的图像编码和包括小波逆变换的图像解码的数字三轴系统的一个例子 的结构。
三轴系统是一种用在电视广播台、制作演播室等中使用的系统。 借助这样的系统，当在工作室中记录或从远程实况播音时，连接摄像 机和摄像机控制单元或转换开关的单一三轴电缆被用于传送多路复用 信号，比如画面信号、音频信号、返回画面信号、同步信号等，还被 用于供电。
许多已知的三轴系统已经被安排成以模拟信号的形式传送上述 信号。另一方面，近年来，整个系统正在变成数字化，因此，在电视 广播台中使用的三轴系统也正在变成数字化。
对于已知的数字三轴系统，通过三轴电缆传送的数字视频信号一 直是未压缩的视频信号。其原因在于对于电视广播台来说，#号延迟
时间所需要的规格特别严格；基本上，从拍摄到监视器输出的延迟时 间例如被要求在1场内(16.67毫秒)。诸如已实现高压缩率和高图像质 量的MPEG2和MPEG4之类的压缩编码系统一直未用在三轴系统中， 因为视频信号压缩和编码，以及压缩的视频信号的解码要求等于几帧 量值的时间，意味着延迟时间极大。
根据本发明的一个实施例的包括小波变换的图像编码和包括小 波逆变换的图像解码可以是关于上面参考图2和19所述的水平滤波和 垂直滤波的并行操作，由于如上参考图25和27所迷，以行为增量进 行操作，因此也可以是并行操作；因此，能够减小从输入图像数据到 获得输出图像的延迟时间，以致可应用于数字三轴系统。
图28中所示的数字三轴系统由借助三轴电缆301连接的传输单 元300和摄像机控制单元302构成。从传输单元300到摄像机控制单 元302的实际广播的或者用作内容的数字视频信号和数字音频信号 (下面称为"主行信号，，)，和从摄像机控制单元302到传输单元300的 内部通信音频信号和返回数字视频信号通过三轴电缆301传送。
传输单元300例如被内置到未示出的摄像机设备中。当然，也可 做出其它安排，比如传输单元300作为摄像机设备的外部设备与摄像 机设备连接。摄像机控制单元302例如可以是一般称为CCU(摄像机 控制单元)的设备。
数字音频信号与本发明的本质几乎没有关系，因此为了简化描 述，这里将省略对其的说明。
摄像机单元303例如被配置在未示出的摄像机设备内，并用未示 出的图像获取装置，比如CCD(电荷耦合器件)进行经过包括透镜、聚 焦机构、变焦机构、光圏调节机构等的光学系统350接收的来自对象 的光线的感光。图像获取装置通过光电转换，把接收的光线转换成电 信号，还进行预定的信号处理，以便输出为基带数字视频信号。这些 数字视频信号被变换成HD-SDI(高清晰度串行数据接口)格式，并被输 出。 .
用作监视器的显示器351和用于与外部交换音频的内部通信装置
352也与摄像机单元303相连。
传输单元300具有视频信号编码单元310和视频信号解码单元 311，数字调制单元312和数字解调单元313，放大器314和315，以 及视频分离/合成单元316。
基带数字视频信号例如被变换成HD-SDI格式，并从摄像机单元 303被供给传输单元300。数字视频信号在视频信号编码单元310被压 缩和编码，以便变成码流，所述码流被提供给数字调制单元312。数 字调制单元312把供给的码流调制成适合于通过三轴电缆301传输的 格式并输出。从数字调制单元312输出的信号通过放大器314被提供 给视频分离/合成单元316。视频分离/合成单元316把供给的信号发送 给三轴电缆301。通过三轴电缆302在摄像机控制单元302接收这些 信号。
通过三轴电缆301在传输单元300接收从摄像机控制单元302输 出的信号。接收的信号被提供给视频分离/合成单元316，分离数字视 频信号部分和其它信号部分。在接收的信号中，数字视频信号部分通 过放大器315被提供给数字解调单元313，调制成适合于通过三轴电 缆301传输的格式的信号在摄像机单元302 —方被解调，并且恢复码 流。
码流被提供给视频信号解码单元311，压缩编码被解码，获得基 带数字视频信号。解码的数字视频信号被变换成HD-SDI格式和输出， 并作为返回数字视频信号被提供给摄像机单元303。返回数字视频信 号被提供给与摄像机单元303连接的显示器351,并被用于供摄像机 操作员监视。
照相机控制单元302具有视频分离/合成单元320、放大器321和 322、前端单元323、数字解调单元324和数字调制单元325、及视频 信号解码单元326和视频信号编码单元327。
通过三轴电缆301在摄像机控制单元302接收从传输单元300输 出的信号。接收的信号被提供给视频分离/合成单元320。视频分离/ 合成单元320把供给它的信号通过放大器321和前端单元323:提供给
数字解调单元324。注意前端单元323具有用于调节输入信号的增益 的增益控制单元，和对输入信号进行预定滤波的滤波器单元等等。
数字解调单元324解调在传输单元300 —方，被调制成适合于通 过三轴电缆301传输的格式的信号，并恢复码流。该码流被提供给视 频信号解码单元326，码流在视频信号解码单元326被解码，以便获 得基带数字视频信号。解码的数字视频信号被变换成HD-SDI格式和 输出，并作为主行信号向外输出。
返回数字视频信号和数字音频信号被向外提供给摄像机控制单 元302。数字音频信号例如被提供给摄像机操作员的内部通信装置 352，以便用于把外部音频指令传送给摄像机操作员。
返回数字视频信号被提供给视频信号编码单元327并被压缩编 码，之后被提供给数字调制单元325。数字调制单元325把供给的码 流调制成适合于通过三轴电缆301传输的格式并输出。从数字调制单 元325输出的信号通过前端单元323和放大器322被提供给视频分离/ 合成单元320。视频分离/合成单元320多路复用这些信号和其它信号， 并发出给三轴电缆301。通过三轴电缆301在传输单元300接收这些 信号。
在图28中所示的例子中，图24中的图像编码设备101和图26 中所示的图像解码设备151被分别应用于视频信号编码单元310和 327，及视频信号解码单元11和326。即，基本如同图24中的图像编 码设备101 —样构成视频信号编码单元310和327，基本如同图26中 的图像解码设备151 —样构成视频信号解码单元311和326。
即，在传输单元300 —方，视频信号编码单元310对供给它的数 字视频信号执行上面参考图25说明的小波变换和熵编码，并输出码 流。如上参考图13-16所述，当对应于用于小波变换的滤波器的抽头 数，并且与小波变换的划分级别的数目相应的许多行被输入时，视频 信号编码单元310开始小波变换。此外，如上参考图25和27所述， 当在图像编码设备和图像解码设备累积了组件所必需的系数数据时， 各个组件顺序执行处理。当处理结束于一帧或一场的底行时,开始下
一帧或下一场的处理。
如上所述，对于图24和26中所示的图像编码设备101和图像解 码设备151，其组件并行地进行处理，从而图像编码设备101和图像 解码设备151能够抑制摄像机单元303从摄像机控制单元302获得的 图像的输出延迟，以及外部供给并从摄像机控制单元302传送给摄像 机单元303的返回数字视频信号的延迟，因此有利地用在图27中所示 的数字三轴系统中。
对于从摄像机控制单元302 —方向传输单元300 —方传输返回数 字视频信号也是如此。即，视频信号编码单元327对外部供给的返回 数字视频信号进行图25中的上述小波变换和熵编码，并且码流被输 出。
现在，存在许多其中允许返回数字视频信号的图像质量低于主行 信号的数字视频信号的图像质量的情况。这些情况下，在视频信号编 码单元327编码时的比特率可被降低。
例如，视频信号编码单元327借助比率控制单元114进行控制， 以致在熵编码单元113的熵编码处理的比特率较低。另外，可设想一 种安排，其中例如在摄像机控制单元302 —方，利用视频信号编码单 元327的小波变换单元111把变换处理进行到较高的划分级别，在传 输单元300 —方，在视频信号解码单元311的小波逆变换单元163的 小波逆变换被停止在较低的划分级别。在摄像机控制单元302的视频 信号编码单元327的处理并不局限于该例子；可以设想各种其它类型 的处理，例如使小波变换的划分级别保持较低，以便减轻变换处理的 负载。
图29图解说明可应用根据本发明的一个实施例的包括小波变换 的图像编码和包括小波逆变换的图像解码的无线传输系统的一个例子 的结构。即，对于图29中所示的例子，无线地把在包括根据本发明的 一个实施例的小波变换的图像编码设备编码的编码数据传输给图像解 码设备一方。
注意在图29中的例子中，视频信号被单向地从摄像机或传输单
元400 —方(下面简称为"传输单元400")传送给接收设备401 —方。对 于音频信号和其它信号，可进行传输单元400和接收单元401之间的 双向通信。
传输单元400被内置到未示出的具有摄像机单元402的摄像机设 备中。当然，也可做出其它安排，例如传输单元400作为具有摄像机 单元402的摄像机设备的外部装置被连接到摄像机设备。
摄像机单元402具有预定的光学系统，诸如CCD之类的图像获 取装置，和例如把从图像获取装置输出的信号输出为数字视频信号的 信号处理单元。这些数字视频信号例如被变换成HD-SDI格式，并例 如从摄像机单元402输出。当然，从摄像机单元402输出的数字视频 信号并不局限于该例子，也可以是其它格式。
传输单元400具有视频信号编码单元410、数字调制单元411和 无线模块单元412。基本上按照和图24中所示的图像编码设备101相 同的方式构成视频信号编码单元410。
在传输单元400,基带数字视频信号例如被变换成HD-SDI格式 并被输出。数字视频信号在视频信号编码单元410由上面参考图25 说明的熵编码进行小波变换和压缩编码，以便变成被供给数字调制单 元411的码流。数字调制单元411把供给的码流数字调制成格式适合 于无线通信的信号，并输出该信号。
另外，例如数字音频信号和其它信号，比如预定命令和数据也被 提供给数字调制单元411。例如，摄像机单元402具有麦克风，借助 该麦克风，收集的声音被转换成音频信号，另外，该音频信号还经历 A/D转换并作为数字音频信号输出。此外，摄像机单元402能够输出 某些命令和数据。命令和数据可以在摄像机单元402内产生，或者可 向摄像机单元402提供一个操作单元，响应在操作单元作出的用户操 作，产生所述命令和数据。另外，可做出其中用于输入命令和数据的 输入装置与摄像机单元402连接的安排。
数字调制单元411进行这些数字音频信号和其它信号的数字调制
并输出这些信号。从数字调制单元411输出的数字调制信号被提供给
无线模块单元412并以无线电波的形式从天线无线传输。
当从接收单元401 —方收到ARQ(自动重复请求)时，无线模块单 元412把该ARQ通知数字调制单元411，以便请求数据重发。
从天线413发出的无线电波在接收设备401 —方的天线被接收， 并被提供给无线模块单元421。接收设备401具有无线模块单元421、 前端单元422、数字解调单元423和视频信号解码单元424。视频信号 解码单元424基本上按照和图26中所示的图像解码单元151相同的方 式构成。
无线模块单元421把基于接收的无线电波的数字调制信号提供给 前端单元422。前端单元422例如对供给的数字调制信号进行诸如增 益控制之类的预定信号处理，并提供给数字解调单元423。数字解调 单元43解调供给的数字调制信号，并恢复码流。
在数字解调单元423恢复的码流被提供给视频信号解码单元 424,利用上面参考图27所述的解码方法对压缩编码解码，获得基带 数字视频信号。解码的数字视频信号例如被变换成HD-SDI格式并被 输出。
数字解调单元423还被供给在传输单元400 —方经历数字调制并
被传送的数字音频信号和其它信号。数字解调单元423解调信号，其
中这些数字音频信号和其它信号已经历数字调制，恢复和输出数字音 频信号和其它信号。
另外，前端单元422按照预定的方法对从无线模块单元421供给 的接收信号进行检错，例如如果检测到错误，比如收到了错误帧，那 么输出ARQ。该ARQ被提供给无线模块单元421并从天线420发出。
对于这样的结构，传输单元400例如被内置于具有摄像机单元 402的尺寸较小的摄像机设备中，监视器装置与接收设备401连接， 从视频信号解码单元424输出的数字视频信号被提供给监视器装置。 只要接收设备401在从具有内置传输单元400的摄像机设备传送的无 线电波的范围内，就能够在监视器装置几乎无延迟地(例如延迟在一场 或一帧内)观看用摄像机设备拍摄的图像。
注意在图29中所示的例子中，利用无线通信进行传输单元400 和接收设备401之间的通信，以便通过无线通信传送视频信号，但是 该方案并不局限于本例。例如，传输单元400和接收设备401可由诸 如因特网之类的网络连接。这种情况下，位于传输单元400 —方的无 线模块单元412和位于接收设备401 —方的无线模块单元421都是能 够利用IP(网际协议)进行通信的通信接口。
对于图29中所示的无线传输系统，可以设想各种应用。例如， 该无线传输系统可被应用于视频会议系统。 一种方案的例子是连接能 够实现USB(通用串行总线)连接的简单摄像机设备和诸如个人计算机 之类的计算机设备，计算机设备一方实现视频信号编码单元410和视 频信号解码单元424。在计算机设备实现的视频信号编码单元410和 视频信号解码单元424可以是硬件结构，或者可由在计算机设备上运 行的软件实现。
例如，参与视频会议的每个成员可配备计算机设备和将与该计算 机设备连接的摄像机设备，计算机设备通过电缆或者无线网络与提供 视频系统服务的服务器设备连接。从摄像机设备输出的视频信号通过 USB电缆被提供给计算机设备，在计算机设备内的视频信号编码单元 410执行上面参考图25说明的编码处理。计算机设备通过网络把其中 视频信号已被编码的码流传送给服务器设备。
服务器设备通过网络把接收的码流传送给每个参与成员的计算 机设备。该码流在每个参与成员的计算机设备被接收，并在上面参考 图27说明的计算机设备内的视频信号解码单元424经历解码处理。从 视频信号解码单元424输出的图像数据作为图像被显示在计算机设备 的显示器上。
即，由其它参与成员的摄像机设备拍摄的视频图像被显示在每个 参与成员的计算机设备的显示器上。因此，把本发明的实施例应用于 无线传输系统意味着从编码用摄像机设备拍摄的视频信号到在其它参 与成员的计算机设备对编码视频信号解码的延迟时间较短，A^而能够 减轻显示在参与成员的计算机设备的显示器上的其它参与成员的图像
被延迟的不自然感觉。
此外，可设想把视频信号编码单元410安装在摄像机设备一方的 方案。例如，传输单元400被内置到摄像机设备中。这样的结构不需 要使摄像机设备与诸如计算机设备之类的另 一设备连接。
由内置传输单元400的摄像机设备和接收设备构成的这种系统可 被应用于除上面所述的视频会议系统之外的各种应用。例如，如图30 中示意所示，该系统可被应用于家庭游戏控制台。在图30中，图29 中所示的传输单元400被内置到摄像机设备500中。
在家庭游戏控制台的主单元501中，总线例如连接CPU、 RAM、 ROM、与CD-ROM(光盘只读存储器)和DVD-ROM(数字通用光盘 -ROM)兼容的光盘驱动器、用于把CPU产生的显示控制信号转换成 视频信号并输出的图形控制单元，用于播放音频信号的音频再现单元 等等，即，具有和计算机设备类似的结构。
依据事先保存在ROM中的程序，或者记录在装入光盘驱动器中 的CD-ROM或DVD-ROM中的程序，家庭游戏控制台的主单元501 由CPU全面控制。RAM被用作CPU的工作存储器。家庭游戏控制 台的主单元501已内置接收设备401。从接收设备输出的数字视频信 号，或者其它信号例如通过总线被提供给CPU。
我们假定借助这样的系统，例如家庭游戏控制台的主单元501，
图像的软件。、例如，ii种游戏^件能4二以从-卜部供给的数字视频信 号的形式的图像作为游戏内的图像，还能够识别图像内人(玩家)的动 作，并执行与识别的动作对应的操作。
摄像机设备500在内置的传输单元400中的视频信号编码单元 410,用上面参考图25说明的编码方法对拍摄的数字视频信号编码， 在数字调制单元411调制码流，并把码流提供给无线模块单元412， 以便从天线413传送。传送的无线电波在内置到家庭游戏控制台的主 单元501内的接收设备401的天线420被接收，接收的信号通过无线 模块单元421和前端单元422被提供给数字解调单元423。
接收的信号在数字解调单元423被解调成码流，并被提供给视 频信号解码单元424。视频信号解码单元424用上面参考图27说明的 解码方法对供给的码流解码，并输出基带数字视频信号。
从视频信号解码单元424输出的基带数字视频信号通过家庭游戏 控制台的主单元501中的总线发送，并例如被临时保存在RAM中。 当保存在RAM中的数字视频信号按照预定的程序被读出时，CPU能 够发觉由数字视频信号提供的图像内人的移动，并在游戏中使用该图 像。
到码流在家庭游戏控制台的主单元501被解码和从而获得图像的延迟 时间较短，运行在家庭游戏控制台的主单元501上的游戏软件对玩家 的动作的响应性得到提高，从而改进了游戏的可操作性。
注意由于价格、尺寸等方面的限制，和家庭游戏控制台一起使用 的这种摄像机设备500通常结构简单，并且必须假定具有高处理能力 和大容量存储器的CPU可能买不起。因此，利用包括根据本发明的一 个实施例的小波变换处理的编码处理允许利用小存储容量的操作，因 为不需要大容量的外部存储器。另外，可设想一种方案，其中在内置 到摄像机设备500中的传输单元400的视频信号编码单元410，在低 的划分级别进行小波变换。这进一步降低对存储容量的需要。
注意在上面，摄像机设备500和家庭游戏控制台的主单元501被 描述成通过无线通信连接，但是该方案并不局限于该例子。即，摄像 机设备500和家庭游戏控制台的主单元501可通过电缆，通过诸如 USB、 IEEE 1394之类的接口连接。
上面借助实施例已说明了本发明，从而显然可产生本发明的各种 应用，只要属于进行图像或视频信号的小波变换的设备或方法，以及 进行用于经过频带分析后的信息的合成滤波的小波逆变换，从而恢复 图像或视频信号的设备或方法。
即，通过在小波变换的下游设置如图24中所示的图像编码设备 101 —样的编码装置，本发明的实施例可有利地应用于其中如上参考
图28-30所述，图像信号或视频信号的图像被压缩、传输、接收、解 压缩和输出的设备或系统。对于其中要求从压缩编码到图像的解码和 输出的延迟较短的设备或系统，本发明的实施例特别有益。
另 一种应用是例如在查看利用摄像机拍摄的图像的时候，利用可 远程操作的仪器或设备的远程医疗诊断和治疗。
另一种应用是在系统，比如在广播电台等中使用的系统中，数字 视频信号的压缩编码和传输，以及经历压缩编码的数字视频信号的解 码。
另 一种应用是分发实况报道的视频的系统。
另一种应用是其中学生和老师能够交互通信的远程教育系统。
其它应用包括(但不限于)传送用具有摄像功能的移动终端，比如 具有照相机功能的蜂窝电话机获得的图像数据的系统；视频会议系统； 用记录器记录用监视摄像机拍摄的图像的监视系统；无线图像传输系 统；互动游戏应用；等等。
如同在图30中图解说明的情况一样，这些各种应用中的一系列 处理可由硬件或软件实现。
在用软件实现所述一系列处理的情况下，构成所述软件的程序被 安装在内置有专用硬件的计算机中，或者安装在能够借助从程序记录 介质安装于其中的各种程序执行各种功能的通用计算机中。
图31是图解说明用软件程序执行上述一 系列处理的个人计算机 701的结构的例子的方框图。CPU 711按照保存在ROM 712或存储单 元718中的程序，运行各种程序。RAM713根据需要，保存由CPU 711 使用的程序和数据。CPU 711、 ROM 712和RAM 713通过总线714 互连。
输入/输出接口 715也通过总线714与CPU 711连接。与输入/输 出接口 715连接的是包括键盘、鼠标、麦克风等的输入单元716，和 包括显示器、扬声器等的输出单元717。 CPU 711响应从输入单元716 输入的命令，执行各种处理。CPU 711把处理结果输出给输出单元717。
与输入/输出接口 715连接的存储单元718例如由硬盘构歲，并
且保存CPU 711运行或使用的各种程序和数据。通信单元719通过网 络，比如因特网、局域网等与外部设备通信。
程序也可通过通信单元719获得，并被保存在存储单元718中。
与输入/输出接口 715连接的驱动器720驱动安装到其上的可拆 卸介质721，比如磁盘、光盘、磁光盘、半导体存储器等，以便获得 记录在可拆卸介质中的程序或数据。获得的程序和数据根据需要被传 送给存储单元718并被保存。
保存以计算机可执行形式安装在计算机中的程序的程序记录介 质包括图31中所示的可拆卸介质721，它是包括磁盘(包括软盘)、光 盘(包括CD-ROM和DVD)、磁光盘、半导体存储器等的套装介质， 临时或永久保存程序的ROM 712，构成存储单元718的硬盘等等。根 据需要，也可借助充当与路由器、调制解调器等的接口的通信单元 719，利用诸如局域网、因特网、数字卫星广播之类的有线或无线通信 媒介，把程序保存到程序记录介质中。
虽然在本说明书中，描述保存在程序记录介质中的程序的步骤当 然可按照所述时间顺序执行，不过所述步骤并不局限于该时间顺序， 可并行地或者单独地执行。
此外，本说明书中使用的术语"系统，，指的是由多个设备构成的 整个设备。
本领域的技术人员应明白，根据设计要求和其它因素，可发生各 种修改、组合、子组合和变更，只要它们在附加权利要求或其等同物 的范围之内。
权利要求
1、一种用于对图像信号进行多个级别的小波变换的小波变换设备，所述小波变换设备包括水平滤波装置，用于使所述图像信号经受水平方向低频带分析滤波和高频带分析滤波；和对于每个所述级别来说独立的缓冲器，用于对每个所述级别保存通过所述水平滤波装置的所述水平方向分析滤波而产生的频率分量。
2、 按照权利要求1所述的小波变换设备，其中通过所述水平方 向分析滤波而获得的频率分量中的低频带分量和高频带分量被重新排 序并保存在所述緩冲器中。
3、 按照权利要求1所述的小波变换设备，还包括再排序装置， 用于进行作为所述图像信号的元素的亮度信号和色差信号的重新排序；其中所述水平滤波装置使由所述再排序装置重新排序的图像信 号经受水平方向低频带分析滤波和高频带分析滤波。
4、 按照权利要求3所述的小波变换设备，其中作为所述水平滤波装置进行的所述水平分析滤波的结果而产生 的亮度信号的频率分量和色差信号的频率分量均单独地被保存在所述 緩冲器中。
5、 按照权利要求l所述的小波变换设备，还包括 垂直滤波装置，用于使通过所述水平方向分析滤波而产生的保存在所述緩沖器中的频率分量经受垂直方向低频带分析滤波和高频带分 才斤滤波。
6、 按照权利要求5所述的小波变换设备，其中所述垂直滤波装 置还包括亮度信号垂直滤波装置，用于使作为所述图像信号的元素的亮度 信号的频率分量经受垂直方向低频带分析滤波和高频带分析滤波；和 色差信号垂直滤波装置，用于使作为所述图像信号的元素的色差信号的频率分量经受垂直方向低频带分析滤波和高频带分析滤波。
7、 按照权利要求6所述的小波变换设备，其中所述亮度信号垂 直滤波装置和所述色差信号垂直滤波装置被并行操作。
8、 按照权利要求7所述的小波变换设备，还包括 再排序装置，用于进行通过所述亮度信号垂直滤波装置进行的所述垂直方向分析滤波而产生的亮度信号的频率分量，和通过所述色差 信号垂直滤波装置进行的所述垂直方向分析滤波而产生的色差信号的 频率分量的低频带分量的重新排序；其中所述水平滤波装置使所述再排序装置重新排序的低频带分 量经受水平方向低频带分析滤波和高频带分析滤波。
9、 按照权利要求8所述的小波变换设备，其中在所述再排序装 置的重新排序之前，所述亮度信号垂直滤波装置和所述色差信号垂直 滤波装置之一等待，直到另 一方的所述分析滤波结束为止。
10、 按照权利要求8所述的小波变换设备，其中所述水平滤波装 置按照预定数目的级别进行所述水平方向低频带分析滤波和高频带分 析滤波。
11、 按照权利要求8所述的小波变换设备，其中作为由所述水平 滤波装置进行的所述水平方向分析滤波的结果而产生的亮度信号的频 率分量和色差信号的频率分量被单独地保存在所述緩冲器中。
12、 按照权利要求5所述的小波变换设备，其中所述水平滤波装 置和所述垂直滤波装置按照分层方式对最低频带的频率分量进行分析 滤波。
13、 按照权利要求5所述的小波变换设备，其中所述水平滤波装 置和所述垂直滤波装置由所述小波变换的提升方案实现。
14、 按照权利要求5所述的小波变换设备，其中所述水平滤波装 置以行为增量输入所述图像信号，并且每次水平方向上的样本数达到 预定数目时，进行所述水平方向低频带分析滤波和高频带分析滤波；其中每次所述水平滤波装置进行的水平方向分析滤波的结果中 的频率分量的垂直方向上的行数达到预定数目时，所述垂直滤波袭置 进行所述垂直方向低频带分析滤波和高频带分析滤波。
15、 按照权利要求5所述的小波变换设备，其中所述图像信号是 包含多个画面的视频信号；其中所述小波变换设备还包括检测装置，用于通过检测所述视频 信号的垂直同步信号，检测每个画面的结束；其中所述水平滤波装置和所述垂直滤波装置进行每个画面的分 析滤波。
16、 一种对图像信号进行多个级别的小波变换的小波变换设备的 小波变换方法，所述方法包括下述步骤使所述图像信号经受水平方向低频带分析滤波和高频带分析滤 波；和对于每个所述级别，把通过所述水平方向分析滤波而产生的频率分量保存在对每个所述级别来说独立的緩冲器中。
17、 一种小波逆变换设备，其对由对图像信号已经进行的多个级 别的小波变换产生的频率分量执行小波逆变换从而重建图像，所述小 波逆变换设备包括水平滤波装置，用于使所述频率分量经受水平方向低频带合成滤 波和高频带合成滤波；和对于除最低频带之外的每个所述级别来说独立的緩冲器，用于对 每个所述级别，保存通过所述水平滤波装置的所述水平方向合成滤波 而产生的频率分量。
18、 按照权利要求17所述的小波逆变换设备，还包括 垂直滤波装置，用于使所述频率分量经受垂直方向低频带分析滤波和高频带分析滤波；其中所述水平滤波装置使通过所述垂直方向合成滤波而产生的频率分量经受所述水平方向低频带合成滤波和高频带合成滤波。
19、 按照权利要求18所述的小波逆变换设备，其中所述垂直滤 波装置和所述水平滤波装置由所述小波逆变换的提升方案实现"
20、 按照权利要求18所述的小波逆变换设备，其中所述水平滤 波装置以行为增量输入所述频率分量，并且每次水平方向上的样本数 达到预定数目时，进行所述水平方向低频带合成滤波和高频带合成滤波；其中每次所述水平滤波装置进行的水平方向合成滤波的结果中 的频率分量的垂直方向上的行数达到预定数目时，所述垂直滤波装置 进行所述垂直方向低频带合成滤波和高频带合成滤波。
21、 按照权利要求18所述的小波逆变换设备，其中所述图像信号是包含通过按照分层方式对最低频带频率分量进行分析滤波而分成多个频率分量的多个画面的视频信号；其中所述垂直滤波装置和所述水平滤波装置根据多个频率分量 中，包括最低频带频率分量的预定数目频率分量，以分层方式执行合 成滤波，最终产生一个画面。
22、 按照权利要求21所述的小波逆变化设备，还包括垂直同步 信号插入装置，用于在所述垂直滤波装置和所述水平滤波装置产生的 画面之间插入垂直同步信号，从而产生视频信号。
23、 按照权利要求18所述的小波逆变化设备，其中对作为所述 图像信号的元素的亮度信号和色差信号，独立地提供所述垂直滤波装 置、所述水平滤波装置和所述緩沖器；其中用于亮度信号的所述垂直滤波装置、所述水平滤波装置和所述緩 沖器，以及用于色差信号的所述垂直滤波装置、所述水平滤波装置和 所述緩冲器被并行操作。
24、 一种小波逆变换方法，其对由关于图像信号进行的多级小波 变换而产生的频率分量进行小波逆变换从而重建图像，所述方法包括 下述步骤使所述频率分量经受水平方向低频带合成滤波和高频带合成滤 波^和对于每个所述级别，把通过所述水平滤波装置的所述水平方向合 成滤波而产生的频率分量保存在对除最低频带之外的每个所述级别而 言独立的緩沖器中。
25、 一种用于对图像信号进行多个级别的小波变换的小波变换设 备，所述小波变换设备包括水平滤波单元，用于使所述图像信号经受水平方向低频带分析滤 波和高频带分析滤波；和对于每个所述级别来说独立的緩冲器，用于对每个所述级别保存 通过所述水平滤波单元的所述水平方向分析滤波而产生的频率分量。
26、 一种小波逆变换设备，其对由对图像信号已经进行的多个级 别的小波变换产生的频率分量执行小波逆变换从而重建图像，所述小 波逆变换设备包括水平滤波单元，用于使所述频率分量经受水平方向低频带合成滤 波和高频带合成滤波；和对于除最低频带之外的每个所述级别来说独立的緩冲器，用于对 每个所述级别，保存通过所述水平滤波单元的所述水平方向合成滤波 而产生的频率分量。
全文摘要
本发明涉及小波变换设备、小波逆变换设备和方法、程序和记录介质，其中具体公开了一种用于对图像信号进行多个级别的小波变换的小波变换设备，包括水平滤波单元，用于使图像信号经受水平方向低频带分析滤波和高频带分析滤波，和对于每个级别来说独立的缓冲器，用于对每个级别保存通过水平滤波单元的水平方向分析滤波而产生的频率分量。
文档编号H04N7/24GK101106719SQ200710129129
公开日2008年1月16日 申请日期2007年7月13日 优先权日2006年7月14日
发明者安藤胜俊, 田中祐树, 福原隆浩, 西村直人 申请人:索尼株式会社