信息处理设备和方法以及信息处理系统的制作方法

专利名称：信息处理设备和方法以及信息处理系统的制作方法
技术领域：
本发明涉及信息处理设备和方法以及信息处理系统，具体地，涉 及这样的信息处理设备和方法以及信息处理系统，借助于该信息处理 设备和方法以及信息处理系统，对于内容的数据传输，可以抑制不必 要的延迟时间的增加，并且可以抑制内容的质量的不必要的退化。
背景技术：
迄今为止，作为视频图像传输/接收设备，存在用于广播站或体 育场的体育转播广播等的双重屏蔽导线系统。迄今采用的双重屏蔽导 线系统主要用于模拟图像，但是随着近来的图像处理数字化，可以构 想从今以后用于数字图像的数字双重屏蔽导线系统将会流行。
采用常见的数字双重屏蔽导线系统，以摄像头拍摄视频图像，并 且将其发送到传输路径(主线视频图像)，并且在摄像机控制单元处 接收该主线视频图像，并且将其输出到屏幕。摄像机控制单元用户向 摄像头用户给出关于拍摄的指令。摄像头用户基于它的指令执行拍 摄。
摄像机控制单元还使用与主线视频图像分离的另一个系统向摄 像头侧发送返回的视频图像。该返回的视频图像可以是正被转换的从 摄像头提供的主线视频图像的结果，或可以是摄像机控制单元处从外 部输入的视频图像。摄像头将该返回的视频图像输出到例如屏幕。通 过参考该返回的视频图像，摄像头用户可以确认，例如，由他/她拍摄的拍摄图像被在摄像机控制单元处接收得怎么样。
一般地，摄像头和摄像机控制单元间的传输路径的带宽是有限 的，并且因此需要压缩视频图像，以便通过该传输路径将其发送。例
如，在从摄像头向摄像机控制单元发送的主线视频图像是HDTV (高 清晰度电视)信号的情况下(当前的信号大约为1.5Gbps),可以将 其压缩到大约1/10，大约150Mbps。对于这种图像压缩方法，可以使 用各种压缩方法，例如，MPEG (运动图像专家组)等(见日本待审 专利申请公开号9-261633)。
上述是数字双重屏蔽导线系统的基本配置和操作。对于这种双重 屏蔽导线系统， 一般以同轴电缆等配置作为压缩流的传输路径的主线 和返回线，并且以数字信号传输压缩流。因此，希望一般以恒定的位 速率传输压缩流。
对于常见的编码方法，通过编码获得的编码数据的位速率，即， 编码位速率根据要被编码的图像数据的图像内容改变(取决于编码的 难度)。因此，为了一般地以恒定的位速率传输编码数据，需要临时 存储通过编码获得的编码数据，并且以恒定的位速率读出存储在緩冲 区内的编码数据，从而平滑位速率。
此时，为了进一步稳定(平滑)传输编码数据时的位速率，希望 尽可能多地在緩冲区内积累编码数据。另外，尽可能多地在緩沖区内 积累编码数据，从而还改进了压缩效率。

发明内容
然而注意，存在积累在緩沖区内的数据量增加得越多，延迟时间 增加得越多的可能。在诸如上述的数字双重屏蔽导线系统的情况下， 图像数据(编码数据)的数据传输的直接性是重要的。例如，当编码 数据从摄像头到摄像机控制单元的传输的延迟时间增加时，存在来自 摄像机控制单元用户的关于摄像头用户的指令过度延迟，使得在确认 了主线视频图像之后才执行它们的可能。另外，存在摄像机控制单元 用户和摄像头用户在相同时刻观看的图像的时间滞后增加的可能性(即，存在彼此观看到不同图像的可能性)，并且摄像头用户难以理 解摄像机控制单元用户的指令。另外，当在传输返回的视频图像时引 起极大延迟时，根据相同的原因，存在试图确认该返回的视频图像的 摄像头用户更难以理解摄像机控制单元用户的指令的可能性。
根据这种原因，尤其在拍摄动态对象诸如体育转播广播的情况 下，摄像机控制单元用户指示摄像头用户的时刻是重要的。即，在诸 如上述的数字双重屏蔽导线系统的情况下，不希望数据传输时延迟时 间不必要的增加。
然而注意，当简单地减小緩冲区处的编码数据的积累数量时，如 上所述，存在传输时位速率变得不稳定的可能，并且因此图像质量的 退化将增加。
已经认识到，对于内容的数据传输，不仅需要能够容易地抑制不 必要的延迟时间的增加，而且需要能够容易地抑制关于内容的质量的 不必要的退化。
根据本发明的实施例， 一种信息处理设备包括积累单元，配置 为积累通过对图像数据编码而获得的编码数据；读取单元，配置为以 数据增量读出编码数据；确定单元，配置为确定指示积累单元处的编 码数据的积累状态的参数是否满足预定的积累条件；禁止单元，配置 为在确定单元确定所述参数满足所述积累条件的情况下，禁止将被在 作为基准的、正被读取单元以数据增量读出的编码数据之后读出的编 码数据的读出；和控制单元，配置为控制读取单元以数据增量省略被 禁止单元禁止读出的编码数据的读出，并且以数据增量执行未被禁止 单元禁止读出的编码数据的读出。
所述参数可以包括关于积累在存储单元内的编码数据的数据增 量的数目，并且所述确定单元确定所述数据增量的数目是否等于或大 于阈值。
所述参数可以包括读取单元读出积累在积累单元内的所有编码 数据所需的时间，并且所述确定单元确定是否可以在所述时间内读出 积累在积累单元内的所有编码数据。禁止单元可以以从将被在作为基准的编码数据之后读出的编码 数据起连续的、不少于所述确定单元确定所述参数不满足所述积累条 件所需的数据增量的数目禁止将被在作为基准的编码数据之后读出 的编码数据的读出。
禁止单元可以删除作为基准的编码数据之后的编码数据，以便禁 止该编码数据的读出。
所述数据增量可以是对图像数据编码时的编码处理增量。
在通过对图像数据分层进行滤波处理，产生为每个频带划分的系 数数据的情况下，所述数据增量可以包括行块，所述行块包括产生最 低带分量的子带的至少一行的量的系数数据所需行数的量图像数据。
可以按执行用于合成被划分为频带的多个子带的系数数据，以便 产生图像数据的合成处理的顺序，为每个行块重新布置编码数据。
可以从低带分量到高带分量的顺序为每个行块重新布置编码数据。
所述信息处理设备还可以包括编码单元，配置为对图像数据编 码，以便产生编码数据；写单元，配置为以数据增量将由编码单元产 生的编码数据写到存储单元内；和打包单元，配置为将由读出单元读 出的编码数据打包。
该信息处理设备还可以包括控制单元，配置为控制编码单元的 编码处理、写单元的写处理、读出单元的读出处理、以及打包单元的 打包处理，以便相互并行地执行它们。
另外，根据本发明的实施例， 一种信息处理方法，包括步骤积 累通过对图像数据编码获得的编码数据；以数据增量读出编码数据； 确定指示积累步骤中的编码数据的积累状态的参数是否满足预定的 积累条件；在确定步骤中确定所述参数满足所述积累条件的情况下， 禁止将在作为基准的、正在读取步骤中以数据增量读出的编码数据之 后读出的编码数据的读出；并且控制所述读取步骤，以便以数据增量 省略在禁止步骤中被禁止读出的编码数据的读出，并且以数据增量执 行在禁止步骤中未被禁止读出的编码数据的读出。对于上述的配置，确定指示积累单元中的编码数据的积累状态的 参数是否满足预定的积累条件，并且在确定所述参数满足预定的积累 条件的情况下，以数据增量省略被禁止读出的编码数据的读出，并且 以数据增量执行未被禁止读出的编码数据的读出。
根据本发明的一个实施例， 一种信息处理设备包括积累单元， 配置为积累通过对图像数据编码获得的编码数据；确认单元，配置为 以数据增量确认积累单元中积累的编码数据的丢失；读取单元，配置 为在编码数据的丢失未被确认单元确认的情况下，以数据增量读出积 累单元中积累的编码数据；以及补充单元，配置为在编码数据的丢失 被确认单元确认的情况下，通过输出替代数据而不是读取丟失的编码 数据，以数据增量提供编码数据。
该信息处理设备还可以包括保持单元，配置为保持所述替代数 据，在确认单元确认了编码数据的丢夫的情况下，所述补充单元从保 持单元中读出替代数据，以便输出该替代数据，而不是读出丢失的编 码数据。
该信息处理设备还可以包括保持单元，配置为以数据增量保持 与积累在积累单元中的编码数据相同的数据，在确认单元确认了编码 数据的丟失的情况下，补充单元以数据增量从保持单元中读出与过去 由读取单元读出的编码数据相同的编码数据，以便输出该编码数据。
该信息处理设备还可以包括解码单元，配置为对读取单元读出 的编码数据、以及由补充单元提供的编码数据解码。
在通过对图像数据分层进行滤波处理，产生为每个频带划分的系 数数据的情况下，数据增量可以包括行块，所述行块包括产生最低带 分量的子带的至少一行的量的系数数据所需行数的量的图像数据。
可以按执行用于合成被划分为频带的多个子带的系数数据，以便 产生图像数据的合成处理的顺序，为每个行块重新布置编码数据。
可以按从低带分量到高带分量的顺序为每个行块重新布置编码数据。
另外，根据本发明的一个实施例， 一种信息处理方法包括步骤积累通过对图像数据编码获得的编码数据；以数据增量确认在积累步 骤中积累的编码数据的丟失；在编码数据的丢失未被在确认步骤中确 认的情况下，以数据增量读出在积累步骤中积累的编码数据；和在编 码数据的丢失被在确认步骤中确认的情况下，通过输出替代数据而不 是读取丢失的编码数据，以数据增量提供编码数据。
以上述的配置，以数据增量确认积累单元中积累的编码数据的丢 失，并且在编码数据的丢失未被确认的情况下，以数据增量读出积累 单元中积累的编码数据，并且在编码数据的丢失已被确认的情况下， 通过输出替代数据而不是读取丢失的编码数据，以数据增量提供编码 数据。
根据本发明的实施例，可以传输数据。具体地，对于内容的数据 传输，不仅可以容易地抑制不必要的延迟时间的增加，而且可以容易 地抑制内容的质量的不必要的退化。


图1是示出了可以应用本发明的实施例的数字双重屏蔽导线系 统的配置例子的方框图2是示出了图1所示的视频信号编码单元的详细的配置例子的 方框图3是示出了图2所示的编码单元的详细配置例子的方框图； 图4是用于示意描述小波变换的示意图； 图5是用于示意描述小波变换的示意图;
图6是示出了通过以5x3滤波器提升至划分等级-2执行滤波的 例子的示意图7是示意地示出了根据本发明的小波变换和小波逆变换的流 程的示意图8是用于描述来自图2所示的编码单元的编码数据的输出顺序
的图9是用于描述在每个区产生的码量的改变的图；图IO是示出了图2所示的传输緩冲区控制单元的详细的配置例 子的方框图ll是示出了图IO所示的区信息控制单元的详细的配置例子的 方框图12是示出了被可读取地存储在緩冲区内的编码数据的数量的
在时间上的改变的例子的示意图13是示出了被可读取地存储在緩冲区内的编码数据的数量的
在时间上的改变的另一个例子的示意图14是示出了头部详细的配置例子的示意图15是描述交换编码数据的方法的例子的示意图16是示出了图1所示的视频信号解码单元的详细的配置例子
的方框图17是示出了图16所示的接收緩沖区控制单元的详细的配置例 子的图18是示出了图17所示的区信息控制单元的详细的配置例子的
图19是示出了可读取地存储在緩沖区内的编码数据的数量的在 时间上的改变的例子的示意图20是用于描述来自图16所示的接收緩沖区控制单元的编码数 据的输出顺序的图21是示出了可读取地存储在緩冲区内的编码数据的数量的在 时间上的改变的另一个例子的示意图22是示出了图16所示的解码单元的详细的配置例子的方框
图23是用于描述编码处理的流程的例子的流程图； 图24是用于描述传输緩冲区写控制处理的例子的流程图； 图25是用于描述传输緩冲区读控制处理的例子的流程图； 图26是用于描述接收緩冲区写控制处理的例子的流程图； 图27是用于描述接收緩冲区读控制处理的例子的流程图；图28是用于描述解码处理的流程的例子的流程图； 图29是示意地说明并行操作的例子的示意图； 图30是示出了图16所示的接收緩沖区控制单元的另一个详细的 配置例子的图31是示出了图30所示的区信息控制单元的详细的配置例子的 方框图32是用于描述图30所示的接收緩冲区控制单元的编码数据的 输出顺序的图33是用于描述接收緩沖区写控制处理的例子的流程图； 图34是用于描述接收緩冲区读控制处理的例子的流程图；和 图35是示出了应用本发明的实施例的个人计算机的配置例子的图。
具体实施例方式
图1是示出了应用本发明的实施例的数字双重屏蔽导线系统的 配置例子的方框图。在图l中，数字双重屏蔽导线系统IOO是在电视 广播站、制作工作室等处采用的系统，并且由传输单元110、双重屏 蔽导线电缆lll、照相机控制单元112等配置而成。
对于电视节目等的内容制作，诸如摄影间录制、体育转播广播等， 有时釆用由摄像机和中央控制系统配置而成的系统，所述摄像机执行 拍摄，所述中央控制系统用于记录通过摄像机的拍摄获得的图像数 据、转换输入/输出图像数据、或编辑图像数据。
通常情况下采用多个摄像机进行拍摄。这些多个摄像机通过数字 双重屏蔽导线系统100连接到中央控制系统。每个摄像机被一个摄像 机操作员操作，以便通过使用成像设备等拍摄图像，并且产生其图像 数据。中央控制系统是由多个设备配置而成的用于控制(管理)内容 制作的系统，并且具有内容记录、输入/输出转换、内容编辑等功能。 该中央控制系统例如由给出拍摄指令的导演操作，诸如导演等，或接 收导演的指令的人员等。对于内容制作，导演执行关于操作每个摄像机的摄像机操作员的 关于拍摄的指挥。根据导演的指令拍摄的图像数据被提供给中央控制 系统，并且被处理。
图1中所示的数字双重屏蔽导线系统100是用于执行在摄像机侧
和中央控制系统侧之间执行的诸如拍摄指令和内容(视频和音频)的 交换的系统。换言之，上述的摄像机和中央控制系统通过图1所示的
数字双重屏蔽导线系统100执行内容或指令的交换。
数字双重屏蔽导线系统100将例如通过摄像机进行拍摄而获得
据(图像数据被称为"主线图片数据"，音频数据被称为"主线音频数 据"，并且主线视频数据图像被称为"主线视频图片")传输到中央控
制系统。另外，数字双重屏蔽导线系统IOO将例如包括导演的指令的
音频数据、控制命令等传输到摄像机。另外，数字双重屏蔽导线系统
100将例如从摄像机传输的主线图片数据(返回图片数据被称为返回
视频图片)作为返回图片数据传输到中央控制系统。
接着，将描述关于数字双重屏蔽导线系统100的配置。对于数字 双重屏蔽导线系统100,传输单元110和照相机控制单元112通过作
为同轴电缆的双重屏蔽导线电缆111连接。
传输单元110是用于执行关于摄像机侧的传输的处理的处理单 元。在图l中，传输单元110连接到具有与拍摄有关的功能的摄像机 单元113。传输单元110可以内置于摄像机内，或可以使用预定的方 法作为外部设备连接到摄像机。即，可以做出这样的布置，其中图1
所示的摄像机单元113和传输单元110被配置为不同的设备，或摄像 机单元113和传输单元110被配置为单个设备。
照相机控制单元112是例如一般被称为CCU(摄像机控制单元) 的处理单元，并且执行关于中央控制系统侧的传输的处理。照相机控 制单元112可以内置于中央控制系统的预定设备内，或可以使用预定 的方法作为中央控制系统的外部设备连接到中央控制系统的预定设 备。注意在图1中，假设数字双重屏蔽导线系统100不仅包括传输单 元110、双重屏蔽导线电缆111和照相机控制单元112，并且包括摄 像机单元113和其外部设备(稍后描述)进行描述。另外实际上，摄像机单元113还执行声音收集。即，摄像机单元 113不仅产生图像数据而且产生音频数据。该音频数据被作为数字音 频信号与图像数据一起通过数字双重屏蔽导线系统100传输到照相机 控制单元112。然而注意，该音频数据与本发明的本质没有关系，从 而下面在适当时省略关于音频数据的描述以避免复杂化。在由CCD (电荷耦合器件)等构成的未示出的成像设备处，摄 像机单元113接收通过包括镜头、聚焦机构、缩放机构、光圏调整机 构等的光学系统150进入的来自对象的光。该成像设备通过光电转换 将收到的光转换为电信号，进一步对该电信号进行预定的信号处理， 并且输出基带数字视频信号(图像数据)。将该数字视频信号映射为 HD-SDI (高清晰度串行数据接口 )格式并且输出。另外，摄像机单元113与被用作监视器的显示单元151和用于与 外部交换音频的对讲机152连接。传输单元110具有视频信号编码单元120和视频信号解码单元 121、数字调制单元122和数字解调单元123、放大器124和125以及 视频分割/合成单元126,并且连接到摄像机单元113。从摄像机单元113将例如被映射为HD - SDI格式的基带数字视 频信号(图像数据)提供给传输单元110。该数字视频信号是作为材 料被广播或采用的主线图片数据信号(主线数字视频信号).，并且被 在视频信号编码单元120处压缩和编码以便产生编码数据(码流)， 该编码数据被打包并且提供给数字调制单元122。数字调制单元122 将提供的码流调制为适合在双重屏蔽导线电缆111上传输的格式并且 输出。将从照相机控制单元112输出的信号通过放大器124提供给视 频分割/合成单元126。视频分割/合成单元126将提供的信号发送到双 重屏蔽导线电缆111。这些信号被通过双重屏蔽导线电缆111提供给 照相机控制单元112。通过双重屏蔽导线电缆111将从照相机控制单元112输出的信号 提供给传输单元110并且在传输单元110处接收。将收到的信号提供 给视频分割/合成单元126，并且将数字视频信号部分和其它信号部分 分开。通过放大器125将收到的信号中的数字视频信号部分提供给数 字解调单元123,解调被在照相机控制单元112侧调制为适合于双重 屏蔽导线电缆lll上的传输的格式的信号，并且恢复码流包。将码流包提供给视频信号解码单元121。视频信号解码单元121 解释码流包，以便提取(解包)码流，解码提取的码流压缩编码，并 且恢复基带数字视频信号。将解码的数字视频信号映射到HD-SDI 格式并且输出，并且作为返回图片数据信号(被称为返回数字视频信 号)提供给摄像机单元113。将返回数字视频信号提供给连接到摄像 机单元113的显示单元151，并且由摄像机操作员用于监视。注意可以做出这样的布置，其中还在显示单元151上显示由摄像 机单元U3拍摄的传输到中央控制系统之前的主线视频图片。然而， 如上所述压缩并且传输该主线视频图片数据，从而在传输之前的图片 和传输之后的图片之间，由于某些情况的图像质量的退化，即使互相 具有相同时刻的帧图像在视觉上也会极大地不同。因此，为了摄像机 操作员可以容易地理解以何种状态在中央控制系统处接收主线图片 数据，希望在显示单元151上显示从照相机控制单元112提供的返回 视频图片。在将主线图片传输到中央控制系统之后，以中央控制系统记录、 编辑其图像被显示在监视器上或输出到外部设备的主线图片。即，在 中央控制系统处使用主线图片数据，所以摄像机操作员希望在理解使 用时该图像的状态的同时执行拍摄。例如，可以构想由于图像质量的 退化，不能在传输后的主线视频图片处视觉地识别出可在传输前的主 线视频图片处视觉地识别出的对象。在显示单元151上显示返回视频 图片，由此摄像机操作员可以容易地理解，由于图像质量的退化不能 在视觉上识别出该对象，并且因此可以改变拍摄方法，以便即使在传 输后也能在视觉上识别出其上的对象。另外，操作中央控制系统的导演在确认主线视频图片的同时，执 行与关于摄像机操作员的拍摄有关的指挥，但是在此时，当由摄像机 操作员确认的图像和由导演确认的图像彼此不同时，存在摄像机操作员不能理解来自导演的指令的含意的可能。因此，在显示单元151上 显示从照相机控制单元112侧提供的返回视频图片，由此摄像机操作 员可以基于图像是何种类容易地理解导演发出的指令，并且因此可以 更正确地理解来自导演的指令的含意。照相机控制单元112具有视频分割/合成单元130、放大器131 和132、前端单元133、数字解调单元134和数字调制单元135以及 视频信号解码单元136和视频信号编码单元137。从传输单元IIO输出的信号被通过双重屏蔽导线电缆111提供给 照相机控制单元112，并且被在照相机控制单元112处接收。收到的 信号被提供给视频分割/合成单元130。视频分割/合成单元130通过放 大器131和前端单元133将提供给它的信号提供给数字解调单元134。 注意，前端单元133具有用于调整输入信号的增益的增益控制单元， 用于对输入信号执行预定的滤波处理的滤波单元等。数字解调单元134解调被在传输单元IIO侧调制为适合于双重屏 蔽导线电缆lll上的传输的格式的信号，并且恢复码流包。该码流包 被提供给视频信号解码单元136。视频信号解码单元136解释该码流 包，以便以与视频信号解码单元121相同的方式提取(解包)码流， 解码提取的码流的压缩编码，并且恢复基带数字视频信号。将解码的 数字视频信号映射到HD-SDI格式并且输出，并且作为主线数字视 频信号输出到外部中央控制系统，其中例如将图片显示在监视器上， 或对其进行编辑。将数字音频信号向外部提供给照相机控制单元112。将数字音频 信号提供给例如摄像机操作员的对讲机152，以便用于将音频指令从 导演传播给摄像机操作员。视频信号解码单元136还将解码的数字视 频信号作为返回数字视频信号提供给视频信号编码单元137。视频信号编码单元137以与视频信号编码单元120相同的方式对从视频信号解码单元136提供的基带数字视频信号压缩和编码，对获得的编码数 据(码流)打包，并且将它的包提供给数字调制单元135。数字调制单元135将提供的码流调制为适合于双重屏蔽导线电 缆lll上的传输的格式的信号，并且输出。从数字调制单元135输出 的信号被通过前端单元133和放大器132提供给视频分割/合成单元 130。视频分割/合成单元130将这些信号与其它信号一起多路复用， 并且将它们发送到双重屏蔽导线电缆111。该信号被通过双重屏蔽导 线电缆111作为返回的数字视频信号提供给传输单元110。这种数字双重屏蔽导线系统100需要数据传输时的直接性(实时 属性)。例如，导演在参考从摄像机单元113传输的主视频图片的同 时执行关于摄像机操作员的指挥，所以当自在摄像机单元113处产生 主线图片数据，直到主线图片数据被数字双重屏蔽导线系统100传输， 并且在中央控制系统处显示图像为止的延迟时间增加时，存在从导演 到摄像机操作员的指令过度延迟的可能。另外，当自从传输单元110 传输到照相机控制单元112的主线图片数据被再次传输到传输单元 110，直到在显示单元151上显示其图像(主线视频图片)为止的延 迟时间增加时，存在基于主线视频图片执行指令的时刻与返回的视频 图片的时刻不相同的可能，并且摄像机操作员难以理解其指令的含 意。根据诸如上述的原因，尤其在拍摄动态对象诸如体育转播广播的 情况下，来自摄像机控制单元用户的关于摄像头用户的指令的时间是 重要的。即，对于数字双重屏蔽导线系统100,希望尽可能多地减少 数据传输的延迟时间。因此，如后面所述，视频信号编码单元120和视频信号编码单元 137被配置为以较短的延迟对图像数据编码。另外，视频信号编码单 元120和视频信号编码单元137 被配置为以较短的延迟解码编码数 据。然而，存在除了编码处理和解码处理之外进一步减少延迟时间的 需要。附带地，对于数字双重屏蔽导线系统IOO,传输路径的带宽是有限的，所以希望一般以恒定位速率传输编码数据。例如，对于数字双重屏蔽导线系统100,当假设作为传输主线图片数据的编码数据的路线的主线，以及返回的图片数据的编码数据的返回路线中的每一个的带宽是150Mbps时，视频信号编码单元120和视频信号编码单元137 需要将主线图片数据和返回的图片数据压缩到150Mbps的位速率。然而注意， 一般地，压缩的难度根据构成图像数据的图片(在根 据隔行扫描方法的图像的情况下为场，在根据渐进方法的图像的情况 下为帧)而不同，所以对于每个图片，产生的码的数量很可能会波动。因此，视频信号编码单元120和视频信号编码单元137在緩冲区 内积累通过编码产生的编码数据，以便稳定传输该编码数据时的位速 率(传输速率)，以预定的位速率从其緩冲区内读出编码数据，并且 传输它们，由此平滑传输速率。该緩冲区的容量越大，即，要被积累 在緩沖区中的数据的数量增加，视频信号编码单元120和视频信号编 码单元137越可以稳定的方式传输编码数据。即，要被积累在緩冲区 中的数据的数量增加得越多， 一般地视频信号编码单元120和视频信 号编码单元137越可以恒定的传输速率传输编码数据，即使产生的码 的数量有较宽的波动。然而，要被积累在緩冲区中的数据的数量增加得越多，传输所需 的延迟时间的增加越多。因此，如后面所述，视频信号编码单元120、 视频信号解码单元121、视频信号解码单元136和视频信号编码单元 137执行平滑处理和接收处理，以便抑制不必要的延迟时间的增加， 并且还抑制内容的质量的不必要的退化。注意，在图1中，进行了这样的描述，其中双重屏蔽导线电缆 111是同轴电缆，但是可以釆用任意的传输介质，只要该介质能够传 输编码数据既可，所以可以是有线电缆或无线电缆，或可以包括有线和无线电缆两者。另外，其内可以包括单个或多个网络。另外，在图1中，传输单元110和照相机控制单元112被示出为 一对一地连接，但是不言而喻的是多个传输单元110可以连接到单个 照相机控制单元112。接着，将给出关于每个单元的细节的描述。图2是示出了图1 所示的视频信号编码单元120的配置例子的方框图。注意，图l所示 的视频信号编码单元137具有与视频信号编码单元120相同的配置， 并且执行相同的处理，从而可以采用关于视频信号编码单元120的描 述。因此，为了简化描述，除了必要的情况外，将省略对视频信号编 码单元137的描述。在图2中，视频信号编码单元120包括编码单元201、传输緩冲 区控制单元202和包产生单元203。编码单元201使用预定的编码方法对从纟聂像机单元113提供的主 线图片数据编码，并且将获得的编码数据提供给传输緩冲区控制单元 202。传输緩冲区控制单元202在其内置的緩冲区内积累提供的编码 数据，以预定的位速率读出其中的编码数据，并且将其提供给包产生 单元203，从而平滑编码数据的传输速率。包产生单元203通过为每 个预定的数据增量增加头信息，对从传输緩冲区控制单元202提供的 编码数据打包。包产生单元203将这样产生的编码数据包作为主线图 片数据提供给数字调制单元122。此时，传输緩冲区控制单元202使用能够容易地抑制不必要的延 迟时间的增加，并且抑制内容的质量的不必要的退化的方法，对编码 数据的传输速率进行平滑，稍后将描述关于它的细节。注意，在视频信号编码单元137，编码单元201对从视频信号解 码单元136提供的返回图片数据编码的情况下，包产生单元203对从 传输緩冲区控制单元202提供的编码数据打包，并且将它的包作为返 回图片数据提供给数字调制单元135。图3是示出了图2所示的编码单元201的详细的配置例子的方框 图。在图3中，编码单元201包括小波变换单元221、中间计算緩冲 区单元222、系数重新布置緩沖区单元223、系数重新布置单元224、 量化单元225、速率控制单元226和熵编码单元227。输入编码单元201的图像数据被通过小波变换单元221临时存储 在中间计算緩冲区单元222内。小波变换单元221对存储在中间计算緩沖区单元222内的图像数据进行小波变换。即，小波变换单元221 从中间计算緩冲区单元222读出图像数据，使用分析滤波器对其进行 滤波处理，以便产生低带分量和高带分量的系数数据，并且将产生的 系数数据存储在中间计算緩冲区单元222内。小波变换单元221包括 水平分析滤波器和垂直分析滤波器，并且对图像数据组进行关于屏幕 水平方向和屏幕垂直方向两者的分析滤波处理。小波变换单元221再 次读出存储在中间计算緩冲区单元222内的低带分量的系数数据，使 用分析滤波器对读出的系数数据进行滤波处理，以便进一步产生高带 分量和低带分量的系数数据。产生的系数数据被存储在中间计算緩冲 区单元222内。小波变换单元221重复该处理，并且当划分等级达到预定等级 时，从中间计算緩冲区单元222中读出系数数据，并且将读取的系数 数据写到系数重新布置緩冲区单元223内。系数重新布置单元224以预定的顺序读出写到系数重新布置緩 冲区单元223内的系数数据，并且将其提供给量化单元225。速率控制单元226计算用于在量化单元225处执行的量化处理的 量化步长的大小，以便从外部指定在熵编码单元227处产生的码量(将 产生的编码数据的数据量)，或以便适合于(相同或近似于)预定的 目标码量，并且将用于指定其量化步长大小的指令信息提供给量化单 元225。量化单元225以其被提供的顺序，以从速率控制单元226提供的 指定信息所指定的量化步长大小量化从系数重新布置单元224提供的 系数数据，并且将其提供给熵编码单元227。熵编码单元227例如使 用预定的熵编码方法诸如Huffman编码、算术编码等对提供的系数数 据编码，以便产生编码数据。熵编码单元227将产生的编码数据提供 给图2所示的传输緩冲区控制单元202。接着，将更详细地描述由图3所示的小波变换单元221执行的处 理。首先，示意地描述小波变换。对于关于图像数据的小波变换，如 图4示意所示，对于作为划分的结果而获得低空间频带，迭代地重复用于将图像数据划分为高空间频带和低空间频带的处理。因此，将低 空间频带数据划分为更小的区域，从而能够进行有效的压缩编码。
现在，图4是将图像数据的最低带分量区域划分为低带分量区域 L和高带分量区域H的划分处理被重复3次，从而获得划分等级=3 的情况的例子。在图4中，"L，，和"H，，分别表示低带分量和高带分量， 并且对于"L"和"H"的顺序，前者指示作为水平方向上的划分结果的 带，并且后者指示作为垂直方向上的划分结果的带。另夕卜，"L，，和"H" 前面的数字指示该区域的划分等级。
另外，如可以从图4所示的例子理解的，以逐步方式从屏幕的右 下区域到左上区域执行该处理，从而将低带分量划分为小区域。即， 对于图4所示的例子，屏幕的右下区域被设置为包括最少的低带分量 (包括最高带分量)的区域3HH，并且通过将屏幕划分为4个区域而 获得的左上区域被进一步划分为4个区域，并且该4个划分的区域中 的左上区域被进一步划分为4个区域。最左上角区域被设置为包括最 多低带分量的区域OLL。
对低带分量重复执行转换和划分的原因是因为屏幕的能量集中 在低带分量。还可以从这样的情况中理解它，其中随着划分等级从图 5A所示的例子的划分等级-1的状态前进到图5B所示的例子的划分 等级=3的状态，形成诸如图5B所示的子带。例如，图4所示的小 波变换的划分等级是3，并且作为其结果，形成10个子带。
小波变换单元221通常使用由低带滤波器和高带滤波器构成的 滤波器组执行诸如上述的处理。注意数字滤波器通常具有多个抽头长 度的冲击响应，即，滤波系数，从而通常需要预先与可执行的滤波处 理一样多地緩存输入的图像数据或系数数据。另外类似地，即使在以 多个阶段执行小波变换的情况下，需要与可执行的滤波处理一样多地 緩存前一 阶段产生的小波变换系数。
作为小波变换的特定例子，将描述采用5x3滤波器的方法。已经 在相关技术中描述的JPEG (联合图像专家组)2000标准也采用这种 釆用5x3滤波器的方法，并且它是一个极好的方法，可以用很少的滤如下面的表达式(1)和(2)所示，5x3滤波器的冲击响应(Z 变换表达式)由低带滤波器Ho (z)和高带滤波器I^ (z)配置而成。 根据表达式(1)和(2),可以发现低带滤波器H。 (z)是5个抽头， 并且高带滤波器H, (z)是3个抽头。
Ho(z) = (-1 + 2z" + 6z-2 + 2z-3 - z") / 8…(1) H"z) = (-1 + 2z-1 - z力/ 2 ... (2)
根据这些表达式(1)和(2)，可以直接计算低带分量和高带分 量的系数。此处，采用提升技术能够减少滤波处理的计算。
接着，将更详细地描述这个小波变换方法。图6示出了将根据5x3 滤波器的提升的滤波处理执行到划分等级=2的例子。注意，在图6 中，图左侧作为分析滤波器示出的部分是编码单元201内的小波变换 单元221的滤波器。另外，图右侧作为合成滤波器示出的部分是后面 描述的解码单元403内的后面描述的小波逆变换单元484 (图22)的 滤波器。
注意对于下面的描述，例如，我们可以假设以屏幕的左上角的像 素作为显示设备等的开头，从屏幕的左边向右边扫描像素，从而构成 一行，并且从屏幕的上边到下边执行每行的扫描，从而构成一个屏幕。
在图6中，左边的列说明布置在原始图像数据的行上的相应位置 处的像素数据排列在垂直方向上。即，使用垂直滤波器以被垂直扫描 的屏幕上的像素执行小波变换单元221处的滤波处理。从左边起的第 一到第三列示出了划分等级-1的滤波处理,并且第四到第六列示出 了划分等级=2的滤波处理。从左边起的第二列示出了基于左边的原 始图像数据的像素的高带分量输出，并且从左边起的第三列示出了基 于所述原始图像数据和高带分量输出的低带分量输出。诸如从左边起 的第四到第六列所示，对划分等级-1的滤波处理的输出执行划分等 级=2的滤波处理。
对于划分等级-1的滤波处理，基于作为滤波处理的第一阶段的 原始图像数据的像素计算高带分量系数数据，基于在滤波处理的第一阶段计算的高带分量系数数据以及原始图像数据的像素计算低带分
量系数数据。在图6的左侧(分析滤波器侧)处的第一到第三列示出 了划分等级=1的滤波处理的例子。将计算的高带分量系数数据存储 在参考图3所述的系数重新布置緩冲区单元223中。另外，将计算的 低带分量系数数据存储在中间计算緩冲区单元222内。
在图6中，以单点划线围绕的数据被临时保存在系数重新布置緩 冲区单元223内，并且以点划线围绕的数据被临时保存在中间计算緩 冲区单元222内。
基于保持在中间计算緩冲区单元222处的划分等级=1的滤波处 理的结果执行划分等级-2的滤波处理。对于划分等级=2的滤波处 理，将在划分等级-1的滤波处理处作为低带系数计算的系数数据视 为包括低带分量和高带分量的系数数据，执行与划分等级-1的滤波 处理相同的滤波处理。将由划分等级-2的滤波处理计算的高带分量 系数数据和低带分量系数数据存储在参考图3所述的系数重新布置緩 冲区单元223内。
对于小波变换单元221，在屏幕的水平方向和垂直方向中的每一 个上执行诸如上述的滤波处理。例如，首先在水平方向上执行划分等 级=1的滤波处理，并且将产生的高带分量和低带分量的系数数据存 储在中间计算緩冲区单元222内。接着，对存储在中间计算緩冲区单 元222内的系数数据进行垂直方向上的划分等级-1的滤波处理。根 据划分等级-1的水平和垂直方向上的处理，有通过将高带分量进一 步划分为高带分量和低带分量而获得的区域HH和区域HL，以及通 过将低带分量进一步划分为高带分量和低带分量而获得的区域LH和 区域LL的形成的4个区域。
随后，在划分等级-2，对在划分等级=1处产生的低带分量系 数数据进行关于水平方向和垂直方向中的每一个的滤波处理。即，在 划分等级-2时，通过在划分等级=1时进行划分而形成的区域LL被 进一步划分为4个区域，在区域LL内形成区域HH、区域HL、区域 LH和区域LL。小波变换单元221配置为通过将滤波处理划分为关于屏幕的垂 直方向的若干行的增量的处理，即，划分为多次，以逐步的方式根据 小波变换执行滤波处理。对于图6所示的例子，在等同于从屏幕上的 第一行起的处理的第一处理时，对7个行进行滤波处理，并且在等同 于从第八行起的处理的第二处理时，对每4行进行滤波处理。该行数 基于在该区域被划分为两个区域，即，高带分量和低带分量之后，产 生最低带分量的一行量所需的行数。
注意此后，产生最低带分量的一行量(最低带分量的子带的系数 数据的一行量)所需的包括其它子带的行组被称为一个区(或行块)。 此处， 一行指形成在一个图片、场或相应于小波变换之前的图像数据
的每个子带内的像素数据或系数数据的一行量。即，对于小波变换之 前的原始图像数据， 一个区(或行块)指示等同于产生小波变换之后 的最低带分量子带系数数据的一行量所需行数的像素数据组，或通过 对其像素数据进行小波变换而获得的每个子带的系数数据组。
根据图6，基于存储在中间计算緩沖区单元222内的系数C4和 系数Ca计算作为划分等级=2的滤波处理结果而获得的系数C5，并 且基于存储在中间计算緩冲区单元222内的系数Ca和系数Cb和系数 Cc计算系数C4。另外，基于存储在系数重新布置緩沖区单元223内 的系数C2和系数C3和第五行的像素数据计算系数Cc。另外，基于 第五到第七行的像素数据计算系数C3。因此，为了获得作为划分等 级=2时的低带分量的系数C5，需要第一行第七行的像素数据。
在另一方面，对于第二滤波处理以及后续的滤波处理，可以利用 直到目前的滤波处理已经被计算，并且存储在系数重新布置緩沖区单 元223内的系数数据，所以可以将所需行数抑制为是小的。
即，根据图6，基于系数C4和系数C8以及存储在中间计算緩 冲区单元222内的系数Cc计算作为划分等级=2的滤波处理结果获得 的低带分量系数中的系数C9 (它是系数C5的下一个系数)。已经在 上述的第一滤波处理时计算了系数C4，并且存储在系数重新布置緩 冲区单元223内。类似地，已经在上述的第一滤波处理时计算了系数
2Cc，并且存储在中间计算緩冲区单元222内。因此，对于第二滤波处 理，仅重新执行计算系数C8的滤波处理。进一步使用第8到第11行 执行这个新的滤波处理。
因此，对于第二个滤波处理以及后续的滤波处理，可以利用已被 在直到目前的滤波处理计算过的，并且存储在中间计算緩沖区单元 222和系数重新布置緩冲区单元223内的数据，从而可以将每个处理 抑制为每4行的处理。
注意在屏幕上的行数不与用于编码的行数相同的情况下，使用预 定的方法拷贝原始图像数据的行，以便匹配用于编码的行数，从而执 行*波处理。
因此，通过关于整个屏幕的行的多次划分(以一个区的增量)， 以逐步的方式执行可以获得最低带分量系数数据的 一行量的滤波处 理，由此可以发送编码数据时的低的延迟获得解码图像。
为了执行小波变换，需要用于执行小波变换本身的第 一緩冲区和 用于存储直到预定的划分等级所产生的系数的第二緩冲区。第 一緩冲 区相应于中间计算緩沖区单元222,并且图6中以点划线围绕的数据 被临时存储在其内。另外，第二緩沖区相应于系数重新布置緩冲区单 元223，并且图6中以单点划线围绕的数据被临时存储在其内。在解 码时利用存储在第二緩冲区内的系数，所以对这些系数进行后续阶段 的熵编码处理。
将描述系数重新布置单元224的处理。如上所述，在小波变换单 元221处计算的系数数据被存储在系数重新布置緩冲区单元223内， 并且由系数重新布置单元224重新布置其顺序，并且读出重新布置的 系数数据，并且将其发送到量化单元225。
如上所述，对于小波变换，从高带分量侧到低带分量侧产生系数。 在图6的例子中，第一次，根据原始图像的像素数据，在划分等级-1的滤波处理顺序产生高带分量系数C1、系数C2和系数C3。然后对 在划分等级- 1的滤波处理获得的低带分量系数数据执行划分等级-2的滤波处理，由此顺序产生低带分量系数C4和C5。即，第一次，以系数C1、系数C2、系数C3、系数C4和系数C5的顺序产生系数 数据。基于小波变换的原理，系数数据的产生顺序总是如此(从高带 到低带的顺序)。
相反，在解码侧，为了以低延迟立刻解码，从低带分量起产生和 输出图像是必需的。因此，希望从最低带分量侧到高带分量侧重新布 置在编码侧产生的系数数据，并且将其提供给解码侧。
另外，将参考图6给出详细描述。图6的右侧示出了执行小波逆 变换的合成滤波器侧。利用在编码侧上的第一次滤波处理产生的最低 带分量系数C4和系数C5以及系数Cl执行解码侧上的包括输出图像 数据的第一行的第一次合成处理(小波逆变换处理)。
即，对于第一次合成处理，以顺序系数C5、系数C4和系数C1 将系数数据从编码侧提供给解码侧，从而在解码侧，通过作为相应于 划分等级=2的合成处理的合成等级=2的处理，执行关于系数C5和 系数C4的合成处理，以便产生系数Cf，并且将Cf存储在緩冲区内。 然后以作为相应于划分等级-1的合成处理的合成等级-1的处理执 行关于系数Cf和系数Cl的合成处理，从而输出第一行。
因此，对于第一次合成处理，以顺序系数Cl、系数C2、系数 C3、系数C4和系数C5在编码侧产生，并且存储在系数重新布置緩 沖区单元223内的系数数据被重新布置为系数C5、系数C4、系数C3、 系数C2系数Cl等的顺序，并且提供给解码侧。
注意对于图6的右侧所示的合成滤波器侧，以括号内的编码侧上 的系数的号码引用从编码侧提供的系数，并且在括号外示出合成滤波 器的行号。例如，系数C1(5)示出在图6的左侧的分析滤波器侧上， 它是系数C5，并且在合成滤波器侧上它在第一行上。
可以利用-如果是来自前一次的合成处理-提供自该合成的，或 提供自编码侧的系数数据执行以编码侧上的第二次滤波处理以及后 续的滤波处理产生的系数数据的解码侧的合成处理。在图6的例子中， 利用以编码侧上的第二次滤波处理产生的低带分量系数C8和系数C9 执行的解码侧上的第二次合成处理还需要在编码侧上的第一次滤波处理时产生的系数C2和系数C3，并且第2到第5行被解码。
即，对于第二次合成处理，以系数C9、系数C8、系数C2、系 数C3的顺序将系数数据从编码侧提供给解码侧。在解码侧，对于合 成等级- 2的处理，利用系数C8和C9以及在第一次合成处理时从编 码侧提供的C4产生系数Cg,并且将系数Cg存储在緩冲区内。利用 系数Cg和上述的系数C4以及由第一次合成处理产生并且存储在緩沖 区内的系数Cf产生系数Ch，并且将系数Ch存储在緩冲区内。
对于合成等级-l的处理，利用在合成等级-2的处理产生的并 且存储在緩冲区内的系数Cg和Ch、从编码侧提供的系数C2 (对于合 成滤波器，以C6 (2)示出)、以及系数C3 (对于合成滤波器，以 C7 (3)示出)执行合成处理，并且对笫2行到第5行解码。
因此，对于第二次合成处理，重新布置在编码侧上以系数C2、 系数C3(系数C4、系数C5)、系数C6、系数C7、系数C8、系数 C9的顺序产生的系数数据，并且以系数C9、系数C8、系数C2、系 数C3等的顺序提供给解码侧。
因此，对于第三个合成处理以及其后的合成处理，以预定的顺序 重新布置存储在系数重新布置緩冲区单元223内的系数数据，并且将 它们提供给解码单元，其中以4行的增量对行解码。
注意对于相应于编码侧上包括屏幕底端的行的滤波处理的解码 侧上的合成处理，输出所有直到那时为止产生并且存储在緩冲区内的 系数数据，所以输出行数增加了。对于图6的例子，在最后一次中输 出8行。
注意，如果读取存储在系数重新布置緩冲区单元223内的系数数 据，则系数重新布置单元224的系数数据的重新布置处理将读出地址 设置为预定的顺序。
将参考图7更加详细地描述上述处理。图7是利用5x3滤波器， 以直到划分等级- 2的小波变换执行滤波处理的例子。对于小波变换 单元221，作为图7A所示的一个例子，在水平和垂直方向中的每一 个上对输入图像数据的第1到第7行执行第一次滤波处理(图7A中的In - 1)。
对于第一次滤波处理的划分等级-1的处理，产生系数C1、系 数C2和系数C3的3行量的系数数据，并且作为图7B中所示的一个 例子，它们中的每一个被布置在以划分等级=1形成的区域HH、区 域HL和区域LH内(图7B中的WT-1)。
另外，以划分等级=2的水平和垂直方向上的滤波处理进一步将 以划分等级-l形成的区域LL划分为4个区域(区域低带分量、LLH、 LHL和LHH)。对于以划分等级=2产生的系数C5和系数C4， 一 行被以系数C5布置在划分等级-1的区域LL内的区域低带分量内， 并且一行被以系数C4布置在区域LHH、区域LHL和区域LLH的每 一个内。
对于小波变换单元221的第二次滤波处理以及其后的滤波处理， 以4行的增量执行滤波处理(图7A中的In-2...),在划分等级-1 时以2行的增量产生系数数据(图7B中的WT-2)，并且在划分等 级=2时以l行的增量产生系数数据。
对于图6中的第二次的例子，在划分等级-1的滤波处理时产生 系数C6和系数C7的量两行的系数数据，并且作为图7B所示的一个 例子，被布置在以划分等级-l形成的区域HH、区域HL和区域LH 的第一次滤波处理时产生的系数数据之后。在划分等级-l的区域LL 内，以划分等级=2的滤波处理产生的一行的量的系数C9布置在区 域LLL内，并且一行的量的系数C8布置在区域LHH、区域LHL和 区域LLH中的每一个内。
如果对经过如图7B的小波变换的数据解码，作为图7C所示的 一个例子，相应于编码侧上的第l行到第7行的第一次滤波处理，输 出解码侧上的第一次合成处理的第一行(图7C中的Out - 1)。此后， 相应于编码侧上从第二次到最后一次之前的滤波处理，在解码侧上每 次输出4行(图7C中的Out-2)。相应于编码侧上的最后一次的滤 波处理，在解码侧上输出8行。
由小波变换单元221从高带分量侧到低带分量侧产生的系数数据被顺序地存储在系数重新布置緩沖区单元223内。对于系数重新布 置单元224，当系数数据被积累在系数重新布置緩冲区单元223内， 直到可以执行上述的系数重新布置时，以必需的顺序重新布置系数数 据，并且从系数重新布置緩冲区单元223读取。读出的系数数据被顺 序地提供给量化单元225。
量化单元225对从系数重新布置单元224提供的系数数椐进行量 化。可以釆用任意种类的方法作为该量化方法，例如， 一种常见的方 法，即，诸如下面的等式(3)中所示，可以采用以量化步长大小A 除系数数据W的方法。
量化系数-W/A ... (3)
注意如上所述由速率控制单元226指定该量化步长大小A。
熵编码单元227对被这样量化并且提供的系数数据进行熵编码。 将进行了熵编码的编码数据提供给解码侧。对于编码方法，可以构想 Huffman编码或算术编码等已知的技术。不言而喻的是编码方法不限 于此，只要可以执行可逆的编码处理，可以采用其它的编码方法。
如参考图6到图7C所述，小波变换单元221以图像数据的多个 行的增量(一个区的增量)执行小波变换处理。以一个区的增量输出 以熵编码单元227编码的编码数据。即，在采用5x3滤波器执行直至 划分等级=2的处理的情况下，对于一屏数据的输出，以笫一次的一 行，第二次到最后一次的前一次中的每一次的4行获得输出，并且最 后一次输出8行。
注意在对以系数重新布置单元224重新布置后的系数数据进行 熵编码的情况下，例如，如果对例如关于图6中所示的第一次滤波处 理的第一个系数C5的行执行熵编码，没有历史行，即，没有已经被 产生了系数数据的行。因此在该情况下，仅对一行进行熵编码。相反 地，如果对系数C1的行编码，系数C5和系数C4的行成为是历史行。 可以认为这些彼此靠近的多个行是由类似的数据配置而成，因此对多 个行一起进行熵编码是有效的。
另外，如上所述，对于小波变换单元221，已经描述了以采用5x3滤波器的小波变换执行滤波处理的例子，但是并不限于这个例子。例
如，对于小波变换单元221，可以使用具有更长的抽头数的滤波器， 诸如9x7的滤波器。在该情况下，如果抽头数更长，在滤波器中积累 的行数也增加，所以从图像数据的输入到编码数据的输出的延迟时间 变得更长。
另外，对于上面的描述，为了说明起见将小波变换的划分等级描 述为划分等级=2，但是不应局限于此，并且划分等级可以进一步增 加。划分等级增加得越多，可以实现更好的高压缩比。例如， 一般地， 对于小波变换，重复直至划分等级=4的滤波处理。注意随着划分等 级增加，延迟时间也极大地增加。
因此，如果将本发明的实施例应用于实际的系统，希望根据该系 统所需的延迟时间或解码图像的图片质量，确定滤波器抽头数或划分 等级。滤波器抽头数或划分等级不必是固定的值，而是也可以是可适 当地选择的。
如上所述，在量化单元225对进行了小波变换和重新布置的系数 数据量化，并且由熵编码单元227进行编码。随后，将获得的编码数 据提供给传输緩沖区控制单元202。
在熵编码单元227处产生的编码数据被以其产生顺序，即，以来 自编码单元201的区的增量输出，并且被提供给传输緩冲区控制单元 202。
即，例如如图8A所示，在编码单元201的小波变换单元221处 执行划分等级=2的小波变换，并且从一个区的图像数据产生7该区 域低带分量、LHL、 LLH、 LHH、 HL、 LH和HH的系数数据。在 图8A中，l低带分量、1LHL、 1LLH、 1LHH、 1HL、 1LH和1HH 指示从自图片的顶部起的第一个区产生的每个区域的系数数据，并且 2低带分量、2LHL、 2LLH、 2LHH、 2HL、 2LH和2HH指示从自图 片的顶部起的第二个区产生的每个区域的系数数据。
以从低带分量到高带分量的顺序以区的增量对这种系数数据编 码，并且将其提供给传输緩沖区控制单元202。即，如图8B所示，自图片的顶部起的第一个区的l低带分量、 1LHL、 1LLH、 1LHH、 1HL、 1LH和1HH的系数数据被以这个顺 序编码，并且被提供给传输緩冲区控制单元202。接着，自图片的顶 部起的第二个区的2低带分量、2LHL、 2LLH、 2LHH、 2HL、 2LH 和2HH的系数数据被以这个顺序编码，并且被提供给传输緩冲区控 制单元202。接着，诸如第三个区的系数数据，第四个区的系数数据 等等，以区的增量对系数数据编码，并且将其提供给传输緩冲区控制 单元202。
即，如箭头241所示，以从低带分量到高带分量的顺序对每个区 内的系数数据编码，并且提供给传输緩沖区控制单元202。对于区的 增量，如箭头242所示，以从自图片的顶部起的第一个区向下的顺序， 每次一个地对区编码，并且提供给传输緩冲区控制单元202。
在通常情况下，对于每个图片，在编码单元201处产生的码量不 同，并且在图9A的图中示出。图9A是示出了为每个图片产生的码 量的例子的图。对于图9A，垂直轴指示产生的码量，并且水平轴指 示时间。即，每个柱状图指示每个图片的产生的码量。如图9A所示， 在通常情况下，产生的码量在各个图片间不同，这引起了偏差。
不言而喻的是产生的码量不仅以图片的增量改变，而且以区的增 量改变。即，在图9A中，可以认为每个柱状图指示区的增量的产生 的码量。
传输緩冲区控制单元202临时积累编码数据，并且以恒定的位速 率读出编码数据，从而对每个图片的这种码量进行平滑，以便诸如图 9B中的图所示， 一般地成为是恒定的。类似于图9A，图9B中所示 的图示出了每个图片(或每个区)的码量的例子。
图IO是示出了图2所示的传输緩沖区控制单元202的详细的配 置例子的方框图。在图10中，传输緩冲区控制单元202包括Y数据 写控制单元251、C数据写控制单元252、Y緩冲区253、C緩冲区254、 流输出控制单元255和区信息控制单元261。
由区信息控制单元261控制Y数据写控制单元251,以便获得Y数据，Y数据是从编码单元201提供的亮度分量Y的编码数据，并且 将其写入Y緩冲区253。由区信息控制单元261控制C数据写控制单 元252,以便获得C数据，C数据是从编码单元201提供的色差分量 C的编码数据，并且将其写入C緩冲区254。
在摄像机单元113处获得的图像数据由亮度分量Y和色差分量C 配置而成。编码单元201对亮度分量Y和色差分量C中的每一个进 行上述的处理。即，编码单元201将Y数据和C数据提供给传输緩 冲区控制单元202。
注意实际上，有色差分量Cb和Cr,但是为了简化说明，将Cb 和Cr总地称为C。另外，下面将进行关于由亮度分量Y和色差分量 C构成的YC (TCbCr)分量的描述，但是该描述对于由R分量、G 分量和B分量构成的RGB分量的情况也成立。
Y緩冲区253具有内置的存储介质，并且积累从Y数据写控制 单元251提供的Y数据。另外，由区信息控制单元261控制Y緩冲 区253，以便以写的顺序读出积累的Y数据，并且将其提供给流输出 控制单元255。
C緩沖区254具有内置的存储介质，并且积累从C数据写控制 单元252提供的C数据。另外，由区信息控制单元261控制C緩冲 区254，以便以写的顺序读出积累的C数据，并且将其提供给流输出 控制单元255。
由区信息控制单元261控制流输出控制单元255，以便多路复用 并且输出从区信息控制单元261提供的区头或图片头、从Y緩沖区 253提供的Y数据和从C緩冲区254提供的C数据，并且将其提供给 包产生单元203 (图2)。
区头由例如关于编码数据(原始图像数据)的区的各种信息，诸 如标识信息诸如一个区等、标记信息、量化系数等配置而成。为每个 区将这个区头添加到编码数据上。
图片头由例如关于编码数据(原始图像数据)的图片的各种信息， 诸如各种标记信息、数据结构、帧速率、长宽比、指示垂直方向有效像素启始位置和水平方向有效像素启始位置的信息等配置而成。为每 个图片将这个图片头添加到编码数据上。
区信息控制单元261控制这种配置的Y数据写控制单元251到 流输出控制单元255中的每个单元的操作，或产生区头或图片头等， 以便将它们提供给流输出控制单元255。
即，由Y数据写控制单元251在预定的时刻将作为从编码单元 201提供的亮度分量Y的编码数据的Y数据写入Y緩冲区253，并且 由Y緩冲区253 —般地以恒定的位速率读出，以便将其提供给流输出 控制单元255。类似地，由C数据写控制单元252在预定的时刻将作 为从编码单元201提供的色差分量C的编码数据的C数据写入C緩 冲区254，并且由C緩冲区254 —般地以恒定的位速率读出，以便将 其提供给流输出控制单元255。提供给流输出控制单元255的Y数据 和C数据被与由区信息控制单元261产生的区头和图片头等多路复 用，并且输出到包产生单元203。
区信息控制单元261控制关于这些Y数据和C数据的位速率的 平滑的各种处理。
如果增加在其中积累编码数据的Y緩冲区253和C緩冲区254 的存储容量，即，如果做出在Y緩冲区253和C緩沖区254中积累 更多系数数据的布置，则对于编码数据的每个区的码量的不规则性， 传输緩冲区控制单元202的容忍量变强。即，能够平滑位速率的不规 则性的范围增加了。因此，在其中积累编码数据的Y緩冲区253和C 緩冲区254的存储容量增加得越大，传输緩冲区控制单元202可以越 稳定的方式发送编码数据(通过平滑位速率)，但是同时，编码数据
增加了。另外，，为了抑制花费以;I电路规模的增加，不希望Y緩冲区
253和C緩冲区254的存储容量的不必要的增加。
如果平滑Y数据和C数据的位速率，区信息控制单元261控制 Y緩沖区253和C緩沖区254的输入/输出以便执行传输，以便抑制 不必要的延迟时间的增加，并且以便抑制内容的质量的不必要的退化。稍后将描述其细节。
图ll是示出了图10所示的区信息控制单元261的详细的配置例 子的方框图。如图11所示，区信息控制单元261包括传输緩冲区写 控制处理单元271和传输緩冲区读控制处理单元272。
传输緩沖区写控制处理单元271是用于控制关于将编码数据写 到作为传输緩冲区的Y緩冲区253和C緩冲区254 (图10)的处理 的处理单元。传输緩冲区读控制处理单元272是用于控制关于从作为 传输緩冲区的Y緩冲区253和C緩沖区254读出编码数据的处理的 处理单元。
传输緩冲区写控制处理单元271包括写控制单元281、写指令单 元282、发送时间确认单元283、区数确认单元284和输出禁止单元 285。
写控制单元281控制从写指令单元282到输出禁止单元285的每 个单元所执行的处理。由写控制单元281控制写指令单元282以便将 写指令提供给Y数据写控制单元251，以便在预定的时刻将Y数据写 入(积累)Y緩沖区253。 Y数据写控制单元251将从编码单元201 提供的Y数据提供给Y緩冲区253,以便基于从写指令单元282提供 的指令积累Y数据。
类似地，由写控制单元281控制写指令单元282以便将写指令提 供给C数据写控制单元252，以便在预定的时刻将C数据写入(积累) C緩沖区254。 C数据写控制单元252将从编码单元201提供的C数 据提供给C緩冲区254,以便基于从写指令单元282提供的指令积累 C数据。
在积累Y数据和C数据之后，写指令单元282通知发送时间确 认单元283和区数确认单元284已经完成了写。
在写指令单元282通知了写的结束之后，由写控制单元281控制 发送时间确认单元283以便基于积累在Y緩冲区253内的Y数据的 数据量，计算读出积累在Y緩冲区253内的所有Y数据所需的时间 (发送时间)，以及来自Y緩冲区253的Y数据的读出速度(位速率)，将该发送时间与预定的发送时间的最大值(最大发送时间)进 行比较，以便确认该发送时间比最大发送时间短。如果该发送时间等
于或大于最大发送时间，发送时间确认单元283通知输出禁止单元285 该结果。
类似地，在写指令单元282通知了写的结束之后，由写控制单元 281控制发送时间确认单元283以便基于积累在C緩沖区254内的C 数据的数据量，计算读出积累在C緩沖区254内的所有C数据所需 的时间(发送时间)，以及来自C緩冲区254的C数据的读出速度 (位速率)，将该发送时间与预定的发送时间的最大值(最大发送时 间)进行比较，以便确认该发送时间比最大发送时间短。如果该发送 时间刚好等于或大于最大发送时间，区数确认单元284通知输出禁止 单元285该结果。
在写指令单元282通知了写的结束之后，由写控制单元281控制 区数确认单元284以便计数积累在Y緩沖区253内的Y数据的区的 数目，并且确定积累在Y缓沖区253内的区的数目是否超过了预定的 阈值。如果积累在Y緩沖区253内的区的数目超过了预定的阈值，区 数确认单元284将该结果通知输出禁止单元285。
类似地，在写指令单元282通知了写的结束之后，由写控制单元 281控制区数确认单元284以便计数积累在C緩冲区254内的C数据 的区的数目，并且确定积累在C緩沖区254内的区的数目是否超过了 预定的阈值。如果积累在C緩冲区254内的区的数目超过了预定的阈 值，区数确认单元284将该结果通知输出禁止单元285。
在发送时间确认单元283通知Y緩冲区253或C緩冲区254的 编码数据的发送时间等于或大于该参考时间的情况下，或在区数确认 单元284通知积累在Y緩沖区253或C緩沖区254内的编码数据的 区的数目超过了预定数目时，由写控制单元281控制的输出禁止单元 285给后面描述的传输緩冲区读控制处理单元272提供指令，以便禁 止现在正被以区的增量按所需的量读出的区之后的区以及随后的区 的编码数据的读出(执行库溢出控制(bank over control))。传输緩冲区读控制处理单元272包括读取控制单元291、区头产 生单元292、图片头产生单元293和读取指令单元294。
读取控制单元291控制从区头产生单元292到读取指令单元294 的每个单元所执行的处理。
区头产生单元292基于从编码单元201提供的信息等产生要被添 加到每个区的编码数据上的区头，并且将其提供给流输出控制单元 255。图片头产生单元293基于从编码单元201提供的信息等创建要 被添加到每个图片的编码数据上的图片头，并且将其提供给流输出控 制单元255。
读取指令单元294给Y緩冲区253和C緩冲区254提供指令， 以便以预定的位速率按积累的顺序以区的增量读出积累在Y緩冲区 253和C緩冲区254内的编码数据(Y数据或C数据)，并且将其提 供给流输出控制单元255。 Y緩冲区253和C緩冲区254基于从读取 指令单元294提供的读取指令以预定的位速率按积累的顺序以区的增 量读出积累在其中的编码数据，并且将其提供给流输出控制单元255。
注意在输出禁止单元285指示禁止读出的情况下，读取控制单元 291控制读取指令单元294以便禁止由该指令指定的区的编码数据的 读出。如上所述读取指令单元294 —般地以恒定的位速率按积累的顺 序以区的增量从緩冲区中读出系数数据，但是在禁止读出的情况下， 给Y緩沖区253和C緩冲区254提供读指令，以便省略区的编码数 据的读出，并且执行等同于关于Y緩冲区253和C緩冲区254的按 积累顺序的下一个区的未被禁止读出.的区的编码数据的读出。即，读 取指令单元294给Y緩冲区253和C緩冲区254提供读指令，以便 一般地以恒定的位速率按积累的顺序以区的增量仅读出未被禁止读 出的区的编码数据。
即，在基于从读取指令单元294提供的这种读指令，被输出禁止 单元285指示禁止读出的情况下，Y緩沖区253和C緩冲区254省略 它的区的编码数据的读出，并且执行等同于关于Y緩沖区253和C 緩冲区254的按积累顺序的下一个区的未被禁止读出的区的编码数据的读出。
将参考图12和13进行关于在传输緩冲区控制单元202处执行的 读出的控制情况的描述。图12和13示意地示出了积累在緩沖区(Y 緩冲区253或C緩沖区254)内以便被读出的编码数据(Y数据或C 数据)的数据量的在时间上的改变。注意下面进行的参考图12和13 的描述可以应用于Y数据和C数据两者，所以此处不区分Y緩冲区 253和C緩冲区254中的每一个，以及Y数据和C数据中的每一个， 并且从而在下面的描述中它们要被称为緩冲区和编码数据。
在图12和13中，水平轴指示时间点，并且垂直轴指示积累在緩 冲区内以便被读出的编码数据的数据量(緩冲区数量)。每个柱状图 指示在每个时间点积累在緩沖区内以便被读出的编码数据。另外，柱 状图的每个正方形指示每个区的编码数据，并且以每个正方形中的字 母区分每个区。即，时间点间的包括相同字母的正方形指示包括在相 同区内的编码数据。
注意在图12和13中，编码数据的积累顺序被指示为从下向上。 例如，在图12所示的时间点T9的情况下，区I到区A中的区A的 编码数据是最先积累在緩冲区内的最早的数据，并且区I的编码数据 是最后积累在緩冲区内的最新的数据。即，每个区的编码数据被以区 Z、区A、区B、区C等等直到区I的顺序积累在緩沖区内。
另外，柱状图的垂直轴方向上的长度指示其编码数据的数据量。 换言之，每个正方形的垂直轴方向上的长度指示每个区的编码数据的 数据量。另外，如上所述， 一般地以恒定的位速率读出积累在緩冲区 内以便被读出的编码数据。即，柱状图的垂直轴方向上的长度还指示 读出积累在緩冲区内以便被读出的所以编码数据所需的时间(发送时 间)。换言之，每个正方形的垂直轴方向上的长度指示每个区的编码 数据的发送时间。
注意作为发送时间确认单元283容忍的发送时间的最大值的最 大发送时间被以点划线指示为"最大数量"。另外，我们假定由区数确 认单元284确定为可以积累在緩冲区内的区的数目的最大值的阈值是"8"。
现在，我们假定緩沖区的可用存储容量，即，根据硬件的限制， 对于最大发送时间和区数的最大值足够大。稍后将描述细节，但是做 出这样的布置，其中不会因为发送时间确认单元283的发送时间的限 制或区数确认单元284的区数的限制引起緩沖区溢出。
图12示意地示出了通过区数确认单元284和输出禁止单元285 的控制，积累在緩冲区内以便被读出的编码数据的数据量在时间上的 改变。
在图12所示的例子的情况下，在时间点Tl，区Z的编码数据和 随后的区A的编码数据被积累在緩冲区内以便被读出，并且一般地以 恒定的位速率读出之前积累的区Z。此时，积累在緩冲区内的区的数 目是2，所以输出禁止单元285不禁止编码数据的输出。
在自时间点Tl经过了预定的时间的时间点T2，区Z的编码数 据的读出已完成，并且区A编码数据和后续的区B的编码数据被积累 在緩沖区内以便被读出，并且一般地以恒定的位速率读出之前积累的 区A。此时，积累在緩沖区内的区的数目是2，所以输出禁止单元285 不禁止编码数据的输出。
在自时间点T2经过了预定的时间的时间点T3,区A的编码数 据的读出在继续，区A的剩余编码数据、后续区B的编码数据和后续 区C的编码数据被积累在緩冲区内以便被读出。此时，积累在緩冲区 内的区的数目是3，所以输出禁止单元285不禁止编码数据的输出。
在自时间点T3经过了预定的时间的时间点T4，区A的编码数 据的读出还在继续，区A的剩余编码数据，以及连续的区B到区D 的编码数据被积累在緩冲区内以便被读出。此时，积累在緩冲区内的 区的数目是4，所以输出禁止单元285不禁止编码数据的输出。
在自时间点T4经过了预定的时间的时间点T5，区A的编码数 据的读出还在继续，区A的剩余编码数据，以及连续的区B到区E 的编码数据被积累在緩冲区内以便被读出。此时，积累在緩冲区内的 区的数目是5，所以输出禁止单元285不禁止编码数据的输出。在自时间点T5经过了预定的时间的时间点T6,区A的编码数 据的读出还在继续，区A的剩余编码数据，以及连续的区B到区F 的编码数据被积累在緩冲区内以便被读出。此时，积累在緩冲区内的 区的数目是6，所以输出禁止单元285不禁止编码数据的输出。
在自时间点T6经过了预定的时间的时间点T7，区A的编码数 据的读出还在继续，区A的剩余编码数据，以及连续的区B到区G 的编码数据被积累在緩冲区内以便被读出。此时，积累在緩沖区内的 区的数目是7，所以输出禁止单元285不禁止编码数据的输出。
在自时间点T7经过了预定的时间的时间点T8，区A的编码数 据的读出还在继续，区A的剩余编码数据，以及连续的区B到区H 的编码数据被积累在緩冲区内以便被读出。此时，积累在緩冲区内的 区的数目是8，所以输出禁止单元285不禁止编码数据的输出。
在自时间点T8经过了预定的时间的时间点T9，区A的编码数 据的读出还在继续，区A的剩余编码数据，以及连续的区B到区I 的编码数据被积累在緩冲区内以便被读出。
此时，积累在緩冲区内的区的数目是9，并且超过了阈值8。因 此，输出禁止单元285执行库溢出控制，以便基于来自区数确认单元 284的通知，禁止作为当前正被输出的区A之后的后续区的区B的编 码数据的读出。
这是用于消除接收侧上由于短时间内的区A的编码数据的太大 的数据量引起的下溢出的处理。稍后将描述细节，但是当区A的传输 时间由于区A的太大的数据量而增加时，在接收侧上接收区A的所 有编码数据所需的时间也增加了。因此，区A之前的区的解码处理被 非预期地终止，并且引起所谓的下溢出，其中緩冲区成为是空的。一 旦发生这种下溢出，可以设想该下溢出不会被消除，而是关联到后续 的区以及其后的区，并且存在图像质量的退化不必要地扩展的可能。
因此，输出禁止单元285等执行诸如上面所述的控制，以便通过 省略(跳过)要被读出的编码数据的区中的一个，确保接收侧上用于 积累后续区的编码数据的时间，从而停止该下溢出的关联。稍后将描述其细节。
针对每个区，编码数据被周期地积累在緩冲区内，从而如果花费 长时间读出一个区，要被积累在緩沖区内的区的数目以其量增加。区
数确认单元284利用这一点通过计数同时积累在緩冲区内的编码数据 的区的数目，检测花费等于或大于预定基准的长的时间从緩冲区读出 编码数据的区，从而预测接收侧上的下溢出的发生。
因此，区数确认单元284可以仅仅通过计数积累在緩冲区内的编 码数据的区的数目，而不用计算每个区的发送时间，容易地预测接收 侧上的下溢出的发生。
另外，根据基于这种区数执行的库溢出控制处理，即使在诸如图 12所示，仅有一个区(区A)的发送时间长的情况下，区数确认单元 284可以检测它的区。即，区数确认单元284还可以检测编码数据的 数据量(发送时间)的波动中的高频分量。
另外，区数确认单元284可以甚至根据一个区检测具有长的发送 时间的区，所以输出禁止单元285每次禁止一个区的输出，从而可以 抑制下溢出的联系。即，可将对要被输出的区的禁止抑制为所需的最 小数量。因此，输出禁止单元285可以抑制由于禁止区的输出而引起 的图像质量的退化的不必要的增加。
另外，例如在图12中，诸如时间点T9，当执行库溢出处理时， 禁止区B的输出，并且读出区C的编码数据，但是在该情况下，花费 时间接收引起接收侧上緩冲区的积累数量减少的区A，并且因此易于 再次发生下溢出。在通过计算每个区的发送时间执行库溢出控制处理 的情况下，不能简单地识别出接收侧上的这种情况，但是区数确认单 元284基于积累在緩冲区内的编码数据的区的数目预测接收侧上下溢 出的发生，所以可以基于积累在緩冲区内的编码数据的区的数目推断 接收侧上緩冲区的编码数据的积累数量。
即，以传输侧上积累在緩沖区内的编码数据的区的数目表示接收 侧上緩沖区的下溢出发生的緩解，积累在传输侧上的緩沖区内的编码 数据的区的数目增加得越多(越接近阈值)，积累在接收侧上的緩沖区内的编码数据的区的数目越少，并且因此产生容易发生下溢出的状
态，而换言之，产生输出禁止单元285易于禁止编码数据的输出的状 态。
具体地，在时间点T1的情况下，积累在緩沖区内的编码数据的 区的数目是2，所以除非区A的编码数据的发送时间等于或大于时间 点T2到T9(8个部分)，输出禁止单元285不禁止输出，但是例如 在时间点T9，的情况下，如果区C的编码数据的发送时间等于或大于 两个部分，在时间点Tl的情况下，緩冲区内积累的编码数据的区的 数目是9，并且因此输出禁止单元285禁止后续的区D的输出。
因此，通过基于区的数目执行库溢出控制处理，区数确认单元 284和输出禁止单元285可以容易地使得库溢出控制处理的执行状态 大体根据接收侧上下溢出发生的緩解而波动。
注意到目前为止已经描述了在采用区数"8"为阈值，区的数目等 于或大于9的情况下，区数确认单元284使得输出禁止单元285执行 库溢出控制处理，但是该阈值是任意的。该阈值越小，积累在緩冲区 内的编码数据的数据量越少，从而抑制延迟时间的增加。相反，该阈 值越大，库溢出控制处理的频率可被减少得更少，从而减少图像质量 的退化。然而注意，希望将阈值设置为不会引起由于编码数据的积累 引起的緩冲区溢出。
图13示意地示出了通过发送时间确认单元283和输出禁止单元 285的控制，要被积累在緩冲区内以便被读出的编码数据的数据量在 时间上的改变。
在图13的情况下，时间点Tl到T6与图12所示的例子相同， 但是在时间点T7，积累在緩冲区内的编码数据的数据量的总和以双 箭头所示的量超过了最大数量。因此，输出禁止单元285基于来自发 送时间确认单元283的通知执行库溢出控制，以便以区的增量按所需 的量禁止自当前正被输出的区A之后的后续区起的编码数据的输出， 以便减少超过图13的双箭头所示的数据量的容忍范围的过多的量。 在图13所示的例子中，如双箭头所示，不能仅通过禁止区B的编码数据的输出消除该过多的量，所以如时间点T7，所示，输出禁止单元 285还禁止区B之后的区C的编码数据的输出。
在该情况下，在输出区A的数据之后，时间进一步流逝，并且 在区A的读出完成的情况下，省略区B和区C的编码数据的读出， 并且读出区D的编码数据。
即，发送时间确认单元283和输出禁止单元285基于积累在緩沖 区内的编码数据的发送时间(即，数据量)执行库溢出控制。因此， 执行库溢出控制，由此发送时间确认单元283和输出禁止单元285可 以按照要被积累在緩冲区内的编码数据的总数据量的限制抑制緩沖 区溢出的发生。因此，可以更有效地使用緩冲区的可用的存储容量。
例如，如图12中的例子所示，在基于区的数目的库溢出控制的 情况下，可以限制区的数目，但是不能限制数据量(发送时间)。因 此，当即使区的数目小但是数据量(发送时间)非常大时，存在引起 緩冲区溢出的可能。因此，需要基于产生的码的可预测的和实际的量 (发送时间)和緩沖区的硬件限制，将阈值设置为不会引起緩冲区溢 出。因此，需要提供较大的余量，从而每个区的编码数据的数据量(发 送时间)波动的越大，关于緩冲区的硬件限制该阈值设置得越小，在 该情况下，緩沖区的使用的有效性下降了。
相反，如图13中的例子所示，在基于数据量(发送时间)的库 溢出控制的情况下，可以定义最大数量，由此不论每个区的编码数据 的数据量(发送时间)的可变性的比率如何，可以抑制緩冲区使用的 有效性的下降。
注意希望基于产生的码的实际数量(发送时间)设置该最大数量， 从而超过编码数据的最大数量的过多的量不会超过緩冲区的硬件限 制。
在基于数据量(发送时间)的库溢出控制处理的情况下，不能检 测每个区的编码数据的数据量(发送时间)的波动。因此，与基于区 数执行的库溢出控制处理的情况相比，发送时间确认单元283仅能检 测编码数据的数据量(发送时间)的波动的低频分量。另外，如图13所示，在基于数据量(发送时间)的库溢出控制 处理的情况下，在某些情况下总地禁止多个区的输出，并且与基于区 数的库溢出控制处理的情况相比，对于接收侧上的输出图像，图像质 量退化的部分(区)的位置是集中的，并且在某些情况下图像质量的 退化是在视觉上显著的。
注意，发送时间确认单元283和输出禁止单元285执行基于数据 量(发送时间)的库溢出控制处理，由此发送时间确认单元283和输
方式，容易地使;库溢::制处理的执行状态大体上根据接k侧丄下
溢出的发生的緩解波动。
传输緩冲区写控制处理单元271可以容易地检测编码数据的数 据量(发送时间)的波动中的高频分量，并且还可以通过一起使用上 述的基于区数的库溢出控制处理和基于数据量(发送时间)的库溢出 控制处理，抑制緩冲区使用的有效性的下降。即，抑制两者的不足， 并且可以获得两者的优点。
在图11所示的传输緩冲区读控制处理单元272的控制下，将从 图IO所示的流输出控制单元255输出的编码数据提供给图2所示的 包产生单元203。包产生单元203基于诸如图片头或区头等的信息产 生头信息，并且为预定数据增量的每段编码数据添加其头信息，从而 产生编码数据的包。
图14是示出了由包产生单元203添加到编码数据上的头信息的 配置例子的示意图。如图14所示，头信息包括包含在该包内.的区的 区数、区的每个子带的码量信息(字节显示)和釆用的量化步长大小 的信息(Q_step)。在包的负栽包括多个区的编码数据的情况下，连 续地排列和多路复用关于每个区的上述的信息。
在如上所述打包之后，通过图l所示的数字调制单元122、放大 器124和视频分割/合成单元126将编码数据输出到双重屏蔽导线电缆 111。通过双重屏蔽导线电缆111将这样从传输单元110发送的包(编 码数据)发送到照相机控制单元112。图15是用于描述编码数据的交换情况的例子的示意图。如上所 述，在对每个区以预定的行数量输入的同时，对图像数据351进行小 波变换。随后，当达到预定的小波变换划分等级时，以产生顺序的相 反顺序，即，以从低带到高带的顺序重新布置从最低带子带到最高带 子带的系数行。
图15所示的图像数据351被示出为被针对每个子带划分，其中 以斜线、垂直线和波状线的模式划分的部分指示不同的区(如箭头所 示，图像数据351的白色部分被以相同的方式针对每个区划分和处 理)。如上所述对重新布置的区系数进行熵编码，从而产生编码数据。
例如，如图15所示，当产生第一个区(区1)的编码数据时， 传输单元110对其打包，并且将其作为传输包361发送到照相机控制 单元112。当接收该包(接收包371)时，照相机控制单元112对该 包解包以l更提取编码数据，并且对该编码数据解码。
类似地，当产生第二个区(区2)的编码数据时，传输单元110 对其打包，并且将其作为传输包362发送到照相机控制单元112。当 接收该包(接收包372 )时，照相机控制单元112对该编码数据解码。 另外，类似地，当产生第三个区(区3)的编码数据时，传输单元110 对其打包，并且将其作为传输包363发送到照相机控制单元112。当 接收该包(接收包373 )时，照相机控制单元112对该编码数据解码。
传输单元110和照相机控制单元112重复诸如上述的处理，直到 第X个区(区X)(传输包364，接收包374)。因此，在照相机控 制单元112处产生解码图像381。
对于电视广播，例如，釆用隔行图像，其中每秒有60场。因此， 一场的时间=1/60秒(=16微秒)。相反，传输单元110对每个区编 码以便发送它们。因此，直到传输单元110编码并且发送作为第一个 区的区1，照相机控制单元112接收并且解码区1，并且在中央控制 系统中输出图像的时间T(延迟时间)可能比一场的时间短。
接着，给出关于作为接收侧的视频信号解码单元的描述。图16 是示出了图1所示的视频信号解码单元136的详细的配置例子的方框图。注意，图1所示的视频信号解码单元121具有与视频信号解码单 元136相同的配置，所以可以将关于视频信号解码单元136的描述应 用于视频信号解码单元121。因此，为了简化描述，除了必要的情况 外，将省略对视频信号解码单元121的描述。
在图16中，视频信号解码单元136包括包解释单元401、接收 緩沖区控制单元402和解码单元403。
包解释单元401执行在数字解调单元134 (图1 )处解调并且从 传输单元110发送的包的解释，并且提取包括在头信息和负载内的编 码数据。包解释单元401将提取的头信息和编码数据提供给接收緩沖 区控制单元402。每次提供包，包解释单元401从包中提取头信息和 编码数据，并且将它们提供给接收緩冲区控制单元402。
接收緩冲区控制单元402在内置的緩冲区内积累从包解释单元 401提供的编码数据，在每个区的预定的时刻读出其解码数据，并且 将其提供给解码单元403。
解码单元403使用相应于图2所示的编码单元201的编码方法的 预定的解码方法对从接收緩沖区控制单元402提供的编码数据解码， 对获得的系数数据进行逆量化，以便执行小波逆变换，并且向中央控 制系统和视频信号编码单元137输出基带图像数据。
图17是示出了图16所示的接收緩沖区控制单元402的详细的配 置例子的图。在图17中，接收緩沖区控制单元402包括包头解释单 元411、输入控制单元421、 Y緩冲区422、 C缓冲区423、输出控制 单元424和区信息控制单元431。
由区信息控制单元431控制包头解释单元411，以便获得并且保 持从包解释单元401提供的头信息，在预定的时刻解释该头信息，并 且提取要被处理的区的参数信息。包头解释单元411将提取的参数信 息提供给解码单元403,以便在解码处理时使用。
由区信息控制单元431控制输入控制单元421，以便获得从包解 释单元401提供的编码数据，将Y数据(亮度分量Y的编码数据) 写入Y緩冲区422，并且将C数据(色差分量C的编码数据)写入C緩冲区423。
Y緩冲区422具有内置的存储介质，并且积累从输入控制单元 421提供的Y数据。另外，由区信息控制单元431控制Y緩沖区422， 以便以写的顺序读出积累的Y数据，并且将其提供给输出控制单元 424。
C緩冲区423具有内置的存储介质，并且积累从输入控制单元 421提供的C数据。另外，由区信息控制单元431控制C緩冲区423， 以便以写的顺序读出积累的C数据，并且将其提供给输出控制单元 424。
由区信息控制单元431控制输出控制单元424，以便多路复用并 且输出从Y緩冲区422提供的Y数据、从C緩冲区423提供的C数 据，并且将其提供给解码单元403 (图16)。
区信息控制单元431控制包头解释单元411、输入控制单元421、 Y緩冲区422、 C緩沖区423、输出控制单元424中的每一个单元的 操作，或产生作为用于替代丢失的编码数据的数据的伪数据，以便将 其提供给解码单元403。
即， 一般地以恒定的位速率从包解释单元401提供Y数据和C 数据，由输入控制单元421将其写入Y緩沖区422或C緩冲区423， 将其临时保持在其中，将其以区的增量读出，并且由输出控制单元424 进行多路复用并且输出到解码单元403。
区信息控制单元431控制关于用于这种Y数据和C数据的时间 调整的緩存的各种处理。
如果增加在其中积累编码数据的Y緩冲区422和C緩沖区423 的存储容量，即，如果做出这样的布置，其中在Y緩冲区422和C 緩沖区423中积累更多的系数数据，可以改善输出图像的图像质量， 但是延迟时间增加了。另外，为了抑制花费和电路规模的增加，Y緩 冲区422和C緩冲区423的存储容量的不必要的增加是不希望的。
区信息控制单元431控制在Y数据和C数据的解码处理之前， 在时间调整时Y緩沖区422和C緩冲区423的输入/输出，从而抑制不必要的延迟时间的增加，并且还抑制内容的质量的不必要的退化。 稍后将描述其细节。
图18是示出了图17所示的区信息控制单元431的详细的配置例 子的方框图。如图18所示，区信息控制单元431包括接收緩冲区写 控制处理单元441和接收緩冲区读控制处理单元442。
接收緩沖区写控制处理单元441是用于控制关于向作为接收緩 冲区的Y緩冲区422和C緩冲区423 (两者都在图17中)写编码数 据的处理的处理单元。接收緩冲区读控制处理单元442是用于控制关 于从作为接收緩冲区的Y緩冲区422和C緩冲区423读取编码数据 的处理的处理单元。
接收緩冲区写控制处理单元441包括写控制单元451和写指令单 元452。
写控制单元451控制写指令单元452的处理。由写控制单元451 控制写指令单元452，以便向输入控制单元421提供指令，以便在预 定的时刻向Y緩冲区422内写(积累)Y数据，并且向C緩冲区423 内写(积累)C数据。输入控制单元421基于从写指令单元452提供 的写指令，将从包解释单元401提供的Y数据提供给Y緩冲区422 以便积累它，并且将从包解释单元401提供的C数据提供给C緩冲 区423以^t积累它。
接收緩冲区读控制处理单元442包括读取控制单元461、区号确 认单元464、参数提取指令单元465、读取指令单元466、伪数据保持 单元467和补充处理单元468。
读取控制单元461控制由区号确认单元464到补充处理单元468 中的每一个单元执行的处理。
由读取控制单元461控制区号确认单元464以便选择积累在Y 緩冲区422和C緩冲区423内的编码数据的区中的最早的区作为要被 处理的区，并且确认选择的区的区号是否跟在之前处理的区的区号之 后，从而确认区丢失的存在。
以基本上从最早的编码数据起的顺序为每个区读出积累在緩冲区(Y緩冲区422和C緩冲区423)内的编码数据。如参考图8所述， 以每个区的顺序(区顺序)从视频信号编码单元120提供编码数据， 所以如果没有编码数据(区)的丢失，要被处理的区的区号每次需要 增加1。如果被选择为要被处理的区的区号未跟在上次从緩冲区读出 的(或进行了后面所述的补充处理的)区的区号之后，则意味着应当 存在于这些区之间的单个或多个区丢失了。
例如，如上参考图12和13所述，在视频信号编码单元120处执 行库溢出控制处理的情况下，对于提供给视频信号解码单元136的编 码数据，发生区的丟失。
区号确认单元464监视要被处理的区的区号，并且确认区号是否 按从l开始的顺序每次增加1，从而确认是否发生了这种区的丟失。
注意区号确认单元464可以确认要被处理的区的区号。例如，可 以这样的布置管理积累在緩沖区内的所有编码数据的区号，其中当编 码数据被积累在緩冲区内时，区号确认单元464获得该编码数据的区 号。可替换地，例如，可以做出这样的布置，其中为每个区，将编码 数据和头信息两者积累在緩沖区内(Y緩冲区422和C緩沖区423 )， 并且基于相应于积累在緩冲区内的要被处理的区的头信息，区号确认 单元464识别它的区。可替换地，例如，可以做出这样的布置，其中 头信息被积累在包头解释单元411内，仅将编码数据积累在緩冲区内， 这些头信息和编码数据被使用任意方法针对每个区彼此相关，区号确 认单元464参考指示头信息和编码数据间的关系的信息，以便从包头 解释单元411获得相应于要被处理的区的编码数据的头信息，并且参 考该头信息识别要被处理的区的区号。不言而喻的是可以采用除此之 外的其它方法。
在作为区号确认单元464的确认结果未发生区的丢失的情况下， 由读取控制单元461控制参数提取指令单元465，以便给包头解释单 元411提供用于从头信息提取要被处理的区的参数的提取指令。
在作为区号确认单元464的确认结果未发生区的丢失的情况下， 由读取控制单元461控制读取指令单元466，以便给Y緩沖区422和C緩冲区423提供读取指令，以便读出要被处理的区的编码数据(Y 数据和C数据)，以便将其提供给输出控制单元424。
由读取控制单元461控制伪数据保持单元467，以便保持伪数据， 所述伪数据是用于替代丟失的系数数据的数据。可以采用任意数据作 为伪数据，只要它是区的增量的编码数据。例如，伪数据可以是以这 样的布置获得的编码数据，其中以与编码单元201相同的方式对具有 诸如白色、黑色、灰色等的预定颜色的基带图像数据的一个区量进行 小波变换、重新布置、量化，并且进行熵编码。即，在该情况下伪数 据是编码数据，由此根据解码单元403的解码处理获得具有诸如灰色 等的预定颜色的基带图像数据的一个区量。伪数据可以是任意数据， 只要该数据是事先准备的。即，被作为伪数据采用的图像数据的图像 可以是任意颜色，或可由多种颜色配置而成，或可以包括图形、图案 字符、图片等。
在作为区号确认单元464的确认结果发生了区的丟失的情况下， 由读取控制单元461控制补充处理单元468，以便从伪数据保持单元 467获得伪数据，并且取代丢失的编码数据，在丢失的编码数据的读 取时刻将伪数据输出到解码单元403。
将参考图19给出关于由接收緩冲区控制单元402执行的以区的 增量执行的读出控制的情况的描述。
图19是示意地示出了积累在緩沖区(Y緩冲区422或C緩冲区 423 )内要被被读出的编码数据(Y数据和C数据)的数据量在时间 上的改变的图。图19所示的例子是相应于图12所示的例子的例子， 并且示意地示出了当诸如图12所示的例子执行控制，并且积累从视 频信号编码单元120输出的编码数据时，数据量在时间上的改变。即， 与其它区的编码数据的数据量相比，区A的编码数据的数据量非常 大。另外，禁止区B的编码数据的输出，从而在区A之后提供区C 的编码数据。
注意下面进行的参考图19的描述可以应用于Y数据和C数据两 者，所以此处不区分Y緩冲区422和C緩冲区423中的每一个，以及Y数据和C数据中的每一个，并且因此在下面的描述中它们被称 为緩冲区和编码数据。
以与图12相同的方式，在图19中水平轴也指示时间点，并且垂 直轴指示积累在緩冲区内以便被读出的编码数据的数据量(緩冲区数 量)。每个柱状图指示在每个时间点积累在緩冲区内以便被读出的编 码数据。另外，柱状图的每个正方形指示每个区的编码数据，并且以 每个正方形内的字母区分每个区。编码数据的积累顺序被指示为从下 向上。另外，柱状图的垂直轴方向上的长度指示其编码数据的数据量。 现在，我们假设緩冲区的可用存储容量，即，根据硬件的局限，足够 大。
在图19所示的例子的情况下，在时间点Tl，区S到Z的编码 数据被积累在緩沖区内以便被读出。在Tl，将积累在緩冲区内的编 码数据的区中的首先被积累的区S设置为要被处理的区，并且进行其 区号是否跟在上次处理的区的区号之后的确认。在根据该确认确定未 发生区(编码数据)的丟失的情况下，参数提取指令单元465提取要 被处理的区S的参数，并且将其提供给解码单元403。另外，读取指 令单元466给緩沖区提供读取指令，以便读出区S的系数数据，并且 将其提供给输出控制单元424。在输出控制单元424多路复用从Y緩 冲区422读出的Y数据和从C緩沖区423读出的C数据，并且将其 提供给解码单元403。
因此，在从时间点Tl经过了预定时间的时间点T2，区S的编 码数据被从緩冲区中全部读出，并且从緩冲区中消除，取而代之，一 般地以预定的恒定位速率从输入控制单元421提供区A，并且将其积 累在緩沖区内。在时间点T2，将跟在区S之后的区T设置为要被处 理的区，并且以与上述区S的情况相同的方式，读出编码数据。
在从时间点T2经过了预定时间的时间点T3，区T的编码数据 被从緩沖区中全部读出，并且被从緩沖区中消除。另外，随后以预定 的位速率执行区A的积累。在时间点T3，将跟在区T之后的区U设 置为要被处理的区，并且以与上述区T的情况相同的方式，读出编码数据。
在从时间点T3经过了预定时间的时间点T4，区U的编码数据 被从緩冲区中全部读出，并且被从緩冲区中消除。另外，随后以预定 的位速率执行区A的积累。在时间点T4，将跟在区U之后的区V设 置为要被处理的区，并且以与上述区U的情况相同的方式，读出编码 数据。
在从时间点T4经过了预定时间的时间点T5,区V的编码数据 被从緩冲区中全部读出，并且被从緩冲区中消除。另外，随后以预定 的位速率执行区A的积累。在时间点T5，将跟在区V之后的区W设 置为要被处理的区，并且以与上述区V的情况相同的方式，读出编码 数据。
在从时间点T5经过了预定时间的时间点T6,区W的编码数据 被从緩冲区中全部读出，并且被从緩冲区中消除。另外，随后以预定 的位速率执行区A的积累。在时间点T6，将跟在区W之后的区X设 置为要被处理的区，并且以与上述区W的情况相同的方式，读出编 码数据。
在从时间点T6经过了预定时间的时间点T7，区X的编码数据 被从緩冲区中全部读出，并且被从緩冲区中消除。另外，随后以预定 的位速率执行区A的积累。在时间点T7，将跟在区X之后的区Y设 置为要被处理的区，并且以与上述区X的情况相同的方式，读出编码 数据。
在从时间点T7经过了预定时间的时间点T8，区Y的编码数据 被从緩冲区中全部读出，并且被从緩冲区中消除。另外，随后以预定 的位速率执行区A的积累。在该时间点T8，将跟在区Y之后的区Z 设置为要被处理的区，并且以与上述区Y的情况相同的方式，读出编 码数据。
在从时间点T8经过了预定时间的时间点T9,区Z的编码数据 被从緩冲区中全部读出，并且被从緩冲区中消除。在时间点T9，最 终完成了区A的积累。即，在该情况下，与其它区的编码数据的数据量相比，区A的编码数据的数据量非常大。在这种情况下，在时间点 T9,将跟在区Z之后的其积累刚刚完成的区A设置为要被处理的区， 并且以与上述区Z的情况相同的方式，读出编码数据。
如上所述，在传输緩沖区控制单元202处禁止区B的编码数据 的输出，所以跟在区A之后提供区C的编码数据。
因此，在从时间点T9经过了预定时间的时间点T10,区A的编 码数据被从緩冲区中全部读出，并且被从緩沖区中消除，并且以预定 的位速率在緩冲区中积累区C的编码数据。在时间点TIO，将在区A 之后提供的区C设置为要被处理的区，但是原来应当将区B设置为要 被处理的区，并且因此区号不连续。因此，取代该丢失的区B，读出 伪数据并且将其提供给解码单元403。在这段时间中，继续区C的编 码数据的积累，并且结束。
在区C的编码数据的积累完成之后，开始随后提供的区D的编 码数据的积累。
因此，在从时间点T10经过了预定时间的时间点Tll，区B的 编码数据被从緩冲区中全部读出，并且被从緩冲区中消除，区C的编 码数据的积累结束，并且以预定的位速率在緩冲区中积累区D的编码 数据。
在时间点Tll，要被处理的区仍然是区C，区号从被进行了上次 的补充处理的区B区号是连续的，所以从缓冲区读出区C的编码数据， 并且提供给解码单元403。
即，如图20所示，以区S、区T、区U等等直到区A的顺序为 每个区输出编码数据，并且在区A之后取代丢失的区B的编码数据输 出事先准备的伪数据(伪B)的一个区量。即，以伪数据补充丢失的 编码数据。
例如，如果编码数据的丟失是单独一个区的一场量，对于输出图 像，在大约16微秒期间仅丢失若干行图像，所以图像质量的退化不 太显著。另外，将诸如灰色等的在视觉上显著的颜色的图像的编码数 据作为伪数据，由此接收緩冲区控制单元402可以使得由于编码数据的丢失引起的图像质量的退化更显著。
注意，如图19所示，在视频信号编码单元120处执行了库溢出 控制处理，并且禁止了区B的输出，所以跟在区A之后提供区C的 编码数据，但是因此，在原来作为区B的输出时刻的时间点T10执行 了区C的编码数据的积累。因此，直到作为区C的输出时刻的时间 点Tll为止，可以充分地确保区C的编码数据的积累，可以在作为区 C的输出时刻的时间点Tll完成区C的编码数据的积累。即，在时间 点Tll，接收緩沖区控制单元402可以将区C的所有编码数据提供给 解码单元403。
如果视频信号编码单元120不执行诸如上面所述的库溢出控制 处理，如图21所示，在时间点T10,提供区B的编码数据，并且随 后以区C、区D等等直到区H、区J和区K的顺序提供编码数据。
如上所述，时间点T10是区B的输出时刻，但是区B的编码数 据的积累已经从时间点T9开始了 ，所以不必然在时间点T10积累了 区B的所有编码数据。即，如闺21所示的时间点T10处的区B的斜 线所示，存在具有未积累的编码数据的可能。在该阶段(时间点TIO)， 如果将区B的编码数据提供给解码单元403，存在该编码数据的未积 累部分丟失的可能，所以输出图像的图像质量退化了。
随后，从时间点T10开始跟在区B之后的区C的编码数据的积 累，所以以与区B的情况相同的方式，在作为输出时刻的时间点Tll， 不必然在緩沖区内积累在区C的所有编码数据，并且如斜线所示，存 在具有未积累的编码数据的可能。在该阶段(时间点Tll)，如果将 区C的编码数据提供给解码单元403，存在该编码数据的未积累部分 丟失的可能，所以输出图像的图像质量退化了。
即，在存在类似于区A的花费时间传输的区的情况下，对于接 收侧上的緩冲区(Y緩冲区422和C緩沖区423)，缺少要被积累的 编码数据，并且方式所谓的下溢出。此时，在视频信号编码单元120 不执行如上所述的库溢出控制处理的情况下，在每个区诸如图21所 示的区B到区J处存在发生下溢出的可能。即，诸如读出时刻的斜线所示，在每个区处存在由于太短的积累时间产生的未积累部分的可 能，并且从而在长的时间段上下溢出都不能消除。
如果下溢出被这样扩展，存在输出图像的图像质量退化行(范围) 增加的可能，并且因此，图像质量的退化将是明显的。
视频信号编码单元120执行诸如上述的库溢出处理，由此将下溢 出的发生局限于一个区，并且可以抑制不必要的下溢出的出现的扩 展，并且因此可以抑制输出图像的图像质量的退化行(范围)。
接着，将描述图16所示的解码单元403的细节。图22是示出了 解码单元403的详细的配置例子的方框图。解码单元403是相应于图 2的解码单元20的解码单元，并且如从图22可见，包括熵解码单元 481、逆量化单元482、系数緩冲区单元483和小波逆变换单元484。
在从接收緩冲区控制单元402获得编码数据之后，熵解码单元 481执行每行的编码数据的熵解码，并且将获得的系数数据提供给逆 量化单元482。逆量化单元482基于包括在从接收緩冲区控制单元402 的包头解释单元411获得的参数中的关于量化的信息，对提供的系数 数据进行逆量化，并且将获得的系数数据提供给系数緩冲区单元483 以便存储。小波逆变换单元484使用存储在系数緩冲区单元483内的 系数数据通过合成滤波器执行合成滤波处理，并且将合成滤波处理的 结果再次存储在系数緩冲区单元483内。小波逆变换单元484根据划 分等级重复该处理，并且获得解码的图像数据(输出图像数据)。小 波逆变换单元484向外输出来自解码单元403的输出图像数据。
一般地，对于小波逆变换，首先，对要被处理的划分等级的所有 系数在水平方向上执行水平合成滤波处理，并且然后进行垂直方向上 的垂直合成滤波处理。即，每次执行每个合成滤波处理，需要在緩沖 区内保持合成滤波处理的结果，但是需要保持该时间点的划分等级的 合成滤波结果以及下一个划分等级的所有系数，这需要极大的存储器 容量，即，要被保持的数据量极大。
另外，在该情况下，直到图片(在隔行的情况下，场)内的所有 小波变换为止，不执行图像数据输出，所以从输入到输出的延迟时间增力口了。
相反，在小波逆变换单元484的情况下，水平合成滤波处理和垂 直合成滤波处理被以区的增量执行到等级1,所以与相关技术采用的 方法相比，需要立刻(在相同的时间段)緩存的数据量较小，所以可 以显著地减小需要提供的緩沖区的容量。另外执行合成滤波处理(小 波逆变换)到等级l能够在获得图片的所有图像数据之前以区增量连 续输出图像数据，从而与相关技术采用的方法相比，显著地减小了延 迟时间。
接着，将描述由上述的数字双重屏蔽导线系统100的组件执行的 处理。将参考图23所示的流程图描述由传输单元110的视频信号编 码单元120的编码单元201 (图3 )执行的编码处理的流程的例子。
在编码处理开始之后，在步骤S1，小波变换单元221将要被处 理的区的号码A设置为初始设置。在通常情况下，将号码A设置为 "1"。在设置结束之后，在步骤S2，小波变换单元221获得产生一行 (即一个区)所需的行数的图像数据，所述行是最低带的子带中的从 顶部起的第A个，并且对于该图像数据，在步骤S3执行垂直分析滤 波处理，它执行关于布置在屏幕的垂直方向上的图像数据的分析滤 波，并且在步骤S4执行水平分析滤波处理，它执行关于布置在屏幕 的水平方向上的图像数据的分析滤波。
在步骤S5，小波变换单元221确定分析滤波处理是否被执行到 了最后的等级。在确定划分等级未达到最后等级的情况下，处理返回 步骤S3，并且对当前的划分等级重复步骤S3和S4中的分析滤波处 理。
在步骤S5，在确定分析滤波处理被执行到最终等级的情况下， 处理进入步骤S6。
在步骤S6，系数重新布置单元224以从低带到高带的顺序重新 布置区A的系数(从图片(在隔行的情况下为场)的顶部起的第A 个区)。在步骤S7，量化单元225使用预定的量化系数量化重新布置 的系数。在步骤S8，熵编码单元227为每一行对其系数进行熵编码，并且在步骤S9发送出区A的编码数据。
在步骤SIO，小波变换单元221将号码A的值增加"l"，并且对 下一个区进行处理，并且在步骤Sll中确定要被处理的图片(在隔行 的情况下为场)是否有任何未被处理的图像输入行。在确定存在未处 理的图像输入行的情况下，处理返回步骤S2，并且对新的要被处理的 区重复之后的处理。
因此，重复执行步骤S2到S10中的处理，并且对每个区编码。 在步骤Sll，在确定没有未处理的图像输入行的情况下，结束关于该 图片的编码处理。开始关于下一个图片的新的编码处理。
因此，小波变换单元221继续以区的增量执行直到最后等级为止 的垂直分析滤波处理和水平分析滤波处理，所以与当前使用的方法相 比，需要一次(在相同时段)保持(緩存)的数据量是小的，所以可 以极大地减小要被提供的緩冲区内的存储器的容量。另外，通过执行 直到最终等级的分析滤波处理，还可以执行后面阶段的处理，诸如系 数重新布置或熵编码(即，可以区的增量执行系数重新布置和熵编 码)。因此，与对整个屏幕执行小波变换的方法相比，可以极大地减 小延迟时间。
接着，将参考图24所示的流程图，描述由传输緩冲区写控制处 理单元271 (图11)执行的传输緩沖区写控制处理的流程的例子。
在传输緩冲区写控制处理开始之后，在步骤S31,写控制单元281 确定该时刻是否是预定的时刻，并且待命直到确定该时刻是预定的时 刻为止。在确定该时刻是预定的时刻的情况下，流程进入步骤S32。 在步骤S32,写指令单元282向Y数据写控制单元251和C数据写控 制单元252提供写指令，以便将一个区量的编码数据写到緩冲区。
在步骤S33，区数确认单元284计算积累在緩冲区内的编码数据 的区的数目，并且确定緩沖区内的区的数目是否超过了事先设置的预 定阈值。在确定超过了该阈值的情况下，流程进入步骤S34。在步骤 S34,输出禁止单元285禁止跟在当前正被读取的区之后的下一个区 的编码数据的读出。在步骤S34中的处理结束之后，流程进入步骤S37。
在另一方面，在步骤S33中确定緩冲区内的区的数目在阈值之内 的情况下，流程进入步骤S35。在步骤S35,发送时间确认单元283 计算积累在緩冲区内的编码数据的总的发送时间，并且做出关于是否 可以在预定的时间内将緩沖区内的所有编码数据发送出去的确定。在 确定不能在该时间内发送所有编码数据的情况下，流程进入步骤S36。 在步骤S36,从跟在当前正被读取的区之后的下一个区起，输出禁止 单元285按输出顺序禁止所需区数的编码数据的输出。在步骤S36的 处理结束之后，流程进入步骤S37。
另外，在步骤S35确定可以在预定的时间内发出緩沖区内的所有 编码数据的情况下，流程进入步骤S37。
在步骤S37,写控制单元281确定图片内是否存在未处理的区。 在确定图片内存在未处理的区的情况下，流程返回步骤S31，并且重 复后续的处理。另外，在步骤S37确定图片内不存在未处理的区的情 况下，传输緩冲区写控制处理结束。
接着，将参考图25所示的流程图，描述由传输緩冲区读控制处 理单元272 (图11)执行的传输緩冲区读控制处理的流程的例子。
在传输緩沖区读控制处理开始之后，在步骤S251,区头产生单 元292产生Y数据区头。在步骤S52，读取控制单元291确定当前的 区是否是开头的区。在确定当前的区是开头的区的情况下，流程进入 步骤S53。在步骤S53，图片头产生单元293产生图片头，在此之后 流程进入步骤S54。另外，在步骤S52确定当前的区不是开头的区的 情况下，省略步骤S53的处理，并且流程进入步骤S54。
在步骤S54，读取指令单元294指示Y緩冲区253读出要被处理 的区的Y数据。在步骤S55，区头产生单元292产生C数据的区头。 在步骤S56,读取指令单元294指示C緩冲区254读出要被处理的区 的C数据。在S56的处理结束之后，流程进入步骤S57。
在步骤S57，读取控制单元291确定图片中是否存在未处理的区。 在确定图片中存在未处理的区的情况下，流程返回步骤S51，并且重复随后的处理。另外，在步骤S57确定图片内没有未处理的区的情况 下，传输緩冲区读取控制处理结束。对下一个图片执行新的传输緩沖 区读取控制处理。
接着，将参考图26所示的流程图描述由区信息控制单元431(图 18)执行的接收緩沖区写控制处理的流程的例子。
在接收緩冲区写控制处理开始之后，在步骤S71,接收緩冲区写 控制处理单元441的写控制单元451确定编码数据是否已被提供给输 入控制单元421，并且待命直到确定该结果为止。在确定已经提供了 编码数据的情况下，流程进入步骤S72。
在步骤S72，写指令单元452执行给输入控制单元421的写指令， 以便按区将Y数据积累在Y緩冲区内。输入控制单元421基于该指 令将Y数据提供给Y緩冲区422，并且按区进行积累。
在步骤S73,写指令单元452执行给输入控制单元421的写指令， 以便按区在C緩冲区423中积累C数据。输入控制单元421基于该 指令将C数据提供给C緩冲区423，并且按区进行积累。
在步骤S74，写控制单元451确定图片中是否存在未处理的区。 在确定存在未处理的区的情况下，流程返回步骤S71，并且重复后续 的处理。另外，在步骤S74确定图片中没有未处理的区的情况下，接 收緩冲区写控制处理结束。对下一个图片执行新的接收緩沖区写控制 处理。
接着，将参考图27所示的流程图描述由区信息控制单元431(图 18)执行的接收緩冲区读取控制处理的流程的例子。
在接收緩沖区读取控制处理开始之后，在步骤S91，区号确认单 元464将积累在緩冲区(Y緩沖区422和C緩冲区423)中的编码数 据内的最早的区设置为要被处理的区。在步骤S92，读取控制单元461 确定该时刻是否是预定的时刻，并且待命直到确定该时刻是预定的时 刻为止。在确定该时刻是预定的时刻的情况下，流程进入步骤S93。
在步骤S93，区号确认单元464确定要被处理的区的区号是否与 前一次从緩冲区读出的或被进行补充处理的区的区号连续。注意，在要被处理的区是要被处理的图片的第一个区的情况下，区号确认单元
464确定要被处理的区是否是该图片的顶部的区，即，要被处理的区 的区号是否是l。
在确定区号连续的情况下，流程进入步骤S94。在该情况下，确 定在传输緩冲区控制单元202处未执行库溢出控制处理，所以在步骤 S94，参数提取指令单元465向包头解释单元411给出参数提取指令， 以便从头信息中提取要被处理的区的参数信息。包头解释单元411基 于该指令从头信息中提取要被处理的区的参数信息，并且将其提供给 解码单元403。
在步骤S95，读取指令单元466向Y緩冲区422给出读取指令， 以便读出要被处理的区的Y数据。Y緩冲区422基于该指令读出要被 处理的区的Y数据，并且将其提供给输出控制单元424。在步骤S96， 读取指令单元466向C緩冲区423给出读取指令，以便读出要被处理 的区的C数据。C緩冲区423基于该指令读出要被处理的区的C数据， 并且将其提供给输出控制单元424。输出控制单元424多路复用提供 的Y数据和C数据，并且将其提供给解码单元403。在步骤S96的处 理结束之后，流程进入步骤S98。
在步骤S93确定区号不连续的情况下，流程进入步骤S97。在该 情况下，确定存在编码数据的丢失。在步骤S97，补充处理单元468 从伪数据保持单元467获得伪数据，并且将伪数据提供给解码单元 403，由此补充丢失的编码数据。在步骤S97的处理结束之后，流程 进入步骤S98。.
在步骤S98，写控制单元451确定要被处理的图片中是否存在未 处理的区。在确定存在未处理的区的情况下，流程返回步骤S91，并 且重复后续处理。即，对下一个区执行处理。另外，在步骤S93确定 区号不连续的情况下，尚未读出要被处理的区的编码数据，所以确定 存在未处理的区。即，在该情况下，流程返回步骤S91。
因此，对每个区执行步骤S91到98的处理的循环。注意在步骤 S91，将最早的区设置为要被处理的区，所以在前一个循环中的步骤S97的以伪数据补充的情况下，未从緩冲区中读出被设置为前一个循 环中的要被处理的区的区的编码数据，并且因此将相同的区作为要被 处理的区。
在步骤S98确定图片中没有未处理的区的情况下，接收緩冲区写 控制处理结束。对下一个图片执行新的接收緩沖区写控制处理。
下面参照图28的流程图说明由解码单元403 (图22)执行的解 码处理的流程的例子。这个解码处理对应于图23的流程图所示的编 码处理。
在解码处理开始之后，在步骤S131，熵解码单元481获得编码 数据，在步骤S132，熵解码每行的编码数据。在步骤S133，逆量化 单元482对由熵解码获得的系数数据进行逆量化。在步骤S134，系数 緩冲单元483保持通过逆量化获得的系数数据。在步骤S135，小波逆 变换单元484确定在系数緩冲单元483中是否积累了 一个区量的系数 数据。在确定尚未积累的情况下，处理返回步骤S131，并执行其后的 处理。这就是说，小波逆变换单元484待命直到在系数緩冲单元483 积累一个区量的系数数据。
在步骤S135确定在系数緩沖单元483已经积累了一个区量的系 数数据的情况下，处理前进到步骤S136。在步骤S136，小波逆变换 单元484读取被保持在系数緩沖单元483中的一个区量的系数数据， 并在步骤S137对读出的系数数据进行垂直合成滤波处理，其中对在 屏幕上沿垂直方向排列的系数数据进行合成滤波处理，在步骤S138, 进行水平合成滤波处理，其中对在屏幕上沿水平方向排列的系数数据 进行合成滤波处理。在步骤S139，小波逆变换单元484确定合成滤波 处理是否通过级l (其中分级值是"l，，的级)被完成，即是否是否进行 了逆变换，直到达到小波变换之前的状态。在确定级l尚未达到的情 况下，处理返回步骤S137,并重复步骤S137和S138的滤波处理直到 达到级l。
在步骤S139,则确定小波逆变换处理通过级1被完成的情况下， 处理前进到步骤S140。在步骤S140，小波逆变换羊元484从解码单元403向外部输出由小波逆变换处理获得的图像数据。
在步骤S141,熵解码单元481确定是否结束解码处理。在确定 不结束解码处理的情况下，处理返回步骤S131，并重复其后的处理。 此外，在步骤S141，在通过完成所述区而确定结束解码处理的情况下， 则结束解码处理。
因而，在小波逆变换单元484的情况下，按照区的增量进行水平 合成滤波处理和垂直合成滤波处理直到级1，从而和相关技术使用的 方法相比，需要被一次緩冲的数据量较小，因而可以显著减小需要提 供的緩沖器的容量。此外，进行合成滤波处理到级l使得在获得图片 的图像数据之前能够以区增量顺序地输出图像数据，从而和现有技术 使用的方法相比，可以显著地减小延迟时间。
发送侧进行库溢出控制处理，如上所述，接收侧按照库溢出控制 进行补充处理，从而在内容的数据传输中可以容易地抑制不需要的延 迟时间的增加，并且可以抑制内容质量的不需要的劣化。
这种数据传输处理在其中要求数据传输时间的立即性(实时性) 即减小延迟时间的系统中是尤其有效的。此外，上述的库溢出控制处 理和补充处理可以以区增量被进行，因而特别适合于使用以区增量进 行的编码处理和解码处理的系统。
由例如上面所述的元件执行的各种处理被适当地并行执行，例如 图29所示。图29是一个示意图，表示由图2的视频信号解码单元120 和图16的视频信号解码单元136执行的处理的各个元件的并行操作 的例子。图29相应于上述的图7。
第一时间的小波变换WT-1由小波变换单元ll(图3)对图像数 据的输入In-l (图29中的A)执行。如参照图6所述，第一时间小 波变换WT-1在输入头三行的时间点开始，并产生系数Cl。这就是 说，从图像数据In-l的输入到小波变换WT-1的开始发生三行量的延 迟。
产生的系数数据被存储在系数重新布置緩冲单元223 (图3)中。 此后，对输入的图像数据进行小波变换并完成第一时间处理，借以把处理在第二时间不改变地传递到小波变换WT-2。
为了第二时间的小波变换WT-2和第二时间的小波变换WT-2的 处理，三个系数C1，C4和C5的重新布置Ord-l由系数重新布置单元 224 (图3 )和图像数据In-2的输入并行地执行(图29中的C )。
注意从小波变换WT-l的结束直到重新布置Ord-l开始的延迟是 基于设备或系统配置的延迟，例如是和控制信号的传输以命令系数重 新布置单元224进行重新布置处理有关的延迟，是一个由于控制信号 而使系数重新布置单元224开始处理所需的延迟，或者是程序处理所 需的延迟，而不是和编码处理有关的延迟。
系数数据按照完成重新布置的顺序被从系数重新布置緩冲单元 223读出，在量化单元225被量化，被提供给熵编码单元227 (图3)， 并被进行熵编码EC-1 (图29中的D )。熵编码EC-1可以不用等待3 个系数C1，C4和C5的重新布置全部结束便开始。例如，在首先输入 的系数C5的一行的重新布置结束的时刻，可以开始关于系数C5的 熵编码。在这种情况下，从重新布置Ord-l的处理开始到熵编码EC-1 的处理开始的延迟是一行的量。
由熵编码单元227对其进行的熵编码已经结束的编码数据被经 受预定的信号处理，然后经过双重屏蔽导线111传送到摄像机控制单 元112 (图29中的E)。此时，编码数据以成包的方式被传输。
图像数据按照顺序被输入到传输单元110的视频信号编码单元 120,从第一处理的7行量到屏幕的结束行。在视频信号编码单元120， 按照输入的图像数据In-n (其中n是2或更大的数)，每四行经受小 波变换WT-n、重新排序Ord-n、以及熵编码EC-n，如上所述。在视 频信号编码单元120最后一次进行的重新排序Ord和熵编码EC被在 6行上进行。这些处理被在视频信号编码单元120并行地执行，如图 29中A-D示例地示出的。
由编码单元120进行熵编码EC-1而编码的编码数据的包,皮传输 到摄像机控制单元112，经受预定信号处理，并被提供给视频信号解 码单元136。视频信号解码单元136 (图16)的包解释单元401分离包头信息和编码数据，接收緩冲控制单元402以区增量提供编码数据 到解码单元403。解码单元403 (图22)的熵解码单元481顺序地进 行关于由熵编码EC-1编码的编码数据的熵编码的解码iEC-l,并恢复 系数数据(图29中的F)。恢复的系数数据在逆量化单元482经受逆 量化，然后被顺序地存储在系数緩沖单元483。根据在系数緩沖单元 483中存储的能够经受小波逆变换的系数数据的数量，小波逆变换单 元484从系数緩冲单元483读出系数数据，并使用读出的系数进行小 波逆变换iWT-l (图29中的G )。
如参照图6所述，在小波逆变换单元484进行的小波逆变换 iWT-l可以在系数C4和C5被存储在系数緩冲单元483中的时间点 开始。因而从熵解码单元481的解码iEC-l开始到小波逆变换单元484 的小波逆变换iWT-l开始的延迟是两行量。
利用小波逆变换单元484，在对第一次编码的小波变换进行三行 量的小波逆变换iWT-l时，进行由小波逆变换iWT-l产生的图像数 据的输出Out-l (图29中的H)。利用输出Out-l,如参照图6和7 所述，输出第一行的图像数据。
在视频信号编码单元120向视频信号解码单元136通过第一次处 理输入三行量的编码系数数据之后，顺序地输入熵编码EC-n ( n是2 或更大)编码的系数数据。由视频信号解码单元136，对于每四行， 输入的系数数据经受熵解码iEC-n和小波变换iWT-n，如上所述，顺 序地进行由小波逆变换iWT-n恢复的图像数据的输出Out-n。对6行 进行对应于视频信号编码单元120最后一次的熵解码iEC和小波逆变 换iWT，并输出8行的输出Out。这个处理在视频信号解码单元136 例如从图29中的F到H被并行地执行。
如上所述，通过按照从图像的顶部到图像的底部的顺序，在视频 信号编码单元120和视频信号解码单元136并行地执行每个处理，可 以以极小的延迟进行图像压缩处理和图^^解码处理。
参见图29，下面计算在使用5x3滤波器对分级-2进行小波变换 的情况下，从图像输入到图像输出的延迟时间。从向视频信号编码单元120输入第 一行图像数据到从视频信号解码单元136输出第 一行图 像数据的延迟时间是下述的各个元件之和。注意，根据系统配置，例 如传输路径中的延迟和与设备的各个部分的实际处理定时相关的延 迟，执行不同的延迟。
(1) 从第一行输入到7行量的小波变换WT-1结束的延迟 D一WT
(2) 和三行量的系数重新布置Ord-l相关的时间D—Ord
(3) 和三4亍量的熵编码EC-1相关的时间D—EC
(4) 和三行量的熵解码iEC-l相关的时间D一iEC
(5) 和三4亍量的小波逆变换iWT-l相关的时间D—iWT 下面参照图29计算由上述的各个因素引起的延迟。在(1)中的
延迟D—WT是10行量的时间。在(2)中的时间DJ3rd、 (3)中的 时间D_EC、 (4)中的时间D—iEC以及(5)中的时间D—iWT都是 三行量的时间。此外，视频信号编码单元120进行的熵编码EC-1可 以从重新布置Ord-l开始一行之后开始。同样，视频信号解码单元136 进行的小波逆变换iWT-l可以从熵解码iEC-l开始两行之后开始。此 外，熵解码iEC-l可以在熵编码EC-1完成编码的一行量的时间点开 始处理。
因而，在图29的例子中，从在视频信号编码单元120中输入第 一行的图像数据到从解码单元403输出第一行图像数据的延迟时间为 10 + 1 + 1 + 2 + 3 = 17行量。
下面以更具体的例子说明延迟时间。在输入的图像数据是HDTV (高清晰度电视)的交错视频信号的情况下，例如一帧由1920像素 xl080行的分辨率构成， 一场是1920像素x540行。因而，在帧频率 是30Hz的情况下， 一场的540行的540行被输入到视频信号编码单 元120的时间是16.67亳秒(=1 sec/60场)。
因而，和图像数据的7行量的输入相关的延迟时间是0.216 msec(- 16.67msec x7/540行)，例如相对于一场的更新时间是一个非常 短的时间。此外，上述的在(1)中的延迟D WT、在(2)中的时间D_Ord、 (3)中的时间D—EC、 (4)中的时间D_iEC以及(5)中 的时间D一iWT的总和的延迟时间被显著缩短，这是因为要被处理的 行数少。
上面以由于库溢出控制处理或类似原因发生区的丢失的情况下 使用制备的伪数据进行补充说明了接收緩冲控制单元402，但是不限 于此，例如可以进行这样的配置，其中使用以前的图片中的相同位置 的区的编码数据进行补充处理。
图30是用于说明图16所示的接收緩冲控制单元的另一个详细配 置的例子的方块图。图30所示的接收緩冲控制单元502具有和参照 图17说明的接收緩冲控制单元402基本相同的配置，并以相同的方 式操作，其不同之处在于，区信息控制单元获得提供给输入控制单元 的编码数据(Y数据和C数据)，并保持获得的编码数据的一个图片 量供在下一个图片中进行补充处理使用，其区别还在于，在由于库溢 出控制处理或类似原因而发生区丟失的情况下，区信息控制单元使用 已被保持的先前的图片中相同位置的区的编码数据进行补充处理。
这就是说，接收緩冲控制单元502包括包头解释单元511，其对 应于接收緩冲控制单元402的包头解释单元411,并进行和包头解释 单元411相同的处理，Y緩冲器522，其对应于接收緩冲控制单元402 的Y緩冲器422，并进行和Y緩沖器422相同的处理，C緩冲器523， 其对应于接收緩冲控制单元402的C緩沖器423,并进行和C緩冲器 423相同的处理，输出控制单元524，其对应于接收緩冲控制单元402 的输出控制单元424,并进行和输出控制单元424相同的处理，还包 括输入控制单元521和区信息控制单元531。
输入控制单元521对应于接收緩冲控制单元402的输入控制单元 421并进行和输入控制单元421基本相同的处理，其区别在于，获得 的编码数据(Y数据和C数据)不仅提供给Y緩冲器522和C緩冲器 523以便积累，而且提供给区信息控制单元531。
区信息控制单元531对应于接收緩沖控制单元402的区信息控制 单元431，并进行和区信息控制单元431基本相同的处理，不过其和区信息控制单元431的区别在于，区信息控制单元531具有内装的存 储介质，由输入控制单元521提供的编码数据的一个图片存储在该存 储介质中，并且在发生区丟失的情况下，在被保持的先前图片中相同 位置的区的编码数据代替伪数据被提供给解码单元403。
图31是用于说明图30所示的区信息控制单元531的详细配置的 方块图。如图31所示，区信息控制单元531具有接收緩冲器写控制 处理单元541和接收緩冲器读控制处理单元542。
接收緩冲器写控制处理单元541具有写控制单元551,写指令单 元552，和编码数据更新单元553。
写控制单元551对应于接收緩冲器写控制处理单元441的写控制 单元451 (图18),并基本上进行和写控制单元451相同的处理，其 区别在于，写控制单元551不仅控制写指令单元552进行的处理，而 且控制编码数据更新单元553进行的处理。写指令单元552对应于接 收緩冲器写控制处理单元441的写指令单元452 (图18 )，并在写控 制单元551的控制下执行和写指令单元452相同的处理。
编码数据更新单元553在写控制单元551的控制下更新在稍后说 明的接收緩沖器读控制处理单元542的1图片编码数据保持单元567 中保持的编码数据。这就是说，在获得由输入控制单元521提供的一 个区量的编码数据后，编码数据更新单元553把该数据提供给1图片 编码数据保持单元567，从而更新1图片编码数据保持单元567保持 的编码数据。这就是说，编码数据更新单元553把输入控制单元521 提供的编码数据的新区提供给1图片编码数据保持单元567，借以用 新编码数据覆盖1图片编码数据保持单元567保持的1图片编码数据 的相同位置的该区的编码数据。
接收緩冲器读控制处理单元542包括读控制单元561，区号确认 单元564，参数提取指令单元565，读指令单元566， 1图片编码数据 保持单元567和补充处理单元568。
读控制单元561对应于接收緩沖器读控制处理单元442的读控制 单元461 (图18)，并基本上进行和读控制单元461相同的处理，不过其不同之处在于，读控制单元561代替控制伪数据保持单元467而 控制1图片编码数据保持单元567。
区号确认单元564对应于接收緩沖器读控制处理单元442的确认 单元464 (图18)，并在读控制单元561的控制下进行和区号确i人单 元464相同的处理。参数提取指令单元565对应于接收緩冲器读控制 处理单元442的参数提取指令单元465，并在读控制单元561的控制 下进行和参数提取指令单元465相同的处理。读指令单元566对应于 接收緩冲器读控制处理单元442的读指令单元466 (图18 )，并在读 控制单元561的控制下进行和读指令单元466相同的处理。
1图片编码数据保持单元567保持由输入控制单元521提供的一 个图片的编码数据。补充处理单元568在读控制单元561的控制下进 行操作，使得在发生了区丢失的情况下，根据区号确认单元564的确 认结果，在相同位置的该区的编码数据，即在丢失了区的图片前面的 图片的相同位置的区的编码数据，从l图片编码数据保持单元567中 保持的一个图片的编码数据中被获得，并使用该编码数据进行补充处 理。
在图19所示的例子中，图18所示的补充处理单元468向解码单 元403提供预先准备的伪数据(伪数据B)来代替被丟失的区的编码 数据B，如图20所示，不过，图31所示的补充处理单元568向解码 单元403提供先前图片的区B (先前图片中的B)的编码数据代替已 丢失的区B的编码数据，如图32所示。
在标准的运动图像的情况下，在相邻图片之间的图像的相关性 强。这就是说，在相同位置的行的图像在相邻图片之间具有大的相关 性。因而，补充处理单元568通过补充在先前图片相同位置的区的编 码数据可以对输出的图像补充一个很像丟失的图像的图像。这就是
补充处理单元568可以减少由于补充处理而引起的图像劣化(即可以 使图像劣化显著变小)。
不过，在这种情况下，需要存储一个图片的编码数据用于补充处理，因此，和只需要保持至少 一个区的编码数据的伪数据保持单元467 相比，1图片编码数据保持单元567所需的存储容量较大。不过，应 当注意，不需要保持基带图像数据；只需要保持编码数据，因此增加 的数据容量不是不能实现的(即能够充分地被实现)。
下面参照图33的流程图说明在这种情况下的接收緩冲器写控制 处理的流程的例子。注意，这个接收緩沖器写控制处理对应于参照图 26的流程图说明的接收緩冲器写控制处理。
这就是说，接收緩冲器写控制处理单元541的写控制单元551 和写指令单元552以和图26中步骤S71到步骤S73相同的方式执行 S171到S173，在Y緩冲器522中积累提供的Y数据，在C緩冲器 523中积累提供的C数据。编码数据在緩冲器中被积累之后，处理便 前进到步骤S174。
在步骤S174，编码数据更新单元553从1图片编码数据保持单 元567删除和緩冲器中新积累的编码数据的区相同位置的区的先前图 片的编码数据，并在步骤S175通过在步骤S172到S175的处理把緩 冲器中积累的编码数据(Y数据和C数据)提供给1图片编码数据保持 单元567，使得其被按区存储。
在步骤S176写控制单元551确定在正被处理的图片中是否存在 未被处理的区。在确定存在未被处理的区的情况下，流程返回步骤 S171，并重复后面的处理。此外，在确定图片内不存在未被处理的区 的情况下，接收緩冲器写控制处理结束。
下面参照图34说明在这种情况下的接收緩冲器读控制处理的流 程的例子。注意，这个接收緩冲器读控制处理对应于参照图27的流 程图说明的接收緩沖器读控制处理。
这就是说，接收緩沖器读控制处理单元542的读控制单元561、 区号确认单元564、参数提取指令单元565和读指令单元566以和图 27中步骤S91到步骤S96相同的方式执行步骤S191到步骤S196的 处理，并且在确认区号是连续的情况下，在Y緩沖器522和C緩冲 器523中积累的编码数据以区增量被读出，并被提供给解码单元403。在步骤S196的处理结束后，流程前进到步骤S198。
此外，在步骤S193确定区号不连续的情况下，这意味着具有丟 失的区，则流程前进到步骤S197。在步骤S197，补充处理单元568 从后面的一个图片向解码单元403提供编码数据，借以补充丢失的编 码数据。在步骤S197的处理结束之后，流程前进到步骤S198。
在步骤S198，读控制单元561以和图26中步骤S98相同的方式 确定是否存在未处理的区。在确定存在未处理的区的情况下，流程返 回步骤S191，并重复后面的处理。此外，在确定不存在未处理的区的 情况下，接收緩冲器读控制处理结束。
注意，上面对其中利用例如图1所示的数字双重屏蔽导线系统进 行库溢出控制处理和补充处理的配置进行了说明，但是这些处理可以 应用于传输图像数据的任何系统。并且该系统的用途也不被限制。
不过，应当理解，库溢出控制处理和补充处理使得容易地抑制内 容数据传输中延迟时间的不需要的增加，同时抑制内容的质量的不需 要的劣化，因而在从发送侧向接收侧进行数据传输时，利用要求即时 性(实时性)的系统其优点更加显著。
此外，利用这样的系统其优点更加显著，在该系统中由于编码处 理和解码处理总是发生图像劣化，例如这样的系统，其在发送侧发送 编码数据，在接收侧进行解码处理，并且还对于图像劣化具有小的允 差。
此外，虽然编码处理和解码处理的方法是任选的，但是库溢出控 制处理和补充处理以区增量被进行，因此，应用于按照上述以区增量 进行编码处理和解码处理的系统的情况是更有效的，其中具有由于处 理增量等的改变而导致的极小的损失。
此外，系统的配置是任选的，例如可以是这样的系统，其中如上 述的数字双屏蔽导线系统那样编码数据被双向传输，或者可以是这样 的系统，其中编码数据只从一个设备传送到另一个设备，或者可以是 这样的系统，其中编码数据从一个发送设备传送到多个接收设备，或 者可以是这样的系统，其中编码数据由多个设备并在该多个设备当中传输。
注意，利用图1所示的数字双屏蔽导线系统100，按照相关技术 的视频解码单元可以用作视频解码单元136。这就是说，在视频信号 编码单元120进行库溢出控制处理，因此可以抑制在视频解码单元136 发生的下溢出的扩展，并可以抑制不需要的图像劣化。不过，丢失的 区不被补充，因此在对应于这种区的行可能具有黑色水平线，使得图 像质量更显著地劣化。
与此相反，按照相关技术的视频编码单元可以用作视频编码单元 120，而不进行库溢出控制处理，并且只进行补充处理。在这种情况 下，视频解码单元136可以补充由于在传输期间丟失包等原因而丟失 的解码数据，不过在视频解码单元136中可能发生下溢出的情况下， 可能扩大下溢出，因而增加图像质量劣化。
此外，上面对发送緩冲器写控制处理单元271的输出禁止单元 285设置以区增量进行的编码数据的输出的禁止，作为库溢出控制处 理，不过可以实现这样一种结构，其中输出禁止单元285以区增量从 緩沖器中丢弃编码数据，而不设置输出的禁止。应当理解，虽然上面 说明了输出禁止单元285以区增量设置编码数据的输出的禁止，作为 库溢出控制处理，这是编码数据到包产生单元203的禁止，即禁止传 输编码数据，并且被这样设置使得其输出被禁止的编码数据可被删 除，或者被其它新的编码数据覆盖。
此外，虽然上面参照图18说明了伪数据保持单元467保持伪数 据，并在进行补充处理时将伪数据提供给补充处理单元468，但可以 实现这样一种结构，其中伪数据保持单元467保持每个具有不同图像 的伪数据的多个设置，使得补充处理单元468在进行补充处理时选择 和使用这些设置中的一个。虽然这个伪数据选择方法是任选的，但可 以实现这样一种结构，其中补充处理单元468确认后一个区的编码数 据的图像，并例如选择具有最接近该图像的伪数据。
此外，上面参照图31说明了使用先前图片中相同位置的区的编 码数据进行补充处理，但是也可以实现不同于此的结构，例如使用根据前面的区或同一图片中附近的区的编码数据产生的新的编码数据。
例如，可以实现这样一种结构，其中补充处理单元568取相关区的上 方的一个区的编码数据，以及相关区上方的两个区的编码数据，并且 对这些编码数据平均，从而计算作为相关区的上方的一个区的编码数 据和相关区上方的两个区的编码数据的平均的编码数据，并使用该编 码数据进行补充处理。用这种方式使用同一图片的编码数据允许减少 要保持的编码数据的数据量，借以减少緩沖存储器的存储容量。
此外，代替实际输出伪数据或编码数据的补充处理单元，可以实 现一种结构，其中补充处理输出用于控制解码单元403的等效控制信 息。例如，补充处理单元可以向解码单元403提供用于命令在补充处 理时产生编码数据的控制信息，使编码单元或其类似物代替丢失的编 码数据产生编码数据以便使用。当然，也可以使用除此之外的其它控 制信息。
此外，注意，虽然上面对区数和数据量(传输时间)被用作执行 库溢出控制处理的条件进行了说明，但用于执行库溢出控制处理的条 件可以是这些之外的条件。例如可以包括关于数据在緩冲器中的积累 状态的参数，以和利用区数以及数据量(传输时间)的方式相同的方 式，或者可以是其它的条件。这就是说，可以使用任何条件，只要可 以抑制在接收侧緩沖器下溢出的发生，或者可以在短时间内能够恢复 已经发生的下溢出即可。不过，如上所述，在基于区数进行库溢出控 制处理的情况下以及基于数据量(传输时间)进行的库溢出控制处理 的情况下获得的优点的特征是互不相同的；用相同方式，由库溢出控 制处理获得的优点的特征也和用其它条件获得的不同，与正在进行的 处理有关。
上述的一系列处理可以由硬件或软件执行，在这种情况下，可被 配置为个人计算机例如图35所示。
在图35中，个人计算机700的CPU (中央处理单元)701执行 被存储在ROM (只读存储器)702中的不同类型的处理流程程序， 或者执行从存储单元713读出的并被装入RAM (随机存取存储器)703中的程序。RAM 703还根据需要存储CPU 701执行不同类型的处 理所需的数据。CPU 701、 ROM 702和RAM 703通过总线704相互 连接。总线704也与输入/输出接口 710相连。
输入/输出接口 710被连接到输入单元711，包括键盘、鼠标等， 输出单元712包括显示器例如CRT (阴极射线管)，LCD (液晶显 示器)或其类似物，扬声器等，存储单元713包括硬盘等，通信单元 714包括调制解调器或其类似物。通信单元714通过网络例如互联网 进行通信。
根据需要输入/输出接口 710还被连接到驱动器715，根据需要， 可除去的介质721例如磁盘、光盘、磁光盘、半导体存储器或其类似 物被安装于所述驱动器，并且从中读出的计算机程序被安装在存储单 元713中。
在由软件执行上述一系列处理的情况下，从网络或记录介质安装 构成所述软件的程序。
记录介质不限于包括可除去的介质721,例如磁盘(包括软盘)、 光盘(CD-ROM (致密盘只读存储器)、DVD (数字通用盘)、磁光 盘(包括MD (小型盘)(注册商标))、半导体存储器等，所述程 序被记录在其中，并被单独地从设备主单元分配，以便把程序分配给 用户，此外还包括ROM 702或包括在存储单元713中的硬盘等，程 序被记录在其中，以便在被装入设备主单元的状态下被分配给用户。
还应当注意，在本说明书中，描迷在记录介质中记录的程序的步 骤不仅包括按照遵循所述的进程顺序的时间顺序进行的处理，而且包 括被并行地或单独地执行的处理。
此外，在本说明书中，术语"系统"指的是由多个装置构成的整个设备。
此外，上面作为一个设备描述的结构可以被分为多个装置并由这 多个装置构成，或者相反，上面作为多个装置的配置描述的结构可以 被集成一个设备。此外，和上面所述的那些结构不同的结构可被添加 于设备的配置中。此外， 一个装置的配置的一部分可被包括在另一个装置的配置中，只要整个系统的结构和操作基本相同。
本领域技术人员应当理解，不脱离所附权利要求或其等效物的范 围，根据设计要求和其它因素，可以作出各种改型、组合、子组合和 替代。
权利要求
1.一种信息处理设备，包括积累部件，配置为积累通过对图像数据编码而获得的编码数据；读取部件，配置为以数据增量读出所述编码数据；确定部件，配置为确定指示所述积累部件处的所述编码数据的积累状态的参数是否满足预定的积累条件；禁止部件，配置为在所述确定部件确定所述参数满足所述积累条件的情况下，禁止将在作为基准的、正被所述读取部件以数据增量读出的编码数据之后读出的编码数据的读出；和控制部件，配置为控制所述读取部件以数据增量省略被所述禁止部件禁止读出的编码数据的读出，并且以数据增量执行所述禁止部件未禁止读出的编码数据的读出。
2. 如权利要求1所述的信息处理设备，其中所述参数包括关于积 累在所述积累部件内的编码数据的所述数据增量的数目；并且其中所述确定部件确定所述数据增量的数目是否等于或大 于阈值。
3. 如权利要求1所述的信息处理设备，其中所述参数包括所述读 取部件读出积累在所述积累部件内的所有编码数据所需的时间；并且其中所述确定部件确定是否可以在所述时间内读出积累在 所述积累部件内的所有编码数据。
4. 如权利要求1所述的信息处理设备，其中所述禁止部件以从将 在作为基准的所述编码数据之后读出的编码数据起连续的、不少于所述确定部件确定所述参数不满足所述积累条件所需数目的数据增量， 禁止将在作为基准的编码数据之后读出的编码数据的读出。
5. 如权利要求1所述的信息处理设备，其中所述禁止部件删除作 为基准的编码数据之后的编码数据，以便禁止所述编码数据的读出。
6. 如权利要求1所述的信息处理设备，其中所述数据增量是对所 述图像数据编码时的编码处理增量。
7. 如权利要求6所述的信息处理设备，其中所述数据增量包括行 块，所述行块包括在通过分层地对所述图像数据进行滤波处理，产生 为每个频带划分的系数数据的情况下，产生最低带分量的子带的至少 一行的量的系数数据所需行数的量的图像数据。
8. 如权利要求7所述的信息处理设备，其中按照执行用于合成被顺序，为每个行块重新布置所述编码数据。
9. 如权利要求8所述的信息处理设备，其中按照从低带分量到高 带分量的顺序为每个行块重新布置所述编码数据。
10. 如权利要求1所述的信息处理设备，所述信息处理设备还包括编码部件，配置为对所述图像数据编码，以便产生所述编码数据； 写部件，配置为以所述数据增量将由所述编码部件产生的编码数 据写到所述积累部件内；和打包部件，配置为将由所述读取部件读出的所述编码数据打包:
11. 如权利要求10所述的信息处理设备，该信息处理设备还包括 控制部件，配置为控制所述编码部件的编码处理、所述写部件的写处理、所述读取部件的读出处理、以及所述打包部件的打包处理， 使其相互并行地执行。
12. —种信息处理方法，包括以下步骤 积累通过对图像数据编码而获得的编码数据； 以数据增量读出所述编码数据；确定指示所述积累步骤中的所述编码数据的积累状态的参数是 否满足预定的积累条件；在所述确定步骤中确定所述参数满足所述积累条件的情况下，禁 止将被作为基准的、在所述读取步骤中正以数据增量读出的编码数据 之后读出的编码数据的读出；以及控制所述读取步骤，以便以数据增量省略在所述禁止步骤中被禁 止读出的编码数据的读出，并且以数据增量执行在所述禁止步骤中未被禁止读出的编码数据的读出。
13. —种信息处理设备，包括积累部件，配置为积累通过对图像数据编码而获得的编码数据； 确认部件，配置为以数据增量确认积累在所述积累部件中的编码 数据的丟失；读取部件，配置为在编码数据的丢失未被所述确认部件确认的情 况下，以数据增量读出所述积累部件中积累的编码数据；以及补充部件，配置为在编码数据的丢失被所述确认部件确认的情况 下，通过输出替代数据代替读取丟失的编码数据，以数据增量补充所 述编码数据。
14. 如权利要求13所述的信息处理设备，还包括 保持部件，配置为保持所述替代数据；其中在确认部件确认了所述编码数据的丟失的情况下，所述补充 部件从所述保持部件中读出所述替代数据，以便输出该替代数据，而 代替读出丟失的编码数据。
15. 如权利要求13所述的信息处理设备，还包括 保持部件，配置为以数据增量保持与积累在所述积累部件中的编码数据相同的数据，其中在所述确认部件确认了所述编码数据的丢失的情况下，所述 补充部件从所述保持部件中以数据增量读出与过去由所述读取部件 读出的编码数据相同的编码数据，以便输出该编码数据。
16. 如权利要求13所述的信息处理设备，还包括解码部件，配置为对所述读取部件读出的编码数据、以及由所述 补充部件补充的编码数据解码。
17. 如权利要求13所述的信息处理设备，其中所述数据增量包括 行块，所述行块包括在通过对所述图像数据分层进行滤波处理，产生 为每个频带划分的系数数据的情况下，产生最低带分量的子带的至少 一行的量的系数数据所需行数的量的图像数据。
18. 如权利要求17所述的信息处理设备，其中以执行用于合成被顺序，为每个行块重新布置所述编码数据。
19. 如权利要求18所述的信息处理设备，其中以从低带分量到高 带分量的顺序为每个行块重新布置所述编码数据。
20. —种信息处理方法，包括以下步骤积累通过编码图像数据而获得的编码数据； 以数据增量确认在所述积累步骤中积累的编码数据的丢失； 在所述确认步骤中未确认编码数据的丟失的情况下，以数据增量读出在所述积累步骤中积累的编码数据；以及在所述确认步骤中确认编码数据的丢失的情况下，通过输出替代数据代替读出丢失的编码数据，以数据增量补充所述编码数据。
21. —种信息处理设备，包括积累单元，被配置用于积累通过编码图像数据而获得的编码数据；读取单元，被配置用于以数据增量读出所述编码数据；确定单元，被配置用于确定表示在所述积累单元所述编码数据的 积累状态的参数是否满足预定的积累条件；禁止单元，被配置用于在所述确定单元确定所述参数满足所述积 累条件的情况下，禁止将在作为基准的、所述读取单元以数据增量正 读出的编码数据之后读出的编码数据的读出；以及控制单元，被配置用于控制所述读取单元，以便以数据增量省略 被所述禁止单元禁止读出的编码数据的读出，并以数据增量执行未被 所述禁止单元禁止读出的编码数据的读出。
22. —种信息处理设备，包括积累单元，被配置用于积累通过编码图像数据而获得的编码数据；确认单元，被配置用于以数据增量确认在所述积累单元中积累的 编码数据的丟失；读取单元，被配置用于在所述确认单元未确认编码数据的丢失的情况下，以数据增量读出积累在所述积累单元中的编码数据；以及补充单元，被配置用于在所述确认单元确认编码数据的丟失的情 况下，通过输出替代数据代替读出丢失的编码数据以数据增量补充所 述编码数据。
全文摘要
一种信息处理设备包括积累单元，用于积累通过编码图像数据而获得的编码数据；读取单元，用于以数据增量读出所述编码数据；确定单元，用于确定指示所述积累单元处的所述编码数据的积累状态的参数是否满足预定的积累条件；禁止单元，用于在所述确定单元确定所述参数满足所述积累条件的情况下，禁止将在作为基准的、所述读出单元以数据增量正读出的编码数据之后读出的编码数据的读出；以及控制单元，用于控制所述读取单元，以便以数据增量省略被所述禁止单元禁止读出的编码数据的读出，并以数据增量执行未被所述禁止单元禁止读出编码数据的读出。
文档编号H04N7/26GK101309420SQ200810099278
公开日2008年11月19日 申请日期2008年5月16日 优先权日2007年5月17日
发明者保坂和寿, 志村胜治, 福原隆浩, 稻垣亚奈, 高桥裕雄 申请人:索尼株式会社