专利名称：图像编码装置的制作方法
技术领域：
本专利涉及能够低延迟地传输图像的图像编码装置方法。
背景技术：
关于经由串行总线在通信模块之间进行数据包传输的数据传输装置，专利文献1 公开的数据传输装置的目的在于，即使在与串行传输的总线位宽相同的信号线数目和时钟速度下，也能获得更高速的传输能力。专利文献1 日本专利特开平6-110831号公报
发明内容
为了将图像编码并低延迟地传输，提出在图像编码时对一部分的区域强制地使用帧内编码进行刷新的方式，但由于没有考虑在无线传输等会发生流错误的环境下使用的情况，所以担心会发生传输图像失真。本发明的目的在于，提供即使在流错误频繁发生的情况下仍能够抑制再现图像损坏的图像编码装置。本发明鉴于以上问题，具备了例如下述结构。发明的第一方面提供一种对图像进行编码的图像编码装置，其特征在于，在使用帧内编码和帧间编码对一连串的图像进行编码时，使用对图像的一部分强制进行帧内编码 (IntraMB)的刷新区域，根据图像内的刷新区域的位置进行控制，以改变对该图像进行编码时的片结构。发明的第二方面提供一种对图像进行编码的图像编码装置，其特征在于，在使用帧内编码和帧间编码对一连串的图像进行编码时，使用对图像的一部分强制进行帧内编码 (IntraMB)的刷新区域，刷新区域内的htraMB，选择能够仅通过刷新区域内的图像来进行预测的预测模式。发明的第三方面提供一种图像传输装置，其特征在于，包括发明的任一方面所提供的图像编码装置；获取输入图像的照相机摄像部；获取声音并进行压缩的声音获取压缩部；将声音和影像多路复用的多路复用部；传输多路复用数据的传输部；接收传输数据的接收部；对接收数据进行分离的分离部；解压缩影像的解压缩部；解压缩声音的解压缩部； 显示影像的显示部；和输出声音的声音输出部。发明的第四方面提供一种对图像进行编码的图像编码方法，其特征在于，在使用帧内编码和帧间编码对一连串的图像进行编码时，使用对图像的一部分强制进行帧内编码 (IntraMB)的刷新区域，根据图像内的刷新区域的位置，改变对该图像进行编码时的片结构。发明的第五方面提供一种编码图像的图像编码方法，其特征在于，在使用帧内编码和帧间编码对一连串的图像进行编码时，使用对图像的一部分强制进行帧内编码 (IntraMB)的刷新区域，刷新区域内的htraMB，选择能够仅通过刷新区域内的图像来进行预测的预测模式。利用本发明，在低延迟的图像传输中，能够提供即使在流错误频繁发生的情况下仍能够抑制再现图像损坏的图像编码装置。
图1是用于说明Intra预测的模式选择的概念图。图2是表示强化了容错性的片结构的一个例子的图。图3是表示图像编码装置的结构例的图。图4是表示Intra预测模式选择的具体例子的图。图5是表示强化了容错性的片结构的一个例子的图。图6是用于说明Intra预测的预测模式的概念图。图7是用于说明刷新区域的概念图。图8是表示编码量与刷新区域的关系例的图。图9是表示刷新区域边界上的阶差(段差)对策例的图。图10是表示图像传输装置的结构例的图。符号说明301图像输入部302控制部303Intra 预测部304Inter 预测部305判定部306误差图像生成部307DCT/ 量化部308流生成部309反量化/反DCT部310解码图像生成部311环内滤波部312参照图像存储部
具体实施例方式下面以运动图像编码的国际标准方式之一的H. 264编码作为编码方式为例进行说明。图3是表示图像编码装置的结构例的图。图像编码装置具备=Intra预测部303，其对从图像输入部301输入的输入图像进行Intra预测；Inter预测部304，其进行Inter预测；判定部305，其进行是Intra预测还是^iter预测的判定；误差图像生成部306，其计算输入图像与判定部判定后的预测图像的差，生成误差图像；DCT/量化部307，其对误差图像进行DCT/量化；流生成部308，其将量化后的图像信息和编码所必须的辅助信息流化；反量化/反DCT部309，其进行本地解码；解码图像生成部310，其生成解码图像；环内滤波部311，其对解码图像进行环内滤波；参照图像存储部312，其存储环内滤波后的图像；和控制部302，其控制各区块。在该结构图中，通过控制部302，向Intra预测部通知片结构的信息和Intra预测的强制模式信息，向DCT/量化部通知量化值，向判定部通知用于强制进行Intra预测的强制模式信息，向流生成部通知片结构信息，在编码时能够强制地设定Intra预测的预测模式、每MB的量化值、编码图像时的片分割信息。本例的课题为实现低延迟下的图像传输。实现图像信息的低延迟化的系统，举例来说，对从照相机(camera)输入的图像进行压缩来削减图像的数据量，用无线传输该数据，并在接收侧解压缩后加以再现。为了使发送方和接收方不感到异样，延迟需要在例如 IOOms以内。所以，在进行这种低延迟化的情况下，在图像编码时需要满足以下的条件(1)图像压缩、解压缩时不使用会产生重排的双向预测帧(B帧(B picture)),由 I帧和P帧构成。(2)各图像的编码量，不超过传输通道的码率。S卩，在一副图像的编码量较多的情况下，对其传输、解码需要耗费时间，无法实现低延迟化。为了应对本问题，较为有效的是不去定期地使用一帧的编码量较多的I帧，而是使作为帧间编码方式的P帧连续，并对其一部分强制地进行相当于I帧的帧内编码(刷新区域)，使误差的积累重置。图7表示了用于说明刷新区域的概念图。在对一连串的图像进行编码的情况下，开头帧为I帧，但之后的各帧均为帧间编码(P帧)，并定义其进行帧内编码(IntraMB)的一部分构成刷新区域。于是，通过使该刷新区域移动，可以在之后不使用I帧的情况下实现刷新。图中左图是刷新区域设定为横向的情况，右图是刷新区域设定为纵向的情况。该刷新区域，通过设定在比进行^iter预测时的运动预测的范围更大的范围，能够防止运动预测所导致的误差的传播。通过如此设定，每帧的编码量能够得以均勻化，能够实现低延迟化。图8表示了编码量与刷新区域的关系例。在定期地使用由全部帧内编码构成的I 帧进行刷新的情况下，I帧的位置处产生较多的编码量。因此，对该帧编码不仅需要较多的时间，而且在该编码量超过传输通道的传输码率时，传输该帧会产生延迟，不能实现低延迟图像传输。反过来，若考虑对I帧进行编码以使之容纳于传输码率之内，则I帧的画质会降低，造成显示图像的品质降低。针对码率的均勻化，如图7在纵向设置刷新区域更容易进行帧内的码率控制，可行性较高但是，在像这样利用刷新区域进行传输时，若传输通道中发生错误则可能会产生问题。在流发生错误时，难以判断该图像内的作为编码单位的片内哪个MB中发生了错误， 该片内的所有数据都成为无法信赖的再现图像。尤其是在能够高压缩化的H. 264等中，使用了 CABAC等算术编码，不可能判定到哪为止是正确的数据。如果包含刷新区域的片内发生该错误，则存在以后参照该刷新区域的全部图像都错误的可能性。为了应对该问题，进行如下所示的刷新区域的分片化是有效的。片由标准定义，在图像编码时，按编码顺序将一个以上的MB作为组，使得能够以该组单位进行解码，以什么单位形成组能够由编码侧决定。
利用图2对强化了容错性的片结构例进行说明。图中，对一幅图像101，表示了作为编码单位的MB102、对图像的一部分强制进行htraMB的刷新区域103以及片区域201。 当图中的灰色部分定义为刷新区域时，以将其包围的方式定义片区域(片1、3、5、7、9、11、 13、15、17、19、21、23、25)。该刷新区域如上所述按每个图像移动位置，因此片结构也按每帧变更，以将刷新区域包括在内。通过上述方法，能够减少对于生成再现图像来说很重要的刷新区域发生错误的概率，能够阻止再现图像的错误传播。尤其是，在低延迟图像传输的情况下，出于码率的平滑化的观点，不使用I帧的情况较多，因此该刷新区域的分片化是重要的。另一方面，从编码效率的角度来看，当将图像分割为较多的片时，表达该情况的分割信息会增加，编码效率降低，有画质降低的可能。在传输通道的码率较低、或大图像尺寸下进行图像传输的情况下会成为问题。片结构的宽度和刷新区域的宽度由传输码率和编码效率决定，但在刷新区域的宽度比片结构的宽度小的情况下，与上述问题一起，进一步地产生以下的问题。当片内的刷新区域内的Intra预测参照刷新区域外部的像素时，若刷新外的区域在Inter预测时所参照的区域的图像中发生了错误，则该错误会由于^itra预测而进入刷新区域。因此，可以考虑到刷新区域不能解码成正常的图像，再现图像发生损坏这一问题点。针对以上的问题，实施下述两种方法。第一，在包含刷新区域的片内包含有刷新区域外的情况下，选择htra预测的模式，以利用刷新区域内的像素来预测htra。图1是用于说明Intra预测的模式选择的概念图。对编码对象图像101以每MB102进行编码，此时设置由多个^itraMB构成的刷新区域 103。关于属于该刷新区域的htraMB的Intra预测方向，以不参照刷新区域外MB的方式进行控制。在图中，使刷新区域的左端MB的预测方向不参照左边。在H.沈4中，每MB能够选择8x8、16xl6、4x4像素大小的htra预测。图6是用于说明4x4像素的Intra预测的预测模式的概念图。相对于由16x16像素组成的1^，在虹4 像素Intra预测的情况下，将MB内全部分割为由4x4像素所构成的子块。接着，对于每个子块，根据同时刻的图像的周边像素来对预测编码对照像素进行预测，对与预测的差进行编码。图6中表示了 4x4的预测模式，白色表示作为编码对象的预测对象像素，灰色表示已编码完毕的周边像素。在^tra预测时，使用灰色的周边像素来预测内部的白色像素。4x4 预测模式中定义了 9种模式，所预测的像素、方向各自不同。例如模式0中预测对象块之上的像素为预测值。模式2中，上方和左边的像素的平均值为预测值。在该预测中，以该灰色的像素不会在刷新区域外的方式来决定刷新区域内的 Intra预测。例如图4的上图的情况下，与刷新区域外部邻接的MB404中，对于其内部4x4块 (block)中能够预测刷新区域外部的块(图中4x4的斜线区域)，以不预测刷新区域外的方式使用图6的模式0、模式3或者模式7作为预测模式。在本例中按每一 MB线进行分片，斜线的块为纵向的预测模式。图4的下图，基于同样的理念，刷新区域内的MB405使用不将刷新区域作为预测的像素的横向的预测模式，即模式1或模式8。在本例中，以多个MB线进行分片，斜线的块为横向的预测模式。
7
通过上述方法，即使在刷新区域外部的像素包含错误的情况下，也能够不预测该错误，可靠地进行刷新。本例为H. 264的4x4像素的Intra预测的例子，但H. 264的8x8、16x16块的Intra 预测，或者其它编码方式中也可利用同样的概念，防止因来自刷新区域外部的预测带来的错误传播，实现刷新区域的容错性。此外，若限制预测模式则会造成压缩效率降低，能够考虑到存在再现图像中仅该 MB发生劣化的情况。为了应对该问题，对于限制了预测模式的MB，进行减小量化值的处理。 由此，能够提高再现图像的品质，能够防止再现图像的劣化。针对再现图像损坏的第二个方法是，以Intra预测不对区域外部进行预测的方式来形成片结构。如图6所示，由于Intra预测从左方向和上方向的像素开始进行预测，如图 5所示，以刷新区域的开头MB成为片的开头MB的方式形成片结构(片1 13)。由于片 0是帧开头，所以在图例中以刷新区域外部的MB为开头，但当刷新区域从图像的左端开始时，开头的片0也由属于刷新区域的MB构成。通过如上方法，与图2的片结构相比，在大约一半的片数中能够防止错误从刷新区域外向刷新区域内传播。接着，针对由于使用了刷新区域造成可看见因画质的差别导致的阶差的问题进行说明。对于一连串的运动图像，如果一面移动刷新区域一面进行编码，则会由于刷新区域与刷新区域外部的画质的差别，使得帧中可看见阶差。这是由于htra/lnter预测的不同而产生的，在强制进行Intra预测的刷新区域的边界上更容易识别。为了应对本问题，对于如图9所示与刷新区域邻接的刷新区域外部的MB，使之随机选择htra/lnter预测。通过如此，在刷新区域边界上不会固定地发生htra预测，边界上的阶差变得不明显。下面针对使用本编码装置的图像传输装置进行说明。图10中表示了其结构例。 从照相机摄像部1001输入图像，通过进行上面说明的低延迟编码的图像编码部1002进行图像编码。从麦克风部1003输入声音信息，通过声音编码部1004进行声音压缩。通过多路复用部1005将图像编码数据和声音编码数据进行多路复用处理，从传输部1006利用有线或者无线来传输数据。由接收部1007接收传输数据，由分离部1008分离图像信息和声音信息。图像数据通过图像解压缩部1009变换成显示图像1010，由显示部显示在屏幕上。 声音数据由声音解压缩部1011变换成再现声音，从扬声器部1012输出。此外，图10的例子中采用包括声音的结构，但在仅传输图像的情况下，不使用与声音相关的区块。
权利要求
1.一种对图像进行编码的图像编码装置，其特征在于，在使用帧内编码和帧间编码对一连串的图像进行编码时，使用对图像的一部分强制进行帧内编码antraMB)的刷新区域，根据图像内的刷新区域的位置进行控制，以改变对该图像进行编码时的片结构。
2.如权利要求1所述的图像编码装置，其特征在于，进行编码时的图像内的各个片，仅由属于刷新区域的MB构成，或者仅由不属于刷新区域的MB构成。
3.如权利要求1所述的图像编码装置，其特征在于，构成各个片的开头MB，除了帧的开头MB外，全部为刷新区域内的MB。
4.一种对图像进行编码的图像编码装置，其特征在于，在使用帧内编码和帧间编码对一连串的图像进行编码时，使用对图像的一部分强制进行帧内编码antraMB)的刷新区域，刷新区域内的htraMB，选择能够仅通过刷新区域内的图像来进行预测的预测模式。
5.如权利要求4所述的图像编码装置，其特征在于，在刷新区域内的htraMB中，位于刷新区域左端的MB的量化值小于刷新区域内的其他 MB的量化值。
6.如权利要求1至5中任一项所述的图像编码装置，其特征在于，位于刷新区域左边的刷新区域外的MB，即使在参照有流错误的信息进行预测的情况下，在刷新区域中也不混入该错误信息。
7.如权利要求1至6中任一项所述的图像编码装置，其特征在于， 与刷新区域邻接的刷新区域外的MB，随机选择帧间编码和帧内编码。
8.一种图像传输装置，其特征在于，包括权利要求1至7中任一项所述的图像编码装置； 获取输入图像的照相机摄像部； 获取声音并进行压缩的声音获取压缩部； 将声音和影像多路复用的多路复用部； 传输多路复用数据的传输部； 接收传输数据的接收部； 对接收数据进行分离的分离部； 解压缩影像的解压缩部； 解压缩声音的解压缩部； 显示影像的显示部；和输出声音的声音输出部。
9.一种对图像进行编码的图像编码方法，其特征在于，在使用帧内编码和帧间编码对一连串的图像进行编码时，使用对图像的一部分强制进行帧内编码antraMB)的刷新区域，根据图像内的刷新区域的位置，改变对该图像进行编码时的片结构。
10.如权利要求9所述的图像编码方法，其特征在于，进行编码时的图像内的各个片，仅由属于刷新区域的MB构成，或者仅由不属于刷新区域的MB构成。
11.如权利要求9所述的图像编码方法，其特征在于，构成各个片的开头MB，除了帧的开头MB外，全部为刷新区域内的MB。
12.—种编码图像的图像编码方法，其特征在于，在使用帧内编码和帧间编码对一连串的图像进行编码时，使用对图像的一部分强制进行帧内编码antraMB)的刷新区域，刷新区域内的htraMB，选择能够仅通过刷新区域内的图像来进行预测的预测模式。
全文摘要
本发明提供一种图像编码装置，在实现低延迟图像传输的同时，抑制由传输错误导致的再现图像的损坏。该图像编码装置，在使用帧内编码和帧间编码对一连串的图像进行编码时，使用对图像的一部分强制进行帧内编码(IntraMB)的刷新区域。刷新区域内的IntraMB，选择能够仅通过刷新区域内的图像来进行预测的预测模式。
文档编号H04N7/50GK102209239SQ20101057317
公开日2011年10月5日 申请日期2010年11月30日 优先权日2010年3月31日
发明者冈田光弘, 小味弘典, 明神智之, 沟添博树, 谷田部祐介 申请人:日立民用电子株式会社