图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置制造方法

图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置制造方法
【专利摘要】图像编码方法包括以下步骤：上下文算术编码步骤（S711），通过上下文算术编码，对（i）表示是否对第1区域进行SAO处理的第1信息、和（ii）表示是否在针对第1区域的SAO处理中使用针对与第1区域不同的区域的SAO处理的信息的第2信息进行连续编码；以及旁路算术编码步骤（S712），在第1信息和第2信息被编码后，通过旁路算术编码对其他信息进行编码，其他信息包括表示SAO处理是边缘偏移处理还是带状偏移处理的第3信息，在上下文算术编码步骤（S711）中，将表示SAO处理的种类的参数的比特串中的最初的比特的值作为第1信息进行编码，在旁路算术编码步骤（S712）中，将参数的比特串中的最初的比特的下一个比特的值作为第3信息进行编码。
【专利说明】图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置
【技术领域】
[0001]本发明涉及使用算术编码的图像编码方法。
【背景技术】
[0002]关于使用算术编码的图像编码方法，存在非专利文献I和非专利文献2所记载的技术。
[0003]现有技术文献
[0004]非专利文献
[0005]非专利文献1:1S0/IEC14496_10 “MPEG_4PartIOAdvanced Video Coding”
[0006]非专利文献 2:Frank Bossen、“Common test conditions and softwarereference configurations，，、JCTVC-H1100、Joint Collaborative Team on Video Coding(JCT-VOof ITU-T SG16WP3and IS0/IEC JTCl/SC29/WG118th Meeting,San Jose、CA、USA、l_10February、2012、http://phenix.1t-sudparis.eu/jct/doc_end_user/documents/8_San%20Jose/wgll/JCTV C-H1100-vl.zip

【发明内容】

[0007]发明要解决的课题
[0008]但是，在编码的处理效率较低的情况下，很难抑制在编码中产生的处理延迟。
[0009]因此，本发明提供能够以较高的处理效率进行编码的图像编码方法。
[0010]用于解决课题的手段
[0011]本发明的一个方式的图像编码方法包括以下步骤:上下文算术编码步骤，通过使用可变概率的算术编码即上下文算术编码，对(i)表示是否对图像的第I区域进行像素值的偏移处理即SAO (样本自适应偏移)处理的第I信息、和(ii)表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域不同的区域的SAO处理的信息的第2信息进行连续编码；以及旁路算术编码步骤，在所述第I信息和所述第2信息被编码后，通过使用固定概率的算术编码即旁路算术编码，对针对所述第I区域的SAO处理的信息、并且是与所述第I信息和所述第2信息不同的信息即其他信息进行编码，所述其他信息包括表示针对所述第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息，在所述上下文算术编码步骤中，将表示针对所述第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为所述第I信息进行编码，在所述旁路算术编码步骤中，将所述参数的比特串中的所述最初的比特的下一个比特的值作为所述第3信息进行编码。
[0012]另外，这些全部或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等非临时的记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。[0013]发明效果
[0014]本发明的图像编码方法能够以较高的处理效率进行编码。
【专利附图】

【附图说明】
[0015]图1是示出实施方式I的图像编码装置的结构的一例的框图。
[0016]图2是示出实施方式I的图像解码装置的结构的一例的框图。
[0017]图3是示出实施方式I的边缘偏移的一例的示意图。
[0018]图4是示出实施方式I的边缘偏移的范畴的示意图。
[0019]图5是示出实施方式I的边缘偏移的类型的示意图。
[0020]图6是示出实施方式I的带状偏移的一例的示意图。
[0021]图7是示出实施方式I的带状偏移的范畴的示意图。
[0022]图8是示出实施方式I的带状偏移的编码对象信息的示意图。
[0023]图9A是示出实施方式I的区域的分割顺序的一例的示意图。
[0024]图9B是示出实施方式I的区域的分割结果的一例的示意图。
[0025]图10是示出实施方式I的图像编码装置中的环路滤波部的结构的一例的框图。
[0026]图11是示出实施方式I的图像解码装置中的环路滤波部的结构的一例的框图。
[0027]图12是示出实施方式I的图像编码装置中的环路滤波部的动作的一例的流程图。
[0028]图13是示出实施方式I的图像解码装置中的环路滤波部的动作的一例的流程图。
[0029]图14是示出实施方式I的针对表示像素分类方法的索引编号的比特分配的一例的示意图。
[0030]图15是示出实施方式I的编码流的一例的示意图。
[0031]图16A是示出实施方式I的APS内的语法(aps_sao_param)的一例的示意图。
[0032]图16B是示出实施方式I的APS内的语法(sao_unit_vlc)的一例的示意图。
[0033]图16C是示出实施方式I的APS内的语法(sao_offset_vlc)的一例的示意图。
[0034]图17A是示出实施方式I的切片数据内的语法(slice_data)的一例的示意图。
[0035]图17B是示出实施方式I的切片数据内的语法(sao_unit_cabac)的一例的示意图。
[0036]图17C是示出实施方式I的切片数据内的语法(sao_offset_cabac)的一例的示意图。
[0037]图18是示出实施方式I的共用偏移信息的区域的一例的示意图。
[0038]图19是示出实施方式I的表示像素分类方法的索引编号的编码的一例的流程图。
[0039]图20是示出实施方式I的表示像素分类方法的索引编号的解码的一例的流程图。
[0040]图21是示出实施方式2的图像编码装置中的环路滤波部的结构的一例的框图。
[0041]图22是示出实施方式2的图像解码装置中的环路滤波部的结构的一例的框图。
[0042]图23是示出实施方式2的图像编码装置中的环路滤波部的动作的一例的流程图。
[0043]图24是示出实施方式2的图像解码装置中的环路滤波部的动作的一例的流程图。
[0044]图25是示出实施方式2的针对表示像素分类方法的索引编号的比特分配的一例的示意图。
[0045]图26是示出实施方式2的针对表示像素分类方法的索引编号的比特分配的另一例的示意图。
[0046]图27A是示出实施方式2的APS内的语法(sao_unit_vlc)的一例的示意图。
[0047]图27B是示出实施方式2的APS内的语法(sao_offset_vlc)的一例的示意图。
[0048]图27C是示出实施方式2的针对APS内的偏移信息的上下文索引的分配例的示意图。
[0049]图27D是示出实施方式2的APS内的偏移信息的编码的一例的流程图。
[0050]图27E是示出实施方式2的APS内的偏移信息的解码的一例的流程图。
[0051]图28A是示出实施方式2的切片数据内的语法(sao_unit_cabac)的一例的示意图。
[0052]图28B是示出实施方式2的切片数据内的语法(sao_offset_cabac)的一例的示意图。
[0053]图28C是示出实施方式2的针对切片数据内的偏移信息的上下文索引的分配例的示意图。
[0054]图28D是示出实施方式2的切片数据内的偏移信息的编码的一例的流程图。
[0055]图28E是示出实施方式2的切片数据内的偏移信息的解码的一例的流程图。
[0056]图29是示出实施方式2的表示像素分类方法的索引编号的编码的一例的流程图。
[0057]图30是示出实施方式2的表示像素分类方法的索引编号的解码的一例的流程图。
[0058]图31是示出实施方式3的偏移信息编码部的结构的一例的框图。
[0059]图32是示出实施方式3的偏移信息解码部的结构的一例的框图。
[0060]图33是示出实施方式3的第I例的针对偏移信息的上下文索引的分配的示意图。
[0061]图34是示出实施方式3的第I例的偏移信息编码部的动作的流程图。
[0062]图35是示出实施方式3的第I例的偏移信息解码部的动作的流程图。
[0063]图36A是示出实施方式3的第2例的针对偏移信息的上下文索引的分配的示意图。
[0064]图36B是示出实施方式3的第2例的针对表示像素分类方法的索引编号的比特分配的示意图。
[0065]图36C是示出实施方式3的第2例的图像编码装置和图像解码装置的客观性能的图。
[0066]图37是示出实施方式3的第2例的偏移信息编码部的动作的流程图。
[0067]图38是示出实施方式3的第2例的偏移信息解码部的动作的流程图。
[0068]图39A是示出实施方式3的第3例的针对偏移信息的上下文索引的分配的示意图。
[0069]图39B是示出实施方式3的第3例的图像编码装置和图像解码装置的客观性能的图。
[0070]图40是示出实施方式3的第3例的偏移信息编码部的动作的流程图。
[0071]图41是示出实施方式3的第3例的偏移信息解码部的动作的流程图。
[0072]图42是示出实施方式3的编码的特征的一例的流程图。
[0073]图43是示出实施方式3的解码的特征的一例的流程图。
[0074]图44是实现内容分发服务的内容供给系统的整体结构图。[0075]图45是数字广播用系统的整体结构图。
[0076]图46是示出电视机的结构例的模块图。
[0077]图47是示出对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
[0078]图48是示出作为光盘的记录介质的构造例的图。
[0079]图49A是示出便携电话的一例的图。
[0080]图49B是示出便携电话的结构例的模块图。
[0081]图50是示出复用数据的结构的图。
[0082]图51是示意地表示各流在复用数据中怎样被复用的图。
[0083]图52是更详细地表示在PES包序列中视频流怎样被保存的图。
[0084]图53是示出复用数据的TS包和源包的构造的图。
[0085]图54是示出PMT的数据结构的图。
[0086]图55是示出复用数据信息的内部结构的图。
[0087]图56是示出流属性信息的内部结构的图。
[0088]图57是示出识别影像数据的步骤的图。
[0089]图58是示出实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
[0090]图59是示出切换驱动频率的结构的图。
[0091]图60是示出识别影像数据、切换驱动频率的步骤的图。
[0092]图61是示出将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0093]图62A是示出将信号处理部的模块共用的结构的一例的图。
[0094]图62B是示出将信号处理部的模块共用的结构的另一例的图。
【具体实施方式】
[0095](作为本发明的基础的知识和见解)
[0096]本发明人针对“【背景技术】”一栏中记载的使用算术编码的图像编码方法发现了课题。下面具体进行说明。
[0097]以被称为H.26x的ITU-T标准和被称为MPEG-χ的IS0/IEC标准为代表的图像编码方式的图像编码装置将图片分割成预定的单位，按照该单位进行编码。例如，H.264/MPEG-4AVC方式(参照非专利文献I)的图像编码装置以水平16像素和垂直16像素的被称为宏块的单位进行处理。
[0098]图像编码装置在进行运动补偿的情况下，将宏块分割成子块(最小为水平4像素和垂直4像素)。然后，图像编码装置使用按照每个子块而不同的运动矢量进行运动补偿，对原信号与预测信号的差分信号进行频率变换，将差分信号的信息集中在低频率区域，通过进行量化，能够压缩信息。
[0099]在使用将差分信号的信息集中在低频率区域的DCT等正交变换以块单位对图片进行编码的方法中，公知在块的边界发现被称为块失真的格子状的失真。图像编码装置通过解块滤波处理，能够减少块失真。
[0100]但是，在上述解块滤波这样的仅对块边界进行处理的方式中，很难减少块失真以外的编码劣化。
[0101]因此，本发明的一个方式的图像编码方法包括以下步骤:上下文算术编码步骤，通过使用可变概率的算术编码即上下文算术编码，对(i)表示是否对图像的第I区域进行像素值的偏移处理即SAO (样本自适应偏移)处理的第I信息、和(ii)表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域不同的区域的SAO处理的信息的第2信息进行连续编码；以及旁路算术编码步骤，在所述第I信息和所述第2信息被编码后，通过使用固定概率的算术编码即旁路算术编码，对针对所述第I区域的SAO处理的信息、并且是与所述第I信息和所述第2信息不同的信息即其他信息进行编码，所述其他信息包括表示针对所述第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息，在所述上下文算术编码步骤中，将表示针对所述第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为所述第I信息进行编码，在所述旁路算术编码步骤中，将所述参数的比特串中的所述最初的比特的下一个比特的值作为所述第3信息进行编码。
[0102]由此，在用于提高画质的SAO处理的I个参数中，在适于使用上下文算术编码的部分中使用上下文算术编码，在适于使用旁路算术编码的部分中使用旁路算术编码。进而，连续进行上下文算术编码。即，抑制了上下文算术编码和旁路算术编码的频繁切换，连续进行同种处理。因此，处理效率提高。
[0103]例如，也可以是，在所述上下文算术编码步骤中，对所述第2信息进行编码后，对所述第I信息进行编码。
[0104]由此，能够在维持上下文算术编码的连续性的状态下，在利用上下文算术编码对参数中包含的最初的比特的值进行编码之后，利用旁路算术编码对参数中包含的下一个比特的值进行编码。因此，减轻了针对参数的复杂处理，处理效率提高。
[0105]并且，例如，也可以是，在所述旁路算术编码步骤中，对包括表示偏移值的绝对值的第4信息在内的所述其他信息进行编码。
[0106]由此，在上下文算术编码后，利用旁路算术编码对各种信息进行编码。即，统一进行同种处理。因此，处理效率提高。
[0107]并且，例如，也可以是，在所述旁路算术编码步骤中，在针对所述第I区域的SAO处理是带状偏移处理的情况下，对包括表示所述偏移值的正负的第5信息和表示所述偏移值的应用范围的第6信息在内的所述其他信息进行编码。
[0108]由此，在上下文算术编码后，根据状况，还利用旁路算术编码对各种信息进行编码。因此，处理效率提高。
[0109]并且，例如，也可以是，在所述上下文算术编码步骤中，对包括表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域的右侧相邻的右区域的SAO处理的信息的信息、以及表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域的上侧相邻的上区域的SAO处理的信息的信息中的至少一方在内的所述第2信息进行编码。
[0110]由此，在连续进行的上下文算术编码中，适当地对表示从上侧或左侧起的流用的信息进行编码。
[0111]并且，本发明的一个方式的图像解码方法包括以下步骤:上下文算术解码步骤，通过使用可变概率的算术解码即上下文算术解码，对(i)表示是否对图像的第I区域进行像素值的偏移处理即SAO (样本自适应偏移)处理的第I信息、和(ii)表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域不同的区域的SAO处理的信息的第2信息进行连续解码；以及旁路算术解码步骤，在所述第I信息和所述第2信息被解码后，通过使用固定概率的算术解码即旁路算术解码，对针对所述第I区域的SAO处理的信息、并且是与所述第I信息和所述第2信息不同的信息即其他信息进行解码，所述其他信息包括表示针对所述第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息，在所述上下文算术解码步骤中，将表示针对所述第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为所述第I信息进行解码，在所述旁路算术解码步骤中，将所述参数的比特串中的所述最初的比特的下一个比特的值作为所述第3信息进行解码。
[0112]由此，在用于提高画质的SAO处理的I个参数中，在适于使用上下文算术解码的部分中使用上下文算术解码，在适于使用旁路算术解码的部分中使用旁路算术解码。进而，连续进行上下文算术解码。即，抑制了上下文算术解码和旁路算术解码的频繁切换，连续进行同种处理。因此，处理效率提高。
[0113]例如，也可以是，在所述上下文算术解码步骤中，对所述第2信息进行解码后，对所述第I信息进行解码。
[0114]由此，能够在维持上下文算术解码的连续性的状态下，在利用上下文算术解码对参数中包含的最初的比特的值进行解码之后，利用旁路算术解码对参数中包含的下一个比特的值进行解码。因此，减轻了针对参数的复杂处理，处理效率提高。
[0115]并且，例如，也可以是，在所述旁路算术解码步骤中，对包括表示偏移值的绝对值的第4信息在内的所述其他信息进行解码。
[0116]由此，在上下文算术解码后，利用旁路算术解码对各种信息进行解码。即，统一进行同种处理。因此，处理效率提高。
[0117]并且，例如，也可以是，在所述旁路算术解码步骤中，在针对所述第I区域的SAO处理是带状偏移处理的情况下，对包括表示所述偏移值的正负的第5信息和表示所述偏移值的应用范围的第6信息在内的所述其他信息进行解码。
[0118]由此，在上下文算术解码后，根据状况，还利用旁路算术解码对各种信息进行解码。因此，处理效率提高。
[0119]并且，例如，也可以是，在所述上下文算术解码步骤中，对包括表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域的右侧相邻的右区域的SAO处理的信息的信息、以及表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域的上侧相邻的上区域的SAO处理的信息的信息中的至少一方在内的所述第2信息进行解码。
[0120]由此，在连续进行的上下文算术解码中，适当地对表示从上侧或左侧起的流用的信息进行解码。
[0121]另外，这些全部或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等非临时的记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序或记录介质的任意组合来实现。
[0122]下面，利用附图对实施方式进行详细说明。另外，以下说明的实施方式均示出全部或具体的例子。以下实施方式所示的数值、形状、材料、结构要素、结构要素的配置位置和连接方式、步骤、步骤的顺序等是一例，并不是限定本发明的意思。并且，关于以下实施方式的结构要素中的、在示出最上位概念的独立权利要求中没有记载的结构要素，作为任意的结构要素进行说明。
[0123]并且，下述有时将coding用作encoding的意思。
[0124](实施方式I)
[0125]图1示出本实施方式的图像编码装置的结构。图1所示的图像编码装置100具有控制部110和编码部120。编码部120包括减法部121、频率变换部122、量化部123、熵编码部124、逆量化部125、逆频率变换部126、加法部127、环路滤波部128、存储部129、帧内预测部130、运动补偿部131、运动检测部132和开关133。
[0126]编码部120按照每个块对图像141进行编码，生成编码流142。此时，编码部120的减法部121从由图像141的多个像素值构成的像素块中减去由预测图像的多个像素值构成的像素块。频率变换部122将通过减法而得到的像素块变换为由多个频率系数构成的系数块。量化部123对由频率变换部122得到的系数块进行量化。
[0127]另一方面，运动检测部132使用图像141的像素块来检测运动矢量。运动补偿部131使用存储部129的参照图像和由运动检测部132检测到的运动矢量进行帧间预测(间预测)。帧内预测部130根据帧内预测模式，使用由加法部127得到的像素块进行帧内预测(内预测)。开关133将通过帧内预测或帧间预测得到的预测图像的像素块输入到减法部121和加法部127。
[0128]然后，熵编码部124通过对块的分割信息、预测的种类、运动矢量、预测模式(帧内预测模式)、量化参数和量化后的系数块等实施熵编码，生成编码流142。
[0129]并且，逆量化部125对量化后的系数块进行逆量化。然后，逆频率变换部126将逆量化后的系数块变换为像素块。然后，加法部127在由逆频率变换部126得到的像素块中加上预测图像的像素块。环路滤波部128从由加法部127得到的像素块中抑制失真，将像素块作为参照图像存储在存储部129中。
[0130]并且，控制部110对编码部120进行控制。
[0131]图像编码装置100通过上述动作对图像141进行编码。然后，图像编码装置100通过频率变换、量化、帧内预测、帧间预测、熵编码和环路滤波等各种处理，减少编码流142的
数据量。
[0132]图2示出与图1所示的图像编码装置100对应的图像解码装置200的结构。图2所示的图像解码装置200具有控制部210和解码部220。解码部220包括熵解码部224、逆量化部225、逆频率变换部226、加法部227、环路滤波部228、存储部229、帧内预测部230、运动补偿部231和开关233。
[0133]解码部220按照每个块对编码流242中包含的图像241进行解码。此时，解码部220的熵解码部224通过对编码流242实施熵解码，取得块的分割信息、预测的种类、运动矢量、帧内预测模式、量化参数和量化后的系数块等。
[0134]然后，控制部210对解码部220的动作进行控制。
[0135]解码部220的逆量化部225对量化后的系数块进行逆量化。逆频率变换部226将逆量化后的系数块变换为像素块。
[0136]加法部227在由逆频率变换部226得到的像素块中加上预测图像的像素块。环路滤波部228从由加法部227得到的像素块中抑制失真。然后，环路滤波部228将由像素块构成的参照图像存储在存储部229中。并且，环路滤波部228输出由像素块构成的图像241。
[0137]在预测的种类为帧内预测的情况下，帧内预测部230根据帧内预测模式，使用由加法部227得到的像素块进行帧内预测。在预测的种类为帧间预测的情况下，运动补偿部231使用运动矢量和存储部229的参照图像进行帧间预测。开关233将通过帧内预测或帧间预测得到的预测图像的像素块输入到加法部227。
[0138]如上所述，图像解码装置200通过与图像编码装置100对应的动作，按照每个块对编码流242中包含的图像241进行解码。
[0139]这里，进一步详细说明环路滤波处理。环路滤波处理是用于减少重构信号的编码劣化的处理，在H.264/MPEG-4AVC方式(参照非专利文献I)中，进行减少在宏块边界产生的块状的失真的解块滤波处理。
[0140]但是，在解块滤波处理中无法消除宏块内产生的编码劣化。因此，在本实施方式中，进行用于减少编码劣化的偏移处理。在偏移处理中，通过在重构信号的处理对象块内包含的像素中加上偏移值，减轻相对于原信号的失真。
[0141]并且，在偏移处理中，将处理对象块内的像素分类为多个范畴，按照每个范畴使用共同的偏移值。在像素分类方法中，存在根据分类对象像素及其相邻像素的比较进行的边缘偏移的像素分类方法、以及根据分类对象像素的像素值进行的带状偏移的像素分类方法。边缘偏移是根据边缘进行的偏移，带状偏移是根据像素值进行的偏移。
[0142]下面，有时将使用边缘偏移的像素分类方法的情况表现为像素分类方法为边缘偏移、或者表现为在像素分类方法中使用边缘偏移。并且，同样，有时将使用带状偏移的像素分类方法的情况表现为像素分类方法为带状偏移、或者表现为在像素分类方法中使用带状偏移。
[0143]图3是示出基于边缘偏移的像素分类方法的例子的示意图。在边缘偏移中，根据分类对象像素c及其左右的相邻像素Cl、c2的大小关系进行分类。
[0144]图4是示出通过边缘偏移将处理对象块分类为5个范畴的例子的示意图。例如，在c的像素值比Cl的像素值大、且与c2的像素值相等的情况下，对象像素被分类为范畴3，加上对范畴3分配的偏移值Offset [3]。
[0145]并且，如图5所示，在边缘偏移中，与分类对象像素进行比较的像素是左右相邻像素(E0 (O))、上下相邻像素(E0 (I))、倾斜相邻像素(E0 (2)或EO (3))、或它们的组合(E0(4)或 EO (5))等。
[0146]图6是示出基于带状偏移的像素分类方法的例子的示意图。这里，处理对象像素值可取的灰度被均等地进行M分割。M例如为32。分割后的灰度区分成为范畴。处理对象像素被分类为包含其像素值的范畴。
[0147]图7是示出通过带状偏移将处理对象块分类为16个组的例子的示意图。例如，在c的像素值为R9以上且小于RlO的情况下，处理对象像素被分类为范畴9，加上对范畴9分配的偏移值Offset [9]。
[0148]并且，不需要对全部范畴分配偏移值，如图8所示，图像编码装置100能够仅对针对偏移效果较高的范畴的偏移值进行编码。此时，图像编码装置100还一并对表示编码后的偏移值的范畴的范畴索引编号进行编码。[0149]并且，SAO (样本自适应偏移:SampIe Adaptive Offset)如图9A所示,针对通过层次地分割块而得到的处理对象区域单位，决定最佳的像素分类方法和偏移值。图9B示出分割图案的一例。
[0150]图10是示出本实施方式的图像编码装置100中的环路滤波部128的结构的一例的框图。
[0151]环路滤波部128包括信号取得部151、偏移信息计算部152、偏移处理部153、偏移信息编码部154和信号输出部155。
[0152]信号取得部151取得已重构的处理对象区域的像素信号。
[0153]偏移信息计算部152计算偏移处理中使用的分割图案、像素分类方法和偏移值等偏移息。
[0154]偏移处理部153使用偏移信息，将处理对象区域内的像素分类为范畴，按照每个范畴进行偏移处理。
[0155]偏移信息编码部154将偏移信息输出到图1所示的熵编码部124。另外，偏移信息编码部154也可以对偏移信息进行编码。并且，偏移信息编码部154也可以包含在熵编码部124中。
[0156]信号输出部155输出进行偏移处理后的处理对象区域的像素信号。
[0157]图11是示出本实施方式的图像解码装置200中的环路滤波部228的结构的一例的框图。
[0158]环路滤波部228包括信号取得部251、偏移信息解码部252、偏移处理部253和信号输出部254。
[0159]信号取得部251取得已重构的处理对象区域的像素信号。
[0160]偏移信息解码部252取得偏移处理中使用的分割图案、像素分类方法和偏移值等偏移信息。另外，偏移信息解码部252也可以对偏移信息进行解码。并且，偏移信息解码部252也可以包含在熵解码部224中。
[0161]偏移处理部253使用偏移信息，将处理对象区域内的像素分类为范畴，按照每个范畴进行偏移处理。
[0162]信号输出部254输出进行偏移处理后的处理对象区域的像素信号。
[0163]图12是主要示出图1所示的图像编码装置100中的图10所示的环路滤波部128的动作的流程图。
[0164]首先，信号取得部151从加法部127取得已重构的处理对象区域的像素信号(S151)。接着，偏移信息计算部152计算偏移处理中使用的分割图案、像素分类方法和偏移值等偏移信息(S152)。接着，偏移处理部153根据偏移信息对区域进行分割，将分割区域的像素分类为范畴，按照每个范畴对偏移值进行相加(S153)。
[0165]接着，偏移信息编码部154将分割图案、像素分类方法、范畴索引编号和偏移值等偏移信息输出到熵编码部124。熵编码部124对偏移信息进行编码，将编码后的偏移信息插入编码流中(S154)。另外，偏移信息编码部154也可以对偏移信息进行编码，将编码后的偏移信息插入编码流中。
[0166]接着，信号输出部155将已偏移的处理对象区域的像素信号输出到存储部129(S155)。[0167]图13是主要示出图2所示的图像解码装置200中的图11所示的环路滤波部228的动作的流程图。
[0168]首先，信号取得部251从加法部227取得已重构的处理对象区域的像素信号(S251)。
[0169]接着，熵解码部224根据编码流对分割图案、像素分类方法、范畴索引编号和偏移值等偏移信息进行解码，偏移信息解码部252取得解码后的偏移信息(S252)。另外，偏移信息解码部252也可以根据编码流对偏移信息进行解码。
[0170]接着，偏移处理部253根据偏移信息对区域进行分割，将分割区域的像素分类为范畴，按照每个范畴对偏移值进行相加(S253)。接着，信号输出部254将已偏移的处理对象区域的像素信号输出到存储部229 (S254)。
[0171]这里，进一步详细地说明偏移信息编码部154和偏移信息解码部252中的偏移信息的编码和解码。在偏移处理中的像素分类方法中，作为一例，存在边缘偏移中的EO (O)、EO (I)、EO (2)和EO (3)、带状偏移中的BO (O)这5种。
[0172]图14示出表示上述各像素分类方法的索引编号的分配的一例。在图14中，对索弓丨编号进行2值化，以使得较小的值成为较小的比特长，较大的值成为较大的比特长，最大比特长被指定为5比特。但是，分配方法不限于此。例如，也可以如下那样分配比特:不指定最大比特长，在全部索引编号中，最后尾成为O。
[0173]并且，表示不对处理对象块进行偏移处理的信息被分配索引编号的O号。
[0174]实施方式I的图像编码装置100通过对动态图像进行编码而生成编码流。如图15所不，编码流包括 SPS (Sequence Parameter Set)和 PPS (Picture Parameter Set)等头部分以及编码后的图像数据即图片数据。
[0175]图片数据还包括切片头(SH)和切片数据。切片数据包括切片中包含的编码后的图像数据。切片数据还包括块头(BH)和块数据。块数据包括块中包含的编码后的图像数据。
[0176]并且，编码流包括存储了与上述不同的I个或多个切片中使用的参数的APS(Adaptation Parameter Set)。对APS分配索引编号aps_idx,图像编码装置100能够将用于调出要使用的APS的索引编号aps_idx插入切片头中。
[0177]在偏移信息编码部154 (或熵编码部124)中，对偏移信息进行编码，并将其插入SPS、PPS、SH、切片数据、BH、块数据和APS中的任意一方中。并且，在偏移信息解码部252(或熵解码部224)中，从SPS、PPS、SH、切片数据、BH、块数据和APS中的任意一方中取得偏移信息，并对其进行解码。
[0178]图16A、图16B和图16C示出将偏移信息插入APS中的例子。图像编码装置100能够统一将位于切片内的全部块的偏移信息插入APS中，图像解码装置200能够统一从APS取得偏移息。
[0179]并且，图17A、图17B和图17C示出将偏移信息插入切片数据中的例子。图像编码装置100能够将偏移信息插入切片数据的块单位中，图像解码装置200能够以切片数据的块单位取得偏移息。
[0180]在本实施方式中，如图18所示，图像编码装置100 (图像解码装置200)能够在多个处理对象区域中共用偏移信息。图18的实线是偏移处理的处理对象区域区分的边界，虚线是使用共同的偏移信息的区域区分的边界。这里，图像编码装置100通过在编码流中插入表示共用偏移值等的信息，而不是插入表示偏移值等的偏移信息，能够抑制由于偏移处理而导致的比特量的增加。
[0181]例如，如图16A 的 sao_one_luma_unit_flag、sao_one_cr_unit_flag 和 sao_one_cb_unit_flag那样，图像编码装置100也可以对表示在切片内的全部块中共用偏移信息的标志进行编码。并且，如图16A的sao_repeat_row_flag那样，图像编码装置100也可以对表不从上一行复制一行量的偏移信息的标志进行编码。
[0182]并且,如图16B的saoRun和sao_run_diff那样，图像编码装置100也可以对表示共用偏移信息的处理对象区域的数量的参数进行编码。并且，如图16B和图17B那样，图像编码装置100也可以对表示从左侧或上侧的区域复制偏移信息的sao_merge_left_flag或sao_merge_up_f Iag 进行编码。
[0183]图19是示出偏移信息编码部154对偏移信息中的表示像素分类方法的索引编号进行编码的动作的流程图。
[0184]首先，偏移信息编码部154判定是否进行了偏移处理(S1541)。偏移信息计算部152计算分割图案、像素分类方法、范畴索引编号和偏移值等偏移信息。偏移信息计算部152在偏移信息所需要的比特量比编码劣化的校正量大的情况下，判定为不进行偏移处理。该情况下，偏移处理部153不进行偏移处理。
[0185]这里，偏移信息编码部154从偏移信息计算部152或偏移处理部153取得与是否进行了偏移处理有关的信息。在未进行偏移处理的情况下(S1541:否)，偏移信息编码部154将表示像素分类方法的索引编号编码为O (S1542)。
[0186]在进行了偏移处理的情况下(S1541:是)，偏移信息编码部154判定像素分类方法是否是边缘偏移EO (O) (S1543)。在像素分类方法是边缘偏移EO (O)的情况下(S1543:是)，偏移信息编码部154将表示像素分类方法的索引编号编码为I (S1544)。
[0187]在像素分类方法不是边缘偏移EO (O)的情况下(S1543:否)，偏移信息编码部154判定像素分类方法是否是边缘偏移E0(1)(S1545)。在像素分类方法是边缘偏移EO(I)的情况下(S1545:是),偏移信息编码部154将表不像素分类方法的索引编号编码为2 (S1546)。
[0188]在像素分类方法不是边缘偏移EO (I)的情况下(S1545:否)，偏移信息编码部154判定像素分类方法是否是边缘偏移E0(2)(S1547)。在像素分类方法是边缘偏移E0(2)的情况下(S1547:是)，偏移信息编码部154将表示像素分类方法的索引编号编码为3 (S1548)。
[0189]在像素分类方法不是边缘偏移EO (2)的情况下(S1547:否)，偏移信息编码部154判定像素分类方法是否是边缘偏移E0(3)(S1549)。在像素分类方法是边缘偏移E0(3)的情况下(S1549:是)，偏移信息编码部154将表示像素分类方法的索引编号编码为4 (S1550)。
[0190]在像素分类方法不是边缘偏移EO (3)的情况下(S1549:否)，偏移信息编码部154将表示像素分类方法的索引编号编码为5 (S1551)。
[0191]图20是示出偏移信息解码部252对偏移信息中的表示像素分类方法的索引编号进行解码的动作、以及偏移处理部253进行偏移处理的动作的流程图。
[0192]首先，偏移处理部253判定偏移信息解码部252解码后的索引编号是否为O(S2521)。在索引编号为O的情况下(S2521:是)，偏移处理部253不进行偏移处理(S2522)。
[0193]在索引编号不为O的情况下(S2521:否)，偏移处理部253判定偏移信息解码部252解码后的索引编号是否为US2523)。在索引编号为I的情况下(S2523:是)，偏移处理部253进行边缘偏移EO (O) (S2524)。
[0194]在索引编号不为I的情况下(S2523:否)，偏移处理部253判定偏移信息解码部252解码后的索引编号是否为2(S2525)。在索引编号为2的情况下(S2525:是)，偏移处理部253进行边缘偏移EO (I) (S2526)。
[0195]在索引编号不为2的情况下(S2525:否)，偏移处理部253判定偏移信息解码部252解码后的索引编号是否为3(S2527)。在索引编号为3的情况下(S2527:是)，偏移处理部253进行边缘偏移EO (2) (S2528)。
[0196]在索引编号不为3的情况下(S2527:否)，偏移处理部253判定偏移信息解码部252解码后的索引编号是否为4(S2529)。在索引编号为4的情况下(S2529:是)，偏移处理部253进行边缘偏移EO (3) (S2530)。
[0197]在索引编号不为4的情况下(S2529:否)，偏移处理部253进行带状偏移BO (O)(S2531)。
[0198]如上所述，图像编码装置100和图像解码装置200在已重构的图像信号中加上由于偏移原信号与已重构的图像信号之差的偏移值。由此，能够生成近似原信号的重构信号。
[0199](实施方式2)
[0200]在实施方式I中，能够在多个区域中共用偏移信息。但是，当考虑低处理延迟或低存储量时，共用对象区域限定为附近区域。例如，如果仅将共用对象区域限定为与左侧和上侧相邻的区域，则处理延迟减少。并且，如果仅将共用对象区域限定为与左侧相邻的区域，则抑制了用于存储已处理的区域的偏移信息的存储量。
[0201]另一方面，由于共用对象区域的限定，很难在较大区域中共用偏移信息。因此，偏移信息本身的编码的频度上升，比特量增加。这里，如图16C或图17C所示，在带状偏移中，作为参数，对带状偏移编码开始范畴sao_band_position进行编码。因此，与边缘偏移相t匕，比特量较大。因此，从比特量增加的观点来看，使用边缘偏移更为有利。
[0202]因此，本实施方式的图像编码装置为了改善带状偏移相对于边缘偏移的不利，削减带状偏移的使用时所需要的比特量。另外，带状偏移编码开始范畴sao_band_position是表示偏移值的应用范围的信息的例子。
[0203]下面，对本实施方式的图像编码装置和与图像编码装置对应的图像解码装置进行说明。
[0204]图21是示出本实施方式的图像编码装置的环路滤波部的结构的框图。本实施方式的图像编码装置的其他结构与图1所示的图像编码装置100的结构相同。图22是示出本实施方式的图像解码装置的环路滤波部的结构的框图。本实施方式的图像解码装置的其他结构与图2所示的图像解码装置200的结构相同。
[0205]图23是示出图21所示的环路滤波部300 (图像编码装置的环路滤波部)的动作的流程图。图24是示出图22所示的环路滤波部400 (图像解码装置的环路滤波部)的动作的流程图。
[0206]首先，对图21所示的环路滤波部300 (图像编码装置的环路滤波部)的结构和动作进行说明。环路滤波部300具有信号取得部301、偏移信息计算部302、偏移处理部303、信号输出部304、偏移信息编码部305和控制部306。省略与实施方式I重复的部分的说明，对不同之处、即图21的控制部306、图21的偏移信息编码部305和图23的步骤S304进行说明。
[0207]控制部306对偏移信息编码部305进行控制，以使得在像素分类方法是带状偏移的情况下，带状偏移的偏移信息的比特量变小。
[0208]偏移信息编码部305进行编码，以使得表示像素分类方法是带状偏移的索引编号的数值变小。
[0209]在图23的步骤S304中，偏移信息编码部305对像素分类方法分配索引编号，对偏移信息进行编码。此时，偏移信息编码部305分配索引编号，以使得表示带状偏移BO (O)的索引编号比4个边缘偏移EO (0)、E0 (1)、E0 (2)和EO (3)小。然后，偏移信息编码部305将编码后的偏移信息插入编码流中。
[0210]接着，对图22所示的环路滤波部400 (图像解码装置的环路滤波部)的结构和动作进行说明。环路滤波部400具有信号取得部401、偏移信息解码部402、偏移处理部403、信号输出部404和控制部405。省略与实施方式I重复的部分的说明，对不同之处、即图22的控制部405、图22的偏移信息解码部402和图24的步骤S402进行说明。
[0211]控制部405对偏移信息解码部402进行控制，以使得在像素分类方法是带状偏移的情况下，以较小的比特量对带状偏移的偏移信息进行解码。
[0212]偏移信息解码部402将数值较小的索引编号作为表示像素分类方法是带状偏移的索引编号进行解码。
[0213]在图24的步骤S402中，偏移信息解码部402对像素分类方法分配索引编号，对偏移信息进行解码。此时，偏移信息解码部402分配索引编号，以使得表示带状偏移BO (O)的索引编号比4个边缘偏移EO (O)、EO (I)、EO (2)和EO (3)小。
[0214]这里，进一步详细说明偏移信息编码部305和偏移信息解码部402中的偏移信息的编码和解码。在偏移处理中的像素分类方法中，与实施方式I同样，采用边缘偏移E0(0)、EO (1)、E0 (2)和EO (3)以及带状偏移BO (O)。该情况下，除了不进行偏移处理的情况下的索引编号O以外，与表示像素分类方法的索引编号对应的最小比特量与最大比特量之差为3比特。
[0215]在实施方式I中，如图14那样，对带状偏移分配最大比特量。在带状偏移的范畴数为32的情况下,包含sao_band_position在内，在带状偏移与边缘偏移之间产生最大8比特和最小5比特的差。
[0216]因此，在本实施方式中，如图25那样，对表示带状偏移的索引编号分配臂边缘偏移小的比特。由此，带状偏移与边缘偏移的比特量之差为最大4比特和最小2比特，改善了带状偏移相对于边缘偏移的不利。
[0217]另外，如图26那样，偏移处理0N/0FF标志(偏移处理标志)也可以作为sao_on_flag而独立于表示像素分类方法的索引编号sao_type_idx。
[0218]在图26中，将带状偏移分配给索引编号的O号。而且，对索引编号进行2值化，以使得较小的值成为较小的比特长，较大的值成为较大的比特长，最大比特长被指定为4比特。但是，分配方法不限于此。例如，也可以如下那样分配比特:不指定最大比特长，在全部索引编号中，最后尾成为O。下面，以图26的比特分配为前提进行说明。
[0219]图27A和图27B示出将偏移信息插入APS中的例子。独立于表示像素分类方法的索引的偏移处理0N/0FF标志sao_on_flag新设置在图27A的sao_unit_vlc内。并且,在图27B的sao_offset_vlc内的sao_type_idx中，对带状偏移分配最小的比特。
[0220]图27C是示出APS内的偏移信息的上下文的一例的图。图27D是示出APS内的偏移信息的编码的一例的流程图。图27E是示出APS内的偏移信息的解码的一例的流程图。
[0221]并且，图28A和图28B示出将偏移信息插入切片数据中的例子。在图28A的sao_unit_cabac内新设置偏移处理0N/0FF标志sao_on_flag。并且,在图28B的sao_offset_cabac内的sao_type_idx中，对带状偏移分配最小的比特。
[0222]图28C是示出切片数据内的偏移信息的上下文的一例的示意图。图28D是示出切片数据内的偏移信息的编码的一例的流程图。图28E是示出切片数据内的偏移信息的解码的一例的流程图。
[0223]图29是示出偏移信息编码部305对偏移信息中的表示像素分类方法的索引编号进行编码的动作的流程图。
[0224]首先，偏移信息编码部305判定是否进行了偏移处理(S3051)。偏移信息计算部302计算分割图案、像素分类方法、范畴索引编号和偏移值等偏移信息。偏移信息计算部302在偏移信息所需要的比特量比编码劣化的校正量大的情况下，判定为不进行偏移处理。该情况下，偏移处理部303不进行偏移处理。
[0225]这里，偏移信息编码部305从偏移信息计算部302或偏移处理部303取得与是否进行了偏移处理有关的信息。在未进行偏移处理的情况下(S3051:否)，偏移信息编码部305将偏移处理0N/0FF标志编码为O (S3052)。
[0226]在进行了偏移处理的情况下(S3051:是)，偏移信息编码部305将偏移处理0N/0FF标志编码为I (S3053)。然后，偏移信息编码部305判定像素分类方法是否是带状偏移BO(O) (S3054)。
[0227]在像素分类方法是带状偏移BO (O)的情况下(S3054:是)，偏移信息编码部305将表示像素分类方法的索引编号编码为0(S3055)。在像素分类方法不是带状偏移BO(O)的情况下(S3054:否)，偏移信息编码部305判定像素分类方法是否是边缘偏移EO(O) (S3056)。
[0228]在像素分类方法是边缘偏移EO (O)的情况下(S3056:是)，偏移信息编码部305将表示像素分类方法的索引编号编码为1(S3057)。在像素分类方法不是边缘偏移EO(O)的情况下(S3056:否)，偏移信息编码部305判定像素分类方法是否是边缘偏移E0(1)(S3058)。
[0229]在像素分类方法是边缘偏移EO (I)的情况下(S3058:是)，偏移信息编码部305将表示像素分类方法的索引编号编码为2(S3059)。在像素分类方法不是边缘偏移EO(I)的情况下(S3058:否)，偏移信息编码部305判定像素分类方法是否是边缘偏移E0(2)(S3060)。
[0230]在像素分类方法是边缘偏移EO (2)的情况下(S3060:是)，偏移信息编码部305将表示像素分类方法的索引编号编码为3(S3061)。在像素分类方法不是边缘偏移E0(2)的情况下(S3060:否)，偏移信息编码部305将表示像素分类方法的索引编号编码为4 (S3062)。
[0231]图30是示出偏移信息解码部402对偏移信息中的表示像素分类方法的索引编号进行解码的动作、以及偏移处理部403进行偏移处理的动作的流程图。
[0232]首先，偏移处理部403判定偏移信息解码部402解码后的偏移处理0N/0FF标志是否为O (S4021)。在偏移处理0N/0FF标志为O的情况下(S4021:是)，偏移处理部403不进行偏移处理(S4022)。
[0233]在偏移处理0N/0FF标志不为O的情况下(S4021:否)，偏移信息解码部402对索引编号进行解码(S4023)。然后，偏移处理部403判定偏移信息解码部402解码后的索引编号是否为O (S4024)。
[0234]在索引编号为O的情况下(S4024:是)，偏移处理部403进行带状偏移BO (O)(S4025)。在索引编号不为O的情况下(S4024:否)，偏移处理部403判定偏移信息解码部402解码后的索引编号是否为I (S4026)。
[0235]在索引编号为I的情况下(S4026:是)，偏移处理部403进行边缘偏移EO (O)(S4027)。在索引编号不为I的情况下(S4026:否)，偏移处理部403判定偏移信息解码部402解码后的索引编号是否为2 (S4028)。
[0236]在索引编号为2的情况下(S4028:是)，偏移处理部403进行边缘偏移EO (I)(S4029)。在索引编号不为2的情况下(S4028:否)，偏移处理部403判定偏移信息解码部402解码后的索引编号是否为3 (S4030)。
[0237]在索引编号为3的情况下(S4030:是)，偏移处理部403进行边缘偏移EO (2)
(54031)。在索引编号不为3的情况下(S4030:否)，偏移处理部403进行边缘偏移EO (3)
(54032)。
[0238]如上所述，图像编码装置和图像解码装置减小带状偏移与边缘偏移的偏移信息的编码所需要的比特量的差分。由此，图像编码装置和图像解码装置能够按照每个处理对象区域进行适当的偏移处理。因此，编码效率和主观画质提高。
[0239]另外，图像编码装置和图像解码装置也可以在对亮度信号进行偏移处理的情况下，对边缘偏移的索引编号分配较小的比特量。而且，图像编码装置和图像解码装置也可以在对色差信号进行偏移处理的情况下，对带状偏移的索引编号分配较小的比特量。由此，容易使用适于要处理的信号的特征的像素分类方法。因此，编码效率和主观画质进一步提高。
[0240]并且，图像编码装置和图像解码装置也可以参照频率变换系数，在低频成分较小的处理对象区域中，对边缘偏移的索引编号分配较小的比特量。而且，图像编码装置和图像解码装置也可以在低频成分较大的处理对象区域中，对带状偏移的索引编号分配较小的比特量。由此，容易使用适于要处理的信号的特征的像素分类方法。因此，编码效率和主观画质进一步提闻。
[0241]并且，在上述低频成分的多寡的判定中，可以使用阈值，也可以对该阈值进行编码。
[0242]这里,作为在偏移/[目息编码部305和偏移彳目息解码部402中进行偏移彳目息的编码和解码的方法，对算术编码进行说明。在算术编码中，首先，图像编码装置将编码对象信号从多值信号变换为2值信号(bin、0或I的信号)(2值化)，对2值信号进行算术编码而生成码列。在算术编码中，存在使用自适应的码元产生概率进行算术编码的上下文算术编码(上下文自适应算术编码)。
[0243]在上下文算术编码中，图像编码装置按照编码对象的每个信号选择上下文，与上下文对应地确定码元产生概率。更具体而言，在上下文算术编码中，图像编码装置最初加载上下文，根据针对该上下文的码元产生概率进行对象信号的算术编码。然后，图像编码装置根据编码后的对象信号的值来更新与上下文对应的码元产生概率。
[0244]在亮度信号、色差信号Cb和色差信号Cr中，在偏移处理0N/0FF标志sao_on_f lag的编码中，可以使用共同的上下文，也可以如图27C或图28C那样在各个信号中切换上下文。
[0245]图28D是示出偏移信息编码部305在对偏移处理0N/0FF标志sao_on_flag进行编码并将其插入切片数据中的情况下使用3个上下文的例子的流程图。
[0246]首先，偏移信息编码部305判定处理对象信号是否是亮度信号(S3041)。在亮度信号的判定中，偏移信息编码部305使用图28A所示的cldx。这里，在cldx=0的情况下，处理对象?目号是売度/[目号。
[0247]在处理对象信号是亮度信号的情况下(S3041:是)，偏移信息编码部305选择上下文I并进行加载(S3042)。在处理对象信号不是亮度信号的情况下(S3041:否)，偏移信息编码部305判定处理对象信号是否是色差信号Cb(S3043)。在色差信号Cb的判定中，与亮度信号的判定(S3041)同样，偏移信息编码部305使用cldx。这里，在cldx=l的情况下，处理对象/[目号是色差/[目号Cb。
[0248]在处理对象/[目号是色差/[目号Cb的情况下(S3043:是),偏移/[目息编码部305选择上下文2并进行加载(S3044)。在处理对象信号不是色差信号Cb的情况下(S3043:否)，偏移信息编码部305选择上下文3并进行加载(S3045)。
[0249]然后，偏移信息编码部305使用选择并加载的上下文对偏移处理0N/0FF标志sao_on_f lag 进行编码(S3046 )。
[0250]另外，图27D的流程图示出对偏移处理0N/0FF标志sao_on_f lag进行编码并将其插入APS中的情况的例子，但是，由于与上述图28D相同，所以省略说明。
[0251]图28E是示出偏移信息解码部402在对插入切片数据中的偏移处理0N/0FF标志sao_on_flag进行解码的情况下使用3个上下文的例子的流程图。
[0252]首先，偏移信息解码部402判定处理对象信号是否是亮度信号(S4021)。在亮度信号的判定中，偏移信息解码部402使用图28A所示的cldx。这里，在cldx=0的情况下，处理对象?目号是売度/[目号。
[0253]在处理对象信号是亮度信号的情况下(S4021:是)，偏移信息解码部402选择上下文I并进行加载(S4022)。在处理对象信号不是亮度信号的情况下(S4021:否)，偏移信息解码部402判定处理对象信号是否是色差信号Cb(S4023)。在色差信号Cb的判定中，与亮度信号的判定(S4021)同样，偏移信息解码部402使用cldx。这里，在cldx=l的情况下，处理对象/[目号是色差/[目号Cb。
[0254]在处理对象信号是色差信号Cb的情况下(S4023:是)，偏移信息解码部402选择上下文2并进行加载(S4024)。在处理对象信号不是色差信号Cb的情况下(S4023:否)，偏移信息解码部402选择上下文3并进行加载S4025)。
[0255]然后，偏移信息解码部402使用选择并加载的上下文对偏移处理0N/0FF标志sao_on_f lag 进行解码(S4026 )。
[0256]另外，图27E的流程图示出对插入APS中的偏移处理0N/0FF标志sao_on_f lag进行解码的情况的例子，但是，由于与上述图28E相同，所以省略说明。
[0257]如上所述，图像编码装置和图像解码装置通过在亮度信号、色差信号Cb和色差信号Cr中使用分别不同的上下文，能够根据各信号的特征来分配码元产生概率。因此，图像编码装置和图像解码装置能够抑制偏移处理0N/0FF标志sao_on_flag的码量。
[0258]另外，图像编码装置和图像解码装置通过仅在色差信号Cb和Cr中共用上下文，也可以使编码和解码中使用的上下文的数量为2个(亮度信号和色差信号)。
[0259](实施方式3)
[0260]实施方式I的图像编码装置和图像解码装置通过在重构信号中加上根据原信号与重构信号的差分值而计算出的偏移值，能够减轻重构信号相对于原信号的失真。进而，图像编码装置和图像解码装置通过在多个处理对象区域中共用偏移信息，抑制了编码流中的偏移信息的比特量的增加。
[0261]并且，在实施方式2中，图像编码装置将表示是否按照每个处理对象区域进行偏移处理的信息作为偏移处理0N/0FF标志sao_on_f lag,独立于像素分类方法sao_type_idx而在偏移信息的开头进行编码。然后，图像编码装置在不进行偏移处理的情况下，不进行表示是否从左侧或上侧的区域复制偏移信息的sao_merge_left_flag或sao_merge_up_flag的编码。
[0262]由此，能够抑制比特量。进而，本实施方式的图像编码装置通过进行针对各偏移信息的算术编码的统一化或简略化，能够改善吞吐量。
[0263]在算术编码中，除了实施方式2中说明的上下文算术编码以外，还存在旁路算术编码。上下文算术编码使用自适应的码元产生概率。另一方面，旁路算术编码设码元产生概率为50%进行算术编码。由此，在旁路算术编码中，图像编码装置可以不进行上下文的加载和更新，所以，能够实现处理的高速化。
[0264]本实施方式的偏移信息编码部和偏移信息解码部的动作与实施方式I的偏移信息编码部154和偏移信息解码部252的动作不同。并且，本实施方式的偏移信息编码部和偏移信息解码部的动作与实施方式2的偏移信息编码部305和偏移信息解码部402的动作也不同。下面，对该差异进行说明。
[0265]图31示出在本实施方式的图像编码装置中进行偏移信息的编码的偏移信息编码部507的结构。偏移信息编码部507包括算术编码控制部5071、上下文算术编码部5072和旁路算术编码部5073。
[0266]算术编码控制部5071根据偏移信息切换使用上下文算术编码和旁路算术编码中的哪个。另外，算术编码控制部5071也可以包含在图1所示的图像编码装置100的控制部110中。上下文算术编码部5072根据偏移信息加载上下文并进行编码。旁路算术编码部5073在码元产生概率中使用50%进行编码。
[0267]图32示出在本实施方式的图像解码装置中进行偏移信息的解码的偏移信息解码部606的结构。偏移信息解码部606包括算术解码控制部6061、上下文算术解码部6062和旁路算术解码部6063。
[0268]算术解码控制部6061根据偏移信息切换使用上下文算术解码(上下文自适应算术解码)和旁路算术解码中的哪个。另外，算术解码控制部6061也可以包含在图2所示的图像解码装置200的控制部210中。上下文算术解码部6062根据偏移信息加载上下文并进行解码。旁路算术解码部6063在码元产生概率中使用50%进行解码。
[0269]图33示出本实施方式的第I例的针对偏移信息的上下文(上下文索引)的分配，并且示出在偏移信息的各语法要素中使用的算术编码的种类。
[0270]与偏移信息的编码和解码有关的语法与图17A、图17B和图17C所示的实施方式I的语法相同。[0271]这里，如图14所示，像素分类方法sa0_type_idX的最初的第I比特发挥是否进行偏移处理的0N/0FF的作用。与其他偏移信息相比，该第I比特的码元产生概率的偏差较大。因此，仅像素分类方法sa0_type_idX的第I比特使用上下文算术编码，包含像素分类方法sao_type_idx的第2比特以后的其他偏移信息使用旁路算术编码。
[0272]图34是示出偏移信息编码部507根据图33所示的算术编码的组合对偏移信息进行编码的例子的流程图。
[0273]首先，在偏移信息编码部507开始进行处理的时点，算术编码控制部5071设定旁路算术编码作为编码方法(S5070 )。
[0274]接着，算术编码控制部5071判定处理对象区域是否是切片或瓦片的左端(S5071)。偏移信息的复制仅从相同切片且相同瓦片的区域起。因此，在左侧偏移信息复制标志sao_merge_left_flag的编码前,进行上述判定。
[0275]在处理对象区域不是左端的情况下(S5071:否)，旁路算术编码部5073对左侧偏移信息复制标志sao_merge_left_flag进行编码(S5072)。
[0276]在左端的情况下(S5071:是)或者sao_merge_left_flag的编码(S5072)后，算术编码控制部 5071 判定 sao_merge_left_flag 是否为 O (S5073)。这里，sao_merge_left_flag为O表示不从左侧的区域复制偏移信息，sao_merge_left_flag为I表示从左侧的区域复制偏移息。
[0277]另外，在不进行sao_merge_left_flag的编码(S5072)的情况下，不存在sao_merge_left_flag的值。该情况下，sao_merge_left_flag的值作为O进行处理。并且,偏移信息编码部507也可以在开始进行处理的时点确保sao_merge_left_flag用的存储器，设定初始值O。
[0278]接着，在sao_merge_left_flag为O的情况下(S5073:是)，算术编码控制部5071判定处理对象区域是否是切片或瓦片的上端(S5074)。与左端的判定(S5071)同样，由于偏移信息的复制仅从相同切片且相同瓦片的区域起，所以，在上侧偏移信息复制标志sao_merge_up_flag的编码前,进行上述判定。
[0279]在处理对象区域不是上端的情况下(S5074:否)，旁路算术编码部5073对上侧偏移信息复制标志sao_merge_up_flag进行编码(S5075)。
[0280]在上端的情况下(S5074:是)或者sao_merge_up_flag的编码(S5075)后，算术编码控制部 5071 判定 sao_merge_up_flag 是否为 O (S5076)。这里，sao_merge_up_flag 为O表示不从上侧的区域复制偏移信息，sao_merge_up_flag为I表示从上侧的区域复制偏移信息。
[0281]另外，在不进行sao_merge_up_flag的编码(S5075)的情况下，不存在sao_merge_up_flag的值。该情况下，sao_merge_up_flag的值作为O进行处理。并且,偏移信息编码部507也可以在开始进行处理的时点确保sao_merge_up_flag用的存储器,设定初始值O。
[0282]接着,在sao_merge_up_flag为O的情况下(S5076:是),算术编码控制部5071将编码方法切换为上下文算术编码(S5077 )。
[0283]接着,上下文算术编码部5072加载像素分类方法sao_type_idx的binldxO用的上下文。然后，上下文算术编码部5072对像素分类方法sa0_type_idX的binldxO进行编码(S5078)。[0284]接着，算术编码控制部5071判定sao_type_idx的binldxO是否为1(S5079)。这里，binldxO为O表示不进行处理对象区域的偏移处理，binldxO为I表示进行偏移处理。
[0285]在binldxO为I的情况下(S5079:是)，算术编码控制部5071将编码方法切换为旁路算术编码(S5080)。
[0286]然后，旁路算术编码部5073对除了 binldxO以外的其余的像素分类方法sao_type_idx和偏移绝对值sao_offset进行编码(S5081)。这里，在本实施方式中，多个偏移绝对值sao_offset的个数在任意的像素分类方法中均相同，为4个。但是，旁路算术编码部5073也可以按照每个像素分类方法对不同个数的偏移绝对值进行编码。
[0287]接着，算术编码控制部5071判定像素分类方法是否是带状偏移(S5082)。这里，算术编码控制部5071在判定中使用像素分类方法sao_type_idx。
[0288]在该例子中，作为sao_type_idx的值,对带状偏移分配5。因此,算术编码控制部5071在sao_type_idx为5的情况下,判定为像素分类方法是带状偏移,在sao_type_idx不为5的情况下，判定为像素分类方法不是带状偏移。
[0289]在像素分类方法是带状偏移的情况下(S5082:是)，旁路算术编码部5073对偏移值土符号sao_offset_sign和带状偏移编码开始范畴sao_band_position进行编码(S5083)。
[0290]另外，在本实施方式中，仅在带状偏移的情况下，旁路算术编码部5073对偏移值土符号sao_offset_sign进行编码。但是,在边缘偏移的情况下,旁路算术编码部5073也可以对偏移值土符号sao_offset_sign进行编码。该情况下，在步骤S5081中对偏移值土符号sao_offset_sign进行编码。
[0291]并且，该情况下，在步骤S5081中，也可以对偏移绝对值sao_offset和偏移值土符号sao_offset_sign进行统合,作为偏移值进行编码。
[0292]图35是示出偏移信息解码部606根据图33所示的算术解码的组合对偏移信息进行解码的例子的流程图。
[0293]首先，在偏移信息解码部606开始进行处理的时点，算术解码控制部6061设定旁路算术解码作为解码方法(S6060 )。
[0294]接着，算术解码控制部6061判定处理对象区域是否是切片或瓦片的左端(S6061)。偏移信息的复制仅从相同切片且相同瓦片的区域起。因此，在左侧偏移信息复制标志sao_merge_left_flag的解码前,进行上述判定。
[0295]在处理对象区域不是左端的情况下(S6061:否)，旁路算术解码部6063对左侧偏移信息复制标志sao_merge_left_flag进行解码(S6062)。
[0296]在左端的情况下(S6061:是)或者sao_merge_left_flag的解码(S6062)后，算术解码控制部 6061 判定 sao_merge_left_flag 是否为 O (S6063)。这里，sao_merge_left_flag为O表示不从左侧的区域复制偏移信息，sao_merge_left_flag为I表示从左侧的区域复制偏移息。
[0297]另外，在不进行sao_merge_left_flag的解码(S6062)的情况下，不存在sao_merge_left_flag的值。该情况下，sao_merge_left_flag的值作为O进行处理。并且,偏移信息解码部606也可以在开始进行处理的时点确保sao_merge_left_flag用的存储器，设定初始值O。[0298]接着，在sao_merge_left_flag为O的情况下(S6063:是)，算术解码控制部6061判定处理对象区域是否是切片或瓦片的上端(S6064)。与左端的判定(S6061)同样，由于偏移信息的复制仅从相同切片且相同瓦片的区域起，所以，在上侧偏移信息复制标志sao_merge_up_flag的解码前,进行上述判定。
[0299]在处理对象区域不是上端的情况下(S6064:否)，旁路算术解码部6063对上侧偏移信息复制标志sao_merge_up_flag进行解码(S6065)。
[0300]在上端的情况下(S6064:是)或者sao_merge_up_flag的解码(S6065)后，算术解码控制部 6061 判定 sao_merge_up_flag 是否为 O (S6066)。这里，sao_merge_up_flag 为O表示不从上侧的区域复制偏移信息，sao_merge_up_flag为I表示从上侧的区域复制偏移信息。
[0301]另外，在不进行sao_merge_up_flag的解码(S6065)的情况下，不存在sao_merge_up_flag的值。该情况下，sao_merge_up_flag的值作为O进行处理。并且,偏移信息解码部606也可以在开始进行处理的时点确保sao_merge_up_flag用的存储器,设定初始值O。
[0302]接着,在sao_merge_up_flag为O的情况下(S6066:是),算术解码控制部6061将解码方法切换为上下文算术解码(S6067 )。
[0303]接着,上下文算术解码部6062加载像素分类方法sao_type_idx的binldxO用的上下文。然后，上下文算术解码部6062对像素分类方法sa0_type_idX的binldxO进行解码(S6068)。
[0304]接着，算术解码控制部6061判定sao_type_idx的binldxO是否为1(S6069)。这里，binldxO为O表示不进行处理对象区域的偏移处理，binldxO为I表示进行偏移处理。
[0305]在binldxO为I的情况下(S6069:是)，算术解码控制部6061将解码方法切换为旁路算术解码(S6070)。
[0306]然后，旁路算术解码部6063对除了 binldxO以外的其余的像素分类方法sao_type_idx和偏移绝对值sao_offset进行解码(S6071)。这里，在本实施方式中，多个偏移绝对值sao_offset的个数在任意的像素分类方法中均相同，为4个。但是，旁路算术解码部6063也可以按照每个像素分类方法对不同个数的偏移绝对值进行解码。
[0307]接着，算术解码控制部6061判定像素分类方法是否是带状偏移(S6072)。这里，算术解码控制部6061在判定中使用像素分类方法sao_type_idx。
[0308]在该例子中，作为sao_type_idx的值，对带状偏移分配5。因此，算术解码控制部6061在sao_type_idx为5的情况下,判定为像素分类方法是带状偏移，在sao_type_idx不为5的情况下，判定为像素分类方法不是带状偏移。
[0309]在像素分类方法是带状偏移的情况下(S6072:是)，旁路算术解码部6063对偏移值土符号sao_offset_sign和带状偏移解码开始范畴sao_band_position进行解码(S6073)。
[0310]另外，在本实施方式中，仅在带状偏移的情况下，旁路算术解码部6063对偏移值土符号sa0_0ffset_sign进行解码。但是，在边缘偏移的情况下，旁路算术解码部6063也可以对偏移值土符号sao_offset_sign进行解码。该情况下，在步骤S6071中对偏移值土符号sao_offset_sign进行解码。
[0311]并且，该情况下，在步骤S6071中，也可以对偏移绝对值sao_offset和偏移值土符号sao_offset_sign进行统合,作为偏移值进行解码。
[0312]如上所述,在除了像素分类方法sao_type_idx的binldxO以外的全部偏移信息的编码和解码中使用旁路算术编码和旁路算术解码。由此，图像编码装置和图像解码装置可以不随处进行上下文的加载和更新。因此，改善了吞吐量。
[0313]图36A示出本实施方式的第2例的针对偏移信息的上下文(上下文索引)的分配，并且示出中偏移信息的各语法要素中使用的算术编码的种类。
[0314]在该例子中，像素分类方法sao_type_idx的第I比特作为偏移处理0N/0FF标志sao_on_flag,独立于像素分类方法sao_type_idx而在偏移信息的开头被编码(解码)。与偏移信息的编码和解码有关的语法与图28A和图28B所示的实施方式2的语法相同。
[0315]这里，与其他偏移信息相比，偏移处理0N/0FF标志Sao_on_flag的码元产生概率的偏差较大。因此，仅对偏移处理0N/0FF标志sao_on_flag使用上下文算术编码。而且，对在偏移处理0N/0FF标志sao_on_flag之后被编码(解码)的左侧偏移信息复制标志sao_merge_left_flag和此后的偏移信息使用旁路算术编码。
[0316]通过对左侧偏移信息复制标志sao_merge_left_flag以后的全部偏移信息使用旁路算术编码，进一步改善了吞吐量。
[0317]这里,针对偏移处理0N/0FF标志sao_on_flag和像素分类方法sao_type_idx的比特分配与图26所示的实施方式2相同。但是，比特分配方法不限于此。关于针对像素分类方法sao_type_idx的比特的分配,如图36B所示，也可以对边缘偏移(O)分配最小的比特量，对带状偏移分配最大的比特量。
[0318]在图28B的例子中，为了抑制由于if文而导致的条件分支数，连续对偏移值土符号sao_offset_sign和带状偏移编码开始范畴sao_band_position进行编码(解码)。但是，编码(解码)的顺序不限于图28B的例子。
[0319]图36C是示出图36A的例子的图像编码装置和图像解码装置的客观性能的表。图36C示出根据非专利文献2的指标、客观性能的劣化较少的情况。与图36A的例子对应的客观性能在后面叙述。
[0320]图37是不出偏移信息编码部507根据图36A所不的算术编码的组合对偏移信息进行编码的例子的流程图。
[0321]首先，在偏移信息编码部507开始进行处理的时点，算术编码控制部5071设定上下文算术编码作为编码方法(S5170)。
[0322]接着，上下文算术编码部5072加载偏移处理0N/0FF标志Sao_on_f lag用的上下文，使用该上下文对偏移处理0N/0FF标志sao_on_flag进行编码(S5171)。
[0323]接着，算术编码控制部5071判定偏移处理0N/0FF标志sao_on_f lag是否为I(S5172)。这里，sao_on_flag为O表不不进行处理对象区域的偏移处理，sao_on_flag为I表示进行处理对象区域的偏移处理。
[0324]在偏移处理0N/0FF标志Sao_on_f lag为I的情况下(S5172:是)，算术编码控制部5071将编码方法切换为旁路算术编码(S5173)。由此，以后的编码步骤全部使用旁路算术编码进行。
[0325]接着，算术编码控制部5071判定处理对象区域是否是切片或瓦片的左端(S5174)。偏移信息的复制仅从相同切片且相同瓦片的区域起。因此，在左侧偏移信息复制标志sao_merge_left_flag的编码前,进行上述判定。
[0326]在处理对象区域不是左端的情况下(S5174:否)，旁路算术编码部5073对左侧偏移信息复制标志sao_merge_left_flag进行编码(S5175)。
[0327]在左端的情况下(S5174:是)或者sao_merge_left_f lag的编码(S5175)后，算术编码控制部 5071 判定 sao_merge_left_flag 是否为 O (S5176)。这里，sao_merge_left_flag为O表示不从左侧的区域复制偏移信息，sao_merge_left_flag为I表示从左侧的区域复制偏移息。
[0328]另外，在不进行sao_merge_left_flag的编码(S5175)的情况下，不存在sao_merge_left_flag的值。该情况下，sao_merge_left_flag的值作为O进行处理。并且,偏移信息编码部507也可以在开始进行处理的时点确保sao_merge_left_flag用的存储器，设定初始值O。
[0329]接着，在sao_merge_left_flag为O的情况下(S5176:是)，算术编码控制部5071判定处理对象区域是否是切片或瓦片的上端(S5177)。与左端的判定(S5174)同样，由于偏移信息的复制仅从相同切片且相同瓦片的区域起，所以，在上侧偏移信息复制标志sao_merge_up_flag的编码前,进行上述判定。
[0330]在处理对象区域不是上端的情况下(S5177:否)，旁路算术编码部5073对上侧偏移信息复制标志sao_merge_up_flag进行编码(S5178)。
[0331]在上端的情况下(S5177:是)或者sao_merge_up_flag的编码(S5178)后，算术编码控制部 5071 判定 sao_merge_up_flag 是否为 O (S5179)。这里，sao_merge_up_flag 为O表示不从上侧的区域复制偏移信息，sao_merge_up_flag为I表示从上侧的区域复制偏移信息。
[0332]另外，在不进行sao_merge_up_flag的编码(S5178)的情况下，不存在sao_merge_up_flag的值。该情况下，sao_merge_up_flag的值作为O进行处理。并且,偏移信息编码部507也可以在开始进行处理的时点确保sao_merge_up_flag用的存储器,设定初始值O。
[0333]接着,在sao_merge_up_flag为O的情况下(S5179:是)，旁路算术编码部5073对像素分类方法sao_type_idx和偏移绝对值sao_offset进行编码(S5180)。这里,在本实施方式中，多个偏移绝对值sao_offset的个数在任意的像素分类方法中均相同，为4个。但是，旁路算术编码部5073也可以按照每个像素分类方法对不同个数的偏移绝对值进行编码。
[0334]接着，算术编码控制部5071判定像素分类方法是否是带状偏移(S5181)。这里，算术编码控制部5071在判定中使用像素分类方法sao_type_idx。
[0335]在该例子中，作为sao_type_idx的值，对带状偏移分配O。因此，算术编码控制部5071在sao_type_idx为O的情况下,判定为像素分类方法是带状偏移,在sao_type_idx不为O的情况下，判定为像素分类方法不是带状偏移。
[0336]在像素分类方法是带状偏移的情况下(S5181:是)，旁路算术编码部5073对偏移值土符号sao_offset_sign和带状偏移编码开始范畴sao_band_position进行编码(S5182)。
[0337]另外，在本实施方式中，仅在带状偏移的情况下，旁路算术编码部5073对偏移值土符号sao_offset_sign进行编码。但是,在边缘偏移的情况下,旁路算术编码部5073也可以对偏移值土符号sao_offset_sign进行编码。该情况下，在步骤S5180中对偏移值土符号sao_offset_sign进行编码。
[0338]并且，该情况下，在步骤S5180中，也可以对偏移绝对值sao_offset和偏移值土符号sao_offset_sign进行统合,作为偏移值进行编码。
[0339]图38是示出偏移信息解码部606根据图36A所示的算术解码的组合对偏移信息进行解码的例子的流程图。
[0340]首先，在偏移信息解码部606开始进行处理的时点，算术解码控制部6061设定上下文算术解码作为解码方法(S6160)。
[0341]接着，上下文算术解码部6062加载偏移处理0N/0FF标志Sao_on_flag用的上下文，使用该上下文对偏移处理0N/0FF标志sao_on_flag进行解码(S6161)。
[0342]接着，算术解码控制部6061判定偏移处理0N/0FF标志sao_on_flag是否为I(S6162)。这里，sao_on_flag为O表不不进行处理对象区域的偏移处理，sao_on_flag为I表示进行处理对象区域的偏移处理。
[0343]在偏移处理0N/0FF标志Sao_on_f lag为I的情况下(S6162:是)，算术解码控制部6061将解码方法切换为旁路算术解码(S6163)。由此，此后的解码步骤全部使用旁路算术解码进行。
[0344]接着，算术解码控制部6061判定处理对象区域是否是切片或瓦片的左端(S6164)。偏移信息的复制仅从相同切片且相同瓦片的区域起。因此，在左侧偏移信息复制标志sao_merge_left_flag的解码前,进行上述判定。
[0345]在处理对象区域不是左端的情况下(S6164:否)，旁路算术解码部6063对左侧偏移信息复制标志sao_merge_left_flag进行解码(S6165)。
[0346]在左端的情况下(S6164:是)或者sao_merge_left_flag的解码(S6165)后，算术解码控制部 6061 判定 sao_merge_left_flag 是否为 O (S6166)。这里，sao_merge_left_flag为O表示不从左侧的区域复制偏移信息，sao_merge_left_flag为I表示从左侧的区域复制偏移息。
[0347]另外，在不进行sao_merge_left_flag的解码(S6165)的情况下，不存在sao_merge_left_flag的值。该情况下，sao_merge_left_flag的值作为O进行处理。并且,偏移信息解码部606也可以在开始进行处理的时点确保sao_merge_left_flag用的存储器，设定初始值O。
[0348]接着，在sao_merge_left_flag为O的情况下(S6166:是)，算术解码控制部6061判定处理对象区域是否是切片或瓦片的上端(S6167)。与左端的判定(S6164)同样，由于偏移信息的复制仅从相同切片且相同瓦片的区域起，所以，在上侧偏移信息复制标志sao_merge_up_flag的解码前,进行上述判定。
[0349]在处理对象区域不是上端的情况下(S6167:否)，旁路算术解码部6063对上侧偏移信息复制标志sao_merge_up_flag进行解码(S6168)。
[0350]在上端的情况下(S6167:是)或者sao_merge_up_flag的解码(S6168)后,算术解码控制部 6061 判定 sao_merge_up_flag 是否为 O (S6169)。这里，sao_merge_up_flag 为O表示不从上侧的区域复制偏移信息，sao_merge_up_flag为I表示从上侧的区域复制偏移信息。[0351]另外，在不进行sao_merge_up_flag的解码(S6168)的情况下，不存在sao_merge_up_flag的值。该情况下，sao_merge_up_flag的值作为O进行处理。并且,偏移信息解码部606也可以在开始进行处理的时点确保sao_merge_up_flag用的存储器,设定初始值O。
[0352]接着,在sao_merge_up_flag为O的情况下(S6169:是)，旁路算术解码部6063对像素分类方法sao_type_idx和偏移绝对值sao_offset进行解码(S6170)。这里,在本实施方式中，多个偏移绝对值sao_offset的个数在任意的像素分类方法中均相同，为4个。但是，旁路算术解码部6063也可以按照每个像素分类方法对不同个数的偏移绝对值进行解码。
[0353]接着，算术解码控制部6061判定像素分类方法是否是带状偏移(S6171)。这里，算术解码控制部6061在判定中使用像素分类方法sao_type_idx。
[0354]在该例子中，作为sao_type_idx的值，对带状偏移分配O。因此，算术解码控制部6061在sao_type_idx为O的情况下,判定为像素分类方法是带状偏移，在sao_type_idx不为O的情况下，判定为像素分类方法不是带状偏移。
[0355]在像素分类方法是带状偏移的情况下(S6171:是)，旁路算术解码部6063对偏移值土符号sao_offset_sign和带状偏移解码开始范畴sao_band_position进行解码(S6172)。
[0356]另外，在本实施方式中，仅在带状偏移的情况下，旁路算术解码部6063对偏移值土符号sa0_0ffset_sign进行解码。但是，在边缘偏移的情况下，旁路算术解码部6063也可以对偏移值土符号sao_offset_sign进行解码。该情况下，在步骤S6170中对偏移值土符号sao_offset_sign进行解码。
[0357]并且，该情况下，在步骤S6170中，也可以对偏移绝对值sao_offset和偏移值土符号sao_offset_sign进行统合,作为偏移值进行解码。
[0358]如上所述，在除了开头的偏移处理0N/0FF标志Sao_on_flag以外的全部偏移信息的编码和解码中使用旁路算术编码和旁路算术解码。由此，图像编码装置和图像解码装置可以不随处进行上下文的加载和更新。因此，改善了吞吐量。
[0359]图36C示出基于HEVC标准中策定的测试条件(参照非专利文献2)的结果作为图36A的例子的客观性能。
[0360]图36C的Configuration是编码的参数设定条件。BD-rate是根据重构图像的PSNRCPeak Signal-to-Noise Ratio)和编码流的码量而计算出的客观指标。负的BD-rate表示客观性能的改善，正的BD-rate表示客观性能的劣化。另外，图36C的BD-rate根据与实施方式I的比较而示出图36A的例子的客观性能的改善或劣化。
[0361]如图36C那样，BD-rate收敛在±0.1的范围内。这表示图36A的例子的客观性能与实施方式I大致相同。即，在图36A的例子中，客观性能的劣化较少，改善了吞吐量。
[0362]图39A示出本实施方式的第3例的针对偏移信息的上下文(上下文索引)的分配，并且示出中偏移信息的各语法要素中使用的算术编码的种类。
[0363]在该例子中，与图36A相比，对左侧偏移信息复制标志sao_merge_left_flag和上侧偏移信息复制标志Sa0_merge_up_flag使用上下文算术编码。与偏移信息的编码和解码有关的语法与图28A和图28B所示的实施方式2的语法相同。
[0364]与其他偏移信息相比，sao_on_flag、sao_merge_left_flag和 sao_merge_up_flag的码元产生概率的偏差较大。因此，仅对上述3个标志使用上下文算术编码，对像素分类方法sa0_type_idX以后的偏移信息使用旁路算术编码。由此，图像编码装置能够平衡良好地维持编码效率和吞吐量，并且能够对偏移信息进行编码。
[0365]针对偏移处理ON/OFF标志sao_on_f lag和像素分类方法sao_type_idx,可以如图26那样分配比特，也可以如图36B那样分配。
[0366]在图28B的例子中，为了抑制由于if文而导致的条件分支数，连续对偏移值土符号sao_offset_sign和带状偏移编码开始范畴sao_band_position进行编码(解码)。但是，编码(解码)的顺序不限于图28B的例子。
[0367]并且，在图39A的例子中，对偏移处理0N/0FF标志sao_on_flag、左侧偏移信息复制标志sao_merge_left_flag和上侧偏移信息复制标志sao_merge_up_flag使用上下文。这些标志中使用的上下文可以在亮度信号、色差信号Cb和色差信号Cr中共用。由此，能够削减上下文的数量并削减存储器尺寸。
[0368]并且，图像编码装置可以在亮度信号、色差信号Cb和色差信号Cr中使用不同的上下文，也可以仅在色差信号Cb和Cr中共用相同的上下文。由此，与在全部信号中共用相同的上下文的情况相比，图像编码装置能够提高编码效率。
[0369]图39B是示出图39A的例子的图像编码装置和图像解码装置的客观性能的表。图39B示出根据非专利文献2的指标、客观性能的劣化较少的情况。与图39A的例子对应的客观性能在后面叙述。
[0370]图40是示出偏移信息编码部507根据图39A所示的算术编码的组合对偏移信息进行编码的例子的流程图。
[0371]首先，在偏移信息编码部507开始进行处理的时点，算术编码控制部5071设定上下文算术编码作为编码方法(S5270 )。
[0372]接着，上下文算术编码部5072加载偏移处理0N/0FF标志Sao_on_f lag用的上下文，使用该上下文对偏移处理0N/0FF标志sao_on_flag进行编码(S5271)。
[0373]接着，算术编码控制部5071判定偏移处理0N/0FF标志sao_on_f lag是否为I(S5272)。这里，sao_on_flag为O表不不进行处理对象区域的偏移处理，sao_on_flag为I表示进行处理对象区域的偏移处理。
[0374]在偏移处理0N/0FF标志Sao_on_f lag为I的情况下(S5272:是)，算术编码控制部5071判定处理对象区域是否是切片或瓦片的左端(S5273)。偏移信息的复制仅从相同切片且相同瓦片的区域起。因此，在左侧偏移信息复制标志sao_merge_left_flag的编码前,进行上述判定。
[0375]在处理对象区域不是左端的情况下(S5273:否)，上下文算术编码部5072加载左侧偏移信息复制标志sa0_merge_left_flag用的上下文。然后，上下文算术编码部5072对左侧偏移信息复制标志sao_merge_left_flag进行编码(S5274)。
[0376]在左端的情况下(S5273:是)或者sao_merge_left_flag的编码(S5274)后，算术编码控制部 5071 判定 sao_merge_left_flag 是否为 O (S5275)。这里，sao_merge_left_flag为O表示不从左侧的区域复制偏移信息，sao_merge_left_flag为I表示从左侧的区域复制偏移息。
[0377]另外，在不进行sao_merge_left_flag的编码(S5274)的情况下，不存在sao_merge_left_flag的值。该情况下，sao_merge_left_flag的值作为O进行处理。并且,偏移信息编码部507也可以在开始进行处理的时点确保sao_merge_left_flag用的存储器，设定初始值O。
[0378]接着，在sao_merge_left_flag为O的情况下(S5275:是)，算术编码控制部5071判定处理对象区域是否是切片或瓦片的上端(S5276)。与左端的判定(S5273)同样，由于偏移信息的复制仅从相同切片且相同瓦片的区域起，所以，在上侧偏移信息复制标志sao_merge_up_flag的编码前,进行上述判定。
[0379]在处理对象区域不是上端的情况下(S5276:否)，上下文算术编码部5072加载上侧偏移信息复制标志sa0_merge_up_f lag用的上下文。然后，上下文算术编码部5072对上侧偏移信息复制标志sao_merge_up_flag进行编码(S5277)。
[0380]在上端的情况下(S5276:是)或者sao_merge_up_flag的编码(S5277)后，算术编码控制部 5071 判定 sao_merge_up_flag 是否为 O (S5278)。这里，sao_merge_up_flag 为O表示不从上侧的区域复制偏移信息，sao_merge_up_flag为I表示从上侧的区域复制偏移信息。
[0381]另外，在不进行sao_merge_up_flag的编码(S5277)的情况下，不存在sao_merge_up_flag的值。该情况下，sao_merge_up_flag的值作为O进行处理。并且,偏移信息编码部507也可以在开始进行处理的时点确保sao_merge_up_flag用的存储器,设定初始值O。
[0382]接着，在sao_merge_up_flag为O的情况下(S5278:是)，算术编码控制部5071将编码方法切换为旁路算术编码(S5279)。由此，以后的编码步骤全部使用旁路算术编码进行。
[0383]接着，旁路算术编码部5073对像素分类方法sao_type_idx和偏移绝对值sao_offset进行编码(S5280)。这里，在本实施方式中，多个偏移绝对值sao_offset的个数在任意的像素分类方法中均相同，为4个。但是，旁路算术编码部5073也可以按照每个像素分类方法对不同个数的偏移绝对值进行编码。
[0384]接着，算术编码控制部5071判定像素分类方法是否是带状偏移(S5281 )。这里，算术编码控制部5071在判定中使用像素分类方法sao_type_idx。
[0385]在该例子中，作为sao_type_idx的值,对带状偏移分配O。因此,算术编码控制部5071在sao_type_idx为O的情况下,判定为像素分类方法是带状偏移,在sao_type_idx不为O的情况下，判定为像素分类方法不是带状偏移。
[0386]在像素分类方法是带状偏移的情况下(S5281:是)，旁路算术编码部5073对偏移值土符号sao_offset_sign和带状偏移编码开始范畴sao_band_position进行编码(S5282)。
[0387]另外，在本实施方式中，仅在带状偏移的情况下，旁路算术编码部5073对偏移值土符号sao_offset_sign进行编码。但是,在边缘偏移的情况下,旁路算术编码部5073也可以对偏移值土符号sao_offset_sign进行编码。该情况下，在步骤S5280中对偏移值土符号sao_offset_sign进行编码。
[0388]并且，该情况下，在步骤S5280中，也可以对偏移绝对值sao_offset和偏移值土符号sao_offset_sign进行统合,作为偏移值进行编码。
[0389]图41是示出偏移信息解码部606根据图39A所示的算术解码的组合对偏移信息进行解码的例子的流程图。
[0390]首先，在偏移信息解码部606开始进行处理的时点，算术解码控制部6061设定上下文算术解码作为解码方法(S6260 )。
[0391]接着，上下文算术解码部6062加载偏移处理0N/0FF标志sao_on_flag用的上下文，使用该上下文对偏移处理0N/0FF标志sao_on_flag进行解码(S6261)。
[0392]接着，算术解码控制部6061判定偏移处理0N/0FF标志sao_on_flag是否为I(S6262)。这里，sao_on_flag为O表不不进行处理对象区域的偏移处理，sao_on_flag为I表示进行处理对象区域的偏移处理。
[0393]接着,在sao_on_flag为I的情况下(S6262:是),算术解码控制部6061判定处理对象区域是否是切片或瓦片的左端(S6263)。偏移信息的复制仅从相同切片且相同瓦片的区域起。因此，在左侧偏移信息复制标志sao_merge_left_flag的解码前,进行上述判定。
[0394]在处理对象区域不是左端的情况下(S6263:否)，上下文算术解码部6062加载左侧偏移信息复制标志sa0_merge_left_flag用的上下文。然后，上下文算术解码部6062对左侧偏移信息复制标志sao_merge_left_flag进行解码(S6264)。
[0395]在左端的情况下(S6263:是)或者sao_merge_left_flag的解码(S6264)后，算术解码控制部 6061 判定 sao_merge_left_flag 是否为 O (S6265)。这里，sao_merge_left_flag为O表示不从左侧的区域复制偏移信息，sao_merge_left_flag为I表示从左侧的区域复制偏移息。
[0396]另外，在不进行sao_merge_left_flag的解码(S6264)的情况下，不存在sao_merge_left_flag的值。该情况下，sao_merge_left_flag的值作为O进行处理。并且,偏移信息解码部606也可以在开始进行处理的时点确保sao_merge_left_flag用的存储器，设定初始值O。
[0397]接着，在sao_merge_left_flag为O的情况下(S6265:是)，算术解码控制部6061判定处理对象区域是否是切片或瓦片的上端(S6266)。与左端的判定(S6263)同样，由于偏移信息的复制仅从相同切片且相同瓦片的区域起，所以，在上侧偏移信息复制标志sao_merge_up_flag的解码前,进行上述判定。
[0398]在处理对象区域不是上端的情况下(S6266:否)，上下文算术解码部6062加载上侧偏移信息复制标志Sa0_merge_up_flag用的上下文。然后，上下文算术解码部6062对上侧偏移信息复制标志sao_merge_up_flag进行解码(S6267)。
[0399]在上端的情况下(S6266:是)或者sao_merge_up_flag的解码(S6267)后，算术解码控制部 6061 判定 sao_merge_up_flag 是否为 O (S6268)。这里，sao_merge_up_flag 为O表示不从上侧的区域复制偏移信息，sao_merge_up_flag为I表示从上侧的区域复制偏移信息。
[0400]另外，在不进行sao_merge_up_flag的解码(S6267)的情况下，不存在sao_merge_up_flag的值。该情况下，sao_merge_up_flag的值作为O进行处理。并且,偏移信息解码部606也可以在开始进行处理的时点确保sao_merge_up_flag用的存储器,设定初始值O。
[0401]接着,在sao_merge_up_flag为O的情况下(S6268:是),算术解码控制部6061将解码方法切换为旁路算术解码(S6269)。由此，此后的解码步骤全部使用旁路算术解码进行。[0402]接着，旁路算术解码部6063对像素分类方法sao_type_idx和偏移绝对值sao_offset进行解码(S6270)。这里，在本实施方式中，多个偏移绝对值sao_offset的个数在任意的像素分类方法中均相同，为4个。但是，旁路算术解码部6063也可以按照每个像素分类方法对不同个数的偏移绝对值进行解码。
[0403]接着，算术解码控制部6061判定像素分类方法是否是带状偏移(S6271 )。这里，算术解码控制部6061在判定中使用像素分类方法sao_type_idx。
[0404]在该例子中，作为sao_type_idx的值，对带状偏移分配O。因此，算术解码控制部6061在sao_type_idx为O的情况下,判定为像素分类方法是带状偏移，在sao_type_idx不为O的情况下，判定为像素分类方法不是带状偏移。
[0405]在像素分类方法是带状偏移的情况下(S6271:是)，旁路算术解码部6063对偏移值土符号sao_offset_sign和带状偏移解码开始范畴sao_band_position进行解码(S6272)。
[0406]另外，在本实施方式中，仅在带状偏移的情况下，旁路算术解码部6063对偏移值土符号sa0_0ffset_sign进行解码。但是，在边缘偏移的情况下，旁路算术解码部6063也可以对偏移值土符号sao_offset_sign进行解码。该情况下，在步骤S6270中对偏移值土符号sao_offset_sign进行解码。
[0407]并且，该情况下，在步骤S6270中，也可以对偏移绝对值sao_offset和偏移值土符号sao_offset_sign进行统合,作为偏移值进行解码。
[0408]如上所述，在偏移处理0N/0FF标志sao_on_flag、左侧偏移信息复制标志sao_merge_left_flag和上侧偏移信息复制标志sao_merge_up_flag的开头的3个参数之后的全部参数的编码(解码)中使用旁路算术编码(解码)。由此，图像编码装置和图像解码装置可以不随处进行上下文的加载和更新。因此，改善了吞吐量。
[0409]图39B示出基于HEVC标准中策定的测试条件(参照非专利文献2)的结果作为图39A的例子的客观性能。
[0410]图39B的Configuration是编码的参数设定条件。BD-rate是根据重构图像的PSNRCPeak Signal-to-Noise Ratio)和编码流的码量而计算出的客观指标。负的BD-rate表示客观性能的改善，正的BD-rate表示客观性能的劣化。另外，图39B的BD-rate根据与实施方式I的比较而示出图39A的例子的客观性能的改善或劣化。
[0411]如图39B那样，BD-rate收敛在±0.1的范围内。这表示图39A的例子的客观性能与实施方式I大致相同。即，在图39A的例子中，客观性能的劣化较少，改善了吞吐量。
[0412]图42是示出上述编码的特征的一例的流程图。首先，上下文算术编码部5072通过上下文算术编码对第I信息和第2信息进行连续编码(S711)。上下文算术编码是使用可变概率的算术编码。第I信息表示是否对图像的第I区域进行像素值的偏移处理即SAO(样本自适应偏移)处理。第2信息表示是否在针对第I区域的SAO处理中使用针对与第I区域不同的区域的SAO处理的信息。
[0413]例如，根据图33的例子，上下文算术编码部5072上下文算术编码，将表示针对第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为第I信息进行编码。
[0414]接着，旁路算术编码部5073在第I信息和第2信息被编码后，通过旁路算术编码对其他信息进行编码(S712)。旁路算术编码是使用固定概率的算术编码。其他信息是针对第I区域的SAO处理的信息，是与第I信息和第2信息不同的信息。并且，其他信息包括表示针对第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息。
[0415]例如，根据图33的例子，旁路算术编码部5073通过旁路算术编码，将表示针对第I区域的SAO处理的种类的参数的比特串中的最初的比特的下一个比特的值作为第3信息进行编码。这里，如图25的例子那样，最初的比特的下一个比特的值表示是带状偏移还是边缘偏移。
[0416]图43是示出上述解码的特征的一例的流程图。首先，上下文算术解码部6062通过上下文算术解码对第I信息和第2信息进行连续解码(S721)。上下文算术解码是使用可变概率的算术解码。第I信息表示是否对图像的第I区域进行像素值的偏移处理即SAO(样本自适应偏移)处理。第2信息表示是否在针对第I区域的SAO处理中使用针对与第I区域不同的区域的SAO处理的信息。
[0417]例如，根据图33的例子，上下文算术解码部6062上下文算术解码，将表示针对第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为第I信息进行解码。
[0418]接着，旁路算术解码部6063在第I信息和第2信息被解码后，通过旁路算术解码对其他信息进行解码(S722)。旁路算术解码是使用固定概率的算术解码。其他信息是针对第I区域的SAO处理的信息，是与第I信息和第2信息不同的信息。并且，其他信息包括表示针对第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息。
[0419]例如，根据图33的例子，旁路算术解码部6063通过旁路算术解码，将表示针对第I区域的SAO处理的种类的参数的比特串中的最初的比特的下一个比特的值作为第3信息进行解码。这里，如图25的例子那样，最初的比特的下一个比特的值表示是带状偏移还是边缘偏移。
[0420]另外，可以对第I信息和第2信息中的任意一方先进行编码。同样，可以对第I信息和第2信息中的任意一方先进行解码。但是，通过先于第I信息而对第2信息进行处理，能够连续对与I个参数对应的第I信息和第3信息进行处理。
[0421]并且，编码的顺序是将信息作为码(代码)写入编码流的顺序，解码的顺序是从编码流中读入码(代码)作为信息的顺序。即，使用多个附图上述例示的编码和解码的顺序与编码流内的信息的顺序对应。并且，使用多个附图上述例示的语法要素的顺序与编码流内的信息的顺序对应，与编码和解码的顺序对应。
[0422]并且，更具体而言，根据基于边缘的分类来进行边缘偏移处理。并且，更具体而言，根据基于像素值的分类来进行带状偏移处理。
[0423]并且，图像编码装置可以是仅进行图42所示的处理的装置。同样，图像解码装置可以是仅进行图43所示的处理的装置。其他装置可以进行其他处理。
[0424]如上所述，本实施方式的图像编码装置能够以较高的处理效率对图像进行编码。并且，本实施方式的图像解码装置能够以较高的处理效率对图像进行解码。
[0425]另外，在上述各实施方式中，各结构要素可以由专用的硬件构成，或者，可以通过执行适于各结构要素的软件程序来实现。通过由CPU或处理器等程序执行部读出记录在硬盘或半导体存储器等记录介质中的软件程序并执行，可以实现各结构要素。[0426]换言之，图像编码装置和图像解码装置具有控制电路(control circuitry)和与该控制电路电连接(能够从该控制电路进行访问)的存储装置(storage )。控制电路包括专用的硬件和程序执行部中的至少一方。并且，在控制电路包括程序执行部的情况下，存储装置存储由该程序执行部执行的软件程序。
[0427]这里，实现上述各实施方式的图像编码装置等的软件是如下的程序。
[0428]S卩，该程序使计算机执行如下的图像编码方法，该图像编码方法包括以下步骤:上下文算术编码步骤，通过使用可变概率的算术编码即上下文算术编码，对(i )表示是否对图像的第I区域进行像素值的偏移处理即SAO (样本自适应偏移)处理的第I信息、和(ii)表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域不同的区域的SAO处理的信息的第2信息进行连续编码；以及旁路算术编码步骤，在所述第I信息和所述第2信息被编码后，通过使用固定概率的算术编码即旁路算术编码，对针对所述第I区域的SAO处理的信息、即与所述第I信息和所述第2信息不同的信息即其他信息进行编码，所述其他信息包括表示针对所述第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息，在所述上下文算术编码步骤中，将表示针对所述第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为所述第I信息进行编码，在所述旁路算术编码步骤中，将所述参数的比特串中的所述最初的比特的下一个比特的值作为所述第3信息进行编码。
[0429]并且，该程序使计算机执行如下的图像解码方法，该图像解码方法包括以下步骤:上下文算术解码步骤，通过使用可变概率的算术解码即上下文算术解码，对(i )表示是否对图像的第I区域进行像素值的偏移处理即SAO (样本自适应偏移)处理的第I信息、和(ii)表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域不同的区域的SAO处理的信息的第2信息进行连续解码；以及旁路算术解码步骤，在所述第I信息和所述第2信息被解码后，通过使用固定概率的算术解码即旁路算术解码，对针对所述第I区域的SAO处理的信息、即与所述第I信息和所述第2信息不同的信息即其他信息进行解码，所述其他信息包括表示针对所述第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息，在所述上下文算术解码步骤中，将表示针对所述第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为所述第I信息进行解码，在所述旁路算术解码步骤中，将所述参数的比特串中的所述最初的比特的下一个比特的值作为所述第3信息进行解码。
[0430]并且，各结构要素可以是电路。这些电路可以作为整体构成I个电路，也可以是分别不同的电路。并且，各结构要素可以由通用的处理器实现，也可以由专用的处理器实现。
[0431]以上根据实施方式说明了一个或多个方式的图像编码装置等，但是，本发明不限于该实施方式。只要不脱离本发明的主旨，则对本实施方式施加本领域技术人员想到的各种变形而得到的方式、组合不同实施方式中的结构要素而构筑的方式也可以包含在一个或多个方式的范围内。
[0432]例如，关于偏移处理0N/0FF标志和偏移信息复制标志以外的偏移信息，在码元产生概率存在偏移的情况下，图像编码装置也可以使用上下文算术编码对该偏移信息进行编码。同样，图像解码装置也可以使用上下文算术解码对该偏移信息进行解码。
[0433]并且，也可以进行最优设计，以使得分别尽可能连续地对应用上下文算术编码(解码)的偏移信息和应用旁路算术编码(解码)的偏移信息进行编码(解码)。
[0434]并且，表示是否进行偏移处理的信息也可以不设计为偏移处理0N/0FF标志sao_on_flag或像素分类方法sao_type_idx的比特串的一部分。在这种情况下，也可以仅在表示是否进行偏移处理的信息(比特)中使用上下文算术编码。
[0435]并且，偏移信息复制标志也可以表示是否从左侧或上侧以外的相邻区域复制偏移信息。并且，也可以仅存在左侧偏移信息复制标志和上侧偏移信息复制标志中的任意一方。
[0436]并且，图像编码解码装置可以具有图像编码装置和图像解码装置。并且，特定处理部执行的处理也可以由其他处理部执行。并且，可以变更执行处理的顺序，也可以并行执行多个处理。并且，可以在结构中追加用于存储各种信息的专用或共用存储部。
[0437](实施方式4)
[0438]通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
[0439]进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
[0440]图44是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。
[0441]该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网exl04、及基站 exl07 ?exllO 连接着计算机 exlll、PDA (Personal Digital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。
[0442]但是，内容供给系统exlOO并不限定于图44那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl07?exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。
[0443]照相机exll3是能够进行数字摄像机等的运动图像摄影的设备，照相机exll6是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便携电话机、或 PHS(Personal Handyphone System)等，是哪种都可以。
[0444]在内容供给系统exlOO中，通过将照相机exl 13等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场转播等。在现场转播中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机eXlll、PDAeX112、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
[0445]另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或运动图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。
[0446]此外，这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(⑶一 ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exl 14是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话exll4具有的LSIex500编码处理的数据。
[0447]此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
[0448]如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
[0449]另外，并不限定于内容供给系统exlOO的例子，如图45所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB) ex217等的装置将接收到的复用数据解码并将其再现(S卩，作为本发明的一个方式的图像解码装置发挥作用)。
[0450]此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
[0451]图46是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
[0452]此外，电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机eX300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
[0453]首先，对电视机eX300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
[0454]此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另夕卜，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
[0455]此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。[0456]作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图47中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追力口、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
[0457]以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
[0458]在图48中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
[0459]以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
[0460]此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另夕卜，车载导航仪ex211的结构可以考虑例如在图46所示的结构中添加GPS接收部的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。
[0461]图49A是表不使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话exll4的图。便携电话exll4具有由用来在与基站exllO之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话exll4还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
[0462]进而，使用图49B对便携电话exll4的结构例进行说明。便携电话exll4对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD (LiquidCrystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
[0463]电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话exll4起动为能够动作的状态。
[0464]便携电话exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话exll4在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
[0465]进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350o
[0466]在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
[0467]复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
[0468]在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由IXD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
[0469]此外，上述便携电话exll4等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
[0470]这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
[0471]此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
[0472](实施方式5)
[0473]也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG - 2、MPEG4 — AVC、VC — I等不同的标准的运动图像编码方法或装置根据需要而适当切换,来生成影像数据。
[0474]这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
[0475]为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG - 2传输流形式的数字流。
[0476]图50是表示复用数据的结构的图。如图50所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG - 2、MPEG4 — AVC,VC 一 I等标准的运动图像编码方法或装置编码。音频流由杜比AC —3、Dolby Digital Plus、MLP、DTS、DTS — HD、或线性 PCM 等的方式编码。
[0477]包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F，对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。
[0478]图51是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到I条流中而构成。
[0479]图52更详细地表示在PES包序列中怎样保存视频流。图52的第I段表示视频流的视频帧序列。第2段表示PES包序列。如图52的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS (Presentation Time-Stamp)及作为图片的解码时刻的 DTS (Decoding Time-Stamp)?
[0480]图53表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD — ROM的情况下，对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图53下段所示排列，从复用数据的开头起递增的号码被称作SPN (源包号)。
[0481]此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为
O。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC (Arrival Time Clock)与作为PTS及DTS的时间轴的STC (System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
[0482]图54是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
[0483]在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
[0484]复用数据信息文件如图55所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
[0485]复用数据信息如图55所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上I帧量的再现间隔的值。
[0486]流属性信息如图56所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
[0487]在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
[0488]此外，在图57中表示本实施方式的运动图像解码方法的步骤。在步骤exSlOO中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
[0489]这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
[0490](实施方式6)
[0491]在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图58中表示I芯片化的LSIex500的结构。LSIex500 具备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
[0492]例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exl 17及照相机exl 13等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/0ex506向外部输出。将该输出的比特流向基站exl07发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
[0493]另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成I个芯片，也可以形成多个芯片。
[0494]此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
[0495]另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。
[0496]此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA (Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
[0497]进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
[0498](实施方式7)
[0499]在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
[0500]为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图59表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
[0501]更具体地讲，驱动频率切换部ex803由图58的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图58的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式5中记载的识别信息。关于识别信息，并不限定于在实施方式5中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图61所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
[0502]图60表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
[0503]进而，通过与驱动频率的切换连动而变更对LSIeX500或包括LSIeX500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
[0504]此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4 - AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
[0505]进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的影像数据的情况相比，将停止时间设定得短。
[0506]这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
[0507](实施方式8)
[0508]在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
[0509]为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的解码处理部一部分共用的结构。图62A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4 - AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容，共用对应于MPEG4 - AVC标准的解码处理部ex902，关于不对应于MPEG4 — AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在熵解码方面具有特征，因此可以考虑例如对于熵解码使用专用的解码处理部ex901，对于除此之外的逆量化、解块滤波器、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构:关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4 - AVC标准所特有的处理内容，使用专用的解码处理部。
[0510]此外,用图62B的exlOOO表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部exlOOl、和与其他的以往标准所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里,专用的解码处理部exl001、exl002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIeX500安装本实施方式的结构。
[0511]这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
[0512]产业上的可利用性
[0513]本发明的图像编码方法和图像解码方法发挥能够防止画质劣化并提高处理效率的效果，例如，能够用于图像的蓄积、传送和通信等各种用途。例如，本发明的图像编码方法和图像解码方法能够用于电视机、数字录像机、车载导航仪、便携电话、数字照相机和数字摄像机等高分辨率的信息显示设备和摄像设备，利用价值高。
[0514]标号说明
[0515]100:图像编码装置；
[0516]110、210、306、405:控制部；
[0517]120:编码部；
[0518]121:减法部；
[0519]122:频率变换部；
[0520]123:量化部；
[0521]124:熵编码部；
[0522]125,225:逆量化部；
[0523]126、226:逆频率变换部；
[0524]127,227:加法部；[0525]128、228、300、400:环路滤波部；
[0526]129,229:存储部；
[0527]130、230:帧内预测部；
[0528]131、231:运动补偿部；
[0529]132:运动检测部；
[0530]133、233:开关；
[0531]141、241:图像;
[0532]142,242:编码流；
[0533]151、251、301、401:信号取得部；
[0534]152、302:偏移信息计算部；
[0535]153、253、303、403:偏移处理部；
[0536]154、305、507:偏移信息编码部；
[0537]155、254、304、404:信号输出部；
[0538]200:图像解码装置；
[0539]220:解码部；
[0540]224:熵解码部；
[0541]252、402、606:偏移信息解码部；
[0542]5071:算术编码控制部；
[0543]5072:上下文算术编码部；
[0544]5073:旁路算术编码部；
[0545]6061:算术解码控制部；
[0546]6062:上下文算术解码部；
[0547]6063:旁路算术解码部。
【权利要求】
1.一种图像编码方法，其中，该图像编码方法包括以下步骤: 上下文算术编码步骤，通过使用可变概率的算术编码即上下文算术编码，对(i )表示是否对图像的第I区域进行像素值的偏移处理即SAO (样本自适应偏移)处理的第I信息、和(ii)表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域不同的区域的SAO处理的信息的第2信息进行连续编码；以及 旁路算术编码步骤，在所述第I信息和所述第2信息被编码后，通过使用固定概率的算术编码即旁路算术编码，对针对所述第I区域的SAO处理的信息、并且是与所述第I信息和所述第2信息不同的信息即其他信息进行编码， 所述其他信息包括表示针对所述第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息， 在所述上下文算术编码步骤中，将表示针对所述第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为所述第I信息进行编码， 在所述旁路算术编码步骤中，将所述参数的比特串中的所述最初的比特的下一个比特的值作为所述第3信息进行编码。
2.如权利要求1所述的图像编码方法，其中， 在所述上下文算术编码步骤中，对所述第2信息进行编码后，对所述第I信息进行编码。
3.如权利要求1或2所述的图像编码方法，其中， 在所述旁路算术编码步骤中，对包括表示偏移值的绝对值的第4信息在内的所述其他信息进行编码。
4.如权利要求3所述的图像编码方法，其中， 在所述旁路算术编码步骤中，在针对所述第I区域的SAO处理是带状偏移处理的情况下，对包括表示所述偏移值的正负的第5信息和表示所述偏移值的应用范围的第6信息在内的所述其他信息进行编码。
5.如权利要求1~4中的任意一项所述的图像编码方法，其中， 在所述上下文算术编码步骤中，对包括表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域的右侧相邻的右区域的SAO处理的信息的信息、以及表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域的上侧相邻的上区域的SAO处理的信息的信息中的至少一方在内的所述第2信息进行编码。
6.一种图像解码方法，其中，该图像解码方法包括以下步骤: 上下文算术解码步骤，通过使用可变概率的算术解码即上下文算术解码，对(i )表示是否对图像的第I区域进行像素值的偏移处理即SAO (样本自适应偏移)处理的第I信息、和(ii)表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域不同的区域的SAO处理的信息的第2信息进行连续解码；以及 旁路算术解码步骤，在所述第I信息和所述第2信息被解码后，通过使用固定概率的算术解码即旁路算术解码，对针对所述第I区域的SAO处理的信息、并且是与所述第I信息和所述第2信息不同的信息即其他信息进行解码， 所述其他信息包括表示针对所述第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息，在所述上下文算术解码步骤中，将表示针对所述第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为所述第I信息进行解码， 在所述旁路算术解码步骤中，将所述参数的比特串中的所述最初的比特的下一个比特的值作为所述第3信息进行解码。
7.如权利要求6所述的图像解码方法，其中， 在所述上下文算术解码步骤中，对所述第2信息进行解码后，对所述第I信息进行解码。
8.如权利要求6或7所述的图像解码方法，其中， 在所述旁路算术解码步骤中，对包括表示偏移值的绝对值的第4信息在内的所述其他信息进行解码。
9.如权利要求8所述的图像解码方法，其中， 在所述旁路算术解码步骤中，在针对所述第I区域的SAO处理是带状偏移处理的情况下，对包括表示所述偏移值的正负的第5信息和表示所述偏移值的应用范围的第6信息在内的所述其他信息进行解码。
10.如权利要求6~9中的任意一项所述的图像解码方法，其中， 在所述上下文算术解码步骤中，对包括表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域的右侧相邻的右区域的SAO处理的信息的信息、以及表示是否在针对所述第I区域的SAO处理中 是使用针对与所述第I区域的上侧相邻的上区域的SAO处理的信息的信息中的至少一方在内的所述第2信息进行解码。
11.一种图像编码装置，其中，该图像编码装置具有: 控制电路；以及 与所述控制电路电连接的存储装置， 所述控制电路执行以下步骤: 上下文算术编码步骤，通过使用可变概率的算术编码即上下文算术编码，对(i )表示是否对图像的第I区域进行像素值的偏移处理即SAO (样本自适应偏移)处理的第I信息、和(ii)表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域不同的区域的SAO处理的信息的第2信息进行连续编码；以及 旁路算术编码步骤，在所述第I信息和所述第2信息被编码后，通过使用固定概率的算术编码即旁路算术编码，对针对所述第I区域的SAO处理的信息、并且是与所述第I信息和所述第2信息不同的信息即其他信息进行编码， 所述其他信息包括表示针对所述第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息， 在所述上下文算术编码步骤中，所述控制电路将表示针对所述第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为所述第I信息进行编码， 在所述旁路算术编码步骤中，所述控制电路将所述参数的比特串中的所述最初的比特的下一个比特的值作为所述第3信息进行编码。
12.—种图像解码装置，其中，该图像解码装置具有: 控制电路；以及 与所述控制电路电连接的存储装置，所述控制电路执行以下步骤: 上下文算术解码步骤，通过使用可变概率的算术解码即上下文算术解码，对(i )表示是否对图像的第I区域进行像素值的偏移处理即SAO (样本自适应偏移)处理的第I信息、和(ii)表示是否在针对所述第I区域的SAO处理中使用针对与所述第I区域不同的区域的SAO处理的信息的第2信息进行连续解码；以及 旁路算术解码步骤，在所述第I信息和所述第2信息被解码后，通过使用固定概率的算术解码即旁路算术解码，对针对所述第I区域的SAO处理的信息、并且是与所述第I信息和所述第2信息不同的信息即其他信息进行解码， 所述其他信息包括表示针对所述第I区域的SAO处理是根据边缘进行的边缘偏移处理还是根据像素值进行的带状偏移处理的第3信息， 在所述上下文算术解码步骤中，所述控制电路将表示针对所述第I区域的SAO处理的种类的参数的比特串中的最初的比特的值作为所述第I信息进行解码， 在所述旁路算术解码步骤中，所述控制电路将所述参数的比特串中的所述最初的比特的下一个比特的值作为所述第3信息进行解码。
13.一种图像编码解码装置，其中，该图像编码解码装置具有: 权利要求11所述的图像编码装置；以及 权利要求12所述的图像解码装置。
14.一种程序，其中，该程序用于使计算机执行权利要求1所述的图像编码方法。
15.一种程序，其中，该程序用于使计算机执行权利要求6所述的图像解码方法。
【文档编号】H04N19/82GK103621088SQ201380001828
【公开日】2014年3月5日 申请日期:2013年6月10日 优先权日:2012年6月27日
【发明者】松延彻, 西孝启, 柴原阳司, 笹井寿郎, 谷川京子, 杉尾敏康, 寺田健吾 申请人:松下电器产业株式会社