编码设备和编码方法，及解码设备和解码方法

编码设备和编码方法，及解码设备和解码方法
【专利摘要】本发明涉及当在帧间预测时进行分数精度的运动补偿操作时，能够提高编码效率的编码设备和编码方法，以及解码设备和解码方法。当运动向量的精度为1/4像素精度，而预测向量的精度为1/8像素精度时，按照包含在图像压缩信息中的检测精度信息，预测向量变换单元对预测向量进行舍入处理，从而生成1/4像素精度的预测向量。运动向量生成单元相加1/4像素精度的预测向量和包含在图像压缩信息中的差分向量，从而生成运动向量。帧间预测单元和计算单元通过利用所述运动向量，进行运动补偿操作，对图像解码。例如，本发明可应用于解码设备。
【专利说明】编码设备和编码方法，及解码设备和解码方法【技术领域】
[0001]本技术涉及编码设备和编码方法，及解码设备和解码方法，更具体地，涉及当在帧间预测时，进行分数精度的运动补偿操作时，能够提高编码效率的编码设备和编码方法，及解码设备和解码方法。
【背景技术】
[000 2]作为图像压缩的标准，存在H.264/MPEG (运动图像专家组)_4PartlO高级视频编码(下面称为H.264/AVC)。
[0003]按照H.264/AVC，通过利用帧或场之间的相关性，进行帧间预测。在帧间预测中，利用编码图像的部分区域，进行运动补偿操作，从而生成预测图像。
[0004]近年来，在运动补偿操作中，一直在考虑通过把运动向量的分辨率提高到诸如1/2或1/4之类的分数精度，提高运动补偿操作的精度。
[0005]在分数精度的运动补偿操作中，另外进行在参照图像中的相邻像素之间设定在分数位置的虚拟像素(称为子像素)，并生成子像素(下面称为插值)的操作(例如，参见非专利文献I)。即，在分数精度的运动补偿操作中，最低的运动向量分辨率是像素数目的分数倍数，于是，进行在分数位置生成像素的插值。
[0006]插值中使用的插值滤波器(IF)通常是有限冲激响应(FIR)滤波器。
[0007]当按照上述方式，提高运动补偿操作的精度时，预测图像的质量改善。然而，改善量通常随着运动补偿操作的精度的提高而降低。另外，运动向量是包含在编码流中传送的。从而，如果过多地提高运动向量的精度，那么即使预测图像的质量得到改善，运动向量的信息量的增加也会大于改善量，从而降低编码效率。
[0008]引文列表
[0009]非专利文献
[0010]非专利文献1:Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting, Working Draft4of High-EfficiencyVideo Coding, JCTVC-F803_d2, Torino, IT, 14-22July, 2011

【发明内容】

[0011]同时，当运动向量的预测方向是双向时，与当预测方向为单向时相比，每个预测块的运动向量的数目被加倍。另外，当预测块的块大小较小时，与当块大小较大时相比，每个图像的运动向量的数目较大。
[0012]因而，当待传送的运动向量的数目较大时，即使借助运动补偿操作的精度的提高，提高预测图像的精度，归因于运动向量的信息量的增加，编码效率也不会得到改善。
[0013]鉴于这样的情况，产生了本技术，本技术使得当在帧间预测时，进行分数精度的运动补偿操作时，能够提高编码效率。
[0014]本技术的第一方面的解码设备包括:[0015]接收单元，所述接收单元接收编码图像，帧间预测中的图像的运动向量和预测向量之间的差分，和检测精度信息，所述检测精度信息指示当帧间预测的预测方向为双向时的运动向量的精度低于当预测方向为单向时的运动向量的精度，所述预测向量是位于所述编码对象图像附近的图像的运动向量；预测向量变换单元，当运动向量的精度低于预定精度，而预测向量的精度是预定精度时，所述预测向量变换单元按照接收单元接收的检测精度信息，对预测向量进行舍入处理，从而生成精度比预定精度低的预测向量；
[0016]运动向量生成单元,所述运动向量生成单元相加由预测向量变换单元生成的精度比预定精度低的预测向量，和接收单元接收的差分，从而生成运动向量；和解码单元，所述解码单元通过利用运动向量生成单元生成的运动向量，进行运动补偿操作，对图像解码。
[0017]本技术的第一方面的解码方法和本技术的第一方面的解码设备一致。
[0018]在本技术的第一方面中，接收编码图像，帧间预测中的图像的运动向量和预测向量之间的差分，和指示当帧间预测的预测方向为双向时的运动向量的精度低于当预测方向为单向时的运动向量的精度的检测精度信息，所述预测向量是位于所述编码对象图像附近的图像的运动向量；当运动向量的精度低于预定精度，而预测向量的精度是预定精度时，按照检测精度信息，对预测向量进行舍入处理，从而生成精度比预定精度低的预测向量；相加精度比预定精度低的预测向量和所述差分，从而生成运动向量；并通过利用该运动向量进行运动补偿操作，对图像解码。
[0019]本技术的第二方面的编码设备包括:高精度运动检测单元，当编码对象图像的帧间预测的预测方向是单向时，所述高精度运动检测单元利用编码对象图像和帧间预测中的对于该编码对象图像的参照图像，以预定精度检测对于该编码对象图像的参照图像的运动向量；低精度运动检测单元，当预测方向是双向时，所述低精度运动检测单元利用编码对象图像和参照图像，以低于预定精度的精度，检测所述运动向量；编码单元，所述编码单元通过利用由高精度运动检测单元或低精度运动检测单元检测的运动向量，进行运动补偿操作，对编码对象图像编码；和传输单元，所述传输单元传送由编码单元编码的编码对象图像和运动向量。
[0020]本技术的第二方面的编码方法和本技术的第二方面的编码设备一致。
[0021 ] 在本技术的第二方面中，当编码对象图像的帧间预测的预测方向是单向时，利用编码对象图像和帧间预测中的对于该编码对象图像的参照图像，以预定精度检测对于该编码对象图像的参照图像的运动向量；当预测方向是双向时，利用编码对象图像和参照图像，以低于预定精度的精度，检测所述运动向量；通过利用所述运动向量，进行运动补偿操作，对编码对象图像编码；和传送编码的编码对象图像和运动向量。
[0022]按照本技术的第一方面，当在帧间预测时进行分数精度的运动补偿操作时，被编码以提高编码效率的图像能够被解码。
[0023]按照本技术的第二方面，当在帧间预测时进行分数精度的运动补偿操作时，能够提高编码效率。
【专利附图】

【附图说明】
[0024]图1是表示本技术适用于的编码设备的实施例的例证结构的方框图。
[0025]图2是表示图1中所示的运动预测单元的例证结构的方框图。[0026]图3是说明图1中所示的编码设备的编码操作的第一流程图。
[0027]图4是说明图1中所示的编码设备的编码操作的第二流程图。
[0028]图5是说明LO运动预测操作的第一流程图。
[0029]图6是说明双向运动预测操作的第二流程图。
[0030]图7是表示本技术适用于的解码设备的例证结构的方框图。
[0031]图8是说明图7中所示的解码设备的解码操作的流程图。
[0032]图9是表示计算机的例证结构的方框图。
[0033]图10是表示电视接收机的典型例证结构的方框图。
[0034]图11是表示便携式电话机的典型例证结构的方框图。
[0035]图12是表示硬盘记录器的典型例证结构的方框图。
[0036]图13是表示照相机的典型例证结构的方框图。
【具体实施方式】
[0037]<实施例>
[0038][编码设备的实施例的例证结构]
[0039]图1是表示本技术适用于的编码设备的实施例的例证结构的方框图。
[0040]图1中所示的编码设备10包括A/D转换器11、画面重排缓冲器12、算术运算单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17、逆量化单元18、逆正交变换单元19、加法单元20、解块滤波器21、帧存储器22、帧内预测单元23、帧间预测单元
24、运动预测单元25、选择单元26和速率控制单元27。图1中所示的编码设备10对输入图像进行压缩编码。
[0041]具体地，编码设备10的A/D转换器11对作为输入信号输入的基于帧的图像进行A/D转换，把图像输出并保存在画面重排缓冲器12中。画面重排缓冲器12重排按显示顺序保存的图像的各帧，以致按照GOP(图像组)结构，以编码顺序排列图像的各帧。画面重排缓冲器12随后逐个切片、逐个LCU(最大编码单元)和逐个CU(编码单元)地顺序分割重排的图像，并把作为结果的图像输出给算术运算单元13、帧内预测单元23和运动预测单元25。
[0042]算术运算单元13起编码单元的作用，通过计算从选择单元26供给的预测图像和从画面重排缓冲器12输出的编码对象图像之间的差分，进行编码。具体地，算术运算单元13从输出自画面重排缓冲器12的编码对象图像中，减去从选择单元26供给的预测图像。算术运算单元13把通过所述减法获得的图像，作为残差信息输出给正交变换单元14。当未从选择单元26供给任何预测图像时，算术运算单元13把从画面重排缓冲器12读取的图像，作为残差信息输出给正交变换单元14。
[0043]正交变换单元14对从算术运算单元13供给的残差信息，进行诸如离散余弦变换或Karhunen-Loeve变换之类的正交变换，然后把作为结果的系数提供给量化单元15。
[0044]量化单元15量化从正交变换单元14供给的系数。量化后的系数被输入无损编码单元16。
[0045]无损编码单元16从帧内预测单元23获得指示最佳的帧内预测模式的信息(下面称为帧内预测模式信息)，并从帧间预测单元24获得指示最佳的帧间预测模式的信息(下面称为帧间预测模式信息)，作为预测块的运动向量和预测向量之间的差分的差分向量(mvd),等等。
[0046]无损编码单元16对从量化单元15供给的量化系数进行无损编码，比如变长编码(例如，CAVLC (上下文自适应变长编码))或算术编码(例如，CABAC (上下文自适应二进制算术编码))，并使结果信息变成压缩图像。
[0047]当获得差分向量时，无损编码单元16还利用指数-Golomb码，使差分向量的绝对值二值化。指数-Golomb码由具有数目与作为数据部分的后缀的比特数对应的连续多个O的前缀；充当分隔符的I ;和充当后缀的O或I的序列构成。于是，差分向量的绝对值的比特数越大，即，差分向量的绝对值的分辨率越高，指数-Golomb码的代码量越大。无损编码单元16生成二值化的差分向量的绝对值和差分向量的正负号，作为差分向量信息。
[0048]无损编码单元16还对帧内预测模式信息或帧间预测模式信息，差分向量信息等，进行无损编码，并把作为结果的信息设定为待加到压缩图像中的报头信息。无损编码单元16把向其加入通过无损编码而获得的报头信息的压缩图像提供给并保存在累积缓冲器17中。
[0049]累积缓冲器17临时保存从无损编码单元16供给的压缩图像信息。累积缓冲器17还起传输单元的作用，把信息传送给下一级的记录装置、传输路径等(未示出)。
[0050]从量化单元15输出的量化系数还被输入逆量化单元18，在被逆量化之后，被提供给逆正交变换单元19。
[0051]逆正交变换单元19对从逆量化单元18供给的系数进行诸如逆离散余弦变换或逆Karhunen-Loeve变换之类的逆正交变换，并把作为结果的残差信息提供给加法单元21。
[0052]加法单元20相加从逆正交变换单元19供给并充当解码对象图像的残差信息和从选择单元26供给的预测图像，从而获得局部解码的图像。如果不存在从选择单元26供给的预测图像，那么加法单元20把从逆正交变换单元19供给的残差信息设定为局部解码的图像。加法单元20把局部解码的图像提供给解块滤波器21，并把局部解码的图像作为参照图像提供给帧内预测单元23。
[0053]解块滤波器21对从加法单元20供给的局部解码的图像进行滤波，从而消除块失真。解块滤波器21把作为结果的图像提供给并保存在帧存储器22中。保存在帧存储器22中的图像随后作为参照图像被输出给帧间预测单元24和运动预测单元25。
[0054]根据从画面重排缓冲器12读取的图像和从加法单元20供给的参照图像，帧内预测单元23按所有的候选帧内预测模式，进行帧内预测，从而生成预测图像。
[0055]此时，帧内预测单元23计算所有的候选帧内预测模式的成本函数值(细节将在后面说明)。帧内预测单元23随后把成本函数值最小的帧内预测模式确定为最佳帧内预测模式。帧内预测单元23把按最佳帧内预测模式生成的预测图像和对应的成本函数值提供给选择单元26。当被选择单元26告知按最佳帧内预测模式生成的预测图像的选择时，帧内预测单元23把帧内预测模式信息提供给无损编码单元16。
[0056]应注意，成本函数值是所谓的RD (速率失真)成本，是利用如在JM(联合模型)中规定的高复杂性模式或低复杂性模式的技术计算的，JM是H.264/AVC中的参照软件。
[0057]具体地，在使用高复杂性模式作为计算成本函数值的方法的情况下，对所有的候选预测模式临时进行结束于无损编码的操作，并为每种预测模式，计算用下式(I)表示的成本函数值。
[0058]Cost (Mode) = D+ λ.R...(I)
[0059] D代表原始图像和解码图像之间的差分(失真)，R代表包括正交变换系数的比特产生速率，λ代表作为量化参数QP的函数给出的拉格朗日乘数。
[0060]另一方面，在使用低复杂性模式作为计算成本函数值的方法的情况下，生成解码图像，按所有的候选预测模式，计算诸如指示预测模式的信息之类的报头比特。随后为每种预测模式，计算用下式(2)表示的成本函数值。
[0061]Cost (Mode) = D+QPtoQuant (QP).Header_Bit…(2)
[0062]D代表原始图像和解码图像之间的差分(失真)，Header_Bit代表对应于预测模式的报头比特，QPtoQuant是作为量化参数QP的函数给出的函数。
[0063]在低复杂性模式下，仅仅按所有预测模式，生成解码图像，不需要进行无损编码。因而，计算量较小。应注意这里使用高复杂性模式作为计算成本函数值的方法。
[0064]根据从运动预测单元25供给的帧间预测模式信息和运动向量，帧间预测单元24从帧存储器22读取参照图像。根据运动向量和从帧存储器22读取的参照图像，帧间预测单元24进行帧间预测操作。具体地，帧间预测单元24根据运动向量，对参照图像进行插值，从而进行分数精度的运动补偿操作。帧间预测单元24把作为结果的预测图像和从运动预测单元25供给的成本函数值,提供给选择单元26。
[0065]注意，帧间预测模式涉及指示预测块的大小、预测方向、参照索引和编码模式的信息。预测方向包括使用显示时间比待经历帧间预测的图像早的参照图像的向前预测(L0预测)；使用显示时间比待经历帧间预测的图像晚的参照图像的向后预测(LI预测)；和使用显示时间早于和晚于待经历帧间预测的图像的参照图像的双向预测(B1-预测)。
[0066]参照索引是用于识别参照图像的编号，例如，离待经历帧间预测的图像更近的图像具有更小的参照索引号。编码模式包括其中差分向量和残差信息都被设定为0，以致不传送差分向量信息和残差信息的跳过模式；其中只有差分向量被设定为0，以致传送残差信息，但不传送差分向量信息的合并模式；其中差分向量和残差信息都不被设定为0，以致传送差分向量信息和残差信息的正常模式；等等。
[0067]当被选择单元26告知按最佳帧间预测模式生成的预测图像的选择时，帧间预测单元24还根据运动向量和预测向量，确定差分向量。作为预测向量(pmv)，使用空间上接近当前预测块的预测块和时间上接近当前预测块的周边预测块的运动向量之中的，与当前预测块的运动向量的差分最小的运动向量。帧间预测单元24把确定的差分向量，帧间预测模式信息，指示被选为预测向量的运动向量的pmv选择信息等，传送给无损编码单元16。注意，检测精度信息是指示当预测方向为双向时的运动向量的精度低于当预测方向为LO预测或LI预测时的运动向量的精度的信息。
[0068]根据从画面重排缓冲器12供给的图像，和从帧存储器22供给的参照图像，运动预测单元25以与帧间预测模式的预测方向相应的分数精度，检测所有的候选帧间预测模式下的运动向量。
[0069]运动预测单元25还为所有的候选帧间预测模式，计算成本函数值，并把成本函数值最小的帧间预测模式确定为最佳帧间预测模式。运动预测单元25随后把帧间预测模式信息，对应运动向量和对应成本函数值提供给帧间预测单元24。[0070]根据从帧内预测单元23和帧间预测单元24供给的成本函数值，选择单元26把最佳帧内预测模式或最佳帧间预测模式确定为最佳预测模式。选择单元26随后把最佳预测模式下的预测图像提供给算术运算单元13和加法单元20。选择单元26还把最佳预测模式下的预测图像的选择通知帧内预测单元23或帧间预测单元24。
[0071]根据保存在累积缓冲器17中的压缩图像信息，速率控制单元27控制量化单元15的量化操作速率，以便不导致上溢或下溢。
[0072][运动预测单元的例证结构]
[0073]图2是表示图1中所示的运动预测单元25的例证结构的方框图。
[0074]图2中，运动预测单元25包括LO运动检测单元41、LI运动检测单元42、双向运动检测单元43和判定单元44。
[0075]LO运动检测单元41起高精度运动检测单元的作用，包括整数向量检测单元51、1/2向量检测单元52、1/4向量检测单元53和1/8向量检测单元54。LO运动检测单元41以1/8像素精度，检测指示LO预测作为预测方向的每种帧间预测模式的运动向量。
[0076]具体地，为指示LO预测作为预测方向的每种帧间预测模式，把从画面重排缓冲器12供给的编码目标图像，和读取自帧存储器22，并且充当参照图像的显示时间比编码对象图像早的图像提供给LO运动检测单元41。
[0077]通过利用编码对象图像和参照图像，整数向量检测单元51为指示LO预测作为预测方向的每种帧间预测模式，检测整数像素精度的运动向量。具体地，整数向量检测单元51检测与编码目标图像的预测块的差异最小的参照图像的块。整数向量检测单元51随后检测表示相对于预测块的位置的参照图像的检测块的位置的运动向量，作为对于该预测块的整数像素精度的参照图像的运动向量。整数向量检测单元51把检测的整数像素精度的运动向量，提供给1/2向量检测单元52。
[0078]根据从整数向量检测单元51供给的整数像素精度的运动向量，1/2向量检测单元52对参照图像进行插值。这时，1/2向量检测单元52生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/2像素位置的3X3像素的参照块。
[0079]和整数向量检测单元51 —样，通过利用生成的参照块和编码对象图像，1/2向量检测单元52随后为指示LO预测作为预测方向的每种帧间预测模式，检测1/2像素精度的运动向量。1/2向量检测单元52把检测的1/2像素精度的运动向量提供给1/4向量检测单元53。
[0080]根据从1/2向量检测单元52供给的1/2像素精度的运动向量，1/4向量检测单元53对参照图像进行插值。这时，1/4向量检测单元53生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/4像素位置的3X3像素的参照块。
[0081]和整数向量检测单元51 —样，通过利用生成的参照块和编码对象图像，1/4向量检测单元53随后为指示LO预测作为预测方向的每种帧间预测模式，检测1/4像素精度的运动向量。1/4向量检测单元53把检测的1/4像素精度的运动向量提供给1/8向量检测单元54。
[0082]根据从1/4向量检测单元53供给的1/4像素精度的运动向量，1/8向量检测单元54对参照图像进行插值。这时，1/8向量检测单元54生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/8像素位置的3X3像素的参照块。[0083]和整数向量检测单元51 —样，通过利用生成的参照块和编码对象图像，1/8向量检测单元54随后为指示LO预测作为预测方向的每种帧间预测模式，检测1/8像素精度的
运动向量。
[0084]通过利用指示LO预测作为预测方向的每种帧间预测模式的检测的1/8像素精度的运动向量等，1/8向量检测单元54还计算帧间预测模式的成本函数值。1/8向量检测单元54随后把成本函数值最小的帧间预测模式确定为指示LO预测作为预测方向的最佳帧间预测模式(下面称为最佳LO帧间预测模式)。1/8向量检测单元54把最佳LO帧间预测模式、对应的成本函数值和对应的运动向量提供给判定单元44。
[0085]LI运动检测单元42起高精度运动检测单元的作用，包括整数向量检测单元61、1/2向量检测单元62、1/4向量检测单元63和1/8向量检测单元64。LI运动检测单元42以1/8像素精度，检测指示LI预测作为预测方向的每种帧间预测模式的运动向量。
[0086]注意，除了为指示LI预测作为预测方向的每种帧间预测模式进行各种操作，和从帧存储器22读取显示时间比编码对象图像晚的图像，作为参照图像之外，LI运动检测单元42的各个组件的操作和LO运动检测单元41的各个组件的操作相同，从而，省略各个操作的说明。
[0087]双向运动检测单元43起低精度运动检测单元的作用，包括整数向量检测单元71、1/2向量检测单元72、1/4向量检测单元73、整数向量检测单元74、1/2向量检测单元75和1/4向量检测单元76。双向运动检测单元43以1/4像素精度，检测指示双向预测作为预测方向的每种帧间预测模式的运动向量。
[0088]具体地，为指示双向预测作为预测方向的每种帧间预测模式，向双向运动检测单元43供给从画面重排缓冲器12供给的编码对象图像，和从帧存储器22读出的充当参照图像的显示时间早于和晚于编码对象图像的图像。
[0089]根据1/4向量检测单元63检测的1/4像素精度的向后运动向量，整数向量检测单元71对显示时间晚于编码对象图像的参照图像(下面称为向后参照图像)进行插值。这时，整数向量检测单元71生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/4像素位置的3X3像素的向后参照块。
[0090]通过利用向后参照块，显示时间早于编码对象图像的参照图像(下面称为向前参照图像)和编码对象图像，整数向量检测单元71为指示双向预测作为预测方向的每种帧间预测模式，检测整数像素精度的向前运动向量。具体地，整数向量检测单元71为指示双向预测作为预测方向的每种帧间预测模式，合成向后参照块和向前参照图像，并检测作为结果的图像和编码对象图像的预测块之间的差分最小的向前参照图像的块。整数向量检测单元71随后检测表示相对于所述预测块的位置的向前参照图像的检测块的位置的运动向量，作为整数像素精度的向前运动向量。整数向量检测单元71把检测的整数像素精度的向前运动向量，提供给1/2向量检测单元72。
[0091]根据从整数向量检测单元71供给的整数像素精度的向前运动向量，1/2向量检测单元72对向前参照图像进行插值。这时，1/2向量检测单元72生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/2像素位置的3X3像素的向前参照块。
[0092]和整数向量检测单元71 —样，通过利用生成的向前参照块、向后参照块和编码对象图像，1/2向量检测单元73随后为指示双向预测作为预测方向的每种帧间预测模式，检测1/2像素精度的向前运动向量。1/2向量检测单元72把检测的1/2像素精度的向前运动向量提供给1/4向量检测单元73。
[0093]根据从1/2向量检测单元72供给的1/2像素精度的向前运动向量，1/4向量检测单元73对向前参照图像进行插值。这时，1/4向量检测单元73生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/4像素位置的3X3像素的向前参照块。
[0094]和整数向量检测单元71 —样，通过利用生成的向前参照块、向后参照块和编码对象图像，1/4向量检测单元73然后为指示双向预测作为预测方向的每种帧间预测模式，检测1/4像素精度的向前运动向量。1/4向量检测单元73把检测的1/4像素精度的向前运动向量提供给整数向量检测单元74和1/4向量检测单元76。
[0095]根据从1/4向量检测单元73供给的1/4像素精度的向前运动向量，整数向量检测单元74对向前参照图像进行插值。这时，整数向量检测单元74生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/4像素位置的3X3像素的向前参照块。
[0096]和整数向量检测单元71 —样，通过利用向前参照块、向后参照块和编码对象图像，整数向量检测单元74为指示双向预测作为预测方向的每种帧间预测模式，检测整数像素精度的向后运动向量。整数向量检测单元74把检测的整数像素精度的向后运动向量提供给1/2向量检测单元75。
[0097]除了对向后参照图像，而不是向前参照图像进行插值，和检测向后运动向量，而不是向前运动向量之外，1/2向量检测单元75和1/4向量检测单元76的操作与1/2向量检测单元72和1/4向量检测单元73的操作相同。
[0098]但是注意，1/4向量检测单元76利用为指示双向预测作为预测方向的每种帧间预测模式获得的从1/4向量检测单元73供给的1/4像素精度的向前运动向量，1/4像素精度的向后运动向量等，对该帧间预测模式计算成本函数值。1/4向量检测单元76随后把成本函数值最小的帧间预测模式确定为指示双向预测作为预测方向的最佳帧间预测模式(下面称为最佳双向帧间预测模式)。1/4向量检测单元76把最佳双向帧间预测模式，对应成本函数值和对应运动向量提供给判定单元44。
[0099]判定单元44从1/8向量检测单元54、1/8向量检测单元64和1/4向量检测单元76供给的成本函数值中，检测最小值。判定单元44把最佳LO帧间预测模式、指示LI预测作为预测方向的最佳帧间预测模式(下面称为最佳LI帧间预测模式)和最佳双向帧间预测模式中的，与该最小值关联地供给的一种帧间预测模式，确定为最佳帧间预测模式。判定单元44把帧间预测模式信息、对应的运动向量和对应的成本函数值，提供给帧间预测单元24(图1)。
[0100][编码设备的操作的说明]
[0101]图3和4是说明图1中所示的编码设备10的编码操作的流程图。每当基于帧的图像作为输入信号，被输入编码设备10时，就进行该编码操作。
[0102]在图3的步骤S10，编码设备10的A/D转换器11对作为输入信号输入的基于帧的图像进行A/D转换，把图像输出给并保存在画面重排缓冲器12中。
[0103]在步骤S11，画面重排缓冲器12重排按显示顺序保存的图像的各帧，以致按照GOP结构，以编码顺序排列图像的各帧。画面重排缓冲器12逐个切片、逐个LCU、逐个CU地顺序分割重排的基于帧的图像，并把作为结果的图像提供给算术运算单元13、帧内预测单元23和运动预测单元25。后续步骤S12-S31的处理是逐个⑶地进行的。
[0104]在步骤S12，根据从画面重排缓冲器12供给的图像，和从加法单元20供给的参照图像，帧内预测单元23按所有的候选帧内预测模式，进行帧内预测，从而生成预测图像。帧内预测单元23还对所有的候选帧内预测模式，计算成本函数值。帧内预测单元23随后把成本函数值最小的帧内预测模式确定为最佳帧内预测模式。帧内预测单元23把按最佳帧内预测模式生成的预测图像和对应的成本函数值提供给选择单元26。
[0105]在步骤S13，运动预测单元25利用从帧存储器22供给的参照图像，对从画面重排缓冲器12供给的图像，进行所有的候选帧间预测模式的运动预测操作。运动预测操作的细节将参考后面说明的图5和6说明。
[0106]在步骤S14，运动预测单元25的判定单元44 (图2)把在步骤S13的运动预测操作中获得的成本函数值最小的帧间预测模式，确定为最佳帧间预测模式。判定单元44随后把帧间预测模式信息，对应的运动向量和对应的成本函数值提供给帧间预测单元24。
[0107]在步骤S15，根据从运动预测单元25供给的运动向量和帧间预测模式信息，帧间预测单元24按最佳帧间预测模式进行帧间预测，从而生成预测图像。帧间预测单元24把生成的预测图像和从运动预测单元25供给的成本函数值提供给选择单元26。
[0108]在步骤S16，根据从帧内预测单元23和帧间预测单元24供给的成本函数值，选择单元26确定最佳预测模式，所述最佳预测模式是成本函数值最小的最佳帧内预测模式或最佳帧间预测模式。选择单元26随后把该最佳预测模式的预测图像提供给算术运算单元13和加法单元20。
[0109]在步骤S17，选择单元26判定最佳预测模式是否是最佳帧间预测模式。如果在步骤S17，判定最佳预测模式是最佳帧间预测模式，那么选择单元26把按最佳帧间预测模式生成的预测图像的选择通知帧间预测单元24。
[0110]随后，在步骤S18，帧间预测单元24根据运动向量和预测向量，确定差分向量。此时，当运动向量的精度是1/4像素精度，而预测向量的精度是1/8像素精度时，帧间预测单元24起预测向量变换单元的作用，对预测向量进行舍入处理，从而生成1/4像素精度的预测向量。帧间预测单元24随后利用1/4像素精度的预测向量，确定差分向量。帧间预测单元24把确定的差分向量，帧间预测模式信息，pmv选择信息和检测精度信息输出给无损编码单元16。
[0111]在步骤S19，无损编码单元16根据从帧间预测单元24供给的差分向量，生成差分向量信息，并对帧间预测模式信息、差分向量信息、pmv选择信息和检测精度信息进行无损编码。无损编码单元16把作为结果的信息设定为待加到压缩图像中的报头信息，操作随后转到步骤S21。
[0112]另一方面，如果在步骤S17，判定最佳预测模式不是最佳帧间预测模式，或者如果最佳预测模式被判定为是最佳帧内预测模式，那么选择单元26把按最佳帧内预测模式生成的预测图像的选择通知帧内预测单元23。因而，帧内预测单元23把帧内预测模式信息提供给无损编码单元16。
[0113]在步骤S20，无损编码单元16对从帧内预测单元23供给的帧内预测模式信息等，进行无损编码，并把作为结果的信息设定为将加到压缩图像中的报头信息。操作随后转到步骤S21。[0114]在步骤S21，算术运算单元13从供给自画面重排缓冲器12的图像中，减去从选择单元26供给的预测图像。算术运算单元13把通过所述减法而获得的图像作为残差信息，输出给正交变换单元14。
[0115]在步骤S22，正交变换单元14对从算术运算单元13供给的残差信息进行正交变换，并把作为结果的系数提供给量化单元15。
[0116]在步骤S23，量化单元15量化从正交变换单元14供给的系数。量化的系数被输入无损编码单元16和逆量化单元18。
[0117]在步骤S24，无损编码单元16对从量化单元15供给的量化系数进行无损编码，把作为结果的信息设定为压缩图像。无损编码单元16随后相加通过步骤S19或S20的处理而生成的报头信息和所述压缩图像，从而生成压缩图像信息。
[0118]在图4的步骤S25，无损编码单元16把压缩图像信息提供给并保存在累积缓冲器17中。
[0119]在步骤S26，累积缓冲器17把保存的压缩图像信息输出给下一级中的记录装置、传输路径等(未示出)。
[0120]在步骤S27，逆量化单元18逆量化从量化单元15供给的量化系数。
[0121]在步骤S28，逆正交变换单元19对从逆量化单元18供给的系数进行逆正交变换，并把作为结果的残差信息提供给加法单元20。
[0122]在步骤S29，加法单元20相加从逆正交变换单元19供给的残差信息，和从选择单元26供给的预测图像，从而获得局部解码的图像。加法单元20把获得的图像提供给解块滤波器21，还把获得的图像作为参照图像提供给帧内预测单元23。
[0123]在步骤S30，解块滤波器21对从加法单元20供给的局部解码的图像进行滤波，从而除去块失真。
[0124]在步骤S31，解块滤波器21把滤波后的图像提供给并保存在帧存储器22中。保存在帧存储器22中的图像随后作为参照图像，被输出给帧间预测单元24和运动预测单元
25。操作随后结束。
[0125]注意，尽管在图3和4中所示的编码操作中，为了简化说明，总是进行帧内预测操作和运动补偿操作，不过实际上，取决于图像种类等，可能只进行这些操作之一。另外注意，尽管总是在无损编码单元16对差分向量信息和量化系数进行无损编码，不过实际上，取决于编码模式，可不进行无损编码。具体地，在跳过模式下，不对差分向量信息和量化系数进行无损编码，而在合并模式下，不对差分向量信息进行无损编码。
[0126]图5是说明在图3的步骤S13的运动预测操作中进行的LO运动预测操作的流程图。在LO运动预测操作中，检测指示LO预测作为预测方向的帧间预测模式下的运动向量。
[0127]在步骤S51，利用从画面重排缓冲器12供给的编码对象图像，和从帧存储器22读取的向前参照图像，整数向量检测单元51为指示LO预测作为预测方向的每种帧间预测模式，检测整数像素精度的运动向量。整数向量检测单元51把检测的整数像素精度的运动向量提供给1/2向量检测单元52。
[0128]在步骤S52，根据从整数向量检测单元51供给的整数像素精度的运动向量，1/2像素检测单元52对向前参照图像进行插值。这时，1/2向量检测单元52生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/2像素位置的3X3像素的参照块。
[0129]在步骤S53，和整数向量检测单元51—样，通过利用生成的参照块和编码对象图像，1/2向量检测单元52为指示LO预测作为预测方向的每种帧间预测模式，检测1/2像素精度的运动向量。1/2向量检测单元52把检测的1/2像素精度的运动向量提供给1/4向量检测单元53。
[0130]在步骤S54，根据从1/2向量检测单元52供给的1/2像素精度的运动向量，1/4向量检测单元53对向前参照图像进行插值。这时，1/4向量检测单元53生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/4像素位置的3X3像素的参照块。
[0131]在步骤S55，和整数向量检测单元51—样，通过利用生成的参照块和编码对象图像，1/4向量检测单元53为指示LO预测作为预测方向的每种帧间预测模式，检测1/4像素精度的运动向量。1/4向量检测单元53把检测的1/4像素精度的运动向量提供给1/8向量检测单元54。
[0132]在步骤S56，根据从1/4向量检测单元53供给的1/4像素精度的运动向量，1/8向量检测单元54对参照图像进行插值。这时，1/8向量检测单元54生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/8像素位置的3X3像素的参照块。
[0133]在步骤S57，和整数向量检测单元51—样，通过利用生成的参照块和编码对象图像，1/8向量检测单元54为指示LO预测作为预测方向的每种帧间预测模式，检测1/8像素精度的运动向量。
[0134]在步骤S58，通过利用检测的指示LO预测作为预测方向的每种帧间预测模式的1/8像素精度的运动向量等，1/8向量检测单元54确定该帧间预测模式的成本函数值。1/8向量检测单元54随后把成本函数值最小的帧间预测模式确定为最佳的LO帧间预测模式，并把最佳的LO帧间预测模式、对应的成本函数值和对应的运动向量提供给判定单元44。
[0135]注意其中检测指示LI预测作为预测方向的帧间预测模式下的运动向量的LI运动预测操作和图5中所示的LO运动预测操作相同，从而其说明被省略。
[0136]图6是说明在图3的步骤S13中的运动预测操作中进行的双向运动预测操作的流程图。在双向运动预测操作中，检测指示双向预测作为预测方向的帧间预测模式下的运动向量。
[0137]在步骤S70，根据1/4向量检测单元63检测的1/4像素精度的向后运动向量，整数向量检测单元71对从帧存储器22读取的向后参照图像进行插值。这时，整数向量检测单元71生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/2像素位置的3X3像素的向后参照块。
[0138]在步骤S71，通过利用向后参照块，向前参照图像和编码对象图像，整数向量检测单元71为指示双向预测作为预测方向的每种帧间预测模式，检测整数像素精度的向前运动向量。整数向量检测单元71把检测的整数像素精度的向前运动向量提供给1/2向量检测单元72。
[0139]在步骤S72，根据从整数向量检测单元71供给的整数像素精度的向前运动向量，1/2向量检测单元72对向前参照图像进行插值。这时，1/2向量检测单元72生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/2像素位置的3X3像素的向前参照块。
[0140]在步骤S73，和整数向量检测单元71 —样，通过利用生成的向前参照块，向后参照块和编码对象图像，1/2向量检测单元72为指示双向预测作为预测方向的每种帧间预测模式，检测1/2像素精度的向前运动向量。1/2向量检测单元72把检测的1/2像素精度的向前运动向量提供给1/4向量检测单元73。
[0141]在步骤S74，根据从1/2向量检测单元72供给的1/2像素精度的向前运动向量，1/4向量检测单元73对向前参照图像进行插值。这时，1/4向量检测单元73生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/4像素位置的3X3像素的向前参照块。
[0142]在步骤S75，和整数向量检测单元71 —样，通过利用生成的向前参照块，向后参照块和编码对象图像，1/4向量检测单元73为指示双向预测作为预测方向的每种帧间预测模式，检测1/4像素精度的向前运动向量。1/4向量检测单元73把检测的1/4像素精度的向前运动向量提供给整数向量检测单元74和1/4向量检测单元76。
[0143]在步骤S76，根据从1/4向量检测单元73供给的1/4像素精度的向前运动向量，整数向量检测单元74对向前参照图像进行插值。这时，整数向量检测单元74生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/4像素位置的3X3像素的向前参照块。
[0144]在步骤S77，和整数向量检测单元71 —样，利用向前参照块，向后参照图像和编码对象图像，整数向量检测单元74为指示双向预测作为预测方向的每种帧间预测模式，检测整数像素精度的向后运动向量。整数向量检测单元74把检测到的整数像素精度的向后运动向量提供给1/2向量检测单元75。
[0145]在步骤S78，根据从整数向量检测单元74供给的整数像素精度的向后运动向量，1/2向量检测单元75对向后参照图像进行插值。这时，1/2向量检测单元75生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/2像素位置的3X3像素的向后参照块。
[0146]在步骤S79，和整数向量检测单元71 —样，通过利用生成的向后参照块、向前参照块和编码对象图像，1/2向量检测单元75为指示双向预测作为预测方向的每种帧间预测模式，检测1/2像素精度的向后运动向量。1/2向量检测单元72把检测到的1/2像素精度的向后运动向量提供给1/4向量检测单元76。
[0147]在步骤S80，根据从1/2向量检测单元75供给的1/2像素精度的向后运动向量，1/4向量检测单元76对向后参照图像进行插值。这时，1/4向量检测单元76生成对应于该运动向量的位置在其中心，并且水平方向和垂直方向的间隔在1/4像素位置的3X3像素的向后参照块。
[0148]在步骤S81，和整数向量检测单元71 —样，通过利用生成的向后参照块，向前参照块和编码对象图像，1/4向量检测单元76为指示双向预测作为预测方向的每种帧间预测模式，检测1/4像素精度的向后运动向量。
[0149]在步骤S82，通过利用为指示双向预测作为预测方向的每种帧间预测模式，在步骤S75检测的1/4像素精度的向前运动向量，和在步骤S81检测的1/4像素精度的向后运动向量等，1/4向量检测单元76确定帧间预测模式的成本函数值。1/4向量检测单元76随后把成本函数值最小的帧间预测模式确定为最佳的双向帧间预测模式。1/4向量检测单元76把最佳的双向帧间预测模式，对应的成本函数值和对应的运动向量提供给判定单元44，然后操作结束。
[0150]注意，尽管图2中所示的运动预测单元25的双向运动检测单元43分别进行一次当1/4像素精度的向后运动向量被固定时，1/4像素精度的向前运动向量的检测，和当1/4像素精度的向前运动向量被固定时，I/4像素精度的向后运动向量的检测，不过，每种检测可被重复预定次数。
[0151]如上所述，编码设备10把当预测方向为双向预测时的运动向量的精度设定成低于当预测方向为LO预测或LI预测时的运动向量的精度。具体地，当每个预测块的运动向量的数目较大时的运动向量的精度被设定成低于当每个预测块的运动向量的数目较小时的运动向量的精度。因而，在抑制运动向量的信息量的时候，能够提高运动补偿操作的精度。结果，能够提高编码效率。
[0152][解码设备的例证结构]
[0153]图7是表示本技术适用于的，对从图1中所示的编码设备10输出的压缩图像信息解码的解码设备的例证结构的方框图。
[0154]图7中所示的解码设备100包括累积缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、加法单元105、解块滤波器106、画面重排缓冲器107、D/A转换器
108、帧存储器109、帧内预测单元110、帧间预测单元113、预测处理变换单元111、运动向量生成单元112和开关114。
[0155]解码设备100的累积缓冲器101接收并累积来自图1中所示的编码设备10的压缩图像信息。累积缓冲器101把累积的压缩图像信息提供给无损解码单元102。
[0156]无损解码单元102通过对从累积缓冲器101供给的压缩图像信息，进行诸如变长解码或算术解码之类的无损解码，获得量化的系数和报头。无损解码单元102把量化的系数提供给逆量化单元103。无损解码单元102还把包含在报头中的帧内预测模式信息等提供给帧内预测单元110。无损解码单元102还把包含在报头中的差分向量信息分解成正负号，和差分向量的绝对值的指数Golomb码，并对指数Golomb码进行反向二值化，随后把正负号加到作为结果的指数Golomb码中，从而生成差分向量。
[0157]无损解码单元102把生成的差分向量，及包含在报头中的pmv选择信息和检测精度信息提供给预测向量变换单元111。无损解码单元102还把包含在报头中的帧间预测模式信息提供给帧间预测单元113。无损解码单元102还把包含在报头中的帧内预测模式信息或帧间预测模式信息提供给开关114。
[0158]逆量化单元103、逆正交变换单元104、加法单元105、解块滤波器106、帧存储器
109、巾贞内预测单元110和巾贞间预测单元113进行和图1中所示的逆量化单元18、逆正交变换单元19、加法单元20、解块滤波器21、帧存储器22、帧内预测单元23和帧间预测单元24相同的操作，从而解码图像。
[0159]具体地，逆量化单元103逆量化从无损解码单元102供给的量化系数，并把作为结果的系数提供给逆正交变换单元104。
[0160]逆正交变换单元104对从逆量化单元103供给的系数,进行诸如逆离散余弦变换或逆Karhunen-Loeve变换之类的逆正交变换,并把作为结果的残差信息提供给加法单元105。
[0161]加法单元105起解码单元的作用，并通过相加从逆正交变换单元104供给的充当解码对象图像的残差信息，和从开关114供给的预测图像，进行解码。加法单元105把通过解码获得的图像提供给解块滤波器106，还把该图像作为参照图像，提供给帧内预测单元
110。如果不存在从开关114供给的预测图像，那么加法单元115把作为从逆正交变换单元104供给的残差信息的图像提供给解块滤波器106，还把该图像作为参照图像，提供给帧内预测单元110。
[0162]解块滤波器106对从加法单元105供给的图像进行滤波，从而除去块失真。解块滤波器106把作为结果的图像提供给并保存在帧存储器109中，还把作为结果的图像提供给画面重排缓冲器107。保存在帧存储器109中的图像作为参照图像，被提供给帧间预测单元 113。
[0163]画面重排缓冲器107逐帧保存从解块滤波器106供给的图像。画面重排缓冲器107按原始的显示顺序，而不是编码顺序，重排保存的图像的各帧，并把重排的图像提供给D/A转换器108。
[0164]D/A转换器108对从画面重排缓冲器107供给的基于帧的图像进行D/A转换，并输
出输出信号。
[0165]利用从加法单元105供给的参照图像，帧内预测单元110按由从无损解码单元102供给的帧内预测模式信息指示的帧内预测模式，进行帧内预测，从而生成预测图像。帧内预测单元Iio随后把预测 图像提供给开关114。
[0166]预测向量变换单元111从保存的运动向量中，读取由从无损解码单元102供给的pmv选择信息指示的运动向量，作为预测向量。当差分向量的精度低于预测向量的精度时，即，当差分向量的精度为1/4像素精度，而预测向量的精度为1/8像素精度时，按照从无损解码单元102供给的检测精度信息，预测向量变换单元111对预测向量进行舍入处理，从而生成1/4像素精度的预测向量。预测向量变换单元111把生成的1/4像素精度的预测向量或者读取的预测向量本身和差分向量，提供给运动向量生成单元112。
[0167]运动向量生成单元112相加从预测向量变换单元111供给的预测向量和差分向量，从而生成运动向量。运动向量生成单元112把生成的运动向量提供给并保存在预测向量变换单元111中，还把生成的运动向量提供给帧间预测单元113。
[0168]根据从运动向量生成单元112供给的运动向量，和从无损解码单元102供给的帧间预测模式信息，和图1中所示的帧间预测单元24 —样，帧间预测单元113从帧存储器109读取参照图像。根据运动向量和从帧存储器109读取的参照图像，帧间预测单元113进行和帧间预测单元24相同的帧间预测操作。帧间预测单元113把作为结果的预测图像提供给开关114。
[0169]当从无损解码单元102供给帧内预测模式信息时，开关114把从帧内预测单元110供给的预测图像提供给加法单元105。另一方面，当从无损解码单元102供给帧间预测模式信息时，开关114把从帧间预测单元113供给的预测图像提供给加法单元105。
[0170][解码设备的操作的说明]
[0171]图8是说明图7中所示的解码设备100的解码操作的流程图。每当基于帧的压缩图像信息被输入解码设备100时，进行该解码操作。[0172]在图8的步骤S101，解码设备100的累积缓冲器101从图1中所示的编码设备10接收和累积基于帧的压缩图像信息。累积缓冲器101把累积的压缩图像信息提供给无损解码单元102。注意下以的步骤S102-S113的处理是逐个⑶进行的。
[0173]在步骤S102，无损解码单元102对从累积缓冲器101供给的压缩图像信息进行无损解码，从而获得量化系数和报头。无损解码单元102把量化系数提供给逆量化单元103。无损解码单元102还把包含在报头中的帧内预测模式信息等提供给帧内预测单元110。无损解码单元102还把包含在报头中的差分向量信息分解成正负号和差分向量的绝对值的指数-Golomb码，并对指数-Golomb码进行反向二值化，随后把正负号加到作为结果的指数-Golomb码上,从而生成差分向量。
[0174]无损解码单元102把生成的差分向量，及包含在报头中的pmv选择信息和检测精度信息提供给预测向量变换单元111。无损解码单元102还把包含在报头中的帧间预测模式信息提供给帧间预测单元113。无损解码单元102还把包含在报头中的帧内预测模式信息或帧间预测模式信息提供给开关114。
[0175]在步骤S103，逆量化单元103逆量化从无损解码单元102供给的量化系数，并把作为结果的系数提供给逆正交变换单元104。
[0176]在步骤S104，逆正交变换单元104对从逆量化单元103供给的系数，进行逆正交变换，并把作为结果的残差信息提供给加法单元105。
[0177]在步骤S105，预测向量变换单元111判定是否从无损解码单元102供给了差分向量、pmv选择信息和检测精度信息。如果在步骤S105，判定供给了差分向量、pmv选择信息和检测精度信息，那么预测向量变换单元111从保存的运动向量中，读取由从无损解码单元102供给的pmv选择信息指示的运动向量，作为预测向量。操作随后转到步骤S106。
[0178]在步骤S106，预测向量变换单元111按照从无损解码单元102供给的检测精度信息，判定差分向量的精度是否小于预测向量的精度。当差分向量的精度为1/4像素精度，而预测向量的精度为1/8像素精度时，在步骤S106中，判定差分向量的精度小于预测向量的精度，随后操作转到步骤S107。
[0179]在步骤S107，预测向量变换单元111对预测向量进行舍入处理，从而生成1/4像素精度的预测向量，并把预测向量和差分向量提供给运动向量生成单元112。操作随后转到步骤 S108。
[0180]另一方面，当差分向量和预测向量的精度都是1/4像素精度或1/8像素精度时，在步骤S106，判定差分向量的精度不小于预测向量的精度。预测向量变换单元111随后把读取的预测向量本身和差分向量提供给运动向量生成单元112，随后操作转到步骤S108。
[0181]在步骤S108，运动向量生成单元112相加从预测向量变换单元111供给的预测向量和差分向量，从而生成运动向量。运动向量生成单元112把生成的运动向量提供给并保存在预测向量变换单元111中，还把生成的运动向量提供给帧间预测单元113。
[0182]在步骤S109，根据从运动向量生成单元112供给的运动向量，和从无损解码单元102供给的帧间预测模式信息，帧间预测单元113进行和图1中所示的帧间预测单元24相同的帧间预测操作。帧间预测单元113通过开关114，把作为结果的预测图像提供给加法单元105，操作随后转到步骤Slll。
[0183]另一方面,如果在步骤S105,判定还未供给差分向量、pmv选择信息和检测精度信息，即，如果向帧内预测单元110供给帧内预测模式信息，那么操作转到步骤S110。
[0184]在步骤SI 10，利用从加法单元105供给的参照图像，帧内预测单元110按由从无损解码单元102供给的帧内预测模式信息指示的帧内预测模式，进行帧内预测。帧内预测单元110随后通过开关114，把作为结果的预测图像提供给加法单元105，操作随后转到步骤
Slllo
[0185]在步骤S111，加法单元105相加从逆正交变换单元104供给的残差信息和从开关114供给的预测图像。加法单元105把作为结果的图像提供给解块滤波器106，还把作为结果的图像作为参照图像，提供给帧内预测单元110。
[0186]在步骤S112，解块滤波器106对从加法单元105供给的图像进行滤波，从而消除块失真。
[0187]在步骤S113，解块滤波器106把滤波后的图像提供给并保存在帧存储器109中，还把滤波后的图像提供给画面重排缓冲器107。保存在帧存储器109中的图像作为参照图像，被提供给帧间预测单元113。
[0188]在步骤SI 14，画面重排缓冲器107逐帧地保存从解块滤波器106供给的图像，按照原始显示顺序，而不是编码顺序，重排保存的图像的各帧，并把重排的图像提供给D/A转换器 108。
[0189]在步骤S115，D/A转换器108对从画面重排缓冲器107供给的基于帧的图像进行
D/A转换，并输出输出信号。
[0190]如上所述，当按照检测精度信息，差分向量的精度为1/4像素精度，而预测向量的精度为1/8像素精度时，解码设备100对预测向量进入舍入处理，从而生成1/4像素精度的预测向量。于是，在编码设备10中，通过把当每个预测块的运动向量的数目较大时的运动向量的精度设定成小于当每个预测块的运动向量的数目较小时的运动向量的精度，被编码以便提高编码效率的压缩图像信息能够被解码。
[0191]注意，尽管在本实施例中，根据预测方向是LO预测或LI预测，还是双向预测，切换运动向量的精度，不过，切换方法并不局限于此，只要能够在当运动向量的数目较大时和当运动向量的数目较小时之间切换运动向量的精度即可。例如，当帧间预测的预测块的大小较小时，运动向量的精度也可被设定成小于当预测块的大小较大时的运动向量的精度。另夕卜，当预测方向是双向预测，或者帧间预测的预测块的大小较小时，运动向量的精度也可被设定成小于当预测方向是LO预测或LI预测，并且预测块的大小较大时的运动向量的精度。
[0192]另外，尽管在本实施例中，利用指数-Golomb码，使差分向量的绝对值二值化，不过，用于二值化的代码可以是除指数-Golomb码外的任何其它代码。
[0193]此外，尽管在本实施例中，当预测方向是双向预测时，所有参照图像的运动向量的精度被设定成小于当预测方向为LO预测或LI预测时的运动向量的精度，不过，可以只把一些参照图像的运动向量的精度设定成较低。在这种情况下，对每个参照图像设定检测精度信息。
[0194]另外，尽管在本实施例中，运动向量的精度被切换成1/4像素精度或1/8像素精度，不过，运动向量的精度并不局限于此。例如，运动向量的精度可被切换成1/4像素精度或1/16像素精度。
[0195]<本技术适用于的计算机的说明>[0196]上述编码操作和解码操作可用硬件进行，也可用软件进行。当用软件进行编码操作和解码操作时，构成所述软件的程序被安装在通用计算机等中。
[0197]鉴于此，图9表示其中安装进行上述一系列操作的程序的计算机的实施例的例证结构。
[0198]程序可被事先记录在作为记录介质，设置在计算机中的存储单元408或ROM(只读存储器)402中。
[0199]另一方面，程序可被保存(记录)在可拆卸介质411中。可以所谓的套装软件的形式，提供这样的可拆卸介质411。这里，例如，可拆卸介质411可以是软盘、CD-ROM(光盘只读存储器)、M0 (磁光)盘、DVD (数字通用光盘)、磁盘或半导体存储器。
[0200]程序可经驱动器410，从上述可拆卸介质411安装到计算机中，不过也可经通信网络或广播网络，下载到计算机中，并安装在内部存储单元408中。即，程序可经用于数字卫星广播的人造卫星，无线地从下载站点传送给计算机，或者可经诸如LAN(局域网)或因特网之类的网络，用电缆传送给计算机。
[0201]计算机包括CPU(中央处理器)401，输入/输出接口 405经总线404，连接到CPU401。
[0202]当操作输入单元406等的用户经输入/输出接口 405，输入指令时，CPU401相应地执行保存在R0M402中的程序。另一方面，CPU401把保存在存储单元408中的程序载入RAM (随机存取存储器)403中，并执行该程序。
[0203]这样，CPU401按照上述流程图进行操作，或者利用在上述方框图中图解说明的结构进行操作。需要时，CPU401从输出单元407输出操作结果，或者经输入/输出接口 405，从通信单元409传送操作结果，另外把操作结果保存在存储单元408中。
[0204]输入单元406由键盘、鼠标、麦克风等构成。输出单元407由IXD (液晶显示器)、扬声器等构成。
[0205]在本说明书中，计算机按照程序进行的处理不一定按照与流程图中所示的顺序相符的时间先后顺序进行。即，计算机按照程序进行的处理包括并行地或者彼此独立地进行的处理(比如并行处理或者基于对象的处理)。
[0206]程序可由一个计算机(处理器)执行，或者可分布地由不止一个计算机执行。此夕卜，程序可被传送给远程计算机，并在其中执行。
[0207]<电视接收机的例证结构>
[0208]图10是表示利用本技术适用于的解码设备的电视接收机的典型例证结构的方框图。
[0209]图10中所示的电视接收机500包括地面调谐器513、视频解码器515、视频信号处理电路518、图形生成电路519、面板驱动电路520和显示面板521。
[0210]地面调谐器513通过天线接收地面模拟广播的广播信号，解调所述信号，从而获得视频信号。地面调谐器513把视频信号提供给视频解码器515。视频解码器515对从地面调谐器513供给的视频信号进行解码处理，然后把作为结果的数字分量信号提供给视频信号处理电路518。
[0211]视频信号处理电路518对从视频解码器515供给的视频数据进行诸如噪声消除之类的预定处理，然后把作为结果的视频数据提供给图形生成电路519。[0212]图形生成电路519生成待显示在显示面板521上的节目的视频数据，或者通过根据经网络提供的应用程序，进行操作，生成图像数据。图形生成电路519把生成的视频数据或图像数据提供给面板驱动电路520。图形生成电路519还生成显示由用户用于选择项目的屏幕的视频数据(图形)，并把所述视频数据叠加在节目的视频数据上。作为结果的视频数据被酌情提供给面板驱动电路520。
[0213]根据从图形生成电路519供给的数据，面板驱动电路520驱动显示面板521，使显示面板521显示节目的视频和上述各种屏幕。
[0214]显示面板521由IXD (液晶显示器)等构成，在面板驱动电路520的控制下，显示节目的视频图像等。
[0215]电视接收机500还包括音频A/D (模/数)转换电路514、音频信号处理电路522、回声消除/音频合成电路523、音频放大电路524和扬声器525。
[0216]通过解调接收的广播信号，地面调谐器513不仅获得视频信号，而且获得音频信号。地面调谐器513把获得的音频信号提供给音频A/D转换电路514。
[0217]音频A/D转换电路514对从地面调谐器513供给的音频信号进行A/D转换操作，并把作为结果的数字音频信号提供给音频信号处理电路522。
[0218]音频信号处理电路522对从音频A/D转换电路514供给的音频数据进行诸如噪声消除之类的预定处理，并把作为结果的音频数据提供给回声消除/音频合成电路523。
[0219]回声消除/音频合成电路523把从音频信号处理电路522供给的音频数据提供给音频放大电路524。
[0220]音频放大电路524对从回声消除/音频合成电路523供给的音频数据进行D/A转换操作和放大操作。在被调整到预定音量之后，声音从扬声器525输出。
[0221]电视接收机500还包括数字调谐器516和MPEG解码器517。
[0222]数字调谐器516通过天线接收数字广播(地面数字广播或数字BS (广播卫星)/CS(通信卫星)广播)的广播信号，解调所述广播信号，从而获得MPEG-TS(运动图像专家组-传输流)。MPEG-TS被提供给MPEG解码器517。
[0223]MPEG解码器517解扰从数字调谐器516供给的MPEG-TS，提取包含待再现(待观看)的节目的数据的流。MPEG解码器517对构成所提取流的音频分组解码，把作为结果的音频数据提供给音频信号处理电路522。MPEG解码器517还对构成所述流的视频分组解码，并把作为结果的视频数据提供给视频信号处理电路518。MPEG解码器517还通过路径(未示出)，把从MPEG-TS提取的EPG (电子节目指南)数据提供给CPU532。
[0224]电视接收机500利用上述解码设备100作为如上所述，解码视频分组的MPEG解码器517。于是，在MPEG解码器517中，和解码设备100的情况一样，当在帧间预测时，进行分数精度的运动补偿操作时，被编码，以便提高编码效率的图像能够被解码。
[0225]在发送给它的自适应内插滤波器的滤波器系数值中，设定和使用对应于块大小(类别)的滤波器系数值。因而，能够进行对应于帧中的局部性质的运动预测和补偿。
[0226]和从视频解码器515供给的视频数据的情况一样，从MPEG解码器517供给的视频数据在视频信号处理电路518经历预定处理。在图形生成电路519，生成的视频数据等被酌情叠加在经过预定处理的视频数据上。作为结果的视频数据通过面板驱动电路520被提供给显示面板521，从而其显示图像。[0227]和从音频A/D转换电路514供给的音频数据的情况一样，从MPEG解码器517供给的音频数据在音频信号处理电路522经历预定处理。经过预定处理的音频数据通过回声消除/音频合成电路523被提供给音频放大电路524，从而经历D/A转换操作或放大操作。结果，从扬声器525输出被调整到预定音量的声音。
[0228]电视接收机500还包括麦克风526和A/D转换电路527。
[0229]A/D转换电路527接收由在电视接收机500中设置的用于语音会话的麦克风526捕捉的用户的语音信号。A/D转换电路527对接收的音频信号进行A/D转换操作，并把作为结果的数字音频数据提供给回声消除/音频合成电路523。
[0230]当从A/D转换电路527被供给电视接收机500的用户(用户A)的音频数据时，回声消除/音频合成电路523对用户A的音频数据进行回声消除。在回声消除之后，回声消除/音频合成电路523合成该音频数据和其它的音频数据等，并经音频放大电路524，使扬声器525输出作为结果的音频数据。
[0231]电视接收机500还包括音频编解码器528、内部总线529、SDRAM(同步动态随机存取存储器)530、闪存531、0?邯32、旧8(通用串行总线)1作533和网络I/F534。
[0232]A/D转换电路527接收由设置在电视接收机500中的用于语音会话的麦克风526捕捉的用户的语音信号。A/D转换电路527对接收的音频信号进行A/D转换操作，并把作为结果的数字音频数据提供给音频编解码器528。
[0233]音频编解码器528把从A/D转换电路527供给的音频数据转换成预定格式的数据，以便通过网络传输，然后通过内部总线529，把作为结果的数据提供给网络I/F534。
[0234]网络I/F534通过连接到网络端子535的电缆，连接到网络。例如，网络I/F534把从音频编解码器528供给的音频数据传送给与网络相连的另一个设备。网络I/F534还通过网络端子535，接收从通过网络连接的另一个设备传送的音频数据，并通过内部总线529，把所述音频数据提供给音频编解码器528。
[0235]音频编解码器528把从网络I/F534供给的音频数据转换成预定格式的数据，并把作为结果的数据提供给回声消除/音频合成电路523。
[0236]回声消除/音频合成电路523对从音频编解码器528供给的音频数据进行回声消除，并合成该音频数据和其它音频数据等。作为结果的音频数据经音频放大电路524，从扬声器325输出。
[0237]SDRAM530保存为CPU532进行处理所必需的各种数据。
[0238]闪存531保存将由CPU532执行的程序。保存在闪存531中的程序由CPU532在预定时间，比如当电视接收机500被启动时读取。闪存531还保存通过数字广播获得的EPG数据，通过网络从预定服务器获得的数据等。
[0239]例如，在CPU532的控制下，闪存531保存包含通过网络，从预定服务器获得的内容数据的MPEG-TS。在CPU532的控制下，闪存531通过内部总线529，把MPEG-TS提供给MPEG解码器517。
[0240]和从数字 调谐器5316供给的MPEG-TS的情况一样，MPEG解码器517处理该MPEG-TS0这样，电视接收机500通过网络接收由视频图像和声音构成的内容数据，利用MPEG解码器517解码内容数据，以显示视频图像，和输出声音。
[0241]电视接收机500还包括接收从遥控器551传送的红外信号的受光单元537。[0242]受光单元537从遥控器551接收红外线，并进行解调。受光单元537把指示通过解调获得的用户操作的内容的控制码输出给CPU532。
[0243]CPU532执行保存在闪存531中的程序，按照从受光单元537供给的控制码等，控制电视接收机500的全部操作。电视接收机500的各个组件通过路径(未示出)，连接到CPU532。
[0244]USB I/F533与位于电视接收机500之外，并通过连接到USB端子536的USB电缆，与之相连的设备交换数据。网络I/F534通过连接到网络端子535的电缆，连接到网络，还与连接到网络的各种设备交换除音频数据外的数据。
[0245]通过利用解码设备100作为MPEG解码器517，当在帧间预测时，进行分数精度的运动补偿操作时，电视接收机500能够解码被编码，以便提高编码效率的图像。
[0246]<便携式电话机的例证结构>
[0247]图11是表示利用本技术适用于的编码设备和解码设备的便携式电话机的典型例证结构的方框图。
[0248]图11中所示的便携式电话机600包括用于集体控制各个组件的主控制单元650、电源电路单元651、操作输入控制单元652、图像编码器653、照相机I/F单元654、IXD控制单元655、图像解码器656、复用/分离单元657、记录/再现单元662、调制/解调电路单元658和音频编解码器659。这些组件通过总线660互相连接。
[0249]便携式电话机600还包括操作按键619、CXD(电荷耦合器件)照相机616、液晶显示器618、存储单元623、传输/接收电路单元663、天线614、麦克风(mike)621和扬声器617。
[0250]当通过用户的操作，结束通话或开启电源按键时，电源电路单元651通过从电池组向各个组件供电，使便携式电话机600进入可操作状态。
[0251]在由CPU、ROM、RAM等构成的主控制单元650的控制下，便携式电话机600按各种模式，比如话音通信模式和数据通信模式，进行各种操作，比如音频信号的传输和接收，电子邮件和图像数据的传输和接收，图像拍摄和数据记录。
[0252]例如，在话音通信模式下的便携式电话机600中，用麦克风(mike)621捕捉的音频信号被音频编解码器659转换成数字音频数据，数字音频数据在调制/解调电路单元658经历频谱扩展处理。作为结果的数据在传输/接收电路单元663经历数-模转换操作和频率转换操作。便携式电话机600通过天线614，把通过转换操作而获得的传输信号传送给基站(未示出)。传送给基站的传输信号(音频信号)再经公共电话线路网，被提供给在通信另一端的便携式电话机。
[0253]另外，例如，在话音通话模式下的便携式电话机600中，天线614接收的接收信号在传输/接收电路单元663被放大，并进一步经历频率转换操作和模-数转换操作。作为结果的信号在调制/解调电路单元658经历频谱反扩展处理，然后由音频编解码器659转换成模拟音频信号。便携式电话机600从扬声器617输出通过转换而获得的模拟音频信号。
[0254]此外，例如，当按数据通信模式传送电子邮件时，便携式电话机600的操作输入控制单元652接收通过操纵操作按键619而输入的电子邮件的文本数据。便携式电话机600在主控制单元650处理文本数据，并借助IXD控制单元655，以图像的形式把文本数据显示在液晶显示器618上。[0255]在便携式电话机600中，主控制单元650根据由操作输入控制单元652接收的文本数据，用户的指令等，生成电子邮件数据。便携式电话机600在调制/解调电路单元658对电子邮件数据进行频谱扩展处理，在传输/接收电路单元463进行数-模转换操作和频率转换操作。便携式电话机600把通过转换操作而获得的传输信号经天线614传给基站(未示出)。传给基站的传输信号(电子邮件)经网络、邮件服务器等被提供给预定地址。
[0256]例如，当按数据通信模式收到电子邮件时，便携式电话机600的传输/接收电路单元663通过天线614，接收从基站传送的信号，信号被放大，并进一步经历频率转换操作和模-数转换操作。便携式电话机600在调制/解调电路单元658对接收的信号进行频率反扩展处理，以恢复原始电子邮件数据。便携式电话机600通过LCD控制单元655，把恢复的电子邮件数据显示在液晶显示器618上。
[0257]便携式电话机600还可通过记录/再现单元662，把接收的电子邮件数据记录(保存)在存储单元623中。
[0258]存储单元623是可重写的存储介质。存储单元623可以是诸如RAM或内置闪存之类的半导体存储器，硬盘，或者诸如磁盘、磁光盘、光盘、USB存储器或存储卡之类的可拆卸介质。当然可以使用除上述存储器外的存储器。
[0259]此外，例如，当按数据通信模式传送图像数据时，便携式电话机600在拍摄图像的CXD照相机616生成图像数据。CXD照相机616包括诸如透镜和光圈之类的光学器件，和作为光电变换器件的CCD。CCD照相机616拍摄被摄物体的图像，把受光的强度转换成电信号，并生成被摄物体的图像的图像数据。图像编码器653随后通过利用预定编码方法，比如MPEG2或MPEG4，经照相机I/F单元654，对图像数据进行压缩编码。从而，图像数据被转换成编码图像数据。
[0260]便携式电话机600采用上述编码设备10作为进行以上操作的图像编码器653。于是，和编码设备10的情况一样，当在帧间预测时，进行分数精度的运动补偿操作时，图像编码器653能够提高编码效率。
[0261]和上述同时，在便携式电话机600中，在CXD照相机616的图像拍摄期间，由麦克风(mike) 621捕捉的声音在音频编解码器659经历模-数转换，然后被编码。
[0262]便携式电话机600的复用/分离单元657利用预定方法，复用从图像编码器653供给的编码图像数据，和从音频编解码器659供给的数字音频数据。便携式电话机600在调制/解调电路单元658，对作为结果的的复用数据进行频谱扩展处理，然后在传输/接收电路单元663进行数-模转换操作和频率转换操作。便携式电话机600把通过转换操作获得的传输信号经天线614传给基站(未示出)。传给基站的传输信号(图像数据)经网络等被提供给通信的另一端。
[0263]当不传送图像数据时，便携式电话机600也可经IXD控制单元655，而不是图像编码器653，把在CXD照相机616生成的图像数据显示在液晶显示器618上。
[0264]例如，当按数据通信模式，接收链接到简化主页等的运动图像文件的数据时，便携式电话机600的传输/接收电路单元663通过天线614，接收从基站传送的信号。该信号被放大，并进一步经历频率转换操作和模-数转换操作。便携式电话机600在调制/解调电路单元658对接收的信号进行频率反扩展处理，以恢复原始的复用数据。便携式电话机600在复用/分离单元657把复用数据分离成编码图像数据和音频数据。[0265]通过利用与诸如MPEG2或MPEG4之类的预定编码方法相容的解码方法，在图像解码器656对编码图像数据解码，便携式电话机600生成再现的运动图像数据，然后通过IXD控制单元655，把再现的运动图像数据显示在液晶显示器618上。这样，例如，包含在链接到简化主页的运动图像文件中的运动图像数据被显示在液晶显示器618上。
[0266]便携式电话机600采用上述解码设备100作为进行上述操作的图像解码器656。于是，和解码设备100的情况一样，当在帧间预测时，进行分数精度的运动补偿操作时，图像解码器656能够对被编码，以便提高编码效率的图像解码。
[0267]与此同时，便携式电话机600在音频编解码器659，把数字音频数据转换成模拟音频信号，然后从扬声器617输出模拟音频信号。这样，例如，包含在链接到简化主页的运动图像文件中的音频数据被再现。
[0268]和电子邮件的情况一样，便携式电话机600也可通过记录/再现单元662，把链接到简化主页等的接收数据记录(保存)在存储单元623中。
[0269]便携式电话机600的主控制单元650还可分析用进行图像拍摄的CXD照相机616
获得的二维码，从而获得记录在二维码中的信息。
[0270]此外，便携式电话机600的红外通信单元681能够利用红外线，与外部设备通信。
[0271]通过利用编码设备10作为图像编码器653，当在帧间预测时，进行分数精度的运动补偿操作时，便携式电话机600能够提高编码效率。
[0272]通过利用解码设备100作为图像解码器656，当在帧间预测时，进行分数精度的运动补偿操作时，便携式电话机600也能够对被编码，以便提高编码效率的图像解码。
[0273]在上面的说明中，便携式电话机600利用CXD照相机616。不过，代替CXD照相机616，可以采用利用CMOS (互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在这种情况下，和采用CCD照相机616的情况一样，便携式电话机600也能够拍摄被摄物体的图像，从而生成被摄物体的图像的图像数据。
[0274]尽管上面说明了便携式电话机600，不过，按照和便携式电话机600的情况相同的方式，编码设备10和解码设备100也可适用于任何设备，只要所述设备具有和便携式电话机600相同的图像拍摄功能和通信功能。这样的设备可以是PDA(个人数字助手)、智能电话机、UMPC (超移动个人计算机)、上网本或笔记本型个人计算机。
[0275]<硬盘记录器的例证结构>
[0276]图12是表示利用本技术适用于的编码设备和解码设备的硬盘记录器的典型例证结构的方框图。
[0277]图12中所示的硬盘记录器(HDD记录器)700是把包含在从卫星或地面天线等传送，并由调谐器接收的广播信号(电视信号)中的广播节目的音频数据和视频数据保存在内置硬盘中，并在依据用户的指令指定的时间，把保存的数据提供给用户的设备。
[0278]例如，硬盘记录器700可从广播信号中提取音频数据和视频数据，适当地解码这些数据，并把解码的数据保存在内置硬盘中。另外，例如，硬盘记录器700还可通过网络，从另一个设备获得音频数据和视频数据，适当地解码这些数据，并把解码的数据保存在内置硬盘中。
[0279]此外，例如，硬盘记录器700解码记录在内置硬盘中的音频数据和视频数据，把解码的这些数据提供给监视器760，从而在监视器760的屏幕上显示图像。硬盘记录器700还可从监视器760的扬声器输出声音。
[0280]例如，硬盘记录器700可解码从通过调谐器获得的广播信号中提取的音频数据和视频数据，或者通过网络从另一个设备获得的音频数据和视频数据，把解码的这些数据提供给监视器760，从而把图像显示在监视器760的屏幕上。硬盘记录器700还可从监视器760的扬声器输出声音。
[0281]当然，硬盘记录器700也可进行除上述操作以外的操作。
[0282]如图12中所示，硬盘记录器700包括接收单元721、解调单元722、分用器723、音频解码器724、视频解码器725和记录器控制单元726。硬盘记录器700还包括EPG数据存储器727、程序存储器728、工作存储器729、显示转换器730、OSD (屏上显示)控制单元731、显示控制单元732、记录/再现单元33、D/A转换器734和通信单元735。
[0283]显示转换器730包括视频编码器741。记录/再现单元733包括编码器751和解码器752。
[0284]接收单元721从遥控器(未示出)接收红外信号，把红外信号转换成电信号，然后把电信号输出给记录器控制单元726。例如，记录器控制单元726由微处理器构成，并按照保存在程序存储器728中的程序执行各种操作。此时，记录器控制单元726酌情利用工作存储器729。
[0285]通信单元735连接到网络，并通过网络与另一个设备进行通信操作。例如，在记录器控制单元726的控制下，通信单元735与调谐器(未示出)通信，并且主要向调谐器输出电台选择控制信号。
[0286]解调单元722解调从调谐器供给的信号，然后把信号输出给分用器723。分用器723把从解调单元722供给的数据分离成音频数据、视频数据和EPG数据。分用器723把音频数据、视频数据和EPG数据分别输出给音频解码器724、视频解码器725和记录器控制单元 726。
[0287]音频解码器724例如利用MPEG方法，解码输入的音频数据，然后把解码的音频数据输出给记录/再现单元733。视频解码器725例如利用MPEG方法，解码输入的视频数据，然后把解码的视频数据输出给显示转换器730。记录器控制单元726把输入的EPG数据提供给并保存在EPG数据存储器727中。
[0288]显示转换器730利用视频编码器741，把从视频解码器725或记录器控制单元726供给的视频数据编码成符合NTSC(国家电视标准委员会)标准的视频数据。编码的视频数据被输出给记录/再现单元733。另外，显示转换器730把从视频解码器725或记录器控制单元726供给的视频数据的屏幕尺寸转换成与监视器760的尺寸相适合的尺寸。显示转换器730还利用视频编码器741，把其屏幕尺寸已被转换的视频数据转换成符合NTSC标准的视频数据。NTSC视频数据随后被转换成模拟信号，并被输出给显示控制单元732。
[0289]在记录器控制单元726的控制下，显示控制单元732把从OSD (屏上显示)控制单元731输出的OSD信号重叠在从显示转换器730输入的视频信号上，然后把作为结果的信号输出给监视器760的显示器，以显示该图像。
[0290]从音频解码器724输出，并被D/A转换器734转换成模拟信号的音频数据也被提供给监视器760。监视器760从内置扬声器输出该音频信号。
[0291]记录/再现单元733包括作为记录视频数据、音频数据等的存储介质的硬盘。[0292]例如，记录/再现单元733使编码器751利用MPEG方法，对从音频解码器724供给的音频数据编码。记录/再现单元733还使编码器751利用MPEG方法，对从显示转换器730的视频编码器741供给的视频数据编码。记录/再现单元733利用复用器，合成音频数据的编码数据和视频数据的编码数据。记录/再现单元733通过通道编码，放大合成数据，并借助记录头把作为结果的数据写入硬盘中。
[0293]记录/再现单元733借助再现头，再现记录在硬盘上的数据，放大该数据，并利用分用器把数据分离成音频数据和视频数据。记录/再现单元733利用MPEG格式，用解码器752解码音频数据和视频数据。记录/再现单元733对解码的音频数据进行D/A转换，然后把作为结果的数据输出给监视器760的扬声器。记录/再现单元733还对解码的视频数据进行D/A转换，然后把作为结果的数据输出给监视器760的显示器。
[0294]根据由借助接收单元721接收的从遥控器传送的红外信号指示的用户指令，记录器控制单元726从EPG数据存储器727读出最新的EPG数据，并把该EPG数据提供给OSD控制单元731。OSD控制单元731生成与输入的EPG数据对应的图像数据，并把该图像数据输出给显示控制单元732。显示控制单元732把从OSD控制单元731输入的视频数据输出给监视器760的显示器，以便显示图像。这样，EPG(电子节目指南)被显示在监视器760的显示器上。
[0295]硬盘记录器700还可通过诸如因特网之类的网络，获得从另一个设备供给的各种数据，比如视频数据、音频数据和EPG数据。
[0296]在记录器控制单元726的控制下，通信单元735通过网络，获得从另一个设备传送的视频数据、音频数据、EPG数据等的编码数据，并把这些数据提供给记录器控制单元726。例如，记录器控制单元726把获得的视频数据和音频数据的编码数据提供给记录/再现单元733，并把这些数据保存在硬盘上。此时，记录器控制单元726和记录/再现单元733可酌情进行诸如重新编码之类的操作。
[0297]记录器控制单元726还对获得的视频数据和音频数据的编码数据解码，然后把作为结果的视频数据提供给显示转换器730。按照和从视频解码器725供给的视频数据的处理相同的方式，显示转换器730处理从记录器控制单元726供给的视频数据，并把作为结果的数据通过显示控制单元732提供给监视器760，以显示图像。
[0298]与图像显示同步，记录器控制单元726可通过D/A转换器734，把解码的音频数据提供给监视器760,然后从扬声器输出声音。
[0299]此外，记录器控制单元726对获得的EPG数据的编码数据解码，然后把解码的EPG数据提供给EPG数据存储器727。
[0300]上述硬盘记录器700采用解码设备100作为视频解码器725、解码器752和置于记录器控制单元726中的解码器。于是，和解码设备100的情况一样，当在帧间预测时进行分数精度的运动补偿操作时，视频解码器725、解码器752和置于记录器控制单元726中的解码器能够对被编码以便提高编码效率的图像解码。
[0301]硬盘记录器700也使用编码设备10作为编码器751。于是，和编码设备10的情况一样，当在帧间预测时，进行分数精度的运动补偿操作时，编码器751能够提高编码效率。
[0302]在上面的说明中，说明了把视频数据和音频数据记录在硬盘上的硬盘记录器700。不过，可以使用任何其它的记录介质。例如，和上面说明的硬盘记录器700的情况一样，编码设备10和解码设备100可应用于利用除硬盘以外的记录介质，比如闪存、光盘或录像带的记录器。
[0303]<照相机的例证结构>
[0304]图13是表示利用本技术适用于的编码设备和解码设备的照相机的典型例证结构的方框图。
[0305]图13中所示的照相机800拍摄被摄物体的图像，并把被摄物体的图像显示在IXD816上，或者把被摄物体的图像作为图像数据记录在记录介质833上。
[0306]透镜部件811使光(即，被摄物体的视频图像)入射在(XD/CM0S812上。CXD/CM0S812是利用CXD或CMOS的图像传感器。(XD/CM0S812把接受的光的强度转换成电信号，并把该电信号提供给照相机信号处理单元813。
[0307]照相机信号处理单元813把从(XD/CM0S812供给的电信号转换成YCrCb色差信号，并把该信号提供给图像信号处理单元814。在控制器821的控制下，图像信号处理单元814对从照相机信号处理单元813供给的图像信号进行预定的图像处理，并使编码器841利用MPEG方法，对图像信号编码。图像信号处理单元814把通过对图像信号编码而生成的编码数据提供给解码器815。图像信号处理单元814还获得在屏上显示器(OSD) 820生成的显示数据，并把该显示数据提供给解码器815。
[0308]在上面的操作中，照相机信号处理单元813酌情利用经总线817，与之相连的DRAM(动态随机存取存储器)818，以便在需要时，把图像数据，和通过对图像数据编码而生成的编码数据等保存在DRAM818中。
[0309]解码器815对从图像信号处理单元814供给的编码数据解码，并把作为结果的图像数据(解码的图像数据)提供给IXD816。解码器815还把从图像信号处理单元814供给的显示数据提供给IXD816。IXD816适当地合成与从解码器815供给的解码的图像数据对应的图像，和对应于显示数据的图像，并显示合成的图像。
[0310]在控制器821的控制下，屏上显示器820经总线817，把利用符号、字符和图形形成的菜单屏幕以及图标的显示数据提供给图像信号处理单元814。
[0311]根据指示用户利用操作单元822指定的内容的信号，控制器821进行各种操作，并经总线817，控制图像信号处理单元814、DRAM818、外部接口 819、屏上显示器820、介质驱动器823等。闪速R0M824保存为控制器821进行各种操作所必需的程序、数据等。
[0312]例如，代替图像信号处理单元814和解码器815，控制器821可对保存在DRAM818中的图像数据编码，和对保存在DRAM818中的编码数据解码。这样一来，控制器821可通过利用与图像信号处理单元814和解码器815使用的编码方法和解码方法相同的方法，进行编码操作和解码操作，或者可利用不与图像信号处理单元814和解码器815兼容的方法，进行编码操作和解码操作。
[0313]当通过操作单元822请求开始图像打印时，控制器821从DRAM818读出图像数据，并经总线817，把图像数据提供给连接到外部接口 819的打印机834，以便进行打印。
[0314]此外，当通过操作单元822请求图像记录时，控制器821从DRAM818读取编码数据，并经总线817，把编码数据提供并保存在安装在介质驱动器823上的记录介质833中。
[0315]记录介质833是诸如磁盘、磁光盘、光盘或半导体存储器之类的可读并且可写的可拆卸介质。记录介质833可以是任何种类的可拆卸介质，可以是磁带设备、磁盘或存储卡。当然可以利用非接触式IC卡等。
[0316]另一方面，介质驱动器823和记录介质833可被集成，可用诸如内部硬盘驱动器或SSD(固态驱动器)之类不能移动的存储介质形成。
[0317]外部接口 819用USB输入/输出端子等形成，当进行图像打印时，被连接到打印机834。另外，驱动器831被酌情连接到外部接口 819，诸如磁盘、光盘或磁光盘之类的可拆卸介质832被酌情安装在驱动器831上。当需要时，从这样的磁盘读取的计算机程序被安装在闪速R0M824中。
[0318]此外，外部接口 819包括连接到诸如LAN或因特网之类的预定网络的网络接口。按照来自操作单元822的指令，控制器821可从DRAM818读取编码数据，把编码数据从外部接口 819提供给经网络，与之相连的另一个设备。另外，控制器821可通过外部接口 819，获得经网络，从另一个设备供给的编码数据和图像数据，并把所述数据保存在DRAM818中，或者把所述数据提供给图像信号处理单元814。
[0319]上面说明的照相机800利用解码设备100作为解码器815。于是，和解码设备100的情况一样，当在帧间预测时进行分数精度的运动补偿操作时，解码器815能够对被编码以便提高编码效率的图像解码。
[0320]照相机800还利用编码设备10作为编码器841。于是，和编码设备10的情况一样，当在帧间预测时，进行分数精度的运动补偿操作时，编码器841能够提高编码效率，同时抑制帧间预测的精度的降低。
[0321]解码设备100使用的解码方法可适用于控制器821进行的解码操作。同样地，编码设备10使用的编码方法适用于控制器821进行的编码操作。
[0322]利用照相机800捕捉的图像数据可以是运动图像的图像数据，或者可以是静止图像的图像数据。
[0323]当然可把编码设备10和解码设备100应用于除上述设备以外的任何设备和系统。
[0324]应注意，本技术的实施例并不局限于上述实施例，可以对其作出各种修改，而不脱离本技术的范围。
[0325]也可用下述结构体现本技术。
[0326](I) 一种解码设备，包括:接收单元，所述接收单元接收编码图像，帧间预测中的图像的运动向量和预测向量之间的差分，和检测精度信息，所述检测精度信息指示当帧间预测的预测方向为双向时的运动向量的精度低于当预测方向为单向时的运动向量的精度，所述预测向量是位于所述编码对象图像附近的图像的运动向量；预测向量变换单元，当运动向量的精度低于预定精度，而预测向量的精度是预定精度时，所述预测向量变换单元按照接收单元接收的检测精度信息，对预测向量进行舍入处理，从而生成精度低于预定精度的预测向量；运动向量生成单元，所述运动向量生成单元相加由预测向量变换单元生成的精度低于预定精度的预测向量，和接收单元接收的差分，从而生成运动向量；和解码单元，所述解码单元通过利用运动向量生成单元生成的运动向量，进行运动补偿操作，对图像解码。
[0327](2)在上述⑴中所述的解码设备中，
[0328]当帧间预测的预测方向为单向，并且帧间预测中的预测块的大小较大时，以预定精度检测运动向量，而当帧间预测的预测方向为双向，或者预测块的大小较小时，以比预测精度低的精度检测运动向量。
[0329](3) 一种由解码设备进行的解码方法，包括:接收步骤，所述接收步骤接收编码图像，帧间预测中的图像的运动向量和预测向量之间的差分，和检测精度信息，所述检测精度信息指示当帧间预测的预测方向为双向时的运动向量的精度低于当预测方向为单向时的运动向量的精度，所述预测向量是位于所述编码对象图像附近的图像的运动向量；预测向量变换步骤，当运动向量的精度低于预定精度，而预测向量的精度是预定精度时，所述预测向量变换步骤按照在接收步骤的操作中接收的检测精度信息，对预测向量进行舍入处理，从而生成精度低于预定精度的预测向量；运动向量生成步骤，所述运动向量生成步骤相加在预测向量变换步骤的操作中生成的精度低于预定精度的预测向量，和在接收步骤的操作中接收的差分，从而生成运动向量；和
[0330]解码步骤，所述解码步骤通过利用在运动向量生成步骤的操作中生成的运动向量，进行运动补偿操作，对图像解码。
[0331](4) 一种编码设备包括:高精度运动检测单元，当编码对象图像的帧间预测的预测方向是单向时，所述高精度运动检测单元利用编码对象图像和帧间预测中的对于该编码对象图像的参照图像，以预定精度检测对于该编码对象图像的参照图像的运动向量；低精度运动检测单元，当预测方向是双向时，所述低精度运动检测单元利用编码对象图像和参照图像，以低于预定精度的精度，检测所述运动向量；编码单元，所述编码单元通过利用由高精度运动检测单元或低精度运动检测单元检测的运动向量，进行运动补偿操作，对编码对象图像编码；和传输单元，所述传输单元传送由编码单元编码的编码对象图像和运动向量。
[0332](5)在上述⑷中所述的编码设备中，
[0333]当帧间预测的预测方向是单向，并且帧间预测中的预测块的大小较大时，高精度运动检测单元以预定精度检测运动向量，和
[0334]当帧间预测的预测方向是双向，或者预测块的大小较小时，低精度运动检测单元以比预定精度低的精度检测运动向量。
[0335](6)在上述⑷中所述的编码设备中，
[0336]传输单元传送检测精度信息，检测精度信息指示当帧间预测的预测方向是双向时的运动向量的精度低于当帧间预测的预测方向是单向时的运动向量的精度。
[0337](7)在上述(4)-(6)任意之一中所述的编码设备中，
[0338]传输单元传送由高精度运动检测单元或低精度运动检测单元检测的运动向量与预测向量之间的差分，所述预测向量是位于编码对象图像附近的图像的运动向量。
[0339](8)在上述(7)中所述的编码设备还包括:
[0340]预测向量变换单元，当运动向量是以比预定精度低的精度检测的，而预测向量是以预定精度检测的时，所述预测向量变换单元对预测向量进行舍入处理，从而生成精度低于预定精度的预测向量，和
[0341]传输单元传送运动向量与精度低于预定精度的预测向量之间的差分。
[0342](9) 一种由编码设备进行的编码方法，包括:高精度运动检测步骤，当编码对象图像的帧间预测的预测方向是单向时，所述高精度运动检测步骤利用编码对象图像和帧间预测中的对于该编码对象图像的参照图像，以预定精度检测对于该编码对象图像的参照图像的运动向量；低精度运动检测步骤，当预测方向是双向时，所述低精度运动检测步骤利用编码对象图像和参照图像，以低于预定精度的精度，检测所述运动向量；编码步骤，所述编码步骤通过利用在高精度运动检测步骤或低精度运动检测步骤的操作中检测的运动向量，进行运动补偿操作，对编码对象图像编码；和传输步骤，所述传输步骤传送利用编码步骤的操作编码的编码对象图像和运动向量。
[0343]附图标记列表
[0344]10编码设备
[0345]13算术运算单元
[0346]17累积缓冲器
[0347]24帧间预测单元
[0348]41L0运动检测单元
[0349]42L1运动检测单元
[0350]43双向运动检测单元
[0351]100解码设备
[0352]101累积缓冲器
[0353]105加法单元
[0354]111预测向量变换单元
[0355]112运动向量生成单元
【权利要求】
1.一种解码设备，包括: 接收单元，所述接收单元接收编码图像、该图像的帧间预测中的运动向量和预测向量之间的差分、以及检测精度信息，所述检测精度信息指示当帧间预测的预测方向为双向时的运动向量的精度低于当预测方向为单向时的运动向量的精度，所述预测向量是位于所述编码图像附近的图像的运动向量； 预测向量变换单元，当运动向量的精度低于预定精度，而预测向量的精度是预定精度时，所述预测向量变换单元根据接收单元接收的检测精度信息对预测向量进行舍入处理，从而生成精度低于所述预定精度的预测向量； 运动向量生成单元，所述运动向量生成单元相加由预测向量变换单元生成的精度低于所述预定精度的预测向量和接收单元接收的差分，从而生成运动向量；以及 解码单元，所述解码单元通过利用运动向量生成单元生成的运动向量进行运动补偿操作，对图像解码。
2.按照权利要求1所述的解码设备，其中 当帧间预测的预测方向为单向，并且帧间预测中的预测块的大小较大时，以所述预定精度检测运动向量，而当帧间预测的预测方向为双向，或者预测块的大小较小时，以比所述预测精度低的精度检测运动向量。
3.一种由解码设备执行的解码方法，包括: 接收步骤，所述接收步骤接收编码图像、该图像的帧间预测中的运动向量和预测向量之间的差分、以及检测精度信息，所述检测精度信息指示当帧间预测的预测方向为双向时的运动向量的精度低于当预测方向为单向时的运动向量的精度，所述预测向量是位于所述编码图像附近的图像的运动向量； 预测向量变换步骤，当运动向量的精度低于预定精度，而预测向量的精度是所述预定精度时，所述预测向量变换步骤根据在接收步骤的操作中接收的检测精度信息对预测向量进行舍入处理，从而生成精度低于所述预定精度的预测向量； 运动向量生成步骤，所述运动向量生成步骤相加在预测向量变换步骤的操作中生成的精度低于所述预定精度的预测向量和在接收步骤的操作中接收的差分，从而生成运动向量；以及 解码步骤，所述解码步骤通过利用在运动向量生成步骤的操作中生成的运动向量进行运动补偿操作，对图像解码。
4.一种编码设备,包括: 高精度运动检测单元，当编码对象图像的帧间预测的预测方向是单向时，所述高精度运动检测单元利用编码对象图像和帧间预测中的对于该编码对象图像的参照图像，以预定精度检测对于该编码对象图像的参照图像的运动向量； 低精度运动检测单元，当预测方向是双向时，所述低精度运动检测单元利用编码对象图像和参照图像以低于所述预定精度的精度检测所述运动向量； 编码单元，所述编码单元通过利用由高精度运动检测单元或低精度运动检测单元检测到的运动向量进行运动补偿操作，对编码对象图像编码；以及 传输单元，所述传输单元传送由编码单元编码的编码对象图像和运动向量。
5.按照权利要求4所述的编码设备，其中当帧间预测的预测方向是单向，并且帧间预测中的预测块的大小较大时，高精度运动检测单元以所述预定精度检测运动向量，并且 当帧间预测的预测方向是双向，或者预测块的大小较小时，低精度运动检测单元以比预定精度低的精度检测运动向量。
6.按照权利要求4所述的编码设备，其中 传输单元传送检测精度信息，所述检测精度信息指示当帧间预测的预测方向是双向时的运动向量的精度低于当帧间预测的预测方向是单向时的运动向量的精度。
7.按照权利要求4所述的编码设备，其中 传输单元传送由高精度运动检测单元或低精度运动检测单元检测到的运动向量与预测向量之间的差分，所述预测向量是位于编码对象图像附近的图像的运动向量。
8.按照权利要求7所述的编码设备，还包括: 预测向量变换单元，当运动向量是以比所述预定精度低的精度检测的，而预测向量是以所述预定精度检测的时，所述预测向量变换单元对预测向量进行舍入处理，从而生成精度低于所述预定精度的预测向量，其中 传输单元传送运动向量与精度低于所述预定精度的预测向量之间的差分。
9.一种由编码设备执行的编码方法，包括: 高精度运动检测步骤，当编码对象图像的帧间预测的预测方向是单向时，所述高精度运动检测步骤利用编码对象图像和帧间预测中的对于该编码对象图像的参照图像，以预定精度检测对于该编码对象图像的参照图像的运动向量； 低精度运动检测步骤，当预测方向是双向时，所述低精度运动检测步骤利用编码对象图像和参照图像，以低于所述预定精度的精度检测所述运动向量； 编码步骤，所述编码步骤通过利用在高精度运动检测步骤或低精度运动检测步骤的操作中检测到的运动向量进行运动补偿操作，对编码对象图像编码；以及 传输步骤，所述传输步骤传送在编码步骤的操作中编码的编码对象图像和运动向量。
【文档编号】H04N19/503GK103907354SQ201280052477
【公开日】2014年7月2日 申请日期:2012年10月25日 优先权日:2011年11月4日
【发明者】近藤健治 申请人:索尼公司