专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和程序。
背景技术：
近年来，信息处理技术和信息通信技术的快速发展已经通过高质量视频 和音频分发服务的扩展而实现。然而，高质量视频和音频数据的容量已经变 得巨大。为此，用于经济地分发高质量视频和音频数据的技术已经吸引了关 注。大多数该关注的焦点是用于分发可以在大的、高分辨率电视机等上观看 的高质量视频的技术。对压缩高质量图像数据的容量而不降低图像质量的各 种类型的编码技术的积极研究也在进行当中。压缩编码技术的一个众所周知
的示例是由运动画面专家组(MPEG)和碎见频编码专家组(VCEG)进行标准 化的数据压缩方法。
技术。将简要介绍运动补偿中涉及的处理。该处理包括提取其中多个帧中各 像素相同或几乎相同的块的步骤。该处理还包括计算表示该块的运动方向和 运动量的运动矢量的步骤。然后基于由这些步骤计算的运动矢量编码图像数 据中两帧之间的差。在该过程中，像素基于计算的运动矢量补偿。结果，在 包含相同或几乎相同的像素的块在各帧之间移动的情况下，降低图像数据的 量而不降低图像质量是可能的。作为该技术的应用示例，执行帧率转换和隔 行扫描至逐行扫描转换(IP转换)的技术在日本专利申请公开No. JP-A-2007-104652中已有描述。该技术利用运动矢量来创建用于在多个帧中 插值的中间图像，并且将中间图像插入到各帧之间。
发明内容
然而，用于计算运动矢量的处理负载大于用于包括上述编码处理的其他 处理的处理负载。因此不容易以高精度计算运动矢量。例如，简单考虑使用 块匹配方法计算运动矢量的处理。在该处理中，第一步骤是关于两个参考帧
基于每块计算像素值中差的绝对值的和。接下来，对与差的绝对值的和中的 最低值相对应的块计算运动方向和运动量。这确定了运动矢量。例如，考虑 范围被设置为距给定块的位置在水平方向上士7像素以及垂直方向上士3像 素、并且执行通过使用块匹配方法计算该范围内的运动矢量的处理的情形。
用于确定一个像素的运动矢量的计算循环的数量是"(计算21个像素的差+ 计算绝对值的21次循环+将绝对值相加的21次循环)x水平方向上的15个 像素x垂直方向上的7个像素"。换句话说，在门电路方面，这些计算需要的 资源的粗略估计为至少一百万门电路。
有鉴于这些问题，已经研究了各种类型的技术来改进块匹配方法和减少 计算资源。然而，关于将块匹配方法应用到通过解码所编码的数据来解码的 帧这一点还没有做出改进。因此当前的现实是还没有找到恰当的方法来处理 较大帧尺寸需要较大计算资源的根本问题。
例如，在具有1920 x 1080像素的图像尺寸的帧的情形，数据容量为大约 1900Mbps。该类大型数据容量本身是计算资源的增长的根本原因。这些数值 在隔行扫描模式、60Hz的帧率、以及30比特的像素数据尺寸的前提下计算。 利用其他数据格式，数据容量可能超过1900Mbps。
因此，本发明的实施例处理这些问题并提供能够减少计算资源的、新的 和改进的图像处理设备、图像处理方法和程序。
为了解决上述问题，根据本发明的实施例，如下所述提供了一种能够执 行输入的编码数据的帧率转换的图像处理设备。该图像处理设备包括编码 差数据解码部分，其将编码数据解码为编码差数据。该图像处理设备还包括 插值编码差数据创建部分，其基于编码差数据和编码数据的至少一个，创建 将在编码差数据中的各帧之间插入的插值编码差数据。该图像处理设备还包 括帧率转换部分，其使用插值编码差数据执行编码差数据的帧率转换。
该图像处理设备还可包括图像信号恢复部分，其解码由帧率转换部分转 换的编码差数据，并且恢复其中帧率已经被转换的图像信号。
该图像处理设备还可包括高图像质量处理部分，其执行编码数据的高图 像质量处理。
为了解决上述问题，根据本发明的另一方面，如下所述，提供了一种能 够执行输入的编码数据的帧率转换的图像处理方法。该图像处理方法包括将 编码数据解码为编码差数据的步骤。该图像处理方法还包括基于编码差数据
和编码数据的至少一个、创建将在编码差数据中的各帧之间插入的插值编码 差数据的步骤。该图像处理方法还包括使用插值编码差数据执行编码差数据 的帧率转换的步骤。
为了解决上述问题，根据本发明的实施例，提供了一种在计算机中实现 图像处理设备的功能的计算机程序。还提供了其中存储上述程序的存储介质。
上述配置减少了在执行帧率转换处理中使用的计算资源，减少了在处理 中使用的帧存储器的容量，并且改进了运动矢量的估计精度。
根据上述本发明的实施例，减少计算资源是可能的。
图l是示出帧率转换的原理的解释性图2A是示出块匹配方法的原理的解释性图2B是示出块匹配方法的原理的另一解释性图2C是示出块匹配方法的原理的另一解释性图3是示出能够执行帧率转换的图像处理设备的功能配置的解释性图4是示出根据本发明实施例的图像处理设备的功能性配置的解释性
图5是示出根据实施例的帧率转换方法的解释性图；以及
图6是示出根据实施例的图像处理设备的硬件配置的示例的解释性图。
具体实施例方式
以下将参照附图详细描述本发明的优选实施例。注意到，在本说明书和 附图中，具有基本相同功能和结构的结构部件用相同的参考标号指示，并且 省略这些结构部件的重复解释。
首先，在解释本发明的实施例之前，将简要解释使用运动矢量的图像数 据的高质量图像处理。注意到，将利用帧率转换作为示例解释高质量图像处 理，但是以下解释的技术的应用范围不限于该示例。例如，还可以应用到IP 转换等。在IP转换的情形，该技术应用到基于从之前和之后的隔行扫描的图 像估计的运动矢量、在奇数编号的隔行扫描的图像和偶数编号的隔行扫描的 图像之一 中插值((interpolate))空白行的处理。
(帧率转换)
首先，将参照图1解释图像处理设备进行的帧率转换。图l是解释帧率 转换的原理的解释性图。在图1中，示出分别对应于时间t0、 ti和t2的三个帧 的示例。在下面的解释中，对应于时间t()和t2的帧被称为原始帧，而对应于 时间^的帧被称为插值帧。原始帧是包含在进行帧率转换前的图像数据的帧。 相反，插值帧是通过使用运动矢量创建的帧。
如图l所示，帧率转换是通过在各原始帧之间插入插值帧来提高图像数 据的时间分辨率的过程。插值帧基于与之前和之后的时间相对应的原始帧中 的像素值创建。为了使用图1中的示例解释，插值帧中的像素A"基于在时 间to包含在原始帧中的像素A和在时间t2包含在原始帧中并与像素A相对应
的像素A，计算。像素A和像素A，之间的对应关系由运动矢量MV表示。运 动矢量是表示给定像素移动的方向和像素移动的速度的矢量量(vector quantity)(每单位时间的运动量)。因此， 一旦计算了运动矢量MV，图像处 理设备就可以基于当插入插值帧时的时间h (即At(n ， Ato2)和运动矢量MV, 在插值帧中创建与像素A和像素A'对应的像素A"。 (块匹配方法)
图像处理设备可例如使用块匹配方法来估计运动矢量。块匹配方法是这 样的方法，其确定用作参考的原始帧(此后称为"参考帧")中每个像素的 值，将参考帧划分为指定大小的块，计算参考帧中每个相对应的块对中像素 值的差的绝对值的和，并且在差的绝对值的和中提取与最低值相对应的块。
将参照图2A到2C简要描述块匹配方法。图2A到2C是用于解释块匹 配方法的原理的解释性图。在图2A到2C中示出的示例中，块大小在X轴方 向上为5个像素而在Y轴方向上为3个像素。而且，图2A到2C的每个图与 图1中的投影图相对应。
首先，图像处理设备设置每块，使得在图像处理设备将创建的插值帧中 的像素A和A，与像素A，，对齐(图2A中的步骤0)。接下来，图像处理设备 将包含像素A的块(此后称为"块A")在X轴方向和Y轴方向移动指定数 量的像素。以相同的方式，图像处理设备将包含像素A，的块(此后称为"块 A，")在与移动块A的方向相反的方向上移动。例如，图像处理设备将块A 在X轴方向上移动-2像素，并在Y轴方向上移动+1像素。图像处理设备然 后将块A，在X轴方向上移动+2 <象素，并且在Y轴方向上移动-1 ^象素。此后，图像处理设备计算在块A中的每个像素和块A，中的每个相应的像素之间的差 的绝对值。
如图2B中的步骤1所示，例如，图像处理设备计算位于块A的右上角 的像素值q!s (位置(1, 5))和位于块A，的右上角的像素值q、5 (位置(1, 5))之间的差的绝对值IAq^叫q^-q、51。注意到，表达"位置(i， j )"描述在 X轴方向上位于第i位置和Y轴方向上位于第j位置的像素的位置，从而块 的左上角的位置是位置(1, 1)。以如上所述相同的方式，图像处理设备计算 块A和A，中的所有像素之间的差的绝对值IAqijl (其中，i是从1到5的整数， 而j是从1到3的整数)。然后，图像处理设备将所有差IAqijl的绝对值相加， 并且计算差的绝对值的和S!-SIAqijl。
图像处理设备然后再次移动块A和A，，并且再次计算差的绝对值的和。 例如，图像处理设备将块A从其在步骤1 (图2B)的位置起，在X轴方向上 移动-2像素，并且在Y轴方向上移动+l像素，并且将块A，在X轴方向上移 动+2像素，并在Y轴方向上移动-l像素。然后，以与步骤1(图2B)所进 行的相同的方式，图像处理设备计算在块A和A，已经移动之后其中的每个像 素对之间的差的绝对值IAq;jl。然后，图像处理设备计算差的绝对值的和S2= S|Aqi」(图2C中的步骤2)。
此后，以与步骤1 (图2B)和步骤2 (图2C)相同的方式，图像处理设 备将块A和A，移动到各种位置，并且计算差的绝对值的和Sk=S |Aqij| (其中
k=l, 2,…)。图像处理设备然后提取差的绝对值的和Sk的最小值Smin。接下
来，图像处理设备提取与最小值S恤对应的块A和A，的位置。然后，对于与 最小值S幽对应的块A和A，，图像处理设备确定将在块A中包含的像素A 和在块A，中包含的像素A，链接的矢量，并将其定义为运动矢量MV。2。该块
它们之间的差的绝对值的和来估计运动矢量的方法。
在图2A到2C的示例中，出于解释的目的，各块移动的方向和移动量大 致地描述，但实际的块匹配用以一像素或更小数量的像素为单元在土X轴方 向和土Y轴方向移动的块来执行。在用高精度估计运动矢量的情况，块匹配 以更精细的像素单元在所有方向执行。在下面的解释中，使用上述方法和另 一方法之一的处理^^简称为运动估计。
如上所述，运动矢量可以使用块匹配方法根据比较简单的算法来估计。
然而，块匹配方法对估计运动矢量的处理使用大量计算资源。即使在如图2A
到2C的情形，其中块匹配通过以互相对称的方式移动参考块来进行，处理中
进行的计算量也是巨大的。例如，在其中运动量以一像素为单元并且移动的
距离在x轴方向上为±7像素、在y轴方向上为土3像素的块匹配的情况下， 块大小为21像素。因此估计一个运动矢量的计算量是(对于21个像素的差 的绝对值的计算+将绝对值相加)x x轴方向上的运动量(15像素)x y轴 方向上的运动量(7像素)。因此，以门电路为单位表达的计算量多于一百万 的门电路。因此，期望减少实际用于帧率转换的计算资源。 (图像处理设备10的功能配置)
将参照图3简要介绍能够执行上述帧率转换的图像处理设备10的功能配 置。图3是示出能够执行帧率转换的图像处理设备10的功能配置的解释性图。 稍后，将与根据本发明的实施例的图像处理设备的功能配置比较来解释这里 描述的图像处理设备10的功能配置。
如图3所示，图像处理设备10主要由图像信号恢复块20和帧率转换块 40配置。图像信号恢复块20是用于例如由如MPEG、 H.264等的方法编码的 已编码的数据、并且将已编码的数据解码为原始图像信号的功能块。帧率转 换块40是用于通过对已经由图像信号恢复块20解码的图像信号执行帧率转 换来改善图像质量的功能块。 (图像信号恢复块20)
图像信号恢复块20例如包括可变长度解码部分22、逆量化部分24、变 换解码部分26、帧存储器28、以及运动补偿解码部分30。
可变长度解码部分22对由可变长度编码(VLC)编码并从输入端In输 入的编码数据(例如，MPEG比特流等)执行可变长度解码(VLD )。接下来， 逆量化部分24对已经通过可变长度解码部分22的可变长度解码解码的编码 数据执行逆量化。接下来，变换解码部分26执行逆量化的编码数据的逆离散 余弦变换(IDCT)。注意到，除了 DCT方法以外的变换方法(例如， Karhunen-Loeve ( KL )变换等)可用作变换编码数据的方法。在此情况下， 变换解码部分26将根据其他变换方法执行逆变换。
接下来，运动补偿解码部分30基于已经由变换解码部分26解码的编码 数据计算运动矢量，然后基于运动矢量恢复原始图像信号。运动补偿解码部 分30例如以宏块为单元计算运动矢量。当这样做时，运动补偿解码部分30
利用帧存储器28来累积帧。例如，运动补偿解码部分30可通过将帧存储器 28中累积的帧图像与基于运动矢量计算的差图像结合来恢复图像信号。运动 补偿解码部分30然后将关于恢复图像信号的信息(例如，色彩值(Y, Cb， Cr)等)传输到帧率转换块40。 (帧率转换块40)
帧率转换块40主要包括运动检测部分42、帧率转换部分44、以及帧存 储器50。帧率转换部分44主要包括插值运动矢量计算部分46和插值帧创建 部分48。
运动检测部分42基于从图像信号恢复块20输入的图像信号，检测各帧 之间的运动矢量。运动;险测部分42例如可以基于块匹配方法等^r测运动矢量。
帧率转换部分44基于运动矢量创建在各图像信号帧之间插入的插值帧。 通过在各图像信号帧之间插入创建的插值帧，帧率转换部分44还转换图像信 号的帧率。基于从图像信号恢复块20接收的图像信号和由运动检测部分42 检测的运动矢量，帧率转换部分44计算插值帧的插值运动矢量MV—例如， 插值运动矢量计算部分46确定与原始运动矢量具有相同方向、并且具有基于 各参考帧之间的时间间隔和参考帧和插值帧之间的时间间隔的比率确定的长 度的矢量。在下面的解释中，这些矢量被称为插值运动矢量。
然后，插值帧创建部分48使用由插值运动矢量计算部分46创建的插值 运动矢量来在插值帧中创建各像素。例如，插值帧创建部分48可基于插值运 动矢量移动参考帧中的像素，然后将移动后的像素定义为插值帧中的像素。 在这样做时，插值帧创建部分48参考在帧存储器50中累积的参考帧创建插 值帧。插值帧创建部分48还插入插值帧以创建图像信号。已经对其转换帧率 的图像信号被输出到输出端Out。
已经简要介绍了图像处理设备10的功能配置。上述功能配置使得可能执 行图像信号的帧率转换，但是由于用于运动检测部分42中的处理的大量计算 资源，因此将分离的帧存储器50用于插值帧的创建。这增加了图像处理设备 IO本身的制造成本。本发明的实施例限制了计算资源量并且将在下面详细介 绍制造成本。
<本发明的实施例>
将解释本发明的实施例。本发明的特征在于帧率转换是在编码数据的解
码之前的阶段进行的，在该编码数据中编码两帧之间的差。这减少了在插值 运动矢量的创建中使用的计算资源，并且还减少了在其中帧率被转换的图像 信号的创建中使用的帧存储器的容量。 [图像处理设备100的功能配置]
将参照图4解释根据本实施例的图像处理设备100的功能配置。图4是 示出根据本实施例的图像处理设备100的功能配置的解释性图。
如图4所示，图像处理设备100包括可变长度解码部分102、逆量化部 分104、变换解码部分106、帧率转换部分110、帧存储器122、以及运动补 偿解码部分124。此外，帧率转换部分110包括插值运动矢量计算部分112 和插值帧创建部分114。
可变长度解码部分102解码通过可变长度编码被编码并从输入端In输入 的编码数据。然后，逆量化部分104对已经通过可变长度解码部分102的可 变长度解码被解码的编码数据进行逆量化。然后，变换解码部分106执行逆 量化的编码数据的逆离散余弦变换。注意到，除了 DCT方法以外的变换方法 (例如，KL变换等)可用于变换编码数据的方法。在此情况下，变换解码部 分106将根据其他变换方法执行逆变换。
变换解码部分106输出图像信号，该图像信号是其中两帧之间的差被编 码的数据(此后称为"编码差数据")。上述图像处理设备10对编码差数据执 行运动补偿以恢复原始图像信号，然后执行帧率转换。然而，如下所述，根 据本实施例的图像处理设备100通过直接创建在编码差数据的各帧之间插入 的插值编码差数据来恢复图像信号。根据本实施例的图像处理设备100的功 能配置和图像处理设备IO在这方面明显不同。
帧率转换部分IIO基于从编码数据获得的编码差数据中的运动矢量，创 建在编码差数据的各帧之间插入的插值编码差帧。通过插入在编码差数据的 各帧之间创建的插值编码差帧，帧率转换部分IIO转换编码数据的帧率。
插值运动矢量计算部分112基于编码差数据中包含的像素的运动矢量， 计算与插值编码差帧相对应的运动矢量(此后称为"插值运动矢量")。例如，
插值运动矢量计算部分112计算与原始运动矢量具有相同方向、并且具有基 于"各参考帧之间的时间间隔"和"参考帧和插值帧之间的时间间隔"的比 率确定的长度的插值运动矢量。
然后，插值帧创建部分114通过使用已经由插值运动矢量计算部分112
计算的插值运动矢量，创建插值的编码差帧的像素。例如，基于插值运动矢 量，插值帧创建部分114可移动其参考的编码差数据中的像素，然后将移动 后的像素定义为插值的编码差帧中的像素。
在该过程中，插值帧创建部分114通过参考在帧存储器122中累积的编 码差数据，创建插值编码差帧。插值帧创建部分114还将插值的编码差帧插
入到编码差数据中，因此创建已经对其转换帧率的编码差数据。
插值帧创建部分114然后向运动补偿解码部分124输入已经对其转换帧 率的编码差数据。注意到，上述插值运动矢量在帧存储器122中累积并且在 由下述运动补偿解码部分124进行的处理中使用。
然后，运动补偿解码部分124基于已经从插值帧创建部分114输入的编 码差数据并基于已经在帧存储器122中累积的插值运动矢量，创建图像信号。 注意到，因为编码差数据中的原始帧和插值的编码差帧都已经包含在编码差 数据中，所以输出的图像信号已经使其帧率转换。 (帧率转换方法)
将参照图5具体地解释根据本实施例的帧率转换方法。图5是示出根据 本实施例的帧率转换方法的具体示例的解释性图。注意到，该方法通过帧率 转换部分110实现。
图5示出与时间to对应的I画面帧(I-pict.)、与时间k对应的B画面帧 (B-pict.)、和与时间t3对应的P画面帧(P-pict )。该示例示出扭j亍帧率转换 的方法，该帧率转换在I画面帧和B画面帧之间插入插值帧(Itp-pict.)。假定 时间h处的B画面帧是^f吏用时间to处的I画面帧和时间t3处的P画面帧作为 参考帧(双向参考)来恢复的帧。即使在前向参考和后向参考的情况下也可 应用基本相同的方法。
此外，MVQ2指示从I画面帧中的像素Ao到B画面帧中的像素A2的运动 矢量，而MV32指示从P画面帧中的像素八3到B画面帧中的像素八2的运动 矢量。运动矢量(MVo2， MV32)从输入的编码数据获得。因此，插值运动矢 量计算部分112基于插值帧的时间(插值帧创建的时间)计算与插值帧对应 的插值运动矢量MV( 和MV31。
例如，基于I画面帧和插《直帧之间的时间间隔Ato产trto与I画面帧和B 画面帧之间的时间间隔Atoft2-t()的比率，插值运动矢量计算部分112通过将 运动矢量MVo2的长度乘以At(u/Ato2来创建插值运动矢量MVM。以相同方式，
插值运动矢量计算部分112基于插值帧、B画面帧和P画面帧之间的时间间
隔，通过将运动矢量MV32的长度乘以At13/At23来创建插值运动矢量MV31 。 换句话说，MV01=MV02x (At01/At02),并且MV3产MV32X (At13/At23 )。
使用上述方法，插值运动矢量计算部分112对插值的编码差帧中包含的 所有宏块计算插值运动矢量。原始编码数据中的头部信息也可在该过程中更新。
然后，例如，插值帧创建部分114通过基于插值运动矢量MV(n移动I 画面帧中的像素A0,在插值帧中创建像素ai(G1)(参考投影图)。以相同方式， 例如，插值帧创建部分114通过基于插值运动矢量MV3,移动P画面帧中的像 素A3，在插值帧中创建像素a/W。然后，插值帧创建部分114通过将插值帧 中的像素*(()1)的像素值和像素&(31)的像素值平均，在插值帧中创建像素Aj。
注意到，插值帧创建部分114还可通过在对像素值求平均时、对基于I 画面帧计算的插值运动矢量MVG1给予更大的权重来在插值帧中创建像素A，。 运动补偿解码部分124以此顺序输出恢复的I画面帧、插值帧、B画面帧、 以及P画面帧。上述处理以高帧率输出图像信号。
已经在上面描述了根据本实施例和帧率转换方法的图像处理设备100的 功能配置。应用上述技术使得可能省略与由图像处理设备10的运动检测部分 42进行的处理相对应的处理。此外，帧率转换可以使用帧存储器中的较少存 储器容量和较少计算资源执行。此外，与图像处理设备10不同，根据本实施 例的图像处理设备100不在内部执行运动矢量的检测。因此，插值帧的精度 不依赖于内部运动矢量#企测性能。这使得根据本实施例的图像处理设备100 可能创建比由图像处理设备10创建的插值帧更接近原始图像图像的插值帧。
图像处理设备100的各种配置元件的功能可以在具有如图6所示的硬件 配置的信息处理设备中实现。图6是示出能够实现图像处理设备100的各种 配置元件的功能的信息处理设备的硬件配置的解释性图。
如图6所示，信息处理设备主要包括中央处理单元(CPU)卯2、只读存 储器(ROM) 904、随机存取存储器(RAM) 906、主机总线908、桥910、 外部总线912、接口 914、输入部分916、输出部分918、存储部分920、驱 动器922、连接端口 924、以及通信部分926。
CPU 902例如用作计算处理设备和控制设备的至少一个，并且基于存储
在ROM卯4、 RAM卯6、存储部分920、和可移除存储介质928中的至少一 个中的各种类型的程序，控制各种配置元件的操作的全部或部分之一。例如， ROM 904存储由计算和由CPU 902读取的程序使用的数据等。例如，RAM 906
必要变化的各种类型的参数等。这些配置元件由例如主机总线908互连，该 主机总线908能够进行高速数据传输。主机总线908通过桥910与外部总线 912连接，该外部总线的数据传输速度相对低。
输入部分916是例如诸如鼠标、键盘、触摸面板、按钮、开关、控制杆 等之类的操作部分。输入部分916还可以是能够利用红外光或另一电磁波传 输控制信号的遥控部分(称作遥控)。输入部分916还包括用于向CPU 902 传输使用上述操作部分输入的信息作为输入信号的输入控制电路。
输出部分918是能够以可见和可听的至少一种方式通知用户已经获得的 信息的设备。输出部分918可以是例如诸如阴极射线管(CRT)、液晶显示器 (LCD)、等离子显示面板(PDP)、电致发光显示器(ELD)等之类的显示 设备；诸如扬声器、麦克风等之类的音频输出设备；打印机；移动电话；传 真机等。
存储部分920是用于存储各种类型的数据的设备。存储设备920例如可 以从诸如硬盘驱动器(HDD)等之类的磁存储设备、半导体存储设备、光存 储设备、磁光存储设备等配置。
驱动器922是从可移除存储介质928读取信息以及将信息写到可移除存 储介质928的至少之一的设备，其例如是磁盘、光盘、磁光盘、半导体存储 器等。可移除存储介质928例如可以是DVD介质、蓝光介质、HARD-DVD 介质、致密闪存(CF)卡、存储棒、安全数字(SD)存储卡等。当然，可移 除存储介质928还可以是携带非接触IC芯片的电子设备、集成电路(IC )卡 等。
连接端口 924是用于连接到外部连接的设备930的诸如通用串行总线 (USB )端口 、 IEEE 1394端口 、小型计算机系统接口 ( SCSI)端口 、 RS-232C 端口等之类的端口。外部连接的设备930例如可以是打印机、便携式音乐播 放器、数字相机、数字摄像机、IC记录器等。
通信部分926是用于连接到网络932的通信设备，并且可以是例如用于 有线或无线局域网(LAN)、蓝牙⑧或无线USB的通信卡；用于光通信的路
由器；用于非对称数字订户线(ADSL)的路由器；用于各种类型的通信的调 制解调器等。通信部分926所连接的网络932是有线或无线连接的网络，并 且可以是例如因特网、家庭LAN、红外通信网络、广播网、卫星通信网等。
本领域技术人员应当理解，依赖于设计需求和其他因素，各种修改、组 合、子组合和更改可以发生，只要其在权利要求书或其等效物的范围内。
例如，到目前的解释已经聚焦于MPEG编码数据，但是根据上述的实施 例的技术还可以应用到具有对于如H.264/AVC编码数据等的不同类型的编码 数据的解码器的系统。例如在H.264/AVC编码数据的情况中，B画面帧的编 码数据用作任何数量的帧的参考帧。然而，如上述实施例所解释的，根据上 述实施例的帧率转换技术可以通过根据参考帧和插值帧的创建时间的比率计 算运动矢量来应用。
作为另一示例，根据上述实施例的技术可以被修改，使得当创建插值帧 的像素时，参考与过去帧有关的运动矢量，并且基于多个运动矢量创建插值 运动矢量和插值帧的像素中的至少一个。该修改使得运动补偿可以以更高精 度执行。
此外，通过对输入编码数据执行高图像质量处理以改进清晰度等，使得 图像信号更平滑并且其分辨率得到改进，因此即使在插值编码差帧的运动矢 量的精度差的情况下也能产生高质量图像信号。这防止了输出显示图像的增 大的尺寸的影响。
本发明包含涉及于2007年7月13日向日本专利局提交的日本专利申请 JP 2007-184975的主题，该申请的全部内容在此通过引用并入。
权利要求
1.一种能够执行输入的编码数据的帧率转换的图像处理设备，包括编码差数据解码部分，其将编码数据解码为编码差数据；插值编码差数据创建部分，其基于编码差数据和编码数据的至少一个，创建将在编码差数据中的各帧之间插入的插值编码差数据；以及帧率转换部分，其使用插值编码差数据执行编码差数据的帧率转换。
2. 如权利要求1所述的图像处理设备，还包括图像信号恢复部分，其解码由帧率转换部分转换的编码差数据，并且恢 复其中已经转换帧率的图像信号。
3. 如权利要求1所述的图像处理设备，还包括高图像质量处理部分，其执行编码数据的高图像质量处理。
4. 一种能够执行输入的编码数据的帧率转换的图像处理方法，包括步 骤 '将编码数据解码为编码差数据；基于编码差数据和编码数据的至少一个，创建将在编码差数据中的各帧 之间插入的插值编码差数据；以及使用插值编码差数据执行编码差数据的帧率转换。
5. —种包括编程指令的计算机程序，该编程指令控制计算机转换输入的 编码数据的帧率,并起以下的作用编码差数据解码部分，其将编码数据解码为编码差数据； 插值编码差数据创建部分，其基于编码差数据和编码数据的至少一个， 创建将在编码差数据中的各帧之间插入的插值编码差数据；以及帧率转换部分，其使用插值编码差数据执行编码差数据的帧率转换。
6. 如权利要求5所述的程序，还包括控制计算机起以下作用的编程指令 图像信号恢复部分，其解码由帧率转换部分转换的编码差数据，并且恢复其中已经转换帧率的图像信号。
7. 如权利要求5所述的程序，还包括控制计算机起以下作用的编程指令 高图像质量处理部分，其执行编码数据的高图像质量处理。
全文摘要
提供了一种图像处理设备、图像处理方法和程序。该图像处理设备能够执行编码数据的帧率转换，其包括将输入的编码数据解码为编码差数据的编码差数据解码部分。该图像处理设备还包括插值编码差数据创建部分，其基于编码差数据创建在编码差数据中的各帧之间插入的插值编码差数据。该图像处理设备还包括使用插值编码差数据执行编码差数据的帧率转换的帧率转换部分。
文档编号H04N7/26GK101360238SQ20081013578
公开日2009年2月4日 申请日期2008年7月14日 优先权日2007年7月13日
发明者髭分哲雄 申请人:索尼株式会社