图像解码装置、程序、方法、及图像编码装置、程序、方法

专利名称：图像解码装置、程序、方法、及图像编码装置、程序、方法
技术领域：
本发明涉及图像解码装置、图像解码程序、图像解码方法、图像编码装置、图像编码程序以及图像编码方法。
背景技术：
已知从通过把视频编码数据进行解码所再生的多个低清晰图像(以下，把「低清晰」记为LR)生成高清晰图像(以下，把「高清晰」记为HR)的超清晰技术(以下，把「超清晰」记为SR)(例如，参照「C.A.Segall et al.，“High-Resolution Images from Low-Resolution Compressed Vidio”，IEEE Signal Processing Magazine，2003年5月，pp.37-48」(以下称为「非专利文献1」))。
在SR技术中，把多个LR图像与1张HR图像的关系建模，通过统计性地处理已知信息以及推测信息，能够从多个LR图像生成HR图像。图1表示LR图像与HR图像之间的模型。在该模型中，假定从1张原图像HR图像101生成多帧(L张)的原图像LR图像104。在该假定中，为了生成原图像LR图像104-1、104-2、......、104-L，对于原图像HR图像101适用动态模型201-1、201-2、......、201-L。这时，如果对于HR图像，根据低通滤波器和降抽样的取样模型202，实施取样处理，则生成原图像LR图像104-1、104-2、......、104-L。这里，如果把通过解码视频编码数据生成的再生LR图像102-1、102-2、......、102-L与原图像LR图像104-1、104-2、......、104-L的差分假定为量化噪声103-1、103-2、......、103-L，则帧k的原图像HR图像f_k(x，z)，1≤x≤2M，1≤z≤2N与帧l的再生LR图像y_l(m，n)，1≤m≤M，1≤n≤N的关系能够按照以下的公式1建模。
y_l＝AHC(d_lk)·f_k+e_l ......(式1)式中，l是从1到L的整数，C(d_lk)是帧k与帧l的HR图像之间的动态模型的矩阵，AH是取样模型的矩阵(H是表示HR图像的滤波处理的4MN×4MN的矩阵，A是MN×4MN的降抽样矩阵)，e_l表示帧l的再生LR图像的量化噪声。
这样，视频编码数据的某个再生LR图像与1张HR图像能够用表示LR-HR图像之间的时空对应的动态模型和在从HR图像向LR图像的恶化过程中发生的噪声的信号模型建模。从而，为了从多个再生LR图像生成1张HR图像，使用统计性的方法定义评价动态模型或者信号模型的推测值的成本函数，求解非线性的优化处理。在该优化处理中，对于多个LR图像的每一个，求表示LR图像-HR图像之间的时空对应的动态信息(SR动态信息)和HR图像的解。
作为优化处理的方法，例如有coordinate decent法(参照「H.He，L.P.Kondi，“MAP Based Resolution Enhancement of Video SequencesUsing a Huber-Markov Random Field Image Prior Model，Proc.OfIEEE International Conference on Image Processing Vol.II，(西班牙)”，2003年9月，pp.933-936」(以下，称为「非专利文献2」))。在该方法中，首先，从再生LR图像通过内插处理生成虚拟HR图像(伴随着利用了反复处理的优化的暂时的HR图像)。把HR图像固定，利用成本函数，求表示虚拟HR图像与多个LR图像之间的时空对应的动态信息。接着，把求出的动态信息固定，利用成本函数更新虚拟HR图像。进而，把虚拟HR图像固定，更新动态信息。反复进行该处理，使解收敛。

发明内容
在现有的超清晰技术中，在从多个图像生成清晰度更高的图像的清晰度扩充处理中，由于低清晰度图像的编码噪声以及取样不清楚，以及作为假定的模型的不确定性等的影响，难以高精度地进行低清晰图像与高清晰图像之间的动态检测。另外，为了进行图像之间的动态检测或者优化处理，在清晰度扩充处理中需要巨大的运算量。
本发明是为解决上述课题而完成的，其目的在于提供减轻图像清晰度扩充处理中的运算量，同时能够提高图像之间的动态检测精度的图像解码装置、图像解码程序、图像解码方法、图像编码装置、图像编码程序以及图像编码方法。
本发明的图像解码装置具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；根据由上述辅助数据解码单元得到的辅助动态信息，生成表示上述多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度比上述多个再生图像高的高清晰图像的清晰度扩充单元。
如果依据上述的图像解码装置，则根据辅助动态信息生成动态矢量，使用所生成的动态矢量和多个再生图像，生成空间清晰度比该多个再生图像高的高清晰图像。
另外，在上述图像解码装置中，最好采用以下的形态。即，在上述图像解码装置中，最好构成为辅助动态信息包括辅助动态矢量，清晰度扩充单元把辅助动态矢量用作为动态矢量。
另外，在上述图像解码装置中，最好采用辅助动态信息包括辅助动态矢量，清晰度扩充单元使用多个再生图像检测中间动态矢量，通过该中间动态矢量与辅助动态矢量的加法处理生成动态矢量的结构。
另外，在上述图像解码装置中，最好采用辅助动态信息包括辅助动态矢量，清晰度扩充单元把辅助动态矢量作为动态矢量的初始动态矢量，通过使用多个再生图像更新初始动态矢量，生成动态矢量的结构。
进而，在上述图像解码装置中，最好采用辅助动态矢量包括作为用于生成动态矢量所需要条件的动态矢量生成条件，清晰度扩充单元根据动态矢量生成条件从多个再生图像生成动态矢量的结构。
本发明的图像编码装置具备把高清晰图像变换为低清晰图像的图像取样单元；把由上述图像取样单元生成的多个低清晰图像压缩编码，生成编码视频数据的视频数据编码单元；把由上述视频数据编码单元生成的编码视频数据解码，得到再生低清晰图像的视频数据解码单元；使用上述高清晰图像或者上述低清晰图像，生成在上述动态矢量的生成中所需要的辅助动态信息的辅助动态信息生成单元；根据由上述辅助动态信息生成单元生成的辅助动态信息，生成表示由上述视频数据解码单元得到的多个再生低清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述多个再生低清晰图像，生成再生高清晰图像的清晰度扩充单元；把由上述辅助动态信息生成单元生成的辅助动态信息作为辅助数据进行编码的辅助数据编码单元。
如果依据上述图像编码装置，则使用高清晰图像或者低清晰图像，生成在动态矢量的生成中所需要的辅助动态信息，根据所生成的辅助动态信息生成动态矢量，使用所生成的动态矢量和多个再生低清晰图像生成再生高清晰图像，同时，把辅助动态信息作为辅助数据进行编码。
另外，本发明的图像解码装置具备接收编码数据，进行熵解码，得到作为用于生成动态矢量所需要的条件的动态矢量生成条件和表示预测误差图像信号的编码信息的编码数据解码单元；用于保存解码图像信号的图像存储器；根据由上述编码数据解码单元得到的动态矢量生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢量的动态矢量生成单元；使用由上述动态矢量生成单元生成的动态矢量和上述解码图像信号生成预测图像信号的预测图像信号生成单元；把由上述编码数据解码单元得到的编码信息解码，得到预测误差图像信号的解码单元；把由上述预测图像信号生成单元生成的预测图像信号与由上述解码单元得到的预测误差图像信号相加，复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存单元。
如果依据上述图像解码装置，则根据作为用于生成动态矢量所需要的条件的动态矢量生成条件，从保存在图像存储器中的解码图像信号生成动态矢量，使用所生成的动态矢量和解码图像信号生成预测图像信号。另一方面，在把表示预测误差图像信号的编码信息解码得到了预测误差图像信号以后，把上述生成的预测图像信号与上述预测误差图像信号相加，复原解码图像信号，把该解码图像信号保存在图像存储器中。
另外，本发明的图像编码装置具备把输入图像信号进行输入的输入单元；用于保存解码图像信号的图像存储器；根据由上述输入单元输入的输入图像信号，决定作为用于生成动态矢量所需要的条件的动态矢量生成条件的动态矢量生成条件决定单元；根据由上述动态矢量生成条件决定单元决定的动态矢量生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢量的动态矢量生成单元；使用由上述动态矢量生成单元生成的动态矢量和上述解码图像信号，生成预测图像信号的预测图像信号生成单元；从由上述输入单元输入的输入图像信号和由上述预测图像信号生成单元生成的预测图像信号生成预测误差图像信号的预测误差图像信号生成单元；把由上述预测误差图像信号生成单元生成的预测误差图像信号编码，得到编码信息的编码信息取得单元；把由上述编码信息取得单元取得的编码信息解码，得到解码预测误差图像信号的局部解码单元；从由上述预测图像信号生成单元生成的预测图像信号和由上述局部解码单元得到的解码预测误差图像信号复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存单元；把由上述动态矢量生成条件决定单元决定的动态矢量生成条件和由上述编码信息取得单元取得的编码信息进行熵编码，生成编码数据的编码数据生成单元。
如果依据上述图像编码装置，则根据所输入的输入图像信号，决定作为用于生成动态矢量所需要的条件的动态矢量生成条件，根据所决定的动态矢量生成条件，从保存在图像存储器中的解码图像信号生成动态矢量，使用所生成的动态矢量和解码图像信号，生成预测图像信号。另一方面，从所输入的输入图像信号和上述所生成的预测图像信号生成预测误差图像信号，把所生成的预测误差图像信号编码得到编码信息，把所得到的编码信息解码得到解码预测误差图像信号。而且，从所生成的预测图像信号和上述得到的解码预测误差图像信号复原解码图像信号，把该解码图像信号保存在图像存储器中，同时，把上述动态矢量生成条件和编码信息进行熵编码，生成编码数据。
另外，本发明的图像解码装置能够采用以下的形态。
本发明的图像解码装置能够采用如下的结构，该结构的特征是具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；生成表示由上述视频数据解码单元得到的多个再生图像与1张高清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述多个再生图像，生成空间清晰度比上述多个再生图像高的高清晰图像的清晰度扩充单元，上述清晰度扩充单元根据由上述辅助数据解码单元得到的辅助动态信息和先前生成的高清晰图像，反复实施生成上述动态矢量的动态矢量生成处理、从所生成的动态矢量和上述多个再生图像生成高清晰图像的高清晰图像生成处理。
上述中，清晰度扩充单元在每次动态矢量生成处理和高清晰图像生成处理的反复处理中，也可以采用每次根据辅助动态信息实施动态矢量生成处理的结构，辅助动态信息包括在表示动态矢量生成处理和高清晰图像生成处理的反复处理中的特定次数的特定次数信息，清晰度扩充单元也可以采用在特定次数信息所表示的特定次数的动态矢量生成处理中，实施基于辅助动态信息的动态矢量生成处理的结构。
本发明的图像解码装置能够采用如下的结构，该结构具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；用于保存清晰度扩充完毕的高清晰图像的图像存储器；生成表示上述多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度比上述多个再生图像高的第1高清晰图像，使用所生成的第1高清晰图像和保存在上述图像存储器中的高清晰图像生成第2高清晰图像的清晰度扩充单元；把由上述清晰度扩充单元生成的第1或者第2高清晰图像保存在图像存储器中的图像保存单元。
另外，本发明的图像解码装置能够采用如下的结构，该结构具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；用于保存清晰度扩充完毕的高清晰图像的图像存储器；生成表示上述多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度比上述多个再生图像高的第1高清晰图像，根据由上述辅助数据解码单元得到的辅助动态信息，使用所生成的第1高清晰图像和保存在上述图像存储器中的高清晰图像生成第2高清晰图像的清晰度扩充单元；把由上述清晰度扩充单元生成的第1或者第2高清晰图像保存在上述图像存储器中的图像保存单元。
另外，本发明的图像解码装置能够采用如下的结构，该结构的特征是具备接收视频编码数据进行解码，得到多个再生图像和再生动态矢量的视频数据解码单元；接收辅助数据进行解码，得到在上述再生动态矢量的修正中所需要的辅助动态信息的辅助数据解码单元；生成表示多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度比上述多个再生图像高的高清晰图像的清晰度扩充单元，上述清晰度扩充单元把根据由上述辅助数据解码单元得到的辅助动态信息修正的再生动态矢量作为上述动态矢量的初始动态矢量，通过使用上述多个再生图像更新上述初始动态矢量，生成上述动态矢量。
另外，本发明除去能够像上述那样记述为图像解码装置以及图像编码装置的发明以外，还能够像以下那样记述为图像解码方法、图像解码程序、图像编码方法以及图像编码程序的发明。这只是实施形态以及产品形态不同，但是起到相同的作用和效果。
本发明的图像解码方法的特征是具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码步骤；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码步骤；根据在上述辅助数据解码步骤中得到的辅助动态信息，生成表示上述多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和在上述视频数据解码步骤中得到的多个再生图像，生成空间清晰度比上述多个再生图像高的高清晰图像的清晰度扩充步骤。
本发明的图像编码方法的特征是具备把高清晰图像变换为低清晰图像的图像取样步骤；把在上述图像取样步骤中生成的多个低清晰图像压缩编码，生成编码视频数据的视频数据编码步骤；把在上述视频数据编码步骤中生成的编码视频数据解码，得到再生低清晰图像的视频数据解码步骤；使用上述高清晰图像或者上述低清晰图像，生成在上述动态矢量的生成中所需要的辅助动态信息的辅助动态信息生成步骤；根据在上述辅助动态信息生成步骤中生成的辅助动态信息，生成在上述视频数据解码步骤中得到的多个再生低清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述多个再生低清晰图像生成再生高清晰图像的清晰度扩充步骤；把在上述辅助动态信息生成步骤中生成的辅助动态信息作为辅助数据进行编码的辅助数据编码步骤。
另外，本发明的图像解码方法的特征是具备接收编码数据进行熵解码，得到作为用于生成动态矢量所需要的条件的动态矢量生成条件和表示预测误差图像信号的编码信息的编码数据解码步骤；根据在上述编码数据解码步骤中得到的动态矢量生成条件，从保存在图像存储器中的解码图像信号生成动态矢量的动态矢量生成步骤；使用在上述动态矢量生成步骤中生成的动态矢量和上述解码图像信号，生成预测图像信号的预测图像信号生成步骤；把在上述编码数据解码步骤中得到的编码信息进行解码，得到预测误差图像信号的解码步骤；把在上述预测图像信号生成步骤中生成的预测图像信号和在上述解码步骤中得到的预测误差图像信号相加，复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存步骤。
本发明的图像编码方法的特征是具备把输入图像信号进行输入的输入步骤；根据在上述输入步骤中输入的输入图像信号，决定作为用于生成动态矢量所需要的条件的动态矢量生成条件的动态矢量生成条件决定步骤；根据在上述动态矢量生成条件决定步骤中决定的动态矢量生成条件，从保存在图像存储器中的解码图像信号生成动态矢量的动态矢量生成步骤；使用在上述动态矢量生成步骤中生成的动态矢量和上述解码图像信号，生成预测图像信号的预测图像信号生成步骤；从在上述输入步骤中输入的输入图像信号和在上述预测图像信号生成步骤中生成的预测图像信号，生成预测误差图像信号的预测误差图像信号生成步骤；把在上述预测误差图像信号生成步骤中生成的预测误差图像信号编码，得到编码信息的编码信息取得步骤；把在上述编码信息取得步骤中得到的编码信息解码，得到解码预测误差图像信号的局部解码步骤；从在上述预测图像信号生成步骤中生成的预测图像信号和在上述局部解码步骤中得到的解码预测误差图像信号复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存步骤；把在上述动态矢量生成条件决定步骤中决定的动态矢量生成条件和在上述编码信息取得步骤中得到的编码信息进行熵编码，生成编码数据的编码数据生成步骤。
本发明的图像解码程序是使设置在图像解码装置中的计算机起到以下各单元的作用，这些单元是接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；根据由上述辅助数据解码单元得到的辅助动态信息，生成表示上述多个再生图像之间的空间对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度比上述多个再生图像高的高清晰图像的清晰度扩充单元。
本发明的图像编码程序是使设置在图像编码装置中的计算机起到以下各单元的作用，这些单元是把高清晰图像变换为低清晰图像的图像取样单元；把由上述图像取样单元生成的多个低清晰图像压缩编码，生成编码视频数据的视频数据编码单元；把由上述视频数据编码单元生成的编码视频数据解码，得到再生低清晰图像的视频数据解码单元；使用上述高清晰图像或者上述低清晰图像，生成在上述动态矢量的生成中所需要的辅助动态信息的辅助动态信息生成单元；根据由上述辅助动态信息生成单元生成的辅助动态信息，生成表示由上述视频数据解码单元得到的多个再生低清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述多个再生低清晰图像，生成再生高清晰图像的清晰度扩充单元；把由上述辅助动态信息生成单元生成的辅助动态信息作为辅助数据进行编码的辅助数据编码单元。
另外，本发明的图像解码程序是使设置在图像解码装置中的计算机起到以下各单元的作用，这些单元是接收编码数据，进行熵解码，得到作为用于生成动态矢量所需要的条件的动态矢量生成条件和表示预测误差图像信号的编码信息的编码数据解码单元；用于保存解码图像信号的图像存储器；根据由上述编码数据解码单元得到的动态矢量生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢量的动态矢量生成单元；使用由上述动态矢量生成单元生成的动态矢量和上述解码图像信号生成预测图像信号的预测图像信号生成单元；把由上述编码数据解码单元得到的编码信息解码，得到预测误差图像信号的解码单元；把由上述预测图像信号生成单元生成的预测图像信号与由上述解码单元得到的预测误差图像信号相加，复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存单元。
另外，本发明的图像编码程序是使设置在图像编码装置中的计算机起到以下各单元的作用，这些单元是把输入图像信号进行输入的输入单元；用于保存解码图像信号的图像存储器；根据由上述输入单元输入的输入图像信号，决定作为用于生成动态矢量所需要的条件的动态矢量生成条件的动态矢量生成条件决定单元；根据由上述动态矢量生成条件决定单元决定的动态矢量生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢量的动态矢量生成单元；使用由上述动态矢量生成单元生成的动态矢量和上述解码图像信号，生成预测图像信号的预测图像信号生成单元；从由上述输入单元输入的输入图像信号和由上述预测图像信号生成单元生成的预测图像信号生成预测误差图像信号的预测误差图像信号生成单元；把由上述预测误差图像信号生成单元生成的预测误差图像信号编码，得到编码信息的编码信息取得单元；把由上述编码信息取得单元取得的编码信息解码，得到解码预测误差图像信号的局部解码单元；从由上述预测图像信号生成单元生成的预测图像信号和由上述局部解码单元得到的解码预测误差图像信号复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存单元；把由上述动态矢量生成条件决定单元决定的动态矢量生成条件和由上述编码信息取得单元取得的编码信息进行熵编码，生成编码数据的编码数据生成单元。
如果依据以上所述的本发明，则提高图像之间的动态检测的精度，提高再生高清晰图像的图像品质。另外，由于减少动态搜索的处理量，因此减少图像清晰度扩充处理中的运算量。


图1表示多个再生低清晰图像与高清晰图像的关系。
图2说明与本发明的辅助数据有关的动态信息的种类。
图3说明本发明的编码装置的整体结构。
图4说明本发明的编码处理的结构。
图5说明使用了本发明的编码处理的清晰度扩充处理。
图6说明本发明的解码装置的整体结构。
图7说明使用了本发明的解码处理的清晰度扩充处理。
图8表示本发明的辅助数据的数据结构。
图9表示本发明的编码处理流程。
图10表示使用了本发明的辅助数据的清晰度扩充处理流程。
图11表示本发明的解码处理流程。
图12说明保存用于由计算机实现本发明实施形态的图像编码处理或者图像解码处理的程序的数据存储媒体。
图13说明本发明编码处理的结构的其它例子。
图14说明使用了本发明的编码处理的清晰度扩充处理的其它例子。
图15说明使用了本发明的解码处理的清晰度扩充处理的其它例子。
图16说明块匹配法。
图17说明解码处理中的动态搜索。
图18说明使用了本发明的编码处理的视频编码处理的结构。
图19说明使用了本发明的解码处理的视频解码处理的结构。
图20说明视频编码数据的结构。
图21说明本发明的编码处理流程的其它例子。
图22说明本发明的解码处理流程的其它例子。
具体实施例方式
参照图2到图12说明本发明的实施形态。
图2说明包含在各种动态信息内的数据中的动态矢量。另外，图3到图5表示本发明的解码装置的结构，图6以及图7表示本发明的解码装置的结构。图8表示本发明中的辅助数据的数据格式结构。另外，图9到图11分别说明编码的处理流程、超清晰图像生成的处理流程以及解码的处理流程。图12说明保存用于由计算机实现图像编码处理或者图像解码处理的程序的数据存储媒体。
本发明中的辅助数据预先具有辅助动态信息，如后所述，在辅助动态信息中，有低清晰动态信息(LR动态信息)、修正超清晰动态信息(修正SR动态信息)、高清晰动态信息(HR动态信息)。另外，以下，适当地把「低清晰」简略为LR，把「高清晰」简略为HR，把「超清晰」简略为SR进行说明。另外，把清晰度比「低清晰图像(LR图像)」高的图像作为「高清晰图像(HR图像)」进行说明。
首先，说明本发明实施形态的编码装置10。
图3表示本发明实施形态的编码装置10的整体结构。编码装置10具备图像取样单元302、块分割单元303、编码处理单元304、解码处理单元305、数据存储器308、帧存储器307、数据存储器309和清晰度变换/编码单元306。
原图像HR图像101在具备低通滤波器和降抽样处理单元的图像取样单元302中，变换为清晰度比原图像HR图像低的原图像LR图像104。被变换了的原图像LR图像104在块分割单元303中，分割为编码块，例如，从图像的左上方向右下方，按照光栅扫描顺序输入到编码处理单元304。编码处理单元304把输入块进行活动图像编码，压缩成视频编码数据120。另外，编码处理单元304把视频编码数据120输出到解码处理单元305。解码处理单元305通过把视频编码数据120进行解码，生成再生LR图像102以及解码动态信息(以下，称为「DEC动态信息」)108。另外，编码处理单元304由于在内部具有局部解码处理单元，因此解码处理单元305也可以由编码处理单元304内的局部解码处理单元代用。
编码处理单元304以及解码处理单元305把生成的再生LR图像102、动态信息(DEC动态信息)108以及量化参数114分别输出到帧存储器307、数据存储器308以及数据存储器309。帧存储器307、数据存储器308以及数据存储器309分别保存再生LR图像102、DEC动态信息102以及量化参数114的同时，把它们输出到清晰度变换/编码单元306。另外，块分割、编码处理以及(局部)解码处理的详细过程例如记载在“MPEG-4 Video Verification Model version18.0”，Output document of MPEG Pisa Meeting，January 2001(以下，作为参考文献1)中。
DEC动态信息108由预测类型、动态矢量(以下，把DEC动态信息中的动态矢量作为「DECMV」)构成，针对每个编码块分别决定了以后进行编码。
使用图2(a)，说明DEC动态信息的预测类型以及DECMV。在预测类型中，有使用动态矢量进行动态预测的中间模式和不伴随动态矢量而使用当前帧的编码完毕的像素进行空间预测的内部模式。进而，在中间模式中，有针对当前帧的LR图像910用显示时刻以过去的编码完毕帧的LR图像920a作为参考图像进行时间预测的前向动态预测，以未来的编码完毕帧的LR图像920b作为参考图像进行时间预测的后向动态预测，以这两种图像作为参考图像分别进行时间预测，通过内插处理合成预测图像的双向预测。在图2(a)中，922a表示前向预测的预测块，921a表示前向的DECMV，922b表示后向预测的预测块，921b表示后向的DECMV，924a和924b表示双向预测的内插前预测块，923a和923b表示双向预测的前向DECMV和后向DECMV。
接着，使用图4以及图5说明清晰度变换/编码单元306。清晰度变换/编码单元306具备清晰度扩充处理单元310、辅助数据生成单元351、辅助数据编码/速率控制单元311、帧存储器315。另外，辅助数据生成单元351具备低清晰动态补偿单元312、超清晰动态补偿单元313、高清晰动态补偿单元314。低清晰动态补偿单元312把LR动态信息109(后述)生成为辅助数据，超清晰动态补偿单元313把修正SR动态信息111(后述)生成为辅助信息，高清晰动态补偿单元314把HR动态信息112(后述)生成为辅助数据。
清晰度变换/编码单元306以在编码处理单元304以及解码处理单元305中生成的多个再生LR图像、DEC动态信息(包括DECMV)和量化参数作为输入，进行局部清晰度扩充处理。另外，在清晰度变换/编码单元306中，清晰度扩充处理单元310通过局部清晰度扩充处理生成再生HR图像106，从外部输入原图像HR图像101和原图像LR图像104。使用这些图像以及信息，清晰度变换/编码单元306生成辅助清晰度扩充处理的辅助数据，在辅助数据编码/速率控制单元311中，实施辅助数据的编码处理(即，生成辅助数据113)。
在本实施形态中，在辅助数据113的生成中，使用再生HR图像106、SR动态信息(超清晰动态信息)110、量化参数114、原图像HR图像101和原图像LR图像104。另外，所谓超清晰动态信息意味着表示再生HR图像与多个LR图像之间的时空对应的动态信息。
参照图4，说明清晰度变换/编码单元306的内部结构。使用涉及与在实施清晰度扩充的帧上加入了显示时刻前后的3个帧总计7个帧的信息实施清晰度变换/编码单元306的处理。即，在把3个帧前的帧编码了以后，实施清晰度扩充处理。
本实施形态中的编码装置10中的清晰度扩充处理以及辅助数据的编码处理分为7个步骤。以下，根据处理顺序说明动作。
在第1步骤中，在低清晰动态补偿单元312中，使用原图像LR图像104，把DEC动态信息108修正为高精度的LR动态信息109。LR动态信息由LR图像的块位置信息和辅助动态矢量(以下，把LR动态信息中的动态矢量作为「LRMV」)构成。低清晰动态补偿单元312接受在实施清晰度扩充处理的再生LR图像上加入了其前后2个帧的再生LR图像(在视频编码时是动态预测的参考图像)的总计3张再生LR图像102、相对应的3张原图像LR图像104和DEC动态信息108的输入，把LR动态信息109输出到辅助数据编码/速率控制单元311和清晰度扩充处理单元310。
使用图2(b)，说明LR动态信息。在LR动态信息中，有在不具有DECMV的块中新添加辅助动态矢量(LRMV)的类型、以及虽然DECMV存在但是把其值变更为不同辅助动态矢量(LRMV)的类型。
在添加LRMV的类型中，对于不具有DECMV的块915a，在实施清晰度扩充的帧的原图像LR图像910和前帧的参考图像即再生LR图像920a之间实施动态搜索。而且，把评价值(例如，块内的像素的差方和)为最小的动态矢量检索为LRMV。在图2(b)中，前帧的再生LR图像920a上的块926a成为评价值最小，检索相对应的动态矢量LRMV925a。另外，在最小的评价值大于预先设定的阈值的情况下，判断为其块的动态矢量无效，不进行LR动态信息的添加。在最小的评价值小于阈值的情况下，把检索出的动态矢量作为LRMV的LR动态信息109输出到辅助数据编码/速率控制单元311和清晰度扩充处理单元310。
另一方面，在变更为LRMV的类型中，对于具有DECMV的块915b，在实施清晰度扩充的帧的原图像LR图像910和参考图像的原图像LR图像920b之间实施动态检索。而且，检测评价值(例如，块内的像素的差方和)成为最小的动态矢量。在图2(b)中，后方帧的LR图像920b上的块926b成为评价值最小，检测出相对应的动态矢量925b。把该动态矢量与DECMV进行比较，在差分值大于预先设定的阈值的情况下，把以检测出的动态矢量作为LRMV的LR动态信息109输出到辅助数据编码/速率控制单元311和清晰度扩充处理单元310。
如后所述，把DECMV作为表示用SR技术检测出的多个LR图像与HR图像之间的时空对应的动态信息(SR动态信息)的初始数据使用。该初始数据越接近实际的动态，越能够减少在SR动态信息的检测中花费的时间。从而，通过使用把解码动态信息进行修正所生成的低清晰动态信息，能够减少清晰度扩充处理中的运算时间。
在第2步骤中，在清晰度扩充处理单元310中，实施再生HR图像106和SR动态信息110的生成处理。清晰度扩充处理单元310输入在实施清晰度扩充的再生LR图像102上加入了前后3个帧的再生LR图像102(参照再生LR图像)共7张再生LR图像、在其编码中使用的DEC动态信息108和LR动态信息109，生成再生LR图像106和SR动态信息110。
图5表示清晰度扩充处理单元310的内部结构。首先，在初始数据生成单元405中，生成用于进行清晰度扩充处理的初始数据。具体地讲，初始数据生成单元405把DEC动态信息108和LR动态信息109作为输入，计算由清晰度扩充处理单元310检测的SR动态信息110的动态矢量的初始数据。
这里，说明SR动态信息。SR动态信息由再生LR图像的帧号和动态矢量(以下，把SR动态信息中的动态矢量作为「SRMV」)构成。如在背景技术中说明过的那样，为了实施使用了SR技术的清晰度扩充处理，对于6张参照再生HR图像上的各像素，需要检测以再生HR图像为参照图像时的动态矢量(SRMV)。另外，原图像LR图像上的1个像素能够通过在原图像HR图像上的多个像素中实施低通滤波和降抽样来生成。
使用图2(c)，说明SRMV。在图2(c)中，1格表示1个像素。另外，如果关注6张参照再生LR图像的1张再生LR图像920上的像素927，则像素927在再生HR图像940的上面，假定相当于与像素927相对应的像素941和其周边的8个像素构成的像素块942。这时，能够通过在由从再生HR图像上的像素块942用9个动态矢量检测出的9个像素构成的像素块944上实施低通滤波和降抽样计算像素927的预测像素945。从而，像素927的SRMV943成为像素927与预测像素945的误差为最小的9个动态矢量。
在本实施形态中的初始数据生成单元405中，对于6张参照再生LR图像上的所有像素计算再生LR图像上的1个像素的预测中所需要的9个SRMV的初始值。如图1所示，LR图像通过在HR图像上实施低通滤波和降抽样而生成。因此，为了决定1张参照再生LR图像上的所有像素与再生HR图像上的对应，对于把参照再生LR图像放大为HR图像尺寸的图像(参照HR图像)上的像素，可以把再生HR图像的对应点作为SRMV的初始值进行检测。即，在再生LR图像上的1个像素的预测中所需要的9个像素块944的初始SRMV中，与再生LR图像上的邻接像素的初始SRMV重合的MV成为相同的值。
这里，如果把图2(c)的再生LR图像920考虑为再生HR图像940的紧前面的帧，则图2(a)以及(b)的再生LR图像920a与图像920相对应，再生LR图像910与再生HR图像940的清晰度扩充前的LR图像相对应。另外，通过沿着反方向搜索(从图像920a向图像910的方向)把再生LR图像920a作为参照图像时的再生LR图像910的DECMV或者LRMV，求图像920a上的像素与图像910的对应点。这时，对于不存在一致对应点的像素，通过动态矢量的空间内插处理计算对应点。进而，把与对应点相当的LR图像单位的动态矢量扩充为HR图像单位的动态矢量。
接着，通过沿着反方向搜索以图像920a的紧前面帧的再生LR图像为参照图像时的再生LR图像920a的DECMV或者LRMV，求图像920a的紧前面帧的再生LR图像上的像素与图像920a的对应点。这时，对于没有一致对应点的像素，通过动态矢量的空间内插处理求对应点。进而，从图像910与图像920a之间的对应点和图像920a与图像920a的紧前面帧之间的对应点，计算图像920a的紧前面帧的再生LR图像上的像素与图像910的对应点，把与对应点相当的LR图像单位的动态矢量扩充为HR图像单位的动态矢量。通过对于全部6张参照再生LR图像，沿着从再生HR图像940离开的方向连续地实施该处理，生成SRMV检索的初始数据。
接着，在超清晰图像合成单元410生成再生HR图像106。超清晰图像合成单元410把7张再生LR图像102和在初始数据生成单元405生成的SRMV搜索的初始数据以及量化参数114作为输入，实施由动态检索单元411进行的SR动态信息110的优化和由编码噪声推定单元412进行的再生HR图像106的优化的反复处理，输出SR动态信息110和再生HR图像106(使用了反复处理的优化的详细过程例如参照非专利文献1)。
在第3步骤中，在超清晰动态补偿单元313中，把SR动态信息110使用原图像修正为高精度的修正SR动态信息111。超清晰动态补偿单元313接受6张参照再生LR图像的原图像LR图像104、在清晰度扩充处理对象的再生LR图像上加入了6张参照再生LR图像的总计7张的原图像即原图像HR图像101以及SR动态信息110的输入，把修正SR动态信息111输出到清晰度扩充处理单元310和辅助数据编码/速率控制单元311。
修正SR动态信息由再生LR图像上的块位置信息、参照帧号、块尺寸、辅助动态矢量(以下，把修正SR动态信息中的动态矢量作为「修正SRMV」)构成。块尺寸在通过把几个像素部分汇总在一起编码，用于减少辅助数据的代码量的目的。属于修正SR动态信息的修正SRMV的数量在块尺寸为1×1像素的情况下是9个，在N×N像素的情况下成为(2×N+1)×(2×N+1)个。
在超清晰动态补偿单元313中，使用6张原图像LR图像和原图像HR图像，检测6张参照再生LR图像上的像素与原图像HR图像之间的SRMV。进而，在原图像LR图像上的对象像素与其预测像素的差分值大于预先确定的阈值的情况下，不进行基于低通滤波和降抽样的取样处理，在原图像LR图像之间检测SRMV。针对指定了的数种分割块用平均值对检测出的SRMV与所输入的SRMV的差分值进行比较，在差分值大于阈值的情况下，把检测出的SRMV的平均值和构成要素数据作为修正SR动态信息111输出。另外，即使在SRMV的差分值小于阈值的情况下，在适用了检测出的SRMV和所输入的SRMV时的预测像素与原图像LR图像上的像素的差分值的块的差方和大于阈值的情况下，也把检测出的SRMV的平均值和构成要素数据输出为修正SR动态信息111。根据该修正SRMV，提高再生LR图像与进行了清晰度扩充的HR图像之间的对应点的推定精度，提高再生HR图像的图像品质。另外，由于能够缩短SRMV的检测中花费的时间，因此能够缩短在超清晰图像的生成中的运算时间。
在第4步骤中，在清晰度扩充处理单元310中，再次调整再生HR图像106和SR动态信息110。清晰度扩充处理单元310把实施清晰度扩充的再生LR图像102及其前后3个帧的再生LR图像102以及修正SR动态信息111作为输入，更新并输出再生HR图像106和SR动态信息110。具体地讲，在超清晰图像合成单元410中，在把SRMV置换为修正SRMV以后，实施由动态检索单元411进行的SR动态信息110的优化和由编码噪声推定单元412进行的再生HR图像106的优化的反复处理，更新SR动态信息110和再生HR图像106(使用了反复处理的优化的详细过程例如参照非专利文献1)。
在第5步骤中，在高清晰动态补偿单元314中，使用生成完毕的前3个帧的再生HR图像(参照HR图像)和原图像HR图像，生成用于进一步改善再生HR图像的图像品质的动态信息。高清晰动态补偿单元314把多个参照HR图像107、再生HR图像106和再生HR图像的原图像即原图像HR图像101作为输入，把参照HR图像107与再生HR图像106之间的HR动态信息112输出到清晰度扩充处理单元310和辅助数据编码/速率控制单元311。
HR动态信息由参照HR图像上的块位置信息、参照帧号、块尺寸、辅助动态矢量(以下，把HR动态信息中的「动态矢量」作为HRMV)构成。
使用图2(d)说明HRMV。在图2(d)中，表示对于把再生HR图像940上的块946用紧前面帧的参照HR图像950上的块952进行更新时，在参照HR图像950上块946与空间上同一位置的块951以及进行更新的块952之间的空间动态矢量成为HRMV954的情况。块尺寸在通过把多个像素部分汇总在一起进行编码，减少辅助数据的代码量的目的下使用。
在高清晰动态补偿单元314中，首先，对于预先指定的多种分割块，比较原图像HR图像和再生HR图像，检测块像素的差分值的差方和大于预先确定的阈值的块。然后，从原图像HR图像抽取检测位置的块，以多个参照HR图像为对象搜索与抽取块的差分值的差方和为最小的块位置。而且，在搜索的结果得到的块与抽取块的差分值的差方和小于阈值的情况下，输出相对应的HR动态信息112。根据利用该原图像高清晰图像的信息的HR动态信息，使用过去扩充了清晰度的高品质的参照高清晰图像，能够修正再生高清晰图像的画质，提高再生HR图像的图像品质。
在第6步骤中，在清晰度扩充处理单元310中实施再生HR图像106的画质改善处理。清晰度扩充处理单元310把参照HR图像107以及HR动态信息112作为输入，更新并输出再生HR图像106。具体地讲，在图5的图像锐化单元420的动态补偿单元421中基于HR动态信息112，从参照HR图像107一个一个地抽取块图像，在画质修复单元422把抽取出的块图像合成到再生HR图像上。对于所有的HR动态信息实施该处理，输出更新了的再生HR图像106。在合成方法中，使用与原来的再生HR图像上的对应块的加权内插。
在第7步骤中，在辅助数据编码/速率控制单元311中把由辅助数据生成单元351生成的辅助信息即LR动态信息109、修正SR动态信息111和HR动态信息112编码，生成辅助数据113，向解码装置20输出。
图8表示与1张再生HR图像有关的辅助数据的数据格式。成为由辅助数据编码/速率控制单元311进行的编码对象的辅助数据113从用于检索1帧部分的辅助数据的起始的开始代码701开始。在开始代码中，使用在辅助数据内不发生其数据图形的独特代码。同步代码707是用于针对后述的每种数据类型区别1帧的辅助数据的独特代码，紧接在开始代码以后进行省略。从数据类型702到动态矢量705用可变长度代码进行编码(关于可变长度代码，参照专利文献1)。
块位置信息703表示在参照帧号和图像(在LR动态信息以及修正SR动态信息中是LR图像，在HR动态信息中是HR图像)上的像素位置。另外，在数据类型是LR动态信息的情况下，参照帧号由于根据DEC动态信息决定，因此仅把像素位置的信息编码。
块尺寸信息704表示把上述的像素位置作为左上端的块的尺寸。动态矢量密度信息708对于上述块范围，表示编码的辅助动态矢量的像素间隔。从而，除去像素间隔是0的情况，即块中编码的辅助动态矢量是1个的情况以外，由反复环712把多个辅助动态矢量编码。动态矢量按照水平成分、垂直成分的顺序把LRMV、修正SRMV或者HRMV的矢量值编码。实际上编码的动态矢量作为与预测动态矢量的差分矢量。
在LRMV中，对于不存在DECMV的块，邻接3个块的动态矢量成分的中间值(动态矢量的中间值预测参照参考文献1)，对于存在DECMV的块，DECMV的矢量值成为预测值。在修正SRMV和HRMV中，对于相同数据类型的动态矢量，相邻3个块的动态矢量成分的中间值成为预测值。
辅助数据编码/速率控制单元311在编码的信息量多的情况下，根据优先顺序减少信息量。在使高速优先的情况下，按照LR动态信息、修正SR动态信息，HR动态信息的顺序优先，在使再生HR图像的图像品质优先的情况下，按照HR动态信息、修正SR动态信息、LR动态信息的顺序优先。另外，在同一种数据类型内，使评价值(LR动态信息与DECMV的差分值，修正SR动态信息与SRMV的差分值，HR动态信息从参照SR图像抽取的块与再生HR图像上的对应块之间的像素单位的差方和)大的块优先。
接着，说明本发明实施形态的解码装置20。
图6表示本发明实施形态的解码装置20的整体结构。解码装置20具备解码处理单元501、清晰度扩充处理单元502、帧存储器503、数据存储器504、数据存储器505、帧存储器508和辅助数据解码/分离单元531。
首先，视频编码数据120在解码处理单元501解码为再生LR图像102。解码了的再生LR图像102保存在帧存储器503中，解码了的动态信息(DEC动态信息)108保存在数据存储器504中，解码了的量化参数114保存在数据存储器505中，依照来自清晰度处扩充处理单元502的请求进行输出。解码处理的详细过程例如记载在“Text ofISO/IEC 14496-2 Third Edition”，March 2003(以下，作为参考文献2)中。清晰度扩充处理单元502把再生LR图像102、DEC动态信息108、量化参数114、辅助数据113解码的辅助信息(由辅助数据解码/分离单元531解码以及分离了的LR动态信息109、修正SR动态信息111以及HR动态信息112)以及参照HR图像107(从帧存储器508输出的在过去生成的再生HR图像)作为输入，生成再生HR图像106。
图7表示清晰度扩充处理单元502的内部结构以及辅助数据解码·分离单元531。清晰度扩充处理单元502请求输入再生LR图像102、DEC动态信息108、量化参数114、解码了的辅助数据113以及参照HR图像107(已经生成的再生HR图像)，而这时，再生LR图像和DEC动态信息需要与在实施清晰度扩充的帧中加入了显示时刻前后的3个帧总计7个帧有关的信息，或者参照HR图像前面的3个帧部分的信息。即，在把3个帧前面的再生LR图像解码后实施清晰度扩充处理。
本发明实施形态的解码装置20中的清晰度扩充处理分为3个步骤。以下，根据处理顺序说明动作。
在第1步骤中，进行LR动态信息109的解码和SRMV搜索的初始数据生成。首先，在辅助数据解码/分离单元531从清晰度扩充处理对象帧的辅助数据113分离LR动态信息109的数据，进行可变长度解码。接着，初始数据生成单元405把解码了的LR动态信息109和7个帧部分的DEC动态信息108作为输入，生成SRMV检索的初始数据。关于初始数据生成单元405的动作由于已经在图5中说明过，因此在这里舍去说明。
在第2步骤中，进行修正SR动态信息111的解码和再生HR图像106的生成。首先，由辅助数据解码/分离单元531从清晰度扩充对象帧的辅助数据113分离修正SR动态信息111的数据，进行可变长度解码。接着，超清晰图像合成单元510把解码了的修正SR动态信息111、7张再生LR图像102、SRMV搜索的初始数据以及量化参数114作为输入，生成再生HR图像106。具体地讲，在动态检索单元511中，在根据修正SR动态信息111把SRMV搜索的初始数据修正了以后，通过实施由动态检索单元511进行的SRMV的优化和由编码噪声推定单元512进行的再生HR图像106的优化的反复处理，使再生HR图像106收敛(关于使用了反复处理的优化的详细过程例如参照非专利文献1)。其中，关于用修正SR动态信息修正了的SRMV，由于能够推定为是精度高的值，因此仅进行限定在整数像素以下的实数值范围中的微调整。
在第3步骤中，进行HR动态信息112的解码和再生HR图像106的画质改善处理。首先，由辅助数据解码/分离单元531从清晰度扩充对象帧的辅助数据113分离HR动态信息112的数据，进行可变长度解码。接着，图像锐化单元520使用HR动态信息112和参照HR图像107实施画质改善处理。具体地讲，由动态补偿单元521基于HR动态信息112从参照HR图像107一个一个地抽取块图像，在画质修复单元522通过把抽取出的块图像合成在由超清晰图像合成处理单元510所生成的再生HR图像123上，更新再生HR图像106。对于所有的HR动态信息实施该处理，输出更新了的再生HR图像106。在合成方法中，使用与原来再生HR图像上的对应块的加权内插。
图9表示实施本发明的编码处理流程。另外，图9的各步骤的详细过程由于与图3、图4、图5的说明重复，因此在这里仅说明处理的流程。编码处理开始601以后，在处理602中，通过基于低通滤波和降抽样的取样处理，把原图像HR图像变换为原图像LR图像。在处理603中，把变换了的原图像LR图像进行视频编码的同时，通过局部解码处理生成再生LR图像和DEC动态信息。在处理604中，使用原图像LR图像，把DEC动态信息的至少一部分修正为高精度的LR动态信息。在处理605中，使用多个帧的DEC动态信息和LR动态信息，生成SRMV检索的初始数据。在处理606中，通过清晰度扩充处理，从多个再生LR图像生成再生HR图像和SR动态信息。在步骤607中，使用原图像HR图像和原图像LR图像，把在处理606中生成的SR动态信息的一部分修正为高精度的修正SR动态信息。在处理608中，把SRMV置换为在处理607中生成的修正SRMV，再次实施清晰度扩充处理，更新再生HR图像和SR动态信息。在处理609中，使用参照HR图像，检测用参照HR图像改善作为对象的再生HR图像的图像品质的参照HR图像与再生HR图像之间的动态信息(HR动态信息)。在步骤610中，使用在处理609中检测出的HR动态信息和参照HR图像，改善再生HR图像的图像品质。在处理611中，把在处理604中生成的LR动态信息、在处理607中生成的修正SR动态信息和在处理609中生成的HR动态信息编码，生成辅助数据。在结束了处理611以后，结束编码处理(处理612)。
图10表示实施本发明的解码处理内的超清晰图像生成处理流程。另外，图10的各步骤的详细过程由于与图7的说明重复，因此在这里仅说明处理的流程。在超清晰度图像生成处理开始801以后，在处理802中，把LR动态信息解码。在处理803中，使用在处理802中解码了的LR动态信息和多个帧DEC动态信息，生成SRMV搜索的初始数据。在处理804中，把修正SR动态信息解码。在处理805中，把在处理804中解码了的修正SR动态信息设定为SRMV搜索的初始数据的同时，在把修正SR动态信息的更新限定在整数像素以下的范围内这样的条件下，搜索SRMV，从多个帧的再生LR图像生成再生HR图像。在处理806中，把HR动态信息解码。在处理807中，基于在处理806中解码了的HR动态信息，从参照HR图像改善再生HR图像的图像品质。在结束了处理807以后，结束超清晰度图像生成处理(处理808)。
图11表示实施本发明的解码处理流程。另外，图11的各步骤的详细过程由于与图6以及图7的说明重复，因此在这里仅说明处理的流程。在解码处理开始901以后，在处理902中，把编码视频数据解码，生成再生低清晰图像、DEC动态信息和量化参数。接着，在处理903中实施被编码了的辅助数据的解码，生成LR动态信息、修正SR动态信息和HR动态信息。然后，在处理904中，使用在处理903中解码了的LR动态信息和多个帧的DEC动态信息，生成SRMV搜索的初始数据。在处理905中，把在处理903中解码了的修正SR动态信息设定为SRMV搜索的初始数据的同时，在把修正SR动态信息的更新限定在整数像素以下的范围内这样的条件下搜索SRMV，从多个帧的再生LR图像生成再生HR图像。在处理906中，基于在处理903中解码了的HR动态信息，从参照HR图像改善再生HR图像的图像品质。在结束了处理906以后，结束解码处理(处理907)。
图12用于说明使用保存了上述实施形态的图像编码处理或者图像解码处理的程序的软盘等存储媒体，由计算机系统实施的情况。
图12(b)表示从软盘的正面观看的外观、剖面构造以及软盘，图12(a)表示作为存储媒体主体的软盘的物理格式的例子。软盘FD安装在外壳F内部，在该软盘的表面上，同心圆形地形成从外周向内周的多个磁道Tr，各磁道沿着角度方向分割为16个扇区Se。从而，在保存了上述程序的软盘中，在上述软盘FD上分配的区域上，记录作为上述程序的数据。
另外，图12(c)表示用于在软盘FD上进行上述程序的记录再生的结构。在把上述程序记录到软盘FD中时，从计算机系统Cs经过软盘驱动器写入作为上述程序的数据。另外，在由软盘内的程序把上述编码或者解码装置构筑在计算机系统中的情况下，由软盘驱动器从软盘读出程序，传送到计算机系统。
另外，在上述说明中，作为数据记录媒体使用软盘进行了说明，而使用光盘也能够同样进行。另外，记录媒体不限于这些，IC卡、盒式ROM等只要是能够记录程序，则就能够同样地实施。另外，作为计算机，包括具备CPU，进行由软件实施的处理或者控制的DVD播放器、机顶盒、便携电话等。
以上说明了本发明的实施形态，而也可以进行以下的变形，每种形态都包含在本发明中。
(1)涉及功能的利用部分的变形例并不需要齐备所有构成本发明的辅助数据即辅助信息的LR动态信息、修正SR动态信息、HR动态信息，在仅使用其一部分辅助动态信息，从低清晰图像生成高清晰图像的情况下，也能够得到同样的效果。
即，即使在使用清晰度比原图像LR图像高的原图像HR图像和原图像LR图像的双方或者其中一方生成本发明的辅助数据的情况下，也能够提高图像解码装置以及图像编码装置中的图像之间的动态检测的精度，提高再生高清晰图像的图像品质。另外，由于减少图像解码装置以及图像编码装置的动态搜索的处理量，因此能够减少图像清晰度扩充处理中的运算量。
具体地讲，如果依据本发明的图像解码装置以及图像编码装置，则在采用仅把修正SR动态信息构成为辅助数据时，采用把修正SR动态信息和HR动态信息构成为辅助数据时，采用把修正SR动态信息、HR动态信息和LR动态信息构成为辅助信息时的哪一种情况下都能够实现上述那样的提高像素品质以及减少运算量。另外，在采取不使用一部分辅助动态信息的结构的情况下，在图像编码装置10的辅助数据生成单元351中，不进行与其辅助动态信息相对应的动态信息的生成就能够实现。
另外，即使没有SRMV搜索初始数据也能够实施图5、图7的超清晰度图像合成处理。从而，在没有实施初始数据生成和LR动态信息编码的情况下，本发明的修正SR动态信息和HR动态信息也是有效的。
进而，即使没有由图像锐化处理进行的再生HR图像的画质改善处理也能够实施通过图5、图7的超清晰图像合成处理生成的再生HR图像。从而，在没有实施图像锐化处理和HR动态信息的编码的情况下，本发明的LR动态信息和修正SR动态信息也是有效的。
另外，即使在不是从来自视频编码数据的解码图像，而是从通过照相机等单元取得的多个图像或者预先保存在硬盘等装置中的多个图像生成清晰度更高的超清晰图像的情况下，本发明的辅助数据也是有效的。在这种情况下，虽然不存在DEC动态信息，但是修正SR动态信息和HR动态信息是有效的。
(2)涉及功能定义的变更的变形例把在图像锐化处理中抽取出的参照HR图像上的块合成到再生HR图像中的方法不限于加权合成处理。即使在抽取出的块中置换再生HR图像的部分的情况下，本发明的HR动态信息也是有效的。
另外，从HR图像变换为LR图像时的低通滤波器的种类没有限制。在图2(c)的说明中，滤波器的分支数在水平/垂直方向都取为3个分支，而长分支数的滤波器或者系数不同的滤波器也是有效的。除此以外，说明了HR图像上的9像素与LR图像上的1个像素相对应的情况、但是并不限于这种对应。具体地讲，由于如果所对应的HR图像的像素是1个像素则能够生成LR图像上的1个像素，因此也可以缺少滤波器产生影响的区域内的像素的一部分。进而，在图2(c)中，把由降抽样舍弃的像素作为滤波整理后的HR图像的偶数列以及偶数行的像素，但是并不限于这种情况。即使在由低通滤波处理的HR图像上把实数位置的样品作为LR图像上的像素样品的情况下，本发明也是有效的。
进而，SRMV搜索初始数据生成方法并不限于在图5中说明过的方法。不是沿着从再生HR图像离开的方向搜索的方法，依照根据帧间隔把动态矢量定标的方法也是有效的。
(3)涉及辅助数据的编码方法的变形例本发明的成为编码对象的辅助数据的数据格式并不限于图8的格式。另外，动态矢量的预测方法也不限于在图8中说明过的方法。
另外，在图8的数据格式中，代替把块位置信息作为参照帧号信息，把像素位置进行编码的方法，把图像进行块分割，把有无从左上方开始按照光栅扫描顺序编码的辅助动态信息进行编码的方法也是有效的。这时，并不一定需要块尺寸信息。
进而，在图8的数据格式中，代替把块位置信息作为参照帧号信息，进而，把像素位置信息、块尺寸信息、动态矢量密度信息进行编码的方法，把图像进行块分割，从左上方开始按照光栅扫描顺序把有无动态矢量进行编码的方法也是有效的。
另外，在图8的数据格式中，针对每个帧把数据类型的信息进行编码，也可以考虑去除重复环713，对于辅助数据信息内的各块把数据类型进行编码的情况。在该格式中，由于针对每个块的辅助动态信息添加同步码，因此在希望从辅助数据检索特定像素的辅助动态信息的情况下是有效的。
进而，动态矢量的编码精度没有限定。例如，记载在参考文献2或者“Text of ISO/IEC 14496-10 Advanced Video Coding 3rdEdition”，September 2004(以下，作为参考文献3)中的高精度的动态矢量也是有效的。
另外，在图8的说明中，根据可变长度代码进行辅助数据的构成要素的编码，但是并不限于这种方法。记载在专利文献3中的算术编码方法等也是有效的。
(4)涉及辅助数据的构成要素的变形例辅助数据的构成要素并不限于上述实施形态的记载。
另外，图8的辅助动态矢量信息还包括表示在2个像素图像之间没有相对应的动态矢量的情况。视频顺序的任意2个像素内的像素完全一对一地相对应的状况极其稀少，表示没有对应点的信息是有效的。
进而，图8的辅助动态矢量信息还包括不是按照矢量值，而是按照块尺寸信息指定的范围的动态搜索范围信息的情况。在这种情况下，省略动态矢量密度信息。根据该搜索范围指定，能够缩减动态矢量的检测时间。
另外，图8的辅助动态矢量信息在不是矢量值，而是表示旋转、放大、变形等的动态参数的情况下也是有效的。关于动态参数(仿射变换参数、投影变换参数)等详细内容记载在参考文献1中。
进而，在图2(b)中，把LR动态信息的预测类型限定为DEC动态信息的预测类型或者缺省值，然而并不限定于此。在这种情况下，在LR动态信息中包括预测类型(前向预测/后向预测/双向预测等)。另外，在适用记载在专利文献3中的使用了多个参照帧的动态预测的编码/解码方式的情况下，在DEC动态信息中包括参照帧号。进而，如在专利文献3中记载的那样，在能够从多种类型选择实施动态预测的块尺寸的编码/解码方式的情况下，在DEC动态信息中还包括块尺寸。在这种情况下，同样地在LR动态信息中也包括参照帧号和块尺寸。
另外，不需要对于再生LR图像上的所有像素求出SRMV。根据包藏等的影响，在不能够通过再生HR图像检测的情况下，不使用该像素进行优化处理也能够生成有效的再生HR图像。
进而，修正SR动态信息的块位置信息不是采用以再生LR图像为基准的值，而是采用以再生HR图像为基准的值也是有效的。在这种情况下，当动态密度信息是1时(对于块内的所有像素把动态矢量编码)，块内的像素数与像素单位的修正SRMV的数量一致。
另外，辅助动态信息的块的形状也可以是任意形状。在这种情况下，也可以把形状信息进行编码。在形状信息的编码方法中，例如有在专利文献2中所示的使用了算术编码的方法。
(5)涉及动态推定的方法的变形例上述中，在多个原图像LR图像与原图像HR图像之间实施修正SRMV的检测，而由于不是使用原图像LR图像而是使用HR图像实施的方法也提高SRMV的精度，因此效果也很高。这种情况下，块位置信息的像素位置成为HR图像上的值。
另外，在上述中，在多个再生LR图像与再生HR图像之间实施SRMV的检测，而由于不是使用再生LR图像而是使用参照HR图像实施的方法也提高SRMV的精度，因此效果也很高。
(6)涉及整体结构的变形例上述中，把视频顺序的编码/解码方法采取为参考文献1以及参考文献2中的方法，但是并不限于这些方法。
另外，在上述中，用非专利文献1和非专利文献2说明了清晰度扩充方法以及推定模型，而在从多个低清晰度图像生成高清晰度图像的技术中，由于能够适用本发明的辅助信息的编码以及利用了该编码的高画质处理，因此并不限定于该方法。
进而，上述中，把在清晰度扩充处理中使用的再生LR图像的数量取为7张，而由于在除此以外的数量下也能够实施本发明，因此在数量上没有限定。另外，参照HR图像的数量也没有限定。
本说明书中介绍的清晰度扩充处理是把1张未知的高清晰度图像与多个已知的低清晰图像的关系建立公式，推测满足这些公式的最佳的高清晰图像和动态信息的技术，非专利文献1以及非专利文献2是使用统计性的方法推定满足评价函数的最佳的高次矢量的技术的例子。如在文献「Sung Cheol Park et al，“Super-Resolution ImageReconstructionA Technical Overview”，IEEE Signal ProcessingMagazine，May 2003」(以下，作为参考文献4)中所示的那样，在清晰度扩充处理中有各种方法，而本说明书的辅助数据在使用动态矢量表现高清晰度图像与多个低清晰图像之间的关系的情况下能够适用所有方法。作为非专利文献1或者2以外的方法，有求解联立方程式的方法，或者使用了向凸集合的投影帧构架(projections onto convexsets)的方法(例如，「A.M.Tekalp，M.K.Ozkan and M.I.Sezan，“High-resolution image reconstruction from low-resolution imagesequences and space Varying image restoration”，in Proc.IEEE Int.Conf.Acoustics，Speech and Signal Processing(ICASSP)，SanFransisco，CA.，vol.3，Mar.1992，pp.169-172」，(以下，作为专利文献5))等。在所生成的高清晰图像中，对于作为已知的多个低清晰度图像，空间的清晰度升高，具有在图像上生成在多个低清晰度图像之间的对位和合成处理(例如，镶嵌)中不发生的高频成分的特征。
上述中，在图5和图7的编码噪声推定单元412的处理中，把量化参数114作为输入，而在不需要量化参数的编码噪声推定处理中也能够实施本发明。因此，有无清晰度扩充处理中的量化参数并不影响实施本发明。
上述中，根据预测类型、动态矢量(DECMV)构成DEC动态信息108，但并不限定于该构成要素。例如，如参考文献3那样，在把多个再生LR图像作为参考图像的方式中，由于需要针对每个预测块选择参照帧号，因此参照帧号也包含在DEC动态信息中。
(7)辅助数据的生成方法在上述图4中的超清晰动态补偿单元313的说明中，在原图像LR图像上的对象像素与其预测像素的差分值大于预先确定的阈值的情况下，把在修正SRMV的检测中使用的参照图像从原图像LR图像替换为原图像HR图像，但是原图像HR图像的利用并没有限定于该方法。例如，也可以不使用原图像LR图像，而对于所有的像素使用原图像HR图像。另外，关于修正SR信息111的输出条件，在图4的说明中，规定为针对每个所指定的多种分割块中用平均值把检测出的SRMV与包含在SR信息110中的SRMV的差分值进行比较，在差分值大于阈值情况下进行输出，但是并不限定于该方法。例如，也可以不是MV的差分值，而是把检测出的SRMV、适用了SRMV时的预测值与原图像上的像素的差分值用作为输出条件。另外，分割块的尺寸选择方法也不限定于一种方法。进而，在图4的说明中把输出的修正SRMV作为检测出的SRMV的块平均值，但是并不限于这种方法。例如，也可以不是把检测MV的平均值而是把块内的SRMV作为恒定值，以块单位进行检测。
关于低清晰动态补偿单元以及高清晰动态补偿单元中的辅助数据选择方法，同样也没有限定于一种方法。
进而，关于涉及辅助数据编码/速率控制单元中的辅助动态信息的选择的优先顺序以及评价方法，也不限定于在图4的说明中表示的方法。例如，即使在使用了考虑代码量的评价方法的情况下，利用了本发明的辅助数据的清晰度扩充处理也是有效的。
(8)变形例(5)的实施形态在超清晰合成单元410中，使用多张再生LR图像102生成再生HR图像106和多个再生LR图像之间的SR动态信息110，而如变形例(4)或者(5)所示，通过使用HR图像之间的动态推定，可以预料提高SR动态信息以及修正SR动态信息的推定精度。因此，使用图13、图14以及图15详细地说明HR图像之间的动态推定的实施形态。另外，这里，关于变形例(1)，以清晰度扩充处理仅需要SR动态信息的情况为例进行说明。
图13表示清晰度变换/编码单元306的结构，即图4的变形例。清晰度扩充处理单元310是从多个再生LR图像102生成再生HR图像106和SR动态信息110的处理单元，图14示出其内部结构。
图14成为图5的变形例。如从图的输入输出端可知，清晰度扩充处理单元310和超清晰动态补偿单元313的结构与图4、图5不同。即，在本发明中，使用SR信息的清晰度扩充处理的方法不限于图5，修正SR信息的生成方法也不限于图4。在图2(c)的说明中，把SR信息作为表示再生HR图像与多个LR图像之间的时空对应的动态信息。因此，在图2(c)的例子中，与LR图像上的1个像素相对应的SRMV(修正SRMV)的条数根据从HR图像变换为LR图像时使用的低通滤波器的分支数决定(在图2(4)中是9条)。然而，SRMV的结构如在变形例(4)和(5)中表示的那样，没有限定于图2(c)的结构，在本实施例中，为了成为表示再生HR图像与多个HR图像之间的时空对应的信息，SR信息如在变形例(4)中说明的那样，与HR图像上的1个像素相对应的SRMV(修正SRMV)成为1条。
在从动态模型的观点考虑2个例子的差别的情况下，图2(c)的SRMV包括图1的动态模型201和取样模型202在内，表示原图像HR图像101与多个原图像LR图像102的时空对应，对此，本实施例的SRMV表示动态模型201的动态矢量，即原图像HR图像101与多个原图像HR图像的时空对应。由于原图像HR图像和原图像LR图像是未知的，因此在图2(c)中，从虚拟生成的虚拟HR图像和再生LR图像生成SR信息。对此，在本实施例中，除去虚拟HR图像以外，对于多个再生LR图像也生成虚拟的HR图像，通过HR之间的动态推定生成SR信息。从而，由于2个例子SR信息的生成方法不同，因此虽然根据相同的动态模型，但是所得到的结果不同。如果依据本实施例，则认为通过适当地选择虚拟HR图像，能够提高再生HR图像的品质以及处理速度。另外，由于把原图像HR图像之间的动态矢量活用为修正SRMV，因此认为辅助数据的导入效果也比图2(c)高。
在本实施例中，图13的局部清晰度扩充处理单元310相当于图5的超清晰图像合成单元410。在局部清晰度扩充处理单元310中，与图5相同，把多个再生LR图像102作为输入，但在输入到动态检测单元411之前，把它们在图像放大处理单元406中变换为放大图像118。关于图像放大处理单元406的处理，在本发明中没有限定，可以考虑单纯的线性内插处理、使用了B-spline函数的样条内插处理，进而，可以考虑在通过内插处理放大的图像中利用非专利文献1记载的图像修复模型改善画质的方法等。
在清晰度扩充处理中，通过反复进行清晰度扩充处理单元310的处理，来谋求再生HR图像的高画质的情况很多。这种情况下，对于清晰度扩充对象的再生LR图像，首先(第1次反复处理)，把在图像扩大处理单元406生成的扩大图像118作为虚拟HR图像119，输入到动态搜索单元411。然后，在生成了虚拟的再生HR图像的第2次以后的反复处理中，通过在开关407代替放大图像118，把参照HR图像107(虚拟的再生HR图像)选择为虚拟HR图像119输入到动态搜索单元411。对于参照再生LR图像，在第1次反复处理之前，有时已经通过清晰度扩充处理生成再生HR图像(参照HR图像107)。在这种情况下，在开关407，把参照HR图像107选择为虚拟HR图像。这样，通过利用参照HR图像107，能够期待提高由动态搜索单元411生成的SR信息110的推定精度或者缩短处理运算时间这样的效果。
在动态搜索单元411中，通过2张HR图像之间的动态推定，生成SR信息110。所生成的SR信息110输入到超清晰动态补偿单元311。在超清晰动态补偿单元311中，使用原图像把SR动态信息110修正成高精度的修正SR动态信息111。在本实施例中，超清晰动态补偿单元313接受在与多个(L张)参照再生LR图像相对应的原图像HR图像上加入了清晰度扩充处理对象的再生HR图像的总计(L+1)张原图像HR图像101和SR动态信息110的输入，检测修正SRMV。而且，对于SRMV与修正SRMV的差(或者SRMV与适用了SRMV和修正SRMV时的预测误差的差)大的区域或者在最佳的SRMV的检测中需要大量运算时间的区域，生成修正SR动态信息111，输出到清晰度扩充处理单元310和辅助数据编码/速率控制单元311。另外，如在变形例(7)中所示的那样，超清晰动态补偿单元313中的修正SR动态信息的生成方法并不限于一种方法。修正SR动态信息例如可以考虑由参照HR图像(把参照再生LR图像放大为HR尺寸的图像)上的块位置信息、参照帧号、块尺寸、修正SRMV所构成的信息。块尺寸在通过把几个像素部分汇总在一起进行编码，用于减少辅助数据的代码量的目的。属于修正SR动态信息的修正SRMV的数量当块尺寸是N×N像素时成为大于1小于等于N×N个。修正SRMV的数量通过在修正动态矢量信息中添加动态矢量密度信息708等的信息，能够在解码一侧明示。
清晰度扩充处理单元310使用修正SR动态信息111，用动态搜索单元411更新SR动态信息110。在编码噪声推定单元412中，使用实施清晰度扩充的再生LR图像102和L张再生LR图像102，以及更新了的SR动态信息110，生成虚拟的再生HR图像106。这样，在本实施例中，通过反复进行清晰度扩充处理和超清晰动态补偿处理，优化再生HR图像106、SR动态信息110以及修正SR动态信息111。作为优化方法，可以考虑确定辅助数据的代码量，调整修正SR动态信息111使得在其代码量下再生HR图像106与原图像HR图像的误差成为最小的方法等，然而本申请并没有限定优化方法。另外，在修正SR动态信息111的优化以后，需要根据修正SR动态信息的适用方法，再次生成再生HR图像，使得在编码一侧和解码一侧能够生成相同的再生HR图像106。优化了的修正SR动态信息通过由辅助数据编码/速率控制单元311进行编码，成为辅助数据113，向解码装置传送。
在本实施例中，也像在变形例(1)所示的那样，即使在不是从来自视频编码数据的解码图像，而是从多个图像生成清晰度更高的图像的情况下，本发明也是有效的。另外，如变形例(4)所示，不需要对于所有的像素计算SRMV，对于没有发现对应点的像素，不使用其像素的动态数据生成再生HR图像106。从而，在本实施例中也如在变形例(4)中说明过的那样，作为修正SR动态信息，发送表示没有使用对象像素的动态数据的信息是有效的。
图15表示本实施例的清晰度扩充处理单元502的内部结构以及辅助数据解码/分离单元531。在本实施例中，图15的清晰度扩充处理单元502相当于图7的超清晰图像合成处理单元510。
清晰度扩充处理单元502使用再生LR图像102、解码了的修正SR动态信息111以及参考HR图像107(已经生成的再生HR图像)，生成再生HR图像106和SR动态信息110。首先，由辅助数据解码/分离单元531从清晰度扩充对象帧的辅助数据113分离修正SR动态信息111，进行可变长度代码。然后，清晰度扩充处理单元502由图像放大处理单元406生成放大图像118。如在图14中所示那样，按照预先确定的顺序从放大图像118和参照HR图像107选择虚拟HR图像119。然后，使用多个虚拟HR图像119和修正SR动态信息111，生成SR动态信息110和再生HR图像106。具体地讲，通过反复处理由动态检索单元511进行的SRMV的生成和由编码噪声推定单元512进行的再生HR图像106的生成进行优化。
在本实施例中，在HR图像之间进行SR动态信息110的生成，而在不存在参照HR图像(第1次反复处理)的情况下，省略图像放大处理单元的处理，在再生LR图像之间实施动态推定，通过动态矢量值的内插处理或者零次保持法放大为SRMV。因此，在本实施形态中，依照反复处理的次数，有时修正SR动态信息的构成要素即修正SRMV的意义或者数量不同。另外，还可以考虑把不是由原图像之间的动态搜索，而是由通常的再生图像之间的动态搜索检测出的动态矢量作为修正SR动态信息，为了减少解码一侧的运算量进行传送的情况。
关于修正SR动态信息的利用方法，可以考虑若干种方法，在本申请中并没有限定于一种方法。作为利用修正SRMV的方法，可以考虑不进行SRMV的动态搜索而适用修正SRMV的方法、在适用了修正SRMV以后，通过动态搜索进行再次调整的方法，然后，从通过实施动态搜索检测出的SRMV和修正SRMV决定最终的SRMV的方法。关于再次调整，可以考虑实际上考虑了在再生HR图像的生成中使用的再生LR图像的差别，进行调整使得再生HR图像成为高品质的情况、把以块单位传送的修正SRMV改善为像素单位的SRMV的情况或者改善修正SRMV像素精度等的情况等各种提高MV的精度的情况。关于从2个动态矢量决定最终的动态矢量的方法，可以考虑修正SRMV是通过实施动态搜索检测出的SRMV与最终的SRMV的差分矢量的情况、或者修正SRMV与通过实施动态搜索检测出的SRMV的平均值是最终的SRMV的情况等。即，既可以是修正SR动态信息包括修正SRMV，把该修正SRMV用作为动态矢量的形态，还可以是修正SR动态信息包括修正SRMV，使用多个再生图像检测中间动态矢量，通过该中间动态矢量与修正SRMV的相加处理，生成动态矢量。另外，修正SR动态信息包括修正SRMV，把修正SRMV作为动态矢量的初始动态矢量，通过使用多个再生图像更新初始动态矢量也可以生成动态矢量。
另外，关于与利用修正SR动态信息时的反复处理的对应，也可以考虑多种方法。如果大致区分，则有在所有次数的反复处理中适用相同的修正SRMV的方法和仅在反复处理的特定次数中适用的方法。关于后者，根据用于减少运算量等的理由，进而可以考虑在相同的区域或者块中传送对于反复次数不同的修正SRMV的情况。
在该变形例中，说明了编码装置、解码装置，而关于图9～图11所示的处理流程，同样也能够变形。在这种情况下，虽然没有图示，然而通过上述说明过的方法实施在图10的超清晰处理805中所示的虚拟HR图像119的生成。另外，该变形例的图像编码处理或者图像解码处理如在图12中说明的那样，能够由基于程序的计算机系统实施。
(9)涉及利用参照HR图像的变形例在图5和图7中，利用HR动态信息112实施画质锐化处理，而即使是在高清晰动态补偿单元314中没有使用HR辅助信息的方法，也能够实施画质锐化处理。这种情况下，使用多个参照HR图像107、编码噪声推定单元412(512)输出的再生HR图像123以及由画质修复处理已经修正了的清晰度扩充对象图像的虚拟的再生HR图像上的像素数据，由动态补偿单元421(521)检测HRMV。这时，可以考虑通过利用再生HR图像上的修正完毕的像素数据，提高像素精度。例如，在以块单位按照光栅扫描顺序实施了修正处理的情况下，能够在搜索中使用更新了的再生HR图像上的当前块的上端和左端的更新完毕的像素。在画质修复单元422(522)中利用检测出的HRMV改善再生HR图像106的画质。另外，如在变形例(2)中所示那样，在图像锐化处理中，使用参照HR图像改善再生HR图像的画质的方法并没有限定于一种。除去把2个图像(从参照HR图像107和HRMV生成的HR图像与虚拟的再生HR图像1123)的像素部分地进行加权合成的方法以外，还有置换为参照HR图像所生成的HR图像上的像素的方法，或者使用多个参照HR图像107和虚拟HR图像之间的SRMV谋求优化再生HR图像的方法等。进而，这里，用HR动态信息112修正由动态补偿单元421(521)检测出的HRMV的方法作为提高画质锐化处理的性能的方法也是有效的。这种情况下，包含在HR动态信息112中的动态矢量(修正HRMV)成为由动态补偿单元421检测出的HRMV与最终的HRMV之间的差分动态矢量。另外，作为画质锐化处理的方法，准备使用在图5和图7中说明过的HRMV的方法、使用在这里说明了的修正HRMV的方法和由动态补偿单元421(521)检测HRMV的方法等，在HR动态信息的构成要素中包括其选择信息的方法作为提高画质锐化处理的处理效率的方法也是有效的。
另外，上述中，在图5、图7、图14以及图15的编码噪声推定单元中，使用多个再生LR图像102和SR动态信息110实施再生HR图像123(在图14和图15中是106)的优化，而对于存在生成完毕的再生HR图像的帧，代替再生LR图像102使用参照HR图像107也是有效的。在这种情况下，再生HR图像107输入到图5和图14的编码噪声推定单元412以及图7和图15的编码噪声修正单元512中。另外，在该变形例中，还可以设想图1中省略了取样模型202的模型。关于动态模型201，能够利用在图14和图15的说明中表示的虚拟HR图像之间的SRMV。
(10)涉及辅助数据的构成要素的利用方法的变形并不需要全部传送构成要素的数据，对于在编码一侧和解码一侧唯一决定的信息，能够从传送的构成要素去除。例如，在使用在编码一侧和解码一侧共同具有的图像的特征等信息，能够规定构成要素的一部分的情况下，能够省略传送其构成数据。在构成要素的数据的组合中，对于不需要的数据，也能够从所传送的构成要素去除。例如，当适用表示是否针对每个块传送辅助动态矢量的方法时，不需要传送块位置信息，根据状况，也不需要传送辅助动态矢量。另外，如在变形例(4)中说明过的那样，在表示任意的区域或者块的SRMV在再生HR图像的生成中无效的情况下，也不需要传送修正SRMV。进而，还有不是根据编码一侧和解码一侧的默认的规则来抑制传送构成要素的一部分数据的方法，而是在构成要素中包括表示进行哪种数据传送的模式信息，明示地表示所传送的构成要素的方法。
作为传送辅助数据的方法，把构成要素的数据分为序列单位、帧单位、片单位(由多个块构成)、块单位等分层传送的方法也是用于减少代码量的有效方法。即，通过依照其分派的任务分层传送构成要素的数据能够减少代码量。在这种情况下，在上位层次中所传送的信息不需要在下位中传送。例如，在作为帧单位的辅助信息传送块尺寸的情况下，在块单位中的辅助动态信息中，不需要传送该信息。这种情况下，也把以块单位传送的共同要素的数据分割在若干个传送型(构成要素数据不同的组合)或者传送组(构成要素数据的分类)中，在解码一侧明示地表示与传送型或者传送组的组合相对应的模式信息的方法是有效的。进而，还有把模式信息作为片单位或者帧单位的信息传送的方法，可以说作为控制反映区域或者帧单位下的图像的变化倾向的方法是有效的。
作为其它的辅助数据传送方法，有把构成要素的数据根据其局部性分为若干个组，传送表示是否变更各组的构成要素的值的信息的方法。可以认为根据该方法能够减少辅助数据的代码量。对于没有变更组的数据，预先确定适用在前面刚传送的值或者缺省值的规定。变更的组的构成要素的数据作为辅助数据传送。
如在变形例(4)中所示那样，LR动态信息、修正SR动态信息以及HR动态信息的构成要素没有限定。例如，也可以考虑用块单位传送LR动态信息、修正SR动的信息以及HR动态信息的种类(数据类型702)的方法。另外，如在变形例(8)或者在上述中说明过的那样，明示辅助动态信息的构成要素的数据的组合或者传送方法的模式信息也包含在构成要素的变形例中。该模式信息的传送方法不限于修正SR动态信息，对于LR动态信息或者HR动态信息也能够适用。
进而，作为构成要素的数据明示地表示在变形例(8)中所示的修正SR动态信息的利用方法的方法也是有效的，使用原图像，根据在编码一侧要求的信息，能够有效地实施解码一侧中的处理。关于该辅助动态信息的利用方法也不限于修正SR动态信息，对于LR动态信息或者HR动态信息的利用方法也能够同样适用。在利用方法的信息中，包括调整辅助动态信息的适用方法(不进行解码器中的动态搜索，反映辅助动态信息，或者用解码器调整辅助动态信息)时的调整方法(生成更细微单位的动态矢量，调整动态矢量的像素精度)。另外，还包括在变形例(8)中说明过的表示与反复处理的对应的信息(在所有的反复处理中适用辅助动态信息，仅在特定的反复次数的处理中适用)或者表示反复处理的特定次数的信息。作为表示辅助动态信息的利用方法，还可以考虑通过把表示辅助动态信息的利用目的(减少运算量，提高再生HR图像的品质)的信息传送到接收一侧，变更接收一侧中的处理的方法。
另一方面，作为其它的例子，还可以考虑对于动态矢量密度信息707，不向接收一侧传送而表示动态矢量数量的方法，或者根据块尺寸信息唯一地决定的方法。
进而，关于LR动态信息，由于有在不具有DECMV的块中新添加LRMV的方法和虽然存在DECMV但是把其值变更为不同的LRMV的方法，因此还可以考虑不是从DECMV生成而是明示地传送该LRMV利用信息。这种情况下，通过在构成要素中包括块尺寸，能够为了清晰度扩充处理而提供精度更高的动态信息。
作为HR动态信息的变形例，首先，有动态推定的方法。作为是在再生HR图像之间(变形例(9))实施，还是使用原图像HR图像实施的适应选择，通过把动态推定方法作为HR动态信息的构成要素的数据传送，能够谋求减少HR动态信息的代码量和优化再生HR图像画质。另外，关于画质改善修复处理(使用参照HR图像改善再生HR图像的画质的处理)，由于也有加权合成方法或者置换为参照HR图像的方法等若干种候选，因此通过明示地传送表示合成方法的信息能够期待再生HR图像的画质改善。
关于SR动态信息也可以考虑变形。例如，SRMV在图5中是表示LR图像与HR图像的时空对应的数据，而在图14中，是表示HR图像之间或者LR图像之间的时空对应的数据，表现方法不同。作为清晰度信息，通过以帧单位或者决单位明示地传送该差别，能够进行与局部的特征对应的画质改善，带来画质的进一步改善。因此，通过在修正SR信息的构成要素上添加该信息，代替修正SRMV进行传送，即使不传送SRMV，也能够提高SRMV的检测精度。另外，如图14或者图15所示那样，在SRMV的检测中使用的虚拟HR图像的候选中，有放大图像和参照HR图像，可以选择任一种。通过在修正SR信息的构成要素上添加用于明示地选择虚拟HR图像的种类的参照图像信息，能够预料将提高SRMV的检测精度。这时也不需要传送修正SRMV。
关于修正SR动的信息的变形例，除去上述示出的以外还可以考虑修正SRMV的清晰度信息(LR图像水平的MV或者HR图像水平的MV)。通过传送该数据，能够明示地表示适应于区域的局部特征的清晰度，另外，还可以考虑通过明示地表示有效的反复处理次数，在所指定的反复处理次数以后，向接收一侧传送不需要再次搜索该区域的SRMV的情况。根据该信息，能够抑制无效的动态搜索处理。
(11)辅助数据的应用至此为止，以修正SRMV等辅助动态矢量为中心说明了辅助动态信息的传送以及辅助动态信息。在这种情况下，通过将有用的动态矢量通知给接收一侧，在接收一侧能够生成更高品质的再生HR图像。另一方面，如果着眼于在清晰度扩充处理单元中生成的SRMV等动态矢量，则在动态矢量的生成所需要的条件，例如用于实施动态搜索的方法和条件根据预先确定的规则在接收一侧实施。以下，以动态搜索为例进行说明。在该动态搜索中，有与图像的各种特征相对应的多种方法，而在把搜索出的动态矢量向接收一侧传送的情况下，能够使用原数据在发送一侧决定用于动态搜索的最佳方法以及条件。然而，如清晰度扩充处理那样，在使用解码完毕的像素数据进行动态搜索的情况下，在不具有原数据的接收一侧需要确定其方法或者条件。因此，这里，表示在具有原始数据的编码一侧，实施用于动态搜索的理想方法以及条件的选定，把该信息作为辅助动态信息向接收一侧传送的方法。该方法由于也使用原图像数据，具有提高动态矢量的精度的效果以及缩短在动态矢量的检测中所需要的时间的效果，因此可以认为是提高再生HR图像的品质以及效率的有效方法。另外，为了在以后的处理中利用再生HR图像，需要在编码一侧和接收一侧生成相同的再生HR图像，因此需要在编码一侧和接收一侧共同具有动态搜索的方法和条件。为了实现共同具有，有在编码一侧和接收一侧预先进行动态搜索的方法或者预先决定条件的方法，而如在这里所示，通过作为辅助动态信息进行传送，能够减少与图像的局部性相对应的运算量或者提高HR图像的画质。
关于动态搜索的方法和的条件(以下，称为动态搜索条件信息)的种类或者数量，在本说明书中没有限定。关于其种类的例子，有搜索范围或者搜索方法等，详细情况在后面叙述。图13中说明动态搜索条件信息的生成方法。虽然没有图示，然而在该情况下，认为再生HR图像106也输出到超清晰动态补偿单元313。超清晰动态补偿单元313把动态搜索条件信息的候选包含在修正SR动态信息111中，输入到清晰度扩充处理单元310。在清晰度扩充处理单元310中，根据包含在修正SR动态信息111中的动态搜索条件信息，生成SR动态信息110和再生HR图像106。超清晰动态补偿单元313使用再生HR图像106和原图像HR图像，评价动态搜索条件信息(例如，评价值是绝对值差和)。对于多个动态搜索条件信息的候选实施该处理，选择评价结果为最佳的条件信息。另外，动态搜索条件信息的生成方法的决定方法不限于该方法。例如，不是再生HR图像与原图像HR图像的比较，而是把在清晰度扩充处理单元中生成的SRMV与在超清晰动态补偿单元313中生成的修正SRMV111进行比较，选择其差为最小时的动态搜索条件信息的方法也是有效的。在这种情况下，不需要向超清晰动态补偿单元313输出再生HR图像106。
关于动态搜索条件信息的传送方法，与动态矢量信息一样可以考虑若干种方法，分为帧单位或者块单位分层传送的方法也是用于减少代码量的有效方法。关于所传送的数据，可以考虑直接传送数据的方法，或者准备若干种候选，传送选择信息的方法。传送数值的方法的自由度高，但是另一方面将带来代码量的增大。因此，可以认为是在以序列单位或者帧单位等批量单位传送时可用的方法。在以块单位或者像素单位传送的情况下，基本上适用从候选中选择的方法。
这里，说明了在利用辅助动态矢量和动态搜索条件信息的清晰度扩充处理中适用的方法。而像本变形例这样，在辅助动态信息有可能包括动态搜索条件信息的情况下，作为图像区域内的局部的处理，需要根据能够利用的辅助动态矢量以及动态搜索条件信息，实施不同的处理。
在辅助动态信息包括辅助动态矢量而不包括动态搜索条件信息的情况下，清晰度扩充处理单元利用复原了的辅助动态矢量，检测其区域(块)的SRMV(HRMV)，生成再生HR图像。利用方法的详细过程由于已经在变形例(8)的修正SRMV的利用方法中说明过，因此在这里省略。作为辅助动态矢量的复原方法，如在图8的说明中所示，一般是把根据预先确定的方法所求出的预测动态矢量与通过辅助数据的解码得到的差分动态矢量相加的方法，在本申请中并不限定于如在变形例(3)中所示那样。例如，在解码了的动态矢量是通过预先确定的方法检测出的SRMV(HRMV)与最终的SRMV(HRMV)的差分动态矢量的情况下，由于即使直接编码其代码量也很少，因此能够省略预测处理。另外，关于准备多种辅助动态矢量的利用方法时的选定方法，有通过把选定信息作为辅助动态信息传送，可以明示地传送适用方法的方法，或者根据条件(例如，辅助动态信息中的构成要素的数据值)唯一决定的方法等。
在辅助动态信息包括动态搜索条件信息而不包辅助动态矢量的情况下，清晰度扩充处理单元根据解码了的动态搜索方法或者条件，检测其区域(块)的SRMV(HRMV)，在再生HR图像的生成中利用。这时，在解码了的动态搜索条件信息中没有包括所必需的所有信息的情况下，对于其信息，适用预先确定的值。例如，在比预先确定的值小的搜索范围内就足够的条件下，通过发送搜索范围的信息，具有能够减少动态搜索所需要的运算量的效果。
另外，作为辅助动态信息包括动态搜索条件信息而不包括辅助动态矢量的其它例子，可以考虑根据预先确定的动态搜索的条件信息检测出SRMV(HRMV)以后，根据解码了的条件信息修正检测出的SRMV(HRMV)的方法，或者根据解码了的动态搜索条件信息修正通过前面的反复处理检测出的SRMV(HRMV)的方法等。例如，通过传送用于修正SRMV(HRMV)的小的搜索范围，具有取得运算量与搜索性能的平衡等的效果。另外，关于具有多个动态搜索条件信息的利用方法的候选时的选定方法，有通过把选定信息作为辅助动态信息传送，能够明示地传送适用方法的方法，或者依照条件(例如，辅助动态信息中的构成要素的数据值)唯一决定的方法等。
在辅助动态信息同时包括辅助动态矢量和动态搜索条件信息的情况下，有从根据动态搜索条件信息检测出的SRMV(HRMV)和复原了的辅助动态矢量决定最终的SRMV(HRMV)的方法。在这种情况下的例子中，包括辅助动态矢量是根据动态搜索条件信息检测出的SRMV(HRMV)与最终的SRMV(HRMV)的差分矢量的情况。例如，对于动态搜索条件信息用帧单位或者片单位等大的区域单位替换，需要块单位以上的精度的动态矢量，通过仅把来自推断值的差分值进行编码能够减少代码量。在使用了动态矢量的分散性大的邻接区域中的动态矢量的动态矢量预测的性能恶化的区域中是有效的。另外，根据动态搜索条件信息以很少的运算量检测大致的动态矢量，通过把其与差分动态矢量相加这样的顺序，还具有能够减少动态搜索的运算量的效果。
作为辅助动态信息同时包括辅助动态矢量和动态搜索条件信息的其它例子，有根据动态搜索条件信息修正复原了的辅助动态矢量，把修正了的辅助动态矢量作为最终的动态矢量的方法。如果依据该方法，则对于广泛的区域(块)传送辅助动态矢量，根据动态搜索条件信息，能够把所传送的辅助动态矢量修正为更狭窄区域(块或者像素)的动态矢量。因此，能够减少代码量。进而，还有在用辅助动态信息把SRMV(HRMV)修正了以后，根据动态搜索条件信息再次调整修正SRMV(HRMV)的方法。
关于是否有辅助动态矢量以及动态搜索条件信息，可以考虑作为变形例(10)的前半部分所示那样的模式信息明示地表示的方法等。另外，关于包含在动态搜索条件信息中的方法或者条件等参数，通过分别使用分层传送能够减少代码量。
由于还有辅助动态信息既不包括辅助动态矢量也不包括动态搜索条件信息的情况，因此说明这种情况下的清晰度扩充处理的顺序的例子。其中之一是辅助动态信息包括表示其区域(块)的动态矢量在再生HR图像的生成中无效的信息的情况。在这种情况下，清晰度扩充处理单元不实施其区域(块)的SRMV(HRMV)的动态搜索，不使用其区域的SRMV(HRMV)生成再生HR图像。如果以上述非专利文献1(图1的模型)为例，则有对于矩阵C(d_lk)，代替成为不可使用的动态矢量，使用相邻像素的动态矢量，通过内插处理生成的动态矢量代用的方法，或者对于矩阵H，在使与成为不可使用的动态矢量相对应的滤波器系数为0的基础上，调整与成为不可使用的动态矢量关联的像素相对应的滤波器系数的方法。另外，作为既不包括辅助动态矢量也不包括动态搜索条件信息的其它情况，有辅助动态信息包括其区域(块)的SRMV(SRMV)的更新处理为有效的反复处理的次数的情况。在这种情况下，清晰度扩充处理单元在所指定的次数以后的反复处理中，不用再次搜索其区域的SRMV(HRMV)，实施再生HR图像的生成。
以下，表示在动态搜索中必要条件的例子。
a)动态检索方法在图2中，作为动态检测方法使用块匹配法进行了说明，而在动态搜索方法中，有梯度法(例如，专利第3271369号(作为参考献6))、像素匹配法(例如，专利第2934151号(作为参考文献7))、样板匹配法(例如特开平1-228384(作为参考文献8))等多种方法。这些方法的有效性由于根据像素内区域的特征而不同，因此通过作为动态搜索的条件向解码一侧通知适宜的方法，能够期待提高解码一侧的动态检测的性能。
b)搜索范围和搜索中心在进行动态输出时，如果搜索图像整体则需要巨大的运算量，因此通常设计搜索范围，在其范围内进行搜索。理想的输出范围由于根据图像区域的特征而不同，因此其条件对于输出结果带来的影响也很大。从而，通过明示地向解码一侧传送适当的搜索范围，能够进行无浪费的动态搜索。另外，通过适当地设定速度范围的中心，能够减小搜索范围。从而，通过向解码一侧明示地传送决定搜索中心的方法，能够提高解码一侧中的伴随动态搜索的处理效率。作为决定动态搜索中心的方法，例如有利用从邻接区域的动态搜索结果推测出的动态量的方法或者以动态量0为搜索中心的方法等。图16中表示块匹配的例子。图中，把a100作为当前帧，把a101作为搜索对象块，把a200作为参照帧，把与块a101在空间上一致的a201作为参照帧上的块。a202是a101的邻接块的动态矢量，在用于设定块a101的搜索中心a204时使用。把搜索范围a206设定在搜索中心a204的周围，通过在搜索范围内进行搜索，检测动态矢量a203和预测块a205。作为用于决定搜索中心的动态矢量，把块a101的左、上、右上的3个块的动态矢量作为候选，在编码器中的动态搜索中频繁使用从各成分的中央值构成的动态矢量。
c)搜索块尺寸关于实施动态搜索的单位，根据图像区域的特征所适宜的尺寸也不同。例如，在块匹配的情况下，准备多种搜索块尺寸，通过以序列单位、帧单位、片单位或者块单位(比搜索块尺寸大)向解码一侧传送搜索块尺寸，提高动态搜索的精度。另外，也有不是按照块单位而是把任意形状作为单位进行动态搜索的情况。在这种情况下，传送形状信息(三角片等)或者区域分割的方法等。
d)动态搜索方法在进行动态搜索时，由于如果在搜索范围内搜索整体则需要大量的运算量，因此可以考虑在搜索范围内抽样搜索的情况。从而，通过设置明示地向解码一侧传送动态搜索的方法的功能，能够调整运算量和搜索性能。作为动态搜索方法，有在搜索范围内无遗漏地进行搜索的全搜索，以纵横数像素间隔进行搜索，按照以更狭窄的像素间隔搜索检索出的位置周围这样的顺序缩小动态的树形搜索等。另外，不是在搜索范围内进行一次搜索，而是以大的块尺寸搜索大的搜索范围，根据其结果确定搜索中心，以小的块尺寸搜索更小的搜索范围这样的分层搜索作为减少运算量的方法也是有效的。另外，在该分层搜索中，需要根据层数传送搜索范围和搜索块尺寸。
e)搜索顺序关于实施动态搜索时的搜索顺序，有从左上向右下按照光栅扫描顺序在动态搜索的范围内进行搜索的方法，或者从动态搜索范围的中心向外按照螺旋顺序进行搜索的方法等若干种方法。通过明示地向解码一侧传送搜索顺序，使得在编码一侧和解码一侧都能够得到同样的结果。另外，为了实现高速，有设置中止搜索的条件的情况。关于该搜索中止条件(预测误差的阈值等)，通过明示地向解码一侧表示，也能够减少解码单元的动态搜索中需要的运算时间。
f)动态检索精度关于动态搜索中的动态检索精度，实际上在MPEG等标准方式中使用1像素精度、1/2像素精度、1/4像素精度，进而1/8像素精度等多种精度。通过向解码一侧传送该搜索精度，也能够谋求优化运算时间和画质。另外，关于实数像素的生成方法，通过向解码一侧传送其方法，能够谋求优化画质。
g)评价函数作为进行动态搜索时的评价函数，使用预测误差信号的块绝对值和、相同的差方和、预测误差信号的绝对值和以及从动态矢量代码量计算出的评价值等多种方法。关于评价函数，在具有原数据的编码一侧进行选择，向解码一侧传送，能够谋求优化运算时间和动态搜索性能。除此以外，还有动态模式(平行移动模式、仿射变换模式、投影变换模式)、动态搜索方法(前向、反向)等各种条件。
至此为止，以清晰度扩充处理为前提，示出了把在动态矢量的生成中所需要的条件进行编码/传送的方法，而向接收一侧传送在动态矢量的生成中所需要的条件的顺序在接收一侧能够没有限制地适用在生成动态矢量的装置或者软件中。例如，在解码一侧生成的视频编码等中能够适用动态矢量。图16说明在视频编码方式中，使用解码完毕的像素数据在解码一侧搜索动态矢量的方法。a200表示解码完毕的前帧，a100表示编码对象的当前帧。a100以块单位从左上向右下按照光栅扫描顺序编码，图中，表示a103的区域的块(7个块)编码/解码完毕。在搜索块a101的动态矢量时，从解码完毕区域的解码数像素数据构成样板a108，检测样板内的误差和为最小的区域a208。这时，作为动态矢量检测a203，块a205成为块a101的预测块。在编码一侧，把编码块a101与预测块a205的误差块编码，动态矢量不编码。在解码一侧，按照与编码一侧相同的条件进行动态搜索检测动态矢量。然后，通过把根据在解码一侧检测出的动态矢量生成的预测块和解码了的误差块相加，求编码块的再生值。从而，这样在解码一侧，在包括生成与动态矢量关联的信息的处理的视频编码中，在具有原数据的编码一侧决定实施动态搜索的条件，通过把该条件向解码一侧传送，能够提高编码一侧中的动态搜索的性能。关于在动态矢量的生成中所需要的条件的编码方法，分层的传送方法是有效的。图20表示一般的视频编码的数据构造。一般的视频数据由表示序列整体的编码条件的序列标题b11、表示帧单位的编码条件的帧标题b12、表示片单位的编码条件的片标题b13、表示动态矢量或者预测方法等的块单位的编码条件的块标题b14以及包括预测误差信号的编码数据的块数据b15构成。依照其局部性，通过把在动态矢量的生成中所需要的各种条件分为4种标题信息进行编码，提高编码效率。
图18和图19表示在解码一侧生成的动态矢量的视频编码的编码装置以及解码装置的例子。图18表示编码装置的结构。当前帧a100在块分割单元c102分割为编码块a101。编码块a101输入到动态搜索条件决定单元c112和减法器c103。动态搜索条件决定单元c112把在动态矢量的生成中所需要的条件的候选c115输出到动态搜索单元c114。另外，关于在动态矢量生成中所需要的条件中以序列单位或者帧单位选择的条件，事先在动态搜索条件单元使用原图像选择。作为选择方法，例如，通过对于多种条件的候选实施使用了原图像的动态搜索处理，能够选择适当的条件。动态搜索单元c114从帧存储器c111输入解码完毕的前帧a200和样板a108，根据在动态矢量的生成中所需要的条件c115，检测动态矢量a203。动态补偿单元c113从帧存储器c111的解码完毕的前帧a200抽取与动态矢量a203相对应的预测块c120，输出到动态搜索条件决定单元c112。动态搜索条件决定单元c112把与在动态矢量的生成中所需要的条件的多个候选相对应的预测块c120与输入块a101进行比较，决定预测误差绝对值和为最小的预测块a205。另外，把这时的条件作为在动态矢量的生成中所需要的条件c117输出到动态搜索条件编码单元c120。动态搜索条件编码单元c120把在动态矢量的生成中所需要的条件编码，把编码的信息输出到熵编码单元。关于编码方法没有限定，如上所述，能够使用分层构造或者分成组的方法、限定使用模式信息进行编码的构成要素的方法、直接传送数值的方法、准备多种编码信息的候选进行选择的方法、把来自从邻接块推定的预测值的差分编码等。
预测块205输出到减法器c103和加法器c108。在减法器c103中，计算输入块a101与预测块a205的误差块c104，输出到误差块编码单元c105。误差块编码单元c105进行误差块的编码处理，把误差编码数据c106输出到熵编码单元c110和误差块解码单元c107。误差块解码单元c107把误差编码数据解码，复原再生误差块c118，输出到加法器c108。加法器c108通过再生误差块c118与预测块c205的相加处理生成再生块c109，合成到帧存储器内的当前帧的再生图像上。最后，熵编码单元c110把误差编码数据c106和表示在动态矢量的生成中所需要的条件的信息c119以及各种标题信息进行合成，输出编码数据c116。
图19表示解码装置的结构。编码数据c116在熵解码单元中解码成解码数据d102，由分离单元d103分离为误差编码数据c106和表示在动态矢量的生成中所需要的条件的信息c119。表示在动态矢量的生成中所需要的条件的信息c119由动态搜索条件解码单元d109解码成在动态矢量的生成中所需要的条件c117。动态搜索单元d107从帧存储器的d106输入解码完毕的前帧a200和样板a108，根据在动态矢量的生成中所需要的条件c117，检测动态矢量a203。动态补偿单元d108从帧存储器d111的解码完毕的前帧a200抽取与动态矢量a203相对应的预测块c205，输出到加法器d105。误差块解码单元d104把误差编码数据解码，复原再生误差块c118，输出到加法器d105。加法器d105通过再生误差块c118与预测块c205的相加处理生成再生块c109，合成到帧存储器内的当前帧的再生图像上。
在视频编码的例子中，也可以考虑块共同具有动态矢量和在动态矢量的生成中所需要的条件的情况。在这种情况下，根据在动态矢量的生成中所需要的条件，解码器修正解码了的动态矢量。另外，在其它的例子中，从解码器根据在动态矢量的生成中所需要的条件生成的动态矢量和解码了的动态矢量，生成最终的动态矢量。这种情况下，解码动态矢量认为是由解码器生成的动态矢量与最终的动态矢量的差分动态矢量。这样，在接收一侧，在生成动态矢量的装置或者软件中，能够适用向接收一侧一起传送在动态矢量的生成中所需要的条件和动态矢量的方法。
在该变形例中，说明了编码装置、解码装置，而对于编码/解码处理流程也同样能够变形。另外，该变形例的图像编码处理或者图像解码处理如在图12中所说明的那样，能够通过基于程序的计算机系统实施。
图21和图22中表示实施本变形例的编码处理流程以及解码处理流程中的块处理。对于序列标题、帧标题的编码/解码省略说明，在编码处理中，在动态矢量生成中所需要的条件中，把以帧单位以及序列单位传送的信息按照它们的单位进行选择。作为选择的方法，如在图18的说明中所示的那样，利用使用了原图像的动态搜索。在解码处理中，把序列标题、帧标题的编码数据解码后保存，在进行各块的解码处理时使用。
图21中说明实施本变形例的编码处理流程的块处理。在块编码开始处理c201以后，在处理c202中，输入下一个编码块。在处理c203中，选定在动态矢量的生成中所需要的条件的候选。在处理204中，根据该条件，如图17所示那样，使用解码完毕的图像和样板检测动态矢量。在处理c205中，从解码完毕的图像取得与动态矢量相对应的预测块。在处理c206中，评价编码块与预测块的预测误差绝对值和。关于在动态矢量的生成中所需要的条件的多个候选，反复进行处理c203到处理c206，选择预测误差绝对值和最小时的动态矢量生成条件和预测块。在处理c207中，把编码块与预测块的各像素相减，生成误差块。在处理c208中，把误差块编码(例如，离散余弦变换、量化)。在处理c209中，把误差块解码(例如，量化变换系数的反量化和反离散余弦变换)。在处理c210中，把解码了的误差块与预测块相加，复原解码块。在处理c211中，把误差块的编码信息(量化变换系数)和在处理c206中选择的表示在动态矢量的生成中所需要的条件的信息进行熵编码，生成编码数据，在处理c212中结束块编码处理。
在图22中说明实施本实施例的解码处理流程的块处理。在块解码的开始处理d201以后，在处理d202中，输入与下一个解码块相对应的编码数据。在处理d203中，把解码数据进行熵解码，取得在动态矢量的生成中所需要的条件和误差块的编码信息。在处理d204中，根据该条件，如图17所示，使用解码完毕的图像和样板检测动态矢量。在处理d205中，从解码完毕的图像取得与动态矢量相对应的预测块。在处理d206中，把误差块的编码信息解码(例如，量化系数的反量化和反离散余弦变换)。在处理d207中，把解码了的误差块与预测块相加，复原解码块，在处理d208中结束块编码处理。
除去动态矢量以外，对于在解码一侧生成参照帧、预测模式(单向预测、双向预测)、预测块的生成方法(从2个预测块生成1个预测块的方法)等与动态矢量有关的信息的情况，在编码一侧决定用于生成这些信息所需要的条件，通过把该信息传送到解码一侧，能够提高其信息的生成性能。另外，还包括一次生成的用于修正这些信息的条件。
权利要求
1.一种图像解码装置，其特征在于，具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；基于由上述辅助数据解码单元得到的辅助动态信息，生成表示上述多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度高于上述多个再生图像的高清晰图像的清晰度扩充单元。
2.根据权利要求1所述的图像解码装置，其特征在于上述辅助动态信息包括辅助动态矢量，上述清晰度扩充单元把上述辅助动态矢量用作为上述动态矢量。
3.根据权利要求1所述的图像解码装置，其特征在于上述辅助动态信息包括辅助动态矢量，上述清晰度扩充单元使用上述多个再生图像检测中间动态矢量，通过该中间动态矢量与上述辅助动态矢量的加法处理生成上述动态矢量。
4.根据权利要求1所述的图像解码装置，其特征在于上述辅助动态信息包括辅助动态矢量，上述清晰度扩充单元把上述辅助动态矢量作为上述动态矢量的初始动态矢量，通过使用上述多个再生图像更新上述初始动态矢量，生成上述动态矢量。
5.根据权利要求1所述的图像解码装置，其特征在于上述辅助动态信息包括作为为了生成上述动态矢量所需要的条件的动态矢量生成条件，上述清晰度扩充单元基于上述动态矢量生成条件从上述多个再生图像生成上述动态矢量。
6.一种图像编码装置，其特征在于，具备把高清晰图像变换为低清晰图像的图像取样单元；把由上述图像取样单元生成的多个低清晰图像压缩编码，生成编码视频数据的视频数据编码单元；把由上述视频数据编码单元生成的编码视频数据解码，得到再生低清晰图像的视频数据解码单元；使用上述高清晰图像或者上述低清晰图像，生成在上述动态矢量的生成中所需要的辅助动态信息的辅助动态信息生成单元；基于由上述辅助动态信息生成单元所生成的辅助动态信息，生成表示通过上述视频数据解码单元得到的多个再生低清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述多个再生低清晰图像，生成再生高清晰图像的清晰度扩充单元；把由上述辅助动态信息生成单元生成的辅助动态信息作为辅助数据进行编码的辅助数据编码单元。
7.一种图像解码装置，其特征在于，具备接收编码数据，进行熵解码，得到作为为了生成动态矢量所需要的条件的动态矢量生成条件和表示预测误差图像信号的编码信息的编码数据解码单元；用于保存解码图像信号的图像存储器；基于由上述编码数据解码单元得到的动态矢量生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢量的动态矢量生成单元；使用由上述动态矢量生成单元生成的动态矢量和上述解码图像信号，生成预测图像信号的预测图像信号生成单元；把由上述编码数据解码单元得到的编码信息进行解码，得到预测误差图像信号的解码单元；把由上述预测图像信号生成单元生成的预测图像信号与由上述解码单元得到的预测误差图像信号相加，复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存单元。
8.一种图像编码装置，其特征在于，具备把输入图像信号进行输入的输入单元；用于保存解码图像信号的图像存储器；基于由上述输入单元所输入的输入图像信号，决定作为为了生成动态矢量所需要的条件的动态矢量生成条件的动态矢量生成条件决定单元；基于由上述动态矢量生成条件决定单元所决定的动态矢量生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢量的动态矢量生成单元；使用由上述动态矢量生成单元生成的动态矢量和上述解码图像信号，生成预测图像信号的预测图像信号生成单元；从由上述输入单元输入的输入图像信号和由上述预测图像信号生成单元生成的预测图像信号，生成预测误差图像信号的预测误差图像信号生成单元；把由上述预测误差图像信号生成单元生成的预测误差图像信号编码，得到编码信息的编码信息取得单元；把由上述编码信息取得单元取得的编码信息解码，得到解码预测误差图像信号的局部解码单元；从由上述预测图像信号生成单元所生成的预测图像信号和由上述局部解码单元得到的解码预测误差图像信号，复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存单元；把由上述动态矢量生成条件决定单元所决定的动态矢量生成条件和由上述编码信息取得单元取得的编码信息进行熵编码，生成编码数据的编码数据生成单元。
9.一种图像解码装置，其特征在于，具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；生成表示由上述视频数据解码单元所得到的多个再生图像与1张高清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述多个再生图像，生成空间清晰度比上述多个再生图像高的高清晰图像的清晰度扩充单元，上述清晰度扩充单元反复实施基于由上述辅助数据解码单元所得到的辅助动态信息和先前生成的高清晰图像生成上述动态矢量的动态矢量生成处理、从所生成的动态矢量和上述多个再生图像生成高清晰图像的高清晰图像生成处理。
10.根据权利要求9所述的图像解码装置，其特征在于上述清晰度扩充单元在上述动态矢量生成处理和高清晰图像生成处理的反复处理中，每次基于上述辅助动态信息实施上述动态矢量生成处理。
11.根据权利要求9所述的图像解码装置，其特征在于上述辅助动态信息包括在表示上述动态矢量生成处理和高清晰图像生成处理的反复处理中的特定次的特定次数信息，上述清晰度扩充单元在上述特定次信息所表示的特定次数的动态矢量生成处理中，实施基于上述辅助动态信息的动态矢量生成处理。
12.一种图像解码装置，其特征在于，具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；用于保存清晰度扩充完毕的高清晰图像的图像存储器；生成表示上述多个再生图像之间时空对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度比上述多个再生图像高的第1高清晰图像，使用所生成的第1高清晰图像和保存在上述图像存储器中的高清晰图像生成第2高清晰图像的清晰度扩充单元；把由上述清晰度扩充单元生成的第1或者第2高清晰图像保存在上述图像存储器中的图像保存单元。
13.一种图像解码装置，其特征在于，具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；用于保存清晰度扩充完毕的高清晰图像的图像存储器；生成表示上述多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度比上述多个再生图像高的第1高清晰图像，基于由上述辅助数据解码单元得到的辅助动态信息，使用所生成的第1高清晰图像和保存在上述图像存储器中的高清晰图像生成第2高清晰图像的清晰度扩充单元；把由上述清晰度扩充单元生成的第1或者第2高清晰图像保存在上述图像存储器中的图像保存单元。
14.一种图像解码装置，其特征在于，具备接收视频编码数据进行解码，得到多个再生图像和再生动态矢量的视频数据解码单元；接收辅助数据进行解码，得到在上述再生动态矢量的修正中所需要的辅助动态信息的辅助数据解码单元；生成表示多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度比上述多个再生图像高的高清晰图像的清晰度扩充单元，上述清晰度扩充单元把基于由上述辅助数据解码单元得到的辅助动态信息修正的再生动态矢量作为上述动态矢量的初始动态矢量，通过使用上述多个再生图像把上述初始动态矢量更新，生成上述动态矢量。
15.一种图像解码方法，其特征在于，具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码步骤；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码步骤；基于在上述辅助数据解码步骤中得到的辅助动态信息，生成表示上述多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和在上述视频数据解码步骤中得到的多个再生图像，生成空间清晰度高于上述多个再生图像的高清晰图像的清晰度扩充步骤。
16.一种图像编码方法，其特征在于，具备把高清晰图像变换为低清晰图像的图像取样步骤；把在上述图像取样步骤中生成的多个低清晰图像压缩编码，生成编码视频数据的视频数据编码步骤；把在上述视频数据编码步骤中生成的编码视频数据解码，得到再生低清晰图像的视频数据解码步骤；使用上述高清晰图像或者上述低清晰图像，生成在上述动态矢量的生成中所需要的辅助动态信息的辅助动态信息生成步骤；基于在上述辅助动态信息生成步骤中生成的辅助动态信息，生成表示在上述视频数据解码步骤中得到的多个再生低清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述多个再生低清晰图像生成再生高清晰图像的清晰度扩充步骤；把在上述辅助动态信息生成步骤中生成的辅助动态信息作为辅助数据进行编码的辅助数据编码步骤。
17.一种图像解码方法，其特征在于，具备接收编码数据进行熵解码，得到作为为了生成动态矢量所需要的条件的动态矢量生成条件和表示预测误差图像信号的编码信息的编码数据解码步骤；基于在上述编码数据解码步骤中得到的动态矢量生成条件，从保存在图像存储器中的解码图像信号生成动态矢量的动态矢量生成步骤；使用在上述动态矢量生成步骤中生成的动态矢量和上述解码图像信号，生成预测图像信号的预测图像信号生成步骤；把在上述编码数据解码步骤中得到的编码信息进行解码，得到预测误差图像信号的解码步骤；把在上述预测图像信号生成步骤中生成的预测图像信号和在上述解码步骤中得到的预测误差图像信号相加，复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存步骤。
18.一种图像编码方法，其特征在于，具备把输入图像信号进行输入的输入步骤；基于在上述输入步骤中所输入的输入图像信号，决定作为为了生成动态矢量所需要的条件的动态矢量生成条件的动态矢量生成条件决定步骤；基于在上述动态矢量生成条件决定步骤中所决定的动态矢量生成条件，从保存在图像存储器中的解码图像信号生成动态矢量的动态矢量生成步骤；使用在上述动态矢量生成步骤中生成的动态矢量和上述解码图像信号，生成预测图像信号的预测图像信号生成步骤；从在上述输入步骤中输入的输入图像信号和在上述预测图像信号生成步骤中生成的预测图像信号，生成预测误差图像信号的预测误差图像信号生成步骤；把在上述预测误差图像信号生成步骤中生成的预测误差图像信号编码，得到编码信息的编码信息取得步骤；把在上述编码信息取得步骤中得到的编码信息解码，得到解码预测误差图像信号的局部解码步骤；从在上述预测图像信号生成步骤中所生成的预测图像信号和在上述局部解码步骤中得到的解码预测误差图像信号，复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存步骤；把在上述动态矢量生成条件决定步骤中所决定的动态矢量生成条件和在上述编码信息取得步骤中得到的编码信息进行熵编码，生成编码数据的编码数据生成步骤。
19.一种图像解码程序，其特征在于使设置在图像解码装置中的计算机发挥以下各单元的作用，这些单元是接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；基于由上述辅助数据解码单元得到的辅助动态信息，生成表示上述多个再生图像之间的空间对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度高于上述多个再生图像的高清晰图像的清晰度扩充单元。
20.一种图像编码程序，其特征在于使设置在图像编码装置中的计算机发挥以下各单元的作用，这些单元是把高清晰图像变换为低清晰图像的图像取样单元；把由上述图像取样单元生成的多个低清晰图像压缩编码，生成编码视频数据的视频数据编码单元；把由上述视频数据编码单元生成的编码视频数据解码，得到再生低清晰图像的视频数据解码单元；使用上述高清晰图像或者上述低清晰图像，生成在上述动态矢量的生成中所需要的辅助动态信息的辅助动态信息生成单元；基于由上述辅助动态信息生成单元所生成的辅助动态信息，生成表示通过上述视频数据解码单元得到的多个再生低清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述多个再生低清晰图像，生成再生高清晰图像的清晰度扩充单元；把由上述辅助动态信息生成单元生成的辅助动态信息作为辅助数据进行编码的辅助数据编码单元。
21.一种图像解码程序，其特征在于，使设置在图像解码装置中的计算机发挥以下各单元的作用，这些单元是接收编码数据，进行熵解码，得到作为为了生成动态矢量所需要的条件的动态矢量生成条件和表示预测误差图像信号的编码信息的编码数据解码单元；用于保存解码图像信号的图像存储器；基于由上述编码数据解码单元得到的动态矢量生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢量的动态矢量生成单元；使用由上述动态矢量生成单元生成的动态矢量和上述解码图像信号，生成预测图像信号的预测图像信号生成单元；把由上述编码数据解码单元得到的编码信息进行解码，得到预测误差图像信号的解码单元；把由上述预测图像信号生成单元生成的预测图像信号与由上述解码单元得到的预测误差图像信号相加，复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存单元。
22.一种图像编码程序，其特征在于，使设置在图像编码装置中的计算机发挥以下各单元的作用，这些单元是把输入图像信号进行输入的输入单元；用于保存解码图像信号的图像存储器；基于由上述输入单元所输入的输入图像信号，决定作为为了生成动态矢量所需要的条件的动态矢量生成条件的动态矢量生成条件决定单元；基于由上述动态矢量生成条件决定单元所决定的动态矢量生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢量的动态矢量生成单元；使用由上述动态矢量生成单元生成的动态矢量和上述解码图像信号，生成预测图像信号的预测图像信号生成单元；从由上述输入单元输入的输入图像信号和由上述预测图像信号生成单元生成的预测图像信号，生成预测误差图像信号的预测误差图像信号生成单元；把由上述预测误差图像信号生成单元生成的预测误差图像信号编码，得到编码信息的编码信息取得单元；把由上述编码信息取得单元取得的编码信息解码，得到解码预测误差图像信号的局部解码单元；从由上述预测图像信号生成单元所生成的预测图像信号和由上述局部解码单元得到的解码预测误差图像信号，复原解码图像信号，把该解码图像信号保存在上述图像存储器中的保存单元；把由上述动态矢量生成条件决定单元所决定的动态矢量生成条件和由上述编码信息取得单元取得的编码信息进行熵编码，生成编码数据的编码数据生成单元。
全文摘要
本发明提供图像解码装置、图像解码程序、图像解码方法、图像编码装置、图像编码程序以及图像编码方法。其中，图像解码装置具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；基于由辅助数据解码单元得到的辅助动态信息，生成表示多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由视频数据解码单元得到的多个再生图像，生成空间清晰度高于多个再生图像的高清晰图像的清晰度扩充单元。
文档编号H04N7/46GK1777287SQ20051012046
公开日2006年5月24日 申请日期2005年11月18日 优先权日2004年11月19日
发明者铃木芳典, 文仲丞, 陈朝庆 申请人:株式会社Ntt都科摩