图像运动估计方法和装置的制造方法
【技术领域】
[0001]本发明涉及数字图像及视频处理技术领域，尤其涉及一种图像运动估计方法和装置。
【背景技术】
[0002]在多种涉及显示设备的多媒体处理系统中，图像的运动估计效果对图像的降噪、去隔行、超分辨率重建等一系列算法和技术起着决定性的作用。
[0003]现有在通行的方式是采用块匹配的方法，即:通过运动补偿来寻找视频中时间轴上相邻图像之间最相似的块，之后在块与块之间进行比较，进而获得像素的相似性以及相应的运动矢量。在块与块之间进行比较时，通常在块内使用固定位置的局部纹理和细节分析。
[0004]但是，在块内使用固定位置的局部纹理分析，容易对大量非相似但在这些固定位置上相似的块产生误判，从而影响最终获得的图像的像素相似性和运动矢量判断的准确性。
【发明内容】
[0005]本发明实施例解决的问题是如何提高图像的像素相似性和运动矢量判断的准确性。
[0006]为解决上述问题，本发明实施例提供一种图像运动估计方法，包括:
[0007]获取当前输入图像和所述当前输入图像的参考图像，所述参考图像和当前输入图像均为二维矩阵并且具有相同尺寸；
[0008]将所述当前输入图像中以包含当前处理像素的满足第一预设条件的第一图像块，与所述参考图像中满足第二预设条件的第二图像块中每一个当前参考图像块，基于所述第一图像块中的随机选取位置，及所述当前参考图像块中与所述随机选取位置相同的位置，分别采用预设的同样的局部纹理特征提取方法提取局部纹理特征，进行局部纹理分析，并将分析结果进行比较，获得与所述当前处理像素最相似的像素的运动相似度，以及所述当前处理像素与所述当前处理像素最相似的像素之间的运动矢量，直至获得所述当前输入图像中每个像素的最相似的像素的运动相似度，以及每个像素与其最相似的像素之间的运动矢量；其中，所述第二图像块包含与所述第一图像块位置相同的第三图像块，所述当前参考图像块为满足所述第一预设条件的图像块；
[0009]按照与所述当前输入图像的像素相同的排列方式，输出对于所述当前输入图像的每个像素相应的相似度形成的相似度矩阵，以及与每个像素相应的运动矢量形成的运动矢量矩阵。
[0010]可选的，所述第一预设条件包括:所述第一图像块的形状为矩形，尺寸为AxB;所述第二预设条件包括:所述第二图像块的形状为矩形，尺寸为MxN。
[0011]可选的，所述对于当前输入图像中以包含当前处理像素的满足第一预设条件的第一图像块，与所述参考图像中满足第二预设条件的第二图像块中每一个当前参考图像块，基于所述第一图像块中的随机选取位置，及所述当前参考图像块中与所述随机选取位置相同的位置，分别采用预设的同样的局部纹理特征提取方法提取局部纹理特征，进行局部纹理分析，并将分析结果进行比较，获得与所述当前处理像素最相似的像素的运动相似度，以及所述当前处理像素与所述当前处理像素最相似的像素之间的运动矢量，包括:
[0012]生成随机数i和j，其中，I彡i彡A，I彡j彡B ;
[0013]以当前处理像素的坐标(P，q)为中心，提取尺寸为AxB的第一图像块；
[0014]按照预设顺序从所述第二图像块中依次提取尺寸为AxB的每一个当前参考图像块，并记录所述当前参考图像块的中心点的坐标(w，k)；
[0015]选择所述随机数i和j所对应的坐标作为所述第一图像块中的随机选取位置，分别基于所述第一图像块中的随机选取位置，以及所述当前参考图像块中与所述随机选取位置相同的位置，分别采用预设的同样的局部纹理特征提取方法，获得第一组特征值和第二组特征值，将所述第一组特征值与所述第二组特征值中的相应特征值分别进行比较，将比较结果按照预设规则进行第一运算，获得所述第二图像块中以坐标(w，k)为中心点的当前参考图像块相对于所述第一图像块的当前参考运动估计值；遍历所述第二图像块中的每一个参考图像块，采用上述方式分别与所述第一图像块进行运动估计，直至获得所述第二图像块中的所有当前参考图像块相对于所述第一图像块的当前参考运动估计值；其中，所述局部纹理特征提取方法与1、j或者与i和j的组合相关，所述第一组特征值表征所述第一图像块的局部纹理特征，所述第二组特征值表征所述当前参考图像块的局部纹理特征；
[0016]获取所述第二图像块中所有当前参考图像块相对于所述第一图像块的当前参考运动估计值中的最小值，作为所述当前输入图像的当前处理像素的坐标(P，q)的运动相似度，并记录所述最小值对应的所述当前参考图像块的中心点的坐标(w0，k0)，获取当前处理像素的坐标(P，q)相应的垂直运动矢量和水平运动矢量。
[0017]可选的，所述生成随机数i和j，包括:将所述当前处理像素的坐标(P，q)中P的值、q的值，或P和q两个值作为输入，或者将所述当前输入图像的帧数，所述图像的尺寸至少其中之一作为输入，生成所述随机数i和j。
[0018]可选的，在将所述当前输入图像中的第一图像块与所述参考图像中的参考图像块，分别采用预设的同样的局部纹理特征提取方法提取纹理特征，进行局部纹理分析之前，还包括:分别将所述第一图像块和所有当前参考图像块进行二维低通滤波。
[0019]可选的，分别基于所述第一图像块中的随机选取位置，以及所述当前参考图像块中与所述随机选取位置相同的位置，分别采用预设的同样的局部纹理特征提取方法，获得第一组特征值和第二组特征值，将所述第一组特征值与所述第二组特征值中的相应特征值分别进行比较，将比较结果按照预设规则进行第一运算，获得所述第二图像块中以坐标(w，k)为中心点的当前参考图像块的当前参考运动估计值,包括:
[0020]将所述低通第一图像块中心点的像素值与低通当前参考图像块中心点的像素值作差并取绝对值，得到一个块级差异值；
[0021]将所述低通第一图像块的每一个像素值分别与所述低通当前参考图像块的具有相同坐标的相应像素值作差并取绝对值，然后将在所有坐标下求得的差的绝对值进行归一化处理，得到一个全局像素差异值；
[0022]将所述低通第一图像块第i行以及第j列上的每个像素值依次与在所述低通当前参考图像块第i行及第j列上的每个具有相同坐标的像素值分别作差并取绝对值，将第i行上像素值所有差的绝对值的和除以所述第一图像块的宽度B，获得一个水平像素差异值，将第j列上像素值所有差的绝对值的和除以所述第一图像块的高度A，获得一个垂直像素差异值;
[0023]将所述块级差异值、全局像素差异值、水平像素差异值和垂直像素差异值按照预设规则进行线性或者非线性运算，得到所述当前输入图像的当前处理像素(P，q)和以(w，k)为中心点的当前参考图像块的当前参考估计值。
[0024]可选的，所述将所述块级差异值、全局像素差异值、水平像素差异值和垂直像素差异值按照预设规则进行线性或者非线性运算，包括:将所述块级差异值、全局像素差异值、水平像素差异值和垂直像素差异值进行加权叠加。
[0025]可选的，所述获取当前处理像素的坐标(p，q)相应的垂直运动矢量和水平运动矢量，包括:当所述最小值唯一时，所述当前处理像素坐标(P, q)相应的垂直运动矢量为(ρ-wO),水平运动矢量为(q_k0)。
[0026]可选的，所述获取当前处理像素的坐标(p，q)相应的垂直运动矢量和水平运动矢量，包括:当所述最小值的个数大于I时，将所有最小值所对应的第二图像块中当前参考图像块的中心点坐标(w0, k0)进行第二运算,得到一个最终坐标(w_avg, k_avg),进而得到所述当前处理像素坐标(P，q)相应的垂直运动矢量为(pi_avg)，水平运动矢量为(q_k_avg) ο
[0027]可选的，所述将所有最小值所对应的第二图像块中当前参考图像块的中心点坐标(w0, k0)进行第二运算，包括:将所有最小值所对应的坐标(w0，k0)与(p，q)计算欧几理德距离，将获得的最小的欧几里德距离的坐标(w0，k0)作为最终坐标(w_avg，k_avg)。
[0028]可选的，所述第一预设条件包括:所述第一图像块的形状为圆形，半径为Rl ;所述第二预设条件包括:所述第二图像块的形状为圆形，半径为R2。
[0029]为解决上述问题，本发明实施例还提供了一种图像运动估计装置，所述装置包括:
[0030]获取单元，用于获取当前输入图像和所述当前输入图像的参考图像，所述参考图像和当前输入图像均为二维矩阵并且具有相同尺寸；
[0031]运动估计单元，用于将所述当前输入图像中以包含当前处理像素的满足第一预设条件的第一图像块，与所述参考图像中满足第二预设条件的第二图像块中每一个当前参考图像块，基于所述第一图像块中的随机选取位置，及所述当前参考图像块中与所述随机选取位置相同的位置，分别采用预设的同样的局部纹理特征提取方法提取局部纹理特征，进行局部纹理分析，并将分析结果进行比较，获得与所述当前处理像素最相似的像素的运动相似度，以及所述当前处理像素与所述当前处理像素最相似的像素之间的运动矢量，直至获得所述当前输入图像中每个像素的最相似的像素的运动相似度，以及每个像素与其最相似的像素之间的运动矢量；其中，所述第二图像块包含与所述第一图像块位置相同的第三图像块，所述当前参考图像块为满足所述第一预设条件的图像块；
[0032]输出单元，用于按照与所述当前输入图像的像素相同的排列方式，输出对于所述当前输入图像的每个像素相应的相似度形成的相似度矩阵，以及与每个像素相应的运动矢量形成的运动矢量矩阵。
[0033]可选的，所述第一预设条件包括:所述第一图像块的形状为矩形，尺寸为AxB ;所述第二预设条件包括:所述第二图像块的形状为矩形，尺寸为MxN。
[0034]可选的，所述运动估计单元包括:
[0035]随机数生成子单元，用于生成随机数i和j，其中