自适应解隔行方法、装置以及图像处理系统的制作方法
【专利摘要】本发明实施例公开了一种自适应解隔行方法、装置及图像处理系统，所述方法包括：选取目标插值场图像上目标缺省行中的目标插值像素；选取以目标插值像素为中心的多个邻域；根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值；根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值；根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定目标插值像素的插值。与现有技术相比，该方法可以准确地对缺失像素局部图像内容的静止和运动进行判断，从而可以解决现有技术进行解隔行而存在误判的问题。
【专利说明】自适应解隔行方法、装置以及图像处理系统
[0001]技术邻域
[0002]本发明涉及图像处理领域，特别是涉及一种自适应解隔行方法、装置以及图像处理系统。
【背景技术】
[0003]对于隔行数字视频信号，一场隔行图像中，只有奇行或偶行的一半图像信息，即奇场图像只含有图像的奇数扫描行，偶场图像只含有图像的偶数扫描行。如图1所示，奇场图像内包含的奇行有:奇行1、奇行3、奇行5、……，其中:奇行与奇行之间为缺失的偶行。如图2所示，偶场图像内包含的偶行有:偶行2、偶行4、偶行6、……，其中:偶行与偶行之间为缺失的奇行。
[0004]当奇场图像和偶场图像交替传输时，就形成了隔行视频流信号。如图2所示，图中，奇场图像和偶场图像按照图2上方的时间轴进行交替传输，实线表示奇场或偶场图像中的图像内容行，而虚线表 示缺失行，可以看到，奇场的缺失行在空间上的位置是处于该奇场的前一偶场中的一条内容行与该奇场的后一偶场中的一条内容行之间，类似的偶场中的缺失行在空间上的位置也是处于该偶场的前一奇场中的一条内容行与该偶场的后一奇场中的一条内容行之间。例如，奇场图像i中的缺失行a处于偶场图像1-Ι的内容行b和偶场图像i+Ι的内容行c之间，而偶场图像1-Ι中的缺失行d处于奇场图像i的内容行e和奇场图像i_2的内容行f之间。
[0005]传统的运动自适应解隔行方法中，对于静止的图像使用3D的信息进行插值。这里，3D意思是指当前图像场的前场图像或后场图像的信息，也称为场间信息。例如:如果奇场图像i的缺失行a中的一个缺失像素局部的图像内容未发生变化，那么该缺失像素就可以用偶场图像i_l的内容行b中相应的像素或偶场图像i+Ι的内容行c中相应的像素来代替。
[0006]而对于运动的图像则进行2D的信息进行插值，这里，2D的意思是指当前图像的场内信息。例如:如果该缺失像素局部的图像正在发生变化，那么该缺失像素就可以用奇场图像i中的场内信息来进行插值，通常这种2D场内信息指的是缺失行a的上方内容行和下方内容行。
[0007]然而，在实际的视频处理中，经常会遇到一些情况，对缺失像素局部图像内容的静止和运动，或者说缺失像素局部图像内容的变化与否，都不能简单而清楚的作出判断，从而无法确定应当使用3D信息还是2D信息来进行缺失像素的插值。例如:当一幅静止图像上有噪音时，由于噪音的影响我们无法认为图像是完全静止的，因为噪音使图像在不停发生变化，但如果我们这时误判图像为运动从而采用2D信息进行插值，那么我们就会看到一些拥有较强的纵向高频分量的地方，如横线或横向边缘会发生闪烁。或者，当一幅图像中有运动变化的物体，但该物体的像素值与图像背景的像素值十分接近时，采用传统的运动自适应解隔行方法，就有可能因像素值变化太小而将其误判为静止画面，从而使用3D信息来还原缺失像素，这样就会在本来运动的物体边缘出现梳子状的解隔行瑕疵，这种瑕疵由于其呈现一缕一缕的形态也常被称为“拉丝”。
【发明内容】
[0008]本发明实施例中提供了一种自适应解隔行方法、装置以及图像处理系统，以解决现有技术进行解隔行而存在误判的问题。
[0009]为了解决上述技术问题，本发明实施例公开了如下技术方案:
[0010]第一方面，本申请实施例提供了一种自适应解隔行方法，包括:选取目标插值场图像上目标缺省行中的目标插值像素；选取以所述目标插值像素为中心的多个邻域；根据多个邻域内的像素计算所述目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值；根据多个邻域内的像素计算所述目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值；根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定所述目标插值像素的插值。
[0011]在第一方面第一种可能的实现方式中，所述选取以所述目标插值像素为中心的多个邻域，包括:沿时间轴方向选取与所述目标插值场图像相连续的三个参考场图像，所述目标插值场位于两个参考场图像之间；在所述目标插值场图像和三个所述参考场图像中选取与目标缺省行相邻的多个图像内容行；确定每个图像内容行所在的一个邻域，每个邻域以所述目标插值像素为中心并包含一个图像内容行中的连续像素。
[0012]结合第一方面第一种可能实现方式，在第一方面第二种可能的实现方式中，所述根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值，包括:选取在时间轴方向上间隔一个场图像且位置相对应两个图像内容行所在的邻域作为第一邻域组，所述第一邻域组有多组；计算每个第一邻域组中在时间轴方向上且位置相对应像素点的绝对差；将所有第一邻域组中像素点的绝对差最大值确定为目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值。
[0013]结合第一方面第一种可能实现方式，在第一方面第三种可能的实现方式中，所述根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值，包括:计算每个图像内容行所在邻域内像素的像素平均值；选取在纵向方向具有间隔的两个图像内容行所在的邻域作为第二邻域组，所述第二邻域组有多组；计算每个第二邻域组中像素平均值的绝对差；将所有第二邻域组中像素平均值的绝对差最小值确定为目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值。
[0014]在第一方面第四种可能的实现方式中，所述根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定目标插值像素的插值，包括:根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定一个线性相关系数；利用包含所述线性相关系数、场间信息和场内信息的线性表达式计算目标插值像素的插值。
[0015]第二方面，本申请实施例提供了一种自适应解隔行装置，包括:目标插值像素选取单元，用于选取目标插值场图像上目标缺省行中的目标插值像素；邻域选取单元，用于选取以目标插值像素为中心的多个邻域；时间轴方向变化计算单元，根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值；纵向方向变化计算单元，用于根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值；目标插值确定单元，用于根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定目标插值像素的插值。
[0016]在第二方面第一种可能的实现方式中，所述邻域选取单元，包括:参考场图像选取单元，用于沿时间轴方向选取与所述目标插值场图像相连续的三个参考场图像，所述目标插值场位于两个参考场图像之间；图像内容行选取单元，用于在所述目标插值场图像和三个所述参考场图像中选取与目标缺省行相邻的多个图像内容行；邻域确定单元，用于确定每个图像内容行所在的一个邻域，每个邻域以所述目标插值像素为中心并包含一个图像内容行中连续像素。
[0017]结合第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述时间轴方向变化计算单元，包括:第一邻域组选取单元，用于选取在时间轴方向上间隔一个场图像且位置相对应两个图像内容行所在的邻域作为第一邻域组，所述第一邻域组有多组；第一邻域组像素点绝对差计算单元，用于计算每个第一邻域组中在时间轴方向上且位置相对应像素点的绝对差；第一时间轴方向变化最大值确定单元，用于将所有第一邻域组中像素点的绝对差最大值确定为目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值。
[0018]结合第二方面第一种可能的实现方式，在第二方面第三种可能的实现方式中，所述纵向方向变化计算单元，包括:像素平均值计算单元，用于计算每个图像内容行所在邻域内像素的像素平均值；第二邻域组选取单元，用于选取在纵向方向具有间隔的两个图像内容行所在的邻域作为第二邻域组，所述第二邻域组有多组；第二邻域组像素平均值绝对差计算单元，用于计算每个第二邻域组中像素平均值的绝对差；第一纵向方向变化最小值确定单元，用于将所有第二邻域组中像素平均值的绝对差最小值确定为目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值。
[0019]在第一方面第四种可能的实现方式中，所述目标插值确定单元，包括:线性相关系数确定单元，用于根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定一个线性相关系数；目标插值计算单元，用于利用包含所述线性相关系数、场间信息和场内信息的线性表达式计算目标插值像素的插值。
[0020]第三方面，本申请实施例还提供了一种自适应解隔行装置，包括:目标插值像素选取单元，用于选取目标插值场图像上目标缺省行中的目标插值像素；邻域选取单元，用于选取以目标插值像素为中心的多个邻域；时间轴方向变化计算单元，根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值；纵向方向变化计算单元，用于根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值；目标插值确定单元，用于根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定目标插值像素的插值。
[0021]由以上技术方案可见，本发明实施例提供的该自适应解隔行方法、装置以及图像处理系统中，不仅考虑了目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化，即图像局部的内容变化，而且还还考虑了目标插值像素所在的局部空间和局部时间内图像在纵向方向变化，即图像局部的纵向频率变化，并且根据图像局部的内容变化和图像局部的纵向频率变化综合确定目标差值像素的插值。与现有技术相比，该方法可以准确地对缺失像素局部图像内容的静止和运动进行判断，从而可以解决现有技术进行解隔行而存在误判的问题。【专利附图】
【附图说明】
[0022]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0023]图1隔行视频流的奇场图像；
[0024]图2为隔行视频流的偶场图像；
[0025]图3为隔行视频流信号；
[0026]图4为本申请实施例提供的一种自适应解隔行方法的流程示意图；
[0027]图5为隔行视频流进行视频场缓存的不意图；
[0028]图6为本申请实施例提供的选取多个邻域的一种流程示意图；
[0029]图7为本申请实施例提供的一种局部像素结构图；
[0030]图8为本申请实施例提供的图像沿时间轴方向变化的最大值的一种流程示意图；
[0031]图9为本申请实施例提供的图像在纵向方向变化的最小值的一种流程示意图；
[0032]图10为本申请实施例提供的确定目标插值像素的插值的流程示意图；
[0033]图11为本申请实施例提供的另一种局部像素结构图；
[0034]图12为本申请实施例提供的选取多个邻域的另一种流程示意图；
[0035]图13为本申请实施例提供的图像沿时间轴方向变化的最大值的另一种流程示意图；
[0036]图14为本申请实施例提供的图像在纵向方向变化的最小值的另一种流程示意图；
[0037]图15为本申请实施例提供的一种自适应解隔行装置；
[0038]图16为本申请实施例提供的邻域选取单元的一种结构示意图；
[0039]图17为本申请实施例提供的时间轴方向变化计算单元的一种结构示意图；
[0040]图18为本申请实施例提供的纵向方向变化计算单元的一种结构示意图；
[0041]图19为本申请实施例提供的目标插值确定单元的一种结构示意图；
[0042]图20为本申请实施例提供的邻域确定单元的一种结构示意图；
[0043]图21为本申请实施例提供的时间轴方向变化计算单元的另一种结构示意图；
[0044]图22为本申请实施例提供的纵向方向变化计算单元的另一种结构示意图。
【具体实施方式】
[0045]为了使本技术邻域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
[0046]一个实施例:
[0047]参见图4，示出了本申请实施例提供的一种自适应解隔行方法的流程示意图，可以包括以下步骤:
[0048]S401:选取目标插值场图像上目标缺省行中的目标插值像素。
[0049]接收隔行视频流，将隔行视频流按照视频场分别进行缓存，得到视频流的多个场图像，如图5所示，场图像包括:1-n，……，1-2，1-1，i，i+1，i+2，……，i+n。在多个场图像中选取一个作为目标插值场图像，并且在目标插值场图像闪选取目标缺省行。由于隔行扫描是依次对奇数行或偶数行进行扫描，所以在解隔行时，需要确定目标插值场图像中的目标缺省行，目标缺省行中的像素为待插值的像素，在目标缺省行中任意选择一个像素作为目标插值像素。
[0050]S402:选取以目标插值像素为中心的多个邻域。
[0051]在本申请实施例中，如图6所示，步骤S402可以包括:
[0052]S601:沿时间轴方向选取与目标插值场图像相连续的三个参考场图像。
[0053]所述目标插值场位于两个参考场图像之间。图7为本申请实施例提供的一种局部像素结构图。在本申请实施例中，利用至少4个连续场的图像数据。如果使用图7中上方的时间轴，那么这4场为目标插值场i,目标插值场i的前一场i_l，目标插值场i的后一场i+Ι,以及目标插值场i的后方第二场i+2。如果使用图7中下方的时间轴，那么这4场为目标插值场i，目标插值场i的后一场i+Ι，目标插值场i的前一场1-Ι,以及目标插值场i的前方第二场i_2。这两种局部的场选取方法都可以。本申请实施例中，以图7中上方的时间轴为准。
[0054]S602:在目 标插值场图像和三个参考场图像中选取与目标缺省行相邻的多个图像内容行。
[0055]如图7所示，W为目标插值场i中目标插值像素，其所在的缺失行称为目标插值行X。目标插值行X上方的图像内容行为B，下方的图像内容行为C。另外，使用图7中上方的时间轴，目标插值场i的前一场1-Ι中与目标插值行X位置对应的图像内容行为A，目标插值场i的后一场i+Ι中与目标插值行X位置对应的图像内容行为D,目标插值场i的后方第二场i+2中与目标插值场i中内容行B位置对应的图像内容行为E，而目标插值场i的后方第二场i+2中与目标插值场i中内容行C位置对应的图像内容行为F。在本申请实施例中，6个是图像内容行的最少个数，在其他实施例中，图像内容行的个数为可以大于6个。
[0056]S603:确定每个图像内容行所在的一个邻域。
[0057]每个邻域以目标插值像素为中心并包含一个图像内容行中的连续像素。
[0058]如图7所示，在目标插值行X中包含的目标插值像素W选取一个邻域称为W的X邻域，该邻域在图像内容行A，B，C，D，E和F中对应位置的区域分别被称为W的a邻域，W的b邻域，W的c邻域，WWd邻域，W的e邻域，及W的f邻域。本申请实施例中，对邻域的选择要求为=W的X邻域为包含目标插值像素W的连续像素集。在优选情况下，W的X邻域是以目标插值像素W为中心并包含目标插值行X中连续像素的一个邻域。这样，与W的X邻域对应的W的a邻域，WWb邻域，W的c邻域，WWd邻域，WWe邻域，及W的f邻域即分别为以目标插值像素W的位置相对应的像素为中心并包含图像内容行A，B，C，D，E及F中连续像素的邻域。另外，这些邻域的大小，即包含像素的多少可以根据实际情况由用户来决定，在本申请中可以不做限定。
[0059]S403:计算目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的
最大值。
[0060]在本申请实施例中，如图8所示，步骤S403可以包括:
[0061]S801:选取在时间轴方向上间隔一个场图像且位置相对应两个图像内容行所在的邻域作为第一邻域组。
[0062]从图7中可以看到，在本申请实施例中，第一邻域组中的两个邻域在时间轴方向上有间隔，这样第一邻域组中两个邻域内的图像才可以反应出图像沿时间轴方向上的变化。另外，从图7中可以看到，第一邻域组可以有多组，例如:由be、ce、ad组成的三组。
[0063]S802:计算每个第一邻域组中在时间轴方向上且位置相对应像素点的绝对差。
[0064]目标插值像素W的局部运动绝对差的物理含义是:发生在目标插值像素W附近的局部空间及局部时间内的图像内容沿时间轴方向的变化程度，所以需要首先计算第一个邻域组在时间轴方向上且位置相对应像素点的绝对差。
[0065]S803:将所有第一邻域组中像素点的绝对差最大值确定为目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值。
[0066]根据上面目标插值像素W的局部运动绝对差的物理含义，可以利用计算得到的绝对差最大值作为目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值。
[0067]S404:计算目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值。
[0068]在本申请实施例中，如图9所示，步骤S404可以包括:
[0069]S901:计算每个图像内容行所在邻域内像素的像素平均值。
[0070]S902:选取在纵向方向具有间隔的两个图像内容行所在的邻域作为第二邻域组。
[0071]与第一邻域组类似，在本申请实施例中，如图7所示，第二邻域组也可以包括多组，例如:由ab、ac、bc、......等等。
[0072]S903:计算每个第二邻域组中像素平均值的绝对差。
[0073]S904:将所有第二邻域组中像素平均值的绝对差最小值确定为目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值。
[0074]在图像处理中，纵向频率是与图像内容在竖直方向上的差异紧密相关的，也就是说图像内容在竖直方向上的差异越大，则该处纵向频率就越大。所以，在本申请实施例中，可以利用发生在目标插值像素W处的局部空间及局部时间内的图像内容在竖直方向上的变化来描述局部纵向频率信息。
[0075]S405:确定目标插值像素的插值。
[0076]在本申请实施例中，如图10所示，步骤S405可以包括:
[0077]SlOl:根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定一个线性相关系数。
[0078]S102:利用包含线性相关系数、场间信息和场内信息的线性表达式计算目标插值像素的插值。
[0079]在本申请实施例中，线性相关系数应当满足的条件为:当图像沿时间轴方向变化的最大值越大，目标插值像素的插值越偏重于场内信息，反之，目标插值像素的插值越偏重于场间信息；当图像在纵向方向变化的最小值越大，目标插值像素的插值越偏重于场间信息，反之，目标插值像素的插值越偏重于场内信息。
[0080]由以上技术方案可见，本发明实施例提供的该自适应解隔行方法，不仅考虑了目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化，即图像局部的内容变化，而且还还考虑了目标插值像素所在的局部空间和局部时间内图像在纵向方向变化，即图像局部的纵向频率变化，并且根据图像局部的内容变化和图像局部的纵向频率变化综合确定目标差值像素的插值。与现有技术相比，该方法可以准确地对缺失像素局部图像内容的静止和运动进行判断，从而可以解决现有技术进行解隔行而存在误判的问题。
[0081]另一个实施例:
[0082]在上一实施例中，在选取以目标插值像素为中心的多个邻域时，在图像内容行A，B，C，D，E和F分别选取了一个邻域，并且在后续计算目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化和计算目标插值像素所在的局部空间和局部时间内图像在纵向方向变化，均是以选取的6个邻域内的像素为依据。
[0083]在本申请实施例中，还可以采用另一种方式来选取邻域。
[0084]图11为本申请实施例提供的另一种局部像素结构图。参见图12，在本申请实施例中，上述实施例中提供的步骤S402还可以包括:
[0085]S604:确定每个图像内容行所在的运动分析邻域和纵向频率分析邻域。
[0086]在本申请实施例中，在选取W的X邻域时，可以选取两个邻域，如图11所示，可以分别标记为W的Xl邻域和W的X2邻域。W的两个X邻域也可以是包含关系，例如W的Xl邻域属于W的X2邻域，或W的X2邻域属于W的Xl邻域。W的两个X邻域也可以是相交关系，即W的Xl邻域与W的X2邻域不相等，有交集，并不相包含。
[0087]在本申请实施例中，对W的Xl邻域及W的X2邻域的选取不做额外的限定，只要它们都是由包括W的连续像素组成即可。这样，与W的Xl邻域和W的X2邻域相对应，在本申请实施例中还可以在内容行A，B, C，D，E和F上分别定义W的Al邻域和W的A2邻域，W的BI邻域和W的B2邻域，W的Cl邻域和W的C2邻域，W的Dl邻域和W的D2邻域，W的El邻域和W的E2邻域，及W的Fl邻域和W的F2邻域。在优选下，W的Xl邻域和W的X2邻域均以W为中心，并且W的Xl邻域等于W的X2邻域，其它W的各个I邻域和W的各个2邻域在优选情况下都依此方式选择。
[0088]另外，在本申请实施例中，W的各个I邻域(A1、B1、C1、D1、E1和Fl)也被称为W的运动分析邻域，而W的各个2邻域(A2、B2、C2、D2、E2和F2)也被称为W的纵向频率分析邻域，并且运动分析邻域和纵向频率分析邻域内的像素不相同。
[0089]在上述图12所示方法实施例的基础上,如图13所示,在本申请实施例中，上述实施例中的步骤S403可以包括:
[0090]S151:选取在时间轴方向上间隔一个场图像且位置相对应两个图像内容行所在的运动分析邻域作为运动分析邻域组；
[0091]S152:计算每个运动分析邻域组中在时间轴方向上且位置相对应像素点的绝对差;
[0092]S153:将所有运动分析邻域组中像素点的绝对差最大值确定为标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值。
[0093]设W的各个运动分析邻域组含有N个像素，而W的各个纵向频率分析邻域含有M个像素。N和M的缺省值均为7。这样，W的Al邻域，即W的A运动分析邻域组中的像素记为Al (I)，Al⑵，…，Al (N)。类似的，W的BI邻域，即W的B运动分析邻域组中的像素为BI (I)，BI (2)，…，BI (N) ；ff的Cl邻域，即W的C运动分析邻域组中的像素为Cl (I)，Cl (2)，...，Cl (N) ；ff的Dl邻域，即W的D运动分析邻域组中的像素为Dl (I)，Dl (2)，...，Dl (N) ；ff的El邻域，即W的E运动分析邻域组中的像素为El (I)，El (2)，...，El (N) ；ff的Fl邻域，即W的F运动分析邻域组中的像素为Fl (I)，Fl (2)，…，Fl (N)。
[0094]在本申请实施例中，提供了一种计算所有运动分析邻域组中像素点的绝对差最大值的方法作作为范例。
[0095]DiffAD=Hiax {| Al (I) - Dl (I) |，| Al (2) - Dl ⑵ |，…，| Al (N) - Dl (N) } (I)
[0096]DiffBE=max {I BI (I) -El(I) , BI (2) - El (2),…，Bl(N) -El(N) } (2)
[0097]DiffCF=max {I Cl (I) -Fl(I) , Cl (2) - Fl (2),…，Cl (N) -Fl(N) } (3)
[0098]Diff=max{DifTAD，DifTBE，DifTCF} (4)
[0099]可以看出，Diff是目标插值像素W局部发生的图像沿时间轴运动变化的最大值。因为Diff的计算使用了目标插值像素W在空间上和时间上附近的像素，所以这里的“局部”既包括了空间上也包括了时间上的含义。在空间上，“局部”就代表了 W的各个运动分析邻域。而在时间上，“局部“代表了目标插值像素W位于的场i及其前后的场1-Ι，场i+Ι和场i+2 (依照图7中上方的时间轴)。这里的Diff是符合上面提到的目标插值像素W的局部运动绝对差的物理含义的。
[0100]在上述图12所示方法实施例的基础上,如图14所示,在本申请实施例中，上述实施例中的步骤S404可以包括:
[0101]S161:计算每个图像内容行所在的纵向频率分析邻域内像素的像素平均值；
[0102]S162:选取在纵向方向具有间隔的两个图像内容行所在的纵向频率分析邻域作为纵向频率分析邻域组；
[0103]S163:计算每个纵向频率分析邻域组中像素平均值的绝对差；
[0104]S164:将所有纵向频率分析邻域组中像素平均值的绝对差最小值确定为目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值。
[0105]与上述图13所示实施例中类似，W的A2邻域，即W的A纵向频率分析邻域中的像素为A2 (I)，A2⑵，…，A2 (M) ；ff的B2邻域，即W的B纵向频率分析邻域中的像素为B2⑴，B2⑵，…，B2 (M) ；ff的C2邻域，即W的C纵向频率分析邻域中的像素为C2⑴，C2⑵，…，C2 (M) ；ff的D2邻域，即W的D纵向频率分析邻域中的像素为D2⑴，D2⑵，…，D2 (M) ；ff的E2邻域，即W的E纵向频率分析邻域中的像素为E2⑴，E2⑵，…，E2 (M) ；ff的F2邻域，即W的F纵向频率分析邻域中的像素为F2(1)，F2(2),...，F2 (M)。
[0106] 在下面的叙述中，我们提供了一种方法作为范例。进行如下的计算:
[0107]
M
//vg// = [,42(i)/M(5)
i=l
[0108]
M
A\gBIM(6)
i=l
[0109]
【权利要求】
1.一种自适应解隔行方法，其特征在于，包括: 选取目标插值场图像上目标缺省行中的目标插值像素； 选取以所述目标插值像素为中心的多个邻域； 根据多个邻域内的像素计算所述目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值； 根据多个邻域内的像素计算所述目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值； 根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定所述目标插值像素的插值。
2.根据权利要求1所述的方法，其特征在于，所述选取以所述目标插值像素为中心的多个邻域，包括: 沿时间轴方向选取与所述目标插值场图像相连续的三个参考场图像，所述目标插值场位于两个参考场图像之间； 在所述目标插值场图像和三个所述参考场图像中选取与目标缺省行相邻的多个图像内容行； 确定每个图像内容行所在的一个邻域，每个邻域以所述目标插值像素为中心并包含一个图像内容行中的连续像素。
3.根据权利要求2所述的方法，其特征在于，所述根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值，包括: 选取在时间轴方向上间隔一个场图像且位置相对应两个图像内容行所在的邻域作为第一邻域组，所述第一邻域组有多组； 计算每个第一邻域组中在时间轴方向上且位置相对应像素点的绝对差； 将所有第一邻域组中像素点的绝对差最大值确定为目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值。
4.根据权利要求2所述的方法，其特征在于，所述根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值，包括: 计算每个图像内容行所在邻域内像素的像素平均值； 选取在纵向方向具有间隔的两个图像内容行所在的邻域作为第二邻域组，所述第二邻域组有多组； 计算每个第二邻域组中像素平均值的绝对差； 将所有第二邻域组中像素平均值的绝对差最小值确定为目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值。
5.根据权利要求2所述的方法，其特征在于，所述选取以目标插值像素为中心的多个邻域，还包括: 确定每个图像内容行所在的运动分析邻域和纵向频率分析邻域，所述运动分析邻域和纵向频率分析邻域都以插值像素为中心并包含一个图像内容行中的连续像素，所述运动分析邻域和纵向频率分析邻域内的像素不相同。
6.根据权利要求5所述的方法，其特征在于，所述根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值，包括:选取在时间轴方向上间隔一个场图像且位置相对应两个图像内容行所在的运动分析邻域作为运动分析邻域组，所述运动分析邻域组有多组； 计算每个运动分析邻域组中在时间轴方向上且位置相对应像素点的绝对差； 将所有运动分析邻域组中像素点的绝对差最大值确定为标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值。
7.根据权利要求5所述的方法，其特征在于，所述根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值，包括: 计算每个图像内容行所在的纵向频率分析邻域内像素的像素平均值； 选取在纵向方向具有间隔的两个图像内容行所在的纵向频率分析邻域作为纵向频率分析邻域组，所述纵向频率分析邻域组有多组； 计算每个纵向频率分析邻域组中像素平均值的绝对差； 将所有纵向频率分析邻域组中像素平均值的绝对差最小值确定为目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值。
8.根据权利要求1所述的方法，其特征在于，所述根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定目标插值像素的插值，包括: 根据图像沿时间轴方向变化的最大值`和图像在纵向方向变化的最小值，确定一个线性相关系数； 利用包含所述线性相关系数、场间信息和场内信息的线性表达式计算目标插值像素的插值，当所述图像沿时间轴方向变化的最大值越大，目标插值像素的插值越偏重于场内信息，反之，目标插值像素的插值越偏重于场间信息；当所述图像在纵向方向变化的最小值越大，目标插值像素的插值越偏重于场间信息，反之，目标插值像素的插值越偏重于场内信肩、O
9.一种自适应解隔行装置，其特征在于，包括: 目标插值像素选取单元，用于选取目标插值场图像上目标缺省行中的目标插值像素； 邻域选取单元，用于选取以所述目标插值像素为中心的多个邻域； 时间轴方向变化计算单元，根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值； 纵向方向变化计算单元，用于根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值； 目标插值确定单元，用于根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定所述目标插值像素的插值。
10.根据权利要求9所述的装置，其特征在于，所述邻域选取单元，包括: 参考场图像选取单元，用于沿时间轴方向选取与所述目标插值场图像相连续的三个参考场图像，所述目标插值场位于两个参考场图像之间； 图像内容行选取单元，用于在所述目标插值场图像和三个所述参考场图像中选取与目标缺省行相邻的多个图像内容行； 邻域确定单元，用于确定每个图像内容行所在的一个邻域，每个邻域以所述目标插值像素为中心并包含一个图像内容行中连续像素。
11.根据权利要求10所述的装置，其特征在于，所述时间轴方向变化计算单元，包括:第一邻域组选取单元，用于选取在时间轴方向上间隔一个场图像且位置相对应两个图像内容行所在的邻域作为第一邻域组，所述第一邻域组有多组； 第一邻域组像素点绝对差计算单元，用于计算每个第一邻域组中在时间轴方向上且位置相对应像素点的绝对差； 第一时间轴方向变化最大值确定单元，用于将所有第一邻域组中像素点的绝对差最大值确定为目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值。
12.根据权利要求10所述的装置，其特征在于，所述纵向方向变化计算单元，包括: 像素平均值计算单元，用于计算每个图像内容行所在邻域内像素的像素平均值； 第二邻域组选取单元，用于选取在纵向方向具有间隔的两个图像内容行所在的邻域作为第二邻域组，所述第二邻域组有多组； 第二邻域组像素平均值绝对差计算单元，用于计算每个第二邻域组中像素平均值的绝对差; 第一纵向方向变化最小值确定单元，用于将所有第二邻域组中像素平均值的绝对差最小值确定为目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值。
13.根据权利要求10 所述的装置，其特征在于，所述邻域确定单元包括: 运动分析邻域确定单元，用于确定每个图像内容行所在的运动分析邻域； 纵向频率分析邻域确定单元，用于确定每个图像内容行所在的纵向频率分析邻域； 所述运动分析邻域和纵向频率分析邻域都以插值像素为中心并包含一个图像内容行中的连续像素，所述运动分析邻域和纵向频率分析邻域内的像素不相同。
14.根据权利要求13所述的装置，其特征在于，所述时间轴方向变化计算单元，包括: 运动分析邻域组选取单元，用于选取在时间轴方向上间隔一个场图像且位置相对应两个图像内容行所在的运动分析邻域作为运动分析邻域组，所述运动分析邻域组有多组；运动分析邻域组像素点绝对差计算单元，用于计算每个运动分析邻域组中在时间轴方向上且位置相对应像素点的绝对差； 第二时间轴方向变化最大值确定单元，用于将所有运动分析邻域组中像素点的绝对差最大值确定为标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值。
15.根据权利要求13所述的装置，其特征在于，所述纵向方向变化计算单元，包括: 像素平均值计算单元，用于计算每个图像内容行所在的纵向频率分析邻域内像素的像素平均值； 纵向频率分析邻域组选取单元，用于选取在纵向方向具有间隔的两个图像内容行所在的纵向频率分析邻域作为纵向频率分析邻域组，所述纵向频率分析邻域组有多组； 纵向频率分析邻域组像素平均值绝对差计算单元，计算每个纵向频率分析邻域组中像素平均值的绝对差； 第二纵向方向最小值确定单元，用于将所有纵向频率分析邻域组中像素平均值的绝对差最小值确定为目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值。
16.根据权利要求9所述的装置，其特征在于，所述目标插值确定单元，包括: 线性相关系数确定单元，用于根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定一个线性相关系数；目标插值计算单元，用于利用包含所述线性相关系数、场间信息和场内信息的线性表达式计算目标插值像素的插值，当所述图像沿时间轴方向变化的最大值越大，目标插值像素的插值越偏重于场内信息，反之，目标插值像素的插值越偏重于场间信息；当所述图像在纵向方向变化的最小值越大，目标插值像素的插值越偏重于场间信息，反之，目标插值像素的插值越偏重于场内信息。
17.一种图像处理系统，其特征在于，包括自适应解隔行装置，所述自适应解隔行装置包括: 目标插值像素选取单元，用于选取目标插值场图像上目标缺省行中的目标插值像素； 邻域选取单元，用于选取以目标插值像素为中心的多个邻域； 时间轴方向变化计算单元，根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像沿时间轴方向变化的最大值； 纵向方向变化计算单元，用于根据多个邻域内的像素计算目标插值像素所在的局部空间和局部时间内图像在纵向方向变化的最小值； 目标插值确定单元，用于根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定目标插值像素的插值。
18.根据权利要求17所述的系统，其特征在于，所述邻域选取单元，包括: 参考场图像选取单元，用于沿时间轴方向选取与所述目标插值场图像相连续的三个参考场图像，所述目标插值场位于两个参考场图像之间； 图像内容行选取单元，用于在所述目标插值场图像和三个所述参考场图像中选取与目标缺省行相邻的多个图像内容行； 邻域确定单元，用于确定 每个图像内容行所在的一个邻域，每个邻域以所述目标插值像素为中心并包含一个图像内容行中连续像素。
19.根据权利要求17所述的系统，其特征在于，所述目标插值确定单元，包括: 线性相关系数确定单元，用于根据图像沿时间轴方向变化的最大值和图像在纵向方向变化的最小值，确定一个线性相关系数； 目标插值计算单元，用于利用包含所述线性相关系数、场间信息和场内信息的线性表达式计算目标插值像素的插值，当所述图像沿时间轴方向变化的最大值越大，目标插值像素的插值越偏重于场内信息，反之，目标插值像素的插值越偏重于场间信息；当所述图像在纵向方向变化的最小值越大，目标插值像素的插值越偏重于场间信息，反之，目标插值像素的插值越偏重于场内信息。
【文档编号】H04N7/01GK103458213SQ201310419890
【公开日】2013年12月18日 申请日期:2013年9月13日 优先权日:2013年9月13日
【发明者】朱舸 申请人:华为技术有限公司