瞬态信息的信号分析和生成的制作方法

瞬态信息的信号分析和生成的制作方法
【专利摘要】一种信号处理器接收设置信息。该设置信息指定用于给定元素存在于其中的多个图像的序列中的每个图像的给定元素的设置。信号处理器还接收针对序列中的每个图像指定给定元素的每个设置的估计精度的精度元数据。基于设置信息和精度元数据，信号处理器生成用于给定元素的设置值。如果针对给定元素产生的设置值是相对稳定的，并且因此与给定元素的当前设置相比可能是用于给定元素的设置的更好的表示，则信号处理器出于编码的目的利用生成的设置值而不是当前设置。
【专利说明】瞬态信息的信号分析和生成

【背景技术】
[0001]常常发生的是数字化信号展示出相同底层信息的若干后续样本(以非限制性示例的方式，其可能是2D图像、3D体积图像或者甚至展示出超过三个维度的元素平面)，创建多维信号(例如，以非限制性示例的方式，表示后续2D图像序列的3D信号或者表示3D/体积图像序列的4D信号等)，其中，对于其维度T中的一个(例如，以非限制性示例的方式，时基信号中的时间维度)而言，我们可以在若干后续样本上假设一定程度的信号稳定性。非限制性现实示例将是计算机断层成像扫描中的后续切片、MRI扫描中的后续体积图像、运动图片中的后续帧等。
[0002]由于现实传感器和传输信道的性质，相同底层信息的不同样本将展示出不同的特性是很有可能的。例如，特定样本可能由于在其他样本中并不存在的运动模糊或者由于采样时的略有不同的福射强度(或光条件)或由于传感器中的热噪声或由于信道中的传输误差等而展示出与先前和/或后续样本相比略有不同的相同底层信息的值。类似效果的最终结果是与将需要或期望的相比在稳定性假设的情况下沿着维度T的信号元素的较高统计变化性。
[0003]原本应对于不同的帧而言相同的元素设置的变化性产生大量的详细信息(例如，不必要的强度/色彩变化、错误色彩的平面元素等)，其难以与信号中的“实际”且必要的细节区别开，并且其可以使进一步的信号处理(例如，运动估计、内容识别等)复杂化。


【发明内容】

[0004]将瞬态/不必要信息(“瞬态层”)与稳定/相关信息(“核心信号”)分离的能力可能是有用的。例如，根据本文中的实施例的稳定对比瞬态信息的分离允许人们改善数字化信号对真实性的固有遵守(也促进进一步处理)。另外，稳定对比瞬态信息的分离使得能够实现信号的更好压缩，因为瞬态信息的信息熵的量(其通常不可根据相邻样本来预测)趋向于比稳定信息(其即使非常详细，通常也能够从相邻样本至少部分地预测)的信息熵的量高。
[0005]本文中的实施例相对于常规系统和方法有所不同。例如,本文中的实施例包括提供用以将稳定信息(“核心信号”)与信号中的瞬态信息(“瞬态信息”或“瞬态层”)分离的新的且独特的方法。
[0006]更具体地，如在本文中所讨论的在本文中有时称为STS的稳定-瞬态分离器是能够应用于任何多维信号的通用方法，其中，稳定性假设可应用于诸如维度T之类的至少一个维度(即，可以将信号的设置假设为沿着所述维度T是相对稳定的)。在一个实施例中，如本文所讨论的STS或信号处理器使得能够将核心信号与瞬态信息分离，同时在核心信号中保留组成实际/相关信息的所有细节。根据一个实施例的STS还允许提取瞬态层的特性(例如，噪声的谱分布等)，使得在必要时有可能重构具有与原始瞬态层类似特性(不一定相同)的瞬态层。
[0007]存在与从信号识别和/或去除不必要瞬态信息(例如，噪声、胶片颗粒、高度可变细节等)相关联的一个或多个优点。例如，从设置识别并去除瞬态分量能够帮助减少从一个图像到下一个或者甚至在同一图像内的元素设置的信息熵。减少信息熵减少了为了对信号的再现进行编码所需的数据量。另外，从设置识别并去除瞬态/噪声分量能够使得有可能对信号的更准确和更高质量的再现进行编码。
[0008]为了简单起见且为了描述本发明的缘故，本文所示的实施例指的是3D时基信号，并且在其他特定情况下指的是设置的2D平面序列(例如，适当色彩空间中的2D图像序列)。然而，如本文所讨论的概念能够应用于任何其他类型的多维信号，不一定是时基的，其中至少一个维度T (例如，时间)适合于稳定性假设，即能够将信号的设置假设为沿着一个或多个所述维度是相对稳定的。
[0009]例如，本文中的实施例可以包括对运动的补偿，并且除在阈值以上的变化之外，信号沿着维度T针对若干后续样本保持类似的值。本质上，可以将信号假设为沿着维度T具有一定程度的可预测性。对于其中信号相对稳定的假设并未有效的维度而言，我们假设我们不愿意丢失详细信息，即使其沿着那些维度是非常局部的和/或与信号的其他部分是非相关的。
[0010]特别地，我们将把序列中的每个2D平面称为“位置t上的信号样本”，其中，t是维度T中的适当位置。
[0011]本文中的一个实施例包括信号处理器，其被配置成针对位置t上的信号的样本的每个元素产生移动平均值，该移动平均值被计算为信号的相邻样本中的相应元素的测量的加权平均。
[0012]在一个实施例中，用基于精度的权重对移动平均值加权，将信号的每个平面样本的统计性质考虑在内。例如，瞬态信息的统计性质并未针对信号的每个样本被假设为是恒定的，因此来自不同样本的测量在移动平均值中被不同地加权。
[0013]在进一步更加特定的实施例中，对被认为具有较高精度的样本指派较高权重值。如果位置T上的元素的设置(即，其相应设置)的测量与其相应的移动平均值相差在阈值量以上，则将用于该元素的移动平均值设置重置，使得其从位置T开始。因此，缓冲器或移动平均值映射可以包括指示用于序列中的每个元素的一个或多个元素设置稳定或不稳定的程度的信息。
[0014]根据进一步实施例，信号处理器利用与一个或多个元素相关联的移动平均值的映射，以便在不对先前包括在原始信号中的瞬态信息进行编码的情况下产生信号(“核心信号”)的样本的新再现。可以单独地分析和存储瞬态信息(例如，通过从原始样本减去样本的“核心信号”再现而获得)。在某些情况下，在必要时可以使得瞬态信息可用于进一步使用。
[0015]在再另一实施例中，信号处理器分析在信号中识别的瞬态信息的属性。信号处理器可以将瞬态信息的本质捕捉为是特定类型的数学分布。如果期望的话，可以在没有瞬态信息的情况下对信号进行编码。重现信号的再现的解码器能够将数据解码以在没有所识别的瞬态信息的情况下产生信号的再现。如所述，在一个实施例中，信号处理器能够根据与所识别的瞬态信息相关联的特定类型的数学分布而在信号中添加回瞬态信息(根据由信号处理器识别的属性)。
[0016]原始信号(包括瞬态信息)和该信号的相应重现版本(包括基于特定类型的数学分布而生成的瞬态信息)可能不是相同的，因为瞬态信号并未在与存在于原始信号中的瞬态信息完全相同的位置上和/或以相同的设置被添加回到信号中。然而，原始信号和重现信号的本质将看起来相当类似。
[0017]在另一实施例中，可以在反馈环路中使用移动平均值的映射以便更新与信号的每个样本相关联的精度信息。
[0018]在再进一步实施例中，可以利用准确辅助映射(例如，提供用于信号的每个样本的每个元素的运动矢量/预测矢量的运动映射/预测映射，其指示从一个样本到另一个的变换)以便放松针对维度T假设的稳定性假设。在此类实施例中，在利用移动平均值的映射以产生没有瞬态信息的信号样本的新再现之前对其进行运动补偿。
[0019]根据进一步更加特定的实施例，利用与运动矢量相关联的值(例如，以非限制性示例的方式，每个运动矢量的半径和/或与每个运动矢量相关联的置信度水平/精度)以便影响移动平均值的映射。例如，图像(例如，视频帧)序列可以包括表示移动对象的一个或多个元素。运动映射包括指示图序列中的一个或多个对象的移动的信息。用于给定对象的图像中的元素设置可以是相同的，即使表示对象的元素的x-y位置从一个图像至下一个移动。所谓的运动映射(例如，运动矢量信息)可以用来识别并跟踪对象从一个图像到下一个的移动。
[0020]本文中的实施例包括监视并分析表示从序列中的一个平面(例如，视频帧等)到下一个的移动对象的元素。在一个实施例中，运动映射信息指定元素的移动。与图像相关联的设置信息(例如，在适当色彩空间、诸如YUV、RGB、HSV等中的显示设置信息)指示指派给移动元素的设置。对于每个元素而言，可以将信号处理器配置成确定用于给定移动元素的设置方面的变化是否合计为瞬态信息(例如，获取噪声、胶片颗粒、高度可变细节等)或者其是否由于场景的变化而发生。
[0021]根据再进一步实施例，信号处理器接收设置信息。该设置信息针对其中存在给定元素的多个图像的序列中的每个图像(例如，平面、帧等)指定给定元素的设置。信号处理器还接收针对序列中的每个图像指定给定元素的每个设置的估计精度的精度元数据。基于设置信息和精度元数据，信号处理器生成用于给定元素的设置值。在一个实施例中，设置值是随时间推移而缓慢变化的移动平均值。该设置值可以指示用于给定元素的设置在图像中的一个或多个上稳定的程度。
[0022]在一个示例性实施例中，如果针对给定元素产生的设置值或移动平均值是相对稳定的且因此可能与给定元素的当前设置相比是用于给定元素的设置的更好表示，则信号处理器针对每个图像在多个图像的序列上利用已生成设置值(例如，少了瞬态信息的元素设置或者“生成的稳定值”)替代给定元素的当前设置作为对用于图像序列中的一个或多个图像的给定元素的设置进行编码的基础。
[0023]与给定元素的各设置相关联的估计精度信息可以是统计测量，其指示多个设置中的各设置可包括瞬态信息的显著分量(例如，噪声、胶片颗粒等)的概率或程度。在一个实施例中，至少部分地基于先前图像的已生成稳定值而计算用于给定图像的元素的此类估计精度?目息。
[0024]根据进一步实施例，信号处理器至少部分地基于用于序列中的每个图像的给定元素的每个设置的估计精度的和而向用于图像序列的给定元素的稳定设置值(例如，移动平均值)指派相应的精度值。
[0025]在更特定的实施例中，当向给定元素生成稳定设置值时，信号处理器对每个设置应用权重因数；该权重因数至少部分地基于用于给定元素的设置的估计精度而改变。信号处理器将经加权的设置加和以产生用于给定元素的设置值。因此，本文中的实施例可以包括基于序列中的设置的不同加权而生成用于给定元素的设置值。
[0026]根据进一步实施例，信号处理器可以针对与正在分析的给定元素相关联的设置或样本的窗口将权重因数归一化。例如，根据另一实施例，信号处理器在向设置应用权重因数之前将权重因数归一化。
[0027]在再另一实施例中，如所述的，图像序列上的用于给定元素的稳定设置值是基于用于序列中的每个图像的给定元素的设置的加权而计算的移动平均值。如所述，应用于设置的加权的量值至少部分地根据每个设置的估计精度而改变。
[0028]可以针对给定元素存在于其中的每个附加样本图像而更新用于给定元素的稳定设置值。例如，在一个实施例中，信号处理器可以接收指派给用于在图像的先前分析序列之后沿着维度T的下一邻近图像的给定元素的下一设置值和相应精度值。信号处理器基于用于下一邻近图像的给定元素的下一设置的加权和已指派设置值的组合来更新指派给给定元素的设置值。
[0029]用于给定元素的设置值可从一个图像到下一个剧烈地改变。这可能由于若干原因而发生，诸如(在视频图像的情况下)照明条件的变化、元素所属的实体的性质的变化或者由图像捕捉的场景的变化。在此类实施例中，可以基于在用于给定元素的稳定设置值所基于的图像初始序列之后的另一图像的属性而将移动平均值或设置值重置或者替换地更新。
[0030]例如，根据第一样本情况，假设信号处理器接收指派给用于在序列之后的后续图像的给定元素的下一设置值和相应精度值。信号处理器生成差值，其指示用于给定元素的先前生成设置值(用于一个或多个图像的窗口)和下一设置值(在图像窗口之后的下一图像中)之间的差。信号处理器将该差值与阈值的值相比较。响应于检测到该差值小于阈值的值，信号处理器至少部分地基于给定元素的已生成设置值与下一设置的加权的组合来更新指派给给定元素的设置值。
[0031]替换地，根据第二示例性情况，假设信号处理器接收指派给用于在图像序列之后的下一邻近图像的给定元素的下一设置值和相应精度值。如所述，信号处理器可以生成差值，其指示用于给定元素的已生成设置值(用于窗口图像)和下一设置值(在图像窗口之后的下一图像中)之间的差。信号处理器将该差值与阈值的值相比较。在本示例中，响应于检测到该差值大于阈值的值，信号处理器将缓冲设置值重置，并将用于给定元素的设置值更新成等于下一设置值。因此，当该差在阈值的值以上时，信号处理器不顾先前的设置。
[0032]请注意，给定元素可以表示存在于序列中的每个图像的不同位置坐标处的实体(例如，对象)。可以将信号处理器配置成利用与图像序列相关联的运动矢量信息来识别序列的每个图像中的给定元素的不同位置坐标。运动矢量信息指示图像序列中的实体的移动。
[0033]附加于或者作为根据元素设置精度的量值而生成权重因数的替换，本文中的实施例可以包括至少部分地基于与运动矢量信息相关联的精度元数据而生成应用于设置的加权的量值。与运动矢量相关联的精度元数据可以指示运动矢量准确的程度。
[0034]如先前所述，可以使用针对一个或多个图像的序列中的每个图像生成的稳定设置值或移动平均值来对信号进行编码，这与使用用于每个图像中的给定元素的原始设置相反。这潜在地减少了对信号进行编码所需的数据量，常常同时改善了所感知的信号质量。换言之，本文中的实施例可以包括表征瞬态信息(例如，噪声、胶片颗粒、高度可变细节等)，并用减少量的瞬态信息对信号进行编码。
[0035]本文中的实施例还可以包括分析图像设置中的变化以识别该设置中的瞬态分量的属性并用减少的瞬态分量对信号进行编码。在重放期间的多个图像的序列的后续呈现时，可以将解码器和/或重放设备配置成在重放期间将所识别的瞬态分量(例如，噪声)注入回到多个图像的序列的再现中，使得其看起来与原始信号相似。
[0036]根据进一步实施例，可以基于一组元素或整个图像的分析来生成精度元数据，这与仅仅从一个图像到下一个分析单个元素的设置相反。例如，在一个实施例中，处理资源可以基于被相对于各图像与至少一个先前图像中的相应设置相比较的各图像中的一组多个元素设置的总体分析而生成用于序列中的各图像和给定元素的精度元数据。
[0037]下面更详细地讨论这些及其他实施例变型。
[0038]如上所述，请注意，本文中的实施例可用软件或硬件来实现，或者可用软件和硬件的组合来实现，并且可以包括一个或多个计算机化设备、路由器、网络、工作站、手持式或膝上型计算机、机顶盒等的配置，以执行和/或支持本文公开的任何或所有方法操作。换言之，能够对一个或多个计算机化设备或处理器进行编码和/或配置以如本文所解释地操作来执行不同的实施例。
[0039]除如上文所讨论的技术之外，本文中的再其他实施例包括软件程序以执行在上文概述且在下面详细地公开的步骤和操作。一个此类实施例包括计算机可读、硬件存储资源(即，非临时计算机可读介质)，其包括在其上面编码的计算机程序逻辑、指令等，所述计算机程序逻辑、指令等当在具有处理器和相应存储器的计算机化设备中执行时将处理器编程为和/或促使处理器执行本文公开的任何操作。此类布置能够提供为软件、代码和/或其他数据(例如数据结构)，其被布置或编码在计算机可读介质上，诸如光学介质(例如，CD-ROM或DVD-ROM等)、软盘或硬盘或能够存储计算机可读指令的任何其他介质，诸如一个或多个ROM或RAM或RPOM芯片中的固件或微代码，或者能够提供为专用集成电路(ASIC)。能够将软件或固件或其他此类配置安装到计算机化设备上以促使计算机化设备执行本文所解释的技术。
[0040]相应地，本公开的一个特定实施例涉及一种计算机程序产品，其包括具有存储在其上面以便支持如本文所讨论的任何信号处理操作的指令的计算机可读硬件存储介质。
[0041]步骤的排序是为了清楚起见而添加的。这些步骤能够按照任何适当的顺序来执行。
[0042]本公开的其他实施例包括软件程序、固件和/或各硬件以执行在上文概述且在下面详细地公开的任何方法实施例步骤和操作。
[0043]并且，应理解的是能够将如本文所讨论的系统、方法、设备、计算机可读存储介质上的指令等严格地体现为软件程序、软件、固件和/或硬件的混合或者单独地作为硬件，诸如在处理器内或在操作系统内或在软件应用内等。
[0044]如上文所讨论的，本文中的技术非常适合于在处理信号和产生运动矢量的软件、固件和/或硬件应用中使用。然而，应注意的是本文中的实施例不限于在此类应用中使用，并且本文所讨论的技术也非常适合于其他应用。
[0045]另外，请注意，虽然可在本公开的不同地方讨论本文中的不同特征、技术、配置等中的每一个，但意图能够相互独立地或相互组合地执行每个概念。相应地，能够以许多不同的方式来体现和查看如本文所述的一个或多个本发明、实施例等。
[0046]并且，请注意，本文中的实施例的此初步讨论并未指定每个实施例和/或递增地本公开或要求保护的发明的新颖方面。替代地，本简要描述仅给出相比于常规技术的一般实施例和相应新颖点。针对本发明的附加细节和/或可能视角(排列)，读者被引导至如下面进一步讨论的本公开的【具体实施方式】部分和相应的图。
[0047]根据再进一步实施例，本文中的实施例包括基于沿着信号的维度之一 T的稳定性假设而按多维信号的每个元素m生成稳定值V的方法，该方法包括:选择信号的平面元素m ;至少部分地基于元素m的坐标，选择信号的k-Ι个附加平面元素(k ^ 2)，用沿着具有稳定性假设的维度T的不同坐标来表征k个元素中的每一个；并且至少部分地基于k个元素中的每一个的设置，生成用于平面元素m的稳定值V。
[0048]在再进一步实施例中，k个元素一个接一个前后地沿着具有稳定性假设的维度T定位。
[0049]在再进一步实施例中，k个元素中的每一个对稳定值V的贡献至少部分地取决于与稳定值相关联的统计参数。所述方法还包括:选择信号的平面元素m ;至少部分地基于元素m的坐标，从信号选择k-Ι个附加平面元素，用沿着具有稳定性假设的维度T的不同坐标来表征k个元素中的每一个；至少部分地基于k个元素中的每一个的设置和被关联到每个元素的统计参数，生成用于平面元素m的稳定值V。
[0050]在再进一步实施例中，被关联到每个元素的统计参数包括关于每个元素的精度的信息。(例如，以非限制性示例的方式，可以将精度计算为设置的估计方差的逆)。
[0051]在再进一步实施例中，所述选择且k个元素中的每一个对稳定值V的贡献至少部分地取决于元素m的设置。所述方法还包括:选择信号的平面元素m ;至少部分地基于元素m的坐标和m的设置，从信号选择k-Ι个附加平面元素，用沿着具有稳定性假设的维度T的不同坐标来表征k个元素中的每一个；至少部分地基于k个元素中的每一个的设置和被关联到每个元素的统计参数，生成用于平面元素m的稳定值V。
[0052]在再进一步实施例中，通过基于被关联到k个元素中的每一个的统计参数对k个元素中的每一个的设置加权来生成被关联到每个元素m的稳定值。
[0053]根据另一实施例，被关联到其设置与元素m的设置相差超过阈值的元素的权重被设置成零。所述阈值的设置可以至少部分地取决于用于沿着维度T与元素m具有相同坐标的元素的信号的测量的估计统计性质。
[0054]在再另一实施例中，通过利用适当的运动矢量来识别被选择为生成用于元素m的稳定值V的k-Ι个元素中的每一个，所述方法还包括:选择信号的平面元素m ;至少部分地基于元素m的坐标、m的设置和被关联到元素m的运动矢量，选择信号的至少一个附加平面元素i，用沿着具有稳定性假设的维度T的先前或后续坐标来表征至少一个附加平面元素i ;直至已接收到k个元素为止(k ^ 2)，至少部分地基于最后所选元素的坐标、最后所选元素的设置和被关联到其的运动矢量，选择信号的至少一个附加平面元素j，用沿着具有稳定性假设的维度T的先前或后续坐标来表征至少一个附加平面元素j ;至少部分地基于所识别元素中的每一个的设置和被关联到每个元素的统计参数，生成用于平面元素m的稳定值Vo
[0055]在再另一实施例中，每个所选元素对稳定值的贡献取决于被关联到运动矢量的元信息(例如，以非限制性示例的方式，取决于被关联到运动矢量的精度信息)，所述方法包括:选择信号的平面元素m ;至少部分地基于元素m的坐标和被关联到元素m的运动矢量，选择信号的至少一个附加平面元素i，用沿着具有稳定性假设的维度T的先前或后续坐标来表征至少一个附加平面元素i ;直至已选择k个元素为止(k ^ 2)，至少部分地基于最后所选元素的坐标和被关联到其的运动矢量，选择信号的至少一个附加平面元素j，用沿着具有稳定性假设的维度T的先前或后续坐标来表征至少一个附加平面元素j ;至少部分地基于所识别元素中的每一个的设置、被关联到每个元素的统计参数和被关联到用来识别元素的运动矢量的统计参数，生成用于平面元素m的稳定值V。
[0056]在再另一实施例中，至少部分地基于包含在被关联到沿着维度T的元素m的坐标的缓冲器v°ld中的设置来生成被关联到每个元素m的稳定值，所述方法还包括:选择用于沿着维度T的给定坐标t的信号的平面M ;在M内选择信号的平面元素m ;识别对应于信号的平面M的缓冲器V°ld ;至少部分地基于元素m的坐标，选择缓冲器V°ld中的元素v°ld ;至少部分地基于m的设置、Vold的设置以及被关联到m和v°ld的设置的适当权重参数，生成用于平面元素m的稳定值V。
[0057]在再进一步实施例中，将被关联到m和v°ld的权重参数归一化，使得权重的和等于
1
[0058]在再另一实施例中，权重参数取决于诸如m和v°ld的估计精度之类的统计参数。在非限制性实施例中，将精度计算为方差的逆。
[0059]根据进一步实施例，每当m和v°ld的设置相差超过阈值时，将被关联到v°ld的权重参数设置成零，所述阈值至少部分地取决于m和v°ld的估计统计性质。
[0060]在另一实施例中，缓冲器值P°ld包含元素p°ld的平面，缓冲器P°ld的每个元素p°ld对应于缓冲器v°ld的元素v°ld，所述方法包括:选择用于沿着维度T的给定坐标t的信号的平面M ;在M内选择信号的平面元素m ;识别对应于信号的平面M的缓冲器V°ld ;至少部分地基于元素m的坐标，选择缓冲器V°ld中的元素v°ld ;识别对应于平面V°ld的缓冲器P°ld ;至少部分地基于元素v°ld的坐标，选择被关联到元素v°ld的缓冲器P°ld中的元素P°ld ;至少部分地基于m的设置、Vold的设置以及被关联到m和v°ld的设置的适当权重参数，生成用于平面元素m的稳定值V，被关联到v°ld的权重参数至少部分地取决于元素p°ld的设置。
[0061]在另一实施例中，被关联到m的设置的权重参数至少部分地取决于信号测量(即，信号元素的设置)与用于沿着维度T的坐标的相应生成的稳定值之间的差的平面的统计性质P.，所述坐标与元素m的沿着维度T的坐标相邻。
[0062]根据进一步实施例，通过以下方式来生成用于沿着维度T的给定坐标t的缓冲器v°ld的设置:至少部分地基于与信号相关联的辅助映射的内容来调整针对具有坐标T = t的信号的元素的平面M而生成的稳定设置V的平面。
[0063]在另一实施例中，通过以下方式来生成用于沿着维度T的给定坐标t的缓冲器P°ld的设置:至少部分地基于与信号相关联的辅助映射的内容来调整至少部分地基于用于沿着维度T的坐标t的相邻坐标(例如，t-1或t+Ι)的缓冲器P°ld的设置而生成的设置的平面。
[0064]根据再进一步实施例，与跟信号相关联的辅助映射的坐标T = t相关联的平面MM(运动映射)是运动映射，所述方法还包括:通过以下方式来生成用于沿着维度T的给定坐标t的缓冲器V°ld的设置:至少部分地基于包含在与坐标T = t时的信号平面相关联的运动映射MM中的运动矢量、针对具有坐标T = t的信号的元素的平面M生成的稳定设置V的平面进行运动补偿。
[0065]在再进一步实施例中，具有与信号相关联的辅助映射的坐标T = t的平面MM是运动映射；所述方法还包括:通过以下方式来生成用于沿着维度T的给定坐标t的缓冲器P°ld的设置:至少部分地基于包含在与坐标T = t时的信号平面相关联的运动映射MM中的运动矢量、至少部分地基于用于沿着维度T的坐标t的相邻坐标(例如，t-Ι或t+Ι)的缓冲器P°ld的设置而生成的设置的平面进行运动补偿；如果关于运动矢量的统计性质的元信息是可用的(例如，以非限制性示例的方式，关于每个运动矢量的精度的信息)，则基于相应运动矢量的统计性质来调整缓冲器P°ld的设置。
[0066]在另一实施例中，以不同于信号分辨率的分辨率(B卩，沿着各种坐标的元素的数目)来生成稳定值，所述方法还包括:选择用于沿着维度T的给定坐标t的信号的平面M ;识别对应于信号的平面M的缓冲器r'缓冲器Vn?展示出不同于平面M的分辨率的分辨率(即，沿着各种坐标的元素的数目)；至少部分地基于平面M的设置而生成用于缓冲器Vn?的设置；在内选择平面元素Vnew ;识别对应于信号的平面M的缓冲器V°ld，缓冲器V°ld展示出与缓冲器相同的分辨率；至少部分地基于元素Vnew的坐标，选择缓冲器V°ld中的元素Vold ;识别对应于平面V°ld的缓冲器P°ld，缓冲器P°ld展示出与缓冲器Vn?和V°ld相同的分辨率；至少部分地基于元素v°ld的坐标，选择被关联到元素v°ld的缓冲器P°ld中的元素P°ld ;至少部分地基于Vnew的设置、v°ld的设置以及被关联到Vnew和v°ld的设置的适当权重参数，生成对应于平面元素Vnew的稳定值V，被关联到V°ld的权重参数至少部分地取决于元素p°ld的设置。
[0067]在再进一步实施例中，至少部分地基于信号的元素的相应设置与稳定设置V之间的差，生成关于信号的瞬态分量的信息，所述方法还包括:选择用于沿着维度T的给定坐标t的信号的平面M ;针对平面M的每个元素m生成稳定值V ;至少部分地基于平面M的设置与其相应稳定值之间的差，生成关于平面M的瞬态分量的信息TC。
[0068]在另一实施例中，信息TC (瞬态分量)包括指示平面M的设置与其响应稳定值之间的差的谱分布的参数。
[0069]在再另一实施例中，信息TC包括重构数据，用以根据通过引用结合到本文中的分层信号解码和信号重构的方法来重构平面M的设置与其相应稳定值之间的差的再现的分层分级结构(即，逐渐更高的质量水平)。
[0070]在另一实施例中，沿着维度T的信号的平面随时间推移而逐渐地可用，这与全部立即可用于处理相反。

【专利附图】

【附图说明】
[0071]根据如附图中所示的本文中的优选实施例的以下更具体描述，本发明的前述及其他目的、特征和优点将变得显而易见，其中相同的附图标记遍及不同的视图指代相同部分。附图不一定按比例，而是着重于举例说明实施例、原理、概念等。
[0072]图1是图示出根据本文中的实施例的平面序列中的平面元素的设置中的变化的示例图。
[0073]图2A和2B是图示出根据本文中的实施例的平面元素的采样的示例图。
[0074]图3A、3B和3C是图示出根据本文中的实施例的平面元素的移动和采样的示例图。
[0075]图4是图示出根据本文中的实施例的用以生成稳定性信息的平面元素的处理的示例图。
[0076]图5是图示出根据本文中的实施例的用以生成稳定性信息的平面元素的处理的示例图。
[0077]图6是图示出根据本文中的实施例的精度信息的生成的示例图。
[0078]图7A和7B是图示出根据本文中的实施例的处理平面元素设置和相应精度信息的生成的示例图。
[0079]图8A和8B是图示出根据本文中的实施例的编码和解码的示例图。
[0080]图9是图示出根据本文中的实施例的用以执行处理的架构的示例图。
[0081]图10和11是描绘了根据本文中的实施例的示例性方法的示例图。

【具体实施方式】
[0082]根据一个示例实施例，信号处理器接收设置信息。该设置信息针对其中存在给定元素的多个图像的序列中的每个图像(例如，平面、帧等)指定给定元素的设置。信号处理器还接收统计信息，诸如针对序列中的每个图像指定给定元素的每个设置的估计精度的精度元数据。基于设置信息和精度元数据，信号处理器生成用于给定元素的设置值。
[0083]针对被测试元素(例如，给定元素)生成的设置值可以是随时间推移而改变的移动平均值。该设置值可以指示用于给定元素的设置在一个或多个图像上稳定的程度。在一个示例性实施例中，如果针对给定元素产生的设置值或移动平均值是相对稳定的且因此可能与给定元素的当前设置相比是用于给定元素的设置的更好表示，则对信号进行编码的信号处理器在多个图像的序列上利用生成的温度设置值而不是给定元素的当前设置作为对用于图像序列中的一个或多个图像的给定元素的设置进行编码的基础。
[0084]在本文中所使用的命名约定(在三维信号的非限制性示例中，其中，对于维度中的一个——即维度T，假设为时间——应用稳定性假设)
命名

【权利要求】
1.一种方法，包括: 接收设置，所述设置指定用于给定元素存在于其中的多个图像的序列中的每个图像的给定元素的设置； 接收精度元数据，所述精度元数据指定用于序列中的每个图像的给定元素的每个设置的统计性质，例如估计精度；以及 生成用于给定元素的设置值，所述设置值是基于设置信息和精度元数据而生成的。
2.如权利要求1所述的方法，还包括: 至少部分地基于用于序列中的每个图像的给定元素的每个设置的估计精度的和向设置值指派相应的精度值。
3.如权利要求1所述的方法，其中，向给定元素生成设置值包括: 对每个设置应用权重因数，所述权重因数至少部分地基于设置的估计精度而改变；以及 将经加权的设置加和以产生用于给定元素的设置值。
4.如权利要求3所述的方法，还包括: 在对设置应用权重因数之前将权重因数归一化。
5.如权利要求1所述的方法，其中，设置值是基于用于序列中的每个图像的给定元素的设置的加权而计算的移动平均值，应用于设置的加权的量值至少部分地取决于每个设置的估计精度而改变。
6.如权利要求1所述的方法，还包括: 接收指派给用于在序列之后的下一邻近图像的给定元素的下一设置值和相应精度值；以及 基于用于下一邻近图像的给定元素的下一设置的加权和已指派设置值的组合来更新指派给给定元素的设置值。
7.如权利要求1所述的方法，还包括: 接收指派给用于在序列之后的后续图像的给定元素的下一设置值和相应精度值； 生成差值，所述差值指示用于给定元素的已生成设置值与下一设置值之间的差； 生成阈值的值； 将所述差值与阈值的值相比较；以及 响应于检测到所述差值小于阈值的值，至少部分地基于给定元素的已生成设置值与下一设置的加权的组合来更新指派给给定元素的设置值。
8.如权利要求1所述的方法，还包括: 接收指派给用于在序列之后的下一邻近图像的给定元素的下一设置值和相应精度值； 生成差值，所述差值指示用于给定元素的已生成设置值与下一设置值之间的差； 生成阈值的值； 将所述差值与阈值的值相比较；以及 响应于检测到所述差值大于阈值的值，将用于给定元素的设置值更新成等于下一设置值。
9.如权利要求1所述的方法，其中，给定元素表示存在于序列中的每个图像的不同位置坐标处的实体；以及 利用运动矢量信息来识别序列的每个图像中的给定元素的不同位置坐标，所述运动信息指示图像序列中的实体的移动。
10.如权利要求1所述的方法，其中，应用于设置的加权的量值至少部分地取决于与运动矢量信息相关联的精度元数据。
11.如权利要求1所述的方法，还包括: 分析设置中的变化以识别设置中的例如噪声的瞬态分量的属性；以及 在重放期间的多个图像的序列的后续呈现时，在重放期间将瞬态分量的所识别属性注入回到多个图像的序列的再现中。
12.如权利要求1所述的方法，还包括: 基于相对于各图像与至少一个先前图像中的设置相比较的各图像中的多个元素设置的总体分析而生成用于序列中的各图像和给定元素的精度元数据。
13.如权利要求1所述的方法，其中，估计精度是指示多个设置中的各设置包括例如噪声的瞬态分量的概率的统计测量。
14.如权利要求1所述的方法，还包括: 基于序列中的设置的不同加权而生成用于给定元素的设置值。
15.如权利要求1所述的方法，还包括: 利用已生成设置值替代设置作为用于对图像序列的给定元素的设置进行编码的基础。
16.一种用于基于沿着信号的维度之一 T的稳定性假设而按多维信号的每个元素m生成稳定值V的方法，所述方法包括: 接收信号的平面元素m; 至少部分地基于元素m的坐标，接收信号的k-Ι个附加平面元素(k ^ 2)，用沿着具有稳定性假设的维度T的不同坐标来表征k个元素中的每一个；以及 至少部分地基于k个元素中的每一个的设置，生成用于平面元素m的稳定值V。
17.如权利要求16所述的方法，其中，k个元素一个接一个前后地沿着具有稳定性假设的维度T定位。
18.如权利要求16所述的方法，其中，k个元素中的每一个对稳定值V的贡献至少部分地取决于与稳定值相关联的统计参数，所述方法包括: 接收信号的平面元素m; 至少部分地基于元素m的坐标，从信号接收k-Ι个附加平面元素，用沿着具有稳定性假设的维度T的不同坐标来表征k个元素中的每一个； 至少部分地基于k个元素中的每一个的设置和被关联到每个元素的统计参数，生成用于平面元素m的稳定值V。
19.如权利要求18所述的方法，其中，被关联到每个元素的统计参数包括关于每个元素的精度的信息，特别地，所述精度被计算为设置的估计方差的逆。
20.如权利要求18所述的方法，其中，接收到k个元素且k个元素中的每一个对稳定值V的贡献至少部分地取决于元素m的设置，所述方法包括: 接收信号的平面元素m; 至少部分地基于元素m的坐标和m的设置，从信号接收k-Ι个附加平面元素，用沿着具有稳定性假设的维度T的不同坐标来表征k个元素中的每一个； 至少部分地基于k个元素中的每一个的设置和被关联到每个元素的统计参数，生成用于平面元素m的稳定值V。
21.如权利要求18所述的方法，其中，通过基于被关联到k个元素中的每一个的统计参数对k个元素中的每一个的设置加权来生成被关联到每个元素m的稳定值。
22.如权利要求21所述的方法，其中，被关联到其设置与元素m的设置相差超过阈值的元素的权重被设置成零，所述阈值至少部分地取决于用于沿着维度T与元素m具有相同坐标的元素的信号的测量的估计统计性质。
23.如权利要求18所述的方法，其中，通过利用适当的运动矢量来识别被选择为生成用于元素m的稳定值V的k-Ι个元素中的每一个，所述方法包括: 接收信号的平面元素m; 至少部分地基于元素m的坐标、m的设置和被关联到元素m的运动矢量，接收信号的至少一个附加平面元素i，用沿着具有稳定性假设的维度T的先前或后续坐标来表征至少一个附加平面元素i ; 直至已接收到k个元素为止(k ^ 2)，至少部分地基于最后所选元素的坐标、最后所选元素的设置和被关联到其的运动矢量，接收信号的至少一个附加平面元素j，用沿着具有稳定性假设的维度T的先前或后续坐标来表征至少一个附加平面元素j ； 至少部分地基于所识别元素中的每一个的设置和被关联到每个元素的统计参数，生成用于平面元素m的稳定值V。
24.如权利要求16所述的方法，其中，至少部分地基于包含在被关联到沿着维度T的元素m的坐标的缓冲器v°ld中的设置来生成被关联到每个元素m的稳定值，所述方法包括: 选择用于沿着维度T的给定坐标t的信号的平面M ； 在M内选择信号的平面元素m ； 识别对应于信号的平面M的缓冲器V°ld ； 至少部分地基于元素m的坐标，选择缓冲器V°ld中的元素v°ld ； 至少部分地基于m的设置、Vold的设置以及被关联到m和v°ld的设置的适当权重参数，生成用于平面元素m的稳定值V。
25.如权利要求24所述的方法，其中，权重参数取决于诸如m和v°ld的估计精度之类的统计参数，特别地，所述精度被计算为方差的逆。
26.如权利要求24所述的方法，其中，每当m和v°ld的设置相差超过阈值时，将被关联到v°ld的权重参数设置成零，所述阈值至少部分地取决于m和v°ld的估计统计性质。
27.如权利要求24所述的方法，其中，缓冲器P°ld包含元素p°ld的平面，缓冲器P°ld的每个元素P°ld对应于缓冲器V°ld的元素v°ld，所述方法包括: 选择用于沿着维度T的给定坐标t的信号的平面M ； 在M内选择信号的平面元素m ； 识别对应于信号的平面M的缓冲器V°ld ； 至少部分地基于元素m的坐标，选择缓冲器V°ld中的元素v°ld ； 识别对应于平面V°ld的缓冲器P°ld ； 至少部分地基于元素v°ld的坐标，选择被关联到元素v°ld的缓冲器P°ld中的元素P°ld ； 至少部分地基于m的设置、Vold的设置以及被关联到m和v°ld的设置的适当权重参数，生成用于平面元素m的稳定值V，被关联到v°ld的权重参数至少部分地取决于元素p°ld的设置。
28.如权利要求24所述的方法，其中，被关联到m的设置的权重参数至少部分地取决于信号测量、特别是信号元素的设置与用于沿着维度T的坐标的相应生成的稳定值之间的差的平面的统计性质Pn?，所述坐标与元素m的沿着维度T的坐标相邻。
29.如权利要求24所述的方法，其中，通过以下方式来生成用于沿着维度T的给定坐标t的缓冲器V°ld的设置:至少部分地基于与信号相关联的辅助映射的内容来调整针对具有坐标T = t的信号的元素的平面M而生成的稳定设置V的平面，所述辅助映射例如是运动映射。
30.如权利要求27所述的方法，其中，通过以下方式来生成用于沿着维度T的给定坐标t的缓冲器P°ld的设置:至少部分地基于与信号相关联的辅助映射的内容来调整至少部分地基于用于沿着维度T的坐标t的相邻坐标(例如，t-1或t+1)的缓冲器P°ld的设置而生成的设置的平面，所述辅助映射例如是运动映射。
31.如权利要求27所述的方法，其中，以不同于、例如高于信号分辨率的分辨率来生成稳定值，所述分辨率特别地是沿着各种坐标的元素的数目，所述方法包括: 选择用于沿着维度T的给定坐标t的信号的平面M ； 识别对应于信号的平面M的缓冲器Vn'缓冲器Vn?展示出不同于平面M的分辨率的分辨率，所述分辨率特别地是沿着各种坐标的元素的数目； 至少部分地基于平面M的设置而生成用于缓冲器Vn?的设置； 在Vn?内选择平面元素Vmw ； 识别对应于信号的平面M的缓冲器V°ld，缓冲器V°ld展示出与缓冲器Vn?相同的分辨率； 至少部分地基于元素νη?的坐标，选择缓冲器V°ld中的元素v°ld ； 识别对应于平面V°ld的缓冲器P°ld，缓冲器P°ld展示出与缓冲器Vn?和V°ld相同的分辨率； 至少部分地基于元素v°ld的坐标，选择被关联到元素v°ld的缓冲器P°ld中的元素P°ld ；至少部分地基于Vnew的设置、v°ld的设置以及被关联到Vnew和v°ld的设置的适当权重参数，生成对应于平面元素的稳定值V，被关联到v°ld的权重参数至少部分地取决于元素P°ld的设置。
32.如权利要求16所述的方法，其中，至少部分地基于信号的元素的相应设置与稳定设置V之间的差，生成关于信号的瞬态分量的信息，所述方法包括: 选择用于沿着维度T的给定坐标t的信号的平面M ； 针对平面M的每个元素m生成稳定值V ； 至少部分地基于平面M的设置与其相应稳定值之间的差，生成关于平面M的瞬态分量的信息TC。
33.如权利要求32所述的方法，其中，信息TC包括指示平面M的设置与其响应稳定值之间的差的谱分布的参数。
34.如权利要求32所述的方法，其中，信息TC包括重构数据，用以根据分层信号解码和信号重构的方法来重构平面M的设置与其相应稳定值之间的差的再现的分层分级结构(即，逐渐更高的质量水平)。
【文档编号】H04N19/80GK104205850SQ201280067842
【公开日】2014年12月10日 申请日期:2012年11月23日 优先权日:2011年11月23日
【发明者】卢卡·罗萨托, 圭多·梅亚尔迪 申请人:卢卡·罗萨托, 圭多·梅亚尔迪