用于预测经过通过缩放以及质量控制参数的改变而转换的图像的文件大小的系统和方法

专利名称：用于预测经过通过缩放以及质量控制参数的改变而转换的图像的文件大小的系统和方法
技术领域：
概括地说，本发明涉及图像转码。更具体地，本发明关于一种系统和方法，用于预 测经过通过缩放以及质量控制参数的改变而转换的图像的文件大小。
背景技术：
如今，移动终端、电子设备、通信和多媒体应用的异构特征使得多媒体转码不可避 免。例如，在新兴的多媒体消息服务(MMS)中，服务器端适配是必要的，以在目的移动终端 不能够处理在其当前格式下的接收媒体时确保互通性。图像相关的互通性问题主要源自过 高的分辨率或文件大小。由此，图像转码操作通常涉及图像缩放和文件大小的缩减。尽管缩减图像的分辨率是已知的和确定性的问题，但是为了满足给定目标而有效 缩减图像的压缩文件大小仍旧是一个挑战。例如，在有损耗的JPEG(联合图像专家组)格 式中，用户典型地控制质量因子(QF)，其影响量化处理并因此影响压缩文件大小。当然，更 高的QF导致更好的图像质量和更大的文件尺寸。然而，由于在建立QF和压缩文件大小之 间的关系时必须还要考虑其他图像属性，所以在QF和压缩文件大小之间仍旧缺乏精确的 关系。用于图像的文件大小缩减的一个简单的转码方法可包括在可接受的容限内解码 图像，并随后用不同QF反复地重新编码图像，直到满足给定目标大小。但是在功能上，这个 方法在计算方面效率非常低，因此对于大量图像转发服务器来说是不可接受的。多个研究已经致力于量化和文件大小之间的关系、或比特率。但是这些研究提供 了有趣的结果，他们难以在如下提出的环境中实现预测通过经过缩放以及QF值的改变而 转换的JPEG图像文件大小，因为许多假设不满足。例如，大部分研究开始于原始、非人造的 图像。同样，这些研究中的某些是在MPEG视频编码的环境中进行的，其使用比JPEG更简单 的量化方案。更重要地，作为真实适配策略，这些研究忽略了图像的缩放。以下将讨论与提 出的环境的这些区别的影响。此外，提出有趣的方法来解决JPEG大小适配的特定问题(见例如于2001年5 月15日授权给Ratnakar等的美国专利6，233，359B1,和J. Ridge的文章“Efficient transform—domain size and resolution reduction ofimages，，，信号处王里图像通信， 18 (8) =621-639, 2003年9月)。如J. Ridge的文件所述，美国专利6，233，359 B1的方法解 决了比用户体验更高的复杂度，同样这个方法倾向于降低文件大小，从而呈现出两个主要 缺点。尽管J. Ridge的方法提供了比美国专利6，233，359 B1更好的结果，但是这两个方法 仍旧具有主要缺陷或限制，特别地，他们并没有将缩放看作文件大小缩减策略，从而需要进 一步致力于和改进现有方法。例如，现有算法首先需要收集某些图像统计。由此，不仅处理的复杂度增加，而且 需要图像压缩工具的某种程度的重新工程化，而JPEG编码器/解码器软件必须成为专用的 转码器。
其次，那些算法将图像的分辨率看作固定的，或在先前阶段独立改变，并且唯一地 关注于文件大小缩减。然而，质量控制参数和缩放的改变的影响的研究看起来是必要的。当 然，这将是有用的，以选择将满足终端限制的缩放和QF值的最佳组合。具体地，通常更佳的 是与低质量的高分量图像相比具有更低分辨率的、高质量图像。

发明内容
更具体地，根据本发明，提供一种方法，用于预测经过通过缩放以及至少一个质量 控制参数的改变而转换的图像的文件大小，包括接收(a)在所述图像转换之前的图像的 文件大小，(b)在所述图像转换之前的关于所述图像的至少一个质量控制参数的信息，(c) 在所述图像转换期间的关于应用于图像的至少一个质量控制参数的信息，和(d)在所述图 像转换期间应用于图像的缩放因子；基于关于质量控制参数和缩放因子的接收信息计算相 对文件大小预测；以及计算在所述图像转换之后的图像的文件大小预测，其中根据所述图 像转换之前的图像的文件大小和计算的相对文件大小预测来计算所述图像转换之后的图 像的文件大小预测。本发明还涉及一种系统，用于预测经过通过缩放以及至少一个质量控制参数的改 变而转换的图像的文件大小，包括输入端，用于接收(a)在所述图像转换之前的图像的文 件大小，(b)在所述图像转换之前的关于所述图像的至少一个质量控制参数的信息，(c)在 所述图像转换期间的关于应用于图像的至少一个质量控制参数的信息，和(d)在所述图像 转换期间应用于图像的缩放因子；基于关于质量控制参数和缩放因子的接收信息计算相对 文件大小预测；以及在计算所述图像转换之后的图像的文件大小预测，其中根据所述图像 转换之前的图像的文件大小和计算的相对文件大小预测来计算所述图像转换之后的图像 的文件大小预测。在阅读仅参照附图通过实例给出的一下本发明的示例性实施例的非限制性描述， 本发明的以上和其他目的、优点和特定将变得更加清楚。


在附图中图1是根据本发明的第一非限制性示例性实施例的第一系统的示意性框图，其用 于预测经过缩放以及质量控制参数的改变而转换的图像的文件大小；图2是示出根据本发明的第一非限制性示例性实施例的第一方法(相应于图1的 第一系统)的训练阶段的流程图，其用于预测经过缩放以及质量控制参数的改变而转换的 图像的文件大小；图3是根据本发明的第二非限制性示例性实施例的第二系统的示意性框图，其用 于预测经过缩放以及质量控制参数的改变而转换的图像的文件大小；图4是示出根据本发明的第二非限制性示例性实施例的第二方法(相应于图3的 第二系统)的训练阶段的流程图，其用于预测经过缩放以及质量控制参数的改变而转换的 图像的文件大小；图5是示出估计量f或其等效阵列的几何解释的视图；图6是成簇的实例的视图；以及
图7a和7b是示出根据文件大小(字节)的0的百分比的视图。
具体实施例方式概括地说，根据本发明的非限制性示例性实施例的系统和方法将预测图像的文件 大小，所述图像已经被压缩并经过缩放以及质量控制参数的改变而转换。同样，尽管根据非限制性示例性实施例的系统和方法将预测经过缩放以及至少一 个质量控制参数(在这种情况下为QF(质量因子))的改变而转换的JPEG图像的文件大小， 但是应理解，相同的构思可应用于例如GIF(图形交换格式)的其他类型格式以及具有例如 颜色数量、颜色深度、颜色分量采样结构(4:4:4，4:2:2，4:2:0等)、水平和垂直分辨率、子 采样因子等的其他质量控制参数的其他图像格式。为了清楚和有助于保持说明简单，主要 通过一个质量控制参数来说明本发明，但是可扩展到许多质量控制参数；以下将更详细地 说明。根据非限制性示例性实施例的系统和方法还将选择满足一定大小限制的缩放和 QF的适当组合。此外，为了最小化处理复杂度，用于文件大小的预测的系统(以下称为文件 大小的预测器)使用可从图像容易利用和易于访问的值。然而，在进一步定义文件大小的预测器之前，将描述训练和测试图像库(corpus) 的概念。为了测试文件大小的预测器和/或文件大小预测方法，使用图像的库。可用的库 由范本-在我们的实例中为图像-的集合构成，这代表要研究的集群。目前，典型的JPEG 数据库没有普遍可用；因此，用户必须建立他/她自己的数据库或图像库。例如，可从因特 网收集图像以形成图像库。当然，抓取器(crawler)可容易地跟踪从确保最新的流行网页 开始的链接，并随后可抓取碰到的任何图像媒体。此外，可通过使用唯一标识符(例如由应 用于整个文件的例如MD5(消息摘要5)的强哈希函数重命名文件来确保图像库中的图像的 匿名化和唯一性。此外，可安全地忽略冲突。例如MD5的强哈希函数从文档计算数字签名， 其可随后被可靠地用于识别已经被计算的文档。像MD5的超强哈希函数极度不可能对于两 个不同文档生成相同的数字签名，由此能够实现检测同一文件的非常可靠的方法。此外，将图像库分成两个随机的分离集图像的训练集和图像的测试集。训练集包 含用于优化预测模型和方法的图像，而测试集用于实际测试所优化的预测模型和方法。由 于所述库呈现非常有限数目个范本，所以通过对于质量控制参数和缩放应用大量可能的转 换来生成新范本，从而可构成具有大量和可用范本集群的模型。现在将描述目前使用的图像文件大小预测系统和方法，例如i)多项式预测和ii) P域预测系统和方法。i)多项式预测多项式预测使用低阶多项式对预测进行公式化。如果对一维数据计算多项式拟合 是一个简单的任务，那么对拟合增加多个变量将指数地增加需要计算的点数。当然，如果将 Lin 等的技术(文章"Rate control usingspline-interpolated R-D characteristics，，， 子标题，VCIP’ 96，第111-122页，1996年)概括为使用n个变量中的d阶多项式，则需要 解((1+1广个未知的((1+1广个等式。对于这些((1+1广个等式中的每个，需要估计曲线上的 点。通过Lin等提出的方法，这意味着需要执行每个点的部分转码，从而导致无法接受的计铃旦昇里。此外，不清楚多项式的最佳阶d是什么(或甚至根本就是多项式)以及在预测中应该包括什么样的η个变量。至少应使用缩放和预期的输出质量因子QF。ut来对预测公式 化；在图像本身中输入质量因子QFin是隐含的，因此当计算了(d+l)n个点时参与计算。因 为这个过程在计算上是禁止的，所以决定不再深度研究这个行为。应注意，QP(量化参数)和QF(质量因子)是反向相关的。高QP意味着更积极的 量化，而高QF意味着更高的质量，因此意味着更不积极的量化。在例如用于标准H. 263的 方案中，QP与量化直接相关。然而，在JPEG中，QF通过两个连续步骤与量化相关在第一 步骤，使用分段转移函数；以及在第二步骤，使用量化矩阵。量化矩阵缩放DCT (离散余弦 变换)系数，然后编码。应指出，在本说明书中，QF指的是JPEG质量因子，是独立JPEG组 (IJG)可理解的。 ) ρ域预测在ρ域预测中，基于从量化得到的0的数目的估计来计算比特率的精确预测。在ρ域预测中，假设i)图像没有被调整大小，ii)目标比特率很低，和iii)原始 图像对于压缩器可用。在标准H. 263的环境下，前2个假设i)和ii)可以有效。然而，假 设在图像适配和转换的环境下原始图像对于压缩器可用(假设iii)不有效；如上所述，原 始和初始图像通常对于转换引擎不可用。ρ域预测使用标准H. 263的更粗量化。JPEG使用可定制的量化矩阵，而标准H. 263 使用更简单的统一量化。量化矩阵所带来的额外复杂度使得P域预测的模型更加不易于 JPEG适配。图7a和7b示出根据P域预测的预测器在很低QF的区域内是线性。更具体地，0 的数目随着比特率线性改变，但是仅在很低比特率处。然而，如果考虑大范围的比特率，则 失去线性，如图7b所示。此外，对于使用JPEG的静态图像编码，很低的QF是不可接受的， 因为这样将导致伪影和较差的感知图像质量。当最大化用户体验时，应该在满足文件大小 限制的同时考虑最高可能的QF。此外，ρ域预测在计算方面开销很大，并且假定不同范围的量化参数值。不仅多项式预测和P域预测相当复杂，而且他们还呈现缺陷。第一，多项式预测 和P域预测做出通常不抑制转码的假设，例如使用原始图像。第二，多项式预测和P域预 测省略了用于缩减文件大小的缩放操作。因此，他们的估计不导致缩放和QF缩减的联合 估计。P域预测假设，当发生缩减时，其发生在转码的文件大小预测之前，这不允许用户基 于缩放和质量因子对于文件大小的适配策略进行公式化。理论上，多项式预测也可包括缩 放，但是由于需要转码的数目随着使用的变量的数目指数增长，所以这个操作的计算成本 较高。省略作为适配策略的缩放是主要缺陷，因为这样的目的是为了很好地最大化用户体 验，将图像缩小并且通过更高的QF编码，而并非仅通过更低QF来重新压缩。因此，文件大 小的预测器应该同样能够考虑缩放，以及QF改变。此外，除了图像的宽度、高度、缩放和QF之外，还关注于获得不使用图像数据的文 件大小的预测。此外，文件大小的预测器应该能够使用关于其他图像的信息，以对于与当前 图像相关的预测公式化。因此，将有利地使用非参数的方法。非参数的模型在内部参数的数目方面与参数的模型不同，前者通常具有更大的内部参数的数目，并且这些参数被松散地组织以实现结构的发现。相反，参数化模型使用固定 的和少量参数，通过先前假设为每个分配非常特定的角色。1.第一转换的图像文件大小的预测器概括地说，根据本发明的第一非限制性示例性实施例的文件大小的预测器通过考 虑图像的压缩文件大小来预测在与某个预测因子相乘的图像的转换之前经过缩放以及质 量因子的改变而转换的图像的文件大小，以下称为相对文件大小的预测。现在转到图1，将描述根据本发明的第一非限制性示例性实施例的文件大小的预 测器10。文件大小的预测器10通常用在转码引擎(未示出)中。然而，将文件大小的预测 器10用在除了转换引擎之外的设备中(例如编码器和解码器等中)也在本发明的范围内。在转码中，典型地使用例如媒体类型、分辨率等媒体特征来确定是否需要适配。通 常可在不解压缩经过压缩后的媒体的情况下获得那些参数。例如，扫描经过压缩后的媒体 的文件头通常足够。在文件大小的预测器中，基于需要经过压缩的图像的解压缩的度量或 任意像素级的计算使用参数在计算方面开销很大，并且需要几乎与实际转码相同的处理时 间和功率。因此，避免这种类型的参数。将特征数据用作文件大小的预测器10的输入。例如，在JPEG图像的情况下，特征 数据可以是分辨率，例如图像的宽度和高度、质量因子QF、子采样方法、或从图像容易可用 的任意其他信息。在图1中所示的本发明的第一非限制性示例性实施例中，作为输入11像文件大小 的预测器10提供i)在该图像的转换之前的图像的文件大小S(I)，ii)在转换之前的图像 的原始质量因子QFin，iii)在转换期间应用于图像的预期输出质量因子QF。ut，和iv)在转 换期间应用于图像的缩放因子(变焦因子)z，其中0 < z < 1。参照图1，文件大小的预测器10包括量化器14，用于量化原始质量因子QFin，输出 质量因子QF。ut，和缩放因子z，以获得量化的质量因子和量化的缩放因子？。对于 本领域普通技术人员来说，量化器是已知的，因此在本说明书中将不再进一步描述。文件大小的预测器10还包括基于阵列的、相对文件大小预测计算器16，用于基于 预测阵列(以下将描述)预计算相对文件大小预测。这生成预测函数$(^^，^^，力15，其 给出图像的相对压缩文件大小预测/对其应用预期的输出质量因子QF。ut和缩放因子(变 焦因子)z。最后，文件大小的预测器10包括转换的图像文件大小预测计算器18，向其提供在 图像和预测函数对^&，！？/^，力的转换之前的图像的压缩文件大小S(I)，以计算在转换(图 像J)之后的图像的文件大小预测19 ( S(I,QFlm,,z))，如下S(I, QFnul ’ z) = S{I)s{QFm, QF_ ,z)(l)其中函数是相对大小预测，由以下的图1的生成输出19给出 函数s(J，QF。ut，z)代表转换图像J的文件大小的精确函数，具有预期的QF。ut和缩 放z。该函数由以下给出

(3)其中S(J)是转换图像J的压缩文件大小，T(J，QF。ut，z)是应用缩放z和质量因子 的改变QF-之后返回压缩的、转换图像J的函数。表达式S(TO)是涉及使用预期的输出 质量因子QF。ut和缩放因子z的转换图像J的压缩文件大小函数。应注意，&/.■(/) 口:T是具有与该图像相同QF的在训练集T中的图像子集，并且 Tqf(i)是子集TqfW的基数。并且函数TO可以是例如完整JPEG转码器。此外，应注意J0代表最佳最小均方估计量。当然，可容易验证
然而，由于函数i()在计算方面开销大，可使用该函数预计算相对文件大小预测的 阵列，以缓解计算复杂度。因此，相对文件大小预测计算器16可通过预计算的文件大小预 测的阵列M来使用，其索引是在图像转换之前的图像的量化的质量因子，在图像转换期 间应用的预期质量因子，和在图像转换期间应用的缩放因子？。通过波浪符( )来指 示量化的值。适当的量化将防止上下文稀释，同时允许有效地检索阵列M。可通过传统量化器 (未示出)来量化所述值。由于量化器对于本领域普通基数人员是已知的，所以在本说明书 中将不再进一步描述。如上所示，基于阵列的相对大小预测计算器16的输入包括在图像的转换之前的 量化的质量因子0月 ，在图像转换期间的预期量化的输出质量因子，和在图像转换期 间量化的缩放因子？，以及基于阵列的相对大小预测计算器16包括相对文件大小预测阵列 计算器(未示出)，向其提供这些输入以预计算相对文件大小预测的阵列。通过以下等式给 出阵列M的项
Ma,——！——^sU.QF^iJXziJ))
Qi-m,Ohm
SQh.QPm
'^^Qi-'m QKuI-1(其中QF。ut (J)、z (J)是分别返回在转换期间使用的QF、或QF。ut和缩放因子z的函 数。函数s(J，QF。ut(J)，z(J))(等式(5))返回当对于转换的图像J应用给定转换时所观
察的相对文件大小改变。集代表所有图像的基数的集，所述所有图像具
有落入相应量化单元中的质量因子和缩放因子。量化单元是量化到相同给定值的所有值的 集。通过单元^ ，& ,々，表示分别量化到& ,，^ ,,々的QFin、QF。ut和z所有值的集。这 里，*是具有以下内容的图像集对于QFin的值包含具有量化到的相同原始量化 因子的图像集合的所有图像，量化到的输出量化因子QF。ut的值，以及量化到？的缩放因 子z的值(这是三个集\札，1 枕 ,，&的交集)。如果使用更多的质量控制参数(超过QF)，则 可以按参数特定的适当方式也对他们进行量化，并将其用作预测阵列的更多维数。函数s() 是在转换图像J时所观察的精确相对文件大小预测。由此，&指示阵列M的一部分，即，具有索引阵列。例如，在表1中示
10出从图像训练集T优化的阵列M85。
表1 相对文件大小预测 文件大小的预测器10的基于阵列的相对大小预测计算器18响应于相对文件大小 预测纟0和在图像转换之前的图像的文件大小S(I)，计算在转换(图像J)之后的图像的预 测文件大小19，使用转换的图像文件大小预测计算器18如下S{I,QFm z) = S(JWM。 ( 6 )应指出，函数S(I)嵌入与在计算方面其他系统和方法明显以更大成本提取的图 像I相关的某些信息。S(I)可看作保持与图像的特征相关的信息并且将其注入转换的图像 文件大小预测计算器18的图像I的哈希函数。根据第一非限制性示例性实施例的文件大小的预测器10是非参数预测器。2.第一阵列计算器和训练方法现在转到图2，描述根据第一方法的基于阵列的相对文件大小预测计算器20的训 练阶段。可对于相对文件大小的预测器10实现这个方法。在操作21，获取图像库。对于这个获取的方式超出本发明的范围，但是非限制性示 例性实施例是web抓取器或进行现有图像的可靠检查的任意其他方式。在运行中由转码器 获得的图像也可用于训练。在操作22，使用库中的每个图像生成任意预期数目的范本。在子操作23，根据从 库生成的图像生成大量图像，对其应用质量控制参数改变和缩放，其方式典型地兼容于在 文件大小的预测器10中使用的量化方案。通过每个范本存储其质量因子QFin、质量因子 QF。ut和缩放因子z。在子操作24，将每个生成的范本增加到还包括来自库的原始图像的范本列表。重 复操作22，只要在库中存在保留未处理的图像。在操作26，计算阵列M。现在，处理在操作22中生成的每个范本以计算阵列M。在子操作27，量化从给定范本提取的数据。将其质量因子QFin、质量因子QF。ut、和缩放因子z的值量化为、妒 ,和？。在子操作28，使用量化的质量因子和、和量化的缩放因子？来更新阵列M。在操作26之后，阵列M包含对于所有图像的相对文件大小预测。根据等式(5) 其中根据等式⑶计算s 0。气卩 是具有与0&相同量化的质量因子的所有图像的 子集。是具有与相同量化的质量因子的所有图像的子集。&是具有与？相同量化的 质量因子的所有图像的子集。…是如等式(5)所述的这3个集的交集。图2的基于阵列的相对文件大小预测计算器20是时间自适应的。例如，为了更 新预测，可以在等式(2)中增加新范本，即仅通过子操作27和28。还可通过从预测集去除 最旧范本来保持趋势自适应。幸好，在这样操作时，不需要图像的存储；仅需要存储转换值 (质量因子和缩放因子)、时间戳、和在图像转换之后的相对文件大小。应注意，在图2的基于阵列的相对文件大小预测计算器20中的更新时间是基数 0 (1)。通过0 (1)，表示更新基于阵列的相对文件大小预测计算器20所需的操作数目是恒定 的，即，不依赖于在训练集中图像的数目。3.数值实例的第一集使用图1的文件大小的预测器10和图2的相对文件大小预测计算器20来执行试 验。在以上表1中呈现结果。例如，表1示出从图像训练集优化的并根据等式(5)计算的 阵列。在仿真中使用的库包含70300个JPEG文件。库不受破坏文件约束，并且去除例如 EXIF标签的所有元数据。EXIF是对于许多图像格式的共同扩展，包括JPEG，特别在从数码 相机生成时其保存与图片或图像相关的附加信息。EXIF扩展用于存储数据，例如曝光细节、 颜色平衡、相机品牌名称、和其他数字摄影信息。对于库中的每个原始范本(图像)，使用不 同的质量因子QF。ut和缩放因子z生成100 (—百)个范本。在训练集和测试集之间的划分 为约80/20。表2示出对于预测阵列M J勺预期绝对误差
可看出，在=2武 ,= 80和艺=1GG%附近，预测误差最小。当和0戶 ,以及缩放因子例如 在表2的左上方最不相同时，预测误差最大。此外，表2中的灰色部分代表10 %或更小的预 期绝对误差的区域。表2 预期相对文件大小预测误差
表3给出对于典型的质量因子(例如0斤 = QF0U,= 80)绝对的相对误差在某个阈值β以下的概率。对于不同的0和？，概率由以下给出 户(\s(I0Ul) - S(I0U, )| < pS(Iout) | ？，QFm = 80’ QF UI = 80 )(7)
表3
P{ \SUout) - j(/ Jt)| < 3S(Ioul)) Scaling
10'/[2()'>[10%50%70%100%(K 10.090.220.19om0.750.H70,020,91a.97(j 20.200. IX0.H20,02{).mu.m0.119L0(3((.3OM0,850.010.97i .(10LOO1 .(){)I ,DQLCK)(hio.ni0.81i).9-21.D01.00LOGLOO1.00o,.r>il.U'AO.HH(um(KmLD0LOOLOU1.00L00(UitKTO0M0.U81,001.00LD0LOUi .()(}J X)()(..)..i丨0,!i.0.0,HLD0LCK)I. DO1.D0LOOi.oa1.00CKH0.790.1)7O.UfiL001.00LOOJ .00LOGLOG1.000,07LOO1.00.GO1.00LOG1.00！ i)0I A)1,001.00LD0L001,00i.aoLOOLOOl.OD1.00
应注意，误差的分布如预期地进一步远离100%的缩放扩散。
现在转到图5，给出估计量i卩和量化阵列的几何说明。
图5示出一系列框，例如50，其代表与= 70相应的阵列M85的行，具有被量化到
最近10%的缩放因子。
13
在每个框50上方，绘制参与到估计量〃说元,？的计算中的所有图像的实际值 4/,ρ民70)的分布。通过点指示图像的分布。细线51连接不同的最小均方估计量■？;这清 楚地示出表面并不非常光滑。绘图示出通过例如53的虚线指示四分位(例如52的矩形)和5% /95% 限制。从 图5可以看出，分布不是很广泛的分布，从而例如在预测误差上允许分摊界限。在图5中可绘制远离四分位上方或下方的某些点。这些点是离群值(outlier)。某 些离群值是其文件主要包括开销的图像。当图像具有很低分辨率时，QF和缩放改变对于总 文件大小映像很小，因为相比于文件格式开销，例如标头、标记等，压缩的数据已经很小。然 而，当忽略图像的原始比例时，则由于由等式(1)给出的最小均方估计量对于离群值敏感， 所以文件大小的预测器可出现故障。因此，应作为预测参数包括原始分辨率。4.第二转换的图像文件大小的预测器现在将描述根据本发明的第二非限制性示例性实施例的文件大小的预测器30。文 件大小的预测器30考虑图像的原始分辨率，因此存在离群值。现在转到图3，根据本发明的第二非限制性示例性实施例的文件大小的预测器30 包括参数量化器、和基于簇的相对文件大小预测计算器34，以生成相对文件大小预测35。向文件大小的预测器30提供输入31，包括原始文件大小S(I)、原始质量因子 QF⑴(指示为QFin)、在图像转换之前的图像I的宽度W(I)和高度H(I)、以及在图像转换 之后的预期质量因子QF。ut和预期缩放因子(变焦因子)ζ。预测器30的输出37生成在应 用了缩放因子ζ和质量因子QF。ut的图像变换之后的图像的文件大小预测ρ戶 ,，？)。量化器62处理质量因子QF。ut和缩放因子z，以分别生成量化的质量因子,和量 化的缩放因子，以用作向基于簇的相对文件大小预测计算器34的输入。在量化器32中还发生质心确定，其根据图像I的宽度W (I)、高度H (I)和原始质量 因子QFin生成用于图像I的阵列，以用作向基于簇的相对文件大小预测计算器34的输 入。如果使用更多的质量控制参数，则他们可附加在a^,的向量X1(以下将定义)中。基于簇的相对文件大小预测计算器34从量化器32接收阵列％ F7、量化的质量因 子G^L和量化的缩放因子2"作为输入，以对于相对文件大小预测35公式化。然后，转换的图像文件大小的预测计算器36使用来自计算器34的输出35计算在 转换(图像J)之后的图像的文件大小预测37 S(I,QFnul,ζ)，如下S(I, QFoul，z) = SiDKQFm，QFnw ,z)(l)其中函数是相对大小预测35。如上所述，在例如存在离群值的情况下，图像的小分辨率破坏了上述文件大小的 预测器10。为了克服这个问题，执行将图像空间分成区域的操作，其中将类似分辨率的区域 分在一起。为此，使用簇将从图像库生成的范本分成类。此外，成簇的使用能够对于每个类 优化最小均方估计量，由此进一步最小化预测误差。应注意，成簇是非监督的学习技术，其划分在给定数目个分离子集(称为类)中的 数据，从而在每个子集中的数据在所选度量下最大地类似。对于每个子集，计算代表值或原 形(prototype)。一般地，原形是子集的质心。因此，成簇与概率分布函数优化的向量量化 同义，其中量化级别是类的质心。
现在转到图4，簇计算器44将例如X1= (W(I)，H(I)，α QF(I))的向量关联至训 练集T中的每个图像，其中α是使得质量因子维数达到与宽度和高度相同的量级的缩放常 数。W(I)、Η(Ι)、和QF(I)分别是图像I的宽度、高度和QF。如果我们使用更多质量控制参数，则可将他们附加在向量X1中，并且可通过第二算法来考虑。在成簇之前选择类的数目k。本领域普通技术人员知道如何选择这个类的数目k。 例如，参数k足够大，以减少误差，并且足够小，以避免上下文稀释。仍参照图4，库41的获取通过与图2中的操作21相同的方式进行。新范本42的生成通过与图2中的操作22相同的方式进行，除了通过附加信息 QFout和ζ代替包括创建向量X1 = (W(I)，H(I)，α QF(I))的子操作43。因此，操作42创建簇计算器44所需的范本向量，以计算图像的训练集T到类的数 目k的划分C。通过定义，划分C通过C = IC1, C2, ... , CJ给出，并且满足^1 C, =:r和
义 C, =0。此外，以最佳划分C*将最小化任意向量X1(其中I e T)及其分配的质心之间的预
期平方距离。最佳划分C*有以下给出
k _ 2 其中||χ| = V^是非正式L2范数，T是转置函数，〒,是类Ci的原形。图6中示出成簇的实例。在图6中，所有图像具有QF = 80，从而可二维地视觉化 计算的文件大小预测。然而，真实的划分跨越宽度、高度和量化的QF三个(3)维度。在决定了类的数目k之后，簇计算器44(见45)使用k平均算法计算类或簇。然 后，原形计算器(见45)如下计算质心& 其代表类Ci中所有向量的原形。计算最佳划分C*的复杂度使其在计算上不可行。然而，可使用k平均算法以高精 度对其进行近似计算，如 Leon Bottou禾口 Yoshua Bengio 的题为"Convergence properties of the K-means algorithms，，的文章，在 G. Tesauro> D. Touretzky 禾口 Τ· Leen 编辑的 Advances in Neural InformationProcessing Systems,第 7 卷，第 585-592 页，MIT 出版 社，1995年。类似于Newton算法，k平均算法具有超线性收敛性，在实践中这意味着为了良 好近似需要相对少量的反复。K平均的细节和属性相信对于本领域普通技术人员是已知的， 为此在本说明书中将不再进一步描述。一旦计算了类或簇C，则阵列计算器(见图4中的47至49)对于每个计算的质心 &计算相对文件大小预测的阵列^^,。在示例性实施例中，这些预测阵列中的每个具有二维的(但是，如果使用更多质 量控制参数可具有更多维数)量化的输出质量因子ρ^Μ和量化的缩放因子。在操作48中 执行量化。如下计算这些阵列中的每个项
其中J e Ci是向基数IciI的类分配的图像，并具有质心力。为了得到与从图像I的变换得到的图像J关联的估计量，在操作47中首先如下计 算最近质心A 最后，文件大小的预测器30的基于簇的相对文件大小预测计算器(图3)生成相 对文件大小预测35，并且根据以下等式在计算器38中计算文件大小预测37 应注意，在计算方面，预测器30的成本受限于计算最近质心的成本，后者可使 用充分数据结构有效计算(细节见Jean-Daniel Boissonnat和Mariette Yvinec的 "Algorithmic Geometry”，剑桥大学出版社，1998年)。一旦被定位，则可在恒定实践搜索 阵列A^以生成义,拭 ,,,i的值。5.第二阵列计算器和训练方法再参照图4，现在将描述根据第二非限制性示例性实施例的训练相对大小预测阵 列计算器40的第二方法。可对于大小的预测器30来实现第二训练方法。在操作42，使用库中的每个图像来生成任意预期数目个范本。在操作42，根据从 库绘画的图像生成大量图像，对其应用质量控制参数改变和缩放，其方式典型地兼容于在 基于簇的相对文件大小预测计算器34中使用的量化方案。通过每个范本J存储其向量& =(W(J)，H(J)，α QF(J))，以及 QFout 和 ζ。在子操作43，将每个生成的范本增加到还包括来自库的原始图像的范本列表。重 复操作22，只要在库中存在保留未处理的图像。在库计算器44，指定类或簇的数目k。在操作45，计算簇和质心。使用等式(9)对于每个簇或类Ci(KiSk)计算质 心〒,。创建阵列^^,，但是不填充。在操作46，填入与质心相关的阵列。在操作47，对于每个范本J，使用在图像转换之前的质量因子QFin(J)、宽度H(J)和 高度H(J)，以找到相应质心及其相关的预测阵列。使用等式(11)计算最接近图像I的质 心。在操作48，量化在图像转换之后的预期质量因子QF。ut和缩放因子z，以分别成为 和？。最后，在操作49，在使用等式(12)的预期量化的质量因子和缩放的应用之后使用 QFoul、？和Xj = (W(J)，H(J)，α QF(J))更新相对文件大小预测的阵列。6.数值实例的第二集在试验中，选择k使得k = 200。经验地发现α ^ 1000。
在表4中呈现结果。表4示出对于库中的图像的成簇的阵列的预期决定误差， 其中QFin = 80。通过等式(7)给出预期决定误差。表4 预期相对文件大小预测误差 通过文件大小的预测器 ο，在80周围聚集文件大小的预测器30的
最小误差，其中= 100%.。并且通过表4的一部分给出最大预测误差，其中、和 缩放因子在表4的左上方最不相同。类似于表2，表4的灰色部分相应于10%或更小的预 期绝对误差的区域。然而，当比较表2和4的两个(2)灰色部分时，表4的预期绝对误差明 显小于表2，这是因为簇的使用。例如，在最困难的转码设置(即，其中10和i = )中，从表2到表4，误差从112. 93%下降到24. 82%。同样，尽管根据非限制性示例性实施例的系统和方法预测经过缩放以及质量控制 参数(在这种情况下为QF(质量因子))的改变而转换的JPEG图像的文件大小，但是应理 解，相同的构思可应用于例如GIF(图形交换格式)的其他类型格式以及例如颜色数量、颜 色深度、颜色分量采样结构等的其他质量控制参数、以及例如颜色增强和裁剪的转换。尽管通过非限制性示例性实施例在以上说明书中描述了本发明，但是在不脱离本 发明的精神和特征的情况下，可在所附权利要求的范围内修改这些示例性实施例。
权利要求
一种系统，用于预测经过通过缩放以及至少一个质量控制参数的改变而转换的图像的文件大小，包括输入端，用于接收(a)在所述图像转换之前的图像的文件大小，(b)在所述图像转换之前的关于所述图像的至少一个质量控制参数的信息，(c)在所述图像转换期间的关于应用于图像的至少一个质量控制参数的信息，和(d)在所述图像转换期间应用于图像的缩放因子；基于接收到的关于质量控制参数和缩放因子的信息进行相对的文件大小预测的计算器；以及在所述图像转换之后进行所述图像的文件大小预测的计算器，其中根据所述图像转换之前的图像的文件大小和计算的相对文件大小预测来计算所述图像转换之后的图像的文件大小预测。
2.如权利要求1所述的系统，其中所述质量控制参数信息包括关于表示所述图像的质 量的至少一个参数的信息，并选自以下内容的组，包括质量因子、颜色数目、颜色深度、颜 色分量采样结构、和水平和垂直分辨率。
3.如权利要求1所述的系统，其中在所述图像转换之前的图像的文件大小和所述文件 大小预测是压缩的文件大小。
4.如权利要求1所述的系统，其中所述文件大小预测的计算器将所述图像转换之前的 图像的文件大小与计算的相对文件大小预测相乘。
5.如权利要求1所述的系统，其中所述文件大小预测&/，0Fwn幻的计算器 使用以下关系将所述图像转换之前的图像的文件大小与计算的相对文件大小预测S(I,QFliunZ) ^ S(I)HQFin,QFaunZ)其中S(I)是所述图像转换之前的图像I的文件大小，K)是相对文件大小预测，(》^是 所述图像转换之前的图像的质量因子，QF。ut是所述图像转换之后的图像的质量因子，以及Z 是缩放因子。
6.如权利要求1所述的系统，其中所述相对文件大小预测的计算器包括通过相对文件 大小预测阵列计算器预计算的相对文件大小预测阵列，其中由所述相对文件大小预测的计 算器使用预计算的相对文件大小预测阵列来计算所述图像转换之后的图像的相对文件大 小预测。
7.如权利要求6所述的系统，其中在所述图像转换之前的关于所述图像的至少一个质 量控制参数的信息包括在所述图像转换之前的图像的质量因子QFin,在所述图像转换期间 的关于应用于图像的至少一个质量控制参数的信息包括在所述图像转换之后的图像的预 期质量因子QF。ut，以及其中预计算的相对文件大小预测的阵列的计算器包括所述质量因子QFin、所述质量因子QF。ut、和所述缩放因子ζ的量化器，以获得量化的质 量因子和量化的缩放因子Z ；具有以下内容的图像集1s^in, :对于QFin的值包含具有量化到ρ^^的相同原始量 化因子的图像集合的所有图像，量化到的输出量化因子QF。ut的值，以及量化到F的缩放因子Z的值；以及使用以下关系预计算的相对文件大小预测阵列的计算器 其中S O是相对大小观察，以及是集J勺基数。
8.如权利要求7所述的系统，其中在所述图像转换之后的文件大小预测i(/，0F ,,z)的 计算器使用以下关系其中S(I)是在所述图像转换之前的图像I的压缩文件大小。
9.如权利要求6所述的系统，其中所述相对文件大小预测阵列计算器包括簇计算器，用于(a)将表示所述图像的特征的向量关联至图像集的每个图像，和(b)将 所述图像集划分成关联至类似向量的图像类；原形计算器，用于针对每个图像类计算质心，其代表关联至所述类的图像的向量原形；以及阵列计算器，用于针对每个质心计算相对文件大小预测的阵列，所述阵列具有包括关 于至少一个质量控制参数的改变和所述缩放因子的至少二维。
10.如权利要求9所述的系统，其中通过以下关系给出关联至每个图像I的向量X1 = (W(I)，H(I)，α QF(I))其中α是缩放常量，W(I)、Η(Ι)和QF(I)分别是图像I的宽度、高度和质量因子。
11.如权利要求6所述的系统，其中在所述图像转换之后的图像的文件大小预测的计 算器使用在所述图像转换之前的图像的文件大小和所述阵列计算器预计算的相对文件大 小预测的阵列的项来计算在所述图像转换之后的图像的文件大小预测。
12.一种方法，用于预测经过通过缩放以及至少一个质量控制参数的改变而转换的图 像的文件大小，包括接收(a)在所述图像转换之前的图像的文件大小，(b)在所述图像转换之前的关于所 述图像的至少一个质量控制参数的信息，(c)在所述图像转换期间的关于应用于图像的至 少一个质量控制参数的信息，和(d)在所述图像转换期间应用于图像的缩放因子；基于接收到的关于质量控制参数和缩放因子的信息计算相对文件大小预测；以及计算在所述图像转换之后的图像的文件大小预测，其中根据所述图像转换之前的图像 的文件大小和计算的相对文件大小预测来计算所述图像转换之后的图像的文件大小预测。
13.如权利要求12所述的方法，包括接收关于表示所述图像的质量的至少一个参数 的信息作为质量控制参数信息，并且其选自包括以下内容的组质量因子、颜色数目、颜色 深度、颜色分量采样结构、和水平和垂直分辨率。
14.如权利要求12所述的方法，包括接收压缩的文件大小作为在所述图像转换之前 的图像的文件大小，并计算压缩的文件大小作为在所述图像转换之后的图像的文件大小。
15.如权利要求12所述的方法，其中计算在所述图像转换之后的图像的预测包括将 所述图像转换之前的图像的文件大小与计算的相对文件大小预测相乘。
16.如权利要求12所述的方法，其中计算文件大小预测 力包括使用如下关系 将所述图像转换之前的图像的文件大小与计算的相对文件大小预测 相乘 其中S(I)是所述图像转换之前的图像I的文件大小，是相对文件大小预测， 是 所述图像转换之前的图像的质量因子， 是所述图像转换之后的图像的质量因子，以及ζ 是缩放因子。
17.如权利要求12所述的方法，其中计算相对文件大小预测包括(a)预计算相对文件 大小预测阵列，和(b)使用预计算的相对文件大小预测阵列来计算相对文件大小预测。
18.如权利要求17所述的方法，其中在所述图像转换之前的关于所述图像的至少一个 质量控制参数的信息包括在所述图像转换之前的图像的质量因子QFin，在所述图像转换期 间的关于应用于图像的至少一个质量控制参数的信息包括在所述图像转换之后的图像的 预期质量因子QF。ut，以及其中预计算相对文件大小预测的阵列包括量化所述质量因子QFin、所述质量因子QF。ut、和所述缩放因子z，以获得量化的质量因 确定具有以下内容的图像集^‘沈―对于QFin的值包含具有量化到的相同原始 量化因子的图像集合的所有图像，量化到ρ巧的输出量化因子QF。ut的值，以及量化到j的 缩放因子ζ的值；以及使用以下关系计算预计算相对文件大小预测阵列 其中S O是相对大小观察，以及是集ρ“的基数。
19.如权利要求18所述的方法，其中计算在所述图像转换之后的文件大小预测 勿/,ρ厂 ,，幻包括使用以下关系 其中S(I)是在所述图像转换之前的图像I的压缩文件大小。
20.如权利要求17所述的方法，其中计算所述相对文件大小预测包括(a)将表示所述图像的特征的向量关联至图像集的每个图像，和(b)将所述图像集划 分成关联至类似向量的图像类；针对每个图像类计算质心，其代表关联至所述类的图像的向量原形；以及 针对每个质心计算相对文件大小预测的阵列，所述阵列具有包括关于至少一个质量控 制参数的改变和所述缩放因子的至少二维。
21.如权利要求20所述的方法，包括通过使用以下关系计算关联至每个图像的向量 其中α是缩放常量，W(I)、Η(Ι)和QF(I)分别是图像I的宽度、高度和质量因子。
22.如权利要求20所述的方法，其中计算在所述图像转换之后的图像的文件大小预测包 括使用在所述图像转换之前的图像的文件大小和预计算的相对文件大小预测的阵列的项。
全文摘要
一种系统和方法，用于预测经过通过缩放以及至少一个质量控制参数的改变而转换的图像的文件大小，其中输入端接收(a)在转换之前的图像的文件大小，(b)在转换之前的关于所述图像的至少一个质量控制参数的信息，(c)在转换期间的关于应用于图像的至少一个质量控制参数的信息，和(d)在转换期间应用于图像的缩放因子。基于关于质量控制参数和缩放因子的接收信息计算相对文件大小预测。最后，根据所述转换之前的图像的文件大小和计算的相对文件大小预测来计算所述转换之后的图像的文件大小。
文档编号G06T3/40GK101842811SQ200780101390
公开日2010年9月22日 申请日期2007年11月2日 优先权日2007年11月2日
发明者J-F·弗朗什, S·库隆布, S·皮金 申请人:高等技术学校