基于多个图像帧形成图像的方法，图像处理系统和数字照相机的制作方法

专利名称：基于多个图像帧形成图像的方法，图像处理系统和数字照相机的制作方法
技术领域：
本发明涉及一种基于多个图像帧形成合成图像的方法。
本发明还涉及用于处理亮度值阵列的系统，每个阵列适于以对应于阵列中 亮度值数值的分辨率表示图像帧。
本发明还涉及成像装置，诸如，数字照相机。 本发明还涉及计算机程序。
背景技术：
国际专利申请PCT/EP2005/052121在本申请的申请日之前提交，并且在本
申请的申请日之后以编号WO一/_公开，因此，根据EPC法条Art.54 (3)
的规定包括在现有技术中。它描述一种由多个图像帧形成合成的最终图像的方 法，包括获得第一像素值阵列和至少一个另外的像素值阵列，每个亮度值阵列 用各个图像帧中各个像素位置的每一个给光强度级别编码，包括确定图像帧的 空间分辨率的数值。产生一组导出亮度值阵列，每个导出阵列基于获得的亮度 级别阵列分别的一个并且至少在各个图像帧的重叠区域的每个共同数目的像 素位置编码光亮度级别。产生合成亮度值阵列。该阵列中的每个元素基于由各 自的导出亮度值阵列的每一个中的相应元件表示的亮度值总和。提供编码合成 最终图像的亮度值阵列，该阵列基于合成的亮度值阵列。获得以高于另外的亮 度值阵列的分辨率至少编码重叠区域的第一亮度值阵列。提供以高于另外的亮 度值阵列的空间分辨率至少编码合成的最终图像的重叠区域的亮度值阵列。编 码合成的最终图像的亮度值阵列基于足够数量的第一亮度值阵列中的亮度值， 以高于另外的亮度值阵列的分辨率编码重叠区域。
通过将至少部分地描述相同区域的多个图像帧相加形成合成图像具有这 样的效果，即合成图像中的重叠区域具有比单个图像帧更高的信噪比(SNR)。 然而，在图像处理系统中，亮度值采用一系列离散值之一、用表示值的比特数 确定离散值的数量。而这又通过显示合成图像的格式所允许的动态范围来确定，例如，JPEG标准或计算机显示的分辨率。如果各个图像帧中对应于像素 的亮度值总和超过离散值范围所允许的最大值，总值縮减为保持在范围内。如 果在表示合成图像的亮度值阵列中的很多亮度值都发生这种情况，那么合成图 像似乎曝光过度。

发明内容
本发明的目的在于提供一种上述类型的方法、系统、成像装置和计算机程 序，用于有效地提供具有相当好SNR和微弱或没有曝光过度的合成图像。
根据本发明的这个目的通过提供基于多个图像帧形成合成图像的方法来 实现，包括
获得第一组至少一个亮度值阵列，用于以对应于阵列中的亮度值数值的分 辨率表示图像帧，和
获得第二组至少一个亮度值阵列，用于以对应于阵列中的亮度值数值的分 辨率表示图像帧，
其中合成图像由亮度值的末级阵列表示，
其中在末级阵列中的至少一些亮度值各自通过执行下述求和步骤获得，该 求和的步骤是对基于仅仅在第一组中的至少一个亮度值阵列的至少一个亮度 值阵列的每一个的亮度值，和基于仅仅在第二组中的至少一个亮度值阵列的至 少一个亮度值阵列的每一个的亮度值求和，其中在执行求和步骤之前，只有第 一组中的阵列的亮度值从第一范围内的比例映射到第二范围内的比例。
因为末级阵列中的至少一些亮度值各自通过执行以下的求和步骤来执行， 该求和步骤是对基于至少两个亮度值阵列的至少一个亮度值阵列的亮度值求
和，SNR被提高。因为在执行求和步骤之前，在第一组中的阵列的亮度值从 第一范围内的比例映射到第二范围内的比例，有可能使用亮度值的表示所允许 的整个动态范围，而不超出表示它们的比例的端点。出于这个目的，第二范围 不同于第一范围。因为只有第一组中的阵列的亮度值被映射，该方法相当有效。
本发明的一个实施方式包括获得安排的第一组和第二组，使得用第一组中 的阵列表示的图像帧以低于用第二组中的阵列表示的图像帧的分辨率来表示。
这样具有增加效率的作用，因为相当少的亮度值从第一范围内的比例映射 到第二范围内的比例。在一个实施例中，基于仅仅在第一组中的至少一个亮度值阵列的至少一个 亮度值阵列包含空间频域的系数，基于仅仅在第二组中的至少一个亮度值阵列 的至少一个亮度值阵列包含空间频域的系数，在末级阵列中的亮度值由空间频 域的系数形成，其中在末级阵列中的至少一个低次系数通过求和而获得，求和 是对基于仅仅在第一组中的至少一个亮度值阵列的至少一个亮度值阵列的每 一个的亮度值，和基于仅仅在第二组中的至少一个亮度值阵列的每一个的亮度 值求和，其中在末级阵列中的至少一个高次系数仅根据基于第二组的亮度值阵 列获得。
这是根据以较低分辨率表示图像帧的第一组阵列和以较高分辨率表示图 像帧的第二组阵列、获得以相当高的分辨率表示的合成图像的相当有效的方 式。不需要内插或类似技术来增加用第一组阵列表示的图像帧的分辨率。作为 替代，在用第二组表示的较高分辨率图像帧中的信息用于生成相当高分辨率的 合成图像，而低次系数的求和用于降低图像中可感觉到的噪音。
在一个实施方式中，在第一和第二组中的至少一些亮度值阵列是通过从包 括感光单元的阵列的图像捕获装置读取的测量值而获得，其中末级阵列中的每 个亮度值基于在第二组中包括的阵列中的至少一个亮度值。
因为第一组中的阵列表示较低分辨率的图像帧，它们包含较低亮度值。因 此，读取测量值的时间减少。这样允许用第一和第二组阵列表示的图像帧快速 连续地读取，降低在捕获的场景中照相机抖动或移动的影响。因为末级阵列中 的每个亮度值基于在第二组中包括的阵列中的至少一个亮度值，在损害合成图 像的分辨率的情况下，不能获得减小由于移动产生的模糊的效果。
一个实施方式包括至少部分地根据第二组中的亮度值阵列数确定第二范 围的上限。
因此，降低过度曝光的合成图像的风险。
在一个实施方式中，在第一组中的至少一个亮度值阵列通过获得用于以对 应于阵列中的亮度值数值的分辨率表示图像帧的多个亮度值阵列、和对多个阵 列的每一个的亮度值求和以获得第一组中至少一个阵列的相应亮度值而获得。
因此，表示多个图像帧的总和的图像的阵列被换算。这样具有减小必须进 行换算的量的作用，使得所述方法更有效。此外，利用加法滤除用于形成第一 组中的阵列的相加的多个阵列上的随机噪音。在一个实施方式中，在第一组中的至少一个亮度值阵列通过获得多个亮度 值阵列而获得，其中多个亮度值阵列用于以对应于阵列中亮度值数值的分辨率 表示图像帧，其中所述方法还包括对获得的多个阵列的每一个的亮度值求和， 以获得在中间组合阵列中的相应亮度值，和至少部分地根据在中间组合阵列中 的至少一个亮度值确定第二范围的上限。因此，可以相当精确地确定第二范围的合适程度，因为它是基于完全表示 末级阵列的亮度值阵列。这个实施方式也相当有效，因为它不需要分析第一组 中的多个阵列的每一个。在一个实施方式中，至少在第一组中的亮度值阵列通过获得表示第一颜色 空间中的彩色图像帧的多个亮度值阵列、并且对第二颜色空间中的多个值的阵 列应用变换来获得，其中，在第一颜色空间中，图像帧用参数值组合来表示， 每个参数表示多个颜色成分之一的亮度，而在第二颜色空间中，图像帧用参数 值组合来表示，表示色调的组合的一个参数和至少一个表示光亮度的其它参 数。这个实施例具有从第一比例到第二比例的映射只需根据较少的亮度值阵 列来进行的优点。代替对每种颜色成分不同的亮度值阵列或亮度值阵列组合， 只需要处理表示第二颜色空间中的光亮度的参数值的一个或多个阵列，或基于 其导出的阵列。颜色信息包含在表示色调的参数值阵列中，其不需要换算来防 止合成图像的饱和。根据另一方面，根据本发明提供一种用于处理亮度值阵列的系统，每个阵 列适于以对应于阵列中的亮度值数值的分辨率表示图像帧，其中所述系统用于重现第一组至少一个亮度值阵列和第二组至少一个亮 度值阵列，第一组中的阵列和第二组中的阵列表示各个图像帧，以形成表示合 成图像的亮度值末级阵列，其中所述系统通过执行求和的步骤获得末级阵列中的至少一些亮度值的 每一个，求和是对基于仅仅在第一组中的至少一个亮度值阵列的至少一个亮度 值阵列的每一个的亮度值，和基于仅仅在第二组中的至少一个亮度值阵列的至 少一个亮度值阵列的每一个的亮度值进行求和，和其中在执行求和步骤之前，所述系统仅仅将第一组中的阵列的亮度值从第 一范围内的比例映射到第二范围内的比例。根据另一方面，根据本发明提供一种成像装置，例如，数字照相机，包括 处理器和至少一个用于存储多个亮度值阵列的存储装置，其中成像装置用于执 行根据本发明的方法。成像装置相当有效地利用数字信号处理能力。特别是，因为不需要换算全 部的像素值阵列，执行映射函数从査询表査询值的量相当小。根据本发明的另一方面，提供一种计算机程序，包括一组指令，当结合在 机器可读介质中时，能够使系统具有信息处理能力，以执行根据本发明的方法。计算机程序可以在用于捕获图像的后处理的通用计算机上运行，或它可以 以用于诸如数字照相机的图像捕获装置的固件形式提供。


下面参照附图更详细地描述本发明，其中图1示意性地表示用于实施形成合成图像的方法的数字照相机； 图2示意性地表示形成合成图像的方法的第一实施方式； 图3示意性地表示形成合成图像的方法的第二实施方式； 图4示意性地表示形成合成图像的方法的第三实施方式； 图5示意性地表示形成合成图像的方法的第四实施方式。
具体实施方式
图1表示数字照相机1的一些部件，数字照相机1作为适于实现下述方法 的成像装置的示例。适当的成像装置的其它示例包括扫描仪和影印装置。因为 形成合成图像的方法要求相当低的处理能力，有利于将它们应用于数字照相机数字照相机1包括透镜系统2，用于聚焦在合成图像表示的场景中的一个 或多个目标。当快门3打开时，场景通过光圈4中的孔径投射到图像捕获装置 5的感光区上。代替快门3，可以使用通过图像捕获装置5的适当控制操纵的 电子快门。快门时间随着孔径的直径是可控制的。例如，图像捕获装置5可以 是互补金属氧化物半导体(CMOS)技术实施的器件或电荷耦合器件(CCD) 传感器。图像捕获装置5的感光区被分成由像素单元占据的区域。每个像素单 元包括产生表示光亮度信号的装置，光亮度是曝光像素单元占据区域的光亮度。在曝光过程中，例如，通过电容器中的光电流的累积，形成由器件所产生 信号的积分。在持续曝光时间间隔的曝光之后，所产生信号的积分值逐行读取。所读取的(模拟)值提供给模数(A/D)转换器6。 A/D转换器采样和量 化从图像捕获装置5所接收的信号。这包括按比例记录具有离散电平的亮度 值，离散电平的数目取决于作为A/D转换器6的输出提供的数码字的分辨率 的比特数。因此，A/D转换器6提供按照占据第一范围的比例记录的亮度值阵 列作为输出。每个亮度值与图像帧中的具体像素位置有关，对应于感光单元或 多个相邻的感光单元。在后者的情况下，从图像捕获装置5读出的值优选地通 过"区域化(binning)"对应于多个相邻的感光单元的值而获得。"区域化的" 值对应的区域可以重叠。因此，图像捕获装置5的每次曝光获得表示图像帧的亮度值阵列。下面将 更详细地解释， 一个或多个阵列的亮度值通过数字信号处理器(DSP) 7被映 射到占据第二范围的不同比例。在一些实施方式中，DSP7也适于进行诸如像 素值与图像的任意压縮之间的插值操作。还可以进行亮度值与空间频域的变 换，诸如离散余弦变换(DCT)。亮度值的阵列存储在存储装置8中。存储装置可以是任何通用类型的存储 装置，例如，内置闪存、可更换闪存模块、光盘驱动器或磁盘驱动器。在微处理器9的控制下进行图像的捕获和处理，微处理器9通过总线10 发布命令。在图示实施方式中，微处理器9由协处理器11协助。例如，协处 理器11优选地是根据JPEG标准进行图像压縮的数字信号处理器。微处理器9 包括易失性存储器并且可以访问存储在只读存储器(ROM)模块12中的指令。 该指令提供给数字照相机1，其有能力执行将多个捕获的图像帧相加形成合成 图像的方法，该方法在微处理器9的控制下执行。连接到总线10的其它部件包括用于接收用户命令的输入界面模块13，和 用于返回状态信息的输出界面模块14。在图示实施方式中，移动传感器15用 于检测和测量数字照相机1的移动。在其它实施方式中，分析迅速连续捕获的 图像帧序列，以确定数字照相机1的移动量和/或移动方向。此外，数字照相 机1包括曝光测定装置16和用于控制闪光操作(未示出)的闪光装置17。在使用中，用户发出形成单个场景图像的命令，其通过输入界面模块13 和总线10传送到微处理器9。作为响应，微处理器9控制数字照相机1，从而捕获多个曝光不足的图像帧或具有高ISO设置的图像帧。高ISO设置意味着 图像捕获装置5的感光度、根据国际标准ISO 5800:1987的线性胶片速度比例 的标准设定在高级别。所捕获的图像表示至少部分重叠的各个场景。每个图像 帧，特别是每个图像帧的颜色成分，用像素值的阵列表示。在与像素相关的区 域，每个像素值对应于相关颜色成分的光亮度，假定与像素相关的每个区域对 应于图像捕获装置5的部分区域，其是不变的，在阵列中包含的亮度值的数值 对应于图像帧的空间分辨率。在亮度值是空间频域的系数的情况下也是这样， 因为在阵列中包含的更多值对应于高次系数的存在。为了获得单个曝光不足的图像帧的序列，微处理器9对于在图像帧的基础 上形成的最终图像确定理想的曝光。这种曝光在图像帧上被划分。在从曝光测 定装置16获得的一个或多个值的基础上，可以由用户的输入或自动地确定理 想的曝光。每个图像帧的曝光水平获得光圈4、快门速度和闪光强度的设定。 此外，微处理器9确定从图像捕获装置读出的信号的放大级别。这些确定在表 示图像帧的阵列中的亮度值内的值的范围。表示亮度值的比特数确定亮度值的 动态范围。在该示例中，假定亮度值用8比特来表示，那么存在255种可能的 非零值。代替使图像帧曝光不足，图像捕获装置5的线性刻度ISO设定(也被 称为ASA数)可以按照与曝光不足因子相同的因子来增加。这样导致在各个 帧中噪音水平增加，该噪音级别通过下述的组合处理来减小。在此所述的实施方式中，在表示相关的各个图像帧的第一组亮度值阵列和 表示相关的各个图像帧的第二组亮度值阵列之间形成差别。根据捕获图像帧之 后如何处理这些阵列形成该差别。在第一实施方式中，如图2所示，第一组亮度值阵列18以相对低的空间 分辨率表示图像帧，而第二组亮度值阵列19以相对高的空间分辨率表示图像 帧。因为空间分辨率与阵列中的亮度值数值成比例，产生的结果是第一组18 中的阵列包含的值比第二组19中的阵列包含的值要少。这样降低处理要求， 显而易见是有利的。应该注意，处理量仅仅通过将阵列的序列划分成第一组18和第二组19 来减少，使得第一组以比第二组更低的分辨率表示图像帧的事实是有利的、但 可选择的特征。而且，不要求共用一组的阵列都具有相同元素数量，即，表示 的每一个图像帧具有相同的分辨率，但要求处理效率。在图示的实施方式中，仅仅在第一组18和第二组19的阵列的基础上形成表示合成图像的亮度值末级 阵列20。在其它实施方式中，存在表示合成图像基于的连续捕获的图像帧的 序列中的图像帧的第三组阵列。图2所示的方法的目的是换算第一组阵列18中的亮度值，使得末级阵列 20包含占据整个动态范围的亮度值。该方法用于防止末级阵列中所有亮度值 被由8比特显示提供的255个值中的最高值縮减的情况。在第一步骤21中，至少部分地分析第一组阵列18中的一个或多个亮度值 阵列。在一个实施方式中，该分析包括形成一些或所有亮度值的柱状图。为了 减少产生柱状图需要的处理强度，可以只使用64值的每个块中的一个值。如果相当多的亮度值数值位于阈值以上，那么需要映射函数，映射函数在 第二步骤22中确定。第二步骤22之后是根据映射函数生成査询表24的步骤 23。对于255个亮度值的每一个，换算值输入査询表24。利用査询表使得通 过DSP7执行映射，这样相当有效。因此，査询表的使用使在此给出的方法非 常适于在诸如电子照相机1的成像装置中实施。只有第一组18中的亮度值阵列映射(步骤25)到组26中的换算亮度值 阵列。每个亮度值用作査询表24中的索引，以确定它的换算值。应该理解， 因为只是在形成第一组18的阵列中换算亮度值，需要更小的查询表。而且， 査询操作的量大大地降低。可以看出，末级阵列20仍然用较高分辨率表示合 成图像，因为末级阵列中每个亮度值基于第二组19包括的阵列中的至少一个 亮度值。应该注意，在其它实施方式中，映射函数直接应用于第一组18中的 亮度值阵列，从而无需査询表24。用于构成査询表24的映射函数将亮度值从第一范围内的第一比例映射到 占据更小的第二范围的第二比例。在一个实施方式中，第二比例的上限根据至 少两个因素来确定。第一因素是第一步骤21中分析的阵列的亮度值的范围超 过一定阈值。第二因素是根据第二组19中亮度值的阵列数。更具体地说，阈 值是用于编码末级阵列20中的值的动态范围的最大值除以第一组18和第二组 19中的阵列数。选择映射函数，以保证在换算亮度值阵列的组26的各个阵列 中的亮度值的基本比例保持低于阈值。在这个示例中，第二因素是基于第二组 19中的阵列数与第一组18中的阵列数的比率。第二比例的上限通过将阈值减 小对应于这个比率的量来获得。因此，要考虑换算第一组18和第二组19中的第一组18的阵列的事实。在实施更有效的实施方式中，使用固定曲线或査询表，以仅仅根据第一组18和第二组19中的亮度值阵列数来确定换算比例。另外，根据过度曝光的程 度，或等同地，根据图像捕获装置5的感光度提高的因素选择映射函数，图像 捕获装置5用于捕获分别根据第一组18和第二组19中的阵列的亮度值阵列。在有利的实施方式中，第一步骤21之前有一个步骤(未示出)，其中通过 获得表示第一颜色空间中的彩色图像帧的多个亮度值阵列，并转换成第二颜色 空间中的多个亮度值阵列，获得第一组和第二组亮度值阵列18 19，其中，在 第一颜色空间中，图像帧由参数值组合来表示，每个参数表示多个颜色成分之 一的亮度，而在第二颜色空间中，图像帧用参数值组合来表示，该组合的一个 参数表示色调和指示光亮度的至少一个其它参数。在具体实施方式
中，表示 RGB (红、绿、蓝)颜色空间中的图像帧的亮度值阵列被转换成表示HLS (色 调、亮度、饱和度)颜色空间中的图像帧的各个参数值阵列。RGB颜色空间 是附加颜色空间，其中三种颜色成分的每一种的亮度分别编码。如果在RGB 颜色空间中执行图2所示的整个方法，那么该方法本质上必须重复执行三次。 第一步骤21和第二步骤22包括就它们表示相同图像帧的颜色成分的意义来说 属于一起的三个阵列的分析。至少换算比例步骤25包括换算每个图像帧的亮 度值阵列。在HLS颜色空间中，图像用描述三种颜色成分的相对强度的色调、 提供从灰度级别到全色的程度的饱和度、和基本对应于颜色成分的平均强度的 亮度(也称为辉度)的参数组合来表示。仅仅换算第一组18中的亮度值阵列。 应该注意，HSV (色调、饱和度、数值)颜色空间可用作HSL颜色空间的替 换，CMYK和YUV颜色空间是RGB颜色空间的替换。如上所述，在末级阵列20中的每个亮度值是基于在第二组亮度值阵列19 中包括的阵列的至少一个亮度值。在图2所示的实施方式中，这是通过对换算 亮度值阵列的组26中的每个阵列的对应像素值求和来保证的。为了获得高分辨率合成图像，生成分辨率调整的阵列的组27 (步骤28)。 在这个步骤28中，换算亮度值阵列的组26中的阵列的空间分辨率通过乘法因 数来调整，并且是增大的。 一个可选择的方法是降低由第二组19中的阵列表 示的图像帧的分辨率。提高图像帧的空间分辨率的一种方法是在换算亮度值阵 列中的亮度值之间进行插值，其中图像帧由换算亮度值阵列的组26中的阵列表示。末级阵列20通过对分辨率调整的阵列的组27中的各个阵列的亮度值和第 二组阵列19的每一个值求和来获得。加上对应于由图像帧表示的场景中相同 像素的亮度值。考虑到照相机的抖动，执行附加步骤(未示出)来校正图像帧。在图2 所示的第一步骤21之前进行校正，使得第一组18和第二组19的阵列是校正 操作的结果。在这种情况下，在第一组18和第二组19中的每个阵列基于由图 像捕获装置5获得并且根据移动矢量校正的亮度值阵列。移动矢量描述照相机 1在通过图像捕获装置获得亮度值阵列的时间点之间的移动。它是基于从移动 传感器15获得的数据或基于利用国际专利申请PCT/EP04/051080中更详细描 述的方法对所捕获图像帧的分析，该国际专利申请在此并入作为参考。在此应 用中，方法的描述包括计算至少表示图像帧序列中至少部分连续的图像帧的相 对移动指示的成分的移动矢量，其中计算移动矢量的步骤包括至少确定表示至 少一个移动矢量要素的级数展开中的第一项，该步骤包括估算处理，其中至少 在多个图像帧的每一个中的部分根据计算的移动矢量重新配置。估算处理包括 在合成图像的空间频谱的上限范围中包含的能量测量值的计算，至少确定第一 项的步骤包括使能量最大化的估算处理的至少一个进一步叠代。在可选择的实施方式中，图像帧利用名为随机采样协议(RANSAC)的已 知方法进行对齐。该方法适合有足够光来捕获图像帧的情况。图3表示图2所示方法的变形。该实施方式也是基于亮度值阵列的第一组 30和亮度值阵列的第二组31。每个亮度值是像素值，对应于与像素相关的区 域上的相关颜色成分的光亮度。上面所述的内容是关于图2所示的第一组18 和第二组19同等地应用于图3的第一组30和第二组31。另外，这种描述是 假定在第一组30中的阵列中的亮度值阵列以低于第二组31的阵列的分辨率表 示图像帧。图3所示的方法中的第一步骤32对应于图2所示的第一步骤21 。在后面 的步骤33中，再次确定映射函数，以便将第一组30中的阵列的亮度值从占据 第一范围的比例映射到占据第二范围的第二比例。根据第一组30中的至少部 分阵列或全部阵列确定映射函数。它是以与图2所示的实施方式基本相同的方 式来确定。同样，在确定映射函数步骤33之后的步骤34中建立査询表34。查询表34用于(步骤36)生成换算亮度值阵列的组37，其中每个阵列是基于 亮度值阵列的第一组30中的相应阵列。图3的变形不同于图2所示在于空间频域的转换在换算步骤36之后的另 一步骤38中执行。这个转换步骤38利用所示示例中的离散余弦变换(DCT) 来实施。换算亮度值阵列组37是DCT系数的第一组阵列39的基础。亮度值 阵列的第二组31是DCT系数的第二组阵列40的基础。可以观察到DCT变换 是JPEG (联合图像专家组)压縮算法的部分，并且在诸如DSP 7或协处理器 11的特殊目的的处理器中实施这种算法是有利的。从RGB颜色空间到HLS 颜色空间的转换也是JPEG算法的部分，从而这个特征也有利地应用于图3所 示的实施方式中。上面详细地描述颜色空间之间的转换。在空间频域中执行求和步骤41，以获得DCT系数的末级阵列42。末级阵 列42形成表示合成图像的亮度值阵列，因为每个系数表示空间频率成分的亮 度级别，并且空间频率成分的设定包含表现合成图像需要的所有信息。末级阵 列42的低频系数通过对DCT系数阵列的第一组39中的每个阵列的低频系数 和DCT系数阵列的第二组40中的每个阵列的低频系数求和而获得。高频系数 通过对DCT系数阵列的第二组40中的每个阵列的高频系数求和而获得。因为 这些高次系数在DCT系数阵列的第一组39的(较小)阵列中不存在，只有 DCT系数的末级阵列42中的一些亮度值根据亮度值阵列的第一组30和第二 组31而获得。求和步骤41优选考虑用于获得末级阵列42中的每个系数的不 同数值的加数来实施。反离散余弦变换(IDCT) 43获得空间域中亮度值的阵列44。变换步骤38 和IDCT43 二者有利地通过数字照相机1中的协处理器11来执行。图4表示简化从第一比例到第二比例确定映射函数、以及简化换算步骤的 实施方式。它根据像素值阵列的第一组45和像素值阵列的第二组46操作。第一总阵列47在第一步骤48中形成。假设第一组45中的阵列以相同的 分辨率表示各个图像帧，在第一总阵列中的每个亮度值通过对第一组45中的 每个阵列相应的亮度值求和而获得。如果分辨率不同，首先进行内插，或降低 表示较高分辨率图像帧的阵列，以对应于共同分辨率。第一总阵列47也适于 表示图像帧，尽管它基于多个之前的图像帧，并形成一组一种成分构成的阵列。 在可选择的实施方式中，可以形成多个总阵列，每个阵列基于第一组45中的阵列的子集，多个总阵列形成在此使用的术语第一组。
分析亮度值的第一总阵列47 (步骤49)，以确定将占据第一范围的第一比 例映射到占据第二范围的第二比例的映射函数。如上所述，该分析有利地包括 形成一些亮度值或全部亮度值的柱状图，S卩，DCT系数。另外，利用第一总 阵列内的亮度值的每个块的一个值可以进行分析。然而，因为只分析第一总阵 列47，与必须分析多个亮度值阵列的实施方式相比，图4的实施方式允许更 多的相关分析。
如果大量的亮度值位于阈值以上，那么需要映射函数。根据映射函数生成 査询表50(步骤51)。例如，对于255个亮度值的每一个，换算值被输入查询 表50。
仅仅亮度值的第一总阵列47映射(步骤52)到换算的第一总阵列53。优 选地，亮度值的第一组45中的阵列以低于阵列的第二组46中的阵列的分辨率 表示图像帧。即使不是这种情况，仍然可以以低于由亮度值阵列的第二组46 中的阵列表示的图像帧的分辨率生成表示合成图像帧的第一总阵列47。因此， 査询操作的量保持相当低。
如上所述，用于构成査询表50的映射函数将亮度值从第一范围内的第一 比例映射到占据第二较小范围的第二比例。根据至少两个因素再次确定第二比 例的上限。第一因素是第一总阵列47的亮度值超过一定阈值的程度。第二因 素是基于第二组46中的亮度值阵列数。更具体地说，阈值是用于编码第一总 阵列47中的值的动态范围的最大值。选择映射函数，以保证在换算的第一总 阵列53中的亮度值的基本比例保持在阈值以下。在这个示例中，第二因素是 基于第二组46中的阵列数与第一组45中的阵列数的比率。第二比例的上限通 过将阈值减小对应于这个比率的量来获得。因此，要考虑只换算第一总阵列 47、而不换算亮度值阵列的第二组46的阵列的事实。
仅仅换算第一总阵列47甚至进一步降低査询操作的量。然而，有可能分 析第一总阵列47，以得到用于换算第一组阵列45中的单个阵列的映射函数， 在换算之后，这些函数相加。另外，有可能分析第一组亮度值阵列45中的单 帧，以便得到用于换算第一总阵列47的映射函数。换算第一总阵列47的作用 是减少传播到表示合成图像的亮度值的末级阵列54的噪音量。
亮度值的末级阵列54以高于换算的第一总阵列53的分辨率显示合成图像。为此，处理后者(步骤55)，以获得分辨率调整的换算第一总阵列56。另 外，内插法是可以获得分辨率调整的换算第一总阵列56中的亮度值的方法。
在最后的步骤57中获得末级阵列54。在这个步骤57中，亮度值的末级 阵列54中的每个亮度值通过对分辨率调整的换算第一总阵列56的亮度值和亮 度值阵列的第二组46中的每个阵列的相应的各个亮度值求和而获得。显而易 见，末级阵列54由各基于亮度值阵列的第二组46中的阵列中的至少一个亮度 值的亮度值形成，以达到高分辨率表示的合成图像。
图5表示在空间频域中大量进行计算的变形，这种变形不必要求用于提高 表示图像帧的分辨率的内插或其它处理。图5所示的变形开始DCT操作58。 DCT操作58用于获得DCT系数的第一组阵列59，用于以第一分辨率表示一 组相应的图像帧。该第一组59基于编码与空间频域相对的空间域中的图像帧 的一组像素值阵列60。DCT系数的第二组阵列61基于编码在第二分辨率的空 间域中的图像帧的第二组像素值阵列62。在这个示例中，再次假定第二分辨 率高于第一分辨率。
在后续的步骤63中，在DCT系数的第一组阵列59中的阵列被处理，以 获得第一总阵列64。在第一总阵列64中的每个DCT系数通过对第一组59的 各个阵列中的相应DCT系数求和而获得。
分析第一总阵列64，以确定(步骤65)将第一总阵列64中的DCT系数 从占据第一范围的第一比例映射到占据较小的第二范围的第二比例的映射函 数。这个歩骤65利用上述在图2_4的方法中关于相应步骤22， 33， 49的任 何一种方法执行。随后(步骤66)，根据映射函数建立査询表67。
映射函数至少部分地基于在DCT系数的第二组阵列61中的阵列数。这种 情况是因为只有第一总阵列64中的DCT系数从第一比例映射到第二比例(步 骤68)，而在形成DCT系数的第二组阵列61的阵列中的DCT系数不映射。 在这个步骤68中进行换算的结果是换算的第一总阵列69。
换算的第一总阵列69和在DCT系数阵列的第二组61中的阵列在步骤70 中相加，与图3所示的实施方式中的求和步骤41类似。获得DCT系数的末级 阵列71。在DCT系数的末级阵列71中的低次DCT系数各自通过对换算的第 一总阵列69的低次系数和DCT系数阵列的第二组61的阵列的相应低次系数 求和而获得，换算的第一总阵列69基于第一总阵列64。在末级阵列71中的高次DCT系数仅通过对DCT系数阵列的第二组61中包括的阵列中相应的高 次系数求和而获得。因此，DCT系数的末级阵列71适于表示相当高分辨率的 合成图像，至少高于由第一总阵列64表示的图像帧的分辨率。
反DCT操作72将DCT系数的末级阵列71转换成像素值的末级阵列73， 每个对应于在合成图像中的像素占据的区域上的光亮度。
本发明不限于上述实施方式，其可以在附加的权利要求的范围内变化。特 别是，在此概述的方法适于通过除数字照相机1之外的其它类型的图像处理系 统来部分或完全执行。例如，根据在用数字照相机1快速连续捕获并且存储在 存储装置8中的阵列序列中的第一组像素值阵列和第二组像素值阵列，通用个 人计算机或工作站可以执行该方法。用于至少在用它们表示的图像帧之间的重 叠区域的相对对齐的阵列处理是每个实施方式的有利特征。
权利要求
1、一种基于多个图像帧形成合成图像的方法，包括获得第一组至少一个亮度值阵列(18，30，47，64)，用于以对应于阵列中的亮度值数值的分辨率表示图像帧，和获得第二组至少一个亮度值阵列(19，31，46，61)，用于以对应于阵列中的亮度值数值的分辨率表示图像帧，其中所述合成图像由亮度值的末级阵列(20，42，54，71)表示，其中在末级阵列(20，42，54，71)中的至少一些亮度值各自通过执行下述求和步骤(29，41，57，70)获得，该求和的步骤是对基于仅仅在第一组(18，30，47，64)中的至少一个亮度值阵列的至少一个亮度值阵列(27，39，56，69)的每一个的亮度值，和基于仅仅在第二组(19，31，46，61)中的至少一个亮度值阵列的至少一个亮度值阵列(19，40，46，61)的每一个的亮度值求和，其中，在执行求和步骤(29，41，57，70)之前，只有第一组(18，30，47，64)中的阵列的亮度值从第一范围内的比例映射到第二范围内的比例。
2、 根据权利要求1所述的方法，其特征在于，包括获得安排的第一组(18， 30， 47， 64)和第二组(19， 31， 46， 61)，使得用第一组(18， 30， 47， 64) 中的阵列表示的图像帧以低于用第二组(19， 31， 46， 61)中的阵列表示的图 像帧的分辨率来表示。
3、 根据权利要求2所述的方法，其特征在于，基于仅仅在第一组(30， 64)中的至少一个亮度值阵列的至少一个亮度值阵列(39， 69)包含空间频域 中的系数，其中基于仅仅在第二组(31， 61)中的至少一个亮度值阵列的至少 一个亮度值阵列(40， 61)包含空间频域中的系数，其中在末级阵列(42， 71) 中的亮度值由空间频域中的系数形成，其中在末级阵列(42， 71)中的至少一个低次系数通过求和而获得，求和 是对基于仅仅在第一组(30， 64)中的至少一个亮度值阵列的至少一个亮度值 阵列(39， 69)的每一个的亮度值，和基于仅仅在第二组(31， 61)中的至少 一个亮度值的每一个的亮度值求和，其中在末级阵列(42， 71)中的至少一个 高次系数仅根据基于第二组(31， 61)的亮度值阵列(40， 61)获得。
4、 根据权利要求2或3所述的方法，其特征在于，在第一和第二组中的至少一些亮度值阵列是通过从包括感光单元的阵列的图像捕获装置读取的测量值获得，其中末级阵列(20， 42， 54， 71)中的每个亮度值基于在第二组中 包括的阵列中的至少一个亮度值。
5、 根据权利要求1一4任一项所述的方法，其特征在于，包括至少部分地 根据在第二组(19， 31， 46， 61)中的亮度值阵列数确定第二范围的上限。
6、 根据权利要求1 —5任一项所述的方法，其特征在于，在第一组(47， 64)中的至少一个亮度值阵列通过获得用于以对应于阵列 中的亮度值数值的分辨率表示图像帧的多个亮度值阵列(45， 60)，和通过对 多个阵列(45， 60)的每一个的亮度值求和来获得第一组(47， 64)中的至少 一个阵列的相应亮度值而获得。
7、 根据权利要求1一6任一项所述的方法，其特征在于，在第一组(18， 30， 47， 64)中的至少一个亮度值阵列通过获得多个亮度值阵列(45， 60)而 获得，其中多个亮度值阵列(45， 60)用于以对应于阵列中亮度值数值的分辨 率表示图像帧，其中所述方法还包括对获得的多个阵列(45， 60)的每一个的亮度值求和，以获得在中间组合 阵列(47， 64)中的相应亮度值，和至少部分地根据在中间组合阵列(47， 64)中的至少一个亮度值确定第二 范围的上限。
8、 根据权利要求1一7任一项所述的方法，其特征在于，至少在第一组中 的亮度值阵列通过获得用于表示第一颜色空间中的彩色图像帧的多个亮度值 阵列、并且对第二颜色空间中的多个值的阵列应用变换来获得，其中，在第一 颜色空间中，图像帧用参数值组合来表示，每个参数表示多个颜色成分之一的 亮度，而在第二颜色空间中，图像帧用参数值组合来表示，表示色调的组合的 一个参数和至少一个表示光亮度的其它参数。
9、 一种用于处理亮度值阵列的系统，每个阵列适于以对应于阵列中的亮 度值数值的分辨率表示图像帧，其中所述系统用于重现第一组至少一个亮度值阵列(18， 30， 47， 64)和 第二组至少一个亮度值阵列(19， 31， 46， 61)，第一组(18， 30， 47， 64) 中的阵列和第二组中的阵列表示各个图像帧，以形成表示合成图像的亮度值末 级阵列(20， 42， 54， 71),其中所述系统通过执行求和的步骤获得末级阵列(20， 42， 54， 71)中的 至少一些亮度值的每一个，求和是对基于仅仅在第一组(18， 30， 47， 64)中 的至少一个亮度值阵列的至少一个亮度值阵列(27， 39， 56， 69)的每一个的 亮度值，和基于仅仅在第二组(19， 31， 46， 61)中的至少一个亮度值阵列(19， 40， 46， 61)的至少一个亮度值阵列的每一个的亮度值进行求和，和其中在执行求和步骤之前，所述系统仅仅将第一组(18， 30， 47， 64)中 的阵列的亮度值从第一范围内的比例映射到第二范围内的比例。
10、 根据权利要求9所述的系统，其特征在于，用于执行如权利要求l一 8任意一项所述的方法。
11、 一种成像装置，例如，数字照相机(1)，包括处理器(7， 9， 11)和 至少一个用于存储多个亮度值阵列的存储装置(8)，其特征在于，成像装置用 于执行如权利要求l一8任意一项所述的方法。
12、 一种计算机程序，包括一组指令，当结合在机器可读介质中时，能够 使系统(l)具有信息处理能力，以执行如权利要求l一8任意一项所述的方法。
全文摘要
一种基于在分辨率小于去除噪音的图像的理想分辨率的图像上、通过部分地平均去除噪音的帧平均值的改进方法的图像融合。求和平均噪音的图像的组由两个子组组成。第一组图像的分辨率(根据像素数)比第二组图像的分辨率低。第二组图像的分辨率是“高清晰”去除噪音的输出图像的分辨率。较低分辨率图像通过将它们的像素值换算成理想的输出图像被上采样。第一组图像的分级还适于避免由于求和造成的亮度饱和(闪耀)。图像融合还利用较高分辨率图像的高频成分和较低分辨率图像的低频成分在傅立叶空间中进行。
文档编号G06T5/50GK101305397SQ200580052009
公开日2008年11月12日 申请日期2005年10月12日 优先权日2005年10月12日
发明者安德鲁·奥古斯丁·韦茨 申请人:有源光学有限公司