基于图像梯度的图像滤波的制作方法

基于图像梯度的图像滤波的制作方法
【专利摘要】本发明的各实施例总体上涉及基于图像梯度的图像滤波。具体地，描述了一种在其中对图像应用滤波操作的图像处理方法和系统，其中，滤波操作使用基于图像中的图像梯度的滤波代价。以这种方式，取决于针对图像区域的图像梯度来对针对图像区域的图像数据进行滤波。这可以对不同情形有用，例如在将图像进行组合以形成高动态范围(HDR)图像时有用。滤波操作可以被用作确定连通图像区域的连通性单元的一部分，并且/或者滤波操作可以被用作将两幅或更多幅图像融合在一起以形成经融合的图像的融合单元的一部分。
【专利说明】
基于图像梯度的图像滤波
技术领域
[0001] 本发明的各实施方式总体上涉及图像处理，具体地涉及基于图像梯度的图像滤 波。
【背景技术】
[0002] 相机被用于捕获图像。对数字相机中的光传感器的基本限制之一是它们的动态范 围，其描述可由光传感器检测到的最小光强度与最大光强度之间的比率。尽管量化在可实 现的动态范围中发挥重要作用，但是限制本质上常常主要是物理方面的。最小可检测光强 度取决于传感器元件尺寸、效率和噪声基底。单个像素在紧凑设备中常常是极小的，导致在 低光照条件中捕获光子的低可能性和对来自各种噪声源和相邻像素的干扰的高易感性。最 大可检测光强度可以由传感器元件能够根据光生成的电荷的最大量确定，这可以导致饱和 效应。图像的曝光水平能够例如通过调节曝光时间、光圈尺寸或传感器灵敏度来调节。图像 的曝光水平可以被调节以适合要捕获图像的场景的光照条件，例如针对暗场景，可以增大 曝光水平，而针对亮场景，可以减小曝光水平。调节图像之间的曝光水平允许更宽的操作范 围，但是不影响单个曝光或图像的动态范围。
[0003] 高动态范围（HDR)图像能够通过将具有不同曝光水平，例如具有不同曝光时间和/ 或传感器灵敏度设置的不同曝光水平的多幅图像合并（即，融合)来构建。例如，可以顺序地 捕获场景的两幅或更多幅图像，并且之后经顺序捕获的图像可以被融合以形成HDR图像。例 如，可以捕获两幅图像:第一幅图像具有高曝光水平(其在本文中可以被称为"长曝光"），并 且第二幅图像具有低曝光水平(其在本文中可以被称为"短曝光"）。两幅图像能够被组合使 得在暗图像区域中（例如，在阴影中）长曝光主要（例如，仅仅)被用于形成经融合的HDR图 像，因为长曝光很可能比短曝光具有更少噪声。然而，在亮图像区域(例如，天空）中，长曝光 可以是饱和的并且因此短曝光主要(例如，仅仅)被用于形成经融合的HDR图像，以避免这些 图像中的来自长曝光的不想要的饱和效应。如果被用于形成HDR图像的图像之间的过渡是 尖锐的，则它们可能在HDR图像中是引人注目的，这可能是在感知上不利的。因此，使过渡在 一系列像素上平滑使得过渡不是如此尖锐的，并且因此在HDR图像中不是如此引人注目的。 即使对于最快的传感器，在经顺序捕获的图像之间也可能存在明显的延迟。图像之间的延 迟可以在其足够长以至于由于捕获图像的时刻之间的时间差，例如由于场景内的运动或相 机的运动(例如，在相机被实施在手持设备中的情况下)而在图像中出现变化的情况下被认 为是"明显"的。出于许多原因，能够证明在图像之间存在运动的情况下对两幅图像进行融 合是有挑战的。例如，如果对象在之后被融合的两幅图像之间移动，则诸如鬼影效应的伪影 可以由于两幅图像中的对象的位置的差异而出现在HDR图像中。场景中的由于动态对象或 视差的运动能够可以想象地被跟踪，但是这将需要复杂的流程，其通常将需要太多时间和 处理功率以被实时实施在移动设备上，移动设备例如智能电话、平板电脑、智能手表或HDR 处理可以被执行在其上并且其中处理功率可以受到限制的其他适当的移动设备。其将对具 有一种在将图像组合以形成HDR图像时处理运动的方法有用，该方法足够简单以实时实施 在移动设备上。

【发明内容】

[0004] 提供本
【发明内容】
从而以简化的形式介绍下面在【具体实施方式】中进一步描述的一 系列概念。本
【发明内容】
不旨在确定要求保护的主体的关键特征或必要特征，也不旨在用于 限制要求保护的主体的范围。
[0005] 提供了一种图像处理方法，其包括:确定针对至少一幅图像的图像梯度指示;基于 针对至少一幅图像的所确定的图像梯度指示来确定针对图像区域的滤波代价;并且使用针 对图像区域的所确定的滤波代价来处理与至少一幅图像相关的数据，包括应用滤波操作， 使得取决于至少一幅图像的图像梯度而执行针对图像区域的处理。
[0006] 方法还可以包括:确定类型掩码，类型掩码包括针对图像区域的类型指示符以由 此将图像区域中的每个分类成多种类型中的一种;其中，与至少一幅图像相关的处理数据 可以包括，针对多个图像区域中的每个:使用滤波操作来确定沿着从图像区域到根据类型 指示符的特定类型的图像区域的路径的最低累积代价;并且取决于所确定的最低累积代价 与阈值的比较来选择性地设置针对图像区域的类型指示符以指示特定类型。
[0007] 至少一幅图像可以包括多幅图像，其中，至少一个初始融合掩码可以指示用于在 将两幅图像进行组合时使用的初始融合因子，并且其中，的处理与至少一幅图像相关的数 据可以包括以根据针对在至少一个初始融合掩码中的过渡处的图像区域的滤波代价的平 滑速率使相应过渡平滑。
[0008] 对与至少一幅图像相关的数据的处理包括使用滤波操作来对至少一幅图像应用 去噪，使得被应用到图像区域的去噪的范围取决于针对图像区域的滤波代价。
[0009] 至少一幅图像可以包括利用不同聚焦捕获的多幅图像。
[0010]处理与至少一幅图像相关的数据包括使用滤波操作来对至少一幅图像应用去噪， 使得被应用到图像区域的去噪的范围取决于针对图像区域的滤波代价。
[0011] 提供了一种图像处理系统，其包括:梯度确定逻辑，其被配置为确定针对至少一幅 图像的图像梯度指示;滤波代价确定逻辑，其被配置为基于针对至少一幅图像的所确定的 图像梯度指示来确定针对图像区域的滤波代价；以及处理逻辑，其被配置为使用针对图像 区域的所确定的滤波代价来处理与至少一幅图像相关的数据，处理逻辑包括滤波逻辑，滤 波逻辑被配置为应用滤波操作，使得处理逻辑被配置为取决于至少一幅图像的图像梯度来 执行针对图像区域的处理。
[0012] 可以提供一种计算机可读代码，当代码运行在计算机上时计算机可读代码适于执 行本文中描述的方法中的任何的步骤。另外，计算机可读代码可以被提供用于生成根据本 文中描述的示例中的任何的图像处理系统。计算机可读代码可以被编码在计算机可读存储 介质上。
[0013] 本领域技术人员容易理解，以上特征可以在适当的情况下被组合，并且可以与本 文中描述的示例的方面中的任何进行组合。
【附图说明】
[0014] 现在将参考附图详细描述示例，在附图中：
[0015]图1是用于处理图像的系统的尚级图；
[0016]图2是HDR处理单元的功能框图；
[0017]图3是用于在图像上执行HDR处理的方法的流程图；
[0018] 图4是示出了滤波步骤的详细视图的流程图；
[0019] 图5表示针对图像区域的类型掩码；
[0020] 图6示出了利用连通性滤波器处理类型掩码的第一示例；
[0021 ]图7示出了利用连通性滤波器处理类型掩码的第二示例；
[0022]图8图示了使融合掩码平滑的过程；以及
[0023]图9是HDR处理单元被实施在其中的计算机系统的示意图。
[0024]附图图示了各种示例。技术人员将认识到附图中的图示的元件边界(例如，框、框 的组或者其他形状)表示边界的一个示例。可能的是，在一些示例中，一个元件可以被设计 为多个元件或者多个元件可以被设计为一个元件。在合适的情况下，在整个附图中使用共 同的附图标记来指示相似的特征。
【具体实施方式】
[0025]以上提到了在将图像组合以形成HDR图像时处理运动的问题。如以上所提到的，如 果被用于形成HDR图像的图像之间的过渡是尖锐的，则它们可能在HDR图像中是引人注目 的，这可能是在感知上不利的。为了解决这个问题，可以使过渡在一系列像素上平滑使得过 渡不是如此尖锐的。本发明人已经认识到为了避免创建经组合的图像中的可见（即，引人注 目的）缝，源图像之间的过渡优选大致与局部图像纹理一样平滑。即，过渡出现的速率优选 与过渡出现在其上的图像区域的图像梯度相关。例如，在诸如示出天空或诸如墙壁的经粉 刷的表面的图像区域的平滑图像区域（即，具有小图像梯度的图像区域）中，被用于形成经 融合的图像的图像之间的过渡优选在相对大的距离上逐渐地出现;然而在诸如示出文本或 一群人或一系列小商品的图像区域的详细图像区域（即，具有大图像梯度的图像区域）中， 被用于形成经融合的图像的图像之间的过渡可以在相对短的距离上相对快速地出现，而没 有创建在经融合的图像中的这样的引人注目的缝。如果过渡将需要以在不同类型的两个图 像区域之间将是引人注目的速率出现，则图像区域可能是连通的使得过渡不被实施在那两 个图像区域之间。
[0026]因此，在本文中描述的示例中，确定针对要被组合的图像的图像梯度。能够执行滤 波操作，其基于图像梯度使用滤波代价以便取决于针对图像区域的图像梯度来对与图像的 图像区域相关的图像数据进行滤波。例如，如下面更详细地描述的，滤波操作可以被用作连 通性单元的一部分，连通性单元确定连通的图像区域，并且/或者滤波操作可以被用作融合 单元的一部分，融合单元将两幅或更多幅图像融合在一起以形成经融合的图像。在其他示 例中，滤波操作可以被用于其他类型的滤波，其可以适当地取决于图像中的图像梯度。例 如，滤波操作能够被用于对图像应用去噪，使得被应用到图像区域的去噪的范围取决于图 像区域中的图像梯度。
[0027]现在将通过举例的方式在帧序列高动态范围图像合成的上下文中描述实施例，帧 序列高动态范围图像合成是将快速连续拍摄的具有变化的曝光时间或传感器灵敏度（例 如，来自手持设备)一系列图像进行合成以便以重建场景的具有比相机能够在一个曝光中 捕获的更高的动态范围的图像的过程。对应的方法能够被应用在其他示例中，例如，用于将 具有利用不同聚焦捕获的多幅图像进行组合，其中，一些图像区域可以在一幅图像中处于 较好的焦点中，而其他图像区域可以在另一图像中处于较好的焦点中，并且为了合并来自 多幅图像的最好焦点中的图像区域而不引入图像之间的引人注目的过渡的目的，这些图像 被融合。
[0028]图1是用于处理图像的系统的高级图，其中，HDR处理被应用到图像。系统包括传感 器阵列102、图像处理块104、HDR处理单元106和存储器108。系统可以例如被实施在如下设 备内，诸如相机、智能电话、平板电脑、笔记本电脑、智能手表或任何其他适当的设备。传感 器阵列102包括用于捕获原始图像数据的多个光传感器。原始图像数据可以例如指示在特 定像素处的光强度以由此表示图像。原始图像数据被传递到图像处理块104,图像处理块 104执行对原始图像数据的图像处理以由此确定图像的像素值。由图像处理块104执行的图 像处理操作可以是标准操作，例如，白平衡、去噪、缺陷像素修复、色域映射、彩色增强、等 等。图像处理块104可以以硬件或软件、或它们的组合来实施。例如，图像处理块104可以以 硬件被实施为相机流水线，其以光栅扫描顺序从传感器阵列102接收原始图像数据(例如， 针对以逐行的顺序的像素的图像数据）。在图像处理块104的处理流水线中的某个时间点 处，针对图像的图像数据能够被传递到HDR处理单元106 ADR处理单元106执行HDR处理并将 HDR图像提供回到图像处理块104,图像处理块104可以执行对HDR图像的进一步处理。经处 理的图像能够之后从图像处理块104输出并可以被存储在存储器108中。经处理的图像可以 被用于其他目的，例如经处理的图像可以被传递到显示器以用于显示在其上，或者可以被 发送到另一设备，等等。在其他示例中，HDR处理单元106可以被实施为图像处理块104的一 部分。另外，在其他示例中，HDR处理可以是在图像数据上执行的最后的处理，使得从HDR处 理单元106提高的HDR图像可以不传递回到图像处理块104并且相反可以被用作输出，使得 其例如被提供给存储器108或被提供给显示器以用于显示在其上或被提供给发送模块以用 于发送到另一设备。
[0029] 图2提供了 HDR处理单元106的更详细视图。HDR处理单元106包括图像配准逻辑 202、梯度确定逻辑204、饱和确定逻辑206、运动确定逻辑208、滤波代价确定逻辑210、类型 掩码确定逻辑212和包括连通性滤波逻辑216和联合查找逻辑218的连通性单元21LHDR处 理单元106还包括融合单元220,融合单元220包括初始融合掩码确定逻辑222、融合滤波逻 辑224、图像融合掩码确定逻辑226以及图像融合逻辑228。连通性单元214和融合单元220可 以在本文中共同地被称为处理逻辑230 jDR处理单元106的部件(例如，图2中示出的逻辑块 和单元）旨在与许多功能块相对应。这仅仅是出于说明的目的。图2不旨在限定芯片上的硬 件的不同部分之间或软件中的不同程序、流程或功能之间的严格划分。在一些实施例中，本 文中描述的算法中的一些或全部可以整体地或部分地以硬件来执行。在一些实施方式中， HDR处理单元106的至少部分可以由在软件控制下起作用的处理器（例如，图形处理单元 (GPU)或中央处理单元(CPU)来实施。任何这样的软件优选被存储在非暂态计算机可读介质 上，非暂态计算机可读介质例如存储器(RAM、缓存、硬盘、等等)或其他存储装置(USB棒、CD、 磁盘、等等）。
[0030] 参考图3和图4中的流程图描述HDR处理单元106的操作。本文中描述的HDR方法以 比尝试跟踪运动简单得多的方式来处置其中在两幅图像之间出现运动的情形，使得本文中 描述的方法适合用于在其中处理资源大大受到限制的诸如移动设备的计算机系统上使用。 通过识别其中（例如，基于图像之间的差异)运动出现的图像区域并将这些图像区域处置为 其中融合不应当出现的"不一致"区域来处置运动，因此在这些不一致区域中，HDR图像仅仅 由图像中的一幅形成。这避免由诸如鬼影效应的运动引起的伪影。
[0031] 在步骤S302中，HDR处理单元106例如从图像处理块104接收多幅图像。可以例如在 如图2中示出的图像配准逻辑202处接收图像。图像具有不同曝光水平，使得HDR处理单元 106能够将具有不同曝光水平的图像组合以由此形成HDR图像。例如，图2示出了在HDR处理 单元106处接收到的两幅图像和Is)，其中，图像U具有高曝光水平并且图像Is具有低曝 光水平。具有高曝光水平的图像可以在本文中被称为"长曝光"图像，但是高曝光水平可以 归因于诸如长曝光时间、大光圈尺寸和/或传感器阵列102中的传感器的高灵敏度设置的许 多不同的因素中的一个或多个。类似地，具有低曝光水平的图像可以在本文中被称为"短曝 光"图像，但是低曝光水平可以归因于诸如短曝光时间、小光圈尺寸和/或传感器阵列102中 的传感器的低灵敏度设置的许多不同的因素中的一个或多个。注意，图像被捕获的顺序是 不重要的，即长曝光图像可以在短曝光图像之前或之后被捕获。在其他示例中，HDR处理单 元106可以接收多于两幅图像，例如可以接收许多不同图像的组，其中，该组中的不同图像 具有不同曝光水平。
[0032]在步骤S304中，图像配准逻辑202执行图像配准以将图像相对于彼此对准。以这种 方式，图像配准逻辑202以几何方式和以辐射度计量的方式将图像相对于彼此对准以促进 后续HDR处理。图像中的第一幅被当作参考图像并且之后其他图像以几何方式和以辐射度 计量的方式与参考图像对准。在一些示例中，长曝光图像(II)被当作参考图像，而在其他示 例中短曝光图像(Is)被当作参考图像，用于以几何方式和以辐射度计量的方式将图像对准 的方法是本领域中已知的并且因此在本文中不再详细进行描述。
[0033]图像U和图像Is以辐射度计量方式被对准，使得来自两幅图像的强度在相同的线 性尺度上。例如，可以假设图像数据能够以线性形式从图像处理块104获得并且针对图像已 知曝光时间和灵敏度设置。图像能够之后通过将它们的强度值乘以相对曝光因子来以辐射 度计量方式对准。例如，针对第一幅图像h(其被当作参考图像)和第二幅图像1 2给定曝光时 间t和灵敏度或ISO设置i，第二幅图像能够根据以下等式以辐射度计量方式与参考图像对 准：
[0035]几何对准试图处置在捕获不同图像的时刻之间可能出现的运动(场景中的对象的 运动或者相机的运动），但是缺陷然而可能出现在对准过程中，使得图像没有被完全对准。 作为示例，几何配准可以基于如下假设:相机在捕获图像的时刻之间被保持大致静止。相机 运动可以归因于用户未能保持相机完全静止并且显著地包括大约高达视场的5%的旋转。 投影单应性矩阵模型可以被用于描述能够将图像对准的变换。作为示例，投影单应性矩阵 可以以由粗到细的金字塔配置使用局部的基于Lucas-KanadeOJO的图像配准方法来估计。 尽管其可以有可能估计和补偿局部场景运动，但是密集的运动补偿是计算上开销很大的并 且运动补偿的误差将仍然必须被掩盖。因此这样的运动补偿没有被实施在本文中描述的方 法中，本文中描述的方法适合于使用在具有有限的处理资源的设备(例如，移动设备)上。作 为示例，为了减少计算代价，几何配准过程可以以完整图像的分辨率的一半被应用到仅仅 图像的绿色通道。对准可以以不同的尺度来应用，例如以粗尺度开始并且之后前进到较细 尺度，由此在粗尺度的结果被用于初始化在较细尺度的对准过程。
[0036] 如以上所提到的，缺陷可能在几何对准过程中出现，使得可能在经对准的图像中 存在不一致。这些不一致能够如下面所描述的被掩盖使得在出现不一致的图像区域中，融 合过程在形成经融合的图像时对来自图像中的仅仅一幅的图像值进行采样。
[0037] 当将短曝光图像（Is)和长曝光图像（II)进行组合（即，融合）以形成HDR图像（IR) 时，融合过程优选地将来自两幅图像Is和II的最好的可用信息进行组合。通常，长曝光图像 比短曝光图像具有较好的信噪比（SNR)，但是更有可能是饱和的。当形成HDR图像时，存在本 文中描述的示例中遵循的许多规则：
[0038] (i)针对饱和的图像区域，短曝光图像被使用（并且长曝光图像不被使用）以形成 HDR图像的对应图像区域，以由此减少不想要的饱和效应。
[0039] (ii)为了避免鬼影效应，包含运动的任何连通区域从图像中的仅仅一幅（Is或U) 采样。以这种方式，与相同的移动对象相关的所有显示从相同图像采样以避免不连续的运 动伪影。这通过将相邻运动区域彼此连接并连接到饱和区域来完成。连接到饱和区域的运 动区域从短曝光图像(而非长曝光图像)采样，而未连接到饱和区域的运动区域优选从长曝 光图像(而非短曝光图像)采样。下面提供对在该上下文中术语"连通"意味着什么的更详细 描述。
[0040] (iii)如果其与以上的两个要求兼容，则HDR图像的图像区域优选使用长曝光图像 而非短曝光图像来形成，因为长曝光图像通常具有比短曝光图像更高的SNR。
[0041] (iv)使被用于形成HDR图像中的图像区域的图像之间的过渡在一系列图像区域上 平滑。以这种方式，过渡是渐变的。这是因为源图像之间的骤然过渡可以导致HDR图像中的 引人注目的缝并且将披露小的配准缺陷和图像特性的差异。因此，图像被平滑地融合以隐 藏过渡。
[0042]将经对准的图像从图像配准逻辑202传递到梯度确定逻辑204、饱和确定逻辑206、 运动确定逻辑208和图像融合逻辑228。
[0043]在步骤S306中，饱和确定逻辑206确定图像中的一幅或两幅中的哪些图像区域是 饱和的。长曝光图像具有比短曝光图像更高的曝光水平，因此考虑长曝光图像(而非短曝光 图像）以便确定哪些图像区域是饱和的是足够的。这是因为能够做出如下假设:短曝光图像 中的任何饱和区域也将在长曝光图像中为饱和区域。因此，作为示例，饱和图像区域通过确 定针对长曝光图像(U)的每个颜色通道的强度值是否大于饱和阈值来检测。具有高于饱和 阈值的任何通道的图像区域被标记为饱和。以这种方式，形成针对每个图像区域指示图像 区域是否饱和的饱和掩码。图像区域描述在其处图像(Is和II)中的两者都可以具有图像值 的图像位置。图像区域可以是以与图像(Is和II)相同的分辨率，使得每个图像区域对应于相 应像素位置。备选地，图像区域可以以比图像(Is和II)的像素更粗的分辨率，使得每幅图像 对应于相应组的像素位置。以这种方式，滤波操作可以以比图像(Is和II)的像素的分辨率更 粗的分辨率被应用到图像区域。
[0044]在步骤中S308运动确定逻辑208确定其中在两幅图像Is与图像IL之间存在运动的 图像区域。通过计算两幅图像的在图像区域的位置处的图像值之间的误差度量来检测在图 像区域处的运动。"误差度量"是图像之间的差异。注意，尽管两幅图像最初具有不同曝光水 平，但是在步骤S304中执行的辐射度计量对准去除了该差异使得能够在两幅图像之间执行 运动检测而无需进一步的辐射度计量配准。
[0045] 从图像去除噪声均值。稍后将使用低通滤波器来防止将噪声检测为运动。为了使 这个有效，噪声均值优选为零使得局部平均(经滤波的）噪声为零。图像噪声通常不具有均 值零，或者元数据中的暗点可以是不正确的。传感器噪声均值能够通过捕获图像而不使传 感器暴露于光来测得。在一些示例中，传感器阵列102可以提供未暴露的传感器区域以用于 测量针对每个捕获到的帧的暗水平和噪声。得到的暗图像Ib的均值大致与图像暗水平b和 噪声均值叫乘以传感器灵敏度（IS0设置)i相关，如mean (Ib ) = nui+b。通过以不同的IS0设置 来捕获暗图像，njPb能够使用简单线性拟合来复原。
[0046] 在优选示例中，根据颜色通道的视觉重要性来对颜色通道进行加权并且以补偿针 对每个通道的传感器阵列102的图像传感器的不同灵敏度。加权矩阵w可以例如根据用于计 算来自RGB的亮度的ITU-R BT. 2020权重和通道增益{gR，gG，gB}(其中，彩色校正和白平衡已 经被应用，增益将为1)的逆来计算，使得：
[0048] 使用以下等式来找到亮度归一化差异图像D(x):
[0049] I/L(x)=ff(IL(x)-nu), (3)
[0050] I7 s(x) =kff(Is(x)-nu), (4)
[0052] 其中，Ι\(Χ)是经噪声调节的参考图像，并且I'aU)是经噪声调节的非参考图像。 例如，如果长曝光图像是参考图像，则1\&) = 1\(4和= 并且如果短曝光 图像是参考图像，则反之亦然。
[0053] 低通滤波器被应用到不同图像D(x)以减少图像噪声的效应。递归重采样滤波器被 用于确定差异图像的经滤波的版本〇￡ =以0，11)。例如，图像可以通过对11\11个像素块 (）进行加和来降采样，并且之后使用双线性插值递归地以因子2进行上采 样，直到原始分辨率。需要的滤波的量取决于图像的噪声特性。误差图像e SS(3(X)根据经滤波 的差异图像Df通过例如根据以下等式在RGB通道的平方上进行加和来计算：
[0055] 通过对平方误差图像和（esse(x))应用阈值来识别运动区域。以这种方式，形成针 对每个图像区域指示在图像区域中是否存在运动的运动掩码。
[0056] 在步骤S310中，类型掩码确定逻辑212将饱和掩码和运动掩码组合成一个3级掩 码，其在本文中被称为"类型掩码"m(x)。在本文中描述的示例中，在类型掩码中，饱和图像 区域具有值2,运动图像区域具有值1，并且既不具有饱和也不具有运动的图像区域具有值 0。因此，类型掩码包括针对图像区域的类型指示符以由此将图像区域中的每个分类成多种 类型中的一种:例如，饱和、运动或空。饱和图像区域常常在运动掩码中被检测为运动，这是 因为饱和能够引起两幅图像之间的差异，该差异高于以上描述的运动阈值。如果图像区域 根据饱和掩码和运动掩码具有饱和与运动两者，则类型掩码将该图像区域指示为饱和图像 区域(在类型掩码中给予其值2)。即，饱和在类型掩码中比运动优先。因此，类型掩码指示其 中运动和饱和重叠的两个值中的最大值。
[0057]图5示出了包括（以交叉阴影线示出的）饱和区域50也的示例类型掩码502。饱和区 域δΟΑ? (以对角阴影线示出的）运动区域5042包围。饱和区域常常由最初被确定为运动区 域的区域包围，因为饱和引起两幅图像之间的差异。图5中的白色区域表示既不是饱和区域 也不是包括运动的区域的图像区域。类型掩码502还包括两个更多的区域506和508。运动区 域508靠近饱和区域50和并且因此可以在如下面所描述的连通性滤波单元214被实施时连 通到饱和区域50也，而运动区域506不靠近饱和区域50和并且因此在连通性滤波单元214被 实施时可能不能连通到饱和区域504ι。
[0058]在步骤S312中，梯度确定逻辑204确定例如针对图像IL和Is中的每幅的图像梯度指 示g。针对图像的图像区域的图像梯度指示提供图像的图像区域中的细节的水平的指示。针 对其确定图像梯度指示的图像区域可以是图像的像素或像素块的位置。例如，针对图像区 域的图像梯度指示g可以通过根据以下公式找到以来自2X2像素块
辨率的一半计算的每幅图像的绿色通道的归一化梯度幅值来确定：
[0060] 针对长曝光图像U的图像区域X的图像梯度指示中的全部被组合成矩阵类似 地，针对短曝光图像IS的图像区域X的图像梯度指示中的全部被组合成矩阵Gs。这些矩阵被 传递到滤波代价确定逻辑210。
[0061] 在步骤S314中，滤波代价确定逻辑210基于针对短曝光图像Is和长曝光图像U的所 确定的图像梯度指示来确定针对图像区域的滤波代价。图像区域的"滤波代价"是用于在对 图像区域应用滤波中使用的权重。即，针对图像区域的滤波代价是图像区域在被滤波的属 性方面具有的效果的度量。例如，在两个图像区域是否是能连通的方面属性可以是"靠近 度"。在这种情况下，图像区域的滤波代价能够由连通性滤波器使用以基于沿着两个图像区 域之间的路径的滤波代价的和来限定两个图像区域的靠近度。由于图像区域的滤波代价取 决于在图像区域处的图像梯度，则两个图像区域的靠近度取决于沿着路径的图像梯度。在 另一示例中，属性可以是"平滑度"，使得限定图像区域的平滑度的滤波代价能够由融合滤 波器使用以确定融合掩码跨图像区域变化的速率。
[0062] 如下面更详细地描述的，滤波代价被使用在滤波操作中以由此取决于图像Is和图 像II的图像梯度来对与图像Is和图像U相关的图像数据进行滤波。可以通过确定来自图像 Is和图像U的图像区域的最小梯度指示，之后将所确定的最小梯度指示乘以乘法因数 (b gain)并且之后将偏移(bmin)增加到乘法的结果来确定针对图像区域的滤波代价B(x)。以 这种方式，滤波代价B(x)的矩阵B根据以下等式来确定：
[0063] B = bmin+bgainmin(GL，Gs)。 （8)
[0064] bmin是设置最小代价的参数，使得B(x)甚至在完全均匀的区域中也不为零以由此 确保甚至在完全均匀的区域中柔和且稳定的融合。例如，b min可以被设置为大约0.001，实验 已经示出其为适当的值。另外，bgain是设置总体增益因子以控制相对于图像区域中的细节 的水平在图像区域上融合出现的速率的参数。在一些示例中，b gain被设置为大约0.25并且 这个在实验中执行良好。在本文中描述的示例中，滤波代价处于从0到1的范围中，即ο (χΗ 1。针对落在源图像(其中图像不完全重叠）中的一幅的外部的图像区域的滤波代价被 设置为1。如将从下面的描述中变得显而易见的，这防止在图像的外部的周围的融合或连通 性传播。滤波代价可以被降采样使得滤波代价处在比图像区域更低的分辨率。这可以减少 在滤波代价被用于使用连通性滤波逻辑216和/或融合滤波逻辑224如此执行滤波操作时执 行的处理的量。另外，滤波代价确定逻辑210接收饱和图像区域和运动区域的指示，并将针 对这些区域的滤波代价设置为1，以防止融合通过附近的饱和区域或运动区域。
[0065] 为了运动掩盖以得到令人信服的结果，全部对象必须以一致的方式来对待。不是 执行高水平对象分割(其是非常复杂的计算机视觉问题），饱和像素和运动像素被归类成连 通集。由于目的在于将全部移动对象分配给短曝光图像(其中对象的一部分是饱和的)或分 配给长曝光图像(其中没有对象的一部分是饱和的），所以问题能够被简化为将饱和状态填 充到连通运动区域中的一项。
[0066] 运动掩码常常包含归因于噪声滤波步骤和巧合的图像相似度的能够划分对象的 许多小洞和线。为了在类型掩码中使这些间隙桥接，出于确定连通性单元214中的连通性的 目的，连通性单元214可以通过2的倍数来对类型掩码进行降采样以减少类型掩码的分辨 率，例如减少到大致512个像素。经减小分辨率的类型掩码m。(X)中的每个图像区域对应于 原始类型掩码m(x)中的cXc图像区域块，
[0068]找到经减小分辨率的掩码的值使得：
[0070] 以这种方式，如果原始类型掩码m(x)中的cXc图像区域块包含指示一个饱和图像 区域，则经减小分辨率的类型掩码nh(X)中的对应图像区域被标记为饱和（即，给予值2);否 贝1J，如果该块包含至少一个运动图像区域，则经减小分辨率的类型掩码m c(x)中的对应图像 区域被标记为运动（即，给予值1);否则，经减小分辨率的类型掩码mc( X)中的对应图像区域 被标记为空状态(即，给予值0)。
[0071] 通过在对应区上进行加和来将滤波代价B(x)降采样到与经减小分辨率的类型掩 码m。(X)相同的分辨率，使得经减小分辨率的滤波代价B。(X)由
出。在连通性单元214的操作的以下描述中，对滤波代价B(x)的引用可以被理解为指代在其 中滤波代价的分辨率被减小的优选示例中的经减小分辨率的滤波代价Bc(x)。
[0072] 低分辨率的3级类型掩码从类型掩码确定逻辑212被传递到连通性单元214。另外， 滤波代价从滤波代价确定逻辑210被传递到连通性单元214。连通性单元214对低分辨率的 类型掩码应用两个过程(在步骤S316和步骤S318中）以在连通运动区域上填充饱和状态。第 一个是由连通性滤波逻辑216应用的能够将图像区域跨平滑图像区连通的滤波操作，并且 第二个是由联合查找逻辑218实施的基于它们的类型指示符来将相邻像素连通的联合查找 填充算法。在对连通性单元214的操作的以下描述中，对类型掩码m(x)的引用可以被理解为 指代在其中类型掩码的分辨率被减小的优选示例中的经减小分辨率的类型掩码ι(χ)，如 以上所描述的。
[0073]在步骤S316中，连通性滤波逻辑216使用针对图像区域的所确定的滤波代价来对 类型掩码应用滤波操作。通过使用如以上所描述的滤波代价，连通性滤波逻辑216取决于图 像和图像Is的图像梯度来对类型掩码进行滤波。连通性滤波逻辑216可以应用递归滤波操 作，递归滤波操作通过找到沿着从图像区域到感兴趣图像区域的路径的(滤波代价的)最低 累积代价来确定针对多个图像区域中的每个的相应累积代价。例如，感兴趣图像区域可以 为饱和图像区域，使得针对图像区域的累积代价是沿着从图像区域到饱和区域的路径的滤 波代价的最低累积代价。针对图像区域的类型指示符可以取决于所确定的最低累积代价与 阈值的比较而被选择性地设置以指示饱和类型。这还可以取决于图像区域的类型，例如，如 果类型指示符最初被设置为运动类型，则类型指示符可以以这种方式被设置。例如，被发现 为靠近饱和区域的运动区域在类型掩码中被重新分类为饱和图像区域。在针对图像区域确 定的累积代价少于阈值的情况下图像区域"靠近"饱和区域。由连通性滤波逻辑216执行的 滤波操作的目的在于使在诸如天空的平滑图像区中不连续的图像区域连通，针对其在使用 不同图像以形成HDR图像之间的过渡的距离将是引入注目的。
[0074]图6示出了在连通性滤波操作之前的类型掩码602和在针对具有显著低的图像梯 度(例如，多云的天空的图像)的连通性滤波操作之后的类型掩码604的示例。在图6中，白色 图像区域具有饱和类型指示符，有图案的图像区域具有运动类型指示符，并且黑色图像区 域具有空类型指示符。在602中能够看到在两幅图像之间检测到运动，并且运动区域是分散 的（即，没有完全连通），因此联合查找流程不能够将图像中的全部运动图像区域连通。然 而，因为图像(Is和U)具有低图像梯度，针对这些图像区域的滤波代价B(x)是低的，使得连 通性滤波逻辑216能够使在多云的天空中的运动图像区域之间的间隙桥接并且这些运动区 域中的全部被连通使得它们在经滤波的类型掩码604中全部被改变为饱和类型，因为它们 能够被连通到至少一个饱和区域。这是有用的，因为被用于形成HDR图像的图像之间的过渡 将很有可能归因于图像区域中的一些(例如，示出多云的天空的区域）中的低图像梯度而在 那些图像区域中是引人注目的。
[0075]图4示出了作为步骤S316的一部分执行的以便对类型掩码m(x)进行滤波的步骤的 示例。连通性滤波逻辑216接收具有用于根据以下来指示图像区域的类型的类型指示符的 类型掩码：
[0077]使用滤波代价B(x)来确定针对图像区域的累积代价。累积代价可以被称为"距离" d(x)，但是应当注意这些"距离"由滤波代价进行加权并且不必一定指示图像区域与饱和区 域之间的实际物理距离。在概念上，距离d(x)的距离映射被递归地计算以将距离映射到最 近的饱和图像区域。在步骤S402中，如果第一图像区域是饱和的，即如果m(0) = 2,则针对第 一图像区域的累积代价(或"距离"）d(0)被设置为值0,否则即如果m(0)矣2则针对第一图像 区域的累积代价d(0)被设置为值1。累积代价的剩余部分通过如图4中图示的连通性滤波逻 辑216来确定。
[0078] 针对每个图像区域以递归的方式实施图4中示出的步骤S404到S418。即，由连通性 滤波逻辑216应用的滤波操作是递归滤波操作。如下面更详细地描述的，在本文中描述的示 例中，在向前方向上和在反向方向上执行递归滤波操作。图像区域被处理的顺序可以在不 同示例中是不同的并且可以例如以对角方式跨图像前进。在步骤S404中，针对图像区域X的 最低累积代价d(x)通过将区域X的滤波代价B(x)增加到先前处理过的图像区域的最低累积 代价来确定。例如，先前处理过的图像区域的可以是在图像区域X正上方或图像区域X的正 左边的图像区域中具有较低累积代价的任何一个。这能够被表示为：
[0080]在步骤S406中，确定图像区域X是否具有运动类型。即，确定类型指示符是否满足m (x) = l。如果是的话，方法传递到步骤S408,在步骤S408中确定针对图像区域X的累积代价d (X)是否小于阈值T。在示例中，阈值T被设置在
，但是在其他示例中，阈值可以被设置在 其他值处
。如果在步骤S408中确定d(x)<T，则方法传递到步骤 S410。本领域技术人员将理解在其他示例中，在步骤中S408测试可以是d(x)是否小于或等 于T而非d(x)是否小于T。在步骤中S410,针对图像区域X的类型指示符被设置以指示饱和类 型。即，在本文中详细描述的示例中，m(x)被设置为值2。方法从步骤S410前进到步骤S412。 另外，如果确定在步骤中S406图像区域X不具有运动类型，则方法从步骤S406传递到步骤 S412而不执行步骤S408或S410。另外，如果确定在步骤中S408针对图像区域X的累积代价不 小于阈值，则方法从步骤S408传递到步骤S412而不执行步骤S410。
[0081 ]因此，步骤S406到步骤S410意味着如果最初为运动区域(其中，m(x) = l)的图像区 域"靠近"饱和区域，则针对图像区域的类型指示符被设置为指示饱和类型（即，m(x)被设置 为具有值2)，由此将运动区域连通到附近的饱和区域。"靠近度"通过确定针对图像区域的 累积代价是否小于阈值来确定，使得靠近度考虑图像中的图像梯度。以这种方式，运动区域 可以在图像梯度在大的物理距离上很低的情况下在该距离上被连通到饱和区域。这可以是 有益的，因为被用于形成HDR图像的图像在两个区域之间的过渡可以归因于过渡区域中的 低图像梯度而是引人注目的。相反，运动区域可以在图像梯度在小的物理距离上很高的情 况下在该距离上不被连通到饱和区域。这是有益的，因为被用于形成HDR图像的图像在两个 区域之间的过渡可以归因于过渡区域中的高图像梯度而不是引人注目的。
[0082]在步骤S412中，确定图像区域X是否具有饱和类型，即m(x) = 2是否成立。如果是的 话，方法传递到步骤S414,在步骤S414中，针对图像区域X的累积代价d(x)被设置为零。方法 从步骤S414传递到步骤S416。另外，如果确定在步骤中S412图像区域X不具有饱和类型，即m (X)矣2,则方法从步骤S412传递到步骤S416而不执行步骤S414。
[0083]在步骤S416中确定是否还存在更多的图像区域要考虑，并且如果是的话，方法传 递到步骤S418,在步骤S418中将X增一。如以上所描述的，图像区域被处理的顺序可以在不 同示例中是不同的并且X被增一的方式确定图像区域被处理的顺序。例如，图像区域可以以 对角方式被处理，从图像的角落开始并且以递增地进一步远离开始角落的对角线前进。方 法之后传递回到步骤S404以针对下一图像区域重复步骤S404到S418。如果在步骤S416中确 定不再有图像区域要考虑，则方法传递到步骤S420,在步骤S420中确定方法是否应当针对 图像重复，并且如果是的话，方法传递回到步骤S404。例如，方法可以首先在向前方向上执 行（例如，在左上方图像区域中开始并前进向右下方图像区域），并且之后方法可以以反向 方向重复(例如，在右下方图像区域中开始并前进向左上方图像区域）。
[0084]步骤中的一些可以在方法以反向执行时稍微不同。例如，在反向方向中，方法首先 考虑最终图像区域(d(N)，其中，N是图像区域的数目）并且之后向后朝向第一图像区域进行 以确定累积代价。以X的递减顺序的该第二经过使过程对称。当以反向顺序处理时，利用等 式12来替换在步骤S404中使用的等式11:
[0086]另外，在步骤中S418,在以反向顺序处理时X被减一而非增一。如果连通性滤波逻 辑216被应用多次，则可以收敛于稳定的结果，然而两次经过(例如，一次在向前方向上并且 一次在反向方向上)倾向于足够用于连通性滤波逻辑216所打算的处理平滑图像区。
[0087]在其他示例中，不是以对角方式处理图形区域，方法可以被分解成分别通过一次 使用等式11和12中的邻域中的仅仅一个来处理X方向和y方向。在这些示例中，在图像上的 两倍之多的经过被实施，但是这些方法可以对于某些实施方式是有益的。例如，GPU可以更 高效地并行地处理许多行或列，其（归因于序列依赖性)防止同时在两个方向上传输信息， 但是可以快许多倍。
[0088]当（如在步骤S420中所确定的）方法不再要重复时，例如，在两次经过之后，步骤 S316则是完整的并且方法继续到步骤S318。
[0089] 在步骤S318中，联合查找逻辑218实施联合查找流程以选择性地设置类型指示符 以针对具有运动类型并且连通到具有饱和类型的图像区域的图像区域指示饱和类型。以这 种方式，联合查找填充流程被用于考虑精心设计的结构中的连通性。本领域技术人员将理 解如何实施联合查找流程。例如，联合查找流程可以被用于找到由8邻域邻接连通的图像区 域的集合。如果连通区域包含任何饱和图像区域，则连通区域中的所有图像区域被标记为 饱和。
[0090] 图7示出了包括图像702的示例，图像702包括靠近精心设计的高对比度边缘的饱 和区域，在一些区域中具有运动。示出了（例如，如由类型掩码确定逻辑212在步骤S310中输 出的)经初始降采样的类型掩码704,其指示饱和区域(如白色区域），运动区域(如有阴影线 的区域）以及空区域(如黑色区域）。在已经应用了连通性滤波逻辑216之后的类型掩码被示 出为706,并且能够看到大量运动区域已经被转变为饱和区域，但是运动区域中的一些还没 有与高图像细节的区中的饱和区域(例如，在图像702中的树枝之间)连通。在已经应用了联 合查找逻辑218之后的类型掩码被示出为708,并且能够看到来自掩码706的连通运动区域 已经被设置为饱和类型，其中仅仅剩余的两个不连通运动区域为运动区域。联合查找方法 能够在连通性滤波逻辑216归因于高图像梯度而不能够连通的情况下将高图像细节的区中 的图像区域(例如，在树枝之间)连通。
[0091] 在步骤S318之后，使用经修改的经减小分辨率的类型掩码ι(Χ)来更新原始分辨 率类型掩码m(x)。为了这样做，无论在任何地方经减小分辨率的类型掩码nh( X)中的掩码值 已经从1改变到2,该改变根据以下等式被传播回到原始类型掩码mjx):
[0093] 将类型掩码从连通性单元214传递到融合单元220。为清楚起见，图8a示出了表示 针对类型掩码m(x)的图像区域的仅仅一行的类型指示符802的值的图形。在步骤S320中，初 始融合掩码确定逻辑222基于来自类型掩码m(x)的类型指示符来确定两个初始融合掩码n L (X)和ns(x)的初始融合因子。初始融合掩码nL(x)是指示对应的图像区域是否具有类型掩码 m(x)中的饱和类型指示符的二元掩码。初始融合掩码ns(x)指示对应的图像区域是否具有 类型掩码m(x)中的运动类型指示符的二元掩码。
[0094]图8b将初始二元融合掩码nL (X)的图形示出为实线804b。初始融合掩码nL (X)针对 具有类型掩码m(x)中的饱和类型的图像区域具有值0(即，nL(x)=0 if m(x) = 2)，并且针 对不具有类型掩码m(x)中的饱和类型的图像区域具有值1(即， nL(x) = l if m(x)矣2)。类 似地，图8c将初始二元融合掩码ns(x)的图形示出为实线806 b。初始融合掩码ns(x)针对具有 类型掩码m(x)中的运动类型的图像区域具有值0(即，ns(x)=0 if m(x) = l)，并且针对不 具有类型掩码m(x)中的运动类型的图像区域具有值1(即，ns(x) = l if m(x)矣1)。
[0095] 使用二元掩码来合并图像将在最终图像中引入尖锐的边缘。这些在诸如面部和云 彩的平滑的移动场景区域中尤其是侵入的。具体地，融合单元220优选地仅仅将多于一幅图 像融合以形成在未饱和且不具有运动的图像区域中的HDR图像的像素。在饱和图像区域中 仅仅使用短曝光图像，而在连通运动区域中仅仅使用输入图像中的一幅，其优选但不必一 定是长曝光图像。两个初始融合掩码被用于形成图像融合掩码，图像融合掩码被用于将长 曝光图像与短曝光图像组合以形成HDR图像。图像融合掩码优选大致与图像一样平滑。即， 图像融合掩码应当具有与图像一样平滑的过渡。例如，在图像包含尖锐边缘的情况下，该边 缘能够被利用以隐藏图像融合掩码中的过渡。另外，在饱和区域和未饱和区域彼此靠近的 情况下，从一个到另一个的过渡优选是平滑且单调的。
[0096] 掩码ns (X)针对饱和区域并且掩码nL (X)针对未饱和区域。每个初始融合掩码单独 地被滤波并且之后被组合以形成图像融合掩码。在其中类型掩码为非零的图像区域中，即 在饱和区域或运动区域中，滤波代价(即，融合速率)被设置为1。以这种方式，根据以下等式 来将滤波代价修改为V (X):
[0098] 在其中类型掩码为非零的图像区域中将融合速率设置为1防止一个掩码中的融合 过程延伸到其他掩码中的相邻区域以外。
[0099] 图像区域X的滤波代价Blx)提供图像区域的平滑度的指示。在步骤S322中，融合 滤波逻辑224使用滤波代价Blx)对初始二元融合掩码(ns(x)和n L(x))中的每个进行滤波。 以这种方式，以根据针对初始融合掩码中的过渡处的图像区域的滤波代价的平滑速率使相 应过渡平滑。例如，融合滤波逻辑224可以以类似于连通性滤波逻辑216的方式被配置为使 用滤波代价来实施如递归滤波操作的滤波操作，并且可以多次例如在向前方向上并且之后 在反向方向上执行滤波。例如，向前滤波操作可以由融合滤波逻辑224根据以下等式在初始 融合掩码(ηιΧχ)和ns(x)，一般被称为n(x))中的每个上执行（以第一个图像区域开始，x = 〇)：
[0101]向后滤波操作能够之后由融合滤波逻辑224根据以下等式在初始融合掩码n(x)中 的每个上执行（以最终图像区域开始,X = N):
[0103] 以这种方式，图8b中利用线804b示出的初始融合掩码nL(x)被平滑以形成由实线 804sm示出的经平滑的融合掩码。类似地，图8c中利用线806b示出的初始融合掩码ns (X)被平 滑以形成由实线806sm示出的经平滑的融合掩码。由实线8〇UP806sm示出的经平滑的融合 掩码分别步进到在位置X3和 X2处的值1。这是归因于对滤波代价的修改使得V (X3) =1。向前滤波操作以坐标的递增顺序处理图像并且向后滤波操作以坐标的递减顺序处理 图像。这可以是光栅扫描顺序，但是更一般地这可以是确保一个或多个相邻输入像素已经 在当前像素之前被处理过的任何顺序。多个滤波器可以被实施在融合滤波逻辑224中并且 滤波器可以是分开的使得每个滤波器仅仅处理一个方向，例如水平向前和向后或垂直向前 或向后。经过的顺序对结构具有可忽略的影响。使用分开的滤波器对于某些实施方式可能 是有益的。例如，GPU可以并行地使用分开的滤波器有效地处理许多样本。
[0104] 在优选示例中，针对初始融合掩码中的每个应用向前滤波经过和向后滤波经过两 次，以确保融合能够传播到角落周围。使用两次重复可能对于掩码完全收敛到稳定结果是 不够的，但是经平滑的融合掩码与经完全收敛的融合掩码之间的差异在两次重复之后在视 觉上变得不明显，因此这是不足够的。
[0105] 在步骤S324中，图像融合掩码确定逻辑226基于经平滑的融合掩码nL(x)和ns(x)来 确定图像融合掩码的图像融合因子α(χ)。在本文中描述的示例中，图像融合因子处于从0到 1的范围中，即0<α(χΗ?。用于包含在图像融合掩码中的图像融合因子α( χ)基于经平滑的 融合掩码来确定，使得图像融合因子α(χ)针对具有饱和类型或运动类型的图像区域为零或 一。这意味着针对具有饱和类型或运动类型的图像区域不执行输入图像(U和Is)的融合。这 能够在图8d中看到，图8d利用线808示出图像融合因子a (X)。能够看到，在饱和图像区域中 (例如，在χΑχ2之间和在Χ7与之Χ8间），图像融合因子α(χ)具有值零，并且在运动区域中（例 如，在 Χ3与Χ4之间），图像融合因子α(χ)具有值一。在既不是饱和区域也不是运动区域的图像 区域中（例如，在Χ4与Χ6之间），图像融合因子α( χ)优选具有值一，但是这仅仅在不引起尖锐 过渡的情况下是可能的。图像融合因子a(x)中的过渡是平滑的，即图像融合因子a(x)具有 有限一阶导数。
[0106] 图像融合因子α(χ)可以根据以下等式来确定：
[0108]根据等式15,图像融合因子α(χ)遵循经平滑的融合因子nL(x)，除非运动区域靠近 饱和区域，使得在图像融合因子α(χ)中的过渡必须比在经平滑的融合因子nL(x)中更快地 出现。例如，在 X2与X3之间的区域中，图像融合因子α(χ)以比经平滑的融合因子nL(x)更快的 速率从0过渡到1 (其必须步进到在X3处的值1，以避免渐渐侵入到运动区域中）。在X2与X3之 间的区域中
因此图像融合因子α(χ)获
的值以确保α(χ)的 过渡是平滑的并且不延伸到饱和区域(在x@X2之间）中或延伸到运动区域(在Χ3与Χ3之间） 中。在其他区域中（例如，在XQ与X2之间并且在X3与X8之间：
因此图像融合 因子获取经平滑的融合因子nL(X)的值。例如，（在X3与X4之间的）运动区域不靠近(在X7与X8 之间的）饱和区域，因此经平滑的融合掩码ns(x)能够归因于融合滤波逻辑224在经平滑的 融合掩码nL(x)开始从1(在 X6处)过渡到0(在X7处）的点（在X6处)之前从0(在X4处)过渡到1 (在X75处）。因此，在这些图像区域中，图像融合因子α( χ)能够简单地获取经平滑的融合因子 nL(x)的值。
[0109] 图像融合掩码α(χ)被传递到图像融合逻辑228,图像融合逻辑228还接收输入图像 Is和L·。图像融合掩码被用于将输入图像(Is和L·)进行融合以形成经融合的图像(IR)。
[0110] 具体地，在步骤S326中，图像融合逻辑228例如通过以因子2的插值来对图像融合 掩码a(x)进行上采样，使得其以与输入图像(Is和II)相同的分辨率。之后，在步骤S328中，图 像融合逻辑228使用经上采样的图像融合掩码α(χ)的图像融合因子来确定用于在图像（Is 和II)的加权和中使用的权重。针对图像Il(x)和Is(x)的权重分别是α(χ)和（1-α(χ))因此， 经融合的图像(IR)可以根据以下等式来确定：
[0111] Ir(x) = 〇(x)Il(x) + (l-a(x) )Is(x) 〇 (16)
[0112] 如以上所描述的，输入图像Is和IL可以具有不同曝光水平(其可以在不同时刻被捕 获)并且经融合的图像IR可以为HDR图像。在一些示例中，可以存在要被融合以形成HDR图像 的多于两幅图像，其中，图像迭代地以根据图形的曝光水平的顺序成对地被组合，使得从在 第一次迭代中将图像中的两幅进行融合得到的经融合的图像（"参考图像"）与在后一迭代 中的图像中的另一幅进行融合。
[0113] 例如，如果以曝光值的递减顺序来处理图像，则头两幅图像能够被组合以形成被 分配以两个曝光中的较短者的曝光值的参考图像，并且之后参考图像与图像中的另一幅进 行融合，等等，直到最终经融合的HDR图像被形成。如果以曝光值的递增顺序来处理图像，则 参考图像被分配以被用于形成参考图像的两个曝光中的较长者的曝光值。
[0114] 因此，如果多于两幅图像要被组合，则图像以曝光水平的单调顺序(例如，以（曝光 时间）X(灵敏度)的单调顺序)被处理，使得易于确定参考图像和新图像中的哪幅是较长的 曝光和较短的曝光。第一幅图像被用作初始参考图像并限定参考坐标空间。每幅新图像轮 流以几何方式和以辐射度计量方式与参考图像对准并与参考图像融合，以产生经更新的参 考图像。新图像与参考图像之间的不一致通过修改alpha掩码来掩盖使得不一致区域仅仅 从一幅图像来采样。顺序处理流水线可以被选择以避免在存储器中一次具有全部图像的需 要。
[0115] 从HDR处理单元106输出经融合的HDR图像(IR)并且可以将其提供回到图像处理单 元104,图像处理单元104可以执行对图像的进一步处理以便确定经处理的图像。经处理的 图像可以被用于任何适当的目的，例如，被显示在显示器上、被发送到另一设备或被存储在 存储器108上等等。
[0116] 在以上描述的示例中，两幅或更多幅图像被组合以形成经混合的HDR图像以用于 在高动态范围图像处理中使用。更一般地，上述方法能够被用于将图像进行组合以用于任 何适当的目的，其中，应用使用指示图像中的图像梯度的滤波代价的滤波操作可以是有益 的。例如，根据本文中描述的示例来将具有不同聚焦的多幅图像进行组合。可以连续地捕获 多幅图像，其中，针对对每幅图像的捕获不同地设置焦点设置，但是针对图像中的每幅，曝 光水平可以是相同的。注意，如果连续地（即，在不同时间）捕获图像，则可能在不同图像之 间存在运动，类似于如以上关于对用于在形成HDR图像中使用的不同图像的捕获所描述的。 在具有不同聚焦的多幅图像的示例中，不同图像区域可以在不同图像中处于较好焦点中， 并且图像能够被组合以形成经混合的图像，其中，较好聚焦的图像区域优先从图像中选择。 从不同图像获取的图像区域之间的过渡能够根据取决于图像中的图像梯度的滤波代价来 进行平滑。例如，类似于如以上所描述的，滤波代价可以被使用在滤波操作中，例如（i)在用 于确定从相同图像获取的连通图像区域的连通性滤波操作中（注意，如以上所描述的，针对 其中存在运动的图像区域，单幅图像应当被用于形成经融合的图像以避免运动伪影），和/ 或（ii)在用于将两幅或更多幅图像融合一起以形成经融合的图像的融合滤波操作中，使得 被用于形成经融合的图像的图像之间的过渡被平滑。
[0117] 在其他示例中，以上描述的方法的滤波原理能够被用于除了将图像进行组合的目 的。例如，使用指示图像中的图像梯度的滤波代价的滤波操作能够对单幅图像进行滤波有 用。例如，滤波操作可以被用于对图像应用去噪，使得被应用到图像区域的去噪的范围取决 于针对图像区域的滤波代价。这能够是有用的，因为滤波是引人注目的程度如何可以取决 于图像中的图像梯度。例如，去噪滤波可以在高度详细的图像区域中更明显并且在较不详 细的图像区域中较不明显，因此可以相较于具有低水平细节的图像区域针对具有高水平细 节的图像区域增大去噪的量。
[0118] 图9示出了 HDR处理单元106可以被实施在其中的计算机系统。计算机系统可以包 括GPU 902、CPU 904、存储器906和其他设备908,例如显示器910、扬声器912和麦克风914。 计算机系统还可以包括相机传感器916,相机传感器916包括传感器阵列102和包括图像处 理单元104的相机流水线。如以上所描述的，HDR处理单元106可以被实施在GPU 902上。计算 机系统的部件可以经由通信总线920彼此通信。HDR处理单元106可以（例如，以硬件)被实施 为如图9中示出的GPU 902的一部分。备选地，HDR处理单元106可以被实施在CPU 904上。如 果HDR处理单元106以软件来实施，则其可以作为计算机程序代码被存储在存储器906中并 且可以在计算机系统中的处理单元上(例如，在GPU 902或CPU 904上)被执行。
[0119] 一般地，以上描述的功能、方法、技术或部件中的任何(例如，HDR处理单元106和其 部件)能够被实施在使用软件、固件、硬件(例如，固定逻辑电路)或者这些实施方式中的任 何组合的模块中。术语"模块"、"功能"、"部件"、"±夬"、"单元"和"逻辑"在本文中被用于总体 上表示软件、固件、硬件或其任何组合。
[0120] 在软件实施方式的情况下，模块、功能、部件、块、单元或逻辑表示当运行在处理器 (例如，一个或多个CPU)上时执行指定任务的程序代码。在一个示例中，描述的方法可以通 过被配置具有以机器可读形式存储在计算机可读介质上的软件的计算机来执行。计算机可 读介质的一个这样的配置是信号承载介质并且因此被配置为将指令(例如，作为载波)例如 经由网络发送到计算设备。计算机可读介质还可以被配置为非暂态计算机可读存储介质并 且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存 储器(ROM)、光盘、闪速存储器、硬盘存储器和可以使用磁性技术、光学技术和其他技术来存 储指令或其他数据并且能够由机器访问的其他存储器设备。
[0121] 所述软件可以以包括用于将计算机配置为执行描述的方法的构成部分的计算机 程序代码的计算机程序的形式或者以包括适于在程序在计算机上运行时执行本文中描述 的方法中的任何的全部步骤的计算机程序代码模块的计算机程序的形式，并且其中所述计 算机程序可以被实现在计算机可读介质上。程序代码能够被存储在一个或多个计算机可读 介质中。本文中描述的技术的特征是平台无关的，意味着所述技术可以被实施在具有各种 处理器的各种计算平台上。
[0122] 本领域技术人员还将意识到，所述功能、技术或方法中的全部或部分可以由专用 电路、专用集成电路、可编程逻辑阵列、现场可编程门阵列等等来实现。例如，所述模块、功 能、部件、块、单元或逻辑(例如，HDR处理单元106和其部件)可以包括以电路的形式的硬件。 这样的电路可以包括在制造工艺中可用的晶体管和/或其他硬件元件。这样的晶体管和/或 其他元件可以被用于形成实施和/或包含通过举例的方式诸如寄存器、触发器或锁存器的 存储器、诸如布尔运算的逻辑运算符、诸如加法器、乘法器或移位器的数学运算符以及互连 件的电路或结构。这样的元件可以被提供为经典电路或标准单元库、宏、或者在其他级别的 抽象。这样的元件可以被相互连接在特定布置中。所述模块、功能、部件、块、单元或逻辑(例 如，HDR处理单元106和其部件)可以包括为固定功能的电路和能够被编程为执行一个或多 个功能的电路;这样的编程可以根据固件或软件更新或控制机制来提供。在示例中，硬件逻 辑具有实施固定功能操作、状态机或过程的电路。
[0123] 还意图包含"描述"或定义实施以上描述的模块、功能、部件、块、单元或逻辑的硬 件的配置的软件，例如HDL(硬件描述语言)软件，如被用于设计集成电路或者用于将可编程 芯片配置为实现期望功能。即，可以提供一种计算机可读存储介质，其具有编码在其上的计 算机可读程序代码，该计算机可读程序代码用于生成被配置为执行本文中描述的方法中的 任何的图像处理系统或者用于生成包括本文中描述的任何装置的图像处理系统。即，一种 计算机系统可以被配置为根据电路元件的定义和用于将那些电路元件进行组合的数据定 义规则来生成数字电路的表示，其中，非暂态计算机可读存储介质可以具有存储在其上的 处理器可执行指令，该处理器可执行指令当在这样的计算机系统处被执行时，使计算机系 统生成如本文中所描述的图像处理系统。
[0124] 术语'处理器'和'计算机'在本文中用于指代具有使得其能够运行指令的处理能 力的任何设备或其部分或者能够执行所述功能或方法中的全部或部分的专用电路、或者其 任何组合。
[0125] 尽管本主题已经以特定于结构特征和/或方法动作的语言进行描述，但是要理解 权利要求中限定的主题不必一定限于以上描述的具体特征或动作。相反，以上描述的具体 特征和动作被公开为实施权利要求的示例形式。将理解，以上描述的益处和优点可以涉及 一个示例或可以涉及若干示例。
[0126] 本领域技术人员容易理解，可以在不丧失寻求的效果的情况下扩展或更改本文中 给出的任何范围或值。本文中描述的方法步骤可以以任何适当的顺序或者在合适的情况下 同时地来执行。在不丧失寻求的效果的情况下，以上描述的示例中的任何的方面可以与描 述的其他示例中的任何的方面进行组合以形成另一示例。
【主权项】
1. 一种图像处理方法，包括： 确定针对至少一幅图像的图像梯度指示； 基于针对所述至少一幅图像的所确定的图像梯度指示来确定针对图像区域的滤波代 价;并且 使用针对所述图像区域的所确定的滤波代价来处理与所述至少一幅图像相关的数据， 包括应用滤波操作，使得取决于所述至少一幅图像的图像梯度而执行针对图像区域的所述 处理。2. 根据权利要求1所述的图像处理方法，其中，所述滤波操作是递归滤波操作，所述递 归滤波操作通过沿着从所述图像区域到感兴趣图像区域的路径找到最低累积代价来确定 针对多个所述图像区域中的每个的相应累积代价。3. 根据权利要求2所述的图像处理方法，其中，所述递归滤波操作在向前方向上和在反 向方向上被执行。4. 根据前述权利要求中的任一项所述的图像处理方法，其中，所述至少一幅图像包括 多幅图像，并且其中，针对图像区域的滤波代价通过以下来确定： 确定来自所述多幅图像的所述图像区域的最小梯度指示； 将所确定的最小梯度指示乘以乘法因子;并且 将偏移增加到乘法的结果。5. 根据前述权利要求中的任一项所述的图像处理方法，还包括： 确定类型掩码，所述类型掩码包括针对图像区域的类型指示符以由此将所述图像区域 中的每个分类成多种类型中的一种； 其中，与所述至少一幅图像相关的所述处理数据包括，针对多个所述图像区域中的每 个： 使用所述滤波操作来确定沿着从所述图像区域到根据所述类型指示符的特定类型的 图像区域的路径的最低累积代价;并且 取决于所确定的最低累积代价与阈值的比较来选择性地设置针对所述图像区域的所 述类型指示符以指示所述特定类型。6. 根据权利要求5所述的图像处理方法，其中，所述选择性地设置针对所述图像区域的 所述类型指示符以指示所述特定类型还取决于所述图像区域的所述类型指示符。7. 根据权利要求5或6所述的图像处理方法，其中，存在三种类型：（i)饱和类型，（ii)运 动类型，以及（iii)空类型。8. 根据权利要求5至7中的任一项所述的图像处理方法，其中，所述处理与所述至少一 幅图像相关的数据还包括实施联合查找流程以选择性地设置所述类型指示符以指示针对 图像区域的所述特定类型，所述图像区域具有另一类型并且所述图像区域连接到具有所述 特定类型的图像区域。9. 根据前述权利要求中的任一项所述的图像处理方法，其中，所述至少一幅图像包括 多幅图像，并且其中，至少一个初始融合掩码指示用于在将两幅图像进行组合时使用的初 始融合因子， 其中，所述处理与所述至少一幅图像相关的数据包括以根据针对在所述至少一个初始 融合掩码中的过渡处的所述图像区域的所述滤波代价的平滑速率使相应过渡平滑。10. 根据权利要求9所述的图像处理方法，其中，所述初始融合因子是二元融合因子，并 且其中，所述方法还包括基于来自针对所述图像区域的类型掩码的类型指示符来确定针对 所述图像区域的所述至少一个初始融合掩码的所述初始融合因子。11. 根据权利要求9或10所述的图像处理方法，其中，存在两种初始融合掩码，其中，所 述初始融合掩码中的第一种包括用于指示对应的类型指示符是否为第一种类型的二元融 合因子，并且其中，所述初始融合掩码中的第二种包括用于指示对应的类型指示符是否为 第二种类型的二元融合因子。12. 根据权利要求9至11中的任一项所述的图像处理方法，其中，图像融合掩码基于至 少一个经平滑的融合掩码，其中，所述方法还包括使用所述图像融合掩码来将所述多幅图 像进行融合以形成经融合的图像。13. 根据权利要求12所述的图像处理方法，其中，所述使用所述图像融合掩码来将所述 多幅图像进行融合包括使用所述图像融合掩码的图像融合因子来确定用于在对所述多幅 图像的加权和中使用的权重。14. 根据在从属于权利要求11时的权利要求12或13所述的图像处理方法，还包括基于 第一经平滑的融合掩码和第二经平滑的融合掩码来确定用于包含在所述图像融合掩码中 的图像融合因子，使得所述图像融合因子针对具有所述第一种类型或所述第二种类型的图 像区域为零或一，使得针对具有所述第一种类型或所述第二种类型的图像区域不执行对所 述多幅图像的融合。15. 根据权利要求14所述的图像处理方法，其中，所述图像融合因子被确定为在所述图 像融合掩码中平滑地变化。16. 根据前述权利要求中的任一项所述的图像处理方法，其中，所述图像区域是以比所 述至少一幅图像的像素更粗糙的分辨率的，其中，所述滤波操作以所述更粗糙的分辨率来 应用。17. 根据在从属于权利要求12至15中的任一项时的权利要求16所述的图像处理方法， 其中，所述使用所述图像融合掩码来将所述多幅图像进行融合包括对所述图像融合掩码进 行上采样并使用经上采样的图像融合掩码来将所述多幅图像进行融合以形成经融合的图 像。18. 根据前述权利要求中的任一项所述的图像处理方法，用于在高动态范围图像处理 中使用，其中，所述至少一幅图像包括多幅图像，所述多幅图像包括特定图像和其他图像， 其中，所述特定图像具有比所述其他图像更高的曝光水平。19. 根据权利要求18所述的图像处理方法，其中，所述多幅图像包括具有不同曝光水平 的多于两幅图像，并且其中，所述图像以根据所述图像的所述曝光水平的顺序以成对的方 式迭代地被处理，使得从以第一迭代将所述图像中的两幅进行融合得到的经融合的图像在 后续迭代中与所述图像中的另一幅进行融合。20. -种图像处理系统，包括： 梯度确定逻辑，其被配置为确定针对至少一幅图像的图像梯度指示； 滤波代价确定逻辑，其被配置为基于针对所述至少一幅图像的所确定的图像梯度指示 来确定针对图像区域的滤波代价;以及 处理逻辑，其被配置为使用针对所述图像区域的所确定的滤波代价来处理与所述至少
【文档编号】H04N5/21GK106027851SQ201610159268
【公开日】2016年10月12日
【申请日】2016年3月18日
【发明人】R·莱克蒙德
【申请人】想象技术有限公司