一种基于直方图归一化与超像素分割的hdr重建算法
【专利摘要】本发明公开了一种基于直方图归一化与超像素分割的HDR重建算法，利用直方图匹配算法将选中的参考图像Ir的直方图映射到图像序列的其他图像Ii上，并分别生成相应的匹配图像通过比较每个像素点和其临近像素的一致性，将图像的像素组合成超像素，并采用切割算法来获取图像中运动物体的轮廓，对匹配图像与其他图像Ii作差取绝对值，然后进行超像素分割；将分割得到的超像素分为两类：静态部分和动态部分，并将Ii和合成中间图像基于梯度的图像质量评价系统，计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。将参考图像和输入序列中其他图像进行直方图匹配，而不是直接计算输入图像的梯度信息。这使得图像的更多细节能够被保留。
【专利说明】
一种基于直方图归一化与超像素分割的HDR重建算法
技术领域
[0001] 本发明涉及图像处理领域，具体涉及一种基于直方图归一化与超像素分割的HDR 重建算法。
【背景技术】
[0002] 尽管图像技术近年来发展迅速，但是普通的数码相机依然无法拍摄出与人类肉眼 所见的真实场景相一致的图像。为了解决这种局限性，很多研究者致力于获取现实世界中 全动态的图片，也即高动态范围（high dynamic range HDR)图片。其中，通过多次曝光，每 次捕捉一定的动态范围，将这些相同场景的不同动态范围进行融合，得到HDR图片。然而，由 于实际中场景存在动态信息以及运动的物体，使得直接图片融合图片会产生鬼影或模糊现 象。因此，如何消除序列HDR图像中的鬼影是比较重要的研究主题。通常，生成静态场景HDR 图像的方法包括两个步骤:首先估计相机响应函数，结合不同曝光下的辐射图生成中间图 像，来保存覆盖了真实场景整个色调范围的像素值;然后利用色调映射将获得的中间HDR图 像重新映射成低动态范围（low dynamic range LDR)图像，在普通的LDR设备上显示。有些 方法跳过一般的HDR过程，直接在图像域进行曝光融合，生成类似色调映射的HDR图像。因 此，这些方法更加有效，且不需要进行色调映射。然而，由于上面所提到的所有方法都只适 用于静态图片，曝光序列中任何的运动都会造成鬼影现象。
[0003] 很多工作都尝试移除动态场景中的鬼影现象。一般来说，已有的方法分为两类。第 一类假设图片中大部分场景是静态，只有少部分存在运动。这类方法通常先利用输入序列 进行图像对齐，来确定哪些像素是静态场景或运动物体，然后将静态场景的像素融合起来 生成无鬼影的动态图片。例如，Kang等提出的算法计算连续帧之间的光流，将像素融合生成 HDR结果。Reinhard等提出基于辐射图计算方差图，并在不同的曝光图像上进行阈值化以检 测运动区域。Jacobs等认为，对于曝光时间，局部熵信息一般变化不显著，基于这个特性提 出来阈值化的熵信息图。Grosch则通过输入序列估计误差图并进行阈值处理。Min等提出从 图像中计算多级别的阈值图，并比较它们检测运动。此外，Pece和Kautz提出利用中值阈值 比特图(median threshold bitmap MTB)算法，将不同颜色值的像素标记为运动区域。Khan 等和Pedone等采用核密度估计来计算像素属于运动物体的概率。Sidibe基于静态区域的像 素值通常随着曝光时间的增加而增大这一事实，来识别鬼影。Gallo等通过两次曝光内的期 望曝光率计算像素值偏差来检测运动信息。Zhang和Cham提出衡量曝光序列的局部梯度的 一致性，来计算像素在融合时的权重。由于这些方法假设运动物体仅出现在场景的少部分 区域或在某位置出现的概率小，因此，它们最根本的难题是，无法处理存在大量运动或部分 区域变更频繁的场景。
[0004] 为了解决对于大区域运动或较频繁变更的局限，第二类方法尝试在融合生成HDR 图像前，先对图像序列按照参考图像进行对齐。Zimmer等考虑到变化的曝光情况，提出了基 于能量的光流方法。HaCohen等利用由粗到精的策略，用广义路径匹配计算最近邻域场，与 全局非线性参数颜色模型拟合相结合，并利用局部自适应约束来进行一致性匹配区域聚 合。Hu等利用HaCohen提出的算法，找参考图像和序列中其他图像的密集相关性，并利用局 部单应性校正错误的相关性。Sen等提出了基于子块的优化方法，同时解决了 HDR图像和对 齐的图像问题。此外，Hu提出基于子块匹配的方法，来处理图像饱和的部分，而Li等提出计 算上更高效的基于双向正则化的方法。Zhang等提出了类似衡量曝光序列的局部梯度的一 致性的参考指导的方法，将梯度方向的变化作为运动检测的一个线索。
[0005] 然而，这些方法有两个共有的限制。首先，由于它们都通过在像素级最大化与所选 的参考图片的相似度来重构HDR图像，因此性能极大的依赖所选参考图像的曝光质量。一般 的，参考图像中过曝或欠曝的像素难以匹配，这就导致了在融合过程中，这些位置的像素权 重计算不正确。其次，由于不同的曝光时间，在参考图像和序列其他图像之间可能存在很大 的像素强度变化，因此难以在输入的图像中检测运动区域。为了克服这两个限制，本发明提 出了基于直方图归一化与超像素分割的HDR重建方法。
【发明内容】
[0006] 为解决现有技术存在的不足，本发明公开了一种基于直方图归一化与超像素分割 的HDR重建算法，本发明首先在鬼影检测步骤之前，将参考图像和输入序列中其他图像进行 直方图归一化，而不是直接计算输入图像的梯度信息。这使得图像的更多细节能够被保留， 尤其是参考图像中过曝和欠曝的区域。此外，过欠曝光带来运动检测的困难也大大的降低。 其次，考虑到序列中不同图像相同像素的内部一致性和相同图像邻域像素的外部一致性， 本发明在超像素级进行鬼影检测建模。本发明所提出的方法在移除HDR图像鬼影的前提下， 有效的解决了 LDR图像对齐和最大化图像细节保留的问题。
[0007] 为实现上述目的，本发明的具体方案如下：
[0008] 一种基于直方图归一化与超像素分割的HDR重建算法，包括以下步骤：
[0009] 步骤一:利用直方图归一化算法将选中的参考图像Ir的直方图映射到图像序列的 除参考图像之外的其他输入图像^上，并分别生成相应的匹配图像if ;
[0010] 步骤二:将匹配图像if分别与相对应的输入图像h的像素值相减并取绝对值，得 到代表运动信息的图像D1;
[0011] 步骤二:通过比较运动信息的图像Di中每个像素点和其临近像素的一致性，将运 动信息的图像Di的像素组合成超像素，并采用切割算法来获取图像中运动物体的轮廓，以 保证图像融合过程中运动物体的完整性；
[0012] 步骤三:将切割得到的超像素分为两类:静态超像素和动态超像素，并将输入图像 Ii和匹配图像if在运动信息图像队的指导下合成中间图像if;
[0013] 步骤四：基于梯度的图像质量评价系统，计算得到每一幅中间图像//的权值地图 并将其进行加权融合得到最终图像融合结果。
[0014] 进一步的，在静态超像素的区域，中间图像:/f选取输入图像Ii中的像素，动态超像 素的区域，选取匹配图像/f中的像素。
[0015] 进一步的，在步骤一中，将参考图像的直方图映射到图像序列的其他输入图像上 时，采用幂函数模型：+ 7。
[0016] 其中，IP?为归一化拟合后的图像，Ii为第i幅输入图像，a、0、y为常数项。
[0017] 进一步的，在步骤一中，在归一化匹配时，匹配的对象设为图像像素的强度值。
[0018] 进一步的，在步骤二中，对匹配图像/f与其他输入图像h作差取绝对值，得到： A =|/;:-if |，由于匹配图像if曝光程度与输入图像h-致，同时匹配图像像素与参考图像 Ir 一致，因此Di可用来表示两幅图像间的运动信息。
[0019] 进一步的，在步骤二中，超像素分割时，将相同特征的像素点组合为超像素并将超 像素作为运动检测的基本单位，首先对运动信息的图像Di进行常规切割，然后通过这些碎 片的一系列特征，包括轮廓、形状、阴影和焦点，对这些碎片进行分类和组合，最后切割为多 个超像素。
[0020] 进一步的，在步骤三中，只要超像素中有5%的像素点的值超过设定的阈值，就认 为整个超像素属于动态超像素，否则属于静态超像素，动态超像素的超像素值为1，静态超 像素的超像素值为〇,得到一幅以超像素为基本单位的二值图。
[0021] 进一步的，为了保留输入图像Ii中曝光较好的区域同时去除与参考图像Ir不一致 的动动态超像素，对二值图中值为1的区域，即动态区域，中间图像#选取匹配图像if中的 像素;二值图中值为〇的区域即静态区域，则选取输入图像Ii中的像素。
[0022] 进一步的，为了使匹配图像if与输入图像^两幅图像的超像素的边界融合地更加 平滑，对二值图进行了高斯模糊处理，将二值图变成了介于0-1之间的权值图并对输入图像 b和匹配图像/f进行加权融合。
[0023] 进一步的，在步骤四中，图像的融合具体包括：
[0024] 对高斯滤波函数在中间图像if像素点x和y方向上分别求取一阶偏导数，得到该像 素的梯度信息；
[0025]根据一阶偏导数求取代表着像素值的最大改变量梯度幅值；
[0026] 通过梯度幅值信息，得到图像的可见性评价；
[0027] 将中间图像看作是一系列静态图像，从而设权值，在权值地图的指导下，将所有中 间图像无缝融合，得到一幅类似于色调映射的HDR图像。
[0028]本发明的有益效果：
[0029] 本发明提出了一种新的普遍有效的模型，以解决动态图像序列融合中的鬼影检测 和移除的问题。通过基于直方图的图像匹配和超像素分割，许多图像序列融合都得到了令 人满意的结果。本文的方法受基于梯度的曝光融合的部分启发，但有两个显著且新颖的改 进。首先，在鬼影检测步骤之前，我们没有直接计算输入图像的梯度信息，而是将参考图像 和输入序列中其他图像进行直方图匹配。这样使得图像中部分区域，尤其是参考图像过曝 欠曝的区域，细节信息保留更完整。此外，过欠曝光带来运动检测的困难也大幅降低。其次， 考虑到序列中不同图像相同像素的内部一致性和相同图像邻域像素的外部一致性，我们在 超像素级进行鬼影检测建模。所提出的方法在移除HDR图像鬼影的前提下，有效的解决了 LDR图像对齐和最大化图像细节保留的问题。
【附图说明】
[0030] 图1本申请的算法框图；
[0031] 图2本申请的算法图像处理流程图；
[0032] 图3(a)为曝光的图像，图3(b)为标准化的图像，图3(c)为将图3(a)及图3(b)进行 超像素的运动检测生成的中间图像，
[0033] 图3(d)为另一曝光的图像，图3(e)为另一标准化的图像，图3(f)为将图3(d)及图3 (e)进行超像素的运动检测生成的中间图像；
[0034]图4 (a)为输入的图像，图4 (b)为利用Kang文献里的方法处理后的图像，图4 (c)为 利用Zhang文献里的方法处理后的图像，图4(d)为在欠曝光的情况下的匹配图像，图4(e)为 本申请中的改进算法处理后的图像；
[0035]图5(a)输入的曝光的图像，图5(b)上面的为没有采用基于超像素的运动检测的融 合图像，图5(b)下方的为本申请中的算法采用基于超像素的运动检测的融合图像；
[0036]图6(a)输入的五种不同曝光程度的图像，图6(b)从左至右依次是Mertens文献、 Gal 1〇文献、Sen文献及本申请中的算法处理后的图像；
[0037]图7(a)为输入的欠曝光的一组图像，图7(b)从上至下，从左至右依次为采用 Mertens文献、Zhang文献、Sen文献及本申请中的算法处理后的图像；
[0038]图8(a)为输入的欠曝光的一组图像，图8(b)从左至右依次为采用Mertens文献、 Zhang文献、Sen文献及本申请中的算法处理后的图像；
[0039]图9(a)为输入的欠曝光的一组图像，图9(b)从左至右依次为采用Zhang文献、Sen 文献、Hu文献及本申请中的算法处理后的图像。
【具体实施方式】：
[0040] 下面结合附图对本发明进行详细说明：
[0041] 如图1所示，本申请提出的算法主要包括以下三个部分。首先，利用直方图匹配算 法将选中的参考图像Ir的直方图映射到图像序列的其他图像^上，并分别生成相应的匹配 图像if 这样得到的if曝光程度和h-致，同时图像的内容与Ir保持一致。第二步，我们 米纳了文献（X.Ren and J.Malik, "Learning a classification model for segmentation，'，in Computer Vision,2003.Proceedings.Ninth IEEE InternationalConference on ? IEEE，2003，pp ? 10-17 ?)中的思想，通过比较每个像素点和 其临近像素的一致性，将图像的像素组合成超像素，并采用文献(G.Mori，X.Ren，A.Efros， J.Malik et al?，"Recovering human body configurations:Combining segmentation and recognition in Computer Vision and Pattern Recognition,2004.CVPR 2004.Proceedings of the 2004IEEE Computer Society Conference on,vol.2.IEEE, 2004，pp.II-326.)中提出的切割算法来获取图像中运动物体的轮廓。考虑到相机运动以及 输入图像之间的重合部分，我们对图像/f与h作差取绝对值，然后进行超像素分割。接着我 们将分割得到的超像素通过特定的阈值分为两类:静态部分和动态部分，并通过对这两部 分的组合生成中间图像/f。具体来讲，在静态部分的区域，/, z选取^中的内容，动态部分的 区域选取中的内容。最后，利用基于梯度的图像质量评价系统，我们计算得到每一幅中 间图像的权值地图并将其进行加权融合得到最终图像融合结果。
[0042]本申请的算法图像处理流程如图2所示，最左侧的三幅图像为输入图像，选取中间 的输入图像为参考图像，对除参考图像之外的两个输入图像进行归一化处理，得到相应的 中间图像，最后将中间图像进行融合，得到处理后的最终图像。
[0043] 如图3(a)为曝光的图像，图3(b)为标准化的图像，图3(c)为将图3(a)及图3(b)进 行超像素的运动检测生成的中间图像。
[0044] 图3(d)为另一曝光的图像，图3(e)为另一标准化的图像，图3(f)为将图3(d)及图3 (e)进行超像素的运动检测生成的中间图像。
[0045] 直方图归一化算法：由于输入图像之间有时存在较大的强度差异，尤其是过曝光 和欠曝光区域，直接对图像序列进行操作的运动检测方法效果并不好。因此本文提出在进 行运动检测前，首先将参考图像的直方图映射到图像序列的其他图像上，实现全局校准。显 然，任何两幅图像间的强度偏差都可以通过建立模型对图像强度进行加减或缩放来获取。 通过大量实验，我们发现幂函数模型的曲线拟合效果最好，作为参考图像像素值到其他图 像像素值的归一化拟合函数最为合适。
[0046] 基于超像素的运动检测：用来详细阐述了本申请的运动检测算法以及生成中间图 像#的方法。为了找到UPJf之间的运动区域，本申请让两者的像素值相减然后取绝对值， 得到：A =#-#|。由于if曝光程度与h-致，同时图像内容与Ir 一致，因此〇1可用来表 示两幅图像间的运动信息。
[0047] 为了更准确的找到运动区域，本申请将口:进行超像素分割。在大部分情况下，图像 处理的基本单位都是单个的像素，包括传统的HDR算法。本申请将相同特征的像素点组合为 超像素并将超像素作为运动检测的基本单位，这样既改善了运动检测的准确性，同时减轻 了后续算法的复杂度。首先对图像进行常规切割，然后通过这些碎片的一系列特征，包括轮 廓、形状、阴影和焦点，对这些碎片进行分类和组合，最后将〇:切割为200个超像素。
[0048] 接着我们将这些超像素分为静态和动态两类。由于D:代表着UP/f之间的运动信 息，因此，Di中的像素值越大，就表示该点属于运动区域的可能性就越大。我们想要尽可能 地将鬼影全部去除，因此只要超像素中有像素点的值超过的设定的阈值，我们就认为整个 超像素属于运动区域。实验中的阈值设为50。
[0049] 运动检测完成后，得到一幅以超像素为基本单位的二值图。其中运动区域的超像 素值为1，静态区域的超像素值为〇。在这幅二值图的指导下，我们将I4P if合成中间图像 /f。为了保留h中曝光较好的区域同时去除与参考图像Ir不一致的运动区域，对二值图中 值为1的区域，I?选取/f中的部分，其余则选取^中的部分。此外，为了使两幅图像超像素的 边界融合地更加平滑，我们对二值图进行了高斯模糊处理，将二值图变成了介于0-1之间的 权值图并对Ii和if进行加权融合：
[0050] -f (1 ??? (5)
[0051] 其中，疗以,妁、/严(為>，)、11(1，7)分别为第1幅中间图像、匹配图像、输入图像在 (X，y)坐标上的像素值， Wl(x，y)为第i幅匹配图像/f在(x，y)坐标上的像素值在融合过程中 分配的权重。
[0052] 图像融合：本申请对进行了基于梯度的图像质量评定。如文献(W.Zhang and W.-K.Cham，"Gradient-directed composition of multiexposure images，'，in Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on.IEEE,2010,pp.530-536.)中所提到的，图像梯度和图像的特征有很大关联，其中梯度的幅值大小可用来表示图 像的曝光质量好坏，像素的曝光质量越好，梯度幅值就越大。相反的，对于过曝光和欠曝光 的像素点，该点的梯度幅值会相应减小。用这种方法，我们首先对高斯滤波函数在像素点x 和y方向上分别求取一阶偏导数，得到该像素的梯度信息：
[0055] /f(x，>，)和//'(W)分别是jfCr j)在1和7方向上的偏导数。梯度幅值代表着像素值 的最大改变量，可由下式计算得到：
[0057]通过梯度幅值信息mi(X，y)，可以得到图像的可见性评价，用lUj)来进行量化表 示：
[0059]由于中间图像已经在前两步计算中得到校准，因此我们将其看作是一系列静态图 像，从而设权值1 = 1。在权值地图的指导下，我们采用算法将所有中间图像无缝融合，得到 一幅类似于色调映射的HDR图像H(x，y):
[0061 ]实验结果
[0062] 本申请在室内室外包括了不同类型物体运动等场景下，测试所提出的算法，并与 当前HDR图像去鬼影的方法进行结果比较。由于很难覆盖全部的公开算法，我们这里主要集 中和这四种最新水平的方法进行比较:Mertens等的图像融合方法，Zhang和Cham的基于梯 度曝光融合，Hu等的HDR合成方法，以及Sen等的基于子块的HDR重建方法。
[0063] 首先，在去鬼影的过程中，我们分两步验证所提出的直方图匹配和超像素运动检 测的有效性:直方图匹配。由前面所述，由于不同曝光下像素强度变化显著，没法直接进行 运动区域检测。然而，直方图匹配能解决这一现状。图4(a)为输入的图像，图4(b)为利用 Kang文献里的方法处理后的图像，图4(c)为利用Zhang文献里的方法处理后的图像，图4(d) 为在欠曝光的情况下的匹配图像，图4(e)为本申请中的改进算法处理后的图像。
[0064] 我们的方法和文献（5.13.1(&1^，]\1.1]71^611(1&616,3.町11(161'，&11(11?.3261181<：；[，"]^区11 dynamicrange video，''ACM Transactions on Graphics(TOG),vol.22,no.3,pp.319-325, 2003.)以及文献（W. Zhang and W.-K. Cham, "Reference-guided exposure fusion in dynamic scenesJournal of Visual Communication and Image Representation, vol. 23，no. 3，pp. 467-475,2012.)的结果对比。可以看出，他们的算法在欠曝光情况下，不 能有效的进行输入图像和参考图像的对齐，而我们所提出的方法在融合前通过将二者进行 直方图匹配，因而在消除鬼影方面体现出了优异的性能。
[0065] 基于超像素的运动检测。图5(a)输入的曝光的图像，图5(b)上面的为没有采用基 于超像素的运动检测的融合图像，图5(b)下方的为本申请中的算法采用基于超像素的运动 检测的融合图像。
[0066] 显示了我们的算法采用及不采用基于超像素的运动检测的融合结果。由图可见场 景中存在许多跳舞的人，图片的运动信息也非常复杂。过曝或欠曝区域内单个像素的运动 信息容易被错误判断，因此在图像融合过程中留下了小黑孔。考虑到像素间的内部一致性， 尤其是场景中同一运动物体的像素之间，我们应该赋予他们相近似的权重。可以看出，我们 基于超像素运动检测的融合结果，能够很理想的重建过欠曝光区域内的图像细节，例如场 景中女舞者的腿。
[0067]为了验证所提出的算法在动态场景中的有效性，我们复制了一些以前发表的结 果，并与现有的工作进行比较。图6(a)输入的五种不同曝光程度的图像，图6(b)从左至右依 次是Mertens文献、Gal 1〇文献、Sen文献及本申请中的算法处理后的图像。
[0068]显示了五种不同曝光程度的图像，其中存在着动态的行人。我们选择第三张图作 为实验的参考图像。显然，文献（T.Mertens，J. Kautz，and F.Van Reeth, "Exposure fusion:A simple and practical alternative to high dynamic range photography," in Computer Graphics Forum,vol.28,no.1.Wiley Online Library,2009,pp.161-171.) 生成的结果存在几处鬼影现象。文献（〇.Gallo,N.Gelfand,W.-C.Chen，M.Tico，and K?Pul 1i，"Artifact-free high dynamic range imaging /'in Computational Photography(ICCP)，2009IEEE International Conference on. IEEE,2009，pp. 1-7.)的融 合结果有所改善，但依然存在一定的噪声，部分区域的图像细节也有丢失。文献(P. Sen， N.K.Kalantari,M.Yaesoubi,S.Darabi,D.B.Goldman,and E.Shechtman,aRobust patch-based hdr reconstruction of dynamic scenes.''ACM Trans.Graph.,vol.31,no.6, p. 203,2012.)所得到的结果整体看起来欠曝，虽然保存了输入曝光图像的全部内容，但部 分细节太黑以至于无法显示。相反，我们的方法生成的结果包含的信息最丰富，而且彻底消 除了鬼影现象。
[0069] 图7(a)为输入的欠曝光的一组图像，图7(b)从上至下，从左至右依次为采用 Mertens文献、Zhang文献、Sen文献及本申请中的算法处理后的图像。
[0070] 显示了一个含有复杂运动信息以及过曝光和欠曝光的室外场景，我们选择输入序 列的第三幅图作为实验参考图像。
[0071] 图8(a)为输入的欠曝光的一组图像，图8(b)从左至右依次为采用Mertens文献、 Zhang文献、Sen文献及本申请中的算法处理后的图像。
[0072] 显示了一个人弹钢琴的场景，这个场景包含了大量欠曝区域，而且演奏家手部区 域变化频繁。如这两幅图所示，同样的，文献（T.Mertens，J.Kautz,and F.Van Reeth, "Exposure fusion:A simple and practical alternative to high dynamic range photographyin Computer Graphics Forum,vol .28,no.1.Wiley Online Library, 2009,pp. 161-171.)和文献（W.Zhang and W.-K.Cham, "Reference-guided exposure fusion in dynamic scenesJournal of Visual Communication and Image Representation，vol ? 23，no ? 3，pp ? 467-475，2012 ?)的融合结果产生了明显的鬼影现象。 [0073]图9(a)为输入的欠曝光的一组图像，图9(b)从左至右依次为采用Zhang文献、Sen 文献、Hu文献及本申请中的算法处理后的图像。
[0074]文献（卩.56]1，1^.1(.1(&1&11七&1'；[，]\1.￥&68〇1113；[，3.0&『&13；[，0.13.601(1111&11，已11(1 E?Shechtman，"Robust patch-based hdr reconstruction of dynamic scenes.''ACM Trans .Graph.，vol. 31，no .6，p. 203,2012.)的结果依然比较昏暗，而且欠曝光区域没能重 建出来。他们在图9的结果有所改善，信息也比较丰富，但作为一个普通的场景，看起来依然 不够真实。相比他们的融合结果，我们所提出的方法在这两个场景中生成的HDR图像都非常 自然，而且没有鬼影现象。
[0075]最后，我们利用所提出的算法在另外两个场景中进行测试，这个场景包含大量过 曝光和欠曝光的区域，我们就对饱和图像的处理与前面的算法进行比较。如之前所提到的， 不理想的曝光总是会给鬼影的移除带来巨大的困难。文献（P.Sen，N.K.Kalantari， M.Yaesoubi,S.Darabi,D.B.Goldman,and E?Shechtman,"Robust patch-based hdr reconstruction of dynamic scenes.''ACM Trans.Graph.,vol.31,no.6,p.203,2012.)的 算法基于能量最小化公式，尽可能的保留全部的曝光信息，这让他们的结果看起来或多或 少的不自然。更严重的是，他们没办法处理曝光序列中饱和的区域。文献(J.Hu，0.Gallo， K.Pulli,and X.Sun,"Hdr deghosting:How to deal with saturation"in 2013IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2013,pp.1163-1170.)的结果在饱和区域的处理比前者好，然而我们的方法在处理好饱和区域的同时，也 保留了更多的图像细节。
[0076]上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范 围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不 需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
【主权项】
1. 一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，包括以下步骤： 步骤一:利用直方图归一化算法将选中的参考图像I r的直方图映射到图像序列的除参 考图像之外的其他输入图像I1I，并分别生成相应的匹配图像 步骤二:将匹配图像/f分别与相对应的输入图像I1的像素值相减并取绝对值，得到代 表运动信息的图像Di; 步骤二:通过比较运动信息的图像D1*每个像素点和其临近像素的一致性，将运动信息 的图像D1的像素组合成超像素，并采用切割算法来获取图像中运动物体的轮廓，以保证图 像融合过程中运动物体的完整性； 步骤三:将切割得到的超像素分为两类:静态超像素和动态超像素，并将输入图像14口 匹配图像/f在运动信息图像指导下合成中间图像/f; 步骤四：基于梯度的图像质量评价系统，计算得到每一幅中间图像/f的权值地图并将其 进行加权融合得到最终图像融合结果。2. 如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征 是，在静态超像素的区域，中间图像i?选取输入图像I i中的像素，动态超像素的区域，选取 匹配图像/f中的像素。3. 如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征 是，在步骤一中，将参考图像的直方图映射到图像序列的其他输入图像上时，采用幂函数模 型:&^ = +/，其中，IP?为归一化拟合后的图像，I1为第i幅输入图像，α、β、γ为常数项。4. 如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征 是，在步骤一中，在归一化匹配时，匹配的对象设为图像像素的强度值。5. 如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征 是，在步骤二中，对匹配图像/f与其他输入图像I1作差取绝对值，得到：A 由于 匹配图像Jfi曝光程度与输入图像I1 一致，同时匹配图像像素与参考图像Ir一致，因此〇1可 用来表示两幅图像间的运动信息。6. 如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征 是，在步骤二中，超像素分割时，将相同特征的像素点组合为超像素并将超像素作为运动检 测的基本单位，首先对运动信息的图像D 1进行常规切割，然后通过这些碎片的一系列特征， 包括轮廓、形状、阴影和焦点，对这些碎片进行分类和组合，最后切割为多个超像素。7. 如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征 是，在步骤三中，只要超像素中有5%的像素点的值超过设定的阈值，就认为整个超像素属 于动态超像素，否则属于静态超像素，动态超像素的超像素值为1，静态超像素的超像素值 为O，得到一幅以超像素为基本单位的二值图。8. 如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征 是，为了保留输入图像I1中曝光较好的区域同时去除与参考图像I r不一致的动动态超像素， 对二值图中值为1的区域，即动态区域，中间图像牙选取匹配图像if中的像素;二值图中值 为O的区域即静态区域，则选取输入图像I 1中的像素。9. 如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征 是，为了使匹配图像/f与输入图像I1两幅图像的超像素的边界融合地更加平滑，对二值图 进行了高斯模糊处理，将二值图变成了介于0-1之间的权值图并对输入图像I 1和匹配图像 /f进行加权融合。10. 如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征 是，在步骤四中，图像的融合具体包括： 对高斯滤波函数在中间图像/f像素点X和y方向上分别求取一阶偏导数，得到该像素的 梯度信息； 根据一阶偏导数求取代表着像素值的最大改变量梯度幅值； 通过梯度幅值信息，得到图像的可见性评价； 将中间图像看作是一系列静态图像，从而设权值，在权值地图的指导下，将所有中间图 像无缝融合，得到一幅类似于色调映射的HDR图像。
【文档编号】G06T7/20GK105894484SQ201610191289
【公开日】2016年8月24日
【申请日】2016年3月30日
【发明人】张伟, 胡胜男, 刘侃, 张伟东, 翁健, 王浩
【申请人】山东大学