基于加权局部回归的自适应渲染方法
【技术领域】
[0001] 本发明涉及计算机图像处理技术领域，是一种基于加权局部回的自适应渲染图像 重构方法。
【背景技术】
[0002] 自适应渲染方法和蒙特卡罗光线追踪重建图像有很长一段历史。当前的工作在这 一领域也取得了更大的进展，但是主要的目标仍然是相同的：即使用较少数量的光线样本 去提高图片质量以提高效率。由过少光线样本生成的图像容易受到噪声并且聚合成一幅平 滑图像的过程很慢。自适应样本和重构的关键因素在于局部实行误差分析，这在为图像重 建控制平滑时指导光线集中在高误差区域，用以产生数值上和视觉上令人满意的渲染结 果。
[0003] 在高维度上，自适应渲染技术可以被分为积分方法和图像空间方法。强大的积分 方法早在2008年已经被提出了，但是近来的研究一直专注于设计一个有效的图像空间方 法。这主要是由于图像空间方法能有效且易于集成到现有的渲染系统中，并处理多种复杂 的渲染效果例如运动模糊，区域深度等等。
[0004] 近期的图像空间重构技术使用了著名的在图像处理领域被突出的过滤方法如高 斯滤波器，非局部方法，联合双边滤波，以及微波。在图像处理上发展起来的重构技术和那 些在渲染上使用的一个关键区别在于应用在渲染上的过滤方法适合利用不同类型的可用 特征，例如法线、纹理和深度。由于这些特征用来去除MC渲染结果的噪声，很多现有的图像 空间技术都是用来一些类型的特征并得到了理想的结果。
[0005] 不幸的是，这些特征也可以被视为双刃剑。即使是特征也会是很嘈杂的，特别当我 们有复杂运动、几何体、纹理和光线路径的场景时。此外，不同类型的特征在总体的滤波过 程中有不同的重要性，这表现为一个随机参数过滤。然而，这些问题在现有的利用了这些特 征的图像空间自适应渲染方法中几乎没有得到重视。
【发明内容】
[0006] 本发明提出了一种基于局部加权回归的自适应重构和采样技术的自适应渲染方 法，能够用一个鲁棒的方法来获取误差分析，衡量不同类型特征的重要性，并消除我们考虑 在连续的固定方法上更多特征的维度问题。
[0007] -种基于加权局部回归的自适应植染方法，包括：
[0008] 步骤1，针对输入图像进行截断奇异值分解(TSVD)计算输入图像的简化的特征空 间；
[0009] 步骤2,基于局部矩阵秩的方法将输入图像全局空间中的特征向量转变为在所述 简化的特征空间中的简化向量；
[0010]如上所述，常规的局部回归方法假定输入的预测变量是不嘈杂的，而对应的变量 有噪音，为了解决这个问题，本发明使用截断SVD(TSVD)构建了一个简化特征空间。在解决 每一个像素点的优化问题上，使用奇异值分解(SVD)作为在一个定义在过滤窗口中构建一 个简化局部特征空间的方法。这个在全局空间中的特征向量X转变为一个在局部空间中的 向量z，随后在简化的特征空间里实施了优化。
[0011] SVD提供的坐标变化能可靠地解决秩亏系统通常会遇到的问题。当结合微扰理论 时，能够预处理矩阵空间以减少那些会导致较差情况或失败重构的噪声。在较高水平时，可 以认为这个过程是一个预处理过程，这一过程减少了包含在特征向量中的噪声，并且没有 依赖对应的向量(例如，密度）。此外，坐标变换能够识别新的正交特征类型这是与一些原有 特征类型线性结合的。
[0012]比如，当一个3D输入特征向量[XI，X2，X3]给出时，由SVD计算出的简化的空间可以 是一个2D向量[XI，0· 5x2+0 · 5x3]。
[0013]步骤3，构建局部回归基础统计模型y = f (X) + e ;利用所述简化向量基于扰动理论 的截断SVD去除噪声e得到处理后的输入图像f(x);
[001 4]其中y表不带有噪声e的输入图像；所述噪声e由偏差和方差构成：
[0015] z为所述的简化向量；
[0016] 为共享带宽h、特征带宽b与z的映射关系；
[0017] 鉴于输入为彩色图片，本发明方法独立地应用到每一个通道。特征向量160有〇 维，包括图像的位置以及任意附加的几何信息，包括纹理、深度、法线。为了计算一个像素处 的特征向量，将从多个基础光线计算出的几何形状平均化。
[0018] 统计模型y = f (x) + e中，假设X是一个无噪声的0向量，特征向量X由于分布式效 应例如深度域会变得嘈杂。本发明中通过正则化方法解决了这一问题这是在渲染上应用局 部回归的关键步骤。未知的密度函数f(x)在X附近的一个中心特征向量可以大概的用泰 勒多项式展开，如下所示：
[0019]
[0020]为了简洁，令位置图像值局部线性模型f(xe)和它的梯度▽fOf)各自为α和β。一个 加权最小二乘最小化可以确定系数α和β，如下所示：
[0021]
[0022]此处X和y是在像素 i处的特征向量和密度。
[0023] η为像素索引，即式中遍历所有像素；
[0024] j是一个数学计数量，用于计算区域D内的代价；
[0025] h为共享带宽；
[0026] bj为特征带宽；
[0027]为了过滤一个中心特征向量x""在过滤窗口中定义它的相邻特征向量为X1。计算出 系数α和β各自对应已过滤的图像和对重构问题的预测梯度。其=
丨是一个基 于一维核乘积的多维核。
[0028] 为了更准确的预测偏差和方差，使用了从现有局部回归文献中发展而来的偏差和 方差预测器。偏差项遵循以下渐进关系：
[0029]
[0030] 式中：
[0031 ] B为对角矩阵，表达夕
[0032] traceO是矩阵的迹；
[0033] 是 Hesaian 矩阵。
[0034] 此
[0035] 式中：
[0036] n(z)表示在z处的样本数量；
[0037] k为简化的特征空间中每个维度的空间；
[0038] 匕为特征带宽。其中，所述特征带宽b(即下式中bj为：
[0039]
12345678910
[0040] f是b与z的映射关系；[0041] z为简化局部空间中的向量z。[0042] 甘 rh 士? ' 日中h〇pt)的确定：
^?/Ι^ ΙΙ\Δ J 2 k为简化的特征空间中每个维度的空间； 3 Μ为使用最小平方差计算出的系数。 4 通过
可确定λχ，该式中λ〇和是预测的系数。步骤 4，为处理后的输入图像的每个像素 ζ设置光线样本数量的变化量，再进行渲染； 5 光线样本数量的变化量
6
[0048]
_式是用来计算变化量的，t是一个数学量； 7
[0049]其中Λ rMSE(z)为处理后的输入图像的红色通道的噪声变化量； 8
[0050]
ε是用来避免分母为零的； 9
[0051]
10 k为简化的特征空间中每个维度的空间。
[0053] 本发明使用了一个常见的迭代方法以将可用的光线样本分配到有高误差的区域。 作为初始迭代我们均匀分布了少量的光线样本(例如，每个像素四个光线样本）。在接下来 的迭代中，将像素将接受一个额外的样本时，为像素 Z预测了一个误差降低项AMSE(z)。随 后根据A MSE (z)的相对值确定了样本数量△ n (z)。
[0054] 本发明使用了基于局部的简化特征子空间k，而不是原始的特征空间D的误差度 量。
[0055] 由于重构实施了已计算出的共享带宽hQpt，它的重构误差被预测为：
此夕
。容易看出带有11_的偏差和方差项biash(z)与varh(z)。与此相对， MSE(z)也以相同的速率减小。△ MSE(z)被定义为MSE的减少两并且使用衰减速率被计算为
[0056] 为了考虑到人类的视觉感知对暗部更敏感使用了相对MSE(Mesn Squared Error， 平均平方差），复制rMSE，然后Δ rMSE(z)被如下定义
，此处ε是用来
避免分母为零的，在实际应用中被设为〇.〇〇1。随后为像素 ζ设置样本数量Αη(ζ)，根据的是 它相对于所有像素数量的衰减率。换言之 1过低矛盾采样为像素 z生成A n(z)样本，这是一个普遍而使用的竿。
[0057]本发明验证了一个基于截断SDV(单值结构)和扰动理论并可以有效指导简化局部 特征空间。
[0058] 本发明重构方法中的平均平方误差(MSE)被解构成偏差和方差两种并且基于参数 误差分析鲁棒地预测了。
[0059] 本发明使用偏导数预测了每一个特征类型的重要性并计算了对每一个特征的过 滤宽度，产生了有效的各向异性过滤。
[0060] 本发明使用了来自局部特征空间分析的简化的维度来最佳的发散光线。
【附图说明】
[0061] 图1(a)为输入的待处理图像128spp(rMSE0.06264)的示意图；
[0062]图1(b)待处理图像经使用TSVD得到的局部维的示意图；
[0063] 图1 (c)为矩阵秩为2时的重构结果，过滤时间为4.3秒rMSE0.0 1257;
[0064] 图1 (d)为矩阵秩为9时的重构结果，过滤时间为20.6秒rMSE0.00 666;
[0065] 图1 (e)为使用本发明方法的重构结果，过滤时间为7.2秒rMSE0.00 488;
[0066] 图2(&)为输入的待处理图像(328??);
[0067]图2(b)为预测带宽为hbl的示意图；
[0068]图2(c)为预测带宽为hb2的示意图；
[0069]图2(d)为预测带宽为hb3的示意图；