基于图像和模型计算光照参数进行重光照渲染的方法
【技术领域】
[0001] 本发明设及一种重光照擅染方法，尤其是设及一种基于单幅RGB图像和图像场景 Ξ维点云模型的计算图像光照参数并进行重光照擅染的方法。
【背景技术】
[0002] 基于图像的重光照技术（IBRL)在图形学和图像处理领域内已有大量的研究成果， 但由于受复杂的光照变化影响，如阴影的形成、多光源相互干设等，已有的研究大部分仅限 于在已知3D模型或对3D模型建模后再根据环境光进行重光照。目前已有的基于图像的重光 照的方法从实现原理上一般分为Ξ大类，基于双向反射函数的、基于基函数的和基于全光 函数的方法。
[0003] 游戏和电影中的合成技术对重光照都有特殊要求。早期的电影拍摄通常都会在拍 摄现场放置环境球用于记录周围环境的光照条件，运是基于反射函数进行重光照的方法之 一。尽管基于反射函数的重光照有不少限制，如反射模型的建立直接影响重光照的效果、不 能模仿所有的光照条件等，但由于基于反射函数的重光照技术所需要的处理时间相对较少 而被多数追求高效重光照技术的研究者采用。双向反射分布函数(BRDF)包含了场景中光照 的反射信息，据此，Oskar等人[Oskar 2007]首先提出在预计计算光福射传输技术中使用光 源割技术，根据可见性预计算光源割和双向反射函数，把大量的计算放在预计算步骤，从而 W交互的速度对静态场景进行重光照擅染。前期的重光照技术都是在未知目标光源的情况 下实现的，对于目标光源可W控制的情况，则有另一类处理方案。重光照的研究者们提出的 各种图像采集装置就是用于控制光源位置、朝向等使光源各项参数已知，从而简化重光照 算法。如Xuehong等人[Xuehong 2014]把目标定在室外的场景，在不同光照条件下用同一摄 像机获取同一场景下的系列图像，建立BRDF模型提取光照信息进行重光照。Tze等人[Tze 2009]对用同样方法获取的图像序列则计算其RBF进行重光照，参考了Mahajan等人 [Mahajan 2008]提出的分析化ong光照模型下BRDF和球面调和函数进行重光照的研究成 果。
[0004] 基于基函数的重光照技术主要针对静止的场景。由于基图像包含了多种光照条件 下物体或场景的显示效果，故对一系列获取的基图像进行线性组合可W得出在目标光照条 件下物体或场景的擅染结果。由于需要大量的基图像，基于基函数的重光照技术更多地应 用于提高人脸识别正确率、对Ξ维重建进行后处理或是视频处理等已有大量图像并对光照 有较高要求的重光照方面。最新的研究是Amr等人[Amr 2014]W人脸图像训练集为基图像， 在提取目标人脸图像中的球面调和基函数和光照参数后和训练数据集相比较，选择接近目 标图像的组合图像和权重，避免了重建人脸3D模型和严格光照条件的要求，减小了人脸识 别中由光照差强人意带来的识别误差。
[0005] 全光函数记录了在任意方向、波长和时间下任意位置的光线，包含了刷个维度的 数据。全光函数可W用于模拟多光源或任意光源条件下的复杂场景效果。但也由于全光函 数计算的复杂性，利用全光函数进行重光照的研究相对较少。加 angwei和化bin[Guangwei 2009]针对多视点多光照的图像集，混合了多视图视觉技术(MVS)和基于图像的重光照 (IBL)技术，使用全光图重构3D模型并用前一步摄像机得到的光照图对物体贴纹理，将新的 光照环境图（文章中使用了debevec的光探测图库）分解到31个基光照下，最后通过合成得 到新光照下的反射光强度，完成重光照。
【发明内容】
[0006] 本发明的目的在于针对现有技术的不足，提供一种基于图像和模型计算光照参数 进行重光照擅染的方法。
[0007] 本发明的目的是通过W下技术方案来实现的：一种基于图像和模型计算光照参数 进行重光照擅染的方法，该方法包括如下步骤：
[000引（1)读入待处理的RGB图像和对应的图像场景Ξ维点云模型，根据场景点云和法向 量在光源方向下和图像RGB值之间的关系，建立线性方程组，利用最小二乘法估计光源的方 向向量；
[0009] (2)假设场景中物体均为Lambert体，考虑光照模型，结合光源方向和法向量建立 Phong光照模型的能量函数；
[0010] (3)利用优化方法最小化能量函数，通过最小化能量函数的偏导数求得图像场景 中每个物体的环境光Ai和漫反射数值化；
[0011] (4)由步骤3计算得到的环境光Ai和漫反射数值化计算图像的阴影和高光区域，并 保存成图像作为中间结果；
[001^ (5)计算目标RG姻像的光照方向，根据假设的光照模型把原图像的；维模型加入 到目标图像中进行融合擅染，输出最终擅染的图像。
[001引进一步地，所述步骤1中，当法向量未知时，法向量的求解如下：由于整个模型的 Ξ维点云数量众多，为防止计算时内存溢出，将把点云分成多个部分，每部分取邻近的k个 点（运里k取3000)并记每部分点的协方差矩阵
，其中&片=1，...，k) 是每部分k个点中的一个，多为要求法向量的点，对协方差矩阵进行PCA分解求得点的法 向量巧。
[0014] 进一步地，所述步骤1中，光源方向?的求解如下:输入的模型由普通的纯视觉Ξ维 重建方法得到，该模型记录了图像场景的Ξ维点云及每个Ξ维点对应于图像上的某个像素 点的坐标，即模型中每个Ξ维点都能在图像中找到一个像素点与之相对应。由于图像场景 中可能不止一个物体，每个物体的光照系数都不一样，在求光源方向前，先对图像进行分 害d，分离出每个不同的物体区域记为i。假设场景中只有一个光源，运里选择简单的光照模 型/ = /如-种/7,其中I为图像像素的RGB值，P为和物体有关的常数值光照系数，f为光源 方向，P是Ξ维点的空间坐标，《是点P法向量，T表示向量的转置操作。对图像中每个区域内 的每个像素，按上述光照模型建立线性方程组，求解该方程组则可W得到光源方向/。
[0015] 进一步地，所述步骤2中选择的光照模型为：
[0016]
[0017]其中I为图像像素的RGB值。la为环境光颜色，Ip为环境光的亮度。ka，kd和ks分别为 环境光、漫反射和镜面反射系数。Spe[0，l]为阴影，Hp为高光系数。Γ为光源方向，5为法向 量。定义能量函数巧Z)为：
[001 引
[0019] f为图像像素，職隶示像素 Γ上的RGB值，方贷为像素 r对应的模型S维点的法向 量。记P为和物体有关的常数值光照系数，则对应于图像中每个区域i的环境光值Ai = IaP，漫 反射值化=IpP。
[0020] 进一步地，所述步骤4中场景的阴影和高光系数按照如下散射模型计算：
[0023] 其中参数ts和tn是调节图像光滑度的正阔值，手工设定。Ai和Di为图像中区域i的 环境光和漫反射数值，巧巧表示图像中像素 ?的RGB值。
[0024] 进一步地，所述步骤5中。最终的擅染仍旧利用最初用于求解光源方向的光照模 型。当有了场景的光源方向及阴影、高光等光源信息后，按照光照模型，便可W把该场景