基于物理成像过程和光谱功率分布嵌入的色彩校正方法

本发明涉及一种基于物理成像过程和光谱功率分布嵌入的色彩校正方法，属于计算机视觉领域。

背景技术：

1、颜色恒定性是人类视觉中的一种基本现象，它使我们能够在光照条件变化极大的情况下，仍感知到物体颜色的相对不变。这种感知的稳定性对我们的日常视觉体验至关重要，因为它帮助我们通过物体的颜色来识别物体并做出明智的判断。此外，色彩的变化不仅提升了视觉消费图像的质量，还极大地影响了所有依赖图像的下游视觉任务，如图像分割和物体识别，这些任务对输入图像的色温非常敏感。

2、在图像处理和计算机视觉领域，复制人类的颜色恒定性能力对于多种应用至关重要，包括数码摄影、电影制作和各种形式的视觉通信。这些领域都高度重视色彩的保真度。通过改进色彩校正技术，可以更好地模拟和增强人们对于色彩的自然感知，从而提高图像的整体视觉效果。

3、目前主流的用于图像白平衡的色彩校正算法主要依赖于rgb图像进行分析。rgb图像能够提供场景的空间信息以及色偏的颜色信息。然而，从rgb图像的三个颜色值中估计环境光源是一个不适定问题，因此需要基于一些严格的先验假设。由于这些假设常常过于简化实际情况，基于rgb图像的算法在泛化性方面通常表现不佳。特别是在多光源或室外复杂环境中，这些算法的效果往往不令人满意。光谱图像由于采样频域更高，相比于rgb图像可以提供更多信息，尤其是在多光源环境中，现有的色彩校正方法对于光谱数据的利用还主要停留在生成多色温数据集这一步，通过基于retinex理论将光谱反射率和单一光源光谱相乘得到不同色温的数据集，从成像过程角度分析，这样生成的数据会有不符合真实环境物理规律之处。

4、针对多光源复杂环境，现有的光源估计和颜色校正方法存在以下问题：

5、(1)单光源假设生成的数据集不符合真实场景：现有的光源模拟方法没有考虑多光源、光源入射角度等真实成像过程中图像的物理合理性，得到的图像存在和真实场景物理规律不符的情况，也不足以体现真实复杂环境的多样性，导致算法的适应性较弱。

6、(2)基于严格的先验约束或依赖大量的数据训练：现有方法主要基于rgb数据进行分析，且忽略了多光源混合、光谱稳定性和光源入射角等真实物理成像过程中出现的问题，导致泛化能力不足，难以解决多光源场景的问题。

技术实现思路

1、针对于室外多光源复杂场景中现有的白平衡色彩校正算法存在的问题，本发明提出了一个完整的从数据渲染到光源估计颜色恒常性算法框架，其包括：首先针对监控视角环境进行光源分析与建模，建立太阳光-环境光双光源模型，生成更符合物理特性的多色温数据。然后充分利用光谱数据的窄波段特性，利用光源光谱功率分布和色温的映射关系作为先验进行光源功率估计，依托光源估计结果与rgb图像，融合光谱特征和纹理特征，对复杂室外环境的光源色度进行估计，并结合色度学原理恢复图像在标准光源下的色彩。具体包括：

2、通过对物理成像过程进行建模分析，针对现有多色温数据渲染方法存在的没有考虑复杂光源的问题，本发明提出了一种太阳光-环境光双光源模型，由于室外场景主要光源是太阳光和天空环境光，太阳光色温受到太阳高度角的影响，环境光受到天候影响，根据真实开放环境中会出现的情况进行组合形成更贴合物理特性的色偏光谱数据与色偏rgb数据。

3、为了解决复杂多光源场景下的色彩校正问题，本发明提出了一种基于光谱数据的光源色度估计方法。这一方法利用光谱数据高采样频率和对光源变化高敏感性的优势，将光谱图像与光源光谱功率分布之间的强相关性纳入光源估计过程中。通过使用变分自编码器，本方法从光谱数据中提取潜在表征，并通过迭代训练使部分潜在表征解码为光源光谱功率分布。接着，结合光源光谱特征和rgb图像所提供的颜色及纹理特征来估计光源色度。最终，本发明实现了将图像颜色从估计的实际光源条件转换至标准d65光源下的色彩校正。

4、根据本发明的一个方面，提供了一种基于物理成像过程和光谱功率分布嵌入的色彩校正方法，其特征在于包括以下步骤：

5、a)使用基于物理成像过程建立太阳光和环境光的双光源模型来渲染光谱反射率数据集，得到不同场景的色偏光谱数据，然后，应用cie标准观察者函数将这些光谱数据转换到rgb空间，从而得到不同色温下色偏rgb数据；

6、b)提取色偏光谱数据中非阴影区域的特征光谱，并将特征光谱作为变分自编码器的输入数据，其中变分自编码器的隐藏层分布用于引导光源解码器，以输出与输入光谱相匹配的光源光谱功率分布；

7、c)通过图6卷积网络分别提取步骤c得到的光谱特征和步骤a得到的色偏rgb数据的颜色和纹理特征，融合两种特征并估计图像的光源色度；

8、d)利用步骤c中估计得到的光源色度，对色偏rgb数据的色彩进行校正，使其色彩适应标准光源；

9、其中：

10、步骤a)包括：

11、a1)首先定义两种主要的光源类型：太阳光和环境光，太阳光的色温在早晨和傍晚约2000k至3000k，而中午时为5000k至6500k，环境光的色温阴天和多云时为6000k至7500k，晴天时为5000k，

12、a2)根据所选光源的色温，使用物理模型渲染出相应的光源光谱数据。室外不同色温的自然光源用不同色温的黑体辐射的普朗克辐射定律来表征：

13、

14、其中，b(λ,t)是在温度t和波长λ下的辐射强度，h是普朗克常数，c是光速，k是玻尔兹曼常数，

15、a3)以不同比例组合太阳光与环境光并渲染至光谱反射率数据集上，得到新场景的色偏光谱数据。在渲染日出和/或日落场景时，为了避免与生成和真实环境中的视觉效果相悖的数据，将太阳光色温范围限定在2000k到4000k之间，即：

16、snew(λ)＝αss(λ,t)+βse(λ,t)

17、α+β＝1

18、i(λ)＝snew(λ)·r(λ)

19、其中α和β为比例因子，ss(λ,t)和se(λ,t)分别为太阳光环境光在波长λ和色温t时的功率分布，snew(λ)为新光源光谱，r(λ)为场景中反射率，i(λ)为组合光源下的色偏光谱数据，

20、a4)将渲染得到的色偏光谱数据转换为rgb颜色空间，其中通过cie标准观察者函数和xyz色彩空间到rgb色彩空间转换完成。首先，使用cie标准观察者函数将光谱数据转换为xyz值，再利用xyz到rgb的转换矩阵将xyz值映射到rgb空间：

21、

22、

23、其中λ表示波长，此处取可见光波段400nm至720nm，间隔为10nm的33个波段，

24、i(λ)为a3中渲染得到的光谱数据，z(λ)是cie标准观察者的色度匹配函数，分别对应于xyz颜色空间的三个坐标，

25、x、y、z分别表示光谱数据映射到xyz色彩空间值，r、g、b分别表示xyz空间映射到rgb空间值，

26、步骤b)包括：

27、b1)提取光谱图像在可见光红色、绿色、蓝色波段的数据转换至色相、饱和度、明度hsv空间，并利用计算归一化饱和度值差异指数nsvdi提取出非阴影区域，nsvdi计算方法如下：

28、

29、其中s和v表示hsv空间中的饱和度和明度，通过实验，使用nsvdi提取非阴影区域的阈值为0.2，

30、b2)将提取出的非阴影区域光谱输入变分自编码器vae中，利用重构迭代优化来捕获光谱数据的潜在表征，

31、b3)将vae捕获的潜在表征输入到光源光谱解码器，用均方误差mse作为损失函数指导解码器输出正确的光源光谱功率分布，

32、步骤d)包括：

33、d1)将步骤c计算出的光源色度转换到xyz空间，计算将当前光源校正到标准d65光源下的色彩校正因子：

34、

35、其中sx、sy、sz分别为x、y、z的色彩校正因子，xd65、yd65、zd65分别为标准d65光源的xyz值，xsource、ysource、zsource分别为步骤c计算出的光源色度，

36、d2)将步骤a得到的色偏rgb数据转换到xyz空间并应用色彩校正因子，最后转换回rgb空间得到标准光源下的图像。

37、

38、其中xyz表示色偏图像转为xyz空间的值，xyzcorrect为校正后值。