一种RGB相机光谱响应曲线的标定方法与流程

本发明涉及一种rgb相机光谱响应曲线的标定方法，具体涉及一种基于低分辨率超光谱图像、相同场景高分辨率rgb图像以及光谱响应曲线训练集的相机光谱响应曲线标定方法，属于计算摄像学领域。

背景技术：

不同的彩色相机在拍摄相同场景时，得到的图像常常会有色差，这是由于相机内部的硬件差别所导致的。这些差别包括ccd图像传感器的感光特性差异、拜耳滤光片的差异等。这些差异可以表现为相机在三个通道的光谱敏感度的差异。为了描述相机的光谱敏感度，厂家常常会提供相机的光谱响应曲线，表示相机的每个通道在整个光谱域的响应，这样的曲线通常以波长为横坐标，以相对响应为纵坐标。

彩色相机的光谱响应曲线在一些工业应用中有重要意义。例如，近年来兴起的单次曝光的超光谱成像技术。这种技术的一种实现是，使用rgb彩色相机拍摄场景的高分辨率rgb图像，同时使用超光谱相机拍摄相同场景的低分辨率超光谱图像，使用某种方法将两者融合，得到高分辨率超光谱图像。这种技术要求rgb相机的光谱响应曲线必须已知。

对rgb相机光谱响应曲线的标定，传统的方法会使用待标定相机拍摄多个波长的单色光源，同时记录相机的响应。这种方法虽然可以得到精确的光谱响应曲线，但是它的缺点是需要昂贵的设备，且标定过程耗时长。根据超光谱成像图像融合平台的特点，近年的技术中也提出了仅利用平台拍摄的高低分辨率两张图像标定rgb相机光谱响应曲线的方法，但是这些方法在图像中具有噪声时，性能会急剧下降，导致光谱响应曲线标定不准确，从而降低超光谱成像的精度。

技术实现要素：

从现有应用对rgb相机光谱响应曲线的标定需求出发，针对传统技术中rgb相机光谱曲线标定方法存在的复杂、昂贵的缺点，以及基于图像融合平台的rgb相机光谱响应曲线标定方法中存在的对噪声敏感的缺点，本发明公开的一种rgb相机光谱响应曲线的标定方法，要解决的技术问题是提供一种适用于超光谱成像的图像融合平台的rgb相机光谱响应曲线的标定方法，具有步骤简单快速、不需要昂贵标定设备，且在图像具有噪声的情况下仍能保持标定精度的优点。

为达到以上目的，本发明采用以下技术方案：

本发明公开的一种rgb相机光谱响应曲线的标定方法，分为训练阶段和使用阶段。训练阶段在相机光谱响应曲线的训练集中，把每个相机光谱响应曲线分为红色、绿色、蓝色3个通道；对所述每个通道的所有光谱响应曲线，使用字典学习方法求解稀疏字典。使用阶段利用超光谱成像的图像融合平台，以所述待标定rgb相机拍摄高分辨率rgb图像，并使用超光谱相机拍摄相同场景的低分辨率超光谱图像；根据所述两张图像和三通道的稀疏字典，使用稀疏编码方法求解所述待标定相机的光谱响应曲线，从而完成对rgb相机光谱响应曲线的标定。

本发明公开的一种rgb相机光谱响应曲线的标定方法，分为训练和使用两个阶段，包括如下步骤：

步骤一：训练阶段用于根据rgb相机光谱响应曲线训练集，使用字典学习方法得到红色、绿色、蓝色三个通道的光谱响应稀疏字典。

步骤1.1：在相机光谱响应曲线的训练集中，将每个相机光谱响应曲线分为红色、绿色、蓝色三个颜色通道；

步骤1.2：对步骤1.1中红色、绿色、蓝色三个颜色通道的所有光谱响应曲线，使用如公式(1)所示字典学习方法求解稀疏字典。

其中φq表示第q个通道的稀疏字典，xq表示q通道的所有原始响应曲线，βq表示稀疏编码，η表示稀疏项的权重，||·||f表示矩阵的弗罗宾尼斯(frobenius)范数，||·||1表示矩阵的1-范数；

求解公式(1)的方法优选：k-svd算法，最佳方向(mod)法，在线字典学习(odl)法，主成分分析(pca)法，顶点成分分析(vca)法；

步骤二：使用阶段根据步骤一得到的红色、绿色、蓝色三个颜色通道的稀疏字典，采集的低分辨率超光谱图像和高分辨率rgb图像，得到rgb相机的光谱响应曲线。

步骤2.1：使用超光谱成像的图像融合平台，以待标定rgb相机拍摄高分辨率rgb图像，并使用已标定的超光谱相机拍摄相同场景的低分辨率超光谱图像；

步骤2.2：根据步骤2.1得到的高、低分辨率两张图像和步骤一中得到的稀疏字典，求解如公式(2)所示优化方程得到稀疏编码；

其中αq表示所述稀疏编码，h表示所述低分辨率超光谱图像的矩阵表示，mq表示所述rgb图像的q通道的矩阵表示，s代表高分辨率图像和低分辨率图像之间的空间下采样矩阵表示，η表示稀疏约束的权重；

求解公式(2)的方法，优选正交匹配追踪(omp)算法，最小角回归(lars)算法，迭代软阈值(ista)算法，交替方向乘子(admm)算法；

步骤2.3：利用步骤一得到的稀疏字典和步骤2.2得到的稀疏编码，根据公式(3)和(4)求解所述待标定相机的光谱响应曲线，从而完成对rgb相机光谱响应曲线的标定。

其中表示q通道光谱响应曲线的估计值。

有益效果：

1、现有技术中基于图像融合平台的rgb相机光谱响应曲线标定方法，由于仅利用了高分辨率rgb图像和低分辨率超光谱图像之间的相等关系，在两张图像中具有噪声时会导致标定不准确；本发明公开的一种rgb相机光谱响应曲线的标定方法，由于步骤1.2中在训练集中使用了稀疏字典，且步骤2.2中利用稀疏字典进行了稀疏编码，使标定结果对噪声不敏感。

2、相比传统的rgb相机光谱响应曲线标定方法需要多次曝光，本发明公开的一种rgb相机光谱响应曲线的标定方法，由于步骤2.1采集图像时只需要进行一次曝光，因此标定速度快。

3、本发明公开的一种rgb相机光谱响应曲线的标定方法，标定过程中由于步骤2.1只需要利用已有的图像融合平台中的设备，相比传统rgb相机光谱响应曲线标定方法不需要额外昂贵的标定设备，可以节省标定成本、降低标定过程的复杂度。

附图说明

图1是本发明公开的rgb相机光谱响应曲线的标定方法的流程图。

图2是本发明公开的rgb相机光谱响应曲线的标定方法使用的图像融合平台的示意图。

图3是公开的rgb相机光谱响应曲线的标定方法标定过程的示意图。

具体实施方式

为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。

实施例1：

本实施例公开的一种rgb相机光谱响应曲线的标定方法，分为训练阶段和使用阶段。训练阶段在相机光谱响应曲线的训练集中，把每个相机光谱响应曲线分为红色、绿色、蓝色3个通道；对所述每个通道的所有光谱响应曲线，使用字典学习方法求解稀疏字典。使用阶段利用超光谱成像的图像融合平台，以所述待标定rgb相机拍摄高分辨率rgb图像，并使用超光谱相机拍摄相同场景的低分辨率超光谱图像；根据所述两张图像和三通道的稀疏字典，使用稀疏编码方法求解所述待标定相机的光谱响应曲线，从而完成对rgb相机光谱响应曲线的标定。本实施例中标定方法的流程图如图1所示。

近几年，基于一次曝光的超光谱成像平台被广泛研究(详见kawakamir,matsushitay,wrightj,etal.high-resolutionhyperspectralimagingviamatrixfactorization[c]//computervisionandpatternrecognition(cvpr),2011ieeeconferenceon.ieee,2011:2329-2336.)。图2是一种图像融合平台的示意图，这种平台利用分光镜，使低分辨率超光谱相机和高分辨率相机通过一次曝光拍摄相同场景的图像，然后通过稀疏表达技术进行融合，从而得到高分辨率超光谱图像。这种图像融合技术要求rgb相机的光谱响应曲线已知。两台相机拍摄的两张图像，应有如下关系：ms＝th，其中m表示高分辨率rgb图像，h表示低分辨率超光谱图像，s表示高分辨率图像到低分辨率图像的空间下采样矩阵，t表示rgb相机的光谱响应曲线。利用这个相等关系，可以在空间下采样矩阵已知的情况下，使用图像融合平台采集高分辨率rgb图像和低分辨率超光谱图像，从而对rgb相机的光谱响应曲线进行标定。

现有技术中基于图像融合平台的rgb相机光谱响应曲线标定方法仅利用以上关系，当采集的rgb图像或超光谱图像含有噪声时，对标定结果影响很大(详见veganzonesma,simoesm,licciardig,etal.hyperspectralsuper-resolutionoflocallylowrankimagesfromcomplementarymultisourcedata[j].ieeetransactionsonimageprocessing,2016,25(1):274-288.)。因此本实施例公开的标定方法，额外使用了稀疏表达技术，在求解rgb相机的光谱响应曲线时加入了稀疏约束，从而有效降低了标定方法对噪声的敏感度。本实施例中标定方法的示意图如图3所示。同时，本实施例公开的标定方法也保持了基于图像融合平台的rgb相机光谱响应曲线标定方法所具有的简单、快速的特点，不需要额外的标定设备。

本实施例公开的一种rgb相机光谱响应曲线的标定方法，分为训练和使用两个阶段。本实施例中标定方法的流程图如图1所示。

步骤一：训练阶段用于根据rgb相机光谱响应曲线训练集，使用字典学习方法得到红色、绿色、蓝色三个通道的光谱响应稀疏字典。

步骤1.1：在相机光谱响应曲线的训练集中，将每个相机光谱响应曲线分为红色、绿色、蓝色三个颜色通道；

步骤1.2：对步骤1.1中红色、绿色、蓝色三个颜色通道的所有光谱响应曲线，使用如公式(1)所示字典学习方法求解稀疏字典。

其中φq表示第q个通道的稀疏字典，xq表示q通道的所有原始响应曲线，βq表示稀疏编码，η表示稀疏项的权重，||·||f表示矩阵的弗罗宾尼斯(frobenius)范数，||·||1表示矩阵的1-范数；

求解公式(1)的方法优选：k-svd算法，最佳方向(mod)法，在线字典学习(odl)法(详见mairalj,bachf,poncej,etal.onlinedictionarylearningforsparsecoding[c]//proceedingsofthe26thannualinternationalconferenceonmachinelearning.acm,2009:689-696.)，主成分分析(pca)法，顶点成分分析(vca)法；

步骤二：使用阶段根据步骤一得到的红色、绿色、蓝色三个颜色通道的稀疏字典，采集的低分辨率超光谱图像和高分辨率rgb图像，得到rgb相机的光谱响应曲线。

步骤2.1：使用超光谱成像的图像融合平台，以待标定rgb相机拍摄高分辨率rgb图像，并使用已标定的超光谱相机拍摄相同场景的低分辨率超光谱图像；

步骤2.2：根据步骤2.1得到的高、低分辨率两张图像和步骤一中得到的稀疏字典，求解公式(2)所示优化方程得到稀疏编码。

其中αq表示所述稀疏编码，h表示所述低分辨率超光谱图像的矩阵表示，mq表示所述rgb图像的q通道的矩阵表示，s代表高分辨率图像和低分辨率图像之间的空间下采样矩阵表示，η表示稀疏约束的权重；

求解公式(2)的方法，优选正交匹配追踪(omp)算法(详见patiyc,rezaiifarr,krishnaprasadps.orthogonalmatchingpursuit:recursivefunctionapproximationwithapplicationstowaveletdecomposition[c]//signals,systemsandcomputers,1993.1993conferencerecordofthetwenty-seventhasilomarconferenceon.ieee,1993:40-44.)，最小角回归(lars)算法(详见efronb,hastiet,johnstonei,etal.leastangleregression[j].theannalsofstatistics,2004,32(2):407-499.)，迭代软阈值(ista)算法，交替方向乘子(admm)算法；

步骤2.3：利用步骤一得到的稀疏字典和步骤2.2得到的稀疏编码，根据公式(3)和(4)求解所述待标定相机的光谱响应曲线，从而完成对rgb相机光谱响应曲线的标定。

其中表示q通道光谱响应曲线的估计值。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。