一种彩色图像传感器像素响应理论灰度值的计算方法

1.本发明属于图像传感器测试技术领域，具体涉及一种彩色图像传感器像素响应理论灰度值的计算方法。


背景技术：

2.像素间串扰是指相邻的像素间互相干扰的现象，也就是传感器对特定的像素发生相应的反应不仅取决于该像素的入射光，而还受其相邻的其他像素的入射光的影响。尤其当像素尺寸缩小后，像素间的串扰便会增加。在目前的图像传感器串扰补偿算法中，不少算法采用了对图像传感器相邻像素灰度值进行某种平均运算，以提取串扰分量的方法；有利用拜耳彩色滤光片阵列结构特性消除cmos图像传感器像素串扰的算法，如假设图像小邻域内的色差是恒定的，在颜色插值前利用原始数据的r或b分量补偿相邻的g分量，以消除r分量干扰gr和b分量干扰gb的影响。本发明提出了一种单色曝光量与理论灰度值的关系的测量方法，对单色像素串扰总量进行计算的方法。


技术实现要素：

3.针对上述现有技术，本发明要解决的技术问题是提供一种更精确的彩色图像传感器像素响应理论灰度值的计算方法，解决由于线性区测得的曝光量
‑
灰度值曲线关系用于非线性区存在模糊性放大的风险和饱和引起的非线性因素。
4.为解决上述技术问题，本发明的一种彩色图像传感器像素响应理论灰度值的计算方法，包括以下步骤：
5.s1：绘制红色曝光下、绿色曝光下和蓝光曝光下三色像素光子转换曲线，包括线性区域和非线性区域，曝光量对应的拐点为最大线性输出位置；
6.s2：确定非线性区异色像素光电转换关系：
7.根据红色曝光下三色像素光子转换曲线绘制全域的红色曝光下红色像素响应实测值分别与蓝色像素及绿色像素响应理论值关系曲线，其函数关系为：
8.b
r
(e
r
)＝f
br
(r
*
(e
r
))
9.g
r
(e
r
)＝f
gr
(r
*
(e
r
))
10.其中，f
br
为红色曝光下红色像素响应实测值与蓝色像素响应理论值耦合关系，f
gr
为红色曝光下红色像素响应实测值与绿色像素响应理论值耦合关系，b
r
(e
r
)为蓝色像素响应理论值，g
r
(e
r
)为绿色像素响应理论值，r
*
(e
r
)为红色像素响应实测值；
11.根据蓝色曝光下三色像素光子转换曲线绘制全域的蓝色曝光下蓝色像素响应实测值分别与绿色像素及红色像素响应理论值关系曲线，其函数关系为：
12.g
b
(e
b
)＝f
gb
(r
*
(e
b
))
13.r
b
(e
b
)＝f
rb
(r
*
(e
b
))
14.其中，f
gb
为蓝色曝光下蓝色像素响应实测值与绿色像素响应理论值耦合关系，f
rg
为蓝色曝光下蓝色像素响应实测值与红色像素响应理论值耦合关系，g
b
(e
b
)为绿色像素响
应理论值，r
b
(e
b
)为红色像素响应理论值，b
*
(e
g
)为蓝色像素响应实测值；
15.根据绿色曝光下三色像素光子转换曲线绘制全域的绿色曝光下绿色像素响应实测值与蓝色像素及红色像素响应理论值关系曲线，可得函数关系：
16.b
g
(e
g
)＝f
bg
(g
*
(e
g
))
17.r
g
(e
g
)＝f
rg
(g
*
(e
g
))
18.其中，f
bg
为绿色曝光下绿色像素响应实测值与蓝色像素响应理论值耦合关系，f
rg
为绿色曝光下绿色像素响应实测值与红色像素响应理论值耦合关系，b
g
(e
g
)为蓝色像素响应理论值，r
g
(e
g
)为红色像素响应理论值，g
*
(e
g
)为绿色像素响应实测值；
19.s3：确定单色曝光下本色像素响应的理论值与实测值关系：
20.红光曝光下，红色像素曝光量与理论灰度值r(e
r
)的关系式如下：
[0021][0022]
其中，为与该红色像素相邻的四个绿色像素灰度测量值，为与该红色像素相邻的四个蓝色像素灰度测量值，为曝光量对应的拐点最大线性输出位置；
[0023]
蓝光曝光下，蓝色像素曝光量与理论灰度值b(e
b
)的关系式如下：
[0024][0025]
其中，为与该蓝色像素相邻的四个绿色像素灰度测量值，为与该蓝色像素相邻的四个红色像素灰度测量值，为曝光量对应的拐点最大线性输出位置；
[0026]
绿光曝光下，绿色像素曝光量与理灰度值g(e
g
)的关系式如下：
[0027][0028]
其中，为与该绿色像素相邻的两个红色像素灰度测量值，为与该绿色像素相邻的两个红色像素灰度测量值，为与该绿色像素相邻的两个蓝色像素灰度测量值，为曝光量对应的拐点最大线性输出位置。
[0029]
本发明的有益效果：本发明首先根据单色曝光实验确定像素对本色光(如红色像素对红色光)的光电响应特性及该响应与异色像素的响应关系，得到该曝光量对应的理论灰度值(包括灰度测量值及所发产生的串扰分量)，同时确定与相邻像素的响应比例系数。
在非线性区，采用一种全新的方法计算曝光量与理论灰度值的关系。解决了由于线性区测得的曝光量
‑
灰度值曲线关系用于非线性区存在模糊性放大的风险和饱和引起的非线性因素，提供了一种非线性区彩色图像传感器像素响应理论灰度值的计算方法，使光子转换曲线(ptc)在非线性区的曲线绘制更精确。
附图说明
[0030]
图1为红光曝光下红绿蓝三种像素光子转换曲线；
[0031]
图2为红色曝光下红色像素响应实测值与蓝、绿像素响应理论值耦合关系曲线；
[0032]
图3为绿光曝光下红绿蓝三种像素光子转换曲线；
[0033]
图4为绿色曝光下绿色像素响应实测值与蓝红像素响应理论值耦合关系曲线；
[0034]
图5为蓝光曝光下红绿蓝三种像素光子转换曲线；
[0035]
图6为蓝色曝光下蓝色像素响应实测值与绿红像素响应理论值耦合关系曲线；
[0036]
图7为像素排布图。
具体实施方式
[0037]
下面结合说明书附图和具体实施方式对本发明做进一步说明。
[0038]
s1：确定线性区单色曝光量与理论灰度值的关系，ptc曲线的非线性来源于材料及结构两个方面的影响，串扰属于结构分量。非线性效应使ptc曲线出现拐点，其中，曝光量对应的拐点为最大线性输出位置，红色像素曲线在曝光量为时对应的灰度值为a
r
，蓝色像素曲线在曝光量为时对应的灰度值为b
r
，绿色像素曲线在曝光量为时对应的灰度值为c
r
。红色像素曲线在线性区的灰度值之于曝光量的斜率为k
r
，其实测灰度值为r
*
(e
r
)，理论灰度值为r
r
(e
r
)，处于非线性区的阈值为δ
r
。蓝色像素在线性区的灰度值之于曝光量的斜率为k
br
，其实测灰度值为b
*
(e
r
)，理论灰度值为b
r
(e
r
)。绿色像素在线性区的灰度值之于曝光量的斜率为k
gr
，其实测灰度值为g
*
(e
r
)，理论灰度值为g
r
(e
r
)。如图1。
[0039]
通过该实验，不仅能得到各颜色像素实测的光子转换曲线(ptc)，而且通过数据处理得到串扰在曲线上产生的拐点。
[0040]
同时，由图1中蓝色像素及绿色像素对红光的理想响应曲线及红色像素对红光实测的光子转换曲线(ptc)，通过曝光量e
r
作中间变量，绘制全域的红色曝光下红色像素响应实测值与蓝色像素及绿色像素响应理论值关系曲线，这里蓝、绿像素的响应理论值均在线性区，如图2。
[0041]
可得函数关系f
br
及f
gr
：
[0042]
b
r
(e
r
)＝f
br
(r
*
(e
r
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0043]
g
r
(e
r
)＝f
gr
(r
*
(e
r
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0044]
同样，在蓝光及绿光单色曝光下进行相同的实验操作，可以得到另外两组对应关系及曲线关系如下。
[0045]
绿光曝光下测得的光子转换曲线如图3所示，其中：曝光量对应的拐点为最大线性输出位置，绿色像素曲线在曝光量为时对应的灰度值为a
g
，蓝色像素曲线在曝光量为
时对应的灰度值为b
g
，红色像素曲线在曝光量为时对应的灰度值为c
g
。绿色像素曲线在线性区的灰度值之于曝光量的斜率为k
g
，其实测灰度值为g
*
(e
g
)，理论灰度值为g
g
(e
g
)，处于非线性区的阈值为δ
g
。蓝色像素在线性区的灰度值之于曝光量的斜率为k
bg
，其实测灰度值为b
*
(e
g
)，理论灰度值为b
g
(e
g
)。红色像素在线性区的灰度值之于曝光量的斜率为k
rg
，其实测灰度值为r
*
(e
g
)，理论灰度值为r
g
(e
g
)。如图3。
[0046]
由图3中蓝色像素及红色像素对绿光的理想响应曲线及绿色像素对绿光实测的光子转换曲线(ptc)，通过曝光量e
g
作中间变量，绘制全域的绿色曝光下绿色像素响应实测值与蓝色像素及红色像素响应理论值关系曲线，这里蓝、红像素的响应理论值均在线性区，如图4。可得函数关系f
bg
及f
rg
：
[0047]
b
g
(e
g
)＝f
bg
(g
*
(e
g
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0048]
r
g
(e
g
)＝f
rg
(g
*
(e
g
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0049]
蓝光曝光下测得的光子转换曲线如图5所示，其中：曝光量对应的拐点为最大线性输出位置，蓝色像素曲线在曝光量为时对应的灰度值为a
b
，绿色像素曲线在曝光量为时对应的灰度值为b
b
，红色像素曲线在曝光量为时对应的灰度值为c
b
，蓝色像素曲线在线性区的灰度值之于曝光量的斜率为k
b
，其实测灰度值为b
*
(e
b
)，理论灰度值为b
b
(e
b
)，处于非线性区的阈值为δ
b
，绿色像素在线性区的灰度值之于曝光量的斜率为k
gb
，其实测灰度值为g
*
(e
b
)，理论灰度值为g
b
(e
b
)。红色像素在线性区的灰度值之于曝光量的斜率为k
rb
，其实测灰度值为r
*
(e
b
)，理论灰度值为r
b
(e
b
)。如图5。
[0050]
由图5中绿色像素及红色像素对蓝光的理想响应曲线及蓝色像素对蓝光实测的光子转换曲线(ptc)，通过曝光量e
b
作中间变量，绘制全域的蓝色曝光下蓝色像素响应实测值与绿色像素及红色像素响应理论值关系曲线，这里绿、红像素的响应理论值均在线性区，如图6。可得函数关系f
gb
及f
rb
：
[0051]
g
b
(e
b
)＝f
gb
(r
*
(e
b
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0052]
r
b
(e
b
)＝f
rb
(r
*
(e
b
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0053]
s2：非线性区单色曝光量与理论灰度值的关系，由于线性区测得的曝光量
‑
灰度值曲线关系用于非线性区存在模糊性放大的风险和饱和引起的非线性因素，所以采用以下方法测量非线性区单色曝光量与理论灰度值的关系。
[0054]
如图，当积分球用红色光作为光源进行曝光时，理论上所有红色像素的灰度值相等，且所有绿色像素的灰度值相等，所有蓝色像素灰度值也相等。对图中r4，根据(1)式有方程：
[0055][0056]
为红色像素r4的灰度实测值，与它产生串扰的像素主要为它周围的八个像素。当蓝色像素及绿色像素对红光的响应在线性区时，它们产生的串扰δg
gr
(e
r
)、δb
br
(e
r
)可被忽略，则(7)式可简化为：
[0057][0058]
另外，r4周围的绿色像素g4、g5、g6、g8除响应红光外，只接收红色像素r4产生的串扰，其周围绿色像素串扰量之和构成δr的一个分量δr
g
为：
[0059][0060]
同样r4周围的蓝色像素b1、b2、b3、b4除响应红光外，只接收红色像素r4产生的串扰，其对周围蓝色像素串扰量之和构成了δr的一另个分量δr
b
为：
[0061][0062]
于是得：
[0063]
δr(e
r
)＝δr
g
(e
r
)+δr
b
(e
r
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0064]
根据(8)、(9)、(10)、(11)式得：
[0065][0066]
同理，在蓝色光源下，图7中b1的响应关系为：
[0067][0068]
在绿色光源下，考察图7中g5的响应关系：
[0069][0070]
为绿色像素g5的灰度实测值，与它产生串扰的像素主要为它周围的八个像素。此时蓝色像素及红色像素对绿光的响应在线性区内，所以它们产生的串扰δr
rg
(e
g
)、δb
bg
(e
g
)可被忽略，所以此时式(14)可简化为：
[0071][0072]
由于采用绿色积分球光源曝光，对其周围的绿色像素而言，可视为串扰相互抵消；对其周围的红色像素r3、r4和蓝色像素b1、b3而言，除响应绿光外，只接收绿色像素g5产生的串扰，其对周围红色像素串扰量之和构成δg的一个分量
[0073]
δg
r
为：
[0074]
δg
r
(e
g
)＝r
*
(e
g
)
‑
r
g
(e
g
)
ꢀꢀꢀꢀꢀꢀꢀ
(16)
[0075]
其对周围蓝色像素串扰量之和构成δg的另一个分量δg
b
为：
[0076]
δg
b
(e
g
)＝b
*
(e
g
)
‑
b
g
(e
g
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0077]
于是得：
[0078]
δg(e
g
)＝δg
r
(e
g
)+δg
b
(e
g
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0079]
根据(15)、(16)、(17)、(18)式得：
[0080][0081]
式(12)、(13)、(19)就是非线性区曝光量与理论灰度值的关系；
[0082]
s3：确定单色曝光下像素响应的理论值与实测值关系，红光曝光下，某红色像素曝光量与理论灰度值r(e
r
)的关系式如下：
[0083][0084]
其中，为与该红色像素相邻的四个绿色像素灰度测量值，为与该红色像素相邻的四个蓝色像素灰度测量值，为曝光量对应的拐点最大线性输出位置；
[0085]
蓝光曝光下，某蓝色像素曝光量与理论灰度值b(e
b
)的关系式如下：
[0086][0087]
其中，为与该蓝色像素相邻的四个绿色像素灰度测量值，为与该蓝色像素相邻的四个红色像素灰度测量值，为曝光量对应的拐点最大线性输出位置。
[0088]
绿光曝光下，某绿色像素曝光量与理论灰度值g(e
g
)的关系式如下：
[0089][0090]
其中，为与该绿色像素相邻的两个红色像素灰度测量值，为与该绿色像素相邻的两个红色像素灰度测量值，为与该绿色像素相邻的两个蓝色像素灰度测量值，为曝光量对应的拐点最大线性输出位置。
[0091]
整个实验系统由fpga，pc机，可见光强传感器，led驱动电路及对应的以太网通讯模块和ddr3存储模块组成，实验实施过程为：首先将硬件设备有序链接，将图像传感器及fpga放置于暗箱内，图像传感器的感光串口对准暗箱内积分球的正下方，积分球上部为3色led所组成的发光阵列，上位机通过以太网向下位机发送指令，控制fpga对cmos图像传感器等进行内存配置和时序驱动，并控制led发光阵列发出不同波长及光强的可见光，设备连接调试完毕后实验进入单色光ptc测试，上位机进入单色光ptc测试流程，循环下传对应颜色的不同光强下的单色光曝光命令(通过控制led发光个数进行光强控制)，并实时采集光强及像素数据，通过以太网发送至上位机，下一步上位机控制进入多色曝光数据采集阶段，循环下传不同组合的曝光命令，命令遍历红色led、绿色led和蓝色led，可产生足够多种组合，每一种曝光组合下，都采集2
‑
3帧为一组的图像数据，并将数据做平均处理，得到灰度值与曝光量之间的关系。利用所得实验数据，绘制各颜色像素实测的光子转换曲线(ptc)。
[0092]
根据红色曝光下的三色像素光子转换曲线(ptc)绘制红色像素响应实测值分别与蓝色像素及绿色像素响应理论值关系曲线，其函数关系为：
[0093]
b
r
(e
r
)＝f
br
(r
*
(e
r
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0094]
g
r
(e
r
)＝f
gr
(r
*
(e
r
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0095]
根据绿色曝光下的三色像素光子转换曲线(ptc)绘制全域的绿色曝光下绿色像素响应实测值与蓝色像素及红色像素响应理论值关系曲线，可得函数关系：
[0096]
b
g
(e
g
)＝f
bg
(g
*
(e
g
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0097]
r
g
(e
g
)＝f
rg
(g
*
(e
g
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0098]
根据蓝色的光子转换曲线(ptc)绘制全域的蓝色曝光下蓝色像素响应实测值与绿色像素及红色像素响应理论值关系曲线，可得函数关系：
[0099]
g
b
(e
b
)＝f
gb
(r
*
(e
b
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0100]
r
b
(e
b
)＝f
rb
(r
*
(e
b
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0101]
积分球对图7分布的图像传感器用红色光作为光源进行曝光时，得到红色像素灰度实测值，按照关系式：
[0102][0103]
r4周围绿色像素串扰量之和构成δr的一个分量δr
g
为：
[0104][0105]
r4周围蓝色像素串扰量之和构成了δr的一另个分量δr
b
为：
[0106][0107]
于是得：
[0108]
δr(e
r
)＝δr
g
(e
r
)+δr
b
(e
r
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0109]
忽略蓝色像素及绿色像素对红光响应所产生的串扰，得到r4的响应：
[0110][0111]
通过式(12)计算红色曝光下红色像素的理论灰度值：
[0112][0113]
同理，蓝色曝光下，b1的响应：
[0114][0115]
通过式(14)计算蓝色曝光下蓝色像素的理论灰度值：
[0116]
[0117]
在非线性区，对某一像素排布图当积分球用绿色光作为光源进行曝光时，按照关系式：
[0118][0119]
g5周围红色像素串扰量之和构成δg的一个分量δg
r
为：
[0120]
δg
r
(e
g
)＝r
*
(e
g
)
‑
r
g
(e
g
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0121]
g5周围蓝色像素串扰量之和构成δg的另一个分量δg
b
为：
[0122]
δg
b
(e
g
)＝b
*
(e
g
)
‑
b
g
(e
g
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0123]
于是得：
[0124]
δg(e
g
)＝δg
r
(e
g
)+δg
b
(e
g
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0125]
由于采用绿色积分球光源曝光，对其周围的绿色像素而言，可视为串扰相互抵消，同时忽略蓝色像素及红色像素对绿光响应所产生的串扰，g5的响应：
[0126][0127]
通过式(20)计算绿色曝光下绿色像素的理论灰度值：
[0128]