专利名称：光学传感装置及控制其曝光时间的方法
技术领域：
总体说来，本发明涉及数字通信、数字图像处理以及手持图像捕获装置的领域。更具体来说，本发明涉及具有照明光源和图像传感器的光学传感器，其中图像传感器适合捕获在光源的光线之下曝光的一系列图像。本发明还涉及一种控制这种光学传感器的曝光时间的方法。
背景技术：
上述类型的手持图像捕获装置被广泛使用。例如，申请人的已公布的国际申请WO 01/16691中给出了一种数字笔，在此处引用作为参考。如同WO 01/16691中所示，数字笔可以与一种具有书写表面并且其上提供了位置码的产品一起使用。位置码对平面上多个位置进行编码，并可以被数字笔检测到。这样，通过数字笔在书写表面上书写的信息可以被电存储在数字笔中。
在上述类型或者其他类型的位置码产品中，该编码经常由几何目标、标记或符号的图案来代表，例如空心或者实心的圆(点)、正方形、三角形等。符号可以具有相同的或者不同的外观(尺寸、颜色等)，取决于所涉及的实际的位置码规则。以一种合适的方式在产品表面提供了其位置编码图案，例如胶印、激光打印、喷墨打印或者热打印。
数字笔通过在划过产品表面的时候，以预定速率在其上面捕获一系列图像来进行工作。为了对每个捕获的图像中的目标的位置编码图案进行解码，目标必须被可靠地识别，并且不与图像背景相混淆。在一幅图像中从背景里分割目标有时候被称为分割或者二值化。最佳的图像质量以及，尤其是最佳的对比度，即在图像的目标和背景之间彩色或者灰阶亮度(密度)的差异，有助于成功的分割。
然而，手持图像捕获装置，如上述数字笔，由于它们的使用性质而曝光于不同的照明环境中。例如US-5,764,611中所描述的，手持图像捕获装置通常不会与所扫描的表面垂直，而是相对于该表面有各种倾角。为了精确地重现在任意倾斜角度捕获的图像中包含的信息，US-5,764,611建议倾角感应器与照明程度检测电路和照明变化计算电路结合使用。更详细来说，照明程度检测电路检测图像传感器捕获的图像的预定数目的子区域中每一个的平均照明数据。每个子区域都通过低通滤波去除图像中由目标(黑点)引起的影响。这样，经过滤波的图像子区域主要包括背景数据。子区域的平均照明程度数据是逐步获得的，并被累加到整个图像的平均照明程度中。这个平均照明程度被用于图像拾取处理电路(image pickup process circuit)的自动增益控制(AGC)，该电路连接到图像传感器。
根据US-5,764,611的解决方案的缺点在于，它需要复杂的电路来执行对于图像拾取处理电路的自动增益控制。特别是，这样的自动增益控制不仅会放大图像中希望获得的部分(即，来自于图像传感器的图像信号)，而且也会放大其中包含的噪声。这样，由于噪声在现实中不可避免，就很难通过放大图像信号来获得最佳的图像对比度。
此外，除了设备相对于记录平面的倾角，很多其它因素也会造成手持图像捕获装置的照明环境的不同。例如，红外发光二极管(IRLED)(它通常用作手持图像捕获装置的照明光源)具有一种特定的辐照度(irradiance)(照明功率)，并且这在各个二极管之间有很大不同。此外，发光二极管在其使用寿命中，输出能量通常会降低50％之多。
此外，外部光源，例如阳光，可能影响照明环境。并且，光散射或者反射性能对于不同的记录表面材料也是不同的，在纪录表面的不同部分之间(例如，在纸背景和它上面的印刷点之间)也可能不同。
因此，照明环境取决于很多不同的参数，很难通过调整图像传感器自身或者连接到图像传感器的图像处理电路，来进行完全和动态的补偿。在任何情况下，这样的补偿都需要复杂的电路，这在处理能力以及元件开销方面都是昂贵的。
通常说来，数字笔是消费性产品，因此应当以低成本生产。使用高精度数据捕获元件，或者需要调整每个生产的笔，以适应由生产或者装配引起的、照明系统和/或图像检测系统的不同，都增加了生产成本。在消费性产品中，也不希望要求用户周期性地重新校准数字笔，以适应照明系统随时间的改变。此外，将数字笔的使用加上严格的限制也是非常令人讨厌的，例如在允许的书写角度、允许的表面材料以及允许的书写环境方面。与此相对照的事实是，在那种在一系列图像中有不止偶尔一幅的图像不可解译的情况下，可能不会使用数字笔来书写，因为由此产生的任何解码错误都会给手写信息的电子版的质量带来负面影响。
前面的问题讨论至少部分地适用于其它类型的图像捕获装置，它们用于各种照明条件下，翻译、识别、解译或者读取包含在捕获的图像中的信息。
现有技术包含具有曝光控制的装置。WO 97/05560公开了一种所谓的数据形式读取器，它根据当前传感器增益值以及当前图像的性质，使用预定的查找表格来确定随后的曝光时间。这种查找表格把读取器的使用限制在定义明确的、预先校准的条件下。US-5223935公开了一种具有自动曝光控制的电子照相机，其中使用预先存储的转换表格来设定曝光时间。EP-0602637和US-5831254公开了条形码读取器，它按照预定的数量来调整曝光时间控制信号，以分别适应光源和图像传感器，直到发现生成的图像性能可以接受。无论何时用于特定操作条件之外，这种条形码读取器都很可能显示出冗长的调整阶段或者不稳定性，导致在相当数量的捕获图像中潜在的信息丢失。
发明内容
考虑到上述内容，本发明的目标在于提供对于上面讨论的问题的解决方案，并提供一种对于具有照明光源和图像传感器的光学传感装置，获得最佳图像质量的有效方法。
特别是，一个目标在于，在一种可能不同或者不确定的照明环境中，提供最佳或者至少足够的、手持图像捕获装置产生的图像中背景和目标之间的图像对比度，以达到翻译、识别、解译或者读取捕获的图像中的目标所代表的信息的最大能力。
通常，通过根据附加的独立权利要求的一种方法和装置，可以全部或者至少部分地达到上述目标。在附加的从属权利要求中提出了本本发明的第一个方面是在具有照明光源和用于捕获在光源的光线之下曝光的一系列图像的图像传感器的光学传感装置中，用来进行曝光时间控制的一种方法。本方法包括形成曝光时间控制循环，其中控制循环的每一轮包括在前一轮中计算出来的曝光时间期间，在光源的光线照射之下捕获当前图像；确定当前图像中的实际照明条件值；计算设定值和实际照明条件值之间的误差；作为前面的曝光时间和误差的函数，计算当前曝光时间。
本发明的第二个方面是可以直接载入处理器内存的计算机程序产品，其中计算机程序产品包括当被处理器执行时，用于执行根据第一个方面的方法的程序代码。
本发明的第三个方面是集成电路，它适于执行根据第一个方面的方法。
本发明的第四个方面是手持图像产生设备，或者包括根据第二个方面的计算机程序产品，或者包括根据第三个方面的集成电路。
本发明的第五个方面是光学传感装置，包含照明光源和图像传感器。图像传感器适用于在光源的光线照射之下捕获一系列图像。光学传感装置此外包括具有控制输出的控制器，适用于在控制输出上生成曝光时间控制信号。控制器包括曝光时间控制循环，其中控制循环的每一轮包括计算设定值和在所述的图像序列中的当前图像中确定的实际照明条件值之间的误差；作为误差和在控制循环的前一轮中计算的曝光时间的函数，计算当前曝光时间；根据当前曝光时间，在控制输出上生成曝光时间控制信号。
现在，参考附图详细介绍本发明的优选实施例。附图中，图1是根据本优选实施例的手持传感装置的示意图。
图2示意性地示出了在位置编码图案中的一组4×4目标，该图案可以被图1的传感装置检测到。
图3是一幅框图，示出了在本发明的内容之内，图1中所示的传感装置的中心部分。
图4是显示根据优选实施例的方法的概要步骤的流程图。
图5是更为详细地显示根据图4的方法的流程图。
图6-8示出了在不同照明条件下，三个照明光源的光系统响应函数。
图9是分别显示作为曝光时间的函数的平均背景照明和平均目标照明，以及它们之间的对比度的示意图。
图10-12示出了对于图6-8中的三组曲线，在特定的背景照明设定值附近的线性近似。
图13-14分别示出了在图10-12中表示的传感装置的控制循环的动态行为，其中上面的图形代表一系列图像的平均背景照明，下面的图形代表相应的由控制循环判决的曝光时间。
具体实施例方式
A.优选实施例概览现在将参考图1和3的手持传感装置10，描述优选实施例，它用作与图2的位值编码图案20相结合的数字笔。然而，需要再次强调，本发明决不限于这种传感装置或者位置编码装置。相反，这些只用做举例的目的。
位置编码图案20在WO 01/16691，WO 01/26032以及WO01/26033中进行了详细描述，在此处引用所有这些以作为参考。此外，传感装置10，与下面给出的例外，在前述专利WO 01/16691，WO01/26032以及WO01/26033中进行了详细描述。下面首先给出了对于传感装置10的通用组件，然后给出了对于位置编码图案20的简要描述。
传感装置10具有一个容器11，它具有与传统的照明笔(highlighterpen)大致同样的形状。容器短的一侧具有窗口12，通过它来记录图像。
容器11主要包括光学部分、电子部分和电源。
光学部分包括至少一个照明光源13，一个镜头系统31(如图3所示)，以及一个光图像传感器14。后面将会详细描述光源13，它用于照明位于窗口12的视野范围之内的产品表面32(如图3所示)。表面32包括位置编码图案20。通过镜头系统，表面32的映像将被投射到图像传感器14。
在优选实施例中，传感装置10的电源供应是电池15，但是它还可以是电源连接(未示出)。
电子部分16包括主处理装置16a，以及关联的存储装置16b。主处理装置16a负责传感装置10的各种功能，最好通过商业上可获得的微处理器来实现，如CPU(“中央处理单元”)、DSP(“数字信号处理器”)或者其它可编程逻辑器件如FPGA，或者也可以是ASIC(“专用集成电路”)，作为离散模拟和数字元件，或者它们的任意组合。
存储装置16b最好包括各种类型的存储器，例如工作存储器(RAM)和只读存储器(ROM)。关联的程序存储在存储装置16b中，当被主处理装置16执行的时候，完成传感装置10的功能。
容器11上面提供了传统的笔尖17。通过笔尖17，用户可以通过在产品表面32上沉积普通的基于颜料的标记液体，在表面上写或者划。笔尖17的标记液体最好对于红外线透明，以避免干扰传感装置10的光电检测，该检测通过红外线进行，下文中将进行说明。
电子部分此外包括无线收发设备18，用来从/向外部设备，如计算机、PDA或者移动电话接受/发送信息。无线收发设备18最好调节到与例如在2.4 GHz ISM(“Industrial，Scientific and Medical”)频段的蓝牙标准相一致的短距离无线通信。然而，该收发设备也可以调节到红外通信(例如IrDA-“Infrared Data Association”)，或者基于有线的串行通信(例如RS232)，或者实际上可用于在手持设备和外部设备之间进行短距离通信的任何其它可获得的标准。
此外，电子部分可以包括按钮19a，通过它用户可以控制传感装置10的操作。传感装置10也可以包括显示器19b，例如液晶显示器(LCD)，以及状态指示灯19c。
参照图2，位置编码图案20包括虚拟栅格21，在它周围形成了多个标记22。每个标记代表四个可能的值，从“1”到“4”。每个标记的值通过它实际的位置22与它名义上的位置23之间的关系来代表，其中后者在相应的栅格21的横向和竖向线的交点处。这样，每个标记22可以位于四个不同位置之中的一个处，显示在名义上的位置23的垂直方向上。这种位移应该不小于相邻栅格线之间距离的大约1/8且不大于1/4，最好是1/6左右。
相邻栅格线之间的距离可能为，例如，大约300μm或者254μm。后面的距离特别适用于打印机或扫描仪，它们的分辨率通常为100dpi(每英寸点数)的倍数。
每个标记22由基本上具有半径的圆点构成，半径应当为圆点距离名义位置23的位移的大约25％到120％。或者，标记22可以具有除圆形之外的其它几何形状，如正方形、三角形、椭圆形等，此外可以是实心或者空心。
位置编码图案20可以被设计对于大量的绝对位置进行编码。例如，6×6相邻标记可以结合起来，对于具有x和y坐标的位置进行编码。通过提供具有位置编码图案20的产品表面，可以使用传感装置10，随着它在表面移动，通过重复地捕获表面上的图像来获得被写或者划在产品表面的信息的电子表示。在这些图像中，标记22会作为前景目标出现，而栅格21只是虚拟的，在图像中不会出现。这样，图像的背景实际上代表产品表面上没有标记22的区域。
现在参照图3，它包括了对于传感装置10的电子部分16的一些部分的更详细的说明。图3中至少一些组件可以由主处理装置16a与关联的存储器装置16b中的软件来实现。或者，也可以使用独立的集成电路，离散模拟和/或数字组件，或者它们的任何组合，这对于本领域技术人员来说很容易理解。
在图3的实施例中，照明光源13是红外发光二极管，IR LED，它由LED驱动器33驱动。这样，位置编码图案20的标记22最好用一种吸收红外线的染料来印刷。商业上可获得各种各样的IR LEDs，一个例子是出自Everlight Electronics Co，Ltd，No.25，Lane 76，Sec.3，ChungYang Rd.，Tucheng 236，Taipei，Taiwan的叫做HIR 204的IR LED。HIR 204包括一个GaAlAs芯片，并具有峰值波长λP＝850nm。
LED驱动器33在特定的曝光时间中，向IR LED 13提供电源电压，这样IR LED 13可以用红外光照亮产品表面32，以及其上面的位置编码图案20，红外光从表面32反射并通过镜头系统31被图像传感器14捕获。
图像传感器14是区域(area)传感器，如CMOS传感器或者CCD传感器，它在商业上可以从例如Motorola或者National Semiconductor获得，它们都在美国。优选实施例的图像传感器14能够在96×96像素分辨率，以每秒100幅图像的速率产生8-bit灰度图像。
图像传感器14捕获的图像被存储在图像存储器35中，它包括合适的、在商业上可获得的类型的电子存储器，例如DRAM存储器。也可以选择将图像传感器14和图像存储器35结合在一个集成电路中。
图像统计模块36作为对图像传感器14/图像存储器35以及LED控制器30的接口，将在后面描述。图像统计模块36的一个目的在于提供捕获的图像的统计数据，以便用在图像分割模块37中预处理图像的时候。这样的统计数据可以代表捕获的图像中的像素的所有可能的图像照明(8比特灰度密度)值的统计分布。
在优选实施例中，图像统计模块36将捕获的图像分成根据位置编码图案20而选择尺寸的一些子图像，这样每个子图像可以主要包括背景并且，这样，只有很少的标记22。每个子图像中的最大照明值代表局部背景。随后，平均背景照明被计算出来，作为在图像中心部分的子图像的平均值，以避免整个图像上不同照明的影响。例如，暗边可以导致低平均背景值，即使中心部分达到饱和。随后，当进行曝光时间控制时，计算出的平均背景照明被前述的LED控制器30使用，这将在后面特别参照图5进行描述。
这样，图像统计模块36计算子图像的局部最小照明值，在图像分割模块37中用作局部图像目标(标记22)的局部表示。
在申请人的国际专利申请PCT/SE02/01244中，更加详细地描述了统计模块，在此处引用作为参考。可以理解，将捕获的图像分成子图像不需要物理分割。通常，子图像是想象的，仅仅用于从图像中提取数据。类似地，也应当清楚，一幅图像中的平均背景照明可以通过其它方法来估计。在一个变化中，每个子图像中的局部背景由子图像中的照明值的百分比值来代表，例如，在大约80-95的范围内。在另一个变化中，平均背景照明作为图像或者子图像本身中照明值的平均值而被计算出来，可以选择在最小化任何目标的影响之后，例如通过滤波。
图像分割模块37会对捕获的图像进行分割或者二值化，例如，将前景图像目标(对应于位置编码图案20中的标记22)从图像背景中分割出来。这种分割或者二值化应当通过门限处理来进行，把各个图像像素的照明值与门限值相比较。简言之，超过门限的照明值设为1，反之为0，或者反过来。门限处理可以整个进行，这样一个门限值被普遍应用于整个图像，或者，最好是按局部进行，图像被分割成子图像，它们被给以不同的门限值。在本领域中，门限处理非常有名，并不是本发明的中心部分。在US-5,764,611以及上述的PCT/SE02/01244中可以发现这种例子，这在本文的介绍性部分中已经提到。
在分割捕获的图像之后，图像分析和解码器38对位置编码图案20的图像进行实际处理。图像分析和解码器38输出从图像中解译出来的绝对位置。将位置编码图案解译成绝对位置在前述的WO 01/16691，WO 01/26032以及WO 01/26033中进行了详细描述。
根据本发明，如已经提到的，曝光时间根据已经捕获的图像的质量来进行控制，以提高待捕获的下一个图像的质量。在优选实施例中，这个控制由LED控制器30来完成。在这方面，LED控制器30耦合到图像统计模块36上，如图3中所见。LED控制器30也耦合到用来存储参数的LED控制参数存储器34，它是LED控制器30要求的。LED控制器30的输出被连接到LED驱动器33的输入。LED控制器30被调节到计算新的曝光时间u(n)，并将新曝光时间作为控制信号馈送给LED驱动器33，当捕获新图像的时候，它将在这个新曝光时间的过程中驱动IR LED13。这样，在优选实施例中，“曝光时间”指，在捕获各个图像过程中，LED驱动器33引起IR LED 13发出红外光过程中的时间周期。上述将在下一个部分进行更加详细地描述。
LED控制器30可以作为处理器(如CPU或DSP)来实现，或者其它可编程逻辑器件如FPGA，与存储在关联的存储器中的程序代码相结合。LED控制器30也可以作为集成电路、作为离散逻辑门与其它模拟和数字组件相结合，或者任何上述结合来实现。
B.优选实施例中的曝光时间控制现在，将参照剩余图详细描述根据优选实施例的曝光时间控制的操作和功能。首先，将基于光系统响应度函数，讨论手持传感器装置(如传感器装置10)的典型照明情况。之后，将提出用于照明光源(如IR LED 13)的曝光时间控制循环。
I.光系统响应度功能在捕获的图像中曝光时间(在向IR LED 13提供稳定电流情况下)和照明值之间的关系被称为光系统响应度函数。这个函数描述了平均背景照明，作为曝光时间的函数。下面的参数是相关的●IR LED 13具有特定光辉。光辉以[W/m2]表示，代表入射在产品表面32上面的光照能量。这个能量随着IR LED的特定实例以及传感器装置10相对于表面的角度而有很大不同。
●取决于，例如阳光或者表面32上的其它外部照明，附加的照明能量可能到达图像传感器14。
●表面32具有特定散射分布，称为BSDF(双向散射分布函数)。BDSF*π是反射系数，给出在表面32中散射的照明的量。表面32及其标记22具有不同的BSDF。
●透镜系统31部分地抑制能量，使其降为f-数目(f#)的平方的倒数。
●图像传感器14具有传感器响应度函数，描绘了LSB(最不重要比特；最小的像素密度单元，例如对于8-比特灰度图像为“00000001”)中的密度水平，作为能量密度的函数。
以上可以在下面的等式中表达(LED Irradiance+External Illumination)·BSDF·π1f#2+1texp=Energy density[Ws/m2]]]>由于传感器响应度函数被描述为能量密度的函数，光系统响应度函数与传感器响应度函数只是在一个因数上面不同，该因数随着以下变化●不同的IR LED提供不同的照明。此外，LED在其寿命周期中，输出能量将会降低50％。
●传感器装置10的不同的倾角带来不同的光辉。
●不同的产品表面32，如不同的纸质，具有不同的BSDF。
●外部照明可以增加图像传感器14上的能量密度。
通过在具有不同的倾斜角度和不同的表面材料下，测量相对于同样类型的三个不同的IR LED个体的曝光时间的平均图像背景照明(以LSB为单位)，已经在实验上证明了上述结论。图6-8显示了结果。很明显三个LED是如何具有不同的光辉。看起来，传感器响应度不是完美的线性，在接近饱和处，其行为是非线性的。
II.曝光时间控制循环为了提供最佳图像质量以成功解释捕获的图像，特别是相关于成功的图像分割，希望在标记22(即图像目标)和背景之间具有最佳的图像对比。
图9显示了不仅对于背景(曲线81)而且对于标记(曲线82)的光系统响应度函数，这是对于特定表面材料、特定染料的标记、特定IR LED以及特定倾斜角度来测量的。对比度由曲线83表示。对于线性函数，最大对比度总是会出现在背景照明的饱和点。在这个点之后，对比度开始下降。然而，既然由于饱和而增加了非线性，实际上会在平均背景照明的饱和点向下一点的地方发现最佳对比度83’；见81’。对于其它环境，也类似于这个图表，除了曲线的倾斜会有所不同。
从上述得出的一个重要结论是，通过控制IR LED的曝光时间，尽管在不同的环境下，仍旧可以获得最佳对比度以及由此的优良图像质量。因此图像背景照明通常保持在略低于饱和点处。
通过对于IR LED 13的曝光时间的通用控制循环40，来获得上述的总的程序步骤在图4中显示。在第一个步骤41中，在特定曝光时间u(n-1)之下，一个特定的图像#n被图像传感器14捕获。在第二个步骤42中，图像#n的平均背景照明被计算出来。这样，新的曝光时间u(n)在第三个步骤43中被计算出来。在捕获下一图像#(n+1)的时候，将使用新曝光时间。随着步骤43的结束，该执行将返回到步骤41。
通用控制循环40代表第一个命令系统；新的曝光时间总是在下一幅图像被捕获之前计算出来。如果在时间n的平均背景照明是y(n)，并且如果在设定点附近采取线性近似，产生的模型函数将会是y(n)＝k·u(n-1)+L，其中k和L是参数。现在，控制循环可以被表示为普通的PI循环u(n)=k1(w(n)-y(n))+k2Σm=0n(w(m)-y(m)),]]>其中w(n)是希望的平均背景照明。通过定义Δu(n)＝u(n)-u(n-1)，总和可以通过按照如下重写控制循环而被去除Δu(n)＝k1(Δw(n)-Δy(n))+k2(w(n)-y(n))。
这使得，Δy(n)＝kΔu(n-1)＝kk1(Δw(n-1)-Δy(n-1))+kk2(w(n-1)-y(n-1))，它可以被重写，并转换到闭环转移函数Gc(z)=(kk1+kk2)z-1-kk1z-21+(kk1+kk2-1)z-1-kk1z-2.]]>
闭环转移函数的极点是z=1-kkz-1-kk22±(1-kkz-1-kk2)24+kk1.]]>如同已经广为人知的，稳定的基本标准是所有的极点位于单位圆之内。然而，由于k常为正(参看图6-8)，正的k1会给出一个负的实极点。这给出一个具有长衰落的振荡系统，因此k1被设定为k1＜＝0。现在，研究对于不同的k1和k2值的极点。如果k1＝0，一个极点将会等于0，另一个极点位于正实轴上。这样不会产生振荡。如果k1被设为负值，由于存在复数极点，将会达到具有更少的升高时间和更多振荡的阶跃响应(step response)。通过增加k2来提高总速度。
总体来说，控制系统应当尽可能地快，但是不应当以过多的振荡为代价。振荡会增加饱和图像和位置解译失败的风险。仿真显示，k*k2＝0.8或者0.9，以及k*k2＝0或者-0.1可能是比较合适的，然而其它的值当然也是可能的。
下面决定控制循环等式。定义误差为e(n)＝w(n)-y(n)，则Δu(n)＝u(n)-u(n-1)＝k1Δe(n)+k2e(n)u(n)＝u(n-1)+k1(e(n)-e(n-1))+k2e(n)在等式本身中隐含着积分，既然积分结尾的问题(integrationwindup problems)无关紧要，该等式是有利的。换言之，如果来自于等式的输出信号在时间n达到饱和，该饱和值可以被直接应用，并且在时间n+1，该等式可以被再次应用，就好像没有任何事情发生并且不考虑过去一样。
另一个考虑是极点的排列，这取决于k的值，它又取决于传感装置的操作条件，例如，由于倾角、表面特性、外部照明和特定的IR LED实例的改变而有很大变化。如果k1和k2被作为常数，它们必须根据k的最高值来选择，以确保任何时候，在任何情况下都不会出现不希望的振荡。乍看起来，这意味着在多数情况下，控制循环会太慢，来不及响应环境的快速变化。
然而，观察到y(n)＝k·u(n-1)+L，而在稳定状态，y(n)＝w＝常数。这样，如果模型函数相当准确，至少在设定值w周围，k的值可以被计算出来，而不是设为常数。
k·u(n-1)=w-L⇔k=w-Lu(n-1).]]>在推导这个等式过程中，当在设定值w附近进行线性近似的时候，假定L是常数。这种假设的合理性在图10-12中得到验证，其中显示了对于图6-8的三组曲线在设定值w＝220附近的线性近似。如图10-12中所见，L是线性近似线与y轴的交点。当设定值w为220时，L的合理的值大约是100-150，例如125。
已知上述内容，通过替换k，控制系统可以被修改成具有近似为常数的极点kk1=l1⇔k1(n)=l1w-Lu(n-1)]]>以及kk2=l2⇔k2(n)=l2w-Lu(n-1).]]>这产生了曝光时间控制循环的最终版本 其中l1和l2根据上述对于稳定性和响应时间的讨论来确定，w是期望的背景照明，L是当在光系统响应性函数上的设定值附近进行线性近似时，与y轴的交点。
确定控制循环参数l1、l2、w和L确切的值只是调整的问题，对于技术人员来说很容易做到。例如，实验已经证明了在l1＝-0.1，l2＝0.8，w＝220和L＝125的时候，对于包括三个不同的IR LED样例、具有如图6-8所示的光系统响应性函数的传感装置，即使由于快速倾斜的传感装置、快速交换的两种不同的表面材料等引起的环境剧烈变化，控制循环也能够保持近似常数的平均背景照明。这在图13-14中进一步得到显示，其中显示了对于分别具有如图6和8所示的光系统响应性函数的光系统的光学传感器的控制系统的动态行为。动态行为在一个测试序列下进行记录，其中传感装置1)被用于在有涂层的(光滑的)纸上面写签名，2)在40帧(即图像)的过程中遭受快速变化的倾角，3)当推动笔尖以激活图像传感器的时候被对着空气中，以及4)被用于在没有涂层的纸上写签名。如在上面的图表中所见，控制系统显示了非常快速的响应，只有很小的振荡。这样在书写过程中，每帧都获得了足够的控制，以用于解码中。此外，系统仅使用大约五帧来达到在曝光时间中饱和，如在表面上移动而引起的那样。显然，两个传感装置都达到了这样快速并且稳定的控制系统，尽管它们的响应函数不同。
至于对于希望的平均背景照明的设定值w，已经证明最大背景照明值的大约80-90％(即，当最大背景照明为255时，在大约205和大约230之间。)可以用于w。然而，在从最大背景照明的大约50％到大约90％的更大范围内的值也是w的可能取值。
如上所示，控制循环被设计成带有实质上为常数的极点。总体来说，之后控制循环是基于模型函数，它代表在实际值y(n)(在此处是平均背景照明)以及前面的曝光时间u(n-1)，(它间断性地调整到传感装置的当前操作条件)之间的物理关系，这样控制循环在实质上为常数的极点下操作，独立于传感器的操作条件。如果模型函数包含至少一个模型工作点，那么这种调整可以达到，使它实质上对于图像序列中的所有数字图像，即对于所有操作条件，是一致的。在上面的例子中，模型函数是曝光时间的线性第一阶函数，并且通用模型工作点在(u，y)Common＝(0，L)中给出。
这样，通过基于前面的曝光时间和通用模型工作点来参数化模型函数，一个新的曝光时间可以被计算出来。此处使用术语参数化，来指一个计算有关于相应的闭环转移函数的极点的模型函数的这些参数(上面例子中的K)的步骤。模型函数的参数可以被间断性地计算，例如，在控制循环的第一轮中，其中相应的控制循环的控制参数可以被自适应地调整到达到基本上为常数的极点。
也许应当指出，通用模型工作点不必须包括用于工作的控制循环的实际操作点。这样，模型工作点可以位于控制循环的控制区域之外，并且只用作计算模型函数参数的次要条件。
现在参考图5，IR LED曝光时间控制循环50的详细实现如下。在第一个步骤52中，IR LED的曝光时间的起始值u(0)被LED控制器30从LED控制参数存储器34中读出。初始值u(0)原来被LED控制器30存储在传感装置10的最后应用的末尾处。作为替代，初始值u(0)可以被指定为一个常数默认值，在传感装置10的不同的使用周期过程中不进行更新。
对于希望的平均背景照明的设定值在步骤54中被读出。相应地，剩下的LED控制循环参数l1、l2以及L在步骤56中被读出。计数器n在步骤58中被复位为1。
主控制循环开始于步骤60。此处，LED控制器30通过LED驱动器33将IR LED 13的曝光时间设定为u(n-1)。在步骤62中，图像#n被图像传感器14捕获，并被存储在图像存储器35中。
在图像#n中，平均背景照明y(n)在步骤64被获得。在这方面，可以使用已知的各种不同的方法。然而，LED控制器30使用图像统计模块36计算出的平均背景照明值更为有利。(见上文)误差e(n)在步骤66中计算。在步骤68，可以通过比较e(n)和预定门限值，来进行对于临时异常图像的检验。如果检验得到肯定的结果，在步骤74中会进行另一次检验，确定e(n)是否在前面的一些图像中连续保持过高。如果是，图像#n根本不是临时异常图像，执行返回到主循环。另一方面，如果步骤74中的检验结果是负的，即，在前面一些图像中e(n)没有过高，图像#n实际上是临时异常图像，应当被忽视掉。在这种情况下，通过在步骤76中将u(n-1)指派给u(n)，曝光时间保持不变。
如果在步骤68中的检验结果为负，正常的执行继续到步骤70，其中k1(n)和k2(n)按照如上所述计算。相应地，u(n)在下一个步骤72中计算。最后，在步骤78中，n增加，并且执行返回到步骤60，在那儿IR LED13的曝光时间被更新，以准备捕获下一幅图像。
B.替代实施例在替代性的实施例中，特别注意到，在图像中，目标(如标记22)自身的图像质量并不总是完美的。不够完美的印刷质量会导致不够完美的目标对比度。这样，在控制循环中，不仅考虑平均背景照明，而且考虑平均目标照明。最好对两者在总曝光时间控制上的影响进行加权，这样在平均背景照明及其设定值之间的差别(如，权重0.8)将会比相应的平均目标照明及其设计值之间的差别(如，权重0.2)具有更强的影响。
在另一个实施例中，不是通过控制引起IR LED 13发光(即，通过被LED驱动器保持打开)的时间周期来进行曝光时间控制，而是控制器30的控制输出耦合到图像传感器14，如图3中的破折线所示。这样，在这个实施例中，在捕获各个图像的过程中，以图像传感器14保持激活并响应入射光的时间周期的形式，来控制传感装置10的曝光时间。这个时间周期有时候指CCD或者CMOS图像传感器的整合(integration)时间，可以被视为电子快门。可以通过在图像传感器的内部寄存器写入控制值，来设定时间周期。这样，在本实施例中，通过在控制循环的每一轮中(更确切来说，在图5的步骤60)更新寄存器值来命令新的曝光时间，从而从控制器30进行了曝光时间控制。
在另一个实施例中，透镜系统31包括光学元件，例如光学机械快门，它位于在IR LED 13和图像传感器14之间的光学通路上。在这种情况下，控制器30的控制输出耦合到透镜系统31的光学元件上，在图3中，光学元件以破折线表示，其中，在捕获各个图像的时候，以光学元件吸收IR LED 13发出的、要到达图像传感器14的光线的形式，来控制传感装置10的曝光时间。
在另一个实施例中，在模型函数y(n)＝k·u(n-1)+L参数化之中，不是如上所述的设y(n)等于设定值w，以提供独立于操作条件的常数极点，而是可以使用当前图像的平均背景照明y(n)。另一方面，在选择具有足够稳定性的控制系统模型函数之中，基于设定值w的参数化可以提供更大的灵活性。
上面，主要参考优选实施例描述了本发明。然而，如同附属权利要求中所述，上面公开的实施例以外的其它实施例也同样可能在本发明的范围之内。
例如，在比例(P)和整合(I)控制之外，上述的PI调节器也可以涉及派生控制(D)，这样结果是组成PID调节器。此外，高于1阶的线性控制系统，以及非线性系统，总的来说，都可能用于曝光时间控制。
此外，模型函数不必要是线性函数，而可以是近似于(至少在设定值附近)实际值和曝光时间之间的关系的任何适合的函数。这种函数的例子包括具有合适次数的多项式函数，具有合适的底的指数函数，具有合适的底的对数函数，周期函数，三角函数，以及它们的结合。如果模型函数包含多于两个的未知参数，可能需要识别此外的第二条件，以能够在控制循环中调整或者参数化模型函数。
权利要求
1.在具有照明光源(13)和用于捕获在所述光源的光线之下曝光的一系列图像的图像传感器(14)的光学传感装置(10)中，用来进行曝光时间控制的一种方法，所述方法包括形成一个曝光时间控制循环，其中控制循环的每一轮涉及在前一轮中计算出来的曝光时间(u[n-1])期间，在所述光源的光线照射之下捕获当前图像；确定所述当前图像中的实际照明条件值(y[n])；计算设定值(w)和所述实际照明条件值(y[n])之间的误差(e[n])；作为前面的曝光时间(u[n-1])和所述误差(e[n])的函数，计算当前曝光时间(u[n])。
2.如权利要求1所述的方法，其中确定所述的实际照明条件值包括计算所述当前图像的平均背景照明(y[n])。
3.如权利要求2所述的方法，其中所述的实际照明条件值(y[n])通过如下确定确定所述的当前图像的多个子集中的每个的最大照明值；作为所述的每个子集的所述最大照明值的均值，计算平均背景照明。
4.如权利要求1、2或3所述的方法，其中所述的当前曝光时间(u[n])被计算，以便在随后的图像中，在背景和至少一个目标(22)之间产生最佳对比度(83’)，其中随后的图像是在控制循环的后一轮中被捕获。
5.如权利要求4所述的方法，其中所述的一系列图像包括一种位置编码图案(20)，并且其中所述的位置编码图案包括所述的至少一个目标(22)。
6.如权利要求2或3所述的方法，其中所述的当前曝光时间(u[n])被确定，以便在控制循环的后一轮中被捕获的随后的图像中，产生平均背景照明(81’)，它低于饱和，并且大致上匹配所述的设定值(w)。
7.如权利要求6所述的方法，其中所述的平均背景照明的设定值(w)在所述的图像传感器(14)的饱和度的大约50％到大约95％之间，并最好在大约80％到大约90％之间。
8.如前述权利要求中任一项所述的方法，其中所述的设定值(w)不随时间变化。
9.如前述权利要求中任一项所述的方法，其中控制循环在实质上为常数的极点下工作，独立于所述的光学传感装置(10)的操作条件。
10.如权利要求1-8中的任一项所述的方法，其中所述的控制循环基于把所述的实际照明条件值(y[n])与所述的前面曝光时间(u[n-1])相关联的模型函数，其中所述的方法此外包括间断性地把所述模型函数调整到所述光学传感装置(10)的当前操作条件，这样控制循环在实质上为常数的极点下操作，独立于所述的光学传感装置(10)的操作条件。
11.如权利要求1-8中的任一项所述的方法，其中所述的控制循环基于把所述的实际照明条件值(y[n])与所述的前面曝光时间(u[n-1])相关联的模型函数，所述的模型函数包括至少一个对于所述光学传感装置(10)的所有操作条件都一样的模型函数工作点，并且其中计算所述的当前曝光时间(u[n])包括基于所述的前面曝光时间(u[n-1])和所述的模型函数工作点来参数化所述的模型函数，这样控制循环在实质上为常数的极点下操作，独立于所述的光学传感器的操作条件。
12.如权利要求11所述的方法，其中所述的模型函数包括至少一个参数(L)，它对于所述的光学传感装置(10)的操作条件来说实质上保持不变，所述的参数(L)定义了所述的模型函数工作点，并且其中所述的模型函数的参数化是基于所述的前面曝光时间(u[n-1])和所述的至少一个实质上不变的参数(L)。
13.如权利要求10、11或12所述的方法，其中所述的模型函数在所述的设定值(w)附近定义。
14.如权利要求11、12或13所述的方法，其中参数化所述的模型函数包括设置所述的实际照明条件值(y[n])等于所述的设定值(w)。
15.如权利要求11、12或13所述的方法，其中参数化所述的模型函数还基于对于所述的当前图像计算的所述的实际照明条件值(y[n])。
16.如前述权利要求中任一项所述的方法，其中所述的曝光时间控制循环由下式给出 其中l1、l2和L是常数。
17.如前述权利要求中任一项所述的方法，其中确定所述的实际照明条件值(y[n])包括在所述的当前图像中计算平均背景照明以及平均目标照明。
18.如权利要求17所述的方法，其中确定所述的实际照明条件值(y[n])包括如此结合所述的平均背景照明以及所述的平均目标照明，使得在计算当前曝光时间(u[n])时，所述的平均背景照明比平均目标照明具有更加强的影响。
19.如前述权利要求中任一项所述的方法，其中所述的曝光时间被定义为一个时间周期，在该时间周期内使所述的光源(13)发光。
20.如权利要求1-18中的任一项所述的方法，其中所述的曝光时间被定义为一个时间周期，在该时间周期内使所述的图像传感器(14)捕获一幅所述的图像。
21.如权利要求1-18中的任一项所述的方法，其中所述的曝光时间被定义为一个时间周期，在该时间周期内从所述的光源(13)发出的光被允许到达所述的图像传感器(14)。
22.一种可以直接载入处理器内存的计算机程序产品，该计算机程序产品包括当被处理器执行时，用于执行权利要求1-21中的任一项的步骤的程序代码。
23.一种集成电路，适于执行权利要求1-21中的任一项的步骤。
24.一种手持图像产生设备(10)，包括权利要求22的计算机程序产品，或者权利要求23的集成电路。
25.一种光学传感装置，包括照明光源(13)和图像传感器(14)，其中图像传感器适用于在所述的光源的光线照射之下捕获一系列图像，所述的光学传感装置还包括具有控制输出的控制器(30)，适用于在所述的控制输出上生成曝光时间控制信号，所述的控制器包括曝光时间控制循环，其中控制循环的每一次包括计算设定值(w)和所述实际照明条件值(y[n])之间的误差(e[n])；作为前面的曝光时间(u[n-1])和所述误差(e[n])的函数，计算当前曝光时间(u[n])；在所述的控制输出上，基于所述的当前曝光时间(u[n])生成所述的曝光时间控制信号。
26.如权利要求25所述的传感装置，其中所述的实际照明条件值(y[n])相应于所述的当前图像中的平均背景照明。
27.如权利要求25或26所述的传感装置，其中所述的当前曝光时间(u[n])被计算，以便在随后的图像中，在背景和至少一个目标(22)之间产生最佳对比度(83’)，其中随后的图像是在控制循环的后一轮中被捕获。
28.如权利要求25-27中的任一项所述的传感装置，其中控制循环(30)被调节得在实质上为常数的极点下工作，独立于所述的光学传感器的操作条件。
29.如权利要求25-28中的任一项所述的传感装置，其中所述的控制循环基于把所述的实际照明条件值(y[n])与所述的前面曝光时间(u[n-1])相关联的模型函数，其中调节所述的控制循环，使得它间断性地把所述模型函数调整到所述光学传感器的当前操作条件，这样控制循环在实质上为常数的极点下操作，独立于所述的光学传感器的操作条件。
30.如权利要求25-28中的任一项所述的传感装置，其中所述的控制循环基于把所述的实际照明条件值(y[n])与所述的前面曝光时间(u[n-1])相关联的模型函数，所述的模型函数包括至少一个对于所述光学传感器的所有操作条件都一样的模型函数工作点，并且其中所述的控制函数被调整，使得在计算所述的当前曝光时间(u[n])中，基于所述的前面曝光时间(u[n-1])和所述的模型函数工作点来参数化所述的模型函数，这样控制循环在实质上为常数的极点下操作，独立于所述的光学传感器的操作条件。
31.如权利要求30所述的传感装置，其中所述的模型函数包括至少一个参数(L)，它对于所述的光学传感器的操作条件来说实质上保持不变，所述的参数(L)定义了所述的模型函数工作点，并且其中控制器(30)被调节，使得基于所述的前面曝光时间(u[n-1])和所述的至少一个实质上不变的参数(L)，来参数化所述的模型函数。
32.如权利要求31所述的传感装置，其中所述的模型函数是曝光时间的线性函数，所述的实质上不变的参数是所述的线性函数的偏移参数。
33.如权利要求30、31或32所述的传感装置，其中设计所述的控制器(30)，在参数化所述的模型函数中，设置所述的实际照明条件值(y[n])等于所述的设定值(w)。
34.如权利要求30、31或32所述的传感装置，其中参数化所述的模型函数还基于对于所述的当前图像计算的所述的实际照明条件值(y[n])。
35.如权利要求29-34中的任一项所述的传感装置，其中所述的模型函数在所述的设定值(w)附近定义。
36.如权利要求29-35中的任一项所述的传感装置，其中所述的控制器的控制循环由以下给出 其中u(n)和u(n-1)分别是当前曝光时间和控制循环的前一轮中计算出来的曝光时间，W是实际照明条件值的设定值，y(n)是所述当前图像中的实际照明条件值，以及l1、l2和L是常数。
37.如权利要求25-36的任一项所述的传感装置，其中控制循环在PI调节器中实现。
38.如权利要求25-37的任一项所述的传感装置，其中照明光源(13)是发光二极管(LED)。
39.如权利要求38所述的传感装置，其中发光二极管适于发出红外光。
40.如权利要求25-39的任一项所述的传感装置，其中所述的图像传感器(14)如此安排，以捕获表面(32)上的所述一系列图像，表面(32)包含位置编码图案(20)，所述的传感装置此外包括用来从每个图像的位置编码图案中确定位置的工具(38)。
41.如权利要求25-40的任一项所述的传感装置，其中所述的控制器(30)的控制输出耦合到所述的光源(1)，并且其中由所述的控制信号控制的曝光时间是一个时间周期，在该时间周期内使所述的光源(13)发光。
42.如权利要求25-40的任一项所述的传感装置，其中所述的控制器(30)的控制输出耦合到所述的图像传感器(14)，并且其中由所述的控制信号控制的曝光时间是一个时间周期，在该时间周期内使所述的图像传感器(14)生成待捕获的所述图像。
43.如权利要求25-40的任一项所述的传感装置，此外包括光学元件(31)，它位于在所述的光源(13)和所述的图像传感器(14)之间的光学通路上，其中所述的控制器(30)的控制输出耦合到所述的光学元件，并且其中由所述的控制信号控制的曝光时间是一个时间周期，在该时间周期所述的光学元件允许从所述的光源(13)发出的光到达所述的图像传感器。
全文摘要
一种具有照明光源(13)和图像传感器(14)的光学传感装置(10)。图像传感器(14)捕获在光源(13)的光线之下曝光的一系列图像。光学传感器(10)中的控制器(30)具有一个控制输出，并在该控制输出上生成曝光时间控制信号。控制器(30)包括一个曝光时间控制循环。循环的每一轮包括以下步骤计算设定值和在图像序列的当前图像中计算出来的实际照明条件值之间的误差；作为控制循环的前一轮中计算的曝光时间和误差的函数，计算当前曝光时间；在控制输出上，基于当前曝光时间生成曝光时间控制信号。这样，曝光时间可以被判定，以在图像传感器(14)待捕获的图像中产生最佳对比度。
文档编号G06K7/10GK1564996SQ02819607
公开日2005年1月12日 申请日期2002年10月3日 优先权日2001年10月3日
发明者安德瑞斯·奥森 申请人:阿诺托股份公司