面部/虹膜组合光学成像的装置及方法

文档序号:6559113阅读:242来源:国知局
专利名称:面部/虹膜组合光学成像的装置及方法
技术领域
本发明涉及一种提供面部/虹膜组合成像的装置及方法,特别是在符合客观统一技术标准条件下获取面部/虹膜图像光学成像的装置及方法。
背景技术
相关的专利文献检索USPTO数据库包括US6594377,US 6785406,US6832044,US 20020191075,US20020191076,US20030012413,US20030021598,US 20030081817,US20030219247,US 20050084137,US 20050084179。上述相关的专利文献有采用两组立体摄像机通过立体视觉技术获取眼睛位置定位信息,该方法包括面部图像获取、摄像机标定、面部特征提取、面部图像匹配等步骤进行复杂机器视觉计算。缺点是对两组广角摄像机参数一致性要求高,摄像机标定复杂,面部特征提取、面部图像匹配对噪声干扰敏感,需要庞大的计算量,速度难以达到实时帧速率实现(需要采用专业的实时机器视觉处理器),测量精度可靠性与稳定性对干扰敏感,仅此方法的成本就比传统的虹膜光学成像装置更昂贵。高分辨率的超声波或红外测距也具有高成本,更重要的在宽工作区域中使用由于使用者位置没有保持一致导致测距结果很不精确,获得的测距结果可能不是眼睛虹膜的物距信息,而是使用者头部(如头发,鼻,眼镜,脸等)或其它身体部分错误的干扰信息。
总结上述相关专利文献,存在全部或部分以下问题1光学成像装置系统不能获取最高质量的虹膜纹理图像;2光学成像装置系统存在使用快速性问题,如要求2秒以上;3光学成像装置系统存在使用方便性问题,如要求使用者严格配合;4光学成像装置系统不具有高可靠稳定性,如不能在户外,强背光,强卤素光,宽温差范围使用;5光学成像装置系统不具有高性价比;另外缺乏客观统一技术标准作为综合性能评价系统。

发明内容
本发明的目的是克服上述现有技术中存在的缺点,提出一种用于获取面部/虹膜纹理图像的光学成像装置系统的客观统一技术标准,它包括以下技术特征与内容要求
1、光学成像装置系统获取最高质量的虹膜纹理图像;(1)虹膜纹理图像具有恒定的虹膜成像尺寸,即相同的光学放大倍率;(2)虹膜纹理图像具有最高聚焦质量,即位于像方焦点位置;(3)虹膜成像图像具有相同亮度等级,即恒定的受辐射照度;(4)虹膜成像图像具有移去左右眼睛图像的角膜和眼镜的镜面反射;(5)虹膜成像图像具有所成像的虹膜位置在图像的中心;(6)虹膜成像图像具有消除虹膜纹理的运动模糊和覆盖;光学成像系统满足最小单位像素空间分辨率(pixel resolution)为20pixel/mm(单位pixel/mm,每毫米像素);最小光学空间分辨率(optical resolution)在调制传递函数(MTF)等于60%的调制度(modulation)即对比度(contrast)时为5lp/mm(单位lp/mm,每毫米线对)或在调制传递函数等于10%的调制度即对比度时为10lp/mm;最小信噪比SNR为48db(单位db,分贝);2、光学成像装置系统快速获取最高质量的虹膜纹理图像;在1秒速度内快速获取最高质量的虹膜纹理图像;3、光学成像装置系统易于使用;(1)工作区域(视场)宽广,而不必严格限制使用者必须在很窄的工作区域(视场)内;所述的工作区域(视场)至少由物距z方向25-50cm,更大程度上可实现25-100cm物距;x水平方向60度,y垂直方向60度的立体视场范围构成。
(2)使用者能最快速直观方便的定位于系统工作区域(视场)中;(3)在使用者运动模糊和频繁的眨眼状态下使用,不必要求使用者严格配合;4、光学成像装置系统高可靠稳定性(1)适用于实际应用时的复杂背景环境下;所述的背景环境包括户外,强背光,强卤素光,宽温差范围条件,亮度在100,000-0Lux范围。
(2)系统使用寿命久;满足获取最高质量的虹膜纹理图像要求下电机运动次数最少。
5、光学成像装置系统高性价比满足上述要求的条件下较传统的虹膜光学成像装置成本更低廉,适合规模产业化。
本发明以解决上述统一技术标准提出的技术特征与内容要求为根本目的,并且本发明提到的所有技术特征与内容要求都以上述定义为自包含。
一种面部/虹膜组合光学成像的装置,其特征是包括以下成像光路系统,(1)用于眼睛视觉反馈的可见光成像光路系统;(2)用于眼睛虹膜成像的近红外光成像光路系统;
(3)用于眼睛位置定位信息获取的面部成像光路系统;所述的面部/虹膜组合光学成像的装置包括上述成像光路系统的光学等价变换。
所述的面部/虹膜组合光学成像的装置由带通光学滤波器,PAN/TILT光学反射器,光学成像透镜组,CMOS摄像机,远光轴脉冲照明光源,眼睛位置跟踪与定位单元组成;所述的眼睛位置跟踪与定位单元由广角CMOS摄像机与近光轴照明光源组成;所述的面部/虹膜组合光学成像的装置还包括由通讯单元,人机界面输入/输出单元,冷背光光源单元,工作区域视场光学投影引导光束单元,光电语音提示单元,数字信号处理器与控制器单元,及系统控制单元组成。
所述的面部/虹膜组合光学成像的装置包括非相干光学波前相位调制/解调成像系统;所述的波前相位调制/解调成像系统由光学入瞳,光学元件波前相位调制,CMOS光学图像传感器成像,数字信号处理图像解调恢复,重建原始数字图像组成。
所述的系统控制单元分别与以下单元连接实现控制,(1)PAN/TILT光学反射器水平面PAN和垂直面TLLT旋转光学轴角度电机位置控制;(2)光学成像透镜组变焦ZOOM,聚焦FOCUS,相对孔径IRIS电机位置控制;(3)远光轴脉冲照明光源位置POSITION,发射亮度L,占空比时间T控制;(4)CMOS摄像机自动电子增益,积分时间,数据与时序信号控制;(5)眼睛位置跟踪与定位控制;(6)通讯控制;(7)人机输入/输出界面控制;(8)冷背光光源亮度控制;(9)工作区域视场光学投影引导光束控制;(10)光电语音提示控制。
带通光学滤波器的光谱波长带通带限为730-800nm带宽范围内具有≤70nm带宽特征;并且照明光源的光谱发射波长和带通光学滤波器光谱波长带通带限范围匹配。
所述的工作区域视场光学投影引导光束单元由具有预定投影(发散)立体角的光束组成,并且所述的立体角光束投影(发散)产生的立体区域形成工作区域视场。
预置远光轴脉冲照明光源,定义以下法则条件(R1)预置照明光源的几何位置与眼睛特定的组合形成的远光轴角度范围限制在15度到45度;(R2)预置照明光源的几何位置与眼睛特定的组合形成的远光轴角度在上述可利用的最大限制范围内以接近上限为最优选;
(R3)至少需要两组预置照明光源几何位置;预置近光轴照明光源,定义以下法则条件(H1)预置照明光源的几何位置与眼睛组合形成的近光轴角度小于7度;(H2)至少需要两组预置照明光源几何位置;(H3)同时使用全部预置照明光源的几何位置与眼睛组合;其中远光轴角度与近光轴角度Q定义是照明光源中心和眼睛中心的连线相交于眼睛中心光轴线形成的夹角;光学成像透镜组相对孔径IRIS,远光轴脉冲照明光源发射亮度L,占空比时间T,定义以下约束法则条件(M1)[IRIS]2*[L/S2*cosQ]*T相互乘积值关系属性保持恒定相同;(M2)使预定光学成像透镜组具有最大化的相对孔径IRIS;脉冲照明光源的占空比时间T,即CMOS摄像机积分时间小于1/500秒;(M3)脉冲照明光源的发射亮度L是受眼睛红外光辐射安全标准上限LLimit限制,即脉冲照明光源的发射亮度L<LLimit;其中S为眼睛中心相对于脉冲照明光源中心的物距;cosQ为远光轴角度Q的三角余弦;IRIS为光学成像透镜组的相对孔径,即光圈F倒数;L为脉冲照明光源的发射亮度或辐射率;T为脉冲照明光源的占空比时间,即CMOS摄像机积分时间;脉冲照明光源的脉冲发射时序与CMOS摄像机积分时序必须保证同步触发。
定义眼睛位置定位信息输入值与相应的成像控制参数输出值(a)远光轴脉冲照明光源位置POSITION,发射亮度L,占空比时间T,(b)PAN/TILT光学反射器的水平面PAN和垂直面TILT旋转光学轴角度电机位置,(c)光学成像透镜组的变焦ZOOM,聚焦FOCUS,相对孔径IRIS电机位置,形成对应输入输出值关系映射表。采用预置眼睛位置定位信息与上述成像参数(a)至(c)的输入输出值关系映射表,然后通过对映射表查表实现统一的同步控制;定义广角CMOS摄像机成像图像中左右眼睛位置间隔信息与眼睛的物距信息形成相应的输入输出值关系映射表;采用预置成像图像中左右眼睛位置间隔信息与眼睛物距信息的输入输出值关系映射表,然后通过对映射表查表实现获取眼睛的物距信息。
一种面部/虹膜组合光学成像的方法,其特征是包括眼睛位置跟踪和定位,及获取最高质量的虹膜纹理图像步骤。
所述的眼睛位置跟踪和定位的方法,它包括以下步骤(1)启动数字信号处理器与控制器单元;(2)获取连续序列帧场景图像,运动检测判断是否有使用者进入场景图像;(3)获取连续序列帧场景图像,运动检测判断使用者是否保持相对静止;(4)获取前景图像;(5)定义前景图像中粗糙的脸部位置局部区域为初始化局部评价区域;(6)模糊到精确迭代搜索特征模板检测方法获取前景图像中粗糙的脸部位置初始化局部评价区域内左眼位置与右眼位置;(7)在前景图像中粗糙的脸部位置初始化局部评价区域内搜索镜面反射的中心位置,精确确定左眼位置与右眼位置;(8)判断上述(6)与(7)步骤的左眼位置与右眼位置数值差是否处于预定误差范围内;(9)根据左眼位置与右眼位置坐标信息获取左右眼睛位置间隔信息,通过映射表查表实现获取眼睛的物距信息。
(10)获取眼睛位置定位信息。
所述的获取最高质量的虹膜纹理图像的方法,它包括以下步骤(1)根据初始化获取的眼睛位置定位信息输入值,对预置映射表查表同步控制成像参数输出值;(2)模糊到精确迭代搜索方法预置映射表查表校准系统成像参数;(3)模糊到精确迭代搜索方法校准系统成像参数的聚焦位置(即FOCUS聚焦电机位置)位于像方焦点位置。
总结上述描述,本发明具有满足上述统一技术标准提出的技术特征与内容要求1光学成像装置系统获取最高质量的虹膜纹理图像;2光学成像装置系统在1秒速度内快速获取最高质量的虹膜纹理图像;3光学成像装置系统易于使用;4光学成像装置系统高可靠稳定性;5光学成像装置系统高性价比;下面将通过具体实施例并对照附图,对本发明作进一步的详细描述。


图1为本发明系统具体功能单元构造图。
图2为本发明具体实施例1成像光学原理图。
图3为本发明具体实施例2成像光学原理图。
图4为本发明具体实施例3成像光学原理图。
图5为本发明具体实施例1光学投影引导光束所形成的工作区域(视场)原理图。
图6为本发明具体实施例3光学投影引导光束所形成的工作区域(视场)原理图。
图7为本发明预置照明光源的几何位置与眼睛特定的组合形成角度原理图。
图8为预置映射表查表校准系统成像参数的模糊到精确迭代搜索方法流程图。
图9为校准系统成像参数的聚焦位置(即FOCUS聚焦电机位置)位于像方焦点位置的模糊到精确迭代搜索方法流程图。
图10为校准系统成像参数的聚焦位置(即FOCUS聚焦电机位置)位于像方焦点位置的另外可选的模糊到精确迭代搜索方法流程图。
图11为本发明成像光路传播方向等价变换光学原理图。
图12为本发明具体实施例2等价变换成像光路的光学原理图。
图13为本发明具体实施例3等价变换成像光路的物理尺寸匹配或成预定几何投影比例原理图。
图14为本发明具体实施例3等价变换成像光路的光学投影引导光束所形成的工作区域(视场)原理图。
图15为本发明非相干光学波前相位调制/解调成像系统原理图。
具体实施例方式
实施例1、图1描述了本发明的实施例1的系统具体构造,它包括以下功能单元带通光学滤波器单元,PAN/TILT光学反射器单元,变焦距光学成像透镜组单元,CMOS摄像机单元,眼睛位置定位单元,通讯单元,人机界面输入/输出单元,远光轴脉冲照明光源单元,冷背光光源单元,工作区域(视场)光学投影引导光束单元,光电语音提示单元,数字信号处理器与控制器单元,及系统控制单元组成。
所述的系统控制单元包括(1)PAN/TILT光学反射器PAN/TILT电机位置控制;(2)变焦距光学成像透镜组ZOOM/FOCUS/IRIS电机位置控制;(3)远光轴脉冲照明光源位置POSITION,发射亮度L,占空比时间T控制(与CMOS摄像机积分时间同步触发);(4)CMOS成像自动电子增益(AGC),积分时间(即暴光时间,EXPOSURETIME),数据与时序信号控制;(5)眼睛位置定位控制;(6)通讯控制;(7)人机输入/输出界面控制;(8)冷背光光源亮度控制;(9)工作区域(视场)光学投影引导光束控制;(10)光电语音提示控制;所述的眼睛位置定位单元由广角(wide field of view)CMOS摄像机与近光轴照明光源组成。
所述的数字信号处理器与控制器单元由ARM/DSP,SDRAM/DDR2,FlashROM/NAND Flash组成。数字信号处理器与控制器单元可采用RISC处理器如32位intel XScale或ARM9系列和TITMS320DM64X系列数字信号处理器。优选实施例中数字信号处理器为TI TMS320DM6446 DigitalMedia Processor,它集成ARM926和C64X+DSP内核及面向数字视频图像处理应用的接口系统组合形成片上系统(SOC)。数字信号处理器与控制器单元完成所需的实时计算功能并输出结果数据提供系统控制单元实现对各单元控制。
SDRAM/DDR2提供系统计算内存空间,FlashROM/NAND Flash提供系统存储内存空间。
所述的通讯单元由RS232/485,USB通用串行口总线,以太网,Wiegand门禁控制总线等组成;所述的人机界面输入/输出单元由键盘,IC卡阅读器,LCD或VFD显示器等组成;所述的光电语音提示单元由LED和扬声器等组成,光电语音提示至少包括光学成像装置系统启动提示和操作结果反馈提示以增强人机界面友好性,如根据眼睛位置定位信息提示用户X-Y轴位置和Z轴距离调整,注册成功,识别成功/失败等。
图2描述了本发明的具体实施例1光学成像装置的成像光学原理图,它包括以下单元组成近红外光漫射器(3,4),冷背光光源(5),带通光学滤波器(6),工作区域(视场)光学投影引导光束(7a,7b,7c,7d),远光轴脉冲照明光源(8a,8b),近光轴照明光源(9a,9b),PAN/TILT光学反射器(10),变焦距光学成像透镜组(11),CMOS摄像机(12),广角CMOS摄像机(13)。(1,2)为左右眼睛。
图2中光学成像装置提供光路系统对视觉反馈的可见光和用于虹膜成像的近红外光的分解。具体来说,从来自冷背光光源(5)和外围环境的可见光,远光轴脉冲照明光源(8a,8b)的近红外光在眼睛(1,2)处反射,反射光进入带通光学滤波器(6),带通光学滤波器(6)反射可见光用于眼睛(1,2)视觉反馈,透射近红外光至PAN/TILT光学反射器(10),PAN/TILT光学反射器根据眼睛位置定位信息(x,y,z)调整PAN/TILT光学反射器(10)的PAN/TILT旋转光学轴(rotationoptical axis)的旋转角度,保证反射眼睛(1,2)的虹膜通过变焦距光学成像透镜组(11)物理聚焦成像至CMOS摄像机(12)视场(field of view)中心。
眼睛位置定位信息(x,y,z)由近光轴照明光源(9a,9b)与广角CMOS摄像机(13)组合形成的面部成像光路系统实现获取。它们固定安装位于示图平面的下方以虚线表示,并且广角CMOS摄像机(13)的视场由带通光学滤波器(6)的视场范围提供。广角CMOS摄像机(13)具体固定安装位置为带通光学滤波器(6)中心后,PAN/TILT光学反射器(10)中心前的下方空间,并且它们的中心连线与广角CMOS摄像机(13)的光学轴相互平行。当然,其它安装位置和方法也可被等同理解,如单独采用一组分离的带通光学滤波器与广角CMOS摄像机(13)组合形成面部成像光路系统。更进一步的通过在PAN/TILT光学反射器(10)中心前增加光学分光器(即,分光镜片光学元件),提供广角CMOS摄像机(13)分光量形成面部成像光路系统以获取眼睛位置定位信息(x,y,z)。
广角CMOS摄像机(13)的面部成像光路系统成像来自近光轴照明光源(9a,9b)在眼睛(1,2)反射进入带通光学滤波器(6)所透射的近红外光。广角CMOS摄像机(13)使用带通光学滤波器透射的近红外光成像的目的是消除背景环境对成像后获取眼睛位置定位信息的干扰影响因素,如不确定的杂散光,反射光干扰。当然,采用可见光进行面部成像光路系统的照明和成像也可被等同理解。如广角CMOS摄像机(13)直接成像来自近光轴照明光源(9a,9b)提供的可见光形成面部成像光路系统。
理想的广角CMOS摄像机由固定短焦距的广角光学成像透镜组合成像获取眼睛位置定位信息的广角(大视场角度)图像。广角CMOS摄像机(13)有足够大的视场角度以获取眼睛(1,2)在工作区域(视场)范围内的图像,即广角CMOS摄像机(13)提供的视场大于上述PAN/TILT光学反射器(10),变焦距光学成像透镜组(11),CMOS摄像机(12)组合形成的成像光路视场。
为方便理解本发明,以下描述的物理位置与像素空间坐标统一定义成像光轴的对称中心位置为原点(0,0,0);物平面眼睛物理位置关于成像光轴为对称中心位置为(X,Y,Z);像平面眼睛物理位置关于成像光轴为对称中心位置为(x’,y’,z);图像眼睛像素空间坐标位置关于成像光轴为对称中心位置为(x,y,z);本发明所描述的成像图像眼睛像素空间坐标位置定位信息(x,y,z)一致相同定义为x=(x0+x1)/2;y=(y0+y1)/2;其中(x0,y0)和(x1,y1)分别为成像图像左,右眼睛像素空间坐标位置信息(pixel);在广角CMOS摄像机视场中像平面眼睛物理位置定位信息(x’,y’,z)通过光学成像参数的几何成像关系可等价的转换表示为相应的物平面眼睛物理位置信息(X,Y,Z),物像及图像眼睛像素空间坐标位置信息(x,y,z)形成以下具有一一对应关系的线性映射方程;(x’,y’,z)=(v*X/Z,v*Y/Z,Z)≈(f*X/Z,f*Y/Z,Z)(Z>>f)(EQ1)(x,y,z)=(R*x’,R*y’,z) (EQ2)其中f为焦距(单位mm),v为像距(单位mm),Z=z为眼睛物距(单位mm),X,Y为物平面眼睛物理位置信息(单位mm),x’,y’为像平面眼睛物理位置信息(单位mm)x,y为图像眼睛像素空间坐标位置信息(单位pixel),R为广角CMOS摄像机单位像素空间分辨率(单位pixel/mm)。
它们形成物平面位置信息与像平面位置信息关于成像光轴为对称中心的几何投影成像关系,实际应用时在确定像平面眼睛物理位置信息后,通过广角CMOS摄像机单位像素空间分辨率(pixel/mm)最终转换为图像眼睛像素空间坐标位置信息,所以上述表达方式是等同转换的。本发明描述的眼睛位置定位信息统一定义为广角CMOS摄像机视场中成像图像眼睛像素空间坐标位置信息(x,y,z),应理解等价的转换关系。
本发明获取使用者眼睛物距信息z的方法,根据左右眼睛物平面固定的间隔位置信息D与广角CMOS摄像机固定光学成像参数(f,R)的几何成像关系(EQ1)与(EQ2)事实,形成以下具有一一对应关系的线性映射方程;z=f*R*D/d,d=[(x1-x0)2+(y1-y0)2]1/2其中f为焦距(单位mm),D为左右眼睛物平面间隔位置信息(单位mm),z为眼睛物距(单位mm),d为左右眼睛像素空间坐标间隔位置信息(单位pixel),R为广角CMOS摄像机单位像素空间分辨率(单位pixel/mm)。
实际应用时,定义成像图像中左右眼睛像素空间坐标间隔位置信息d与眼睛的物距信息z形成相应的输入输出值关系映射表(d;|z);z=(d;|z);d=[(x1-x0)2+(y1-y0)2]1/2优选实施例中采用预置成像图像中左右眼睛像素空间坐标间隔位置信息d与眼睛物距信息z的输入输出值关系映射表,然后通过对映射表查表实现获取眼睛的物距信息z。输入输出值关系映射表根据上述关系方程转换获取或根据实际应用测定预置。
上述眼睛位置(x,y,z)定位方法克服了采用两组立体摄像机通过立体视觉技术或超声波,红外测距的缺点,同时具有广角摄像机要求低,速度响应最快,测量精度,可靠性与稳定性对干扰不敏感,不受背景环境影响,成本低廉。
本发明广角CMOS摄像机光路系统的优点是具备面部特征识别所需求的面部特征图像获取功能。即本发明该优选实施例中具有面部/虹膜图像组合获取功能。
用于获取高质量的虹膜纹理图像目的,光学成像系统具有满足最小单位像素空间分辨率为20pixel/mm;最小光学空间分辨率在调制传递函数等于60%的调制度即对比度时为5lp/mm或在调制传递函数等于10%的调制度即对比度时为10lp/mm;最小信噪比SNR为48db;虹膜纹理图像获取由PAN/TILT光学反射器(10),变焦距光学成像透镜组(11)与CMOS摄像机(12)组合形成的成像光路系统实现,该成像光路系统使工作区域(视场)扩展,为使用者提供更宽阔自由的使用区域,而不必严格限制使用者必须在很窄的工作区域(视场)内。为实现获取高质量虹膜纹理图像,必须完成(a)根据眼睛位置定位信息(x,y,z)调整PAN/TILT光学反射器(10)的PAN/TILT旋转光学轴形成(PAN,TILT)旋转角度,保证反射眼睛(1,2)的虹膜通过变焦距光学成像透镜组(11)物理聚焦成像至CMOS摄像机(12)视场中心;(b)根据眼睛位置定位信息(x,y,z)获得用于对虹膜纹理聚焦成像的眼睛与变焦距光学成像透镜组(11)的光学中心间的物距,相应的在获得用于对虹膜纹理聚焦成像的眼睛与变焦距光学成像透镜组(11)的光学中心间的物距后,保证眼睛(1,2)的虹膜通过变焦距光学成像透镜组(11)物理聚焦成像至CMOS摄像机(12)焦点位置。
更复杂化的考虑,归结为获取眼睛位置定位信息(x,y,z)的广角CMOS摄像机(13)的成像光学中心,与PAN/TILT光学反射器(10)反射光学中心在固定安装时物理空间位置之间通常具有物理空间位置相对偏移(X_offset,Y_offset,Z_offset),结果相对于PAN/TILT光学反射器(10)反射光学中心计算物平面眼睛位置信息为(X-X_offset,Y-Y_offset,Z-Z_offset)。另外归络为获取虹膜纹理图像的变焦距光学成像透镜组(11)与PAN/TILT光学反射器(10)之间光学中心通常具有光轴位置相对偏移(Z_lens)和成像光路系统变换,根据眼睛位置定位信息(x,y,z)从变焦距光学成像透镜组(11)的光学中心相对计算用于对虹膜纹理聚焦成像的眼睛物距为[(Z-Z_offset)2+(X-X_offset)2+(Y-Y_offset)2]1/2+Z_lens。
如图5表示的眼睛(1,2)所在工作区域(视场)V1由物距z方向25-50cm,x水平方向60度(+/-30度),y垂直方向60度(+/-30度)的立体视场范围构成。因为PAN/TILT光学反射器(10)的旋转光学轴旋转θ度,入射角与反射角间旋转2θ度,采用PAN/TILT光学反射器(10)旋转光学轴反射成像的优点是在上述工作区域(视场)内调整水平面PAN和垂直面TILT旋转角度最大仅为(+/-15,+/-15)度,具有最小的旋转角度并且控制分辨率及可靠性高。
在眼睛位置定位信息为对称中心位置(0,0,z)时,初始化安装PAN/TILT光学反射器(10)的PAN/TILT旋转光学轴形成静态的旋转角度如可实现(PAN=45,TILT=45)或(PAN=90,TILT=45),或(PAN=45,TILT=90),保证反射眼睛(1,2)的虹膜通过变焦距光学成像透镜组(11)物理聚焦成像至CMOS摄像机(12)视场中心。
在眼睛位置定位信息为(x,y,z)时,调整PAN/TILT光学反射器(10)的PAN/TILT旋转光学轴形成(PAN=θpan,TILT=θtilt)度旋转角度,保证反射眼睛(1,2)的虹膜通过变焦距光学成像透镜组(11)物理聚焦成像至CMOS摄像机(12)视场中心。
根据物像及图像眼睛像素空间坐标线性映射方程(EQ1)(EQ2)等价的转换关系,θpan,θtilt根据眼睛位置定位信息(x,y,z)由以下关系方程确定θpan=1/2*arctan(X/Z)=1/2*arctan(x/f/R);(EQ3)θtilt=1/2*arctan(Y/Z)=1/2*arctan(y/f/R);(EQ4)其中θpan为水平面PAN旋转光学轴的旋转角度;θtilt为垂直面TILT旋转光学轴的旋转角度。其中Z=z为眼睛物距,X,Y为物平面眼睛物理位置信息,由眼睛像素空间坐标位置信息(x,y,z)等价的转换关系方程确定。
为具有使控制复杂度最低,可靠性最高,速度最快特性目的,预置眼睛位置定位信息(x,y,z)与PAN/TILT光学反射器的PAN和TILT旋转光学轴电机位置的输入输出值关系映射表,然后通过对该映射表查表实现PAN和TILT旋转光学轴控制。输入输出值关系映射表根据(EQ1)(EQ2)(EQ3)(EQ4)关系方程转换获取或根据实际应用测定预置。在工作区域(视场)V1中,x水平方向60度(+/-30度),y垂直方向60度(+/-30度)的立体视场范围,调整PAN/TILT旋转光学轴电机位置的旋转角度最大为(+/-15度,+/-15度)。换句话说,PAN/TILT光学反射器(10)的旋转光学轴形成+/-15度水平面PAN旋转角度和+/-15度垂直面TILT旋转角度的最大调整范围,可在工作区域(视场)V1中任意眼睛位置定位信息(x,y,z),保证反射眼睛(1,2)的虹膜通过变焦距光学成像透镜组(11)物理聚焦成像至CMOS摄像机(12)视场中心。
图11为本发明成像光路传播方向等价变换光学原理图,它改变光路传播方向。图11描述虹膜纹理图像获取由PAN/TILT光学反射器(10a,10b),变焦距光学成像透镜组(11)与CMOS摄像机(12)组合形成的成像光路系统实现。作为相同目的的成像光路变形,采用组合PAN/TILT光学反射器(10a,10b)根据眼睛位置定位信息(x,y,z)调整PAN/TILT光学反射器(10a,10b)的PAN/TILT旋转光学轴的旋转角度,保证眼睛(1,2)的虹膜通过变焦距光学成像透镜组(11)物理聚焦成像至CMOS摄像机(12)视场中心。
优选实施例中光学投影引导光束(7a,7b,7c,7d)提供的作用是为使用者能以最快速直观方便的方法引导定位于系统工作区域(即,视场)中,即图5表示的(1,2)眼睛在工作区域(即,视场)V1中。工作区域(视场)与上述PAN/TILT光学反射器(10),变焦距光学成像透镜组(11),CMOS摄像机(12)组合形成提供的成像光路视场匹配,以获得在相同的工作区域(即,视场)V1内光信息引导提示。
它是基于当使用者眼睛(1,2)定位于光学投影引导光束(7a,7b,7c,7d)组成的工作区域(即,视场)V1中就能观察到(发现)全部(7a,7b,7c,7d)的引导光信息。一旦使用者偏离工作区域(视场)V1,就不能观察到(发现)全部(7a,7b,7c,7d)的引导光信息。采用多束光学投影引导光束的优点是能提供使用者更多的定位光信息引导指示,这种方法提供给使用者定位工作区域(视场)的光信息引导指示,即朝着观察到(发现)的部分光信息引导指示方向移动,直到发现全部(7a,7b,7c,7d)的引导光信息。这样就完成使用者眼睛定位于系统工作区域(即,视场)中。如使用者部分偏离工作区域(即,视场)V1,往右部分偏离,(如图5所示1’2’),就仅观察到(发现)左部分(7a,7b)的光信息,而不能观察到(发现)右部分(7c,7d)的光信息。然后使用者朝着观察到(发现)的左部分光信息引导指示方向移动到发现全部(7a,7b,7c,7d)的光信息,这样就完成使用者眼睛定位于系统工作区域(视场)V1中。
这种方法不像其它如语音或光电指示,语音或光电指示只提示使用者很模糊的抽象的信息,如向左部分方向移动提示,但由于使用者不同视差和对距离移动等的不同主观感觉,特别是人群的行为心理是各不相同,主观感觉也各不相同。最后结果是很难根据提示信息快速方便的定位于系统工作区域(即,视场)中。
本发明工作区域(视场)光学投影引导方法是根据人眼视觉对光的敏感性为基础的,事实上人接受外部信息最本质是通过眼睛的视觉。因此该方法是具有最快速直观方便的。光束(7a,7b,7c,7d)可采用人眼视觉对光敏感的波长如蓝色或橙色等。
尽管本实施例以左上,左下,右上,右下(7a,7b,7c,7d)位置为例,其它不同位置(如上,下,左,右)或不同数量光束(如左右双束)也应被等同理解。
如此的光学投影引导光束(7a,7b,7c,7d)所形成的工作区域(视场)由具有预定投影(发散)立体角的光束立体光线投影(发散)所产生。所述的投影立体角可由LED光源投影至预定平面孔(光学投影造型如圆形,扇形,矩形等)产生,所述的发散立体角也可由具有预定发散立体角(即,辐射立体角)的LED光源产生。图5中以光学投影引导光束(7a,7b,7c,7d)的光线投影(发散)立体角产生的立体区域形成工作区域(视场)V1示例。
优选实施例中冷背光光源(5)由400-700nm可见光波长范围的中性(如白色)光源组成,并且该光源亮度可控制。它主要有以下作用1.提供眼睛活体检测跟踪;2.保证瞳孔与虹膜半径比例在预定的范围内,如
;3.辅助外围光线照明;冷背光光源(5)在启动时可处于关闭状态,而当外围光线不足,瞳孔与虹膜半径比例超出预定的范围内时,增大冷背光光源亮度以保证控制瞳孔与虹膜半径比例处于预定的范围内。冷背光光源(5)也可通过光学投影引导光束(7a,7b,7c,7d)替代以减少成像系统复杂度。
优选实施例中近红外光漫射器(3,4)由提供散射介质的光学塑料如光学树脂玻璃为光学元件构成,使来自远光轴脉冲照明光源(8a,8b),近光轴照明光源(9a,9b)的照明发散角扩展和提供它们光场辐射均衡分布,典型实施例中近红外光漫射器(3,4)如提供对近红外光谱半峰值发散角(即,半峰值辐射角)在120度以上。
与传统CCD摄像机相比近几年来发展的CMOS摄像机(即,CMOS光学图像传感器)具有高信噪比(可选择最小的SNR≥48db),高集成性片上系统(SOC),逐行扫描,高像素隔离,大规模像素点阵(百万像素级分辨率),成本低廉,高可靠性等优点。优选实施例中CMOS摄像机(12)和广角CMOS摄像机(13)是具有对700-800nm波长范围内相对峰值高敏感度的黑白CMOS器件。如对700-800nm波长范围内相对峰值高敏感度达0.7以上。CMOS摄像机(12)的自动电子增益(AGC)应该设置为0db,即关闭CMOS摄像机(12)的自动电子增益(AGC)。原因是尽管虹膜识别理论上对自动电子增益(AGC)是具有无相关无依赖性,但实际上,采用自动电子增益(AGC)将导致成像信噪比(SNR)降低,而图像的信噪比(SNR)对降低虹膜识别性能如FAR,FRR有很大的影响。CMOS摄像机(12)积分时序与远光轴脉冲照明光源(8a,8b)的脉冲发射时序必须保证同步触发,以获取高质量的虹膜图像。
为了光学成像装置在实际应用的复杂背景环境下使用,如户外场合,间接反射光,强背光,强卤素光等。考虑波长复杂性,非成像杂散光,光强分布均衡性等对虹膜成像有重大影响,进一步的综合CMOS成像器件对波长敏感度,虹膜图像对比度,光源辐射强度限制等因素,本发明优选实施例中光学成像装置用于虹膜图像纹理成像的带通光学滤波器的光谱波长带通带限为730-800nm,并且该带宽范围的光谱波长带通带限应该是可利用的最大带宽限度。为更进一步的严格控制背景环境对成像的影响因素如户外阳光直接场合等,采用光谱波长带通带限在730-800nm范围内带宽≤70nm的带通光学滤波器,如实施例中可能选择在最大带宽限度内相对窄带滤波器为730-780nm或者750-780nm,或者750-800nm等。实施例中光谱波长带通带限在730-800nm范围内带宽≤70nm的各种光学元件类型构成的带通光学滤波器应被等同理解,如相同概念的近红外带通干涉滤光(镜)片。
另外根据背景环境亮度选用以下光谱波长带通带限范围优选实施例中背景环境亮度在100,000-10,000Lux采用光谱波长带通带限在730-800nm范围内带宽为≤10nm的带通光学滤波器;优选实施例中背景环境亮度在10,000-1,000Lux采用光谱波长带通带限在730-800nm范围内带宽为≤30nm的带通光学滤波器;优选实施例中背景环境亮度在1,000-0Lux采用光谱波长带通带限在730-800nm范围内带宽为≤70nm的带通光学滤波器;
优选实施例中本发明光学成像装置的带通光学滤波器(6)采用近红外带通滤光片光学元件,并且为保证在正常工作入射角时其光学带通滤波特性的稳定性和可靠性,滤光片采用0度入射角工作方式。提供近红外带通滤光片最低限度的光学干涉膜系设计和镀膜技术要求,对光谱带通带限范围区间外波长λ高达95%以上的反射率R(λ),同时对光谱带通带限范围区间内波长λ具有90%以上的透射率T(λ)。
如实施例中近红外带通滤光片光谱波长带通带限730-800nm为实施例,典型如可采用光学玻璃为光学元件基质提供多层干涉镀膜,满足最低限度的光谱带通带限要求λ<730nm,λ>800nm,R(λ)>95%,对730-800nm光谱波长带通带限外反射率大于95%;730nm<λ<800nm,T(λ)>90%,对730-800nm光谱波长带通带限内透射率大于90%;更进一步的考虑实际的光学工程设计和加工工艺要求时,优选实施例中典型光学带通滤波器(即,近红外带通滤光片)设计参数具体举例说明中心波长(λp)765nm中心波长透射率(Tavg)≥90%400-700nm波长平均反射率(Ravg)≥95%FWHM半宽度(2Δλ0.5)70/50/30/10nm十进宽度(2Δλ0.1)1.6*FWHM矩形度(2Δλ0.1/2Δλ0.5)1.6背景截止深度≤0.1%(1E-3)波长漂移(Wavelength Shift)≤0.1nm/℃。
实施例如采用有色玻璃等光学元件构成的近红外带通滤光片也可被等同理解。
优选实施例中远光轴脉冲照明光源(8a,8b),近光轴照明光源(9a,9b)的光谱发射(辐射)波长和带通光学滤波器光谱波长带通带限范围匹配。优选实施例中远光轴脉冲照明光源(8a,8b),近光轴照明光源(9a,9b)由表面发光二极管芯片(LED)组成。一般地说,LED的光谱发射波长范围由中心波长(PEAK)与半峰值带宽(FWHM)描述。所以上述匹配是定义表面发光二极管芯片光谱发射波长范围大于或等于光学带通滤波器光谱波长带通带限范围。
如实施例中带通光学滤波器的光谱波长带通带限为730-800nm,即要求采用中心波长分别为750nm和780nm,FWHM为40nm的两种表面发光二极管芯片组成阵列实现。或者实施例中带通光学滤波器的光谱波长带通带限为730-770nm,即要求采用中心波长为750nm,FWHM为40nm的单种表面发光二极管芯片组成实现。或者实施例中带通光学滤波器的光谱波长带通带限为760-800nm,即要求采用中心波长为780nm,FWHM为40nm的单种表面发光二极管芯片组成实现。
角膜和眼镜的镜面反射形成CMOS摄像机(12),广角CMOS摄像机(13)像素满量程溢出覆盖虹膜图像的纹理信息,即在虹膜纹理信息处形成满量程的像素(白色)区域,极大的影响了虹膜识别结果。远光轴脉冲照明光源(8a,8b)与近光轴照明光源(9a,9b)作用最大的区别是(1)远光轴脉冲照明光源(8a,8b)与CMOS摄像机(12)组合用于成像眼睛虹膜纹理信息图像,必须尽可能的移去角膜和眼镜的镜面反射影响以获得无反射干扰的眼睛图像。
(2)近光轴照明光源(9a,9b)与广角CMOS摄像机(13)组合用于获得眼睛位置定位信息,眼睛位置定位信息是基于角膜和眼镜的镜面反射形成满量程的像素(白色)区域的中心位置定位。所以必须产生角膜和眼镜的镜面反射眼睛图像。
因此远光轴脉冲照明光源(8a,8b)与近光轴照明光源(9a,9b)的作用是相反的。
为满足于上述两种相反的要求,本发明通过预置至少两组照明光源的几何位置与眼睛特定的组合形成远光轴角度与近光轴角度成像的方法实现。远光轴角度与近光轴角度Q定义是照明光源中心和眼睛中心的连线相交于眼睛中心光轴线形成的夹角Q。
Q=arccos(E/S)EQ(5)其中以成像光轴为对称中心的预置照明光源中心几何位置空间坐标为(Xs,Ys,Zs),以成像光轴为对称中心的眼睛中心几何位置空间坐标为(X,Y,Z),它由眼睛位置定位信息(x,y,z)转换获得;S=[(X-Xs)2+(Y-Ys)2+(Z-Zs)2]1/2为眼睛中心相对于照明光源中心的物距;E=(Z-Zs)为眼睛中心平面相对于照明光源中心平面的物距。
优选实施例中要保证远光轴脉冲照明光源可靠的移去左右眼睛图像的角膜和眼镜的镜面反射,定义以下法则条件(R1)预置照明光源的几何位置与眼睛特定的组合形成的远光轴角度Q范围限制在15度到45度,Q=[15,45]度,并且该范围限制是最大可利用的。即,远光轴角度下限不能小于15度或上限不能大于45度。综合考虑实际应用时,可以使远光轴角度Q范围在15度到30度,Q=[15,30]度,或15度到22.5度,Q=[15,22.5]度。
(R2)预置照明光源的几何位置与眼睛特定的组合形成的远光轴角度Q在上述可利用的最大限制范围内以接近上限为最优选。即越接近上限(角度越大)移去镜面反射效果越好;(R3)至少需要两组预置照明光源几何位置;事实上,由眼睛位置定位信息(x,y,z)和预置照明光源的几何位置,根据三角几何原理和上述R1R2R3法则条件,就能直接采用最优选的照明光源几何位置与左右眼睛特定的组合成像用于获取移去镜面反射效果最好的图像。
以图7中预置两组远光轴脉冲照明光源(8a,8b)几何位置与眼睛特定的组合形成远光轴角度成像为例,远光轴角度Q分别定义照明光源中心(8a,8b)与眼睛中心(1,2)的连线相交于眼睛中心光轴(30a,30b)形成的夹角。
图7中远光轴角度Q定义形成4种照明光源几何位置(8a,8b)与左右眼睛(1,2)特定的组合的眼睛照明图像,如下(A)远光轴角度Q1,是照明光源中心(8b)与眼睛中心(1)的连线(31a)相交于眼睛中心光轴(30a)形成的夹角。
(B)远光轴角度Q2,是照明光源中心(8a)与眼睛中心(2)的连线(31b)相交于眼睛中心光轴(30b)形成的夹角。
(C)远光轴角度Q3,是照明光源中心(8a)与眼睛中心(1)的连线(32a)相交于眼睛中心光轴(30a)形成的夹角。
(D)远光轴角度Q4,是照明光源中心(8b)与眼睛中心(2)的连线(32b)相交于眼睛中心光轴(30b)形成的夹角。
其中用于特定组合成像的眼睛图像的照明光源(8a)与眼睛(1)及照明光源(8b)与眼睛(2)所形成的远光轴角度Q3,Q4不能上述R1或R2的法则条件。在不同眼睛位置定位信息(x,y,z)下,所最优选的远光轴角度为满足R1和R2法则条件的照明光源几何位置与左右眼睛特定的组合的。如图7中位于(1’,2’)位置左右眼睛,可以理解对于获取移去镜面反射效果最好的眼睛图像(1’),可能照明光源几何位置(8a)与眼睛(1’)特定的组合形成的远光轴角度也满足R1法则条件的,但由R2法则条件可知最优选的应该是是照明光源几何位置(8b)与眼睛(1’)特定的组合形成的远光轴角度;相同的方法对于获取移去镜面反射效果最好的眼睛图像(2’),最优选的也是照明光源几何位置(8b)与眼睛(2’)特定的组合形成的远光轴角度。
通过图7示例,可以证实由已知眼睛位置定位信息(x,y,z)和预置照明光源的几何位置,根据三角几何原理和上述R1R2R3法则条件,就能直接采用最优选的照明光源几何位置与左右眼睛特定的组合成像用于获取移去镜面反射效果最好的图像。这种方法被用于下述远光轴脉冲照明光源的几何位置控制。
定义眼睛位置定位信息(x,y,z)与照明光源的几何位置(POSITION)的成像控制参数形成对应输入输出值关系映射表(x,y,z;|POSITION)。优选实施例中可采用预置眼睛位置定位信息(x,y,z)与照明光源的几何位置(POSITION)的输入输出值关系映射表,然后通过对该映射表查表实现成像参数控制。输入输出值关系映射表根据EQ(5)关系转换获取或根据实际应用测定预置。尽管本实施例以远光轴脉冲照明光源(8a,8b)几何位置为例,但在满足上述R1R2R3法则条件下,其它不同数量不同几何位置的(如图7中8c,8d,8e,8f,8g,8h)远光轴脉冲照明光源与眼睛特定的组合形成远光轴角度成像的方法应被等同理解。
近光轴照明光源(9a,9b)与广角CMOS摄像机(13)组合用于获得眼睛位置定位信息,即要求在未知眼睛位置定位信息(x,y,z)的状态下保证近光轴照明光源可靠的产生角膜和眼镜的镜面反射眼睛图像。本发明通过同时使用全部(至少两组)预置照明光源的几何位置与眼睛组合形成近光轴角度成像实现。
与上述R1R2R3法则条件重要的区别是,保证近光轴照明光源可靠的产生角膜和眼镜的镜面反射,定义以下法则条件(H1)预置照明光源的几何位置与眼睛组合形成的近光轴角度Q小于7度,Q≤7度,并且该角度限制是最大可利用的。即,近光轴角度上限不能大于7度。
(H2)至少需要两组预置照明光源几何位置;(H3)同时使用全部预置照明光源的几何位置与眼睛组合成像;事实上,同时使用全部(至少两组)预置近光轴照明光源的目的是在任意眼睛位置状态下,保证照明光源几何位置与眼睛组合形成的近光轴角度处于在可利用的最大限制范围内,即小于7度,以产生可靠的角膜和眼镜的镜面反射眼睛图像。
以实施例来理解上述方法,即,同时使用全部预置近光轴照明光源(9a,9b)与左右眼睛(1,2)组合成像,能在未知眼睛位置定位信息(x,y,z)的状态下保证近光轴照明光源(9a,9b)可靠的产生左右眼睛(1,2)的角膜和眼镜的镜面反射眼睛图像。
连续照明光源组合CMOS摄像机用于成像眼睛虹膜纹理信息图像,存在以下缺点(1)为提供成像眼睛虹膜纹理信息图像需要的光学放大倍率,使来自使用者的自主的运动形成成像图像的运动模糊效应,影响了虹膜成像质量;(2)有部分人群存在频率很高的眨眼现象,它也导致运动模糊和成像眼睛虹膜纹理信息图像被频繁的睫毛,眼睑,眼睛覆盖等因素影响了虹膜成像质量和纹理信息;采用脉冲照明光源减少CMOS摄像机积分时间可以克服上述缺点。
脉冲照明光源是采用特定占空比的周期性脉冲能量驱动照明光源如表面发光二极管芯片(LED)辐射。连续照明光源可以认为是占空比100%的周期性脉冲照明光源。
采用脉冲照明光源的优点是CMOS光学图像传感器在单位时间周期内受到相同光辐射能量的条件下,控制脉冲照明光源的发射亮度和占空比,能成正比的减少CMOS摄像机积分时间(即暴光时间,EXPOSURE TIME),脉冲照明光源的脉冲发射时序与CMOS摄像机积分时序必须保证同步触发,实施例所述的CMOS摄像机积分时间小于1/500秒。采用发射亮度为L的连续照明光源,CMOS摄像机积分时间为1/50秒;CMOS受到相同光辐射能量的条件下,但采用发射亮度为10L,占空比10%,1/50秒时间为周期的脉冲照明光源,CMOS摄像机积分时间减少为1/500秒。
事实上,光学成像装置系统在固定成像波长范围内存在以下的光电转换关系简化定义方程V=C*[IRIS]2*[L/S2*cosQ]*T (EQ6)其中V为CMOS输出电压,它成正比于像素灰度值;C为光学成像装置系统光电转换常数;S为眼睛中心相对于脉冲照明光源中心的物距;cosQ为远光轴角度Q的三角余弦;IRIS为变焦距光学成像透镜组的相对孔径(即光圈F倒数);L为脉冲照明光源的发射亮度或辐射率(radiance,单位W·m-2·sr-1);T为脉冲照明光源的占空比时间,即CMOS摄像机积分时间。
脉冲照明光源的脉冲发射时序与CMOS摄像机积分时序必须保证同步触发。
在不同眼睛位置定位信息(x,y,z)时,为获取具有相同亮度等级即恒定的CMOS受辐射照度(irradiance,单位W·m-2)的高质量虹膜成像图像的要求,就要保证CMOS输出电压V应保持相同恒定,由光电转换关系方程可知就要求[IRIS]2*[L/S2*cosQ]*T相互乘积值关系属性保持恒定相同。即控制IRIS,L,T三元素的关系属性使它们满足上述相互乘积值相同的恒定条件。
定义上述三元素的关系属性具有以下约束法则条件;(M1)[IRIS]2*[L/S2*cosQ]*T相互乘积值关系属性保持恒定相同;(M2)使预定变焦距光学成像透镜组具有最大化的相对孔径IRIS,脉冲照明光源的占空比时间T,即CMOS摄像机积分时间小于1/500秒。
原因是IRIS与光电转换即光通量有平方正比关系,IRIS与变焦距光学成像透镜组的最小光学分辨率有线性正比关系,另外减少积分时间T获取高质量虹膜成像图像;(M3)更重要的问题是考虑到眼睛的角膜,水晶体及视网膜受到ANSI/IESNA RP 27.1-96,IEC60825-1等规定的红外光热辐射安全标准限制。脉冲照明光源的发射亮度L是受眼睛辐射安全标准上限LLimit限制,即脉冲照明光源的发射亮度L<LLimit。
事实上,在满足(M1)(M2)(M3)条件即可根据(EQ6)关系方程确定IRIS,L,T三元素。在不同眼睛位置定位信息(x,y,z)时,满足上述(M1)(M2)(M3)条件下实施例中通过同步控制成像参数
(1)脉冲照明光源发射亮度L;(2)脉冲照明光源的占空比时间T,即与CMOS摄像机积分时间同步触发;(3)变焦距光学成像透镜组的相对孔径IRIS(光圈F倒数);以实现成像图像具有相同的亮度等级的恒定光电转换输出。
定义眼睛位置定位信息(x,y,z)与脉冲照明光源发射亮度L,脉冲照明光源占空比时间T,变焦距光学成像透镜组相对孔径IRIS的成像控制参数形成对应输入输出值关系映射表(x,y,z;|L,T,IRIS)。输入输出值关系映射表根据(EQ6)关系方程转换获取或根据实际应用测定预置。
优选实施例中可采用预置眼睛位置定位信息(x,y,z)与脉冲照明光源发射亮度L,脉冲照明光源占空比时间T,变焦距光学成像透镜组相对孔径IRIS三元素的的输入输出值关系映射表,然后通过对该映射表查表实现成像参数控制。
优选实施例中PAN/TILT光学反射器(10)由以光学玻璃为光学元件基质提供镀膜的反射镜,安装在由PAN/TILT电机控制的旋转平台上组成。电机控制的旋转平台提供电机步进的水平面PAN和垂直面TILT的旋转角度位置调整控制旋转光学轴。PAN/TILT光学反射器(10)的作用是根据眼睛位置定位信息(x,y,z)调整PAN/TILT光学反射器(10)的PAN/TILT旋转光学轴的旋转角度,保证反射眼睛(1,2)的虹膜通过变焦距光学成像透镜组(11)物理聚焦成像至CMOS摄像机(12)视场中心。
定义眼睛位置定位信息(x,y,z)与PAN/TILT光学反射器的PAN和TILTT旋转光学轴电机位置的成像控制参数形成对应输入输出值关系映射表(x,y,z;|PAN,TILT)。
优选实施例中可采用预置眼睛位置定位信息(x,y,z)与PAN/TILT光学反射器的PAN和TILT旋转光学轴电机位置的输入输出值关系映射表,然后通过对该映射表查表实现成像参数控制。
优选实施例中变焦距光学成像透镜组(11)是采用球面技术的或非球面技术设计制造的变焦距光学成像透镜,非球面技术的优点是提高光学成像质量,增大光学系统视场和相对孔径,而且可以简化光学系统复杂度。理想的变焦距光学成像透镜组(11)采用部分光组元内聚焦方式设计制造。
另外变焦距光学成像透镜组提供光学像差校正,如单色差校正带通光学滤波器的光谱带通带限范围中心波长。
更进一步,如实施例中可以采用非传统的前沿的液态驱动光学成像透镜。
变焦距光学成像透镜组用于获取高质量的虹膜纹理图像。所述的高质量的虹膜纹理图像要求至少包括(1)虹膜纹理图像具有恒定的虹膜成像尺寸,即相同的光学放大倍率;(2)虹膜纹理图像具有最高聚焦质量,即位于像方焦点位置;
(3)如上述的虹膜成像图像具有相同亮度等级,即恒定的受辐射照度;在通过眼睛位置定位信息(x,y,z)获得用于对虹膜纹理聚焦成像的眼睛与变焦距光学成像透镜组(11)光学中心间的物距和物平面上虹膜物理尺寸相同(平均直径12mm)的条件下,根据成像透镜的几何光学成像原理,控制变焦距光学成像透镜组变焦(ZOOM),聚焦(FOCUS),相对孔径(IRIS,即光圈F倒数)的电机位置,实现像平面上光学成像虹膜图像具有恒定尺寸即相同的光学放大倍率和具有最高聚焦质量即位于相应的像方焦点位置。
定义眼睛位置定位信息(x,y,z)与变焦距光学成像透镜组的ZOOM/FOCUS/IRIS电机位置的成像控制参数形成对应输入输出值关系映射表(x,y,z;|ZOOM,FOCUS,IRIS)。
优选实施例中可采用预置眼睛位置定位信息(x,y,z)与变焦距光学成像透镜组的ZOOM/FOCUS/IRIS电机位置的输入输出值关系映射表,然后通过对该映射表查表实现成像参数控制。输入输出值关系映射表根据实际应用测定预置。
事实上,上述(M2)条件要求预定变焦距光学成像透镜组在不同焦距状态下具有最大化的相对孔径。包含两层约束条件(N1)所述的预定变焦距光学成像透镜组在实际设计制造时,使变焦距光学成像透镜组系统在不同焦距状态下具有可利用的相对孔径最大化。一般地说,在相对短焦距状态下比长焦距状态下具有更大的可利用相对孔径。
(N2)实际设计制造(N1)后,使预定变焦距光学成像透镜组在相应的不同焦距状态下具有最大化的相对孔径。
更进一步,等同实施例中满足(N1)(N2)约束条件的预定变焦距光学成像透镜组可不需要IRIS电机控制。因为设计制造时已保证使预定变焦距光学成像透镜组在相应的不同焦距状态下具有最大化的相对孔径。
综上所述,为了在系统工作范围内任意眼睛位置(x,y,z)都能获取高质量的虹膜纹理图像。即满足全部高质量的虹膜纹理图像要求(1)虹膜纹理图像具有恒定的虹膜成像尺寸,即相同的光学放大倍率;(2)虹膜纹理图像具有最高聚焦质量,即位于像方焦点位置;(3)虹膜成像图像具有相同亮度等级,即恒定的受辐射照度;(4)虹膜成像图像具有移去左右眼睛图像的角膜和眼镜的镜面反射;(5)虹膜成像图像具有所成像的虹膜位置在图像的中心。
(6)虹膜成像图像具有消除虹膜纹理的运动模糊和覆盖。
光学成像系统满足最小单位像素空间分辨率为20pixel/mm;最小光学空间分辨率在调制传递函数等于60%的调制度即对比度时为5lp/mm或在调制传递函数等于10%的调制度即对比度时为10lp/mm;最小信噪比SNR为48db;定义眼睛位置定位信息(x,y,z)输入值与相应的成像控制参数输出值(a)照明光源的几何位置POSITION,(b)PAN/TILT光学反射器的PAN和TILT旋转光学轴电机位置,(c)脉冲照明光源发射亮度L,脉冲照明光源占空比时间T,(d)变焦距光学成像透镜组的ZOOM/FOCUS/IRIS电机位置,形成对应输入输出值关系映射表(x,y,z;|POSITION,PAN,TILT,L,T,ZOOM,FOCUS,IRIS)。优选实施例中采用预置眼睛位置定位信息(x,y,z)与上述(a)至(d)的输入输出值关系映射表,然后通过对映射表查表实现成像参数控制。本发明采用眼睛位置定位信息(x,y,z)与成像控制参数输入输出值关系映射表(x,y,z;|POSITION,PAN,TILT,L,T,ZOOM,FOCUS,IRIS)统一的查表同步控制,实现快速(如1秒内)获取高质量的虹膜纹理图像的方法。
优选实施例中,输入输出值关系映射表(x,y,z;|POSITION,PAN,TILT,L,T,ZOOM,FOCUS,IRIS)通过采用预定的线性采样分辨率精度对眼睛位置定位信息(x,y,z)等间隔线性采样输入输出值预置实现。
实施例中所述眼睛位置定位信息(x,y,z)预定的最小线性采样分辨率精度为x水平方向的等间隔线性采样分辨率精度每度1采样(lsampling/degree);y垂直方向的等间隔线性采样分辨率精度每度1采样(lsampling/degree);z物距方向的等间隔线性采样分辨率精度每毫米0.25采样(0.25sampling/mm)。
如由z物距方向25-50cm,x水平方向60度,y垂直方向60度构成的立体视场范围(+/-15度水平面PAN旋转角度和+/-15度垂直面TILT旋转角度),满足上述预定的线性采样分辨率精度要求下,眼睛位置定位信息(x,y,z)为等间隔线性采样(32,32,64)个输入输出值预置点实现。预置(x=32,y=32,z=64)个眼睛位置定位信息输入值与相应的成像控制参数的输出值关系形成映射表。
当然更优选的方法采用不同的更高线性采样分辨率精度,但在实际选用时应考虑映射表数据量,查表速度,眼睛位置定位信息精确度等综合指标。
上述驱动成像控制参数PAN,TILT,ZOOM,FOCUS,IRIS部分输出值采用电机电路控制,如步进电机,计算输出值目标位置与当前位置相对位置差,转换相对位置差为相应的电机驱动脉冲个数,驱动电机至输出值目标位置。更进一步的考虑电机位置可能产生的误差累积,采用初始化校正位置消除误差累积。事实上,映射表查表实现控制方法相对来说是具有实现复杂度低,可靠性高,速度快特性。
优选实施例中上述光学元件等实际选用时,应考虑光学元件合适的光学基质材料质量,光学像差,光学稳定性,线性温度漂移,物理性能等光学工程工艺要求。
优选实施例中上述电机机械传动和半导体电路等实际选用时,应考虑误差累积,使用寿命,可靠性,电磁干扰等电气电子性能工程工艺要求。
上述内容详细描述本发明实施例1的系统构成,光学原理及各单元功能,作用和特征。
以下详细描述本发明实施例1中系统对各单元功能控制的方法,以组成完整的实际应用系统。本发明实施例1面部/虹膜组合光学成像的方法,其特征是包括眼睛位置跟踪和定位,及获取最高质量的虹膜纹理图像步骤。
本发明实施例1中系统对眼睛位置跟踪和定位方法,它包括以下步骤(1)启动数字信号处理器与控制器单元;(2)获取连续序列帧场景图像{I(j)},运动检测判断是否有使用者进入场景图像,如果是执行下步骤(3),否循环执行本步骤(2);所述的运动检测判断方法采用连续场景图像互差分变化是否大于预定值Vmax,|I(j+K)-I(j)|>Vmax,K为固定帧间隔数;(3)获取连续序列帧场景图像{I(j)},运动检测判断使用者是否保持相对静止,如果是执行步骤(4),否循环执行步骤(3);所述的运动检测判断方法采用连续场景图像互差分变化是否小于预定值Vmin,|I(j+K)-I(j)|<Vmin,K为固定帧间隔数;(4)获取前景图像;所述的前景图像采用上述实时场景图像中相对运动的场景图像差分获取,或前景图像采用场景图像与预置存储的背景图像差分获取。
(5)定义前景图像中粗糙的面部位置局部区域为初始化局部评价区域,定义局部评价区域范围为x=[Xl,Xr],y=[Yu,Yb],它由面部固定物理几何尺寸与广角CMOS摄像机固定光学成像参数的几何成像关系粗糙的近似确定;(6)特征模板检测方法模糊到精确迭代搜索获取前景图像中左眼位置(x0,y0)与右眼位置(x1,y1);所述的前景图像中左眼位置(x0,y0)与右眼位置(x1,y1)获取方法包括以下步骤6.1定义格式化前景图像I,定义格式化标准面部特征模板图像(或格式化标准局部眼睛特征模板图像)T,模板图像T评价宽度为2W,模板图像T评价高度为2H;定义初始化模板图像T感兴趣缩放比例(ZOI)评价值R范围为
;说述的格式化采用边缘算子(如Roberts算子,Prewitte算子,Sobel算子等)结合带通滤波的方法,目的是增强图像边缘特征对比度和减少高频噪声干扰,理想的格式化方法采用LOG(Laplacian of Gaussian)或Canny算子获得,它结合图像Gaussian积差分操作实现,具有最佳的特征提取性能。
定义格式化前景图像中粗糙的面部位置初始化局部评价区域中心范围为初始化图像感兴趣局部评价区域(ROI),即定义初始化图像感兴趣局部评价区域(ROI)为Xc=[Xl+3/8*(Xr-Xl),Xl+5/8*(Xr-Xl)],Yc=[Yu+3/8*(Yb-Yu),Yu+5/8*(Yb-Yu)];定义初始化等间隔采样方式为粗糙的模糊尺度(低采样分辨率精度);6.2定义以R为感兴趣缩放比例(ZOI)评价值产生R*2W为评价宽度,R*2H为评价高度的面部特征模板图像(或局部眼睛特征模板图像)T,及相匹配的在图像感兴趣局部评价区域(ROI)中以[Xc,Yc]为评价中心点,R*2W为评价宽度,R*2H为评价高度的评价区域匹配图像I,定义特征模板检测算子(FFTT)评价值FFTT(Xc,Yc,R)={∑x∑y|I(Xc-R*W+x,Yc-R*H+y)-T(x,y)|}/(N*M);其中x=[1,N],y=[1,M];N=R*2W,M=R*2H;事实上不同R具有不同的N,M取样数量,更进一步为提高实时性能以固定数量等间隔采样方式对N,M统一的取样计算定义的特征模板检测算子(FFTT)评价值。
6.3定义以等间隔采样方式取样感兴趣缩放比例(ZOI)评价值范围内所有评价值R产生的R*2W为评价宽度,R*2H为评价高度的面部特征模板图像(或局部眼睛特征模板图像)T,及相匹配的在感兴趣局部评价区域(ROI)内以等间隔采样方式取样所有评价中心点[Xc,Yc]产生的R*2W为评价宽度,R*2H为评价高度的评价区域匹配图像I,生成特征模板检测算子(FFTT)评价值集合{FFTT(Xc,Yc,R)}。
6.4定义6.3中特征模板检测算子(FFTT)评价值集合{FFTT(Xc,Yc,R)}最小值min{FFTT(Xc,Yc,R)}或min{Gσ*FFTT(Xc,Yc,R)}其中Gσ*为Gaussian滤波函数卷积;6.5重定义迭代参数以6.4中搜索到最小值所对应的评价区域匹配图像I评价中心点[Xc,Yc]为中心范围生成新ROI感兴趣局部评价区域;以6.4中搜索到最小值所对应的模板图像T感兴趣缩放比例(ZOI)评价值R为中心范围生成新感兴趣局部缩放比例(ZOI)评价值范围;定义更精确的高采样分辨率精度的等间隔采样方式(即采用更精确的模糊尺度)。
6.6迭代6.3到6.5步骤,终止条件为执行单像素等间隔采样分辨率精度。
6.7根据特征模板检测信息(Xc,Yc,R)获取前景图像中左眼位置(x0,y0)与右眼位置(x1,y1)。
事实上,考虑实时性能和检测可靠性,预先计算由特征对称性获取的特征模板检测信息的宽度(x坐标)中心点位置Xc,该方法通过以下步骤获取Xc1.定义图像中特征模板检测信息的宽度(x坐标)中心点位置Xc感兴趣局部评价区域(ROI)为Xc=[Xl+3/8*(Xr-Xl),Xl+5/8*(Xr-Xl)];2.定义特征对称检测算子(FFST)FFST(Xc)={∑x ∑y|I(Xc-x,y)-I(Xc+x,y)|};其中x=[1,(Xr-Xl)/4],y=[Yu+1/4*(Yb-Yu),Yu+3/4*(Yb-Yu)];;3.定义在所有感兴趣局部评价区域(ROI)范围内的Xc,生成特征对称检测算子(FFST)评价值集合{FFST(Xc)}。
4.定义特征对称检测算子(FFST)评价值集合{FFST(Xc)}最小值min{FFST(Xc)};5.定义特征模板检测信息的宽度(x坐标)中心点位置为{FFST(Xc)}中搜索到最小值所对应Xc;上述方法也等同的通过等间隔采样方式取样计算模糊到精确迭代实现。
在已知特征模板检测信息的宽度(x坐标)中心点位置Xc的条件下,上述特征模板检测方法的算法复杂度从0(N3)降低到0(N2),同时更进一步提高方法的实时性能和检测稳定可靠性。
为更进一步提高眼睛位置检测性能和检测可靠性,等价替代格式化标准面部特征模板图像为格式化标准局部眼睛特征模板图像,获取格式化前景图像中更精确的左眼位置(x0,y0)与右眼位置(x1,y1)。
本发明所描述的模糊到精确迭代搜索的特征模板检测方法基于固定的面部物理几何尺寸比例与面部特征的先验知识,上述方法与人类视觉搜索原理类似,当然上述方法可以优化整型代码实时实现。
(7)在前景图像中粗糙的面部位置初始化局部评价区域内搜索镜面反射的中心位置,精确确定左眼位置(x0,y0)与右眼位置(x1,y1);所述的镜面反射中心位置搜索方法包括以下步骤7.1定义镜面反射预定值Tmax,Tmax定义为CMOS像素满量程值或初始化局部评价区域范围内像素最大值Tmax=max{I(x,y)},其中x=[Xl,Xr],y=[Yu,Yb];7.2遍历初始化局部评价区域范围内满足以下条件的像素位置坐标{(xi,yi);i=1,…,N}集合I(x,y)=Tmax,其中x=[Xl,Xr],y=[Yu,Yb];7.3利用以下中心坐标统计方程,确定镜面反射中心位置(Xc,Yc);Xc=∑xi/N i=1,…,NYc=∑yi/N i=1,…,N;7.4遍历左面部位置局部区域范围内(镜面反射中心位置Xc左平面)满足以下条件的像素位置坐标{(xi,yi);i=1,…,M}集合I(x,y)=Tmax,其中x=[Xl,Xc],y=[Yu,Yb];7.5精确确定左眼位置(x0,y0);x0=∑xi/M i=1,…,My0=∑yi/M i=1,…,M;7.6遍历右面部位置局部区域范围内(镜面反射中心位置Xc右平面)满足以下条件的像素位置坐标{(xi,yi);i=1,…,K}集合I(x,y)=Tmax,其中x=[Xc,Xr],y=[Yu,Yb];7.7精确确定右眼位置(x1,y1);x1=∑xi/K i=1,…,Ky1=∑yi/K i=1,…,K;7.8输出左眼位置(x0,y0)与右眼位置(x1,y1)上述镜面反射中心位置搜索方法中7.2和7.3的作用是确定镜面反射中心位置以区分左面部和右面部位置(左平面和右平面),当然该左右面部区分也可通过上述特征对称检测算子(FFST)方法获取。
更进一步的,通过判断Xc-(x0+x1)/2,Yc-(y0+y1)/2,N,M,K,M/K数值属性是否处于预定值范围内确定镜面反射存在的可靠性。
(8)判断上述(6)与(7)步骤输出的左眼位置(x0,y0)与右眼位置(x1,y1)数值差是否处于预定误差范围内;如果是执行下步骤(9),否循环执行眼睛位置跟踪和定位步骤(4)。要求处于预定误差范围内是为了提高眼睛位置定位信息可靠性和精确度。
(9)根据输出的左眼位置(x0,y0)与右眼位置(x1,y1)坐标信息,通过映射表查表实现获取眼睛的物距信息z。
如上所述,通过对预置成像图像中左右眼睛坐标位置间隔信息d与眼睛物距信息z的输入输出值关系映射表(d;|z)查表实现获取眼睛的物距信息z。
本发明获取使用者眼睛物距信息z的方法,采用根据左右眼睛位置固定的物理间隔信息与广角CMOS摄像机固定光学成像参数的几何成像关系事实。
(10)获取眼睛坐标位置定位信息(x,y,z),定义为x=(x0+x1)/2;y=(y0+y1)/2;z=(d;|z);d=[(x1-x0)2+(y1-y0)2]1/2其中(x0,y0)和(x1,y1)分别为成像图像左右眼睛位置坐标信息;上述内容描述了系统对眼睛位置跟踪和定位特征功能控制技术方法细节。当然另外类似等价原理方法也可等效替代上述步骤。
事实上,采用预置眼睛位置定位信息(x,y,z)输入值与相应的成像控制参数输出值形成对应输入输出值关系映射表(x,y,z;|POSITION,PAN,TILT,L,T,ZOOM,FOCUS,IRIS),通过对映射表查表实现系统成像参数同步控制。
系统成像参数为获取最高质量的虹膜纹理图像的决定性因素,要求获取最高质量的虹膜纹理图像,必须获取最精确的系统成像参数输出值,即等价的要求眼睛位置定位信息(x,y,z)输入值必须获取最精确。
尽管左眼位置(x0,y0)与右眼位置(x1,y1)坐标定位信息具有可靠性和精确度满足虹膜成像图像具有所成像的虹膜位置在图像的中心,但综观各种实际原因如系统在预置环境与实际环境误差,左右眼睛间隔误差等,要求直接获取最精确的眼睛的物距信息是困难的,特别是虹膜纹理图像聚焦质量对眼睛位置定位信息最为敏感,在大放大倍率下即使眼睛的物距信息有微小测量误差(如10mm)也将导致使其图像充分散焦。因此重大的挑战是如何校准系统成像参数以获取最高质量的虹膜纹理图像。
本发明快速的获取最高质量的虹膜纹理图像方法,通过系统成像参数同步控制与校准获取最高质量的虹膜纹理图像,基于初始化获取眼睛位置定位信息(x,y,z)中固定的眼睛坐标定位信息(x,y),在不同眼睛物距信息z时输入值与预置映射表查表同步控制相应系统成像参数输出值,搜索虹膜纹理图像聚焦质量评价值,以校准到使虹膜纹理图像聚焦质量评价值最大化的输入值为最精确的眼睛位置定位信息(x,y,z)。相对于眼睛位置定位信息(x,y,z)中固定的眼睛坐标定位信息(x,y),在不同眼睛物距信息z时,根据(EQ1)(EQ2)(EQ3)(EQ4)关系转换方程可知水平面PAN旋转光学轴的旋转角度与垂直面TILT旋转光学轴的旋转角度是相同的,相同的还包括照明光源的几何位置POSITION。即初始化映射表查表(x,y,z;|POSITION,PAN,TILT,L,T,ZOOM,FOCUS,IRIS)同步控制后,映射表查表校准系统成像参数同步控制简化为(x,y,z;|L,T,ZOOM,FOCUS,IRIS)。换句话说,初始化映射表查表同步控制后,映射表查表校准系统成像参数同步控制可省略POSITION,PAN,TILT,因为在固定的眼睛坐标定位信息(x,y),不同眼睛物距信息z时,它的控制结果与初始化相同。更进一步为考虑系统校准速度,可以理解映射表查表校准系统成像参数同步控制可省略POSITION,PAN,TILT,L,T,ZOOM,IRIS,映射表查表校准系统成像参数仅同步控制(x,y,z;|FOCUS)。
预置映射表查表校准眼睛位置定位信息(x,y,z)在固定的眼睛坐标定位信息(x,y),不同眼睛物距信息z时输入值与相应的同步控制系统成像参数输出值时,它们与实际最正确(最精确)的输入/输出值间偏离变化可以通过虹膜纹理图像聚焦质量评价值呈现接近高斯(Gaussian)测量函数的聚焦到散焦状态反映。当校准输入/输出值为实际最正确(最精确)时,虹膜纹理图像聚焦质量评价值最大化,处于最高聚焦状态(对应高斯测量函数极大峰值)。反之以接近高斯测量函数变化散焦。
该方法原理为基于在最精确的眼睛位置定位信息(x,y,z)输入值时,同步控制相应系统成像参数输出值搜索到的虹膜纹理图像聚焦质量评价值为最大值,此最大值满足最高质量的虹膜纹理图像获取的要求。
但实际环境下因为眼睛位置定位信息搜索校准系统成像参数是相对于预置映射表中预置的采样数据来说,在实际环境中搜索最高聚焦质量对应的聚焦位置(FOCUS电机聚焦位置)一般并不位于像方焦点位置处而是接近像方焦点位置的局部范围,最后必须通过搜索FOCUS电机聚焦位置从接近像方焦点位置的局部范围到使图像聚焦质量评价值最大化的精确的像方焦点位置的搜索方法解决实现。
该方法完全基于对实际成像的虹膜纹理图像聚焦质量评价值闭环反馈控制,具有高自适应性,高可靠性,高稳定性,高精确度特征。因为获取最高质量的虹膜纹理图像是本发明的最终目的之一。
由于使用者使用时间短(如1秒内)和不能保持长时间相对静止,很明显的,搜索速度成为最重要的问题。为了解决此问题本发明采用模糊到精确迭代搜索方法使搜索速度达到最大化,通过理论和实践证明了该方法搜索速度达到最大化。
本发明快速的获取最高质量的虹膜纹理图像控制方法,它包括以下步骤(1)根据初始化获取的眼睛位置定位信息(x,y,z)输入值,对预置映射表查表同步控制成像参数输出值;如上说述,预置眼睛位置定位信息(x,y,z)输入值与相应的成像控制参数输出值形成对应输入输出值关系映射表(x,y,z;|POSITION,PAN,TILT,L,T,ZOOM,FOCUS,IRIS),通过初始化获取的眼睛位置定位信息(x,y,z)对预置映射表查表实现系统成像参数同步控制。
(2)模糊到精确迭代搜索方法预置映射表查表校准系统成像参数;预置映射表查表校准眼睛位置定位信息(x,y,z)在固定的眼睛坐标定位信息(x,y),不同眼睛物距信息z时输入值及同步控制成像参数输出值(x,y,z;|L,T,ZOOM,FOCUS,IRIS)条件产生的虹膜纹理图像聚焦质量评价值FQ(x,y,z);模糊到精确迭代搜索方法搜索使虹膜纹理图像聚焦质量评价值FQ(x,y,z)最大化所对应的眼睛位置定位信息(x,y,z)输入值及预置映射表查表同步控制成像参数输出值条件,完成校准眼睛位置定位信息(x,y,z)与同步控制成像参数;所述的模糊到精确迭代搜索方法控制流程详细描述为(见图8)(a)初始化定义眼睛位置(x,y,z)对应的搜索位置为搜索中心位置Center=z,及感兴趣搜索范围N;初始化定义搜索步进位置Step=N/4;初始化定义搜索中心位置图像最高聚焦质量评价值FQ=FQ(x,y,z);(b)眼睛位置(x,y,Center+Step)输入值预置映射表查表同步控制成像参数输出值,获取眼睛位置(x,y,Center+Step)对应的图像聚焦质量评价值FQ1=FQ(x,y,Center+Step),判断FQ1>FQ,如果是执行交换存储图像最高聚焦质量评价值FQ=FQ1,重定义迭代搜索参数搜索中心位置Center=Center+Step,搜索步进位置Step=Step/2及步骤(e),否执行下步骤(c);(c)定义反向搜索步进位置Step=-Step,眼睛位置(x,y,Center+Step)输入值预置映射表查表同步控制成像参数输出值,获取眼睛位置(x,y,Center+Step)对应的图像聚焦质量评价值FQ2=FQ(x,y,Center+Step),判断FQ2>FQ,如果是执行交换存储图像最高聚焦质量评价值FQ=FQ2,重定义迭代搜索参数搜索中心位置Center=Center+Step,搜索步进位置Step=Step/2及步骤(e),否执行下步骤(d);(d)判断FQ1>FQ2,如果是执行定义反向搜索步进位置Step=-Step/4,否执行定义正向搜索步进位置Step=Step/4。重定义迭代搜索参数搜索中心位置Center=Center,搜索步进位置Step=Step;(e)判断终止条件|Step|<1,即执行完成单步进位置搜索。如果是执行步骤(g),否执行下步骤(f);(f)迭代搜索步骤(b)到(e),终止条件为步骤(e)中|Step|<1;(g)输出眼睛位置定位信息I(x,y,Center),同时完成系统成像参数校准;
另外,本发明模糊到精确迭代搜索方法可替代为(a)初始化定义眼睛位置(x,y,z)对应的搜索位置为搜索中心位置Center=z,及感兴趣搜索范围N;初始化定义搜索步进位置Step=N/4;初始化定义搜索中心位置图像最高聚焦质量评价值FQ=FQ(x,y,z);(b)眼睛位置(x,y,Center+Step)输入值预置映射表查表同步控制成像参数输出值,获取眼睛位置(x,y,Center+Step)对应的图像聚焦质量评价值FQ1=FQ(x,y,Center+Step),判断FQ1>FQ,如果是执行重定义迭代搜索参数搜索中心位置Center=Center+P(FQ1-FQ,Step),搜索步进位置Step=Step/4,交换存储图像最高聚焦质量评价值FQ=FQ1及步骤(e),否执行下步骤(c);(c)定义反向搜索步进位置Step=-Step,眼睛位置(x,y,Center+Step)输入值预置映射表查表同步控制成像参数输出值获取眼睛位置(x,y,Center+Step)对应的图像聚焦质量评价值FQ2=FQ(x,y,Center+Step),判断FQ2>FQ,如果是执行,重定义迭代搜索参数搜索中心位置Center=Center+P(FQ2-FQ,Step),搜索步进位置Step=Step/4,交换存储图像最高聚焦质量评价值FQ=FQ2及步骤(e),否执行下步骤(d);(d)判断FQ1>FQ2,如果是执行定义反向搜索步进位置Step=-Step/4,否执行定义正向搜索步进位置Step=Step/4。重定义迭代搜索参数搜索中心位置Center=Center,搜索步进位置Step=Step;(e)判断终止条件|Step|<1,即执行完成单步进位置搜索。如果是执行步骤(g),否执行下步骤(f);(f)迭代搜索步骤(b)到(e),终止条件为步骤(e)中|Step|<1;(g)输出眼睛位置定位信息I(x,y,Center),同时完成系统成像参数校准;其中P(FQ1-FQ,Step)或P(FQ2-FQ,Step)是以差分形式(FQ1-FQ)或(FQ2-FQ)与Step为参数的搜索中心位置预测函数,可通过预置查表实现。采用搜索中心位置预测方法是为提高搜索中心位置准确性,并减少搜索步进位置为Step=Step/4。等同理解也可采用比例形式的搜索中心位置预测函数P(FQ1/FQ,Step)或P(FQ2/FQ,Step)实现。
本发明模糊到精确迭代搜索方法本质是通过从模糊的全局范围到更精确的局部范围逐步迭代至完成单步进位置搜索终止。
本发明上述两种模糊到精确迭代搜索方法在搜索范围N内平均搜索速度理论值为log2(N)和log4(N),实践证明平均搜索速度分别接近log2(N)和log4(N),而传统的顺序搜索方法平均搜索速度N。如上述实施例中N=256,仅接近log2(256)=8次或log4(256)=4次搜索。
本发明模糊到精确迭代搜索方法比传统的顺序搜索方法重大的优点是即搜索速度达到最大化,这不仅能快速获取最高聚焦质量的图像(如1s内),而且上述通过眼睛位置定位信息(x,y,z)输入值及预置映射表查表同步控制成像参数输出值的搜索过程,必须采用电机控制驱动成像控制参数输出值,而电机使用寿命成反比与电机驱动次数(电机一次驱动为电机启动,运动,停止过程)。搜索速度达到最大化即意味着电机驱动次数最小化,使用寿命最大化。
另外上述方法中搜索位置采用输出值目标位置表示,但实际应用时,采用计算输出值目标位置与当前位置相对位置差,转换相对位置差为相应的电机驱动脉冲个数,驱动电机至输出值目标位置。
在实际环境下,由于眼睛位置定位信息(x,y,z)与系统成像参数同步控制映射表的采样数据精度,采样数据容量,系统在预置环境与实际环境误差等导致像方焦点位置测不准。步骤(2)最后眼睛位置(x,y,Center)搜索最高聚焦质量对应的聚焦位置(FOCUS电机聚焦位置)一般并不位于像方焦点位置处,因为步骤(2)眼睛位置搜索校准系统成像参数是相对于预置映射表中预置的采样数据来说,可以理解步骤(2)眼睛位置搜索为从感兴趣的全局搜索范围到接近像方焦点位置的局部范围。
(3)模糊到精确迭代搜索方法校准系统成像参数的聚焦位置(即FOCUS聚焦电机位置)位于像方焦点位置获取虹膜纹理图像最高聚焦质量的图像及评价值。
获取虹膜纹理图像最高聚焦质量的图像等价于使FOCUS聚焦电机的聚焦位置位于像方焦点位置。
获取位于像方焦点位置处的最高聚焦质量虹膜纹理图像通过采用模糊到精确迭代搜索方法单独校准系统成像参数的聚焦位置(即FOCUS聚焦电机位置)实现。该校准方法与上述模糊到精确迭代搜索方法等效,如流程图9,唯一区别是通过步骤(2)中最后输出眼睛位置(x,y,Center)搜索对应的聚焦位置(FOCUS电机聚焦位置)为搜索中心位置单独校准系统成像参数的聚焦位置(即,FOCUS聚焦电机位置),使图像聚焦质量评价值最大化实现,即等价于FOCUS聚焦电机的聚焦位置位于像方焦点位置。应该理解步骤(3)使图像聚焦质量评价值最大化的模糊到精确迭代搜索方法并不采用预置映射表,即它不依赖于预置映射表,而是通过采用在实际环境下,从步骤(2)中感兴趣的接近像方焦点位置的局部聚焦位置搜索范围到使图像聚焦质量评价值最大化的精确的像方焦点位置模糊到精确迭代搜索方法。
另外采用更简单的模糊到精确迭代搜索方法,如流程图10,所述的模糊到精确迭代搜索方法控制流程详细描述为(a)初始化定义眼睛位置搜索对应的聚焦位置(FOCUS电机聚焦位置)为搜索中心位置Center=FOCUS;初始化定义感兴趣聚焦位置搜索范围[Start=Center-N/2,End=Center+N/2];初始化定义聚焦位置搜索范围[Start,End]内等间隔采样数量M;
初始化定义中心位置最高聚焦质量图像I=I(Center);初始化定义中心位置图像最高聚焦质量评价值FQ=FQ(Center);(b)获取感兴趣聚焦位置搜索范围[Start,End]内等间隔采样数量M的各聚焦位置图像{Ij}及聚焦质量评价值{FQj}(j∈[1,M])集合;(c)获取评价值集合{FQj}中最大值FQk=max{FQj}及相应的图像Ik或集合{FQj}中峰值FQk={FQk-1<FQk>FQk+1}及相应的图像Ik;(d)交换存储最高聚焦质量评价值FQ=FQk及图像I=Ik;(e)定义Step=(End-Start)/M;Center=Start+k*Step;(f)判断终止条件Step=1,即执行完成单步进位置搜索。如果是执行步骤(h),否执行下步骤(g);(g)重定义聚焦位置搜索范围[Start=Center-Step/2,End=Center+Step/2];迭代搜索步骤(b)到(f),终止条件为步骤(f)中Step=1;(h)输出最高聚焦质量图像I及评价值FQ,同时完成FOCUS聚焦电机的聚焦位置位于像方焦点位置;在实际环境下,本发明解决了提出的如何快速的校准系统成像参数以获取最高质量的虹膜纹理图像问题。
本发明采用带通滤波特性定义的图像聚焦质量(Focus Quality)评价方法,它包括以下步骤1.定义图像聚焦质量评价感兴趣空间像素灰度带通滤波频率范围[FH,FL];定义满量程空间像素灰度频率Fn为Nyquist空间像素灰度采样频率;Fn/2为最大空间像素灰度采样频率,如Fn=256满量程空间像素灰度分辨率,256/2=128为最大采样频率。如选用[FH=128,FL=32];2.定义图像聚焦质量卷积内核评价值FQ(i,j)FQ1(i,j)={∑n∑m|I(i+n,j+m)-I(i,j)|}/(N*M-1)或FQ2(i,j)={∑n∑m[I(i+n,j+m)-I(i,j)]2}/(N*M-1);其中F=128/FH;如F=1;n=[-F,+F],N=2*F+1,m=[-F,+F],M=2*F+1。
i=[1,I],j=[1,J],I,J为x(水平)与y(垂直)方向整体图像像素分辨率数量,可选的图像聚焦质量卷积内核评价值FQ1(i,j)或FQ2(i,j)定义是等同的。
上述定义中图像聚焦质量评价感兴趣空间像素灰度带通滤波频率范围等效于无直流响应(DC)的全通滤波频率范围。
3.定义在感兴趣空间像素灰度带通滤波频率范围[FH,FL]内有效带通滤波图像聚焦质量卷积内核评价值FQ(i,j)FQ1(i,j)=FQ1(i,j),if FH>FQ1(i,j)>FL;FQ1(i,j)=0,else;或相应的FQ2(i,j)=FQ2(i,j),if FH2>FQ2(i,j)>FL2,FQ2(i,j)=0,else;从定义(2)无直流响应(DC)的全通滤波频率范围选择符合在感兴趣空间像素灰度带通滤波频率范围[FH,FL]内的图像聚焦质量卷积内核评价值FQ(i,j)定义为有效带通滤波图像聚焦质量卷积内核评价值,否则置0为无效带通滤波图像聚焦质量卷积内核评价值。
换句话说,选择图像聚焦质量卷积内核评价值中在感兴趣空间像素灰度带通滤波频率范围[FH,FL]内的有效的带通滤波值,图像聚焦质量卷积内核评价值属性从无直流响应(DC)的全通滤波定义为带通滤波;4.定义图像聚焦质量评价值FQFQ={∑i∑j FQ(i,j)}或FQ={∑i∑j FQ(i,j)}/C;其中i=[1,I],j=[1,J],I,J为x(水平)与y(垂直)方向整体图像像素分辨率数量,C为有效带通滤波图像聚焦质量卷积内核评价值FQ(i,j)个数计数数量,即在感兴趣空间像素灰度带通滤波频率范围[FH,FL]内的有效带通滤波图像聚焦质量卷积内核评价值FQ(i,j)的个数计数数量;本发明上述定义的图像聚焦质量评价方法,从无直流响应(DC)的全通滤波频率范围选择符合在感兴趣空间像素灰度带通滤波频率范围[FH,FL]内的图像聚焦质量卷积内核评价值FQ(i,j)定义为有效带通滤波图像聚焦质量卷积内核评价值,卷积整体图像像素获取图像聚焦质量评价值FQ。
本发明定义的另一种图像聚焦质量评价方法,它包括以下步骤1.定义图像聚焦质量评价感兴趣空间像素灰度带通滤波频率范围[FH,FL];2.定义图像聚焦质量卷积内核评价值FQ(i,j)FQ1(i,j)={∑n∑m|I(i+n,j+m)-I(i,j)|}-2*{∑p∑k |I(i+p,j+k)-I(i,j)|};或FQ2(i,j)={∑n∑m[I(i+n,j+m)-I(i,j)]2}-2*{∑p∑k[I(i+p,j+k)-I(i,j)]2};其中F1=128/FL,F2=128/FH,如FH=128,FL=64;n=[-F1,+F1],N=2*F1+1,m=[-F1,+F1],M=2*F1+1;
p=[-F2,+F2],P=2*F2+1,k=[-F2,+F2],K=2*F2+1;可选的图像聚焦质量卷积内核评价值FQ1(i,j)或FQ2(i,j)定义是等同的。
上述定义中图像聚焦质量卷积内核评价值FQ(i,j)的空间像素灰度带通滤波频率范围等效为[FH,FL]。
3.定义图像聚焦质量评价值FQFQ={∑i∑j FQ(i,j)}其中i=[1,I],j=[1,J],I,J为x(水平)与y(垂直)方向整体图像像素分辨率数量,上述本发明定义的图像聚焦质量评价方法,等效于获取空间像素灰度带通滤波频率范围[FH,FL]内的带通滤波信息用于卷积整体图像像素获取图像聚焦质量评价值FQ。
事实上更进一步为提高实时性能以固定数量等间隔采样方式对i,j取样计算定义。
同样上述本发明定义的方法可以优化整型代码实时实现。
基于带通滤波的虹膜纹理图像聚焦质量评价具有更高可靠性,自适应性和准确性。重要原因是虹膜的纹理内容信息为具有相同的高中频带通特性的信息成份构成。
实施例2、本发明的具体实施例2光学成像装置的成像光学原理图12,包括以下单元组成近红外光漫射器(3,4),冷背光光源(5),PAN/TILT带通光学滤波器(6),工作区域(视场)光学投影引导光束(7a,7b,7c,7d),远光轴脉冲照明光源(8a,8b),变焦距光学成像透镜组(11),CMOS摄像机(12),近光轴照明光源(9a,9b),光学反射器(21),引导指示器(15a,15b),全通光学滤波器(22),广角CMOS摄像机(13)。(1,2)为左右眼睛。PAN/TILT带通光学滤波器(6)由PAN/TILT光学反射器与带通光学滤波器构成,所述的带通光学滤波器反射可见光,透射近红外光。
眼睛位置定位信息(x,y,z)由近光轴照明光源(9a,9b)与广角CMOS摄像机(13)组合形成的面部成像光路系统实现。具体实施例2实施的图12光路系统,从来自冷背光光源(5)和外围环境的可见光,远光轴脉冲照明光源(8a,8b)的近红外光在眼睛(1,2)处反射,反射光通过全通光学滤波器(22),进入PAN/TILT带通光学滤波器(6)实现光路分解反射可见光到达光学反射器(21)并按照原入射光路形成反射最后又返回眼睛(1,2)用于视觉反馈;同时根据眼睛位置定位信息(x,y,z)调整PAN/TILT旋转光学轴电机位置,透射近红外光使眼睛(1,2)的虹膜通过变焦距光学成像透镜组(11)物理聚焦成像至CMOS摄像机(12)视场中心。
作为相同目的的成像光路变形,等同理解的本发明的具体实施例2光学成像装置的成像光学原理图3它包括以下单元组成近红外光漫射器(3,4),冷背光光源(5),工作区域(视场)光学投影引导光束(7a,7b,7c,7d),远光轴脉冲照明光源(8a,8b),变焦距光学成像透镜组(11),CMOS摄像机(12),PAN/TILT带通光学滤波器(20),光学反射器(21),引导指示器(15a,15b),全通光学滤波器(22),近光轴照明光源(9a,9b),广角CMOS摄像机(13),(1,2)为左右眼睛。PAN/TILT带通光学滤波器(20)由PAN/TILT光学反射器与带通光学滤波器构成,所述的带通光学滤波器反射近红外光,透射可见光。具体实施例2中图3光学成像装置提供光路系统对视觉反馈的可见光和用于虹膜成像的近红外光的分解。从来自冷背光光源(5)和外围环境的可见光,远光轴脉冲照明光源(8a,8b)的近红外光在眼睛(1,2)处反射,反射光通过全通光学滤波器(22),进入PAN/TILT带通光学滤波器(20)实现光路分解。与图12中光路系统有相同的目的,但实现方法不同,图3光路分解系统最大的区别是PAN/TILT带通光学滤波器(20)透射可见光到达光学反射器(21)并按照原入射光路形成反射与透射最后又返回眼睛(1,2)用于视觉反馈;同时根据眼睛位置定位信息(x,y,z)调整PAN/TILT旋转光学轴电机位置,反射近红外光使眼睛(1,2)的虹膜通过变焦距光学成像透镜组(11)物理聚焦成像至CMOS摄像机(12)视场中心。因此最大的区别是图12光路分解系统中带通光学滤波器反射可见光,透射近红外光;而相反的图3光路分解系统中带通光学滤波器反射近红外光,透射可见光。等同理解,具体实施例2中图3对应带通光学滤波器的光谱波长带通带限范围为≤730-800nm,提供满足最低限度的光谱带通带限要求730nm<λ<800nm,R(λ)>95%;对730-800nm光谱波长带通带限内反射率大于95%;λ<730nm,λ>800nm,T(λ)>90%;对730-800nm光谱波长带通带限外透射率大于90%;全通光学滤波器(22)由对400-900nm波长带宽范围内具有高透射率全通的光学玻璃为光学元件基质构成,更进一步提供具有截止紫外光和远红外光特征,另一方面起保护内部元件和封闭光学成像装置的作用。引导指示器(15a,15b)提供光学成像装置使用引导指示,如采用可见光LED或冷背光构成引导指示器,提示使用者工作区域(视场),操作信息,反馈操作结果等系统工作状态。光学反射器(21)由光学玻璃为光学元件基质提供镀膜的反射镜构成。特别的光学反射器(21)的物理尺寸与全通光学滤波器(22)的物理尺寸匹配或成预定几何投影比例。更理想的,引导指示器(15a,15b)与光学反射器(21)可由LCD或其它显示设备等价替代,说述的LCD或其它显示设备输出的图像和引导指示信息由数字信号处理器与控制器单元获取CMOS摄像机(12)实际成像图像和系统工作状态提供的信号控制。采用LCD或其它显示设备的优点是使用者可根据观察到的输出图像和状态指示信息调整位置和操作状态,如使用者观察到的实际成像图像偏离中心即意味着使用者偏离工作区域(视场),而且引导指示方向与偏离方向一致,不受使用者视差和对距离移动等不同主观感觉的影响,该方法与工作区域(视场)光学投影引导光束等效也能快速直观方便引导使用者定位于系统工作区域(视场)中。缺点是成本和系统复杂性增加。另外可以理解引导指示器(15a,15b)由具有与工作区域(视场)匹配一致的预定投影(发散)立体角光束构成,以替代工作区域(视场)光学投影引导光束(7a,7b,7c,7d)产生在工作区域(视场)内定位光信息引导指示的作用,该方法原理为当使用者的两个眼睛1和2分别观察到工作区域(视场)引导指示器15b和15a,即眼睛1观察到引导指示器15b同时眼睛2观察到引导指示器15a的光信息时,完成引导指示的作用。具体实施例2中其它各单元及系统控制的方法与具体实施例1相同,类似内容不再重复描述。
实施例3、以具体实施例3的四种典型光路等价变换或光路变形方法进行相互组合,修改及增减等操作以进行具体实施例实施,目的是为了使本技术领域的专业人员,可以在相同或等同理解的范围内采用。可以理解,光路等价变换改变光路传播方向。
(一).图4描述了本发明的具体实施例3光学成像装置的成像光学原理图,它包括以下单元组成近红外光漫射器(3,4),冷背光光源(5),带通光学滤波器(6),工作区域(视场)光学投影引导光束(7a,7b,7c,7d),远光轴脉冲照明光源(8a,8b),变焦距光学成像透镜组(或固定焦距光学成像透镜组)(11),CMOS摄像机(12),近光轴照明光源(9a,9b),广角CMOS摄像机(13)。(1,2)为左右眼睛。图4说述的具体实施例3的光路系统去除对PAN/TILT旋转光学轴调整要求,简化系统构成。
(二).等同理解的,作为光路等价变换的举例,具体实施例3也可采用具体实施例1图2中说述的光路等价变换构成成像光学系统,唯一不同的区别是,具体实施例3采用具有固定旋转光学轴安装的PAN/TILT光学反射器(10),如(PAN=45,TILT=45)或(PAN=90,TILT=45),或(PAN=45,TILT=90),保证反射眼睛(1,2)的虹膜通过变焦距光学成像透镜组(或固定焦距光学成像透镜组)(11)物理聚焦成像至CMOS摄像机(12)视场中心。去除对PAN/TILT旋转光学轴调整要求,简化系统构成。
(三).等同理解的,作为光路等价变换的举例,具体实施例3也可采用具体实施例2图3中说述的光路等价变换构成成像光学系统,唯一不同的区别是,具体实施例3采用具有固定旋转光学轴安装的PAN/TILT带通光学滤波器(20),如(PAN=45,TILT=45)或(PAN=90,TILT=45),或(PAN=45,TILT=90),保证反射眼睛(1,2)的虹膜通过变焦距光学成像透镜组(或固定焦距光学成像透镜组)(11)物理聚焦成像至CMOS摄像机(12)视场中心。即去除对PAN/TILT旋转光学轴调整要求,简化系统构成。
(四).等同理解的,作为光路等价变换的举例,具体实施例3也可采用具体实施例2图12中说述的光路等价变换构成成像光学系统,唯一不同的区别是,具体实施例3采用具有固定旋转光学轴安装的PAN/TILT带通光学滤波器(6),如(PAN=45,TILT=45)或(PAN=90,TILT=45),或(PAN=45,TILT=90),保证反射眼睛(1,2)的虹膜通过变焦距光学成像透镜组(或固定焦距光学成像透镜组)(11)物理聚焦成像至CMOS摄像机(12)视场中心。即去除对PAN/TILT旋转光学轴调整要求,简化系统构成。
特别的具体实施例3中,光学反射器(21)的物理尺寸和与全通光学滤波器(22)的物理尺寸匹配或成预定几何投影比例,考虑极端状态,如固定焦距光学成像透镜组,它的工作区域(景深depth of field)极小,说述的匹配或成预定几何投影比例具有保证在预定位置为物方焦点时观察到光学反射器(21)和与全通光学滤波器(22)的物理尺寸相互重叠(即相互交叠点为物方焦点),如图13所示,即通过限定使用者仅在该物方焦点0附近才能观察到相互交叠,确保使用者在工作区域(视场)内获得定位引导指示。上述举例说明的目的是为了更好理解如何在工作区域内获得定位引导指示。
图13为本发明具体实施例3等价变换成像光路的物理尺寸匹配或成预定几何投影比例原理图。说述的物理尺寸匹配或成预定几何投影比例原理为D1/D2=H1/H2=W1/W2其中D1为物方焦点与全通光学滤波器的物距001;D2为物方焦点与光学反射器的物距002;A1A2为全通光学滤波器的物高H1或物宽W1;B1B2为光学反射器的物高H2或物宽W2;具体实施例3中说述的引导指示器(15a,15b)与光学反射器(21)可由LCD或其它显示设备等价替代,另外可以理解引导指示器(15a,15b)由具有与工作区域(视场)匹配一致的预定投影(发散)立体角光束构成,以替代工作区域(视场)光学投影引导光束(7a,7b,7c,7d)产生在工作区域(视场)内定位光信息引导指示的作用。
具体实施例3中具有预定投影(发散)立体角的光学投影引导光束(7a,7b,7c,7d)投影(发散)产生的立体区域形成工作区域(视场)V2,引导使用者能以最快速直观方便的方法定位于系统工作区域(视场)V2中,即图6表示的(1,2)眼睛在工作区域(即,视场)V2中。它与变焦距光学成像透镜组(11),CMOS摄像机(12)组合形成提供的成像光路视场匹配,以获得在相同的工作区域(即,视场)V2内光信息引导提示。在限制使用者工作区域(视场)的条件要求下该方法更具有体现快速直观方便的优点。考虑极端状态,如固定焦距光学成像透镜组,它的工作区域(景深depth offield)极小,预定光学投影引导光束(7a,7b,7c,7d)的投影(发散)立体角为线光束并形成相互交叠点,使预置相互交叠点为物方焦点。如图14所示,使用者仅在该相互交叠点即物方焦点0附近才能观察到(7a,7b,7c,7d)光信息引导提示。当然举极端状态的例子是为了更好理解光学投影引导光束用于工作区域(视场)内定位光信息引导指示的作用。
具体实施例3去除对PAN/TILT旋转光学轴调整要求,结果限制使用者在x水平方向与y垂直方向的工作区域(视场),见图6的工作区域(视场)V2。解决具体实施例3中限制工作区域(视场)的问题,本发明采用大规模像素点阵(分辨率)的CMOS摄像机。如采用百万像素级(multi-megapixel)分辨率的CMOS摄像机获取更大的成像视场以增大工作区域(视场)。已知的因百万像素级高分辨率的CMOS摄像机制造工艺成熟,成本也极低廉。另外为更进一步方便人机界面操作,使用光电语音提示以增强友好性,如根据眼睛位置定位信息光电语音提示用户X-Y轴位置和Z轴距离调整。
具体实施例3中其它各单元及系统控制的方法与具体实施例1相同,仅相应的减少对部分单元控制步骤,类似内容不再重复描述。
实施例4具体实施例4中光学成像装置去除对PAN/TILT旋转光学轴调整要求,并使用固定焦距光学成像透镜组时具有光学成像系统不包含任何电机机械传动部件和控制,简化系统构成,具有最高的可靠性和稳定性的优点。如上所述,解决使用者在x水平方向与y垂直方向的工作区域(X-Y轴视场)的限制问题可采用大规模像素点阵(分辨率)的CMOS摄像机。采用百万像素级(multi-megapixel)分辨率的CMOS摄像机获取更大的成像视场以增大工作区域(视场),但衍射/波像差使固定焦距光学成像系统的(Z轴视场)景深DOF(depth of field)受限并与光圈F成线性正比关系,光圈F与光通量成平方反比关系,光圈F与最小光学空间分辨率成线性反比关系,而为获取高质量的虹膜纹理图像和减少运动模糊采用短积分时间的目的,要求光通量最大化和光圈F最小化,最后形成矛盾关系。理想的解决方法是采用全新的非相干光学波前相位调制/解调成像系统(incoherent optical wavefront phase-modulation/demodulation imaging system),它保证在最大化光通量条件下具有传统光学成像系统10倍以上的衍射极限(diffraction limited)景深范围,图15所述的波前相位调制/解调成像系统包括(虹膜)光学入瞳,光学元件波前相位调制,CMOS光学图像传感器成像,数字信号处理图像解调恢复,重建原始数字(虹膜)图像。定义波前相位调制光学元件具有奇对称的光瞳相位调制函数φ(x,y)φ(x,y)=Σm=0∞Σn=0∞amnxmyn.]]>φ(-x,-y)=-φ(x,y)波前相位调制/解调成像系统具有光学点扩散函数PSF(u,v;θ)=|h(u,v;θ)|2
h(u,v;θ)=1λfA∫∫P(x,y)exp{i[2πλf(ux+vy)+φ(x,y)+θ(x2+y2)]}dxdy]]>其中P(x,y)为入瞳函数,当包含在光瞳范围内时P(x,y)=1,当不包含在光瞳范围内时P(x,y)=0;θ为衍射/波像差或散焦参数;λ为波长,f为焦距,A为光瞳面积;根据光瞳相位调制函数φ(x,y)的定义可知点扩散函数PSF(u,v;θ)为偶对称。
具有景深和衍射/波像差(diffraction/aberration)结合空间/频域最优化的波前相位调制/解调成像系统的光瞳相位调制函数φ(x,y)满足优化度J最小化,即min{J};其中优化度J由以下定义确定J=Σn|∫-θ0θ0|∫∫|(∂/∂θ)n[PSF(u,v;θ)]|2dudv|2dθ|2]]>或J=∫∫{Var[PSF(u,v;θ)]}dudv]]>=∫∫∫-θ0θ0|[PSF(u,v;θ)]|2dθdudv-∫∫|∫-θ0θ0[PSF(u,v;θ)]dθ|2dudv]]>其中n为微分阶数,n≥1;Var为模方差函数;[-θ0,θ0]为实际应用时指定的衍射/波像差或散焦参数对称范围;同时波前相位调制/解调成像系统具有光学传递函数OTF(s,t;θ)为PSF(u,v;θ)的Fourier变换对,并且有以下推论J=Σn|∫-θ0θ0|∫∫|(∂/∂θ)n[OTF(s,t;θ)]|2dsdt|2dθ|2]]>或相应的J=∫∫{Var[OTF(s,t;θ)]}dsdt]]>=∫∫∫-θ0θ0|[OTF(s,t;θ)]|2dθdsdt-∫∫|∫-θ0θ0[OTF(s,t;θ)]dθ|2dsdt]]>根据上述定义和推论可证明光瞳相位调制函数φ(x,y)在满足优化度J最小化即min{J}的充分必要条件下,波前相位调制/解调成像系统具有景深和衍射/波像差结合空间/频域最优化。
数字信号处理图像解调恢复可选择公知的相同或等同理解的通用方法或算法包括线性方法(Linear Methods)恢复图像具体如Least Squares Filter恢复方法,Wiener Filter恢复方法,Constrained Least Squares Filter恢复方法,Conjugate Gradient Least Squares(CGLS)Filter恢复方法,Constrained Tikhonov-Miller algorithm恢复方法等;
极大化似然性方法(Maximum Likelihood Methods)恢复图像具体如Richardson-Lucy Algorithm恢复方法等;概率统计方法(Probability Statistics Method)恢复图像具体如Bayesian Probability恢复方法等;最大化后验方法(Maximum a posteriori Methods)恢复图像具体如优先模型(Prior Models)恢复类型方法包括Flat prior恢复方法,Total Variation恢复方法,Entropy恢复方法,Good’sroughness恢复方法等。
其它恢复方法如Constrained Blind Iterative Restoration Method等。
如上所述可以理解,具体实施例4中波前相位调制/解调成像系统具有足够的工作区域(即X-Y-Z轴视场)以满足实际应用使用要求,如形成20cm*15cm*25cm的工作视场,同时具有最高的可靠性和稳定性,最低的简化控制,最短的成像时间,最高的成像质量,成本低廉的突出优点。
本发明描述的具体实施例内容,在客观统一技术标准的技术特征与内容要求下,可以在相同或等同理解的范围内相互组合,修改及增减等操作以进行具体实施例实施,如采用光路等价变换,步骤等价替换,光学参数等价变化,光学元件等价替代,具体结构等价更改,或安装位置等价变形等。
权利要求
1.一种面部/虹膜组合光学成像的装置,其特征是包括以下成像光路系统用于眼睛视觉反馈的可见光成像光路系统、用于眼睛虹膜成像的近红外光成像光路系统和用于眼睛位置定位信息获取的面部成像光路系统;所述的面部/虹膜组合光学成像的装置包括上述成像光路系统的光学等价变换。
2.根据权利要求1所述的面部/虹膜组合光学成像的装置,其特征是所述的面部/虹膜组合光学成像的装置包括带通光学滤波器,PAN/TILT光学反射器,光学成像透镜组,CMOS摄像机,远光轴脉冲照明光源,眼睛位置跟踪与定位单元;所述的眼睛位置跟踪与定位单元由广角CMOS摄像机与近光轴照明光源组成;所述的面部/虹膜组合光学成像的装置还包括由通讯单元,人机界面输入/输出单元,冷背光光源单元,工作区域视场光学投影引导光束单元,光电语音提示单元,数字信号处理器与控制器单元,及系统控制单元。
3.根据权利要求1所述的面部/虹膜组合光学成像的装置,其特征是所述的面部/虹膜组合光学成像的装置具有最小单位像素空间分辨率为20pixel/mm;最小光学空间分辨率在调制传递函数等于60%的调制度即对比度时为5lp/mm或在调制传递函数等于10%的调制度即对比度时为10lp/mm;最小信噪比SNR为48db。
4.根据权利要求1所述的面部/虹膜组合光学成像的装置,其特征是所述的面部/虹膜组合光学成像的装置包括非相干光学波前相位调制/解调成像系统;所述的波前相位调制/解调成像系统由光学入瞳,光学元件波前相位调制,CMOS光学图像传感器成像,数字信号处理图像解调恢复,重建原始数字图像组成。
5.根据权利要求2所述的面部/虹膜组合光学成像的装置,其特征是所述的系统控制单元分别与以下单元连接实现控制PAN/TILT光学反射器水平面PAN和垂直面TILT旋转光学轴角度电机位置控制;光学成像透镜组变焦ZOOM,聚焦FOCUS,相对孔径IRIS电机位置控制;远光轴脉冲照明光源位置POSITION,发射亮度L,占空比时间T控制;CMOS摄像机自动电子增益,积分时间,数据与时序信号控制;眼睛位置跟踪与定位控制;通讯控制;人机输入/输出界面控制;冷背光光源亮度控制;工作区域视场光学投影引导光束控制;光电语音提示控制。
6.根据权利要求2所述的面部/虹膜组合光学成像的装置,其特征是带通光学滤波器的光谱波长带通带限为730-800nm带宽范围内具有≤70nm带宽特征;并且照明光源的光谱发射波长和带通光学滤波器光谱波长带通带限范围匹配。
7.根据权利要求2所述的面部/虹膜组合光学成像的装置,其特征是所述的工作区域视场光学投影引导光束单元由具有预定投影(发散)立体角的光束组成,并且所述的立体角光束投影(发散)产生的立体区域形成工作区域视场。
8.根据权利要求2所述的面部/虹膜组合光学成像的装置,其特征是预置远光轴脉冲照明光源,定义以下法则条件预置照明光源的几何位置与眼睛特定的组合形成的远光轴角度范围限制在15度到45度,预置照明光源的几何位置与眼睛特定的组合形成的远光轴角度在上述可利用的最大限制范围内以接近上限为最优选;至少需要两组预置照明光源几何位置;预置近光轴照明光源,定义以下法则条件预置照明光源的几何位置与眼睛组合形成的近光轴角度小于7度,至少需要两组预置照明光源几何位置,同时使用全部预置照明光源的几何位置与眼睛组合;其中远光轴角度与近光轴角度Q定义是照明光源中心和眼睛中心的连线相交于眼睛中心光轴线形成的夹角;光学成像透镜组相对孔径IRIS,远光轴脉冲照明光源发射亮度L,占空比时间T,定义以下约束法则条件(1)[IRIS]2*[L/S2*cosQ]*T相互乘积值关系属性保持恒定相同;(2)使预定光学成像透镜组具有最大化的相对孔径IRIS;脉冲照明光源的占空比时间T,即CMOS摄像机积分时间小于1/500秒;(3)脉冲照明光源的发射亮度L是受眼睛红外光辐射安全标准上限LLimit限制,即脉冲照明光源的发射亮度L<LLimit;其中S为眼睛中心相对于脉冲照明光源中心的物距;cosQ为远光轴角度Q的三角余弦;IRIS为光学成像透镜组的相对孔径,即光圈F倒数;L为脉冲照明光源的发射亮度或辐射率;T为脉冲照明光源的占空比时间,即CMOS摄像机积分时间;脉冲照明光源的脉冲发射时序与CMOS摄像机积分时序必须保证同步触发。
9.根据权利要求2所述的面部/虹膜组合光学成像的装置,其特征是定义眼睛位置定位信息输入值与相应的成像控制参数输出值(a)远光轴脉冲照明光源位置POSITION,发射亮度L,占空比时间T,(b)PAN/TILT光学反射器的水平面PAN和垂直面TILT旋转光学轴角度电机位置,(c)光学成像透镜组的变焦ZOOM,聚焦FOCUS,相对孔径IRIS电机位置,形成对应输入输出值关系映射表。采用预置眼睛位置定位信息与上述成像参数(a)至(c)的输入输出值关系映射表,然后通过对映射表查表实现统一的同步控制;定义广角CMOS摄像机成像图像中左右眼睛位置间隔信息与眼睛的物距信息形成相应的输入输出值关系映射表;采用预置成像图像中左右眼睛位置间隔信息与眼睛物距信息的输入输出值关系映射表,然后通过对映射表查表实现获取眼睛的物距信息。
10.一种面部/虹膜组合光学成像的方法,其特征是包括眼睛位置跟踪和定位,及获取最高质量的虹膜纹理图像步骤。
11.根据权利要求10所述的面部/虹膜组合光学成像的方法,其特征是所述的眼睛位置跟踪和定位的方法,它包括以下步骤(1)启动数字信号处理器与控制器单元;(2)获取连续序列帧场景图像,运动检测判断是否有使用者进入场景图像;(3)获取连续序列帧场景图像,运动检测判断使用者是否保持相对静止;(4)获取前景图像;(5)定义前景图像中粗糙的脸部位置局部区域为初始化局部评价区域;(6)模糊到精确迭代搜索特征模板检测方法获取前景图像中粗糙的脸部位置初始化局部评价区域内左眼位置与右眼位置;(7)在前景图像中粗糙的脸部位置初始化局部评价区域内搜索镜面反射的中心位置,精确确定左眼位置与右眼位置;(8)判断上述(6)与(7)步骤的左眼位置与右眼位置数值差是否处于预定误差范围内;(9)根据左眼位置与右眼位置坐标信息获取左右眼睛位置间隔信息,通过映射表查表实现获取眼睛的物距信息。(10)获取眼睛位置定位信息。
12.根据权利要求10所述的面部/虹膜组合光学成像的方法,其特征是所述的获取最高质量的虹膜纹理图像的方法,它包括以下步骤(1)根据初始化获取的眼睛位置定位信息输入值,对预置映射表查表同步控制成像参数输出值;(2)模糊到精确迭代搜索方法预置映射表查表校准系统成像参数;(3)模糊到精确迭代搜索方法校准系统成像参数的聚焦位置(即FOCUS聚焦电机位置)位于像方焦点位置。
全文摘要
本发明公开了一种面部/虹膜组合光学成像的装置,包括以下成像光路系统用于眼睛视觉反馈的可见光成像光路系统、用于眼睛虹膜成像的近红外光成像光路系统和用于眼睛位置定位信息获取的面部成像光路系统;所述的面部/虹膜组合光学成像的装置包括上述成像光路系统的光学等价变换。本发明还提供了一种面部/虹膜组合光学成像的方法,包括眼睛位置跟踪和定位,及获取最高质量的虹膜纹理图像步骤。使用本发明的装置及方法,能快速获取最高质量的虹膜纹理图像、且易于使用。
文档编号G06K9/00GK1892676SQ20061008760
公开日2007年1月10日 申请日期2006年6月1日 优先权日2005年6月3日
发明者金城 申请人:沈洪泉
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1