瞳孔追踪装置制造方法
【专利摘要】一种瞳孔追踪装置，包含主动光源、图像传感器和控制处理单元。所述主动光源轮流以第一亮度和第二亮度朝眼球发光。所述图像传感器获取相对所述第一亮度的第一亮度图像和相对所述第二亮度的第二亮度图像。所述控制处理单元用以将所述第一亮度图像和所述第二亮度图像中相对位置的最亮区域识别为主动光源图像。
【专利说明】瞳孔追踪装置
【技术领域】
[0001]本发明是关于一种互动系统，特别是关于一种使用至少一主动光源作为定位基准点的瞳孔追踪装置。
【背景技术】
[0002]互动式控制机制能够提供使用者更人性化的操控方式，因而已被广泛的应用于各式多媒体系统，尤其可应用于包含显示幕的图像显示系统。
[0003]使用能够获取图像的遥控器作为互动式人机介面为一种常用的手段，而且所述遥控器可被制作成各式道具，例如球棒、球拍、球杆等。另一种互动式人机介面则是不需使用任何手持装置来进行的，例如瞳孔追踪装置即可根据使用者视线方向的变化来进行互动式操作。
[0004]已知瞳孔追踪装置的问题在于容易受到环境光源的影响，例如图1显示人眼图像9的示意图，其包含瞳孔图像Ip和环境光源图像1，当所述瞳孔图像Ip与所述环境光源图像1相互重叠时，则可能出现无法正确定位所述瞳孔图像Ip的情形，因而无法正确进行瞳孑L追踪ο
[0005]有鉴于此，本发明还提出一种瞳孔追踪装置，其可排除环境光源的影响，借此提高瞳孔追踪的正确性。
【发明内容】
[0006]本发明的目的在提供一种瞳孔追踪装置，其利用至少一主动光源朝眼球发光形成定位基准点。
[0007]本发明另一目的在提供一种适用于头戴式配件的瞳孔追踪装置。
[0008]本发明提供一种瞳孔追踪装置，包含主动光源、图像传感器和控制处理单元。所述主动光源轮流以第一亮度和第二亮度朝眼球发光。所述图像传感器获取相对所述第一亮度的第一亮度图像和相对所述第二亮度的第二亮度图像。所述控制处理单元用以将所述第一亮度图像和所述第二亮度图像中相对位置的最亮区域识别为主动光源图像。
[0009]本发明还提供一种瞳孔追踪装置，包含主动光源、图像传感器和控制处理单元。所述主动光源轮流以第一亮度和第二亮度朝眼球发光。所述图像传感器获取相对所述第一亮度的第一亮度图像和相对所述第二亮度的第二亮度图像。所述控制处理单元用以计算所述第一亮度图像和所述第二亮度图像的差分图像并将所述差分图像中最暗区域识别为主动光源图像。
[0010]一实施例中，所述控制处理单元根据所述第一亮度图像或所述第二亮度图像识别瞳孔位置；其中，当所述第一亮度高于所述第二亮度时，所述控制处理单元将所述第一亮度图像中最低灰阶值周围灰阶值介于灰阶值范围的多个像素识别为瞳孔区域，并计算所述瞳孔区域的重心或中心以作为所述瞳孔位置。
[0011]一实施例中，瞳孔追踪装置另包含存储单元用以存储所述主动光源图像与所述瞳孔位置相关的瞳孔坐标信息。所述控制处理单元可根据所述瞳孔坐标信息计算目前瞳孔坐标。
[0012]一实施例中，所述第一亮度图像和所述第二亮度图像可通过改变所述图像传感器的曝光时间和/或电路增益来实现，并不一定要改变所述主动光源的亮度。
[0013]本发明还提供一种瞳孔追踪装置，该装置包含至少两个主动光源、一图像传感器和一控制处理单元。所述至少两主动光源轮流发光以照明眼球。所述图像传感器获取相对不同的所述主动光源点亮的第一图像帧和第二图像帧。所述控制处理单元用以计算所述第一图像帧和所述第二图像帧的差分图像并将所述差分图像中最暗区域和最亮区域识别为主动光源图像。
[0014]一实施例中，所述控制处理单元还根据所述第一图像帧识别第一瞳孔区域并根据所述第二图像帧识别第二瞳孔区域；并将所述第一瞳孔区域和所述第二瞳孔区域的联集区域定义为输出瞳孔区域。
[0015]一实施例中，所述瞳孔追踪装置包含四个主动光源，所述控制处理单元识别所述差分图像中四个主动光源图像并分别计算相对所述四个主动光源图像的定位坐标。所述控制处理单元则可根据所述四个定位坐标计算所述眼球的眼球中心。
[0016]一实施例中，所述控制处理单元还根据所述第一图像帧和所述第二图像帧识别输出瞳孔区域，并将所述眼球中心与所述输出瞳孔区域的连线方向定义为视线方向。
[0017]本发明实施例的瞳孔追踪装置中，所述主动光源图像是指所述主动光源在角膜(Cornea)上的反射图像。
[0018]本发明实施例的瞳孔追踪装置中，所述主动光源图像是用作为瞳孔追踪的定位基准点，故瞳孔追踪装置较佳设置于头戴式配件上，以固定所述眼球中所述主动光源图像的位置。
[0019]本发明实施例的瞳孔追踪装置中，通过正确的识别主动光源图像的位置以作为定位基准点并通过计算差分图像以消除环境光源的影响，可有效提高瞳孔追踪的精确度。
【专利附图】
【附图说明】
[0020]图1显示人眼图像的示意图；
[0021]图2A显示本发明实施例的瞳孔追踪装置的方块示意图。
[0022]图2B显示本发明实施例的瞳孔追踪装置中，瞳孔坐标信息的示意图；
[0023]图3A显示本发明一实施例的瞳孔追踪装置的运作示意图；
[0024]图3B显示本发明一实施例的瞳孔追踪装置的图像获取和光源点亮的示意图；
[0025]图3C显示本发明一实施例的瞳孔追踪装置中，识别主动光源图像的示意图；
[0026]图3D显示本发明另一实施例的瞳孔追踪装置的图像获取和光源点亮的示意图；
[0027]图4显示本发明实施例的瞳孔追踪装置中，识别瞳孔位置的示意图；
[0028]图5A显示本发明另一实施例的瞳孔追踪装置的运作示意图；
[0029]图5B显示本发明另一实施例的瞳孔追踪装置的图像获取和光源点亮的示意图；
[0030]图5C显示本发明另一实施例的瞳孔追踪装置中，识别主动光源图像的示意图。
[0031]附图标记说明
[0032]I瞳孔追踪装置111-114主动光源[0033]12图像传感器13控制处理单元
[0034]14存储单元2头戴式配件
[0035]3图像显示装置9人眼图像
[0036]90眼球91、91’瞳孔图像
[0037]92、92’虹膜图像93、93’角膜部分
[0038]9r94人眼图像LS111-LS114反射光点
[0039]fbl、fb2亮度图像fl、f2图像帧
[0040]fbl-fb2差分图像fl_f2差分图像
[0041]I111-1114主动光源图像I111'_1114’主动光源图像
[0042]P1最低灰阶值P2瞳孔位置
[0043]Rg灰阶值范围PA瞳孔区域
[0044]Am、Am’最売区域Ip瞳孔图像
[0045]1环境光源图像C1-C4预设参考点
[0046]Ic1-1c4 瞳孔图像-5^距离。
【具体实施方式】
[0047]为了让本发明的上述和其他目的、特征、和优点能更明显，下文将配合所附图示，作详细说明如下。在本发明的说明中，相同的构件是以相同的符号表示，在此应提前说明。
[0048]请参照图2A所示，其显示本发明实施例的瞳孔追踪装置I的方块示意图，包含至少一主动光源(例如此时显示为四主动光源111-114)、图像传感器12、控制处理单元13和存储单元14。本实施例的瞳孔追踪装置I主要利用所述主动光源于眼球90上投射至少一主动光源图像以作为定位基准点，并根据瞳孔位置与所述定位基准点(即主动光源图像)的相对关系决定瞳孔坐标；其中，所述主动光源图像是指所述主动光源在角膜上的反射图像。所述瞳孔追踪装置I例如可将所述瞳孔坐标有线或无线的传送至图像显示装置3 (图2B)以相对控制所述图像显示装置3执行相对应功能。必须说明的是，使用四个主动光源的目的是用以计算眼球中心，但若仅进行瞳孔追踪，可使用任意数量的主动光源。
[0049]一般而言，当所述眼球90向下看时，上眼皮会遮蔽部分眼球90，因此若所述瞳孔追踪装置I设置于头戴式配件2上，所述图像传感器12的设置位置较佳低于所述眼球90，以避免眼球90向下看(瞳孔朝下)时导致无法检测到瞳孔的情形。
[0050]所述主动光源111-114例如可为红外光光源，例如红外光发光二极体，以避免点亮时影响视线。所述主动光源111-114用以朝向所述眼球90发光以照明所述眼球90并于所述眼球上90形成反射光点(即呈现于所述眼球90上的主动光源图像)。必须说明的是，每一个主动光源可仅包含单一光源元件或由多个光源排列而成。
[0051]所述图像传感器12例如可为CCD图像传感器、CMOS图像传感器等用以传感光能量的光传感器，其以帧率(frame rate)相对所述主动光源111-114的点亮获取所述眼球90的图像帧。所述图像传感器12可以固定或可变的曝光时间和电路增益获取图像帧。必须说明的是，所述图像传感器12的帧率可不等于所述主动光源111-114的发光频率。
[0052]所述控制处理单元13用以控制所述主动光源111-114的点亮以及所述图像传感器12的图像获取，并根据所述图像传感器12所获取的图像帧识别瞳孔位置、瞳孔坐标、主动光源图像、眼球中心和视线方向等(详述于后)。其他实施例中，所述控制处理单元13也可由多个单元所形成，例如以独立的光源控制单元控制所述主动光源111-114以及独立的处理单元(DSP)进行图像后处理，并无特定限制。
[0053]所述存储单元14用以存储所述主动光源图像与所述瞳孔位置相关的瞳孔坐标信息。借此，当所述控制处理单元13求得目前瞳孔位置与主动光源图像的目前相对关系，则可根据预先存储的所述瞳孔坐标信息求得目前瞳孔坐标。例如参照图2B所示，本发明实施例的瞳孔追踪装置I例如可包含设定程序(setup procedure),其可于每次操作前自动进入或接受指示时才进入。所述设定程序中，使用者可依次注视预设参考点，例如，但不限于，依次注视图像显示装置3的四个角落C1-C4,此时所述图像传感器12则依次获取四张人眼图像9「94，每一张人眼图像9「94分别包含瞳孔图像IaUP主动光源图像I111 ;其中，所述主动光源图像I111于四张人眼图像9r94中均位于相同(相对)位置。例如，当使用者注视参考点C1时，所述图像传感器12获取所述人眼图像％ ;其中，所述瞳孔图像Ia到所述主动光源图像I111的向量假设为同理，所述控制处理单元13可分别求出所述人眼图像92-94中的向量5^。瞳孔追踪装置I则可根据所述向量(6-?;定义操作空间并预先存储于所述存储单元14中。借此，于实际操作时所述控制处理单元13则可根据所述操作空间计算目前瞳孔坐标。必须说明的是，图2B中所述向量$ ζ的方向也可能相反。
[0054]请参照图3Α所示，其显示本发明一实施例的瞳孔追踪装置I的运作示意图。所述瞳孔追踪装置I包含主动光源111、图像传感器12、控制处理单元13和存储单元14。如前所述存储单元14使用以存储主动光源图像与瞳孔位置相关的瞳孔坐标信息，故于此不再赘述。
[0055]请同时参照图3Α至3D所示，图3Β显示图3Α的瞳孔追踪装置中，所述图像传感器12的图像犾取和所述王动光源111的光源点売的不意图；图3C显不图3Α的睛孔追踪装直中，所述控制处理单元13识别 主动光源图像Illl的示意图，图3D显示图3Α的瞳孔追踪装置中，所述图像传感器12的图像获取和所述主动光源111的光源点亮的另一示意图。
[0056]所述主动光源111轮流以第一亮度和第二亮度朝眼球90发光。所述图像传感器12获取相对所述第一亮度的第一亮度图像fbl和相对所述第二亮度的第二亮度图像fb2。例如图3C中，所述第一亮度图像fbl包含最亮区域A111 (即主动光源图像)、瞳孔(Pupil)图像91、虹膜(Iris)图像92和角膜(Cornea)部分93 ;所述第二亮度图像fb2包含最亮区域Am’(即主动光源图像)、瞳孔图像91’、虹膜图像92’和角膜部分93’。由于本发明实施例的瞳孔追踪装置I较佳设置于头戴式配件2上，以使所述主动光源111与所述眼球90的相对位置固定，因此所述最亮区域Am、Am’虽然位于不同亮度图像中，但位于相对(相同)位置，且所述主动光源图像为所述主动光源111在角膜上的直接反射点，为图像中最亮区域。因此，所述控制处理单元13可将所述第一亮度图像fbl和所述第二亮度图像fb2中相对位置的最亮区域(即Am、A111')识别为主动光源图像I111 ;其中，所述最亮区域是指灰阶值最高。借此，即使所述图像传感器12所获取的亮度图像中包含有其他环境光源图像，然而由于所述眼球90与环境光源间的空间关系不固定，不同亮度图像中所述环境光源图像不会位于相同位置，故寻找相对位置的最亮区域可借此排除环境光源的影响。其他实施例中，所述图像传感器12可额外获取一张所述主动光源111不发光图像(第三亮度图像)fb3，如图3D所示，并将所述第一亮度图像fbl与所述第二亮度图像fb2分别减去所述第三亮度图像得到fbl3与fb23借此滤除环境光干扰并稳定检测最亮区域的主动光源图像。
[0057]此外，除了改变所述主动光源111的亮度(例如改变驱动电流的大小)外，也可固定所述主动光源111的亮度而改变所述图像传感器12的采样参数(例如包含曝光时间和电路增益等)来达到相同目的。也即，另一实施例中，所述第一亮度可等于所述第二亮度，所述图像传感器12以第一曝光时间和第一电路增益获取所述第一亮度图像fbl并以第二曝光时间和第二电路增益获取所述第二亮度图像fb2 ;其中，所述第一曝光时间不等于所述第二曝光时间和/或所述第一电路增益不等于所述第二电路增益。
[0058]此外，本实施例中所述控制处理单元13另可根据所述第一亮度图像fbl或所述第二亮度图像&2识别瞳孔位置；其中，所述控制处理单元13较佳根据具有较高亮度的亮度图像识别所述瞳孔位置，如此能较清晰的识别出瞳孔图像91。例如参照图4所示，所述控制处理单元13用以计算所述第一亮度图像fbl (此时假设所述第一亮度高于所述第二亮度)中最低灰阶值P1，并将所述最低灰阶值P1周围灰阶值介于灰阶值范围Rg的多个像素识别为瞳孔区域PA。当所述主动光源11点亮时，所述瞳孔图像91的亮度最低，所述角膜区域93的亮度最高而所述虹膜图像92的亮度通常介于所述瞳孔图像91和所述角膜区域93间，故所述最低灰阶值P1会出现于所述瞳孔图像91中。因此，所述最低灰阶值P1附近的像素区域则可被视为所述瞳孔区域PA，而所述最低灰阶值P1B近的像素区域例如可利用图像分群(image grouping)的方式将互相关联的像素区域视作为同一物件，例如可参照让与给本发明相同受让人的美国专利公开第20110176733号，标题为「图像识别方法」中所披露的。此夕卜，所述灰阶值范围Rg的设定可根据所述瞳孔追踪装置I的操作环境而调整，例如户外与室内可分别设计不同的灰阶值范围Rg。再者，为避免噪声干扰，所述控制处理单元13另可根据所述瞳孔区域PA的尺寸和形状等特性判断是否属于环境光源图像，例如当尺寸太小或非属圆形者即可能为环境光源，可予以排除。
[0059]接着，所述控制处理单元13可计算所述瞳孔区域PA的重心或中心以作为瞳孔位置P2,并根据所述瞳孔位置P2与所述参考光源图像I111的相对位置参考所述存储单元14中所存储的瞳孔坐标信息输出所述瞳孔位置匕相关的瞳孔坐标(X，y)。所述控制处理单元13例如可根据所述瞳孔坐标(X，y)相对控制图像显示装置3的游标的动作。可以了解的是，所述瞳孔位置P2可不等于所述最低灰阶值P1的位置。
[0060]总而言之，本实施例中，所述控制处理单元13根据两张图像帧识别所述主动光源图像I111，但仅以一张(例如亮度较高者)来识别所述瞳孔位置，借此排除环境光源影响且所述主动光源图像可用作为瞳孔追踪的定位基准点。
[0061]另一实施例中，为了进一步消除环境光源的影响，所述控制处理单元13可进一步计算所述第一亮度图像fbl和所述第二亮度图像fb2的差分图像(fbl_fb2)，并将所述差分图像(fbl-fb2)中最暗区域通过与所述第一亮度图像fbl或所述第二亮度图像fb2比较，以识别出主动光源图像I111"(如图3C);其中，所述最暗区域是指灰阶值最低，其例如可为O灰阶左右，但其也可以是相对值。
[0062]具体来说，由于所述第一亮度图像fbl和第二亮度图像fb2中所述主动光源图像I111(即最亮区域A111和Am’ )均具有最高亮度(例如所使用灰阶值范围的最高阶)，因此所述差分图像(fbl-fb2)中所述主动光源图像I111会具有最低亮度。一实施例中，假设所述第一图像fbl中，主动光源图像I111为255灰阶，瞳孔图像91为O灰阶，虹膜图像92为128灰阶而角膜部分93为228灰阶；所述第二图像fb2中，主动光源图像Im’为255灰阶，瞳孔图像91’为O灰阶，虹膜图像92’为64灰阶而角膜部分93’为100灰阶；如此可求得所述差分图像(fb「fb2冲，主动光源图像I111"为O灰阶，瞳孔图像91"为O灰阶，虹膜图像92"为64灰阶而角膜部分93"为128灰阶。由于所述瞳孔图像91、91’的灰阶值均为O灰阶，因此所述差分图像(fbl_fb2)中所述瞳孔图像91"同样会具有最低亮度。此时，可通过比较所述差分图像(fbl-fb2)与所述第一亮度图像fbl或所述第二亮度图像fb2，便可识别出所述主动光源图像I111"(如图3C)的位置；其中，比较的方式例如，由于所述第一亮度图像fbl或所述第二亮度图像fb2中的所述瞳孔图像91、91’皆具有最低亮度，因此便可直接通过比较所述第一亮度图像fbl与所述差分图像(fbl_fb2)两图像中哪个图像物件是由相对极亮变到相对极暗，便可对应地决定出所述主动光源图像I111"(如图3C)的位置；或者是，通过比较所述第二亮度图像fb2与所述差分图像(fbl_fb2)两图像中哪个图像物件是由相对极亮变到相对极暗，便可对应地决定出所述主动光源图像I111"(如图3C)的位置。另一实施例中，可将所述差分图像(fbl_fb2)中具有最低亮度且图像物件面积较小者识别为所述主动光源图像而将具有最低亮度且图像物件面积较大者识别为瞳孔图像。
[0063]此外，本实施例中除了所述主动光源图像I111的计算是利用差分图像(fbl_fb2)进行外，其他包括识别瞳孔位置、建立瞳孔坐标信息以及实现所述第一亮度图像fbl和所述第二亮度图像fb2等方式均与前一实施例相同，故于此不再赘述。
[0064]请参照图5A所示，其显示本发明另一实施例的瞳孔追踪装置I的运作示意图。所述瞳孔追踪装置I包含四主动光源111-114、一图像传感器12、一控制处理单元13和一存储单元14。如前所述所述存储单元14是用以存储主动光源图像与瞳孔位置相关的瞳孔坐标信息，故于此不再赘述。
[0065]请同时参照图5A至5C所示，图5B显示图5A的瞳孔追踪装置中，所述图像传感器12的图像犾取和所述王动光源111-114的光源点売的不意图；图5C显不图5A的睛孔追踪装置中，所述控制处理单元13识别主动光源图像的示意图。如前所述，使用四个主动光源是用以计算眼球中心，若仅进行瞳孔追踪，可使用至少两个主动光源即可达成本实施例的目的。
[0066]所述主动光源111-114轮流发光以照明眼球90，用于在所述眼球90上形成反射光点LS111-LS114t5所述图像传感器112获取相对不同的所述主动光源111-114点亮的第一图像帧fl和第二图像帧f2。所述控制处理单元13用以计算所述第一图像帧fl和所述第二图像帧f2的差分图像(fl_f2)并将所述差分图像(fl_f2)中最暗区域(例如I113’和I114’ )和最亮区域(例如Im’和I112’ )识别为主动光源图像。
[0067]例如图5C中，所述主动光源111和112点亮(此时所述主动光源113和114熄灭)时所述图像传感器12获取第一图像帧fl，其包含瞳孔图像91、虹膜图像92、角膜部分93和参考光源图像I111和I112 ;所述主动光源113和114点亮(此时所述主动光源111和112熄灭)时所述图像传感器12获取第二图像帧f2，其包含瞳孔图像91’、虹膜图像92’、角膜部分93’和参考光源图像I113和I114 ;其中，相对所述第一图像帧fl的光源亮度与相对所述第二图像帧f2的光源亮度可相同或不同，并无特定限制。此外，其他实施例中，相对所述第一图像帧fl可点亮所述主动光源111-114中至少其中的一者(例如一个或三个)而相对所述第二图像帧f2则点亮其他主动光源(例如三个或一个)，并不限定于点亮两个主动光源。当所述第一图像帧fl减去所述第二图像帧f2时，所述差分图像(fl_f2)中所述参考光源图像Illl和〗112成为最売区域而具有最闻灰阶值且所述参考光源图像Ill3和IlM成为最暗区域而具有最低灰阶值；借此，所述控制处理单元13可于所述差分图像(fl_f2)中识别出四个主动光源图像Im’-1114’。一实施例中，假设所述第一图像帧fl中，主动光源图像I111和I112大约为+255灰阶，瞳孔图像91大约为O灰阶，虹膜图像92大约为64灰阶而角膜部分93大约为128灰阶；所述第二图像帧f2中，主动光源图像I113和I114大约为+255灰阶，瞳孔图像91’大约为O灰阶，虹膜图像92’大约为64灰阶而角膜部分93’大约为128灰阶；如此可求得所述差分图像(fl-f2)中主动光源图像I111 ’和I112’大约为+127灰阶，主动光源图像I113’和I114’大约为-127灰阶，其他部分大约为O灰阶；另一实施例中，可将整体灰阶值进行调整而使得全部灰阶值均大于等于零，例如主动光源图像Im’和I112’大约可调整为+254灰阶，主动光源图像I113’和I114’大约可调整为O灰阶，其他部分大约可调整为+127灰阶。必须说明的是，上述灰阶值得数值仅为例示性，并非用以限定本发明。
[0068]由于本实施例使用四个主动光源111-114，所述控制处理单元13识别出所述差分图像(fl-f2)中四个主动光源图像Im’-1114’后，可分别计算相对所述四个主动光源图像Im'-1iH的定位坐标，且每一个定位坐标皆可为三维坐标。所述控制处理单元13则可根据所述四个定位坐标来计算所述眼球90的眼球中心，例如利用球体方程式(X-Xtl)2+ (y-y0)2+ (z-z0)2=r2计算。借此，所述控制处理单元13可进而将所述眼球中心与输出瞳孔区域的连线方向定义为视线方向。
[0069]本实施例中，所述输出瞳孔区域的决定方式如下:首先，所述控制处理单元13根据所述第一图像帧fl识别第一瞳孔区域并根据所述第二图像帧f2识别第二瞳孔区域。识别瞳孔区域的方式类似图4所示，也即所述控制处理单元13将所述第一图像帧f I中最低灰阶值(例如P1)周围灰阶值介于灰阶值范围Rg的多个像素识别为所述第一瞳孔区域(例如PA);所述控制处理单13 将所述第二图像帧f2中最低灰阶值(例如P1)周围灰阶值介于所述灰阶值范围Rg的多个像素识别为所述第二瞳孔区域(例如PA)。当所述第一瞳孔区域和所述第二瞳孔区域识别出后，所述控制处理单元13则计算所述第一瞳孔区域的重心或中心以作为所述第一瞳孔位置(例如P2)并计算所述第二瞳孔区域的重心或中心以作为所述第二瞳孔位置(例如P2)。
[0070]由于本实施例的两张图像帧均可取得瞳孔图像，因此所述控制处理单元13将所述第一瞳孔区域和所述第二瞳孔区域的联集区域作为输出瞳孔区域。同理，所述控制处理单元13可根据所述输出瞳孔区域与预先存储于所述存储单元14中的瞳孔坐标信息决定输出瞳孔坐标，只是此处包含四个主动光源图像作为定位基准点。其他实施例中，所述控制处理单元13也可将所述第一瞳孔区域和所述第二瞳孔区域中其中的一者做为所述输出瞳孔区域。
[0071]此外，本发明各实施例的瞳孔追踪装置I可搭配显示单元以显示图像，且所述显示单元也可设置于所述头戴式配件2上，例如眼镜或护目镜。
[0072]本发明各实施例的瞳孔追踪装置I可还具有眨眼检测功能。例如所述控制处理单元13可分别记录检测到与检测不到瞳孔的期间，借此识别眨眼动作。
[0073]本发明各实施例的瞳孔追踪装置I可还具有瞌睡检测和分心检测功能。例如当所述瞳孔追踪装置I应用于车用装置时，可用以检测驾驶是否有睡意或专注于前方，且于适当时间提出警示。检测睡意例如可通过检测眼睛开阖时间的比例来实现；检测分心例如可通过检测驾驶的视线方向来实现。
[0074]本发明各实施例的瞳孔追踪装置I可还具有眨眼频率和干眼检测功能。具体而言，所述控制处理单元13可依据所检测的眨眼频率反推目前眼睛干涩的可能性和程度，进而提醒使用者眨眼。
[0075]本发明各实施例的瞳孔追踪装置I可还具有姿势识别(gesture recognition)功能。此时所述姿势识别例如可为识别瞳孔朝预定方向以预定次数来改变位置，并将其与预设姿势进行比对，可借此达成执行特定功能的运作，其类似已知利用瞳孔以外的其他物件，例如手或手指来进行的手势识别。
[0076]本发明各实施例的瞳孔追踪装置I可还具有省电功能，例如于预设时间内检测不到瞳孔或图像帧的图像变化量过小，则可进入省电模式。
[0077]可以了解的是，上述各图示中主动光源图像与瞳孔图像的比例仅为例示性。
[0078]必须说明的是，本发明各实施例的瞳孔追踪装置I可直接制作成头戴式瞳孔追踪装置，或者通过结合元件结合固定于头戴式配件，例如眼镜、护目镜或帽子等各式穿戴、套设或架设于头部的配件，较佳使主动光源与人眼不会相对移动，所述主动光源图像则可用作为追踪瞳孔的定位基准点。
[0079]综上所述，已知瞳孔追踪装置因无法排除环境光源的影响，因而可能出现检测错误的情形。本发明另提出一种瞳孔追踪装置(图2A、3A和5B)，其利用相对眼球位置固定的主动光源作为定位基准点，可消除环境光源的影响以提高检测精确度。
[0080]虽然本发明通过以前述实施例披露，但是其并非用以限定本发明，任何本发明所属【技术领域】中具有通常知识的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求范围所界定的范围为准。
【权利要求】
1.一种瞳孔追踪装置，该瞳孔追踪装置包含: 主动光源，轮流以第一亮度和第二亮度朝眼球发光； 图像传感器，获取相对所述第一亮度的第一亮度图像和相对所述第二亮度的第二亮度图像；以及 控制处理单元，用以将所述第一亮度图像和所述第二亮度图像中相对位置的最亮区域识别为主动光源图像。
2.根据权利要求1所述的瞳孔追踪装置，其中所述控制处理单元还根据所述第一亮度图像或所述第二亮度图像识别瞳孔位置。
3.根据权利要求2所述的瞳孔追踪装置，其中所述第一亮度高于所述第二亮度，所述控制处理单元将所述第一亮度图像中最低灰阶值周围的灰阶值介于灰阶值范围的多个像素识别为瞳孔区域，并计算所述瞳孔区域的重心或中心以作为所述瞳孔位置。
4.根据权利要求2所述的瞳孔追踪装置，该瞳孔追踪装置还包含存储单元，用以存储所述主动光源图像与所述瞳孔位置相关的瞳孔坐标信息。
5.根据权利要求1所述的瞳孔 追踪装置，其中所述第一亮度等于所述第二亮度，所述图像传感器以第一曝光时间和第一电路增益获取所述第一亮度图像并以第二曝光时间和第二电路增益获取所述第二亮度图像。
6.根据权利要求1-5中任一项权利要求所述的瞳孔追踪装置，该瞳孔追踪装置设置于头戴式配件上。
7.一种瞳孔追踪装置，该瞳孔追踪装置包含: 主动光源，轮流以第一亮度和第二亮度朝眼球发光； 图像传感器，获取相对所述第一亮度的第一亮度图像和相对所述第二亮度的第二亮度图像；以及 控制处理单元，用以计算所述第一亮度图像和所述第二亮度图像的差分图像，并将所述差分图像中的最暗区域识别为主动光源图像。
8.根据权利要求7所述的瞳孔追踪装置，其中所述控制处理单元还根据所述第一亮度图像或所述第二亮度图像识别瞳孔位置。
9.根据权利要求8所述的瞳孔追踪装置，其中所述第一亮度高于所述第二亮度，所述控制处理单元将所述第一亮度图像中最低灰阶值周围的灰阶值介于灰阶值范围的多个像素识别为瞳孔区域，并计算所述瞳孔区域的重心或中心以作为所述瞳孔位置。
10.根据权利要求8所述的瞳孔追踪装置，该瞳孔追踪装置还包含存储单元，该存储单元用以存储所述主动光源图像与所述瞳孔位置相关的瞳孔坐标信息。
11.根据权利要求7所述的瞳孔追踪装置，其中所述第一亮度等于所述第二亮度，所述图像传感器以第一曝光时间和第一电路增益获取所述第一亮度图像并以第二曝光时间和第二电路增益获取所述第二亮度图像。
12.根据权利要求7-11中任一项权利要求所述的瞳孔追踪装置，该瞳孔追踪装置设置于头戴式配件上。
13.一种瞳孔追踪装置，该瞳孔追踪装置包含: 至少两个主动光源，轮流发光以照明眼球； 图像传感器，获取相对不同的所述主动光源点亮的第一图像帧和第二图像帧；以及控制处理单元，用以计算所述第一图像帧和所述第二图像帧的差分图像，并将所述差分图像中的最暗区域和最亮区域识别为主动光源图像。
14.根据权利要求13所述的瞳孔追踪装置，其中所述控制处理单元还根据所述第一图像帧识别第一瞳孔区域并根据所述第二图像帧识别第二瞳孔区域。
15.根据权利要求14所述的瞳孔追踪装置，其中所述控制处理单元将所述第一图像帧中最低灰阶值周围的灰阶值介于灰阶值范围的多个像素识别为所述第一瞳孔区域并将所述第二图像帧中最低灰阶值周围的灰阶值介于所述灰阶值范围的多个像素识别为所述第二瞳孔区域；所述控制处理单元计算所述第一瞳孔区域的重心或中心以作为所述第一瞳孔位置并计算所述第二瞳孔区域的重心或中心以作为所述第二瞳孔位置。
16.根据权利要求14所述的瞳孔追踪装置，所述控制处理单元还将所述第一瞳孔区域和所述第二瞳孔区域的联集区域定义为输出瞳孔区域。
17.根据权利要求13所述的瞳孔追踪装置，该瞳孔追踪装置包含四个主动光源，所述控制处理单元识别所述差分图像中的四个主动光源图像并分别计算相对所述四个主动光源图像的定位坐标。
18.根据权利要求17所述的瞳孔追踪装置，其中所述控制处理单元还根据所述四个定位坐标计算所述眼球的眼球中心。
19.根据权利要求18所述的瞳孔追踪装置，其中所述控制处理单元还根据所述第一图像帧和所述第二图像帧识别输出瞳孔区域，并将所述眼球中心与所述输出瞳孔区域的连线方向定义为视线方向。
20.根据权利要求13-19中任一项权利要求所述的瞳孔追踪装置，该瞳孔追踪装置设置于头戴式配件上。`
【文档编号】G06F3/01GK103793045SQ201210428613
【公开日】2014年5月14日 申请日期:2012年10月31日 优先权日:2012年10月31日
【发明者】黄昱豪, 高铭璨, 李宜方, 许恩峰, 谢孟寰, 陈念泽 申请人:原相科技股份有限公司