瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组的制作方法

专利名称：瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组的制作方法
技术领域：
本发明涉及一种瞳孔追踪方法，特别是涉及一种应用特殊的座标转换前置技术而 提高准确度的瞳孔追踪方法。
背景技术：
人眼追踪(Eye tracking)技术常见应用于操控电脑，可发展作为渐冻人或肢体不 便的人士透通过电脑与外界沟通的辅具。此技术是指追踪眼球的移动，得到眼球位置座标 或移动轨迹，并据以对电脑产生某种预设的控制指令。因此这方面技术首先必须能精准地 侦测到眼球的移动，接着另一重点是必须能准确地转换成电脑产生控制指令所需的资料， 例如将眼球位置转换对应成电脑显示幕上的游标位置，否则将导致下错控制指令。已知人眼追踪技术一般可区分为接触式及非接触式两大类。其中，接触式人眼追 踪技术例如需使用者配带特制加入感应线圈的隐形眼镜的搜寻线圈法；又例如需使用者在 两眼四周贴设电极的眼电图法。至于非接触式人眼追踪技术目前则例如有需配带特殊设备 的头戴式(Head-mount)及免头戴式(Free-head)。前述头戴式人眼追踪技术，将摄影机与 光源架设在使用者头上，利用摄影机撷取的眼球影像推测视线位置，可排除使用者头部移 动造成的误差；免头戴式人眼追踪技术则须克服使用者头部移动造成误差的问题。可理解的，由于接触式人眼追踪技术对使用者来说有异物接触，会带来强烈的不 舒适感；非接触式的头戴式人眼追踪技术，则是因为头戴设备对使用者造成头部承受重量、 让使用者感觉笨重。以上种类皆造成使用者使用上的排斥感，姑且不论准确性及成本问题， 基本上推广不易。免头戴式人眼追踪技术方面，虽主要有使用者头部移动造成误差的问题需克服， 但由于不会对使用者造成不舒适感或承受额外负担，业界大多朝此方向发展而各推出不同 追踪方法，且大多以影像分析技术为基本工具。举例来说，美国第7，197，165B2号专利，揭 露一种利用影像资料进行眼球追踪的方法，其利用一预先建立的头部的三维电脑模型，并 寻找三维空间中定义为眼睛及眉毛的区域，将这些区域投射到二维影像空间，然后藉由分 析二维影像空间的像素强度值找出眼球位置。此技术不但需事先建立使用者头部的三维电 脑模型且追踪运算方法复杂，须配合强大运算功能的处理器才有办法降低处理时间，成本 十分昂贵。不论何种人眼追踪方法，开发者多着重在侦测眼球的移动方面，且这方面已大多 能达一定准确度，但在眼球座标映射(mapping)到显示幕座标的转换方面则较不受重视， 往往在这部分发生较多误差。一般来说，第一次进行座标转换时会需要先进行校正，常见校 正方法是令使用者观看显示幕四个角落或上下左右边缘，侦测到的眼球座标作为校正点， 将这些校正点视为正确而映射到显示幕，尔后使用者观看显示幕其余位置时则以内插法计 算投射到显示幕的位置。然而，前述校正方法不仅校正点少，整个显示幕绝大多数位置的座 标皆以内插求得，导致一旦其中一校正点稍有偏差，则将产生大范围的误差影响，且这种直 接将眼球座标转换为显示幕座标的方式并未被验证是较佳的。
由此可见，上述现有的不论何种人眼追踪方法，在方法与系统的结构及使用上，显 然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不 费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，此显然是相关业 者急欲解决的问题。因此如何能创设一种新的瞳孔追踪方法与系统，及用于瞳孔追踪的校 正方法与模组，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。

发明内容
本发明的目的在于，克服现有的人眼追踪方法存在的缺陷，而提供一种新的瞳孔 追踪方法及系统，所要解决的技术问题是使其提高准确度且成本低。本发明的另一目的在于，提供一种新型结构的校正方法及校正模组，用于瞳孔追 踪而可提高准确度。本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出 的一种瞳孔追踪方法，供将一使用者的视线转换得到一显示幕上的游标位置；其中该方法 包含一影像撷取步骤，由一影像撷取装置撷取该使用者的眼睛影像画面，该眼睛影像画面 中包括一瞳孔及二反光点的影像；一处理步骤，由一处理单元依据该瞳孔与该二反光点得 到一座落于一角度-面积平面图的原始座标；及一座标转换步骤，由一与该处理单元连接 的座标转换模组进行，利用座标系统转换方法使该角度-面积平面图上的原始座标转换为 一显示幕游标座标。本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。前述的瞳孔追踪方法，其中该处理步骤包括一影像分析步骤，由一与该影像撷取 装置连接的该处理单元的影像分析模组依据该瞳孔与该二反光点计算得到一面积参数及 一角度参数；及一图形处理步骤，由一与该影像分析模组连接的该处理单元的图形处理模 组使该面积参数及该角度参数标示于该角度_面积平面图而得到该原始座标。前述的瞳孔追踪方法，其中该影像分析步骤中，以一穿过该眼睛影像画面中的瞳 孔中心的横线，以及该瞳孔与其中一反光点的连线，两线所夹的角即为该角度参数。前述的瞳孔追踪方法，其中该影像分析步骤中，以一穿过该眼睛影像画面中的瞳 孔中心的横线，以及该瞳孔与其中一反光点的连线，两线所夹的角为第一角度，该横线以及 该瞳孔与其中另一反光点的连线所夹的角为第二角度，第一角度与该第二角度的平均值即 为该角度参数。前述的瞳孔追踪方法，其中该影像分析步骤中，以该眼睛影像画面中的瞳孔为顶 点，该瞳孔与该二反光点分别连线形成的夹角，即为该角度参数。前述的瞳孔追踪方法，其中该影像分析步骤中，该面积参数是指该瞳孔与该二反 光点连线所形成的三角形的面积值。前述的瞳孔追踪方法，其中该影像分析步骤中，该面积参数是指该瞳孔与该二反 光点连线所形成的三角形的面积值除以一正规化因子，该正规化因子是由该二反光点的距 离平方计算得到的。前述的瞳孔追踪方法，其中该影像分析步骤中，该面积参数是指该瞳孔与该二反 光点连线所形成的三角形的面积值除以一正规化因子，该正规化因子等于该二反光点的距 离平方除以2。
前述的瞳孔追踪方法，其中该座标转换步骤，是采仿射转换方法进行。前述的瞳孔追踪方法，其中在第一次使用该方法时应进行如下校正由一校正模 组定义一显示幕中第1-n校正点或校正区块，且该等校正点或校正区块中的至少四个分别 邻近该显示幕的四个角落；由该影像撷取装置撷取第1-n眼睛影像画面，该等眼睛影像画 面是该使用者分别注视该显示幕的1-n校正点或校正区块时所对应撷取；由该处理单元逐 一地依据该第1-n眼睛影像画面中的瞳孔与反光点得到该角度-面积平面图上的第1-n原 始座标；及由该座标转换模组使用与该座标转换模组一致的座标系统转换方法使该等原始 座标映射到该显示幕的校正点或校正区块的座标。前述的瞳孔追踪方法，其中在进行校正的步骤中，该处理单元是以该第1-法，其η 眼睛影像画面中的瞳孔与反光点计算得到对应的面积参数及角度参数，再逐一地标示于该 角度_面积平面图上而得到该第1-n原始座标。前述的瞳孔追踪方法其中在进行校正的步骤中，该座标转换模组使该等原始座标 映射到该显示幕的校正点或校正区块的座标，最后求得座标系统转换公式中的系数。前述的瞳孔追踪方法，其中该显示幕中第1-n校正区块是指由该显示幕等分的 iXj的阵列区块，因此η = ij。本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出 的一种瞳孔追踪系统，供将一使用者的视线转换得到一显示幕上的游标位置，并包含一供 撷取该使用者的眼睛影像画面的影像撷取装置；其中该眼睛影像画面中包括一瞳孔及二反 光点的影像，且该系统还包含一处理单元，依据该瞳孔及该二反光点得到一座落于一角 度-面积平面图的原始座标；及一座标转换模组，与该处理单元连接，利用座标系统转换方 法使该角度_面积平面图上的原始座标转换为一显示幕游标座标。本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。前述的瞳孔追踪系统，其中该处理单元包括一与该影像撷取装置连接的影像分析 模组，其自该眼睛影像画面中定位出该瞳孔及该二反光点，并依据该瞳孔与该二反光点计 算得到一面积参数及一角度参数；及一与该影像分析模组连接的图形处理模组，使该面积 参数及该角度参数标示于该角度_面积平面图而得到该原始座标。前述的瞳孔追踪系统，其中该系统还包含二光源，在该使用者的眼睛中形成该二 反光点。前述的瞳孔追踪系统，其中该影像分析模组是以一穿过该眼睛影像画面中的瞳孔 中心的横线，以及该瞳孔与其中一反光点的连线，两线所夹的角即为该角度参数。前述的瞳孔追踪系统，其中该影像分析模组是以一穿过该眼睛影像画面中的瞳孔 中心的横线，以及该瞳孔与其中一反光点的连线，两线所夹的角为第一角度，该横线以及该 瞳孔与其中另一反光点的连线所夹的角为第二角度，第一角度与该第二角度的平均值即为 该角度参数。前述的瞳孔追踪系统，其中该影像分析模组是以该眼睛影像画面中的瞳孔为顶 点，该瞳孔与该二反光点分别连线形成的夹角，即为该角度参数。前述的瞳孔追踪系统，其中该影像分析模组计算的面积参数，是指该瞳孔与该二 反光点连线所形成的三角形的面积值。前述的瞳孔追踪系统，其中该影像分析模组计算的面积参数，是指该瞳孔与该二反光点连线所形成的三角形的面积值除以一正规化因子，该正规化因子是由该二反光点的 距离平方计算得到的。前述的瞳孔追踪系统，其中该影像分析模组计算的面积参数，是指该瞳孔与该二 反光点连线所形成的三角形的面积值除以一正规化因子，该正规化因子等于该二反光点的 距离平方除以2。前述的瞳孔追踪系统，其中该座标转换模组，是采仿射转换方法进行座标转换。前述的瞳孔追踪系统，其中该系统还包含一校正模组，在第一次使用时应进行如 下校正该校正模组预先定义一显示幕中第l_n校正点或校正区块，且该等校正点或校正 区块中的至少四个分别邻近该显示幕的四个角落；该影像撷取装置撷取第l_n眼睛影像画 面，该等眼睛影像画面是该使用者分别注视该显示幕的1-n校正点或校正区块时所对应撷 取；该处理单元逐一地依据该第1-n眼睛影像画面中的瞳孔与反光点得到该角度_面积平 面图上的第1-n原始座标；及该校正模组使用与该座标转换模组一致的座标系统转换方法 使该等原始座标映射到该显示幕的校正点或校正区块的座标。前述的瞳孔追踪系统，其中该系统还包含一影像分析模组，在该校正过程中以该 第1-n眼睛影像画面中的瞳孔与反光点的连线计算得到对应的面积参数及角度参数，再由 该图形处理模组依据该面积参数及角度参数逐一地标示于该角度_面积平面图上而得到 该第1-n原始座标。前述的瞳孔追踪系统，其中该校正模组使该第1-n原始座标映射到该显示幕的校 正点或校正区块的座标，最后求得座标系统转换公式中的系数。前述的瞳孔追踪系统，其中该显示幕中第1-n校正区块是指由该显示幕等分的 iXj的阵列区块，因此n = ij。本发明的目的及解决其技术问题另外还采用以下技术方案来实现。依据本发明提 出的一种用于瞳孔追踪的校正方法，其中该方法包含以下步骤由一校正模组事先定义一 显示幕中第1-n校正点或校正区块，该等校正点或校正区块中的至少四个分别邻近该显示 幕的四个角落；由一影像撷取装置撷取第1-n眼睛影像画面，该等眼睛影像画面是该使用 者分别注视该显示幕的1-n校正点或校正区块时所对应撷取；由一处理单元逐一地依据该 第1-n眼睛影像画面中的瞳孔与反光点得到一角度-面积平面图上的第1-n原始座标；及 该校正模组使用与一座标转换模组一致的座标系统转换方法使该等原始座标映射到该显 示幕的校正点或校正区块的座标。本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。前述的校正方法，其中是由该处理单元的一影像分析模组逐一地依据该第1-n眼 睛影像画面的瞳孔及该二反光点的连线计算得到对应的面积参数及角度参数；再由该处理 单元的一图形处理模组依据该面积参数及角度参数逐一地标示于该角度_面积平面图而 得到该第1-n原始座标。前述的校正方法，其中该校正模组使该第1-n原始座标映射到该显示幕的校正点 或校正区块的座标，最后求得座标系统转换公式中的系数。前述的校正方法，其中该显示幕中第1-n校正区块是指由该显示幕等分的iXj的 阵列区块，因此n = ij。前述的校正方法，其中撷取该第1-n眼睛影像画面的步骤，须配合使该显示幕的第1-n校正点或校正区块依序被突显而藉以提醒该使用者注视，在该使用者注视被突显的 校正点或校正区块时进行眼睛影像画面的撷取。本发明的目的及解决其技术问题另外再采用以下技术方案来实现。依据本发明提 出的一种用于瞳孔追踪的校正模组，其中该模组包含一突显控制器，使一显示幕的预先定 义的第1-n校正点或校正区块依序被突显而藉以提醒该使用者注视，该等校正点或校正区 块中的至少四个分别邻近该显示幕的四个角落；一取像控制器，在该突显控制器使其中一 校正点或校正区块被突显时，对一影像撷取装置发出撷取影像的控制讯号；及一计算器，接 收一来自一图形处理模组得到的第1-n原始座标的分布范围，该分布范围近似矩形，并使 该等原始座标映射到该显示幕的校正区块的座标。本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。前述的校正模组，其中该计算器使该第1-n原始座标映射到该显示幕的校正点或 校正区块的座标，最后求得座标系统转换公式中的系数。前述的校正模组，其中该第1-n校正区块是指由该显示幕等分的iXj的阵列区 块，因此η = ij。本发明与现有技术相比具有明显的优点和有益效果。由以上技术方案可知，本发 明的主要技术内容如下本发明瞳孔追踪方法，包含一影像撷取步骤、一影像分析步骤、一图形处理步骤， 及一座标转换步骤。其中，影像撷取步骤是由一影像撷取装置撷取一使用者的眼睛影像画 面，该眼睛影像画面中包括一瞳孔及二反光点的影像。影像分析步骤是由一影像分析模组 依据该瞳孔与该二反光点计算得到一面积参数及一角度参数。图形处理步骤由一与该影像 分析模组连接的图形处理模组进行，使该面积参数及该角度参数标示于一角度_面积的平 面图，得到一座落于该角度-面积平面图的原始座标。最后的座标转换步骤，由一与该图形 处理模组连接的座标转换模组进行，利用座标系统转换方法使该角度_面积平面图上的原 始座标转换为一显示幕游标座标。本发明瞳孔追踪系统，供将一使用者的视线转换得到一显示幕上的游标位置，并 包含一影像撷取装置、一影像分析模组、一图形处理模组及一座标转换模组。影像撷取装 置供撷取该使用者的眼睛影像画面，该眼睛影像画面中包括一瞳孔及二反光点的影像。影 像分析模组与该影像撷取装置连接，自该眼睛影像画面中定位出该瞳孔及该二反光点，并 依据该瞳孔与该二反光点计算得到一面积参数及一角度参数；图形处理模组与该影像分析 模组连接，使该面积参数及该角度参数标示于一角度-面积的平面图，得到一座落于该角 度_面积平面图的原始座标。座标转换模组与该图形处理模组连，利用座标系统转换方法 使该角度_面积平面图上的原始座标转换为一显示幕游标座标。本发明是经实验及大量数据验证，发现使用者观看显示幕不同点时，所撷取影像 中瞳孔与二反光点构成的参数在角度-面积平面图上的分布形状，与显示幕上应对点分布 形状最为吻合_例如，显示幕轮廓呈一矩形，使用者观看显示幕各个区块或周缘或四个角 落所得到在角度_面积平面图上的分布形状也十分接近矩形；相较于习知直接将瞳孔座标 (观看显示幕周缘所得到的瞳孔座标，往往构成梯形或非等边四边形)映射到显示幕座标， 可大幅降低映射误差。本发明瞳孔追踪方法及系统在第一次使用时，应先进行校正，校正方法包括以下步骤由一校正模组事先定义一显示幕中第1-n校正点或校正区块，且该等校正点或校 正区块中的至少四个分别邻近该显示幕的四个角落。由一影像撷取装置撷取第1-n眼睛影 像画面，该等眼睛影像画面是该使用者分别注视该显示幕的第1-n校正点或校正区块时所 对应撷取。由一影像分析模组逐一地依据该第1-n眼睛影像画面中的瞳孔与反光点的连线 计算得到对应的面积参数及角度参数。由一图形处理模组逐一地将该该第1-n眼睛影像画 面的面积参数及角度参数标示于该角度-面积平面图，得到第1-n原始座标。该校正模组 使用与一座标转换模组一致的座标系统转换方法使该第1-n原始座标映射到该显示幕的 第1-n校正点或校正区块的座标，最后求得座标系统转换公式中的系数。本发明用于瞳孔追踪的校正模组，包括一突显控制器、一取像控制器及一计算器。 突显控制器使一显示幕的预先定义的第1-n校正点或校正区块依序被突显而藉以提醒该 使用者注视，该等校正点或校正区块中的至少四个分别邻近该显示幕的四个角落。取像控 制器在该突显控制器使其中一校正点或校正区块被突显时，对一影像撷取装置发出撷取影 像的控制讯号。计算器接收一来自一图形处理模组得到的第1-n原始座标的分布范围，该 分布范围近似矩形，并使该等原始座标映射到该显示幕的校正区块的座标，最后求得座标 系统转换公式中的系数。本发明的有益效果在于采用独创的座标映射前处理_将瞳孔移动产生的角度参 数、面积参数标示于角度_面积平面图上，再以该角度_面积平面图上的原始座标进行转 换，此时的转换过程，相当于两个矩形间的转换，可大幅降低习知由非矩形转矩形所导致的 误差，因此提高瞳孔追踪的准确度。综上所述，本发明在技术上有显著的进步，并具有明显的积极效果，诚为一新颖、 进步、实用的新设计。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够 更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。


图1是一系统示意图，说明本发明瞳孔追踪系统的较佳实施例；图2是一系统方块图，说明本实施例的详细构成；图3是一流程图，说明本实施例第一次使用时的校正流程；图4是一流程图，说明本实施例一般使用时的流程；图5是一眼睛影像画面的示意图；图6是一显示幕中定义出的校正区块的示意图；图7是一角度-面积平面图，说明座落其上的1-n个原始座标以及任一点；图8是两座标系统间转换的示意图。
具体实施例方式为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合 附图及较佳实施例，对依据本发明提出的瞳孔追踪方法与系统，及用于瞳孔追踪的校正方法与模组，详细说明如后。请参阅图1与图2，本发明瞳孔追踪系统100是用以将一使用者的视线转换得到 一显示幕10上的游标位置，其较佳实施例包含一影像撷取装置2、二光源3、一包括有一影 像分析模组4及一图形处理模组5的处理单元40、一座标转换模组6，及一校正模组7。前 述处理单元40、座标转换模组6及校正模组7在本实施例，是当一与该显示幕10连接的电 脑主机1中央处理单元(图未示)读取并执行一储存于一记忆体的电脑可读取程序后所产 生，但不以此为限，也可以是以集成电路或韧体方式在该电脑主机中实现，或者利用一与该 电脑主机1连接的电子装置(图未示)读取并执行程序后产生，并将运算结果传送至该电 脑主机1以控制显示幕10上的游标位置。请配合参阅图5，该二光源3在使用者的眼睛中会形成二个反光点31、32。影像撷 取装置2供撷取使用者的眼睛影像画面20，该眼睛影像画面20中包括一瞳孔30及该二反 光点31、32的影像。为了有助于影像分析模组4定位出瞳孔30及反光点31、32影像，可先 以红外线投光器(图未示)对该使用者照射，再由影像撷取装置2撷取该眼睛影像画面20。影像分析模组4与影像撷取装置2连接，其包括一定位器41，在本实施例是对眼睛 影像画面20进行二值化处理(thresholding，又称灰度分划)，使影像中灰度大于预设灰度 值的部分，调整为黑色；影像中灰度小于预设灰度值的部分，调整为白色，藉此清楚找出瞳 孔30 ；同样地，藉由调整预设的灰度值，可找出该二反光点31、32。影像分析模组4还包括 一面积参数计算器42及一角度参数计算器43，分别依据该瞳孔30与该二反光点31、32计 算得到一面积参数及一角度参数。 本发明的面积参数计算器42计算面积参数的方法有二 其一，是假设瞳孔30与反 光点31、32三点不共线，计算三点连线所形成的三角形的面积值。其二，是进一步考虑使用 者的头部相对影像撷取装置2而前后移动的状况下的误差校正问题；由于当使用者头部较 靠近影像撷取装置2时，眼睛影像画面20中该二反光点31、32的距离较大，随着使用者头 部远离影像撷取装置2，该二反光点31、32距离变小，也就是说使用者头部的移动导致在计 算瞳孔30与反光点31、32构成的三角形面积时增加另一变数，因此应将此变数消弭；本实 施例即考虑此误差校正问题，实际计算面积参数采用的方法是，针对瞳孔30与反光点31、 32所形成的三角形面积除以一正规化因子，该正规化因子等于该二反光点31、32的距离的 平方除以2。本发明的角度参数计算器43计算角度参数的方法有三，演算时择定其中一种皆 可得到准确的瞳孔追踪效果。其一，以一横向穿过瞳孔30中心的横线L，以及瞳孔30与其 中一反光点31的连线，两线所夹的角即为该角度参数。其二，令横线L以及瞳孔30与其中 一反光点31的连线，两线所夹的角为第一角度α 1，该横线L以及瞳孔30与其中另一反光 点32的连线所夹的角为第二角度α 2，第一角度α 1与该第二角度α 2的平均值即为该角 度参数_本实施例以下说明及图式是以此计算方式进行。其三，以瞳孔30为顶点，瞳孔30 与该二反光点31、32分别连线形成的夹角(相当于α 2-α 1)，即为该角度参数。图形处理模组5与影像分析模组4连接，使计算得到的面积参数及角度参数分别 当作一如图7所示的角度-面积的平面图的纵轴及横轴的变量，标示于其上，并得到对应的 座落于该角度_面积平面图的原始座标(X，y)。座标转换模组6与图形处理模组5连接，利用座标系统转换方法使该角度_面积平面图上的原始座标(x，y)映射到显示幕10的游标座标(u，v)。在本实施例，座标转换模 组6是采仿射转换(affine transformation)方法进行座标转换。在第一次使用时，需令使用者先观看校正模组7预先定义的显示幕10中第1-n校 正点或校正区块以进行校正，藉此得到角度-面积平面图上的校正座标。本实施例是以图 6所示的第1-18校正区块举例说明，也就是n = 18，且显示幕10中第1-18校正区块是指 由显示幕10等分的3X6的阵列区块。但不以此为限，只要该等校正点或校正区块中的至 少四个分别邻近显示幕10的四个角落即可。同时参阅图2、图3及图6，第一次使用时的校正方式如下，且主要主导校正的校正 模组7，包括一突显控制器71、一取像控制器72，及一计算器73，其作用分述于下文。步骤S11-突显控制器71使第k校正区块依序被突显而藉以提醒该使用者注视， 其中k = 1-18。取像控制器72在突显控制器71使其中一校正区块被突显时，对影像撷取 装置2发出撷取影像的控制讯号。步骤S12-影像撷取装置2撷取得到第k眼睛影像画面20 (图5)。步骤S13-影像分析模组4依据该第k眼睛影像画面20中的瞳孔30与反光点31、 32计算得到面积参数及角度参数。步骤S14-图形处理模组5将面积参数及角度参数标示于角度_面积平面图。前述步骤S11-步骤S14递回执行，直到k = n执行完毕，则可在角度_面积平面 图上得到第1-n原始座标(参考图7)，该第1-n原始座标即前述校正座标。接着，在步骤S15中，计算器73接收来自图形处理模组5的所有原始座标的分布 范围，该分布范围近似矩形，并使用仿射转换法而如图8所示使该等原始座标映射到该显 示幕10的校正区块的座标，可求得仿射转换法的座标系统转换公式中的系数，以供后续该 瞳孔追踪系统100的座标转换模组6使用。经校正后，使用者只要注视显示幕10上任一位置，该瞳孔追踪系统100即执行如 图4所示的流程，并说明如下步骤S21-影像撷取装置2撷取得到一眼睛影像画面20。需要说明的是，该影像撷 取装置2是连续取像，因此本步骤所述撷取道的眼睛影像画面是时序中的一影像画面。步骤S22-影像分析模组4依据该眼睛影像画面20中的瞳孔30与反光点31、32 计算得到面积参数及角度参数。步骤S23-图形处理模组5将面积参数及角度参数标示于角度_面积平面图，得到 角度_面积平面图上的原始座标。步骤S24-座标转换模组6利用座标系统转换方法使该角度_面积平面图上的原 始座标映射到显示幕游标座标。由于经验证明发现，使用者观看显示幕不同点时，所撷取影像中瞳孔与二反光点 构成的参数在角度-面积平面图上的分布形状，与显示幕上应对点分布形状最为吻合一 例如，显示幕轮廓呈一矩形，使用者观看显示幕各个区块或周缘或四个角落所得到在角 度_面积平面图上的分布形状也十分接近矩形；因此本发明将瞳孔移动产生的角度参数、 面积参数标示于角度_面积平面图上，再以该角度_面积平面图上的原始座标进行转换，此 时的转换过程，相当于两个矩形间的转换，可大幅降低映射误差，因此提高瞳孔追踪的准确 度，确实能达成本发明的目的。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽 然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人 员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰 为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对 以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
权利要求
一种瞳孔追踪方法，供将一使用者的视线转换得到一显示幕上的游标位置；其特征在于该方法包含一影像撷取步骤，由一影像撷取装置撷取该使用者的眼睛影像画面，该眼睛影像画面中包括一瞳孔及二反光点的影像；一处理步骤，由一处理单元依据该瞳孔与该二反光点得到一座落于一角度-面积平面图的原始座标；及一座标转换步骤，由一与该处理单元连接的座标转换模组进行，利用座标系统转换方法使该角度-面积平面图上的原始座标转换为一显示幕游标座标。
2.如权利要求1所述的瞳孔追踪方法，其特征在于该处理步骤包括一影像分析步骤， 由一与该影像撷取装置连接的该处理单元的影像分析模组依据该瞳孔与该二反光点计算 得到一面积参数及一角度参数；及一图形处理步骤，由一与该影像分析模组连接的该处理 单元的图形处理模组使该面积参数及该角度参数标示于该角度_面积平面图而得到该原 始座标。
3.如权利要求2所述的瞳孔追踪方法，其特征在于该影像分析步骤中，以一穿过该眼 睛影像画面中的瞳孔中心的横线，以及该瞳孔与其中一反光点的连线，两线所夹的角即为 该角度参数。
4.如权利要求2所述的瞳孔追踪方法，其特征在于该影像分析步骤中，以一穿过该眼 睛影像画面中的瞳孔中心的横线，以及该瞳孔与其中一反光点的连线，两线所夹的角为第 一角度，该横线以及该瞳孔与其中另一反光点的连线所夹的角为第二角度，第一角度与该 第二角度的平均值即为该角度参数。
5 如权利要求2所述的瞳孔追踪方法，其持征在于该影像分析步骤中，以该眼睛影像 画面中的瞳孔为顶点，该瞳孔与该二反光点分别连线形成的夹角，即为该角度参数。
6.如权利要求2所述的瞳孔追踪方法，其特征在于该影像分析步骤中，该面积参数是 指该瞳孔与该二反光点连线所形成的三角形的面积值。
7.如权利要求2所述的瞳孔追踪方法，其特征在于该影像分析步骤中，该面积参数是 指该瞳孔与该二反光点连线所形成的三角形的面积值除以一正规化因子，该正规化因子是 由该二反光点的距离平方计算得到的。
8.如权利要求2所述的瞳孔追踪方法，其特征在于该影像分析步骤中，该面积参数是 指该瞳孔与该二反光点连线所形成的三角形的面积值除以一正规化因子，该正规化因子等 于该二反光点的距离平方除以2。
9 如权利要求1-8中任一项所述的瞳孔追踪方法，其特征在于该座标转换步骤，是采 仿射转换方法进行。
10.如权利要求1-8中任一项所述的瞳孔追踪方法，其特征在于在第一次使用该方法 时应进行如下校正由一校正模组定义一显示幕中第l_n校正点或校正区块，且该等校正点或校正区块中 的至少四个分别邻近该显示幕的四个角落；由该影像撷取装置撷取第l_n眼睛影像画面，该等眼睛影像画面是该使用者分别注视 该显示幕的l_n校正点或校正区块时所对应撷取；由该处理单元逐一地依据该第1-n眼睛影像画面中的瞳孔与反光点得到该角度-面积平面图上的第1-n原始座标；及由该座标转换模组使用与该座标转换模组一致的座标系统转换方法使该等原始座标 映射到该显示幕的校正点或校正区块的座标。
11.如权利要求10所述的瞳孔追踪方法，其特征在于在进行校正的步骤中，该处理单 元是以该第l_n眼睛影像画面中的瞳孔与反光点计算得到对应的面积参数及角度参数，再 逐一地标示于该角度-面积平面图上而得到该第1-n原始座标。
12.如权利要求10所述的瞳孔追踪方法，其特征在于在进行校正的步骤中，该座标转 换模组使该等原始座标映射到该显示幕的校正点或校正区块的座标，最后求得座标系统转 换公式中的系数。
13.如权利要求10所述的瞳孔追踪方法，其特征在于该显示幕中第1-n校正区块是指 由该显示幕等分的iX j的阵列区块，因此n = ij。
14.一种瞳孔追踪系统，供将一使用者的视线转换得到一显示幕上的游标位置，并包含 一供撷取该使用者的眼睛影像画面的影像撷取装置；其特征在于该眼睛影像画面中包括一 瞳孔及二反光点的影像，且该系统还包含一处理单元，依据该瞳孔及该二反光点得到一座落于一角度-面积平面图的原始座 标；及一座标转换模组，与该处理单元连接，利用座标系统转换方法使该角度_面积平面图 上的原始座标转换为一显示幕游标座标。
15.如权利要求14所述的瞳孔追踪系统，其特征在于该处理单元包括一与该影像撷取 装置连接的影像分析模组，其自该眼睛影像画面中定位出该瞳孔及该二反光点，并依据该 瞳孔与该二反光点计算得到一面积参数及一角度参数；及一与该影像分析模组连接的图形 处理模组，使该面积参数及该角度参数标示于该角度_面积平面图而得到该原始座标。
16.如权利要求15所述的瞳孔追踪系统，其特征在于该系统还包含二光源，在该使用 者的眼睛中形成该二反光点。
17.如权利要求15所述的瞳孔追踪系统，其特征在于该影像分析模组是以一穿过该眼 睛影像画面中的瞳孔中心的横线，以及该瞳孔与其中一反光点的连线，两线所夹的角即为 该角度参数。
18.如权利要求15所述的瞳孔追踪系统，其特征在于该影像分析模组是以一穿过该眼 睛影像画面中的瞳孔中心的横线，以及该瞳孔与其中一反光点的连线，两线所夹的角为第 一角度，该横线以及该瞳孔与其中另一反光点的连线所夹的角为第二角度，第一角度与该 第二角度的平均值即为该角度参数。
19.如权利要求15所述的瞳孔追踪系统，其特征在于该影像分析模组是以该眼睛影像 画面中的瞳孔为顶点，该瞳孔与该二反光点分别连线形成的夹角，即为该角度参数。
20.如权利要求15所述的瞳孔追踪系统，其特征在于其中，该影像分析模组计算的面 积参数，是指该瞳孔与该二反光点连线所形成的三角形的面积值。
21.如权利要求15所述的瞳孔追踪系统，其特征在于该影像分析模组计算的面积参 数，是指该瞳孔与该二反光点连线所形成的三角形的面积值除以一正规化因子，该正规化 因子是由该二反光点的距离平方计算得到的。
22.如权利要求15所述的瞳孔追踪系统，其特征在于该影像分析模组计算的面积参数，是指该瞳孔与该二反光点连线所形成的三角形的面积值除以一正规化因子，该正规化 因子等于该二反光点的距离平方除以2。
23.如权利要求14-22中任一项所述的瞳孔追踪系统，其特征在于该座标转换模组，是 采仿射转换方法进行座标转换。
24.如权利要求14-22中任一项所述的瞳孔追踪系统，其特征在于该系统还包含一校 正模组，在第一次使用时应进行如下校正该校正模组预先定义一显示幕中第l_n校正点或校正区块，且该等校正点或校正区块 中的至少四个分别邻近该显示幕的四个角落；该影像撷取装置撷取第l_n眼睛影像画面，该等眼睛影像画面是该使用者分别注视该 显示幕的l_n校正点或校正区块时所对应撷取；该处理单元逐一地依据该第1-n眼睛影像画面中的瞳孔与反光点得到该角度_面积平 面图上的第1-n原始座标；及该校正模组使用与该座标转换模组一致的座标系统转换方法使该等原始座标映射到 该显示幕的校正点或校正区块的座标。
25.如权利要求24所述的瞳孔追踪系统，其特征在于该系统还包含一影像分析模组， 在该校正过程中以该第1-n眼睛影像画面中的瞳孔与反光点的连线计算得到对应的面 积参数及角度参数，再由该图形处理模组依据该面积参数及角度参数逐一地标示于该角 度_面积平面图上而得到该第1-n原始座标。
26.如权利要求24所述的瞳孔追踪系统，其特征在于该校正模组使该第1-n原始座标 映射到该显示幕的校正点或校正区块的座标，最后求得座标系统转换公式中的系数。
27.如权利要求24所述的瞳孔追踪系统，其特征在于该显示幕中第1-n校正区块是指 由该显示幕等分的iXj的阵列区块，因此n = ij。
28.一种用于瞳孔追踪的校正方法，其特征在于该方法包含以下步骤由一校正模组事先定义一显示幕中第1-n校正点或校正区块，且该等校正点或校正区 块中的至少四个分别邻近该显示幕的四个角落；由一影像撷取装置撷取第1-n眼睛影像画面，该等眼睛影像画面是该使用者分别注视 该显示幕的1-n校正点或校正区块时所对应撷取；由一处理单元逐一地依据该第l-n眼睛影像画面中的瞳孔与反光点得到一角度-面积 平面图上的第1-n原始座标；及该校正模组使用与一座标转换模组一致的座标系统转换方法使该等原始座标映射到 该显示幕的校正点或校正区块的座标。
29.如权利要求28所述的校正方法，其特征在于是由该处理单元的一影像分析模组逐 一地依据该第1-n眼睛影像画面的瞳孔及该二反光点的连线计算得到对应的面积参数及 角度参数；再由该处理单元的一图形处理模组依据该面积参数及角度参数逐一地标示于该 角度_面积平面图而得到该第1-n原始座标。
30.如权利要求28所述的校正方法，其特征在于该校正模组使该第1-n原始座标映射 到该显示幕的校正点或校正区块的座标，最后求得座标系统转换公式中的系数。
31.如权利要求28所述的校正方法，其特征在于该显示幕中第1-n校正区块是指由该 显示幕等分的iX j的阵列区块，因此n = ij。
32.如权利要求28所述的校正方法，其特征在于撷取该第1-n眼睛影像画面的步骤，须 配合使该显示幕的第l_n校正点或校正区块依序被突显而藉以提醒该使用者注视，在该使 用者注视被突显的校正点或校正区块时进行眼睛影像画面的撷取。
33.一种用于瞳孔追踪的校正模组，其特征在于该模组包含一突显控制器，使一显示幕的预先定义的第1-n校正点或校正区块依序被突显而藉以 提醒该使用者注视，该等校正点或校正区块中的至少四个分别邻近该显示幕的四个角落；一取像控制器，在该突显控制器使其中一校正点或校正区块被突显时，对一影像撷取 装置发出撷取影像的控制讯号；及一计算器，接收一来自一图形处理模组得到的第1-n原始座标的分布范围，该分布范 围近似矩形，并使该等原始座标映射到该显示幕的校正区块的座标。
34.如权利要求33所述的校正模组，其特征在于该计算器使该第1-n原始座标映射到 该显示幕的校正点或校正区块的座标，最后求得座标系统转换公式中的系数。
35.如权利要求33所述的校正模组，其特征在于该第1-n校正区块是指由该显示幕等 分的iXj的阵列区块，因此n = ij。
全文摘要
本发明公开了一种瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组。本发明是有关于一种瞳孔追踪方法，包含撷取一使用者的眼睛影像画面，该眼睛影像画面中包括一瞳孔及二反光点的影像；依据该瞳孔与该二反光点计算得到一面积参数及一角度参数；使该面积参数及该角度参数标示于一角度-面积的平面图，得到一座落于该角度-面积平面图的原始座标；及利用座标系统转换方法使该角度-面积平面图上的原始座标转换为一显示幕游标座标。由于本发明采用的特征值，即面积与角度，所描述的眼动范围为一矩形，因此在座标转换过程，相当于两个矩形间的座标转换，可大幅降低误差，提高瞳孔追踪的准确度。
文档编号G06K9/00GK101872237SQ20091013721
公开日2010年10月27日 申请日期2009年4月23日 优先权日2009年4月23日
发明者赵新民 申请人:由田新技股份有限公司