专利名称：一种基于眼部区域运动特征提取与跟踪的鼠标系统的制作方法
技术领域：
本发明涉及--种不需要双手操作，而是通过眼部移动和眼睛眨动产生鼠标信号控制电脑 屏幕上光标的装置.属于电子设备领域。
(二)
背景技术：
随着电子技术、网络技术及智能技术的发展，电脑已成为人们生活工作中的必备。但对 于肢体残疾的人及身处特殊工作领域的人来讲，操控电脑成为他们应用电據的瓶颈。例如， 双臂、双手残疾的人或者由于神经受损导致全身瘫痪的人不能使用鼠标及键盘操作电脑，因 为无法享受电脑带来的娱乐乐趣； 一些技术工人可能在进行机械设备操作或维护的同时需要 査阅资料，但由于双手暂时不能空闲而无法操控电脑；医生们可能由于卫生等原因不能用双 手触摸电脑操控设备。因此，提供更加自由便捷、更加智能化人性化的操作方式将成为电脑 技术开发人员及制造商的新课题。
本发明为残疾人及特殊行业需求的工作人员提供一种基于眼部区域运动及双眼貶动的光 标控制方式，同时，本技术也可应用于汽车驾驶上，可以感知驾驶者眼瞎的注视点，如果驾 驶者因为疲劳或注意力分散，眼睛的注意力偏离了前方或者眼睛长时间注视某点，该装置可 以发出警告。
(三) 发明技术 为了实现以上的发明目的，本发明的技术方案是
—种基于眼部区域特征提取与跟踪的鼠标系统，其特征在于整个系统由视频采 集单元、图像处理及其特征提取单元、目标跟踪单元和信号转寒输出单元构成。视频 采集单元置于电脑显示屏或其他用户面对的设备上，视频采集单元获取包括整个面部 信息及其它背景信息的连续视频信号，并输出至图像处理及其特征提取单元。图像处
理及其特征提取单元进行面部图像的初始化，包括转换成灰度图象，并提高其对比度， 去除头发、衣服和背景噪声，提取包括眉毛与服睛的眼部特征。目标跟踪单元建立眼 部特征模板并进行眼部运动检测与跟踪，由眼部运动信号在水平与垂直方向上分别建 立电脑光标运动控制信号。信号转换输出单元将前一单元生成的光标运动控制信号转 换成串行鼠标或PS/2鼠标数据格式。信号转换输出单元连接电脑硬件，将鼠标控制信 号输入给电脑。
.
本发明的进一歩特征还包括
眼部特征提取与跟踪技术特征在于(1)采用临帧眼睛区域像素差分算法完成眼 睛的定位；(2)建立差分图的水平投影函数，设置水平投影辆侓和模糊宽度去除差分 图的大部分噪声；(3)进行区域能量积累，进行眼部区域的精确定位；(4)根据眼睛 和眉毛的几何特征及眼部区域位置信息建立眼部区域模板，并计算其水平和垂直投影 函数作为眼部特征模板；(5)采用模板匹配方法检測眼部运动。
所述的带有操作性质的眼部表情包括双眼眨动、单眼眨动、眼部运动。多次(三 次或两次)双眼眨动表示光标的扑获和放弃左眼眨动表示左键操作，右眼貶动表示 右键操作眼部区域运动控制光标的运动。
基于眼部区域特征提取与跟踪的鼠标控制系统操作特征在于(1)鼠标系统首先 处在检測状态，直到检测到多次双眼眨动。第一次检测到多次^5^良眨动表示扑获光标， 眼部动作开始对光标进行控制。第二次检测到多次双眼眨动表示释放光标，眼部动作 无法操作光标，直到再一次检测到多次双眼眨动。(2)光标扑获之后，根据双眼的位 置首先可以估计眼部区域，建立眼部区域模板及单眼眨动和双眼貶动模板，然后可以 建立眼部动态范围，在此范围内利用以上模板进行匹配，可以单眼賠动和双眼眨动操 作。(3)根据跟部区域的历史运动轨迹估计此刻的位置信息，根据眼部眨动情况及眼睛和眉毛的位置信息建立眼部区域位置量测值，基于卡尔曼滤波器估计眼部区域的实 际位置。
由眼部运动信号在水平与垂直方向上分别建立电脑光标运动控制信号，其特征在 于对眼部在水平与垂直方向的运动信号进行积分，直到眼部运动停止。新的眼部运动 信号将产生新的积分信号。积分信号转换成电脑光标运动的控制信号。
(四)
为使对本发明的目的、特征和优点有较清楚的理解，现结合
如下-
附图1是本发明的系统整体框图。
附图2是本发明的限部特征提取及眼部运动检测与跟踪系统框图。
附图3是视频采集单帧的灰度图。
附图4是视频单桢图像预处理结果图。
附图5是面部特征提取结果图。
附图6是眼都特征提取及其水平和垂直投影函数图。
附图7是眼都定位结果图。
附图8是眼部区域及其水平和垂直投影函数图。
附图9是眼部区域运动后的水平和垂直投影函数图。
具体实施方式
下面结合附图对本发明作进一步描述。
附图 1是本发明的系统整体框图。图中，①代表视频采集单元，②代表视频图像预处理 与眼部特征提取单元，③代表运动目标跟踪单元，④代表运动信号积分转换输出单元，⑤代 表电脑，⑥代表视频信息，⑦代m部特征信息、光标扑获或释放偉息、眼部特征模板，⑧ 代表眼部运动信息和眼部眨动信息，⑨代表光标控制信息。整个系统包括规频采集单元，视 频图像预处理与眼部特征提取单元，运动目标跟踪单元和运动信号积分转换输出单元四个部
分。视频采集单元获取包括面部图像、衣服头发图像及背景噪声图像在内的连续视频帧。连 续的帧图像输入到视频图像预处理与眼部特征提取单元，视频图像预处理首先将单帧视频图像转换成灰度图象，具体方法是提出原始RGB图像中的R基色形成灰度图。实验发现，R基 色具有较好的图像对比度，且可以有效抑制眼镜镜面的反光现象，如附图3。对灰度图象进 行直方图均衡化处理，提髙图像的对比度，如附图4。然后提取眼部区域，去除头发、衣服 和背景成分。具体方法是首先设置一低灰度阈值，保留图像中的黑色成分。与眼睛和眉毛相 比，头发、衣服及背景中的黑色成分具有较大的面积和不规则的形状，据此消除头发、衣服 和背景中的黑色成分，如附图5。在获得眼部区域大体范围之后对眼睛进行精确定位。单帧 图像中的眼睛定位算法比较复杂，而且这些算法也并不能很好的解决由眼形、光照、所拍摄 面部大小等区别所带来的问题。本发明采用临帧眼睛区域像素差分箅法、眼部区域水平和垂 直投影函数算法及能量积累算法完成对眼睛的精确定位，如附图6。差分算法保留了眼睛的 能量，但同时也保留了其他的一些边缘噪声信息。且由于面部轮廓在垂直方向的噪声较大， 利用垂直投影无法区分出眼睹位置的横向坐标。而由于眼睛在水平方向上的抖动使得眼睛区 域在水平方向上的临帧差比较明显。设置水平投影阈值和模糊宽度，确定眼睛位置的水平坐 标，如图7。水平投影函数算法并不能确定唯一的眼睛位置信息，需要进一步进行能量积累。 积累方法如下(1)由某一行上的像素开始，对连续(连续性由设定的聚积阈值确定)的非 零量的横坐标和能置值进行累加，像素点的能量值在输入累加器后淸零，如果寻找不到更多 地儺素，则累加器中的值賦予累加器该行重心像素点，累加器淸零。因为只有水平投影中超 过其闺值的行出现非零量，因此仅针对这些行进行能量积累；(2)对(1)中行上的非零像素 点进行第二次能量积累，这次)i^相互距离小于一聚积阈值的像素能豕进行积累，并重新计算 重心；(3)能量最大的两个聚类中心作为左右眼的中心；(4)对双眼坐标班行检验。检测原则如下(1)左右眼位置的纵坐标相近，即双眼水平方向在一直线上；(2)连续几帧获得的左右眼位置相近。根据以上两个原则，抛弃不符合的，如附图8。根据双眼间的距离估计包括双眉在内的眼部区域。计算水平和垂直投影函数作为眼部特征模板，包括双眼正常，双眼 眨动，单眼眨动的双眼和双眉特征模板。视频图像预处理与眼部特征提取单元将眼部特征模 板和眼睛眨动信息输出给动目标跟踪单元。动目标跟踪单元提取输入帧图像的眼部区域，如附图9，然后利用前一单元获得的特征模板进行匹配，获得眼部区域的运动信息及眼睛的眨 动信息。眼部区域的运动信息作为观测值，基于卡尔曼滤波器确定眼部区域的实际运动信息。 动目标检测单元输出的眼部区域运动信息不足以驱动光标进行大范围的运动，本发明在运动 信号积分转换输出单元对眼部运动信息进行积分运算，即眼部K域在某一方向上的长时间运 动将加快光标的移动速度和移动距离，直到眼部区域在该方向上停止运动；相对于眼部区域 在某一方向上的短时间运动，光标移动距离也很短，这样提高光标的定位精度。信号转换输 出单元同时将眼部区域运动积分信号转换成串行鼠标或PS/2鼠标数据格式。信号转换输出单元连接电脑硬件，将鼠标控制信号输入给电脑。
在本发明中，带有操作性质的眼部动作包括双眼眨动、单眼貶动和眼邻运动。多次(三 次或两次)双眼眨动表示光标的扑获或释放。左眼眨动表示左键操作，右眼眨动表示右键操 作，眼部运动控制光标的运动。如附图2，图中①表示图像预处理，②表示闭眼动作检測， ③表示睁眼动作检測，④表示判断与建立特征模型，⑤表示单眼眨动检测,⑥表示双眼眨动 检測，⑦表示眼部运动检測，⑧基于Kalman滤波的眼部运动跟踪。利用处理后的连续单帧图 像分别进行睁眼动作检測和闭眼动作检測。眼睛貶动一次的时间大约0.15~0.2秒，根据摄像设备每秒所能获得的帧数，设定一延迟值。闭眼动作与睁眼动作的检測分别同时进行，将某 一帧与其延迟时间前的幀差分处理，若检測到双眼，则为闭眼动作；将延迟时间前的帧与某 一帧差分处理，若检测到双眼，则为睁眼动作。分别检測到多次睁、闭眼动作后，建立眼部 区域模板，包括双眼、双眉、单眼眨动、双眼貶动的特征模板。建立特征模板意味着扑获光 标，然后利用特征模板对单桢图像进行匹配，检测单眼眨动、双眼眨动以及双眼的运动。由 于B艮瞎眨动将使眼睛的运动位置信息产生跳动，同时单眼的眨动也带动同一侧的单眉产生运动位置跳动，因此，需要根据单眼眨动排除这种突发错误的定位信息，如附图2,单眼眨动 信息、双眼眨动信息及双眼和双眉的运动信息同时输入眼部运动检测与跟踪单元。基于卡尔 曼滤波器进-步估计眼部的实际运动，并将其转换为鼠标控制信号。
权利要求
1.一种基于眼部运动特征提取与跟踪的鼠标控制系统，其特征在于整个系统由视频采集单元、图像处理及其特征提取单元、目标跟踪单元和信号转换输出单元构成。视频采集单元置于电脑显示屏或其他用户面对的设备上，视频采集单元获取包括整个面部信息及其它背景信息的连续视频信号，并输出至图像处理及其特征提取单元。图像处理及其特征提取单元进行面部图像的初始化，包括转换成灰度图象，并提高其对比度，去除头发、衣服和背景噪声，提取包括眉毛与眼睛的眼部特征。目标跟踪单元建立眼部特征模板并进行眼部运动检测与跟踪，由眼部运动信号在水平与垂直方向上分别建立电脑光标运动控制信号。信号转换输出单元将前一单元生成的光标运动控制信号转换成串行鼠标或PS/2鼠标数据格式。信号转换输出单元连接电脑硬件，将鼠标控制信号输入给电脑。
2. 根据权利要求1所述的眼部特征提取与跟踪技术，其特征在于(I)采用临帧 眼睛区域像素差分算法完成眼睛的定位；(2)建立差分图的水平投影函数，设置水平 投影阈值和模糊宽度去除差分图的大部分噪声；(3)进行区域能量积累，进行眼部区 域的精确定位；(4)根据眼睛和眉毛的几何特征及眼部区域位置信息建立眼部区域模 板，并计算其水平和垂直投影函数作为眼部特征模板；(5)采用模板匹配方法检測眼 部运动。
3. 根据权利要求l所述的眼部运动信号，其特征在于所述的带有操作性质的眼 部表情包括双眼眨动、单眼眨动、眼部运动。多次(三次或两次)双眼眨动表示光标 的扑获和放弃；左眼眨动表示左键操作，右眼眨动表示右键操作；眼部区域运动控制 光标的运动。
4. 根据权利要求l所述的基于眼部区域特征提取与跟踪的取标控制系统，其操作 特征在于(1)鼠标系统首先处在检測状态，直到检測到多次双眼眨动。第一次检测 到多次双眼貶动表示扑获光标，眼部动作开始对光标进行控制。第二次检测到多次双 眼眨动表示释放光标，眼部动作无法操作光标，直到再一次检测到多次双眼眨动。(2) 光标扑获之后，根据双眼的位置首先可以估计眼部区域，建立眼部区域模板及单眼眨 动和双眼眨动模板，然后可以建立眼部动态范围，在此范围内利用以上模板进行匹配， 可以单眼眨动和双眼眨动操作。(3)根据服部区域的历史运动轨迹估计此刻的位置信息，根据眼部眨动情况及眼睛和眉毛的位置信息建立眼部区域位置量测值，基于卡尔 曼滤波器估计眼部区域的实际位置。
5.根据权利要求1所述的由眼部运动信号在水平与垂直方向上分别建立电脑光标 运动控制信号，其特征在于对眼部在水平与垂直方向的运动信号进行积分，直到眼部 运动停止。新的眼部运动信号将产生新的积分信号。积分信号转换成电脑光标运动的 控制信号.，
全文摘要
一种基于眼部区域运动特征提取与跟踪的鼠标系统，整个系统由视频采集单元、图像处理及其特征提取单元、目标跟踪单元和信号转换输出单元构成。视频采集单元获取包括整个面部信息的连续视频信号；图像处理及其特征提取单元建立眼部区域特征模板；目标跟踪单元基于模板匹配算法和卡尔曼滤波算法对眼部运动进行检测与跟踪，并分别在水平和垂直方向建立电脑光标运动控制信号。信号转换输出单元基于积分算法将光标运动控制信号转换成PS/2鼠标数据格式。本发明为残疾人及特殊行业需求的工作人员提供一种不需双手的鼠标操作系统，基于模板匹配及卡尔曼滤波的眼部运动检测与跟踪算法提供了灵敏、可靠和稳定的光标控制方式。
文档编号G06F3/01GK101201695SQ20061010527
公开日2008年6月18日 申请日期2006年12月26日 优先权日2006年12月26日
发明者谢振华 申请人:谢振华