专利名称：一种终端设备的人机交互方法及其终端设备的制作方法
技术领域：
本发明涉及人机交互技术领域，尤其涉及一种终端设备的人机交互方法及其终端设备。
背景技术：
目前各种智能终端设备日益普及，人机交互的方式也在发展之中。现代计算机系统实现人机交互的方式主要借助麦克风、键盘、鼠标、触摸板、触笔、摇杆、触摸屏等交互设备，上述方式通常需要人手动或发声进行重复的操作，有的还需要人提前进行训练才能熟
练掌握。
现有的技术中，已经存在电子设备应用人眼作为一种输入装置，达到更好的人机交互，但目前但是这种输入方法往往都是通过检测眼球视线当前聚焦于屏幕的某个位置，当人眼视线落在屏幕的下端，然后屏幕自动向下翻页。这种人机交互的方式停留在仅仅采用视线落点作为输入信息，在实际运用时，电子设备根据输入信息作出的反应相对于人眼动作，往往其滞后性比较明显，而且准确性和灵活性不高，因而不能达到良好的人机信息交互。
发明内容
为了克服上述所指的现有技术中的不足之处，本发明提供一种终端设备的人机交互方法及其终端设备，以使人机信息交互准确可靠，提高用户的操作效率和便利性。本发明是通过以下技术方案实现的
一种终端设备的人机交互方法，所述终端设备包括与中央处理器连接的人眼动态监测仪、图像处理单元、定时器和显示屏幕，所述人机交互方法包括以下步骤
a、启动人眼动态监测仪对人眼进行实时追踪，该人眼动态监测仪记录初始人眼影像，同时定时器启动；
b、定时器超时，人眼动态监测仪记录当前人眼影像；
C、所述图像处理单元对人眼动态监测仪记录的人眼影像数据进行比较分析，判断眼球运动距离及方向；
d、中央处理器根据图像处理单元的判断及预先设定的眼球动作与显示屏幕的反馈动作的链接关系，指示显示屏幕作出反馈。所述定时器的一个计时周期为O. 1-2秒，该定时器启动次数为一次或者该定时器采用两次以上的连续启动方式。步骤c中所述图像处理单元对人眼动态监测仪记录的人眼影像数据进行分析进一步包括识别初始人眼影像及当前人眼影像中左眼瞳仁在左眼眼眶内的横向相对位置、右眼瞳仁在右眼眼眶内的横向相对位置，并计算双眼瞳仁在眼眶内的平均横向相对位置；与相对初始人眼影像比较，计算当前人眼影像的双眼瞳仁横向偏移量及方向；识别初始人眼影像及当前人眼影像中左眼瞳仁在左眼眼眶内的竖向相对位置、右眼瞳仁在右眼眼眶内的竖向相对位置，并计算双眼瞳仁在眼眶内的平均竖向相对位置；与相对初始人眼影像比较，计算当前人眼影像的双眼瞳仁的竖向偏移量及方向。所述人眼瞳仁在眼眶内的相对位置是指以眼眶的横向及竖向中点为参照，瞳仁的相对坐标位置。步骤c中所述图像处理单元对人眼动态监测仪记录的人眼影像数据进行分析之前，还包括所述人眼动态监测仪将记录的初始人眼影像、当前人眼影像数据分别输入至图像处理单元。步骤d中所述中央处理器根据图像处理单元的判断指示显示屏幕作出反馈之前，包括预先设定眼球动作与显示屏幕的反馈动作的链接关系。具体地说，步骤d中所述中央处理器根据图像处理单元的判断指示显示屏幕作出反馈包括当双眼瞳仁的向上竖向偏移量达到预设阀值时，中央处理器指示显示屏幕向前 翻动页面；当双眼瞳仁的向下竖向偏移量达到预设阀值时，中央处理器指示显示屏幕向后翻动页面。本发明还公开了一种利用前述的人机交互方法的终端设备，所述终端设备包括 人眼动态监测仪，该人眼动态监测仪为基于人眼捕捉技术，具有人眼识别功能的影像
采集装置；
图像处理单元，用于对人眼动态监测仪记录的人眼影像数据进行识别及分析判断； 定时器，用于限定人眼动态监测仪的影像采集周期；
及显示屏幕；所述人眼动态监测仪、图像处理单元、定时器、显示屏幕分别与中央处理器连接。具体地说，所述终端设备为手机或者电子计算机。与现有技术相比，本发明通过在智能终端设备中增加人眼动态监测仪，利用该人眼动态监测仪实时检测眼球的运动趋势，通过对采集图像进行分析处理，判断譬如眼球瞳仁上下左右移动的人眼动作后，中央处理器指示显示屏幕作出反馈动作，例如翻页或者歌曲切换，使得仅通过眼球动作就能实现人机交互。利用此方法实现的人机信息交互准确可靠，大大提高了用户的操作效率，从而为用户带来更完善的使用体验。
附图I为本发明实施例的终端设备的人机交互方法的实现流程示意 附图2为本发明实施例的终端设备的结构简图。
具体实施例方式为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述。本发明是建立在具有基于人眼动态监测仪此一外设的终端设备的前提之上的。所述人眼动态监测仪为基于人眼捕捉技术，具有人眼识别功能的影像采集装置。目前，人眼识别技术已经应用于数码摄像领域，具有人眼识别功能的摄像头可作为本发明中的人眼动态监测仪应用于终端设备中，因而本发明的实施不应受到硬件设备的限制，从而具有良好的应用前景。具体地说，所述终端设备包括手机、平板电脑、笔记本等终端设备，在此所提及的实施例中，以智能手机为例展开叙述。
本发明公开了一种终端设备的人机交互方法，所述终端设备包括与中央处理器连接的人眼动态监测仪、图像处理单元、定时器和显示屏幕，本实施例中，如附图I所示，所述人机交互方法包括以下步骤
步骤101、启动人眼动态监测仪对人眼进行实时追踪；
步骤102、该人眼动态监测仪记录初始人眼影像并输入至图像处理单元，同时实施步骤103，定时器启动；
步骤104紧接步骤103，当定 时器超时，人眼动态监测仪记录当前人眼影像并输入至图像处理单元；
然后，在步骤105中，所述图像处理单元对步骤102、步骤104中人眼动态监测仪记录并输入的人眼影像数据进行比较分析；
步骤106、判断眼球是否发生变化，即眼球的瞳仁位置是否发生偏移动作，若是，则执行步骤107，否则，返回步骤102 ；
步骤107、所述图像处理单元判断眼球运动距离及方向；
步骤108、所述图像处理单元将结果传输至中央处理器；
步骤109、中央处理器响应图像处理单元的判断，根据预先设定的眼球动作与显示屏幕的反馈动作的链接关系，指示显示屏幕作出反馈。在本发明的较佳实施例中，所述步骤102人眼动态监测仪记录初始人眼影像后，立即执行步骤103定时器启动。在本发明中，步骤105中所述图像处理单元对人眼动态监测仪记录的人眼影像数据进行分析进一步包括
步骤501、识别初始人眼影像及当前人眼影像中左眼瞳仁在左眼眼眶内的横向相对位置、右眼瞳仁在右眼眼眶内的横向相对位置，并计算双眼瞳仁在眼眶内的平均横向相对位置；
步骤502、与相对初始人眼影像比较，计算当前人眼影像的双眼瞳仁横向偏移量及方
向；
步骤503、识别初始人眼影像及当前人眼影像中左眼瞳仁在左眼眼眶内的竖向相对位置、右眼瞳仁在右眼眼眶内的竖向相对位置，并计算双眼瞳仁在眼眶内的平均竖向相对位置；
步骤504、与相对初始人眼影像比较，计算当前人眼影像的双眼瞳仁的竖向偏移量及方向。在本发明的较佳实施例中，所述人眼瞳仁在眼眶内的相对位置是指以眼眶的横向及竖向中点为参照，瞳仁中心的相对坐标位置。以眼眶中心为参照点，能有效提高检测的可靠性和稳定性。步骤109中所述中央处理器根据图像处理单元的判断指示显示屏幕作出反馈之前，包括预先设定眼球动作与显示屏幕的反馈动作的链接关系。本发明中，所述眼球瞳仁上下左右移动的动作与显示屏幕的反馈动作的对应关系可由系统默认或者由客户预先自由设定。具体地说，步骤109中所述中央处理器根据图像处理单元的判断指示显示屏幕作出反馈包括当双眼瞳仁的向上竖向偏移量达到预设阀值时，中央处理器指示显示屏幕向前翻动页面；当双眼瞳仁的向下竖向偏移量达到预设阀值时，中央处理器指示显示屏幕向后翻动页面。但上述反馈动作应理解为是本发明的举例，而非限定，在本发明的其他实施例中，利用智能手机的前置摄像头捕捉人眼的动作，如眼球瞳仁上下左右移动，进行分析处理后，在屏幕上进行相应的动作，例如翻页或者歌曲切换等，使得仅通过眼球动作就能实现人机交互。所述预设阀值为系统默认值或者在一数值范围内由用户设定，该预设阀值通过多次试验调试后可成为较稳定准确的判断依据。本发明所利用的人眼动态监测技术基于人脸识别技术，人脸识别技术包含人脸检测、人脸跟踪与人脸比对等课题。人脸检测是指在动态的场景、一帧视频流或一张静态图像中判断是否存在人脸并将人脸从复杂背景中分离出来，并自动地将其保存。此人脸检测技术已广泛应用于数码摄像装置等领域，为现有技术。人脸检测包括参考模板、人脸规则、样本学习、肤色模型与特征子脸等方法。在人脸特征中，眼睛对于人脸的辨识起着重要的作用，准确地定位人眼是自动人脸识别、人机交互等技术的关键环节。目前，常用的眼睛定位方法包括一、灰度投影法，利用人脸特征的灰度值差别和人脸的几何分布关系，来确定眼睛的位置。这种方法比较简单，但是灰度信息的分布随不同的人脸而差异很大，因此该方法 定位准确度不稳定，容易陷入局部最小而导致定位失败；二、边缘提取法，利用Sobel算子检测人脸边缘，并在其中找出可能为眼睛的区域，然后利用Hough变换的结果确定最佳匹配的区域，作为眼睛的位置。这种方法需要大量的预处理，而且受光照和遮挡的影响较大；三、模板匹配法，使用可变模板定位眼睛，并在此基础上提出了基于感兴趣区的模板匹配方法，这种方法使用左眼模板和右眼模板在图像中进行匹配，不需要大量的先验知识，但是它对初始位置有要求并且计算量大。虽然以上方法各有其优劣，但是随着算法的改进和结合光照补偿等其他图像处理措施，在一定程度上已经可满足终端设备对于眼睛定位的准确度要求。本发明所公开的人机交互方法实时采集用户眼球信息，记录当前眼球动作和方向，当用户眼球发生动作时，通过在一个间隔足够短时间周期内采集足够多的眼球数据并进行处理，分析判断眼球瞳仁的移动方向和眼球动作；从而使中央处理器根据分析所得的用户通过眼睛发出的信息而进行相应的交互操作，使用户可以通过眼球动作实现相应的操作，更好应用于人机交互。本发明还公开了一种利用前述的人机交互方法的终端设备，如附图2所示，所述终端设备包括
人眼动态监测仪，该人眼动态监测仪为基于人眼捕捉技术，具有人眼识别功能的影像
采集装置；
图像处理单元，用于对人眼动态监测仪记录的人眼影像数据进行识别及分析判断，并将判断结果传送至中央处理器；
定时器，用于限定人眼动态监测仪的影像采集周期；
及显示屏幕，所述显示屏幕根据中央处理器的指令作出向前或向后翻页、应用程序切换等反馈；
所述人眼动态监测仪、图像处理单元、定时器、显示屏幕分别与中央处理器保持信号连接。本发明的终端设备需要具有人眼动作捕捉单元，即人眼动态监测仪，在实际应用中，具有人眼识别功能的手机前置摄像头可作为人眼动态监测仪。人眼动态监测仪用于实时采集用户的眼球信息，记录眼球的即时位置及动作，形成图像数据传递至图形处理单元。当人眼动态监测仪启动时，记录下初始影像，并立即启动一个定时器，定时器超时后，记录定时器超时时人眼影像，对两个影像进行处理，判断当前眼球的转动动作。所述定时器的一个计时周期为O. 1-2秒，通常设定为O. 2秒左右。该定时器启动次数为一次或者该定时器采用两次以上的连续启动方式。所述定时器可以连续多次启动，根据实际情况，灵活调制参数，在此种设定下，人眼动态监测仪可连续记录多个当前人眼影像作为比较分析的数据，比如设定判断一次合理的眼球转动需要检测到眼球瞳仁在三个定时器周期内发生同向移动，以提高监测的准确性和可靠性。以上内容是结合具体的优选方式对本发明所作的进一步详细说明，不应认定本发 明的具体实施只局限于以上说明。对于本技术领域的技术人员而言，在不脱离本发明构思的前提下，还可以作出若干简单推演或替换，均应视为由本发明所提交的权利要求确定的保护范围之内。
权利要求
1.一种终端设备的人机交互方法，所述终端设备包括与中央处理器连接的人眼动态监测仪、图像处理单元、定时器和显示屏幕，所述人机交互方法包括以下步骤 a、启动人眼动态监测仪对人眼进行实时追踪，该人眼动态监测仪记录初始人眼影像，同时定时器启动； b、定时器超时，人眼动态监测仪记录当前人眼影像； C、所述图像处理单元对人眼动态监测仪记录的人眼影像数据进行比较分析，判断眼球运动距离及方向； d、中央处理器根据图像处理单元的判断及预先设定的眼球动作与显示屏幕的反馈动作的链接关系，指示显示屏幕作出反馈。
2.根据权利要求I所述的终端设备的人机交互方法，其特征在于所述定时器的ー个计时周期为0. 1-2秒，该定时器启动次数为一次或者该定时器采用两次以上的连续启动方式。
3.根据权利要求I所述的终端设备的人机交互方法，其特征在干，步骤c中所述图像处理单元对人眼动态监测仪记录的人眼影像数据进行比较分析进ー步包括 识别初始人眼影像及当前人眼影像中左眼瞳仁在左眼眼眶内的横向相对位置、右眼瞳仁在右眼眼眶内的横向相对位置，并计算双眼瞳仁在眼眶内的平均横向相对位置； 与相对初始人眼影像比较，计算当前人眼影像的双眼瞳仁横向偏移量及方向； 识别初始人眼影像及当前人眼影像中左眼瞳仁在左眼眼眶内的竖向相对位置、右眼瞳仁在右眼眼眶内的竖向相对位置，并计算双眼瞳仁在眼眶内的平均竖向相对位置； 与相对初始人眼影像比较，计算当前人眼影像的双眼瞳仁的竖向偏移量及方向。
4.根据权利要求3所述的终端设备的人机交互方法，其特征在于所述人眼瞳仁在眼眶内的相对位置是指以眼眶的横向及竖向中点为參照，瞳仁的相对坐标位置。
5.根据权利要求4所述的终端设备的人机交互方法，其特征在于，步骤c中所述图像处理单元对人眼动态监测仪记录的人眼影像数据进行分析之前，还包括所述人眼动态监测仪将记录的初始人眼影像、当前人眼影像数据分别输入至图像处理单元。
6.根据权利要求5所述的终端设备的人机交互方法，其特征在干，步骤d中所述中央处理器根据图像处理单元的判断指示显示屏幕作出反馈之前，包括预先设定眼球动作与显示屏幕的反馈动作的链接关系。
7.根据权利要求6所述的终端设备的人机交互方法，其特征在干，步骤d中所述中央处理器根据图像处理单元的判断指示显示屏幕作出反馈包括 当双眼瞳仁的向上竖向偏移量达到预设阀值时，中央处理器指示显示屏幕向前翻动页面；当双眼瞳仁的向下竖向偏移量达到预设阀值时，中央处理器指示显示屏幕向后翻动页面。
8.ー种利用权利要求1-7中任一项所述的人机交互方法的終端设备，其特征在于，所述终端设备包括 人眼动态监测仪，所述人眼动态监测仪为基于人眼捕捉技术，具有人眼识别功能的影像采集装置； 图像处理单元，用于对人眼动态监测仪记录的人眼影像数据进行识别及分析判断； 定时器，用于限定人眼动态监测仪的影像采集周期；及显示屏幕；所述人眼动态监测仪、图像处理单元、定时器、显示屏幕分别与中央处理器连接。
9.根据权利要求8所述的终端设备，其特征在于所述终端设备为手机或者电子计算机。
全文摘要
一种终端设备的人机交互方法及其终端设备，所述终端设备包括与中央处理器连接的人眼动态监测仪、图像处理单元、定时器和显示屏幕，所述人机交互方法包括以下步骤启动人眼动态监测仪对人眼进行实时追踪，该人眼动态监测仪记录初始人眼影像，同时定时器启动；定时器超时，人眼动态监测仪记录当前人眼影像；所述图像处理单元对人眼动态监测仪记录的人眼影像数据进行分析，判断眼球运动距离及方向；中央处理器根据图像处理单元的判断，指示显示屏幕作出反馈。利用本发明实现的人机信息交互准确可靠，大大提高了用户的操作效率和便利性，从而为用户带来更完善的使用体验。
文档编号G06F3/048GK102819403SQ20121030929
公开日2012年12月12日 申请日期2012年8月28日 优先权日2012年8月28日
发明者曾元清, 罗龙 申请人:广东欧珀移动通信有限公司