一种根据眼部动作对终端进行控制的方法及装置的制造方法
【专利摘要】本发明提供一种根据眼部动作对终端进行控制的方法及装置，所述方法包括如下步骤：获取终端显示区域内的可操作区域的坐标范围，所述坐标范围关联有预设眼部动作，所述预设眼部动作关联有控制操作；识别用户视线焦点的坐标值；监测所述坐标值是否进入所述坐标范围；当所述坐标值进入所述坐标范围，识别用户的眼部动作；当所述眼部动作符合所述预设眼部动作时，执行所述控制操作。
【专利说明】
一种根据眼部动作对终端进行控制的方法及装置
技术领域
[0001]本发明涉及智能控制领域，具体涉及一种根据眼部动作对终端进行控制的方法及
目.0
【背景技术】
[0002]目前，诸如手机和平板电脑等智能终端的功能越来越丰富，智能终端中一般都设有摄像装置，包括前置摄像头和后置摄像头，通常用于拍摄照片和视频。随着人工智能技术的发展，摄像装置的用途也在不断拓展，例如前置摄像头可以用于采集人脸图像信息，以便于终端处理器进行人脸识别，由此终端可以基于人脸识别技术进行解锁等操作。由此可见，在摄像装置性能不断进步的背景下，智能终端可以利用摄像装置为用户提供更便利的操作方式。
[0003]现有的智能终端已经可以实现识别用户的眼部动作，并根据眼部动作做出相应的反应，具体是利用前置摄像头实时采集用户的眼部图像，根据连续的图像，可以判断出用户是否连续眨眼，甚至可以识别出用户的眼球转动幅度。基于此技术，某些终端可以实现在识别到用户连续眨眼时关闭页面、或者识别到眼球朝某一方向转动时进行翻页等操作。
[0004]众所周知，终端所显示的页面上通常具有多个可操作的区域，例如虚拟按钮区域、虚拟滑块区域等，用户可以在触摸屏上点击不同的操作区域，终端会反馈不同的控制动作。而上述现有的基于眼部动作对终端进行控制的方案只能根据识别到的眼部动作进行相应处理，而眼部动作是比较有限的，因此对于具有多个可操作区域的页面而言，无法将每一个可操作区域分别对应不同的眼部动作，而只能人为选择某些比较重要的操作区域与眼部动作相对应，由此可见，现有的基于眼部动作对终端进行控制的方案灵活性较差，不能满足用户的需求。
【发明内容】
[0005]因此，本发明要解决的技术问题在于克服现有技术中的基于眼部动作对终端进行控制的方案灵活性较差的缺陷。
[0006]有鉴于此，本发明提供一种根据眼部动作对终端进行控制的方法，包括如下步骤:获取终端显示区域内的可操作区域的坐标范围，所述坐标范围关联有预设眼部动作，所述预设眼部动作关联有控制操作；识别用户视线焦点的坐标值;监测所述坐标值是否进入所述坐标范围；当所述坐标值进入所述坐标范围，识别用户的眼部动作；当所述眼部动作符合所述预设眼部动作时，执行所述控制操作。
[0007]优选地，所述监测所述坐标值是否进入所述坐标范围，包括:获取用户眼部与所述显示区域的距离值;根据所述距离值确定视线焦点移动比例；获取用户视觉焦点的当前坐标值，并监测用户眼球的转动幅度值，根据所述转动幅度值和所述视线焦点移动比例确定当前坐标值的变化。
[0008]优选地，所述预设眼部动作包括静止和运动。
[0009]优选地，所述识别用户的眼部动作，包括:监测所述坐标值在所述坐标范围内的变化量;根据所述变化量与预设变化量的关系确定用户的眼部动作。
[0010]优选地，所述根据所述变化量与预设变量的关系确定用户的眼部动作，包括:判断所述变化量(△ Xl，△ X2)中的△ Xl与第一预设变化量Yl的关系，以及△ X2与第二预设变化量Y2的关系;如果Λ Xl < Yl，且Δ X2 < Y2，则判定用户的眼部动作为静止;如果A Xl >Y1和/或Δ X2 > Y2，则判定用户的眼部动作为运动。
[0011]相应地，本发明还提供一种根据眼部动作对终端进行控制的装置，包括:获取单元，用于获取终端显示区域内的可操作区域的坐标范围，所述坐标范围关联有预设眼部动作，所述预设眼部动作关联有控制操作;焦点识别单元，用于识别用户视线焦点的坐标值；监测单元，监测所述坐标值是否进入所述坐标范围；识别单元，用于当所述坐标值进入所述坐标范围时，识别用户的眼部动作;执行单元，用于当所述眼部动作符合所述预设眼部动作时，执行所述控制操作。
[0012]优选地，所述动作监测单元包括:距离获取单元，用于获取用户眼部与所述显示区域的距离值；比例确定单元，用于根据所述距离值确定视线焦点移动比例;移动监测单元，用于获取用户视觉焦点的当前坐标值，并监测用户眼球的转动幅度值，根据所述转动幅度值和所述视线焦点移动比例确定当前坐标值的变化。
[0013]优选地，所述预设眼部动作包括静止和运动。
[0014]优选地，所述识别单元包括:变化量监测单元，用于监测所述坐标值在所述坐标范围内的变化量;动作确定单元，用于根据所述变化量与预设变化量的关系确定用户的眼部动作。
[0015]优选地，所述动作确定单元包括:变化量判定单元，用于判断所述变化量(AXl,ΔX2)中的△ Xl与第一预设变化量Yl的关系，以及△ X2与第二预设变化量Y2的关系;静止判定单元，用于当AXIS Yl，且AX2SY2时，判定用户的眼部动作为静止;运动判定单元，用于当ΔΧ1>Υ1和/或ΔΧ2>Υ2时，判定用户的眼部动作为运动。
[0016]本发明提供的根据眼部动作对终端进行控制的方法及装置，通过获取终端显示区域内的可操作区域的坐标范围，并识别用户视线焦点的坐标值，可以判断出用户视线焦点与可操作区域的关系，即可得知用户想要;然后通过监测视线焦点坐标值的变化，并判断坐标值是否进入某一可操作区域的坐标范围，可以判断出用户想要对哪一个可操作区域进行操作，最终通过识别用户的眼部动作，可以决定是否执行预定的控制操作。由此可见，上述方案可以结合用户视线焦点与可操作范围的对应关系，以及用户眼部动作对终端进行丰富的控制操作，该方案具有较高的灵活性。
【附图说明】
[0017]为了更清楚地说明本发明【具体实施方式】或现有技术中的技术方案，下面将对【具体实施方式】或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本发明提供的根据眼部动作对终端进行控制的方法的流程图；
[0019]图2为Iv显不区域不意图；
[0020]图3为用户视线焦点在图2所示显示区域内的移动过程示意图；
[0021 ]图4为本发明提供的根据眼部动作对终端进行控制的装置的结构图。
【具体实施方式】
[0022]下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0023]在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0024]本发明实施例提供一种根据眼部动作对终端进行控制的方法，该方法可以由设有摄像装置的智能终端来执行，如图1所示，该方法包括如下步骤:
[°°25] SI，获取终端显示区域内的可操作区域的坐标范围，坐标范围关联有预设眼部动作，预设眼部动作关联有控制操作。图2示出了一个终端显示区域20，其中有2个可操作区域，分别为第一区域201和第二区域202，本领域技术人员可以理解，可操作区域的数量不仅限于2个，更多或更少的区域都是可行的。其中第一区域201关联第一预设动作，第一预设动作关联第一控制操作;第二区域202关联第二预设动作，第二预设动作关联第二控制操作，并且上述第一预设动作和第二预设动作可以是相同的，也可以是不同的，例如当可操作区域过多时，可以使某些区域关联相同的预设眼部动作。
[0026]S2，识别用户视线焦点的坐标值，具体可以使用前置摄像头来采集用户眼部的图像，然后可以通过图像分析瞳孔的状态分析双眼视线的焦点，然后将焦点映射到终端显示区域所在的平面上。本发明可以利用现有的多种视线焦点追踪算法来识别用户视线焦点的坐标值，某些算法识别精度较高，但计算过程复杂;某些算法比较简单，但识别精度较差，具体可以根据终端处理器的性能进行选择。当用户注视屏幕且双目视线聚焦在屏幕上时，则可以识别到如图2中所示的焦点P，其坐标为(Xl，X2)。
[0027]S3，监测所述坐标值是否进入所述坐标范围，如果未进入则继续监测，直至坐标值进入坐标范围内时，执行步骤S4。根据上文描述可知，显示区域20内除了2个可操作区域外还有其他不可操作的区域，当焦点P的坐标未落在第一区域201或第二区域202中时，继续监测；当焦点P的坐标进入第一区域201或第二区域202中时才执行下一步操作。
[0028]S4，识别用户的眼部动作，并判断用户眼部动作是否符合预设眼部动作，如果符合则执行步骤S5，否则继续判断。识别眼部动作的方法有多种，例如可以根据眼部图像进行识另IJ，也可以根据焦点P的移动来识别，本发明优选为根据焦点P的移动来识别眼部动作，具体方式将在下文进行介绍。
[0029]S5，当眼部动作符合预设眼部动作时，执行控制操作。图3示出了用户视线焦点移动到可操作区域内时的示意图，当前焦点P的坐标落入第二区域202中，则开始识别用户的眼部动作是否符合上述第二预设眼部动作，假设第二眼部动作是向下转动眼球，如果用户向下转动眼球使焦点P相应地向下移动，且焦点移动前后其坐标均在可操作区域内，则执行上述第二控制操作，例如向下滚动页面。
[0030]本发明提供的方案可以应用于多种场景，例如文本阅读场景，显示区域内可以设有诸如翻页、滚动、放大、缩小、关闭等多个虚拟按钮或滑块，这些虚拟按钮和滑块即为可操作区域。其中诸如翻页、放大、缩小、关闭等虚拟按钮可以关联相同的一种预设眼部动作(如直视或连续眨眼)；而诸如滚动滑操作等虚拟滑块可以关联另一种预设眼部动作(如双眼球同时向某一方向转动)，但每个可操作区域内的预设眼部动作关联的控制操作是不相同的。由此，当用户的视线焦点移动到放大按钮上并直视一定时间时，终端则对当前显示的页面进行放大、当用户的视线焦点移动到缩小按钮上并直视一定时间时，终端则对当前显示的页面进行缩小、当用户的视线焦点移动到关闭按钮上并直视一定时间时，终端则关闭对当前显示的页面；当用户的视线焦点移动到滚动按钮上并转动眼球时，终端则使当前显示的页面朝相应的方向进行滚动。
[0031]本发明提供的根据眼部动作对终端进行控制的方法，通过获取终端显示区域内的可操作区域的坐标范围，并识别用户视线焦点的坐标值，可以判断出用户视线焦点与可操作区域的关系，即可得知用户想要;然后通过监测视线焦点坐标值的变化，并判断坐标值是否进入某一可操作区域的坐标范围，可以判断出用户想要对哪一个可操作区域进行操作，最终通过识别用户的眼部动作，可以决定是否执行预定的控制操作。由此可见，上述方案可以结合用户视线焦点与可操作范围的对应关系，以及用户眼部动作对终端进行丰富的控制操作，该方案具有较高的灵活性。
[0032]作为一个优选的实施方式，上述S3可以包括:
[0033]S31，获取用户眼部与显示区域的距离值L。本领域技术人员可以理解，眼球转动对焦点移动的幅度将取决于距离值L，L越大则用户眼部转动时，焦点移动的幅度越大;L越小则用户眼部转动时，焦点移动的幅度越小。
[0034]S32，根据距离值确定视线焦点移动比例，确定此比例值的算法有多种，例如可以根据预设的函数进行计算，也可以预存对应关系，比如某一距离范围对应一个比例值等。
[0035]S33，获取用户视觉焦点的当前坐标值，并监测用户眼球的转动幅度值，根据转动幅度值和视线焦点移动比例确定当前坐标值的变化。根据用户的眼球转动幅度和上述距离值L实时捕捉焦点P坐标值的变化，当变化后的(X1，X2)进入可操作区域内，则开始识别眼部动作。
[0036]上述方案根据实时捕获用户眼部与显示区域的距离，并实时根据距离和眼球转动幅度捕捉用户视线焦点的移动，该方案具有较高的准确性，并且可以满足用户在不同距离上通过眼球动作控制终端，进一步提高操作灵活性。
[0037]根据上文描述可知用户眼部的动作可以有多种，而作为一个优选的实施方式，可以将上述预设眼部动作归为静止和运动两类，由此可以降低对预设动作的判断难度。优选地，上述步骤S4可以包括如下子步骤:
[0038]S41，监测坐标值在上述坐标范围内的变化量，在此可以预定一个时间值，当用户视线焦点进入可操作区域后开始记录时间，并判断在预定时间内视线焦点坐标值的变化量，该变化量实际上即为视线焦点的移动量。
[0039]S42，根据变化量与预设变化量的关系确定用户的眼部动作，如果在预定时间内，该变化量满足某一条件，例如两个方向的子坐标变化量均小于或大于某值，则将其判定为某一种眼部动作。
[0040]进一步地，上述步骤S42可以包括如下步骤:
[0041 ] S421，判断变化量(Δ Xl，Δ X2)中的Δ Xl与第一预设变化量Yl的关系，以及Δ X2与第二预设变化量Y2的关系；
[0042]S422，如果Λ Xl < Yl，且Δ X2 < Y2，这种关系表示在上述一定时间内用户视线焦点在可操作区域内的变化量很小，由此则可以判定用户的眼部动作为静止；
[0043]3423，如果八乂1>￥1和/或八乂2>￥2，这种关系表示在上述一定时间内用户视线焦点在可操作区域内的某一方向上(方向取决于△ Xl和△ Χ2)产生了一定幅度的移动，由此则可以判定用户的眼部动作为运动。之后终端则可以判断该动作是否为预设动作，然后进一步决定是否执行相关联的控制操作。
[0044]上述优选方案根据用户视线焦点在可操作区域内的移动量来确定用户的眼部动作，相比通过眼部图像判定眼部动作该方案具有更高的准确性。
[0045]本发明的另一个实施例还提供一种根据眼部动作对终端进行控制的装置，该装置可以设置在具有摄像装置的智能终端中，如图4所示该装置包括:
[0046]获取单元41，用于获取终端显示区域内的可操作区域的坐标范围，所述坐标范围关联有预设眼部动作，所述预设眼部动作关联有控制操作;优选地，所述预设眼部动作包括静止和运动。
[0047]焦点识别单元42，用于识别用户视线焦点的坐标值；
[0048]监测单元43，监测所述坐标值是否进入所述坐标范围；
[0049]识别单元44，用于当所述坐标值进入所述坐标范围时，识别用户的眼部动作；
[0050]执行单元45，用于当所述眼部动作符合所述预设眼部动作时，执行所述控制操作。
[0051]本发明提供的根据眼部动作对终端进行控制的装置，通过获取终端显示区域内的可操作区域的坐标范围，并识别用户视线焦点的坐标值，可以判断出用户视线焦点与可操作区域的关系，即可得知用户想要;然后通过监测视线焦点坐标值的变化，并判断坐标值是否进入某一可操作区域的坐标范围，可以判断出用户想要对哪一个可操作区域进行操作，最终通过识别用户的眼部动作，可以决定是否执行预定的控制操作。由此可见，上述方案可以结合用户视线焦点与可操作范围的对应关系，以及用户眼部动作对终端进行丰富的控制操作，该方案具有较高的灵活性。
[0052]优选地，所述动作监测单元43包括:
[0053]距离获取单元，用于获取用户眼部与所述显示区域的距离值；
[0054]比例确定单元，用于根据所述距离值确定视线焦点移动比例；
[0055]移动监测单元，用于获取用户视觉焦点的当前坐标值，并监测用户眼球的转动幅度值，根据所述转动幅度值和所述视线焦点移动比例确定当前坐标值的变化。
[0056]上述方案根据实时捕获用户眼部与显示区域的距离，并实时根据距离和眼球转动幅度捕捉用户视线焦点的移动，该方案具有较高的准确性，并且可以满足用户在不同距离上通过眼球动作控制终端，进一步提高操作灵活性。
[0057]优选地，所述识别单元44包括:
[0058]变化量监测单元，用于监测所述坐标值在所述坐标范围内的变化量；
[0059]动作确定单元，用于根据所述变化量与预设变化量的关系确定用户的眼部动作。
[0060]上述优选方案将预设眼部动作归为静止和运动两类，由此可以降低对预设动作的判断难度。
[0061]优选地，所述动作确定单元包括:
[0062]变化量判定单元，用于判断所述变化量(ΔΧ1，ΔΧ2)中的ΔΧ1与第一预设变化量Yl的关系，以及A X2与第二预设变化量Y2的关系；
[0063]静止判定单元，用于当ΔΧΚΥ1，且ΔΧ2< Υ2时，判定用户的眼部动作为静止；
[0064]运动判定单元，用于当Δ XI > Yl和/或Δ Χ2 > Υ2时，判定用户的眼部动作为运动。
[0065]上述优选方案根据用户视线焦点在可操作区域内的移动量来确定用户的眼部动作，相比通过眼部图像判定眼部动作该方案具有更高的准确性。
[0066]显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
【主权项】
1.一种根据眼部动作对终端进行控制的方法，其特征在于，包括如下步骤: 获取终端显示区域内的可操作区域的坐标范围，所述坐标范围关联有预设眼部动作，所述预设眼部动作关联有控制操作； 识别用户视线焦点的坐标值； 监测所述坐标值是否进入所述坐标范围； 当所述坐标值进入所述坐标范围，识别用户的眼部动作； 当所述眼部动作符合所述预设眼部动作时，执行所述控制操作。2.根据权利要求1所述的方法，其特征在于，所述监测所述坐标值是否进入所述坐标范围，包括: 获取用户眼部与所述显示区域的距离值； 根据所述距离值确定视线焦点移动比例； 获取用户视觉焦点的当前坐标值，并监测用户眼球的转动幅度值，根据所述转动幅度值和所述视线焦点移动比例确定当前坐标值的变化。3.根据权利要求1或2所述的方法，其特征在于，所述预设眼部动作包括静止和运动。4.根据权利要求3所述的方法，其特征在于，所述识别用户的眼部动作，包括: 监测所述坐标值在所述坐标范围内的变化量； 根据所述变化量与预设变化量的关系确定用户的眼部动作。5.根据权利要求4所述的方法，其特征在于，所述根据所述变化量与预设变量的关系确定用户的眼部动作，包括: 判断所述变化量(△ Xl，△ X2)中的△ Xl与第一预设变化量Yl的关系，以及△ X2与第二预设变化量Y2的关系； 如果Δ Xl < Yl，且Δ X2 < Y2，则判定用户的眼部动作为静止； 如果ΔΧ1>Υ1和/或ΔΧ2>Υ2，则判定用户的眼部动作为运动。6.一种根据眼部动作对终端进行控制的装置，其特征在于，包括: 获取单元，用于获取终端显示区域内的可操作区域的坐标范围，所述坐标范围关联有预设眼部动作，所述预设眼部动作关联有控制操作； 焦点识别单元，用于识别用户视线焦点的坐标值； 监测单元，监测所述坐标值是否进入所述坐标范围； 识别单元，用于当所述坐标值进入所述坐标范围时，识别用户的眼部动作； 执行单元，用于当所述眼部动作符合所述预设眼部动作时，执行所述控制操作。7.根据权利要求6所述的装置，其特征在于，所述动作监测单元包括: 距离获取单元，用于获取用户眼部与所述显示区域的距离值； 比例确定单元，用于根据所述距离值确定视线焦点移动比例； 移动监测单元，用于获取用户视觉焦点的当前坐标值，并监测用户眼球的转动幅度值，根据所述转动幅度值和所述视线焦点移动比例确定当前坐标值的变化。8.根据权利要求1或2所述的装置，其特征在于，所述预设眼部动作包括静止和运动。9.根据权利要求8所述的装置，其特征在于，所述识别单元包括: 变化量监测单元，用于监测所述坐标值在所述坐标范围内的变化量； 动作确定单元，用于根据所述变化量与预设变化量的关系确定用户的眼部动作。10.根据权利要求9所述的装置，其特征在于，所述动作确定单元包括: 变化量判定单元，用于判断所述变化量(AX1，AX2)中的ΛΧ1与第一预设变化量Yl的关系，以及A X2与第二预设变化量Y2的关系； 静止判定单元，用于当Δ Xl < Yl，且Δ X2 < Y2时，判定用户的眼部动作为静止； 运动判定单元，用于当AX1>Y1和/或AX2>Y2时，判定用户的眼部动作为运动。
【文档编号】G06K9/00GK105892642SQ201511026694
【公开日】2016年8月24日
【申请日】2015年12月31日
【发明人】郝金鑫
【申请人】乐视移动智能信息技术（北京）有限公司