一种校准方法、装置、设备及存储介质与流程

本发明实施例涉及眼球追踪技术领域，尤其涉及一种校准方法、装置、设备及存储介质。

背景技术：

随着人机交互技术的发展，眼球追踪技术得到了广泛的应用。眼球追踪，也称为视线追踪，是一种机器视觉技术，通过采集设备捕捉用户眼部图像，然后采用算法进行分析，最后得到用户注视点的技术。

用户在首次使用眼球追踪产品时，需要对眼球追踪产品进行校准，以保证用户在使用眼球追踪产品时的准确性。校准后，用户可以使用眼球追踪产品进行交互操作。

如果用户使用眼球追踪产品进行交互操作时当前所处的位置与校准时用户所处位置保持一致，交互操作会较准确；然而，如果用户在使用眼球追踪产品进行交互操作过程中当前所处的位置与校准时位置出现较大幅度变化(前提是用户双眼仍旧处于采集设备的捕捉范围之内)，则会出现交互操作不准确的现象，从而影响用户使用眼球追踪产品进行交互操作的体验。

技术实现要素：

本发明实施例提供了一种校准方法、装置、设备及存储介质，以在用户使用眼球追踪产品时当前所处位置与用户校准时所处位置产生改变时，提升交互操作准确性。

第一方面，本发明实施例提供了一种校准方法，包括：

采集交互过程中的用户图像；如果基于所述用户图像确定用户未处于预确定的校准移动范围，则触发执行校准操作。

进一步的，校准操作包括：持续捕获用户目标图像；将处于校准执行范围的用户目标图像作为校准图像，并基于预先确定的初始校准系数，确定所述校准图像对应的注视信息；若所述注视信息触发了校准事件，则基于对应所述校准事件的校准区域及校准图像，确定当前校准系数。

进一步的，该校准方法，还包括：确定触发执行校准操作所需的校准移动范围。

进一步的，所述确定触发执行校准操作所需的校准移动范围，包括：获取划分交互界面后形成的至少两个子交互界面；从各所述至少两个子交互界面中确定目标子交互界面，其中，所述目标子交互界面包含了前一次校准操作中采用的校准执行范围；将所述目标子交互界面作为当前待触发校准操作的校准移动范围。

进一步的，所述确定触发执行校准操作所需的校准移动范围，包括：根据前一次校准操作时采用的校准图像，确定当前待触发校准操作的校准移动范围。

进一步的，所述根据前一次校准操作时采用的校准图像，确定当前待触发校准操作的校准移动范围，包括：确定前一次校准操作时采用的校准图像的眼部位置信息，其中，所述眼部位置信息包括以下至少之一：双眼距离信息、角度信息、包含所述眼部坐标的眼部区域信息、光斑距离信息、虹膜边界信息和巩膜边界信息；根据所述眼部位置信息确定校准移动范围。

进一步的，所述校准移动范围包括前后运动范围、左右运动范围、上下运动范围和倾斜运动范围；相应的，所述根据所述眼部位置信息确定校准移动范围，包括以下至少之一：根据所述双眼距离信息、所述光斑距离信息、所述虹膜边界信息或所述巩膜边界信息，确定所述前后运动范围；根据所述角度信息、所述光斑距离信息、所述虹膜边界信息或所述巩膜边界信息，确定所述倾斜运动范围；根据所述眼部区域信息、所述虹膜边界信息或所述巩膜边界信息，确定所述左右运动范围和所述上下运动范围。

第二方面，本发明实施例还提供了一种校准装置，包括：采集模块，用于采集交互过程中的用户图像；触发模块，用于当基于所述用户图像确定用户未处于预确定的校准移动范围时，触发执行校准操作。

第三方面，本发明实施例还提供了一种设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的校准方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的校准方法。

本发明实施例提供了一种校准方法、装置、设备及存储介质，利用上述技术方案，能够在采集交互过程中的用户图像后，若基于用户图像确定用户未处于预确定的校准移动范围，则触发执行校准操作，避免因为用户位移产生的交互操作不准确的技术问题，从而确保用户产生超出校准移动范围的位移时，能够准确的进行交互操作。

附图说明

图1a为本发明实施例一提供的一种校准方法的流程示意图；

图1b为本实施例的交互界面示意图；

图1c为本实施例中用户使用位置发生改变后的交互界面示意图；

图1d为本发明实施例提供的校准过程中采集用户眼部图像的示意图；

图1e示出了用户头部向左偏移后用户图像的示意图；

图1f示出了用户头部向右偏移后用户图像的示意图；

图1g示出了用户头部向上偏移后用户图像的示意图；

图1h示出了用户头部向下偏移后用户图像的示意图；

图2a为本发明实施例二提供的一种校准方法的流程示意图；

图2b为本发明实施例提供的一种交互场景示意图；

图3a为本发明实施例三提供的一种校准方法的流程示意图；

图3b为本发明实施例提供的确定校准移动范围的场景示意图；

图3c为本发明实施例提供的用户向左移动后的场景示意图；

图3d为本发明实施例提供的用户向右移动后的场景示意图；

图3e为本发明实施例提供的用户向上移动后的场景示意图；

图3f为本发明实施例提供的用户向下移动后的场景示意图；

图3g为本发明实施例提供的用户向左倾斜后的场景示意图；

图3h为本发明实施例提供的用户向右倾斜后的场景示意图；

图3i为本发明实施例提供的用户向后移动后的场景示意图；

图3j为本发明实施例提供的用户向前移动后的场景示意图；

图4为本发明实施例四提供的一种校准装置的结构示意图；

图5为本发明实施例五提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1a为本发明实施例一提供的一种校准方法的流程示意图，该方法可适用于提升交互操作的准确性的情况，具体的，可以在用户使用眼球追踪产品过程中，改善由于用户使用位置发生改变导致的交互操作准确性下降的问题。该方法可以由校准装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在设备上，在本实施例中设备包括但不限于：眼球追踪产品，如眼控仪。该眼球追踪产品可以安装在终端设备上，如安装在电脑、手机和/或个人数字助理等，以使用户完成交互操作，实现人机交互。

眼球追踪，也可称为视线追踪，是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。其中，视线可以理解为是一个三维矢量，注视点可以理解为上述三维矢量投影在某个平面上的二维坐标。

在进行眼球追踪时，应用的是光学记录法：用照相机或摄像机记录被试者(用户)的眼睛运动情况，即获取反映眼睛运动的眼部图像，以及从获取到的眼部图像中提取眼部特征用于建立视线/注视点估计的模型。其中，眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等。

在光学记录法中，眼球追踪方法包括瞳孔-角膜反射法或基于接触/非接触式的传感器(例如电极、电容传感器)推算眼睛的运动。

瞳孔-角膜反射法的工作原理如下：获取眼部图像；根据眼部图像估计视线/注视点。

瞳孔-角膜反射法的硬件要求包括：光源：一般为红外光源，因为红外光线不会影响眼睛的视觉；并且可以为多个红外光源，以预定的方式排列，例如品字形、一字形等；图像采集设备：例如红外摄像设备、红外图像传感器、照相机或摄像机等。

瞳孔-角膜反射法的具体实施为：眼部图像获取：光源照向眼睛，由图像采集设备对眼部进行拍摄，相应拍摄光源在角膜上的反射点即光斑(也称为普尔钦斑)，由此获取带有光斑的眼部图像；视线/注视点估计：随着眼球转动时，瞳孔中心与光斑的相对位置关系随之发生变化，相应采集到的带有光斑的若干眼部图像反映出这样的位置变化关系；根据所述位置变化关系进行视线/注视点估计。

示例性的，本实施例中的设备可以为集成有眼球追踪产品的电脑。如电脑中安装有眼控仪。眼控仪包括图像采集设备和光源。

本实施例中的校准方法集成在设备上，能够保证设备在进行眼球追踪时的准确性。该设备可以实现眼控功能。其中，眼控功能可以理解为通过眼部运动操控终端设备，以实现人机交互。该眼控功能可以解放用户双手，也可以供渐冻症，高位截瘫等身体无法自由活动的特殊人群所使用。在实现眼控功能时，可以增大用户界面中的按钮尺寸，以便于实现眼控功能。

设备的使用在流程上，通常为在开启设备后，用户先找到适合使用的位置，然后设备进行校准，校准后再开始使用设备进行各种交互的操作。该设备可以为眼控仪。以下以眼控仪为例进行说明：

眼控仪在校准与使用时，是将设备上的红外光源照射在用户双眼上，以形成光斑。眼控仪自带的高速摄像机采集包含光斑的用户眼图，即用户眼部图像。然后使用机器视觉算法提取用户眼图中的特征。然后根据数学模型和提取出的特征计算注视方向或注视点，以基于注视方向或注视点完成校准或完成交互。

理论上，若用户使用眼控仪时当前所处位置相比于校准时用户所处位置发生较大幅度变化，则会出现控制不够准确或控制困难的现象。如果要确保较好的使用体验，则需要用户在发觉交互操作不准确后，自行进行重新校准，以更新原校准系数，并在校准完成后基于重新产生的校准系数进行交互操作。

现有校准又称为用户标定，在视线/注视点估计过程中，为了测定用于视线/注视点估计的模型中的某些待定参数(也称为校准参数，一般对应于用户眼球的某些内在参数，例如眼球半径等)，常用的方法是：让用户注视一个或多个目标点位，假定所述目标点位的信息为已知的视线(因为目标点位是预先设定的)，由此可以反解出上述校准参数。

以下以软件交互方式举例说明：

在校准眼控仪前，用户先找好使用位置，确保双眼可以被眼控仪准确捕捉后，用户与眼控仪均尽量保持不动。图1b为本实施例的交互界面示意图。如图1b所示，该交互场景示意图的右上角矩形框中示出了眼睛与交互界面的位置关系，可见眼睛基本位于交互界面中部。

通过目光控制注视点在全键盘界面下移动测试，因为校准位置与使用位置基本保持一致，所以可以轻松将注视点移动到任何一个按钮产生交互操作。

同一用户，使用刚刚校准的数据(原校准系数)完成交互操作。若在使用过程中该用户小幅度的偏头，则可能在测试阶段会发现交互界面中“1，2，3，4”那行的注视点高于实际的注视位置，只有注视“1，2，3，4”所在行下方的黑色空隙时才会与“1，2，3，4”所在行的按钮产生交互。

总结为，用户可以使用该交互界面完成交互操作，但是因为用户位置产生了变化，所以用户进行交互操作时较复杂。图1c为本实施例中用户使用位置发生改变后的交互界面示意图。如图1c右上角矩形框中眼部示意图可见，用户眼睛产生了倾斜，且不处于交互界面中部。这是因为，人眼关注同一个点，眼部特征会随着位置的变化而变化。校准时注视某点与实际使用中注视同一点时眼部特征的变化，产生了对眼控效果的影响。

通常在实际的眼控仪的使用中，校准都会尽量将双眼置于图像中部。图1d为本发明实施例提供的校准过程中采集用户眼部图像的示意图。参见图1d，可见在校准时双眼尽量置于眼控仪捕获的图像的中部。

在用户使用眼控仪时出现的头动偏移可以包括如下情况：

1.使用中用户头部向左或者向右平移，产生眼部在图像中左右位置的变化。图1e示出了用户头部向左偏移后用户图像的示意图。参见图1e，用户头部位于用户图像左侧。图1e下方为用户图像的眼部放大示意图。

图1f示出了用户头部向右偏移后用户图像的示意图。参见图1f，用户头部位于用户图像右侧。

2.使用中座椅或桌面高低产生眼部在图像上下位置变化。图1g示出了用户头部向上偏移后用户图像的示意图。参见图1g，用户头部位于用户图像上侧。图1h示出了用户头部向下偏移后用户图像的示意图。参见图1h，用户头部位于用户图像下侧。

3.使用中颈部固定不足导致头部向左或者向右倾斜。

4.使用中座椅与桌面距离改变了用户与眼动仪距离的变化。

当用户进行上述偏移后，可能导致交互操作不准确情况出现，故本实施例提供了一种校准方法，改善用户进行交互操作时由于使用位置发生改变后导致的交互操作不准确的问题。

如图1a所示，本发明实施例一提供的一种校准方法，包括如下步骤：

s101、采集交互过程中的用户图像。

在本实施例中，交互过程可以理解为用户在使用设备进行人机交互操作的过程。一般的，设备可以包括校准过程和使用过程。校准过程可以为对设备进行校准的过程。使用过程可以为使用设备进行交互操作的过程。本实施例中的交互过程发生在设备的使用过程中。用户图像可以为包含用户的图像信息，该图像中可以包括用户眼睛。如用户图像为包括用户双眼的眼部图像。

本实施例采集用户图像所需硬件可以包括图像采集设备，如红外摄像设备、红外图像传感器、照相机或摄像机等。相应的，本步骤可以直接使用图像采集设备拍摄用户图像。

此外，本实施例在采集用户图像时，还可以包括的硬件为光源，如红外光源。光源的数量及排列方式不作限定。相应的，本步骤在采集交互过程中用户图像的过程可以为：光源照向用户眼睛，由图像采集设备对用户眼部进行拍摄，相应拍摄光源在角膜上的反射点即光斑(也称为普尔钦斑)，由此获取带有光斑的眼部图像，以得到用户图像。

s102、如果基于所述用户图像确定用户未处于预确定的校准移动范围，则触发执行校准操作。

在本实施例中，校准移动范围可以理解为用户在交互过程中允许活动的范围。当用户未处于该校准移动范围内进行交互操作时，可以认为此时用户使用设备时的使用位置发生了较大偏移，交互操作可能会出现不精准的问题。

校准移动范围可以为预先确定的，此处不对预先确定校准移动范围的方式进行限定，如可以根据交互界面的尺寸对交互界面进行划分，然后基于划分后形成的子交互界面确定；也可以根据前一次校准操作时采用的校准图像确定，校准图像可以为前一次校准操作中用于确定校准系数的图像；还可以根据用户位置信息确定，用户位置可以由用户图像表征。在根据用户位置信息确定校准移动范围时，可以选取包含用户位置信息的设定范围作为校准移动范围。

本步骤在基于用户图像确定用户是否未处于校准移动范围时，可以基于用户图像中用于标识用户的标识物的坐标，如瞳孔坐标、虹膜坐标等，与校准移动范围进行比较，确定用户图像中的标识物是否超出校准移动范围。如果用户图像中的标识物超过校准移动范围，可以认为用户超出校准移动范围。此时为了提高交互准确性，可以触发执行校准操作。其中，用户图像中的标识物可以用于标识用户图像中用户所处位置。

本实施例中，校准操作可以理解为设备重新确定或选取校准系数的操作。本实施例中的校准操作可以在校准过程中执行，也可以在用户交互过程中执行。当在用户交互过程中执行校准操作时，能够不打断用户交互操作，设备后台自动完成校准操作，在用户不经意间修正校准系数。

其中，校准操作也可以称为用户标定，在视线/注视点估计过程中，为了测定用于视线/注视点估计的模型中的某些待定参数(也称为校准参数，一般对应于用户眼球的某些内在参数，例如眼球半径、瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑等)。

触发执行校准操作时，可以基于用户图像确定出用户当前所处位置，然后查找设备中是否存在对应用户当前所处位置的校准系数。若存在，则基于该校准系数进行交互；若不存在，则重新确定校准系数。

在重新确定校准系数时，可以让用户注视一个或多个目标点位(即校准点)，假定所述目标点位的信息为已知的视线(因为目标点位是预先设定的)，由此可以反解出上述校准参数；也可以检测用户交互过程中注视的操作点，即校准点，和对应的用户图像，以基于操作点和用户图像反解出校准参数。

基于确定出的校准系数能够结合实时获取的用户图像，如用户眼部图像，确定出用户的注视点和/或视线。

可以理解的是，本步骤在触发执行校准操作时，重新确定的校准系数不替换原校准系数。本实施例保留每次校准操作时产生的校准系数，以在用户进行交互操作时，选取对应的校准系数完成交互操作。

选取对应的校准系数完成交互操作时，可以基于前一次校准操作确定的校准系数确定用户视点和/或视线。

本发明实施例一提供的一种校准方法，利用上述方法，能够在采集交互过程中的用户图像后，若基于用户图像确定用户未处于预确定的校准移动范围，则触发执行校准操作，避免因为用户位移产生的交互操作不准确的技术问题，从而确保用户产生超出校准移动范围的位移时，能够准确的进行交互操作。

进一步的，本实施例还可以优化包括：确定触发执行校准操作所需的校准移动范围。

在采集交互过程中的用户图像前，可以首先确定触发执行校准操作所需的校准移动范围，以用于限定用户的移动范围。当基于用户图像确定用户未处于预确定的校准移动范围时，可以触发执行校准操作。

此外，在基于用户图像确定用户未处于预确定的校准移动范围后，可以向用户输出提示信息，该提示信息可以提示用户当前使用位置可能会影响交互操作的准确度。提示信息的形式不作限定，可以为语音的形式或弹窗的形式。

实施例二

图2a为本发明实施例二提供的一种校准方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，将校准操作，进一步具体化为：持续捕获用户目标图像；持续捕获用户目标图像；将处于校准执行范围的用户目标图像作为校准图像，并基于预先确定的初始校准系数，确定所述校准图像对应的注视信息；若所述注视信息触发了校准事件，则基于对应所述校准事件的校准区域及校准图像，确定当前校准系数。

进一步地，本实施例还将确定触发执行校准操作所需的校准移动范围，优化包括了：获取划分交互界面后形成的至少两个子交互界面；从各所述至少两个子交互界面中确定目标子交互界面，其中，所述目标子交互界面包含了前一次校准操作中采用的校准执行范围；将所述目标子交互界面作为当前待触发校准操作的校准移动范围。

本实施例尚未详尽的内容请参考实施例一。

如图2a所示，本发明实施例二提供的一种校准方法，包括如下步骤：

s201、获取划分交互界面后形成的至少两个子交互界面。

在本实施例中，交互界面可以理解为设备中的用户界面。用户通过该交互界面能够完成交互操作，实现人机交互。

在确定触发执行校准操作所需的校准移动范围时，可以首先获取划分交互界面后形成的至少两个子交互界面，以用于确定校准移动范围。

图2b为本发明实施例提供的一种交互场景示意图。如图2b所示，用户21关注的交互界面22上，预先划分为了九宫格，即包括了九个子交互界面。此处不对划分方式、形状及划分数量进行限定，如还可以划分为16宫格。

s202、从各所述至少两个子交互界面中确定目标子交互界面，其中，所述目标子交互界面包含了前一次校准操作中采用的校准执行范围。

本实施例中，目标子交互界面可以理解为交互界面中用于确定校准移动范围的子交互界面。校准执行范围可以理解为与触发执行校准操作的用户图像所表征的位置的距离差小于预设距离阈值的范围。其中，预设距离阈值本领域技术人员可以根据实际情况进行设定，此处不作限定。

可以理解的是，目标子交互界面可以包括前一次校准操作中所采用的校准执行范围。即，在前一次校准执行范围确定后，选取包含校准执行范围的子交互界面作为目标子交互界面，以用于确定当前交互过程中所使用的校准移动范围。

s203、将所述目标子交互界面作为当前待触发校准操作的校准移动范围。

在目标子交互界面确定后，在当前交互过程中，可以将目标子交互界面作为当前待触发校准操作的校准移动范围，以确定当前何时触发执行当前的校准操作。

s204、采集交互过程中的用户图像。

s205、判断基于所述用户图像确定用户是否未处于预确定的校准移动范围，若是，则执行s206；若否，则执行s204。

在采集交互过程中的用户图像后，可以基于该用户图像确定用户是否未处于校准移动范围。确定手段可以参见实施例一中确定用户是否未处于校准移动范围的手段，此处不做赘述。

当用户处于校准移动范围内时，可以认为当前用户未产生较大位移，利用前一次校准操作中确定的校准系数确定注视点和/或视线即可，无需触发执行校准操作。相应的，本步骤可以继续采集交互过程中的用户图像，以确定用户是否未处于校准移动范围，即可以执行s204。

当用户未处于校准移动范围时，可以认为当前用户产生了较大的位移，如果利用前一次校准操作中确定的校准系数确定注视点和/或视线，则可能会产生偏差。故本步骤可以触发执行校准操作，即可以执行s206。

s206、持续捕获用户目标图像。

在本实施例中，用户目标图像可以理解为触发校准操作后，采集的用户交互过程中的图像。

捕获用户目标图像的具体手段可以参见采集用户图像的技术手段，此处不作赘述。捕获用户目标图像后可以用于确定当前校准系数。

s207、将处于校准执行范围的用户目标图像作为校准图像，并基于预先确定的初始校准系数，确定所述校准图像对应的注视信息。

在本实施例中，校准图像可以理解为用于可能会用于确定当前校准系数的图像，该校准图像中可以包括用户的眼睛。初始校准系数可以理解为在触发本次校准操作前确定的校准系数。注视信息可以理解为捕获校准图像时，用户的注视参数，如注视点坐标和注视点深度等。

在进行校准操作时，本步骤可以实时捕获用户目标图像，在捕获用户目标图像后，可以首先选取处于校准执行范围的用户目标图像作为校准图像，即将与触发执行校准操作的用户图像所表征的位置的距离差小于预设距离阈值的用户目标图像作为校准图像。当该校准图像对应的注视信息触发校准事件时，该校准图像可以用于确定当前校准系数。

在确定出校准图像后，可以基于初始校准系数确定出对应的注视信息。

其中，该初始校准系数可以为当前交互过程中所使用的校准系数。故初始校准系数的选取可以参见实施例一中交互过程中校准系数选取的手段，此处不作赘述。

s208、判断注视信息是否触发了校准事件，若是，则执行s209；若否，则执行s206。

在本实施例中，校准事件可以理解为注视信息触发了校准区域，且触发的校准区域的个数达到设定值。其中，校准区域可以理解为包含校准点的区域。校准区域的大小不作限定，本领域技术人员可以根据实际应用场景进行设定。如当本实施例中的校准方法应用于眼控输入场景时，校准区域可以由交互界面中的按钮的尺寸确定，如校准区域小于或等于按钮的尺寸。

确定出校准图像及对应的注视信息后，可以首先确定注视信息是否触发了校准事件。具体的，若注视信息处于交互界面的任一按钮的范围内，则注视信息触发了校准区域。其中，校准区域的位置信息可以由该校准区域所包含的校准点的位置信息表示。

可以理解的是，交互界面中各按钮的坐标均为确定数值，将与各按钮坐标相差预设坐标值的范围称为对应该按钮的校准区域。故，当校准区域被触发后，可以基于对应的按钮的坐标确定校准区域的位置信息。预设坐标值不作限定，本领域技术人员可以根据各按钮的间距或其余因素确定。

当注视信息触发了校准区域，则可以进一步判断校准区域的数量是否达到了设定值。其中，设定值可以为本领域技术人员实际情况确定。该设定值表征生成校准系数时所采用的校准区域的数量。可以理解的是，设定值越大，校准系数越准确。设定值可以为至少三个。

可以理解的是，当注视信息触发了校准区域，但该注视信息触发的校准区域对应的个数小于设定值，则累计并保存当前校准区域对应的个数及对应的校准图像，直至注视信息触发了校准区域且该校准区域对应的个数为设定值。

本步骤确定校准区域的数量是否达到设定值的作用是捕获足够数量的校准区域，以确定校准系数。

当校准区域的数量达到设定值时，可以认为当前注视信息触发了校准事件。从而可以基于对应所述校准事件的校准区域及校准图像确定当前校准系数，即执行s209；当校准区域的数量未达到设定值或未触发校准区域时，可以认为注视信息未触发校准事件，可以继续捕获用户目标图像，直至注视信息触发校准事件，即执行s206。

s209、基于对应所述校准事件的校准区域及校准图像，确定当前校准系数。

在注视信息触发校准事件后，本步骤可以基于对应校准事件的校准区域及校准图像确定当前校准系数。

其中，对应校准事件的校准区域及校准图像可以理解为触发校准事件时所累计保存的各注视信息及对应的校准图像。

确定当前校准系数后，在用户后续交互过程中，可以基于该当前校准系数进行交互操作。

本发明实施例二提供的一种校准方法，具体化了校准操作和确定校准移动范围的操作。利用该方法，能够从划分后的交互界面中，选取出包含前一次校准操作中采用的校准移动范围的目标子交互界面。基于目标子交互界面确定出校准移动范围，以能够准确判断出触发执行校准操作的时机。并在执行校准操作时，获取交互过程中的用户目标图像，然后将处于校准执行范围的用户目标图像作为校准图像。当校准图像对应的注视信息触发了校准事件时，直接基于对应所述校准事件的校准区域及校准图像，确定当前校准系数。因为确定当前校准系数时所采用的数据均是由处于校准执行范围的用户目标图像确定的，故保证了确定当前校准系数的准确度。

实施例三

图3a为本发明实施例三提供的一种校准方法的流程示意图，本实施例三在上述各实施例的基础上进行优化。在本实施例中，将确定触发执行校准操作所需的校准移动范围，优化包括了：根据前一次校准操作时采用的校准图像，确定当前待触发校准操作的校准移动范围。

本实施例尚未详尽的内容请参考上述实施例。

如图3a所示，本发明实施例三提供的一种校准方法，包括如下步骤：

s301、根据前一次校准操作时采用的校准图像，确定当前待触发校准操作的校准移动范围。

本实施例在确定触发执行校准操作所需的校准移动范围时，可以根据前一次校准操作时采用的校准图像确定。前一次校准操作时采用的校准图像可以理解为前一次校准操作时，用于生成校准系数使用的校准图像。

可以理解的是，前一次校准操作时采用的校准图像可以包括多幅，此处不限定选取哪一幅校准图像确定校准移动范围。

在基于校准图像确定校准移动范围时，可以对校准图像中的眼睛进行分析确定出校准移动范围。

在基于前一次校准操作时采用的校准图像，确定待触发校准操作的校准移动范围时，可以基于校准图像确定用户头部的位置或眼部的位置，然后基于头部的位置或眼部的位置确定待触发校准操作的校准移动范围。

头部的位置的确定方法包括以下至少之一：单眼中的两个或以上光斑的间距(平方反比关系)；单眼的虹膜和巩膜的边界可以准确的估算距离；由距离传感器：飞行时间(timeofflight，tof)、结构光、双/多相机阵列等，判断人脸的姿态，进而判断人眼球是否移动。

其中，tof的基本原理是通过红外发射器发射调制过的光脉冲，遇到物体反射后，用接收器接收反射回来的光脉冲，并根据光脉冲的往返时间计算与物体之间的距离。

光斑也称普尔钦斑，即光源在角膜上的反射点。光源一般为红外光源，因为红外光线不会影响眼睛的视觉；并且可以为多个红外光源，以预定的方式排列，例如品字形、一字形等。

进一步的，根据前一次校准操作时采用的校准图像，确定当前待触发校准操作的校准移动范围，包括：

确定前一次校准操作时采用的校准图像的眼部位置信息，其中，所述眼部位置信息包括以下至少之一：双眼距离信息、角度信息和包含所述眼部坐标的眼部区域信息、光斑距离信息、虹膜边界信息和巩膜边界信息；

根据所述眼部位置信息确定校准移动范围。

其中，眼部位置信息可以根据用户眼睛在校准图像中的坐标确定。眼部位置信息可以通过眼部特征表征，如瞳孔坐标或虹膜坐标。此外，眼部特征还可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、巩膜位置、巩膜边界、虹膜边界、光斑(也称为普尔钦斑)位置等。

眼部位置信息可以理解为在使用校准系数进行交互时，能够得到准确交互操作结果的位置信息。该眼部位置信息可以包括以下至少之一：双眼距离信息、角度信息、包含所述眼部坐标的眼部区域信息、光斑距离信息、虹膜边界信息和巩膜边界信息。

其中，双眼距离信息可以理解为用户两只眼睛的间距。角度信息可以理解为用户相对于校准图像的倾斜度。角度信息可以通过用户眼部标识，如瞳孔连线。眼部区域信息可以理解为包含用户眼睛的区域。光斑距离信息可以理解为用户单眼或双眼内两个或两个以上光斑的间距。虹膜边界信息可以理解为表征用户虹膜边界的信息，如虹膜半径或虹膜边界点的位置。巩膜边界信息可以理解为表征用户巩膜边界的信息，如巩膜边界点的位置。

在确定眼部位置信息时，可以首先从校准图像中提取眼部特征。眼部特征包括以下至少之一：眼部坐标和光斑坐标。该眼部坐标可以为用户双眼的坐标，双眼的坐标可以通过虹膜位置或瞳孔位置确定。基于眼部坐标能够确定双眼距离信息、角度信息、眼部区域信息、虹膜边界信息和巩膜边界信息。基于光斑坐标能够确定光斑距离信息。

具体的，当通过瞳孔坐标表示眼部坐标时，可以将两只眼睛对应的瞳孔坐标做差，确定双眼距离信息；确定两只眼睛的瞳孔坐标的斜率确定角度信息；将包括瞳孔坐标的封闭区域的边界信息作为眼部区域信息。该封闭区域的形状不作限定，如可以为正方形，矩形，圆形，多边形以及星型等形状。当通过虹膜信息表示眼部坐标时，可以基于虹膜边界点的坐标确定虹膜边界信息。当通过巩膜信息表征眼部坐标时，可以基于巩膜边界点的坐标确定巩膜边界信息。

在确定眼部位置信息后，可以根据眼部位置信息确定校准移动范围。如，在双眼距离信息的基础上扩展第一偏移量、在角度信息的基础上扩展第二偏移量、在光斑距离信息的基础上扩展第三偏移量、在虹膜边界信息的基础上扩展第四偏移量、在巩膜边界信息的基础上扩展第五偏移量并结合眼部区域信息得到校准移动范围。

其中，第一偏移量、第二偏移量、第三偏移量、第四偏移量和第五偏移量的具体数值不作限定，本领域技术人员可以根据实际应用场景设定。

进一步的，校准移动范围包括前后运动范围、左右运动范围、上下运动范围和倾斜运动范围；相应的，所述根据所述眼部位置信息确定校准移动范围，包括以下至少之一：根据所述双眼距离信息、所述光斑距离信息、所述虹膜边界信息或所述巩膜边界信息，确定所述前后运动范围；根据所述角度信息、所述光斑距离信息、所述虹膜边界信息或所述巩膜边界信息，确定所述倾斜运动范围；根据所述眼部区域信息、所述虹膜边界信息或所述巩膜边界信息，确定所述左右运动范围和所述上下运动范围。

可以理解的是，用户的运动可以包括前后运动、左右运动、上下运动和倾斜运动。相应的，校准移动范围可以优化包括前后运动范围、左右运动范围、上下运动范围和倾斜运动范围，以分别表征用户在相应方向能够运动的幅度。

在用户进行前后移动时，双眼距离信息、光斑距离信息、虹膜边界信息和巩膜边界信息会发生改变，故可以通过双眼距离信息、所述光斑距离信息、所述虹膜边界信息或所述巩膜边界信息表征用户能够前后运动的范围，即前后运动范围。

在用户进行倾斜运动时，角度信息、光斑距离信息、虹膜边界信息和巩膜边界信息会发生改变，故可以通过角度信息、所述光斑距离信息、所述虹膜边界信息或所述巩膜边界信息表征用户能够倾斜运动的范围，即倾斜运动范围。

在用户进行上下、左右运动时，眼部区域信息、虹膜边界信息和巩膜边界信息会发生改变，故可以通过眼部区域信息、所述虹膜边界信息或所述巩膜边界信息表征用户能够左右运动的范围和上下运动的范围。

s302、采集交互过程中的用户图像。

s303、判断基于所述用户图像确定用户是否未处于预确定的校准移动范围，若是，则执行s304；若否，则执行s302。

s304、持续捕获用户目标图像。

s305、将处于校准执行范围的用户目标图像作为校准图像，并基于预先确定的初始校准系数，确定所述校准图像对应的注视信息。

s306、判断注视信息是否触发了校准事件，若是，则执行s307；若否，则执行s304。

s307、基于对应所述校准事件的校准区域及校准图像，确定当前校准系数。

为了便于理解，以下对本实施例进行示例性的说明，该说明仅为示例性说明，不对相应手段进行限定：

本实施例用于解决眼控仪在使用中因为用户位置改变导致的准确度下降的问题。采用的技术手段是当用户未处于预确定的校准移动范围时，优化校准系数提高用户体验。

遥测式眼控仪使用过程中，用户首次校准后产生一个校准系数。

在使用眼控仪的过程中，如果用户的头颈部运动超出一定的范围，则眼控应用软件启动比较机制，帮助用户在新位置获得一个新的校准系数。

当新的校准系数产生后，原校准系数依然有效，即可以同时支持用户在校准位置与新位置两个位置使用。

在使用中，假如当用户移动了n个位置，并且每次移动为有效(超出校准移动范围)并触发执行校准操作，则最终会产生n个位置的校准系数。n个校准系数的关系不是替换而是并存，共同起作用，则用户在这n个位置下均可以正常的使用眼控交互。

不同的用户在使用中的移动习惯不同，所以每个用户在使用中均会有n个因为自身习惯产生的校准系数，所以，本实施例可以认为是一项可以根据用户习惯自动优化校准系数的方案。

方案具体过程可以如下：

对眼控仪进行首次校准，获得校准系数1，然后基于该校准系数1使用眼控仪进行交互。当用户使用过程中，发生位移，则判断该位移的幅度是否大于一定值，即基于用户图像确定用户是否未处于预确定的校准移动范围。如果位移不大于一定值，则继续使用校准系数1进行交互。

如果用户不在预确定的校准移动范围，则可以说明用户位移幅度大于一定值，相应的，可以触发执行校准操作。触发校准操作时，可以判断是否触发校准点。可以理解的是，本示例中涉及的校准点可以替换为校准区域进行操作。如果没有触发校准点则基于使用校准系数1进行交互，然后继续判断用户位移是否大于一定值。如果触发了校准点，可以认为用户当前进行了交互操作，即用户注视信息看向了用户界面中的按钮，该按钮的坐标可以为校准点，则获取该校准点和对应的校准图像。当获取的校准点的数量达到设定值后，可以基于各校准图像和对应的校准点获得该位置处的校准系数2。

然后融合两次校准系数，使其支持两个位置。后续使用校准系数1和校准系数2进行交互操作。在使用时，基于用户使用位置选取对应的校准系数进行交互。在使用的过程中，继续判断是否产生位移，以确定是否继续触发执行校准操作。继续判断是否产生位移的后续操作同前，此处不作赘述。每次产生的校准系数均进行存储，在交互时选取对应用户使用位置的校准系数执行交互操作。

示例性的，在使用中，将多次校准结果进行融合。如首次校准产生的校准系数为系数1。当用户发生位移生成系数2后，用户使用的校准系数变更为1加2的效果。即每次产生一个新的校准系数，用户使用的校准系数变为当前系数加上新校准系数的结果。在应用校准系数进行交互时，则选取对应于用户的使用位置的校准系数。用户的使用位置的确定手段不作限定，可以根据用户图像确定；也可以根据位置传感器确定。

其中，判断位移的条件和方法如下：

1.判断位移的条件

在用户使用眼控仪的过程中，采集用户图像后，可以获取如下信息：

瞳孔的坐标、瞳距连线(a线)与用户图像上或下边缘的位置关系(平行或n°倾斜，视校准时实际位置不同)。确定瞳孔坐标后，基于瞳孔坐标位置，在双眼周围设置4个坐标，围成一个矩形，此参数为允许头动范围(虚线矩形)。

通过以上条件，可以获得如下信息：瞳孔坐标可以获得瞳孔间的距离，此距离用于判断用户是否进行前后移动；左瞳孔的坐标与允许头动范围坐标可以获得左眼到头动范围左侧边缘的距离；右瞳孔的坐标与允许头动范围坐标可以获得右眼到头动范围左侧边缘的距离；两瞳孔的坐标与允许头动范围坐标可以获得双眼到头动范围上下边缘的距离；两瞳孔坐标的连线(a线)与图像上下边缘的位置关系或上次校准时两瞳孔坐标的连线可以获得头部倾斜信息(0或n°)。其中，头动范围、瞳孔间的距离上次校准时两瞳孔坐标的连线能够用于确定校准移动范围。

以上信息在交互过程中予以保存，作为基础数据。

示例性的，图3b为本发明实施例提供的确定校准移动范围的场景示意图。基于图3b左侧的用户图像，能够确定出头动范围和两瞳孔坐标的连线，即a线，和瞳孔间距，以表征校准移动范围。

2.判断头部运动的方法

左右平移判断方法：

如果用户左眼与允许头动范围左侧边缘重合(即距离为0时)或超过左侧边缘(位于左侧边缘左侧)，判断为产生了位置发生向左移动，并且达到了需要更新校准参数的条件。

图3c为本发明实施例提供的用户向左移动后的场景示意图。如图3c可见，当前用户左眼的瞳孔与头动范围左侧重合。

如果用户右眼与允许头动范围右侧边缘重合(即距离为0时)或超过右侧边缘(位于右侧边缘右侧)，判断为产生了位置发生向右移动，并且达到了需要更新校准参数的条件。

图3d为本发明实施例提供的用户向右移动后的场景示意图。如图3d可见，当前用户右眼的瞳孔与头动范围右侧重合。

上下垂直判断方法：

如果用户双眼与允许头动范围上方边缘重合或超过上侧边缘(位于上侧边缘上侧)，判断为产生了位置发生向上移动，并且达到了需要更新校准参数的条件。

图3e为本发明实施例提供的用户向上移动后的场景示意图。如图3e可见，当前用户的瞳孔与头动范围上侧重合。

如果用户双眼与允许头动范围下方边缘重合(即距离为0时)或超过下侧边缘(位于下侧边缘下侧)，判断为产生了位置发生向下移动，并且达到了需要更新校准参数的条件。

图3f为本发明实施例提供的用户向下移动后的场景示意图。如图3f可见，当前用户的瞳孔与头动范围下侧重合。

左右倾斜判断方法：

当头部发生倾斜瞳孔连线与校准时a线产生夹角并且达到一定角度，则判断为发生倾斜；

图3g为本发明实施例提供的用户向左倾斜后的场景示意图。如图3g可见，当前用户瞳孔连线与a线的左侧夹角位于a线下方，则可以判定用户向左倾斜，当r大于一定角度，则可以触发校准操作。

图3h为本发明实施例提供的用户向右倾斜后的场景示意图。如图3h可见，当前用户瞳孔连线与a线的左侧夹角位于a线上方，则可以判定用户向右倾斜，当r大于一定角度，则可以触发校准操作。

前后位置变化判断方法：

当用户使用设备时两瞳孔坐标的连线的距离小于校准时a线的距离达到一定程度，判断为向后移动并且达到了需要更新校准参数的条件；

图3i为本发明实施例提供的用户向后移动后的场景示意图。如图3i可见，当前用户的两瞳孔坐标的连线小于a线一定程度。

当两瞳孔坐标的连线的距离大于校准时a线的距离达到一定程度，判断为向前移动并且达到了需要更新校准参数的条件。

图3j为本发明实施例提供的用户向前移动后的场景示意图。如图3j可见，当前用户的两瞳孔坐标的连线大于a线一定程度。

需要注意的是，此处不限定头动范围的形状，头动范围的形状包括但不限于：正方形，矩形，圆形及星型等。

在判断用户产生位移后，需要终端自动进行校准，自动校准过程可以如下：

以用户初次使用校准后的设备进行交互为例，在用户界面中各按钮的下方设置相应的点位，该点位在使用中不可见。用户使用首次校准系数与各点位所在按钮进行交互时，当用户位移超出允许范围后，即用户未处于预确定的校准移动范围，则获取用户眼部图像，当眼部图像触发了校准点，即点位，则存储该校准点。当采集到不同位置一定数量的校准点后，基于采集到的点位信息和对应的眼部图像修正一次校准系数。

其中，在修正校准系数时，校准点与用户界面中按钮的关系如下：

校准点，即点位，的体积小于按钮的体积，并且位于用户界面的按钮的正中部。指定点位隐藏于用户界面按钮下方，用于采集用户注视点。

所以，在使用中，为了确保采集位置的准确，当用户使用目视控制鼠标指针要操控某个按钮时，当鼠标停留在按钮上的时候，按钮自带的吸附效果会将鼠标指针吸附到按钮的正中部，此时鼠标指针与隐藏在用户界面按钮下方的校准点重合后，会开始采集用户眼部图像以及开始和按钮进行交互，采集交互过程中的用户图像(眼部图像)的采集周期小于或等于设置的交互周期，以确保在完成交互时完成了该点位眼部图像的采集，即当目光停留在按钮上时，鼠标指针被吸附到按钮中部，此时按钮上出现交互图标，并且此时开始采集用户眼部图像，如果在交互完成前用户闭眼或目光离开目标导致交互未完成，则此位置此次不采集。

明显的，本实施例提供的技术方案能够根据用户的位移自动修正校准系数，确定位移后不影响使用效果，省去了以往用户发现交互操作不准确后，自行触发校准的步骤。此外，多次校准产生的校准系数同步保留并生效，符合用户使用习惯。

本发明实施例三提供的一种校准方法，具体化了确定校准移动范围的操作。利用该方法，能够基于前一次校准操作时采用的校准图像确定校准移动范围，因为该校准移动范围是基于校准图像确定的，故能够保证用户基于该校准移动范围进行交互操作时，能够达到更加精准的交互效果。

实施例四

图4为本发明实施例四提供的一种校准装置的结构示意图，该装置可适用于提升交互操作的准确性的情况，具体的，可以在用户使用眼球追踪产品过程中，改善由于用户使用位置发生改变导致的交互操作准确性下降的问题。其中该装置可由软件和/或硬件实现，并一般集成在设备上。

如图4所示，该校准装置包括：采集模块41和触发模块42；

其中，采集模块41，用于采集交互过程中的用户图像；

触发模块42，用于当基于所述用户图像确定用户未处于预确定的校准移动范围时，触发执行校准操作。

在本实施例中，该装置首先通过采集模块41采集交互过程中的用户图像；然后通过触发模块42在基于所述用户图像确定用户未处于预确定的校准移动范围时，触发执行校准操作。

本实施例提供了一种校准装置，能够在采集交互过程中的用户图像后，若基于用户图像确定用户未处于预确定的校准移动范围，则触发执行校准操作，避免因为用户位移产生的交互操作不准确的技术问题，从而确保用户产生超出校准移动范围的位移时，能够准确的进行交互操作。

进一步的，触发模块42，具体用于：

持续捕获用户目标图像；将处于校准执行范围的用户目标图像作为校准图像，并基于预先确定的初始校准系数，确定所述校准图像对应的注视信息；若所述注视信息触发了校准事件，则基于对应所述校准事件的校准区域及校准图像，确定当前校准系数。

进一步的，本实施例中的校准装置，还包括：确定模块，用于：

确定触发执行校准操作所需的校准移动范围。

进一步的，确定模块，具体用于：获取划分交互界面后形成的至少两个子交互界面；从各所述至少两个子交互界面中确定目标子交互界面，其中，所述目标子交互界面包含了前一次校准操作中采用的校准执行范围；将所述目标子交互界面作为当前待触发校准操作的校准移动范围。

进一步的，确定模块，还具体用于：根据前一次校准操作时采用的校准图像，确定当前待触发校准操作的校准移动范围。

进一步的，确定模块在根据前一次校准操作时采用的校准图像，确定当前待触发校准操作的校准移动范围时，具体包括：确定前一次校准操作时采用的校准图像的眼部位置信息，其中，所述眼部位置信息包括以下至少之一：双眼距离信息、角度信息、包含所述眼部坐标的眼部区域信息、光斑距离信息、虹膜边界信息和巩膜边界信息；根据所述眼部位置信息确定校准移动范围。

进一步的，将校准移动范围优化包括：前后运动范围、左右运动范围、上下运动范围和倾斜运动范围；相应的，确定模块根据所述眼部位置信息确定运动范围时，具体包括以下至少之一：根据所述双眼距离信息、所述光斑距离信息、所述虹膜边界信息或所述巩膜边界信息，确定所述前后运动范围；根据所述角度信息、所述光斑距离信息、所述虹膜边界信息或所述巩膜边界信息，确定所述倾斜运动范围；根据所述眼部区域信息、所述虹膜边界信息或所述巩膜边界信息，确定所述左右运动范围和所述上下运动范围。

上述校准装置可执行本发明任意实施例所提供的校准方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种设备的结构示意图。如图5所示，本发明实施例五提供的设备包括：一个或多个处理器51和存储装置52；该设备中的处理器51可以是一个或多个，图5中以一个处理器51为例；存储装置52用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器51执行，使得所述一个或多个处理器51实现如本发明实施例中任一项所述的校准方法。

所述设备还可以包括：输入装置53和输出装置54。

设备中的处理器51、存储装置52、输入装置53和输出装置54可以通过总线或其他方式连接，图5中以通过总线连接为例。

该设备中的存储装置52作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一、实施例二或实施例三所提供校准方法对应的程序指令/模块(例如，附图4所示的校准装置中的模块，包括：采集模块41和触发模块42)。处理器51通过运行存储在存储装置52中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述方法实施例中校准方法。

存储装置52可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置52可进一步包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置53可用于接收输入的数字或字符信息或用户图像，以及产生与设备的用户设置以及功能控制有关的键信号输入。输入装置53可以包括图像采集设备。输出装置54可包括显示屏等显示设备或光源。

并且，当上述设备所包括一个或者多个程序被所述一个或者多个处理器51执行时，程序进行如下操作：

采集交互过程中的用户图像；如果基于所述用户图像确定用户未处于预确定的校准移动范围，则触发执行校准操作。

实施例六

本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行校准方法，该方法包括：

采集交互过程中的用户图像；如果基于所述用户图像确定用户未处于预确定的校准移动范围，则触发执行校准操作。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的校准方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(randomaccessmemory，ram)、只读存储器(readonlymemory，rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、闪存、光纤、便携式cd-rom、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(radiofrequency，rf)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。