一种数据处理方法及电子设备与流程

本发明涉及电子设备技术领域，尤其涉及一种数据处理方法及电子设备。

背景技术：

目前，随着移动通信技术的快速发展，电子设备(如智能手机等)已成为人们日常生活中必不可少的电子消费品，随着智能手机越来越普及化，同时，智能手机的功能不断升级、优化，智能手机已经融入生活的各个方面。

现有技术中，用户和电子设备不接触且能够完成相应操作的新交互方式可代替传统触屏和语音交互方式，但新的交互方式受限于前置摄像头的功能局限，会遗漏许多用户发出的信息，无法精准控制电子设备完成相应的操作，用户人机交互使用体验不好。

由此可见，现有的基于人机交互方式实现电子设备的控制操作，存在人机交互方式比较单一，无法满足用户的个性化需求，用户人机交互使用体验差。

技术实现要素：

本发明实施例的目的是提供一种数据处理方法及电子设备，以解决现有的基于人机交互方式实现电子设备的控制操作，存在人机交互方式比较单一，主要是基于用户在触控屏上的触控输入等接触式触控方式，无法满足用户的个性化需求，用户人机交互使用体验差的问题。

为了解决上述技术问题，本发明实施例是这样实现的：

第一方面，本发明实施例提供了一种数据处理方法，应用于电子设备，所述电子设备包括多个屏下摄像头，包括：

获取利用所述多个屏下摄像头采集到的用户图像数据；

根据所述用户图像数据，确定用户交互信息，其中，所述用户交互信息包括：用户注视点信息和/或用户肢体行为信息；

根据所述用户交互信息，确定目标操作对象和目标操作类型；

基于所述目标操作类型，对所述目标操作对象执行对应的处理操作。

第二方面，本发明实施例提供了一种电子设备，所述电子设备包括多个屏下摄像头，包括：

图像数据获取模块，用于获取利用所述多个屏下摄像头采集到的用户图像数据；

交互信息确定模块，用于根据所述用户图像数据，确定用户交互信息，其中，所述用户交互信息包括：用户注视点信息和/或用户肢体行为信息；

目标信息确定模块，用于根据所述用户交互信息，确定目标操作对象和目标操作类型；

数据操作控制模块，用于基于所述目标操作类型，对所述目标操作对象执行对应的处理操作。

第三方面，本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的数据处理方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的数据处理方法的步骤。

本发明实施例中的数据处理方法及电子设备，充分利用屏下摄像头进行用户图像数据采集，并基于采集到的用户图像数据，确定用户注视点信息和/或用户肢体行为信息，再基于该用户注视点信息和/或用户肢体行为信息，识别用户的目标操作对象和目标操作类型，并基于目标操作类型对目标操作对象执行对应的数据处理操作，这样能够采用非接触式触控方式准确定位用户注视点所针对的目标操作对象，来实现人机交互操作，无需用户在电子设备上执行接触式触控操作输入，简化了用户操作步骤，提升了用户人机交互使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据处理方法的第一种流程示意图；

图2为本发明实施例提供的数据处理方法的第二种流程示意图；

图3a为本发明实施例提供的数据处理方法中目标操作对象的确定过程的示意图；

图3b为本发明实施例提供的数据处理方法中应用程序添加至文件夹的效果示意图；

图4为本发明实施例提供的数据处理方法中目标操作类型为数据更新的实现原理示意图；

图5为本发明实施例提供的数据处理方法中目标操作类型为截图的实现原理示意图；

图6为本发明实施例提供的数据处理方法的第三种流程示意图；

图7为本发明实施例提供的电子设备的模块组成示意图；

图8为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明实施例提供了一种数据处理方法及电子设备，充分利用屏下摄像头进行用户图像数据采集，并基于采集到的用户图像数据，确定用户注视点信息和/或用户肢体行为信息，再基于该用户注视点信息和/或用户肢体行为信息，识别用户的目标操作对象和目标操作类型，并基于目标操作类型对目标操作对象执行对应的数据处理操作，这样能够采用非接触式触控方式准确定位用户注视点所针对的目标操作对象，来实现人机交互操作，无需用户在电子设备上执行接触式触控操作输入，简化了用户操作步骤，提升了用户人机交互使用体验。

图1为本发明实施例提供的数据处理方法的第一种流程示意图，图1中的方法能够由电子设备执行，特别由电子设备其中设置的程序模块执行，该电子设备包括多个屏下摄像头，如图1所示，该方法至少包括以下步骤：

s101，获取利用多个屏下摄像头采集到的用户图像数据；其中，多个屏下摄像头可以是按照预设分布规则设置在电子设备的显示屏下的摄像头；

具体的，屏下摄像头采集用户图像数据，并将该用户图像数据传输至电子设备中的程序模块(即处理器)。其中，可以预先设定屏下摄像头采集用户图像数据的触发条件，例如，该触发条件可以是检测到电子设备处于工作状态；又如，考虑到如果在用户不具有基于用户注视点信息进行人机交互操作需求的情况，屏下摄像头也进行用户图像数据的采集，则将会增加电子设备的处理器的处理量，因此，该触发条件可以是用于表征用户具有基于用户注视点信息进行人机交互操作需求的条件，如检测到用户针对预设人机交互触发控件的触控操作。

s102，根据获取到的用户图像数据，确定用户交互信息，其中，该用户交互信息包括：用户注视点信息和/或用户肢体行为信息；

具体的，由于用户的注视点是唯一的，且同一时刻多个屏下摄像头采集的用户图像数据是不同的，通过对获取到的用户图像数据进行图像识别，可以确定出用户在某一时间的注视点，获取该注视点对应的用户注视点信息；针对基于用户注视点信息进行人机交互的每个连续处理过程，若用户注视点随时间而发生变化，则可以基于某一时间段的多个用户图像数据，确定各时间节点的注视点，进而确定该时间段内注视点移动轨迹，并根据该注视点移动轨迹确定用户注视点信息；其中，该用户注视点信息包括：注视时间信息、注视点位置信息和注视点移动轨迹中至少一项；并将该用户注视点信息确定为用户交互信息；

具体的，若在用户图像数据进行采集过程中用户存在肢体动作，则通过对获取到的用户图像数据进行图像识别，还可以确定用户肢体行为信息，将该用户肢体行为信息确定为用户交互信息。

在具体实施时，上述用户注视点信息的确定过程具体为：用户人脸注视点通过反射光线，传播至屏下摄像头，经屏下摄像头对反射光线进行聚焦，根据反射光的强弱积聚相应的电荷，经周期性放电产生用于表征用户图像数据的电信号，屏下摄像头将产生的电信号传输至处理器，处理器基于接收到的各屏下摄像头的电信号，确定用户直视的屏下摄像头；其中，由于用户注视点是单个的，多个屏下摄像头中一个屏下摄像头的电信号表征用户直视该屏下摄像头，根据用户注视的屏下摄像头的位置信息确定用户的注视点信息。

s103，根据确定出的用户交互信息，确定目标操作对象和目标操作类型；

其中，上述目标操作对象可以是电子设备显示界面上的应用图标，可以是某一应用程序下信息浏览页面中的网页内容，还可以是电子设备存储的文件数据，该网页内容可以包括：文字、视频、图片中至少一项，上述目标操作类型可以包括：打开某一应用程序、对某一目标操作对象进行更新操作、截图操作、放大操作中至少一项；

具体的，在确定出用户注视点信息和/或用户肢体行为信息后，即可确定目标操作对象和目标操作类型；具体的，根据用户注视点信息和/或用户肢体行为信息，确定目标操作对象；其中，由于用户注视点信息即可准确地表征用户所针对的操作对象，因此，根据用户注视点信息确定目标操作对象；

对应的，根据用户注视点信息和/或用户肢体行为信息，确定目标操作类型；其中，可以仅根据用户肢体行为信息确定目标操作类型，或者仅根据用户注视点信息确定目标操作类型；为了提高目标操作类型的识别准确地，还可以根据用户注视点信息和用户肢体行为信息，确定目标操作类型。

s104，基于确定出的目标操作类型，对目标操作对象执行对应的处理操作；

具体的，在确定出目标操作对象和目标操作类型后，即可完成相应的人机交互操作，例如，若目标操作对象为某一游戏应用，且目标操作类型为打开应用程序，则自动执行打开该游戏应用的操作；又如，若目标操作对象为某一公众号下的一篇经典文章，且目标操作类型为收藏文章，则自动对该经典文章进行收藏。

需要说明的是，考虑到主要通过对用户注视点的识别来完成人机交互操作，为了提高电子设备的用户人机交互需求的识别准确度，还预先对用户的注视点的移动速度进行校验，基于多次获取到的该用户的注视点的移动速度，确定该用户在操作电子设备时的注视点的移动速度基准范围；对应的，在上述s101，获取利用多个屏下摄像头采集到的用户图像数据，包括：获取用户的注视点移动速度，若该注视点移动速度位于该移动速度基准范围，则获取利用多个屏下摄像头采集到的用户图像数据。这样能够确保在用户具有基于注视点信息进行操作对象和操作行为需求的情况下，完成用户图像数据的采集，即通过深度学习方法提升电子设备对用户行为的解读能力，从而提高用户图像数据采集的准确度，进而提高人机交互操作的准确度。

本发明实施例中，充分利用屏下摄像头进行用户图像数据采集，并基于采集到的用户图像数据，确定用户注视点信息和/或用户肢体行为信息，再基于该用户注视点信息和/或用户肢体行为信息，识别用户的目标操作对象和目标操作类型，并基于目标操作类型对目标操作对象执行对应的数据处理操作，这样能够采用非接触式触控方式准确定位用户注视点所针对的目标操作对象，来实现人机交互操作，无需用户在电子设备上执行接触式触控操作输入，简化了用户操作步骤，提升了用户人机交互使用体验。

具体的，针对目标操作对象和目标操作类型的确定过程，上述用户交互信息至少包括用户注视点信息，如图2所示，上述s103，根据确定出的用户交互信息，确定目标操作对象和目标操作类型，具体包括：

s1031，根据确定出的用户注视点信息，确定目标操作对象；

具体的，由于用户注视点信息即可准确地表征用户所针对的操作对象，因此，根据用户注视点信息即可确定目标操作对象；在具体实施时，将用户直视的屏下摄像头对应的操作对象确定为目标操作对象；例如，由用户注视点信息可知用户直视的屏下摄像头对应于某一游戏应用，则将该游戏应用确定为目标操作对象。

s1032，根据确定出的用户注视点信息和/或用户肢体行为信息，确定目标操作类型；

具体的，可以仅根据用户肢体行为信息确定目标操作类型，或者仅根据用户注视点信息确定目标操作类型；为了提高目标操作类型的识别准确地，还可以根据用户注视点信息和用户肢体行为信息，确定目标操作类型。

进一步的，针对目标操作对象的确定过程，若用户注视点信息包括：在预设时间段内的注视点移动轨迹，即在获取用户图像数据时，存在用户的注视点发生变化的情况，此时，可以基于采集到的用户图像数据确定用户的注视点移动轨迹，进而确定出的目标操作对象可以是多个，对应的，上述s1031，根据确定出的用户注视点信息，确定目标操作对象，具体包括：

步骤一，确定与注视点移动轨迹对应的摄像头标识集合；

其中，每个注视点均由一个用户直视的屏下摄像头采集的用户图像数据确定得到的，确定用户直视的屏下摄像头的标识信息，在某一时间段内，由于用户的注视点在不断移动，形成注视点移动轨迹，用户直视的屏下摄像头为多个，根据用户直视的多个屏下摄像头的标识信息确定摄像头标识集合。

步骤二，将确定出的摄像头标识集合包含的至少一个屏下摄像头所指示的操作对象，确定为目标操作对象；

其中，摄像头标识集合中包含的至少一个屏下摄像头均为用户注视点的直视摄像头，考虑到用户直视某一位置且注视时间大于预设时间阈值，则说明用户需要对该位置显示的目标对象进行操作，因此，确定摄像头标识集合包含的至少一个屏下摄像头的位置信息，将在该位置信息处显示的目标对象，确定为目标操作对象，即将直视摄像头所在位置当前显示的操作对象确定为目标操作对象。

进一步的，针对目标操作类型的确定过程，可以采用多种确定方式来确定目标操作类型，对应的，上述s1032，根据确定出的用户注视点信息和/或用户肢体行为信息，确定目标操作类型，包括：

(1)若用户交互信息包括：用户注视点信息和用户肢体行为信息，针对仅根据用户肢体行为信息确定目标操作类型的情况，根据用户肢体行为信息对应的操作类型，确定为目标操作类型；

具体的，可以预先设置用户肢体行为信息与操作类型之间的第一对应关系，这样在人机交互过程中，根据该第一对应关系和当前确定出的用户肢体行为信息，确定目标操作类型；例如，预先设定点头动作对应于选中应用程序，又如，预先设定摇头动作为取消当前操作。

在一个具体的实施例中，如图3a所示，若由确定出的用户注视点信息可知当前时刻用户注视的摄像头1，则将摄像头1所在位置显示的应用程序1确定为目标操作对象，以及若由确定出的用户肢体行为信息可知在用户注视摄像头1时存在“点头”动作，则确定目标操作类型为选中应用程序1；对应的，对应用程序1执行选中操作；另外，为了提醒用户已针对应用程序执行选中操作，可以触发应用程序1的图标开始抖动；

接下来，如果依次检测到用户注视摄像头2、3、4、5、6，且在注视摄像头2、3、4、5、6时均存在“点头”动作，则将摄像头2、3、4、5、6所在位置分别显示的应用程序2、3、4、5、6确定为目标操作对象，以及确定目标操作类型为选中应用程序2、3、4、5、6；对应的，依次对应用程序2、3、4、5、6执行选中操作，同时触发应用程序图标开始抖动；

接下来，如果检测到用户的“眨眼”动作，则确定目标操作类型为将已选中对象添加至文件夹；对应的，将已选中的应用程序2、3、4、5、6添加至目标文件夹中，如图3b所示，将已选中的应用程序2、3、4、5、6的图标移入至目标文件夹中。

(2)若用户交互信息包括：用户注视点信息，针对仅根据用户注视点信息确定目标操作类型的情况，若确定出的用户注视点信息中的至少一个注视点对应的屏下摄像头为预设屏下摄像头，则将与该预设屏下摄像头对应的操作类型，确定为目标操作类型；

其中，上述预设屏下摄像头包括：预先标记操作类型的屏下摄像头；具体的，可以预先设置屏下摄像头的标识信息与操作类型之间的第二对应关系，这样在人机交互过程中，根据该第二对应关系和当前确定出的用户注视的屏下摄像头，确定目标操作类型；例如，预先将摄像头x对应的操作类型标记为更新操作，又如，预先将摄像头y对应的操作类型标记为卸载操作；

在一个具体的实施例中，如图4所示，若由确定出的用户注视点信息可知当前时刻用户注视的摄像头2，则将摄像头2所在位置显示的应用程序2确定为目标操作对象，以及若在确定出目标操作对象为应用程序2后，随着图中的箭头轨迹指示的方向，用户的注视点移动至摄像头x，且摄像头x对应的操作类型标记为更新操作，则将更新应用程序确定为目标操作类型；对应的，触发对应用程序2的更新操作。

(3)若用户交互信息包括：用户注视点信息，针对仅根据用户注视点信息确定目标操作类型的情况，若确定用户注视点信息中的注视起点信息和注视终点信息相同，则将第一预设操作类型确定为目标操作类型；

具体的，可以预先设置注视起点与注视终点间位置关系与操作类型之间的第三对应关系，这样在人机交互过程中，根据该第三对应关系和当前确定出的注视起点与注视终点间位置关系，确定目标操作类型；例如，预先设定注视起点与注视终点重合对应于截图操作，又如，预先设定注视起点与注视终点呈对角分布对应于退出应用程序操作。

在一个具体的实施例中，如图5所示，若由确定出的用户注视点信息可知用户依次注视摄像头1→2→3→4→5→6→1，即注视起点和注视终点相同，则将截图操作确定为目标操作类型；对应的，将摄像头1→2→3→4→5→6→1所包围的区域进行截图操作。

(4)若用户交互信息包括：用户注视点信息，针对仅根据用户注视点信息确定目标操作类型的情况，若确定用户注视点信息中的注视时间超过预设注视时间，则将第二预设操作确定为目标操作类型；

具体的，可以预先设置注视时间与操作类型之间的第四对应关系，这样在人机交互过程中，根据该第四对应关系和当前确定出注视时间，确定目标操作类型；例如，预先设定注视时间大于第一注视时间(如2秒)，对应于点击操作；又如，还可以设置不同注视时间范围对应不同操作类型，如预先设定注视时间大于第一注视时间且小于第二注视时间对应于收藏操作，再如，预先设定注视时间大于第二注视时间且小于第三注视时间对应于分享操作。

在一个具体的实施例中，若由确定出的用户注视点信息可知当前时刻用户注视的摄像头1，则将摄像头1所在位置显示的文章链接确定为目标操作对象，以及若在在摄像头1处的停留时间大于第二注视时间，则将分享操作确定为目标操作类型；对应的，触发对文章链接进行分享操作。

具体的，考虑到用户当前注视的屏下摄像头还可能是预先标记操作类型的摄像头，同时，注视时间也超过预设注视时间，此时，可以根据预设的参考优先级，来确定目标操作类型，例如，预先设置预先标记操作类型的摄像头的优先级高于注视时间的优先级；

对应的，若注视时间超过预设注视时间，且注视点对应的屏下摄像头为预设屏下摄像头，则将与该预设屏下摄像头对应的操作类型，确定为目标操作类型；

在一个具体的实施例中，在电子设备播放视频的情况下，若由确定出的用户注视点信息可知在观看视频的过程中用户的注视点移动至摄像头z，且注视摄像头z的持续时间大于预设注视时间，若摄像头x对应的操作类型标记为关闭操作，则将关闭应用程序确定为目标操作类型；对应的，关闭当前播放视频的应用程序。

(5)若用户交互信息包括：用户注视点信息和用户肢体行为信息，为了提高人机交互识别的准确度，避免将用户与外界进行某一肢体动作作为分析对象，而导致出现人机交互误操作的情况，因此，只有检测到注视时间满足预设条件，且在该注视时间内用户完成了相应的肢体动作，再执行相应的人机交互操作。基于此，针对同时根据用户肢体行为信息和用户注视点信息，确定目标操作类型的情况，若确定用户注视点信息中的注视时间大于预设时间阈值，则根据确定出的用户肢体行为信息对应的操作类型，确定目标操作类型；

例如，预先设定注视时间大于第一注视时间(如2秒)，且检测到用户的“点头”动作，对应于选中操作；

在一个具体的实施例中，仍以上述图3a中给出的将已选中对象添加至文件夹的过程为例，在依次对应用程序2、3、4、5、6执行选中操作之后，若检测到用户注视选中的应用程序的停留时长大于预设注视时间，且在该停留时长内检测到用户的“眨眼”动作，则确定目标操作类型为将已选中对象添加至文件夹；对应的，将已选中的应用程序2、3、4、5、6添加至目标文件夹中，如图3b所示，将已选中的应用程序2、3、4、5、6的图标移入至目标文件夹中；

其中，若在用户未注视选中的应用程序时检测到用户的“眨眼”动作，此时可能存在用户与周围人员做出“眨眼”动作，并非是针对触发人机交互的肢体动作，因此，该“眨眼”动作不予考虑。

进一步的，考虑到用户肢体行为信息可以包括：用于表征预设时间段内的多个肢体动作的信息；针对人机交互的每个连续处理过程，基于该连续处理过程检测到的多个肢体动作，确定出多个目标操作类型，并按序基于目标操作类型对目标操作对象执行对应的处理操作。对应的，上述根据确定出的用户肢体行为信息对应的操作类型，确定目标操作类型，具体包括：

步骤一，确定检测到的多个肢体动作对应的多个操作类型；其中，上述采集多个肢体动作的预设时间段包括：执行由多个人机交互子操作组成的一次完整人机交互过程的持续时间段；

具体的，可以预先设置肢体动作与操作类型之间的第一对应关系，这样在人机交互过程中，根据该第一对应关系和当前确定出的肢体动作，确定对应的操作类型；例如，预先设定点头动作对应于选中应用程序，又如，预先设定摇头动作为取消当前操作，再如，预先设定瞪眼动作对应于放大操作。

步骤二，根据确定出的多个操作类型，确定目标操作类型；其中，目标操作类型的执行顺序是根据多个肢体动作的先后顺序确定的；

具体的，考虑到在每次完整人机交互过程的持续时间段内，用户可能具有取消当前数据处理操作的需求，若检测到用于表征取消当前执行的处理操作的肢体动作，则取消当前数据处理操作；可以自动恢复至上一数据处理操作的完成状态，以便用户继续完成本次人机交互；也可以自动结束本次人机交互，直到再次检测到用户进入人机交互的触发条件。

例如，若注视起点和注视终点相同，则进行截图操作，得到截图图像，若在预设时间间隔内，又检测到“瞪眼”动作，则执行对截图图像进行放大的操作；其中，在截图图像放大过程中，检测到取消当前执行的处理操作的肢体动作，则取消当前截图图像放大操作。

其中，若未检测到用于表征取消当前执行的处理操作的肢体动作，则根据多个肢体动作的先后顺序，按序基于多个目标操作类型对目标操作对象执行对应的处理操作。

也就是说，用于表征取消当前执行的处理操作的目标操作类型的执行优先级最高，若检测到取消当前操作输入，则终止当前执行的对目标操作对象的处理操作。

具体的，考虑到在每一次完整的人机交互过程，用户均有可能需要终止本次人机交互过程，例如，针对一次完整的截图操作过程，可能在圈定截图范围的过程中，由于圈定范围有误，用户需要终止当前圈定的截图范围，重新进行截图范围的圈定，因此，用户将输入用于表征取消当前执行的处理操作的肢体动作。基于此，如图6所示，上述s104，基于确定出的目标操作类型，对目标操作对象执行对应的处理操作，具体包括：

s1041，在任一目标操作类型的执行过程中，确定当前检测到的肢体动作对应的操作类型是否用于表征取消目标操作类型的执行过程；

若是，则执行s1042，终止目标操作类型的执行过程，并基于当前检测到的肢体动作对应的操作类型对目标操作对象执行对应的处理操作；

若否，则执行s1043，根据检测到的多个肢体动作的先后顺序，按序基于目标操作类型对目标操作对象执行对应的处理操作。

例如，仍以上述图5为例进行说明，在圈定截图区域的过程中，如果检测到用户的“摇头”动作，则确定目标操作类型为取消当前处理操作；其中，由于用于表征取消当前执行的处理操作的目标操作类型的执行优先级最高，因此，将终止截图区域的圈定过程，并取消已圈定的截图区域。

其中，为了进一步提高人机交互的多样性，在基于用户注视点信息进行人机交互的过程，还可以引入用户语音信息，即通过人机问答的方式，引导用户输入用于确定目标操作对象和目标操作类型的信息，基于此，在上述s102，根据获取到的用户图像数据，确定用户交互信息之后，还包括：

播放问题语音信息，以及获取用户针对该问题语音信息输入的答案语音信息；

对应的，上述s103，根据确定出的用户交互信息，确定目标操作对象和目标操作类型，具体包括：

根据确定出的用户交互信息和获取到的答案语音信息，确定目标操作对象和目标操作类型。

例如，若检测到用户注视摄像头1，且摄像头1所在位置显示的应用程序1，则播放问题语音信息“您是否需要应用程序1”，若接收到用户的答案语音信息为“是的”，则确定目标操作对象为应用程序1，以及确定目标操作类型为打开应用程序；对应的，执行打开应用程序1的处理操作。这样能够引导用户进行语音输入，进而可以提高人机交互的准确度。

本发明实施例中的数据处理方法，充分利用屏下摄像头进行用户图像数据采集，并基于采集到的用户图像数据，确定用户注视点信息和/或用户肢体行为信息，再基于该用户注视点信息和/或用户肢体行为信息，识别用户的目标操作对象和目标操作类型，并基于目标操作类型对目标操作对象执行对应的数据处理操作，这样能够采用非接触式触控方式准确定位用户注视点所针对的目标操作对象，来实现人机交互操作，无需用户在电子设备上执行接触式触控操作输入，简化了用户操作步骤，提升了用户人机交互使用体验。

对应上述实施例提供的数据处理方法，基于相同的技术构思，本发明实施例还提供了一种电子设备，该电子设备包括多个屏下摄像头，图7为本发明实施例提供的电子设备的模块组成示意图，该电子设备用于执行图1至图6描述的数据处理方法，如图7所示，该电子设备包括：

图像数据获取模块701，用于获取利用所述多个屏下摄像头采集到的用户图像数据；

交互信息确定模块702，用于根据所述用户图像数据，确定用户交互信息，其中，所述用户交互信息包括：用户注视点信息和/或用户肢体行为信息；

目标信息确定模块703，用于根据所述用户交互信息，确定目标操作对象和目标操作类型；

数据操作控制模块704，用于基于所述目标操作类型，对所述目标操作对象执行对应的处理操作。

本发明实施例中的数据处理方法及电子设备，充分利用屏下摄像头进行用户图像数据采集，并基于采集到的用户图像数据，确定用户注视点信息和/或用户肢体行为信息，再基于该用户注视点信息和/或用户肢体行为信息，识别用户的目标操作对象和目标操作类型，并基于目标操作类型对目标操作对象执行对应的数据处理操作，这样能够采用非接触式触控方式准确定位用户注视点所针对的目标操作对象，来实现人机交互操作，无需用户在电子设备上执行接触式触控操作输入，简化了用户操作步骤，提升了用户人机交互使用体验。

可选地，上述目标信息确定模块703，具体用于：

根据所述用户注视点信息，确定目标操作对象；

根据所述用户注视点信息和/或用户肢体行为信息，确定目标操作类型。

可选地，若所述用户注视点信息包括：在预设时间段内的注视点移动轨迹，上述目标信息确定模块703，进一步具体用于：

确定与所述注视点移动轨迹对应的摄像头标识集合；

将所述摄像头标识集合包含的至少一个屏下摄像头所指示的操作对象，确定为目标操作对象。

可选地，上述目标信息确定模块703，还进一步具体用于执行以下确定过程中至少一项：

根据所述用户肢体行为信息对应的操作类型，确定目标操作类型；

若所述用户注视点信息中的至少一个注视点对应的屏下摄像头为预设屏下摄像头，则将与所述预设屏下摄像头对应的操作类型，确定为目标操作类型，其中，所述预设屏下摄像头包括：预先标记操作类型的屏下摄像头；

若确定所述用户注视点信息中的注视起点信息和注视终点信息相同，则将第一预设操作类型确定为目标操作类型；

若确定所述用户注视点信息中的注视时间大于预设时间阈值，则结合所述用户交互信息，确定目标操作类型；

若确定所述用户注视点信息中的注视时间大于预设时间阈值，则根据所述用户肢体行为信息对应的操作类型，确定目标操作类型。

可选地，所述用户肢体行为信息包括：用于表征预设时间段内的多个肢体动作的信息，上述目标信息确定模块703，又进一步具体用于：

确定所述多个肢体动作对应的多个操作类型；

根据所述多个操作类型，确定目标操作类型，其中，所述目标操作类型的执行顺序是根据所述多个肢体动作的先后顺序确定的。

可选的，上述数据操作控制模块704，具体用于：

在任一所述目标操作类型的执行过程中，确定当前检测到的所述肢体动作对应的操作类型是否用于表征取消所述目标操作类型的执行过程；

若是，则终止所述目标操作类型的执行过程，并基于当前检测到的所述肢体动作对应的操作类型对所述目标操作对象执行对应的处理操作。

可选地，上述电子设备还包括：语音信息处理模块；

所述语音信息处理模块，用于播放问题语音信息，以及获取用户针对所述问题语音信息输入的答案语音信息；

对应的，上述目标信息确定模块703，还具体用于：

根据所述用户交互信息和所述答案语音信息，确定目标操作对象和目标操作类型。

本发明实施例中的电子设备，充分利用屏下摄像头进行用户图像数据采集，并基于采集到的用户图像数据，确定用户注视点信息和/或用户肢体行为信息，再基于该用户注视点信息和/或用户肢体行为信息，识别用户的目标操作对象和目标操作类型，并基于目标操作类型对目标操作对象执行对应的数据处理操作，这样能够采用非接触式触控方式准确定位用户注视点所针对的目标操作对象，来实现人机交互操作，无需用户在电子设备上执行接触式触控操作输入，简化了用户操作步骤，提升了用户人机交互使用体验。

本发明实施例提供的电子设备能够实现上述数据处理方法对应的实施例中的各个过程，为避免重复，这里不再赘述。

需要说明的是，本发明实施例提供的电子设备与本发明实施例提供的数据处理方法基于同一发明构思，因此该实施例的具体实施可以参见前述数据处理方法的实施，重复之处不再赘述。

对应上述实施例提供的数据处理方法，基于相同的技术构思，本发明实施例还提供了一种电子设备，该设备用于执行上述的数据处理方法，图8为实现本发明各个实施例的一种电子设备的硬件结构示意图，图8所示的电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，电子设备100还包括：多个屏下摄像头，该屏下摄像头用于采集用户图像数据；

其中，处理器110，用于：

获取利用所述多个屏下摄像头采集到的用户图像数据；

根据所述用户图像数据，确定用户交互信息，其中，所述用户交互信息包括：用户注视点信息和/或用户肢体行为信息；

根据所述用户交互信息，确定目标操作对象和目标操作类型；

基于所述目标操作类型，对所述目标操作对象执行对应的处理操作。

本发明实施例中，充分利用屏下摄像头进行用户图像数据采集，并基于采集到的用户图像数据，确定用户注视点信息和/或用户肢体行为信息，再基于该用户注视点信息和/或用户肢体行为信息，识别用户的目标操作对象和目标操作类型，并基于目标操作类型对目标操作对象执行对应的数据处理操作，这样能够采用非接触式触控方式准确定位用户注视点所针对的目标操作对象，来实现人机交互操作，无需用户在电子设备上执行接触式触控操作输入，简化了用户操作步骤，提升了用户人机交互使用体验。

其中，处理器110，还用于:

根据所述用户注视点信息，确定目标操作对象；

根据所述用户注视点信息和/或用户肢体行为信息，确定目标操作类型。

其中，处理器110，还用于:

若所述用户注视点信息包括：在预设时间段内的注视点的移动轨迹；

所述根据所述用户注视点信息，确定目标操作对象，包括：

确定与所述注视点的移动轨迹对应的摄像头标识集合；

将所述摄像头标识集合包含的至少一个屏下摄像头所指示的操作对象，确定为目标操作对象。

其中，处理器110，还用于:

所述根据所述用户注视点信息和/或用户肢体行为信息，确定目标操作类型，包括以下确定过程中至少一项：

根据所述用户肢体行为信息对应的操作类型，确定目标操作类型；

若所述用户注视点信息中的至少一个注视点对应的屏下摄像头为预设屏下摄像头，则将与所述预设屏下摄像头对应的操作类型，确定为目标操作类型，其中，所述预设屏下摄像头包括：预先标记操作类型的屏下摄像头；

若确定所述用户注视点信息中的注视起点信息和注视终点信息相同，则将第一预设操作类型确定为目标操作类型；

若确定所述用户注视点信息中的注视时间大于预设时间阈值，则将第二预设操作确定为目标操作类型；

若确定所述用户注视点信息中的注视时间大于预设时间阈值，则根据所述用户肢体行为信息对应的操作类型，确定目标操作类型。

其中，处理器110，还用于:

所述用户肢体行为信息包括：用于表征预设时间段内的多个肢体动作的信息；

所述根据所述用户肢体行为信息对应的操作类型，确定目标操作类型，包括：

确定所述多个肢体动作对应的多个操作类型；

根据所述多个操作类型，确定目标操作类型，其中，所述目标操作类型的执行顺序是根据所述多个肢体动作的先后顺序确定的。

其中，处理器110，还用于:

所述基于所述目标操作类型，对所述目标操作对象执行对应的处理操作，包括：

在任一所述目标操作类型的执行过程中，确定当前检测到的所述肢体动作对应的操作类型是否用于表征取消所述目标操作类型的执行过程；

若是，则终止所述目标操作类型的执行过程，并基于当前检测到的所述肢体动作对应的操作类型对所述目标操作对象执行对应的处理操作。

其中，处理器110，还用于:

在根据所述用户图像数据，确定用户交互信息之后，还包括：

播放问题语音信息，以及获取用户针对所述问题语音信息输入的答案语音信息；

对应的，所述根据所述用户交互信息，确定目标操作对象和目标操作类型，包括：

根据所述用户交互信息和所述答案语音信息，确定目标操作对象和目标操作类型。

本发明实施例中的电子设备100，充分利用屏下摄像头进行用户图像数据采集，并基于采集到的用户图像数据，确定用户注视点信息和/或用户肢体行为信息，再基于该用户注视点信息和/或用户肢体行为信息，识别用户的目标操作对象和目标操作类型，并基于目标操作类型对目标操作对象执行对应的数据处理操作，这样能够采用非接触式触控方式准确定位用户注视点所针对的目标操作对象，来实现人机交互操作，无需用户在电子设备上执行接触式触控操作输入，简化了用户操作步骤，提升了用户人机交互使用体验。

需要说明的是，本发明实施例提供的电子设备100能够实现上述数据处理方法实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。

应理解的是，本发明实施例中，射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块102为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与电子设备100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。

输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(graphicsprocessingunit，gpu)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。

电子设备100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在电子设备100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(liquidcrystaldisplay，lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板1071可覆盖在显示面板1061上，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图8中，触控面板1071与显示面板1061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元108为外部装置与电子设备100连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备100内的一个或多个元件或者可以用于在电子设备100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

电子设备100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备100包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种电子设备，包括处理器110，存储器109，存储在存储器109上并可在所述处理器110上运行的计算机程序，该计算机程序被处理器110执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

进一步地，对应上述实施例提供的数据处理方法，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器110执行时实现如上述数据处理方法实施例的各步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(applicationspecificintegratedcircuits，asic)、数字信号处理器(digitalsignalprocessing，dsp)、数字信号处理设备(dspdevice，dspd)、可编程逻辑设备(programmablelogicdevice，pld)、现场可编程门阵列(field-programmablegatearray，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本发明所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。