一种人机界面交互方法、介质和电子设备与流程

文档序号:33626059发布日期:2023-03-28 20:50阅读:28来源:国知局
一种人机界面交互方法、介质和电子设备与流程

1.本技术涉及互联网技术领域,特别涉及一种人机界面交互方法、介质和电子设备。


背景技术:

2.目前,手机、平板等电子设备通常会安装有各种应用程序(application,app),例如即时通信应用、视频播放应用、会议应用、音乐应用、电话应用等,无论是哪种应用,在一些环境下,在大人使用应用的情况下,因为小孩的捣乱触碰应用界面上的控件,会导致当前应用界面的切换或者关闭。
3.例如,当用户正在使用手机看视频的时候,身边的小孩可能会抢走大人的手机并切换大人正在观看的视频界面。
4.再例如,当用户使用手机进行视频聊天时,身边的小孩有可能会抢走大人的手机并把视频聊天挂断。
5.再例如,在一些特定场景中,如在线实时视频教学场景中,远端是进行实时互动教学的老师端,近端是小孩居家上网课学习的学生端,当课程开始后,家长需要确保在近端小孩不能自行随意切换界面离开教学应用,为保持一直上课状态,从而确保教学质量。


技术实现要素:

6.本技术提供了一种人机界面交互方法、介质和电子设备。
7.第一方面,本技术实施例提供了一种人机界面交互方法,应用于电子设备,该方法包括:
8.获取用户对电子设备的显示界面的控制指令;
9.判断防干扰条件是否满足;
10.在判断出满足防干扰条件的情况下,不执行所述控制指令对应的操作。
11.可以理解,适用于本技术实施例的电子设备可以为手机、平板、电脑、智慧屏等设备,但不限于此。
12.本技术实施例除了适应于应用的显示界面中的控件,在其他实施例中,还适应于可以控制应用的显示界面的系统控件,例如,若电子设备检测到用户在当前应用的显示界面使用操作系统的退出当前应用显示界面、返回到当前用显示界面的上一个显示界面的功能,则电子设备仍然可以执行本技术实施例提供的人机界面交互方法,以避免特定的人触碰操作系统上的控件导致应用界面的切换或者关闭的问题,提高用户体验。
13.控制指令可以包括用户对显示界面中的显示元素(例如控件)的触摸操作、隔空手势操作、语音操作触发的控制指令。
14.可以理解的是,判断防干扰条件是否满足至少包括如下判断标准:
15.根据用户的信息判断防干扰条件是否满足。例如,防干扰条件包括用户的年龄在第一年龄段。又如,防干扰条件包括用户的信息为预设用户的信息。
16.不执行所述控制指令对应的操作也可以理解为具体实施例中所描述的不执行用
户所操作(例如点击)的控件对应的事件。
17.此外,可以理解的是,在其他实施例中,是否执行防干扰方法的另一个判断标准(即判断防干扰条件是否满足的判断标准)包括判断用户的人脸图像、指纹和虹膜是否为预设用户的信息,即通过设置用户黑名单信息,该用户黑名单信息包括预设用户的人脸图像、指纹和虹膜,以在该用户黑名单信息中对应的用户对应用界面中的控件进行触摸操作、隔空手势操作、语音操作的情况下,避免特定的人触碰应用界面上的控件导致应用界面的切换或者关闭的问题,提高用户体验。
18.本技术实施例中,在判断出满足防干扰条件的情况下,不执行控制指令对应的操作,在一定程度上避免了满足防干扰条件的用户对电子设备的显示界面的干扰,提升用户体验。
19.在上述第一方面的一种可能的实现中,所述判断防干扰条件是否满足,包括:
20.根据所述用户的信息判断防干扰条件是否满足。
21.在上述第一方面的一种可能的实现中,所述防干扰条件包括所述用户的年龄在第一年龄段。
22.第一年龄段可以为0-2岁、4-6岁、8-12岁中的任意一个年龄段。
23.在上述第一方面的一种可能的实现中,所述防干扰条件包括所述用户的信息为预设用户的信息。
24.可以理解,判断用户的人脸图像、指纹和虹膜是否为预设用户的信息,即通过设置用户黑名单信息,该用户黑名单信息包括预设用户的人脸图像、指纹和虹膜,以在该用户黑名单信息中对应的用户对应用界面中的控件进行触摸操作、隔空手势操作、语音操作的情况下,避免特定的人触碰应用界面上的控件导致应用界面的切换或者关闭的问题,提高用户体验。
25.在上述第一方面的一种可能的实现中,所述用户的信息包括人脸图像、指纹和虹膜中的任意一种或者多种。
26.在上述第一方面的一种可能的实现中,所述人脸图像为获取所述控制指令时拍摄的人脸图像;
27.所述指纹为获取所述控制指令时采集的指纹;
28.所述虹膜为获取所述控制指令时采集的虹膜。
29.在上述第一方面的一种可能的实现中,所述显示界面包括应用的显示界面,所述应用的显示界面包括至少一个控件,所述控制指令为针对所述至少一个控件中的目标控件的控制指令。
30.在上述第一方面的一种可能的实现中,所述控制指令包括用户对所述控件的触摸操作、隔空手势操作、语音操作触发的控制指令。
31.在上述第一方面的一种可能的实现中,所述判断防干扰条件是否满足,包括:
32.在所述目标控件为预设的要进行防干扰控制的控件的情况下,判断防干扰条件是否满足。
33.在上述第一方面的一种可能的实现中,所述应用包括电话应用、即时通信应用、视频播放应用、音乐应用、会议应用中的任意一种。
34.可以理解,本技术实施例适用所有第三方应用程序和系统应用程序,第三方应用
程序可以为电话应用、即时通信应用(例如等)、视频播放应用(例如等)、音乐应用、会议应用等,但不限于此。
35.可以理解,本技术实施例的使用场景可以包括即时通信应用中的视频通话,会议软件中的多人视频会议、远程教育、远程学习等,但不限于此。
36.第二方面,本技术实施例提供了一种人机界面交互方法,该方法包括:
37.应用获取用户对所述应用的显示界面的控制指令的情况下,向操作系统发送控制指令;
38.所述应用在所述操作系统判断出满足防干扰条件的情况下,不执行所述控制指令对应的操作。
39.在上述第一方面的一种可能的实现中,所述应用获取用户对所述应用的显示界面的控制指令的情况下,向操作系统发送控制指令,包括:
40.所述应用在判断出所述目标控件为预设的要进行防干扰控制的控件的情况下,向操作系统发送控制指令。
41.第三方面,本技术实施例提供了一种计算机可读存储介质,所述存储介质上存储有指令,所述指令在计算机上执行时使所述计算机执行上述第一方面或第二方面所述的人机界面交互方法。
42.第四方面,本技术实施例提供了一种电子设备,一个或多个处理器;一个或多个存储器;所述一个或多个存储器存储有一个或多个程序,当所述一个或者多个程序被所述一个或多个处理器执行时,使得所述电子设备执行上述第一方面或第二方面所述的人机界面交互方法。
附图说明
43.图1a根据本技术的一些实施例,示出了一种视频播放的人机界面交互方法的应用场景示意图;
44.图1b根据本技术的一些实施例,示出了一种即时通信应用中视频播放的人机界面交互方法的应用场景示意图;
45.图2根据本技术的一些实施例,示出了一种即时通信的人机界面交互方法的应用场景示意图;
46.图3根据本技术的一些实施例,示出了一种教学应用的人机界面交互方法的应用场景示意图;
47.图4根据本技术的一些实施例,示出了一种适应于本技术技术方案的手机100的硬件结构示意图;
48.图5根据本技术的一些实施例,示出了一种适应于本技术技术方案的手机100的软件结构示意图;
49.图6根据本技术的一些实施例,示出了一种人机界面交互方法的流程示意图;
50.图7根据本技术实施例,示出了一种判断用户的人脸图像中用户的年龄属性的判断规则示意图;
51.图8根据本技术的一些实施例,示出了一种对应于即时通信应用的人机界面交互方法的流程示意图。
具体实施方式
52.本技术的说明性实施例包括但不限于人机界面交互方法、介质和电子设备。
53.下面通过附图和实施例,对本技术实施例的技术方案做进一步的详细描述。
54.为了解决背景技术中小孩干扰应用界面的问题,本技术的一些实施例提供了一种人机界面交互方案,这个方案可以通过设置应用界面锁,在应用界面锁为开启状态时,应用界面中的所有控件为隐藏状态,且所有隐藏状态的控件无法被用户点击,无法响应于用户的操作,执行用户操作对应的事件。例如,图1a根据本技术的一些实施例,示出了一种视频播放的人机界面交互方法的应用场景示意图,如图1a所示,在该场景中,手机100的视频播放界面包括界面锁控件4、暂停控件5、下一集播放控件6和视频播放进度条7等。其中,界面锁控件4、暂停控件5、下一集播放控件6和视频播放进度条7为受控控件,且该界面锁控件4为全局控件,由手机100的用户自行择机开启界面锁控件4,并自行择机关闭界面锁控件4,且开启界面锁控件4的过程中,手机100的视频播放界面处于加锁状态,除了界面锁控件4本身,其他的界面元素(例如暂停控件5、下一集播放控件6或视频播放进度条7)处于无法被点击状态,以达到防止儿童干扰的目的。
55.但是,由于使用应用界面锁,要么应用界面中的所有控件均为无法操作状态,要么应用界面中的所有控件均为无法操作状态,管控粒度过粗,如果有大人需要随时控制应用界面中的所有控件,只能全部解锁,但对小孩干扰的防范作用也就消失了。例如,在图1a所示的场景中,当大人想要避免小孩的干扰时,选择主动点击界面锁控件4,于是视频播放界面进入加锁状态,所有关键的界面元素(例如暂停控件5、下一集播放控件6或视频播放进度条7)被隐藏,即不显示关键的界面元素,因此在一般小孩不知情的情况下,避免了小孩的干扰,当大人想要对视频播放界面进行操作时,可以选择主动点击界面锁控件4解锁视频播放界面,于是用户可以继续操作这些界面元素。但是,由于视频播放界面存在一个界面锁控件4入口,多次使用后小孩也能理解并找到界面锁控件4从而继续干扰用户使用视频播放应用,例如一些聪明的小孩可能在观察1到2次大人的解锁操作后就知道了如何加、解锁,该方法并不能真正起到防止小孩的故意干扰的目的。而且由于该方法要针对小孩的干扰做全局可操作的元素(例如暂停控件5、下一集播放控件6或视频播放进度条7)的限制,因此只能针对整个界面的所有可操作元素(例如暂停控件5、下一集播放控件6或视频播放进度条7)做统一的限制,所有控件均为无法操作状态,要不所有控件均为无法操作状态,管控粒度过粗,如果有大人需要随时控制应用界面中的所有控件,只能全部解锁,但对小孩干扰的防范作用也就消失了。
56.为了进一步解决上述防小孩干扰应用界面的有效程度较低的问题,除了上述通过设置界面锁解决界面中的控件因为小孩捣乱误触碰导致的误操作的方案,在一些电子设备的使用场景中,如视频通话、在线教学时,家长希望小孩的误操作不会影响电子设备上当前程序的运行,本技术实施例公开了一种人机界面交互方法。具体地,当电子设备获取到用户发出控制指令时,例如,用户触碰电子设备屏幕显示的应用界面的控件或者对应用界面的控件发出语音指令时,电子设备可以获取用户的生物特征信息(例如人脸图像、指纹、虹膜等中的任意一种或者多种),并根据获取的生物特征信息判断该用户的年龄属性,例如是大人还是儿童,在判断出是大人的情况下,执行用户控制指令对应的操作,在判断出是小孩的情况下,不执行用户控制指令对应的操作,如此,电子设备可以在一定程度上避免小孩的捣
乱误触碰应用界面上的控件导致应用界面的切换或者关闭的问题,提高用户体验。
57.下面结合具体场景描述本技术的人机界面交互方法。例如,图1b根据本技术的一些实施例,示出了一种即时通信应用中视频播放的人机界面交互方法的应用场景示意图,如图1b所示,在该场景中,手机100的视频播放界面包括暂停控件5、下一集播放控件6和视频播放进度条7等。其中,暂停控件5、下一集播放控件6和视频播放进度条7为受控控件,当用户(例如手机100的用户或者手机100的用户旁边的小孩)点击暂停控件5、下一集播放控件6和视频播放进度条7的情况下,手机100会判断点击暂停控件5、下一集播放控件6和视频播放进度条7的用户的年龄属性,若是大人,则手机100正常执行暂停控件5、下一集播放控件6和视频播放进度条7对应的点击事件,若是小孩,则手机100不正常执行暂停控件5、下一集播放控件6和视频播放进度条7对应的点击事件。更具体的判断方式将在下文中进行描述。
58.如此,手机100可以在一定程度上避免小孩的捣乱触碰视频播放应用界面上的控件导致应用界面的切换或者关闭的问题,而且确保在有效防止小孩的干扰操作的同时,大人也可以正常使用视频播放应用,能够细化视频播放应用的受控粒度,防干扰的同时提升用户体验。
59.又例如,图2根据本技术的一些实施例,示出了一种即时通信的人机界面交互方法的应用场景示意图,如图2所示,在该场景中,手机100的用户正在和另一个用户通过即时通信应用中的视频通话进行实时交流。
60.手机100显示视频通话界面,该视频通话界面包括切到语音通话控件1、挂断控件2以及切换摄像头控件3,以语音通话控件1、挂断控件2以及切换摄像头控件3被配置为受控控件为例,当用户(例如手机100的用户或者手机100的用户旁边的小孩)点击语音通话控件1、挂断控件2或切换摄像头控件3的情况下,手机100会判断点击语音通话控件1、挂断控件2或切换摄像头控件3的用户的年龄属性,若年龄属性是大人,则手机100正常执行语音通话控件1、挂断控件2或切换摄像头控件3对应的点击事件,若年龄属性是小孩,则手机100不执行语音通话控件1、挂断控件2或切换摄像头控件3对应的点击事件。可以理解,在图1所示的场景中,可以通过用户的生物特征信息(例如人脸图像、指纹、虹膜等中的任意一种或者多种)判断点击语音通话控件1、挂断控件2或切换摄像头控件3的用户的年龄属性。更具体的判断方式将在下文中进行描述。
61.如此,手机100可以在一定程度上避免小孩的捣乱触碰即时通信应用界面上的控件导致应用界面的切换或者关闭的问题,提高用户体验。
62.本技术实施例的技术方案还适应于会议应用中的在线教学场景。具体地,例如,图3根据本技术的一些实施例,示出了一种教学应用的人机界面交互方法的应用场景示意图,如图3所示,在该远程在线教学应用场景中,手机100的在线视频教学界面包括用户评论设置控件8、举手控件9、设置控件10、离开课堂控件11以及用户评论框控件12。
63.远端是进行实时互动教学的老师端,近端是小孩居家上网课学习的学生端,当课程开始后,需要确保在近端小孩不能自行随意切换界面离开教学的应用,为保持一直上课状态,从而确保教学质量,将离开课堂控件11设置为受控控件,评论设置控件8、举手控件9、设置控件10和用户评论框控件12为非受控控件,即使用户点击离开课堂控件11,由于手机100判断出用户为儿童,也不会执行离开当前在线视频教学的界面。
64.可以理解,本技术实施例适用所有第三方应用程序和系统应用程序,第三方应用程序可以为电话应用、即时通信应用(例如等)、视频播放应用(例如等)、音乐应用、会议应用等,但不限于此。
65.可以理解,本技术实施例的使用场景可以包括即时通信应用中的视频通话,会议软件中的多人视频会议、远程教育、远程学习等,但不限于此。
66.此外,可以理解,适用于本技术实施例的电子设备可以为手机、平板、电脑、智慧屏等设备,但不限于此。
67.此外,在本技术一些实施例中,可以根据电子设备上所运行的应用程序的不同,根据电子设备响应于控制指令所实现功能进行分类,对于某些控制指令执行上述用户年龄的判断,而对某些控制指令不执行上述用户年龄的判断。例如,对于上述远程在线教学应用场景中,可以将离开课堂控件11设置为响应于控制指令,执行上述用户年龄的判断,而将评论设置控件8、举手控件9、设置控件10和用户评论框控件12设置为响应于控制指令,不执行上述用户年龄的判断。
68.图4根据本技术的一些实施例,示出了一种适应于本技术技术方案的手机100的硬件结构示意图,如图4所示,手机100包括处理器101、摄像头102、图像信号处理器103、神经网络处理器104、触控显示屏105和存储器106。
69.摄像头102用于采集和捕获当前操作界面的用户人像。例如,对应于图1b的应用场景,摄像头102可以根据用户操作,采集和捕获当前操作界面的用户人像。对应于图2的应用场景,摄像头102可以实时采集和捕获当前操作界面的用户人像。对应于图3的应用场景,摄像头102可以根据用户操作,采集和捕获当前操作界面的用户人像。
70.触控显示屏105用于显示画面以及接受和响应用户触控操作。例如,对应于图1b、图2、图3的应用场景,触控显示屏105可以根据用户操作,开启摄像头102,进行采集和捕获当前操作界面的用户人像。
71.图像信号处理器(image signal processor,isp)103是用于图像数据处理的专用集成电路(application-specific integrated circuit,asic),用于对摄像头102形成的图像数据进行进一步处理,以获得更好的图像质量。在一些实施例中,处理器101可以直接接收摄像头102拍摄的图像数据,将该图像数据发送至神经网络处理器104分析用户人像的年龄属性。此外,在其他实施例中,摄像头102将拍摄的图像数据发送至图像信号处理器103后,图像信号处理器103对图像数据进行处理,处理器101将处理后的图像数据发送至神经网络处理器104分析用户人像的年龄属性。分析用户人像的年龄属性的技术手段将在下文具体介绍。
72.处理器101可以包括一个或多个处理单元,例如,可以包括中央处理器(central processing unit,cpu)或可编程逻辑器件fpga(field programmable gate array)等的处理模块或处理电路。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。本技术实施例中,处理器101用于负责系统总控,包括所有与用户的交互流程,接受用户输入事件并从相机获取图像,并调用神经网络处理器104进行计算和识别,根据识别结果决策是否响应当前用户,实现小孩干扰防止功能。
73.npu104是为深度学习设计的asic,在一些实施例中,可以通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理。本技术实施例中,神经网
络处理器104用于根据从摄像头102或者图像信号处理器103得到的图像数据进行用户人像的年龄属性分析,得到用户的年龄属性识别结果。
74.存储器106可用于存储数据、软件程序以及模块,可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,ram),双倍数据率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,ddr sdram)。本技术实施例中,对应于图2中的应用场景,由于摄像头102一直采集用户的图像,因此,神经网络处理器104可以将接收到的用户的图像进行年龄属性分析,并将分析结果存储在存储器106,若处理器101检测到用户点击应用界面中的控件,则直接从存储器106中获取分析结果,判断当前用户人像的年龄属性,进而确定点击控件对应的事件是否执行,如此,在一定程度上提高应用的控制效率。
75.可以理解,图4所示的手机100的结构只是一种示例,并不构成对手机100的具体限定,在另一些实施例中,手机100可以包含更多或更少的模块,还可以组合或者拆分部分模块,本技术实施例不作限制。
76.图5根据本技术的一些实施例,示出了一种适应于本技术技术方案的手机100的软件结构示意图,如图5所示,手机100的软件层包括应用层和系统层。
77.应用层包括界面显示模块201、干扰检测模块202和干扰提醒模块203。系统层包括受控控件库204、产品特征开关模块205、防干扰识别模块206、干扰阻止模块207、人像特征分析模块208和图像捕获模块209。
78.界面显示模块201用于显示应用界面并响应于用户对界面中控件的操作(例如点击)。例如,对应于图2,可以显示图2所示的视频通话界面,并可以响应于用户点击视频通话界面中的语音通话控件1、挂断控件2或切换摄像头控件3,并将该点击控件的输入事件发送至干扰检测模块202。又如,对应于图1b,可以显示图1b所示的视频播放界面,并可以响应于用户点击视频播放界面中的暂停控件5、下一集播放控件6或拖动视频播放进度条7,并将该点击或拖动控件的输入事件发送至干扰检测模块202。又如,对应于图3,可以显示图3所示的在线教学视频界面,并可以响应于用户点击在线教学视频界面中的用户评论设置控件8、举手控件9、设置控件10、离开课堂控件11以及用户评论框控件12,并将该点击控件的输入事件发送至干扰检测模块202。
79.干扰检测模块202用于在获取用户操作应用界面中控件的输入事件的情况下,检测是否有干扰发生。具体地,干扰检测模块202从控件库204获取具有防干扰功能属性的控件的标识信息,从产品特性开关模块205获取防干扰开关的工作状态(开启或者关闭),以此来判断当前用户所操作的空间是否需要执行干扰检测,并在判断出执行干扰检测的情况下,向图像捕获模块209发送干扰检测指令。其中,受控控件即具有防干扰功能的控件,在一些实施例中,界面中的所有控件均具有防干扰功能,在其他一些实施例中,只有界面中的部分控件是受控控件。例如,对应于图2,当用户(例如手机100的用户或者手机100的用户旁边的小孩)点击语音通话控件1、挂断控件2或切换摄像头控件3的情况下,手机100会判断点击语音通话控件1、挂断控件2或切换摄像头控件3是否执行干扰检测。同理,对应于图1b和图3,也具有上述判断是否执行干扰检测的技术手段。
80.受控控件库204包括具备防干扰功能的控件的标识信息集合。产品特性开关模块205为系统级开关,包括应用的防干扰开关的工作状态信息,可以配置为对何种类型的应用
执行本技术实施例提供的人机界面交互方法。具体地,用户可以通过手机100中的设置应用进入应用的防干扰开关页面,开启或者关闭应用的防干扰功能。
81.例如,对应于图2,受控控件库204包括语音通话控件1、挂断控件2或切换摄像头控件3的标识信息,产品特性开关模块205包括即时通信应用的标识信息,如此,以便于干扰检测模块202根据受控控制库204中的标识信息和即时通信应用的防干扰开关的工作状态确定语音通话控件1、挂断控件2或切换摄像头控件3是否为具备防干扰功能的控件,判断是否执行干扰检测,并在判断出执行干扰检测的情况下,向图像捕获模块209发送干扰检测指令。
82.对应于图1b,控件库205包括暂停控件5、下一集播放控件6和视频播放进度条7的标识信息,产品特性开关模块205包括视频播放应用的标识信息,如此,当干扰检测模块202获取到用户点击暂停控件5、下一集播放控件6和拖动视频播放进度条7的输入事件情况下,根据受控控制库204中的标识信息和视频播放应用的防干扰的工作状态确定暂停控件5、下一集播放控件6和视频播放进度条7是否为具备防干扰功能的控件,判断是否执行干扰检测,并在判断出执行干扰检测的情况下,向图像捕获模块209发送干扰检测指令。
83.对应于图3,控件库205包括离开课堂控件11的标识信息,产品特性开关模块205包括会议应用的标识信息,如此,当干扰检测模块202获取到用户点击离开课堂控件11的输入事件情况下,根据受控控制库204中的标识信息和会议应用的防干扰的工作状态确定离开课堂控件11是否为具备防干扰功能的控件,判断是否执行干扰检测,并在判断出执行干扰检测的情况下,向图像捕获模块209发送干扰检测指令。
84.图像捕获模块209用于在获取干扰检测模块202发送的干扰检测指令的情况下,从摄像头102获取用户的人脸图像,并将获取的用户的人脸图像发送至人像特征分析模块208,以进行用户的人脸图像的年龄属性识别。
85.人像特征分析模块208用于从图像捕获模块209获取用户的人脸图像,并判断该用户的人脸图像的年龄属性,并将年龄属性识别结果发送至防干扰识别模块206。
86.防干扰识别模块206用于从人像特征分析模块208获取年龄属性识别结果,并根据年龄属性识别结果判断是否对用户所点击的控件进行防干扰操作,或者说是否开启防干扰模式,并将防干扰判断结果发送至干扰阻止模块207,此处防干扰操作即不执行用户所点击的控件对应的事件。
87.干扰阻止模块207用于在接收防干扰识别模块206发送的防干扰识别结果为执行防干扰操作的情况下,不执行用户所操作(例如点击)的控件对应的事件,并向干扰提醒模块203发送防干扰提醒信息。
88.干扰提醒模块203用于向用户友好提示(例如toast提示)已进行防干扰检测,不执行用户所操作的控件对应的事件。
89.除了图5所示的应用(应用层)和手机100的操作系统(系统层)均进行了改进,以执行本技术实施例提供的人机界面交互方法。
90.此外,在其他实施例中,也可以不对应用(应用层)进行改进,只对手机100的操作系统(系统层)进行改进,以执行本技术实施例提供的人机界面交互方法。
91.此外,在其他实施例中,也可以不对手机100的操作系统(系统层)进行改进,只对应用(应用层)进行改进,以执行本技术实施例提供的人机界面交互方法。
cascades,hog+线性svm,单杆检测器(ssd)等等。
105.2.提取人脸的感兴趣区域(region of interest,roi)信息,输入到模型进行年龄段评估,进一步来说,把年龄按照区间分段,然后评估人脸实例特征在每一个段的相似度得分,最高的那个段将是最终评估的相对准确的年龄段,大体来讲,可以讲如下的1-3段中的任意一段视为“小孩”的年龄区间,除此之外的就是“大人”的年龄区间:1段0-2;2段4-6;3段8-12;4段15-20;5段25-32;6段38-43;7段48-53;8段60-100。
106.可以理解,手机100获取的用户的人脸图像可能不止包括一个人,下面介绍用户的人脸图像中包括一个或多个人的年龄属性判断方法。具体地,图7根据本技术实施例,示出了一种判断用户的人脸图像中用户的年龄属性的判断规则示意图。如图7所示,手机100获取到用户的人脸图像后,检测用户的人脸图像是单人图像还是多人像混图,若是单人图像,则进入分支1的判断规则,即只需要基于算法检测人像年龄特征以区分是小孩还是大人。若是多人像混图,先分析是否有小孩人像特征,无小孩则直接判定为大人场景,若有小孩,则检测其中小孩与大人相对位置关系,若大人在小孩的正前方,即大人距离手机100比小孩距离手机100近,则判定为大人,若小孩在大人的正前方,即小孩距离手机100比大人距离手机100近,则判定为小孩,其它非明确情形,则统一判定为小孩。
107.可以理解,在其他实施例中,对于多人像混图,也可以根据获取到的用户点击控件对应的指纹判断用户是大人还是儿童。
108.例如,图像捕获模块209用于在获取干扰检测模块202发送的干扰检测指令的情况下,从摄像头102获取用户的人脸图像,并将获取的用户的人脸图像发送至人像特征分析模块208,以进行用户的人脸图像的年龄属性识别。
109.步骤605:手机100根据年龄属性识别结果判断是否开启防干扰模式,若是,则执行步骤607,若否,则执行步骤606。
110.可以理解,在一些实施例中,若年龄属性识别结果指示用户为小孩,则开启防干扰模式,不执行点击即时通信应用界面上的挂断控件对应的挂断事件,若年龄属性识别结果指示用户为小孩,则执行点击即时通信应用界面上的挂断控件对应的挂断事件。
111.例如,手机100的防干扰识别模块206用于从人像特征分析模块208获取年龄属性识别结果,并根据年龄属性识别结果判断是否对用户所点击的控件进行防干扰操作,或者说是否开启防干扰模式,并将防干扰判断结果发送至干扰阻止模块207,此处防干扰操作即不执行用户所点击的控件对应的事件。
112.步骤606:执行点击即时通信应用界面上的挂断控件对应的挂断事件。
113.步骤607:不执行点击即时通信应用界面上的挂断控件对应的挂断事件。
114.例如,手机100的干扰阻止模块207用于在接收防干扰识别模块206发送的防干扰识别结果为执行防干扰操作的情况下,不执行用户所操作(例如点击)的控件对应的事件,并向干扰提醒模块203发送防干扰提醒信息。
115.在其他一些实施例中,手机100的干扰提醒模块203还可以向用户友好提示(例如toast提示)已进行防干扰检测,不执行用户所操作的控件对应的事件。
116.如此,大人在使用视频通话等相关应用场景时,小孩的干扰将被系统拒绝,同时大人可以继续自己的操作,应用场景的干扰防范是实时的,小孩操作时起效,小孩离开时结束防范,应用的界面的控制力度可以限定在局部的ui控件之上,比传统方法更灵活。
117.上面实施例公开了基于用户的人脸图像来判断用户年龄属性的应用的控制方案。但是,除了通过用户的人脸图像,还可以通过指纹判断用户年龄属性。
118.图8根据本技术的一些实施例,示出了一种对应于即时通信应用的人机界面交互方法的流程示意图,如图8所示,该方法包括:
119.步骤801:手机100检测到用户点击即时通信应用界面上的挂断控件的操作。
120.步骤801和步骤601的技术手段相同,在此不再赘述。
121.步骤802:手机100判断是否开启防干扰检测模式,若是,则执行步骤803,若否,则执行点击即时通信应用界面上的挂断控件对应的挂断事件。
122.步骤802与步骤702的技术手段相同,在此不再赘述。
123.步骤803:手机100获取用户的指纹,该用户的指纹用户确定用户的年龄属性。
124.手机100中可以阵列排布的指纹采集器,手机100可以通过指纹采集器获取点击控件的手指的指纹,该用户的指纹用户确定用户的年龄属性。
125.步骤804:手机100基于用户的指纹确定用户的年龄属性。
126.可以理解,由于小孩和大人的指纹线的宽窄、大小、纹路清晰度及皱褶都会随着年龄的变化有所不同,例如,婴幼儿(0-9)的指纹线窄、尺寸偏小、纹路清晰度高。少年(10-16)的指纹线窄、尺寸中等、纹路清晰度高;青中年(17-50)的指纹线宽、尺寸大、纹路清晰度高;老年(51+)的指纹线尺寸大、皱褶多、纹路清晰度低。因此,手机100可以基于用户的指纹确定用户的年龄属性。
127.指纹识别年龄(基于用户的指纹确定用户的年龄属性)的算法主要是基于小孩和大人的指纹线的宽窄、大小、纹路清晰度及皱褶推测出一个年龄段,例如:
128.婴幼儿:0-9岁,少年:10-16岁,青中年:17-50,老年:51岁及以上。
129.步骤805:手机100根据年龄属性识别结果判断是否开启防干扰模式,若是,则执行步骤807,若否,则执行步骤806。
130.步骤805与步骤705的技术手段相同,在此不再赘述。
131.步骤806:执行点击即时通信应用界面上的挂断控件对应的挂断事件。
132.步骤807:不执行点击即时通信应用界面上的挂断控件对应的挂断事件。
133.步骤806至步骤807与步骤706至步骤707的技术手段相同,在此不再赘述。
134.上述实施例中,以用户的年龄属性作为判断是否执行防干扰方法的一个判断标准外,如此,在一定程度上避免小孩的捣乱误触碰应用界面上的控件导致应用界面的切换或者关闭的问题,提高用户体验。在其他实施例中,是否执行防干扰方法的另一个判断标准包括判断用户的人脸图像、指纹和虹膜是否为预设用户的信息,即通过设置用户黑名单信息,该用户黑名单信息包括预设用户的人脸图像、指纹和虹膜,以在该用户黑名单信息中对应的用户对应用界面中的控件进行触摸操作、隔空手势操作、语音操作的情况下,避免特定的人触碰应用界面上的控件导致应用界面的切换或者关闭的问题,提高用户体验。
135.上述实施例中,仅以应用的显示界面为例说明本技术实施例的技术方案,在其他实施例中,若手机100检测到用户在当前应用的显示界面使用操作系统的退出当前应用显示界面、返回到当前用显示界面的上一个显示界面的功能,则手机100仍然可以执行本技术实施例提供的方法人机界面交互方法,以避免特定的人触碰操作系统上的控件导致应用界面的切换或者关闭的问题,提高用户体验。
136.本技术公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本技术的实施例可实现为在可编程系统上执行的计算机程序或程序代码,该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
137.可将程序代码应用于输入指令,以执行本技术描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本技术的目的,处理系统包括具有诸如例如数字信号处理器(dsp)、微控制器、专用集成电路(asic)或微处理器之类的处理器的任何系统。
138.程序代码可以用高级程序化语言或面向对象的编程语言来实现,以便与处理系统通信。在需要时,也可用汇编语言或机器语言来实现程序代码。事实上,本技术中描述的机制不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
139.在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、只读存储器(cd-roms)、磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
140.在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
141.需要说明的是,本技术各设备实施例中提到的各单元/模块都是逻辑单元/模块,在物理上,一个逻辑单元/模块可以是一个物理单元/模块,也可以是一个物理单元/模块的一部分,还可以以多个物理单元/模块的组合实现,这些逻辑单元/模块本身的物理实现方式并不是最重要的,这些逻辑单元/模块所实现的功能的组合才是解决本技术所提出的技术问题的关键。此外,为了突出本技术的创新部分,本技术上述各设备实施例并没有将与解决本技术所提出的技术问题关系不太密切的单元/模块引入,这并不表明上述设备实施例并不存在其它的单元/模块。
142.需要说明的是,在本专利的示例和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要
素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
143.虽然通过参照本技术的某些优选实施例,已经对本技术进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本技术的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1