显示控制方法、装置、存储介质及电子设备与流程

文档序号:27316196发布日期:2021-11-09 23:55阅读:78来源:国知局
显示控制方法、装置、存储介质及电子设备与流程

1.本技术涉及计算机技术领域,尤其涉及一种显示控制方法、装置、存储介质及电子设备。


背景技术:

2.随着通信技术的发展,诸如人脸识别等对象识别技术是基于对象待识别对象的生理特征或者行为特征进行身份验证的技术,随着人机交互技术的广泛应用,基于对象识别与屏幕显示控制相结合的场景在日常生活中越来越广泛使用。


技术实现要素:

3.本技术实施例提供了一种显示控制方法、装置、存储介质及电子设备,可以为业务线程分配到合适的处理器集群。本技术实施例的技术方案如下:
4.第一方面,本技术实施例提供了一种显示控制方法,所述方法包括:
5.响应于锁屏状态下所输入的第一操作,对当前的环境图像进行对象识别处理;
6.确定所述环境图像对象识别通过,控制屏幕显示处于所述锁屏状态之前的目标界面。
7.第二方面,本技术实施例提供了一种显示控制装置,所述装置包括:
8.操作响应模块,用于响应于锁屏状态下所输入的第一操作,对当前的环境图像进行对象识别处理;
9.界面显示模块,用于确定所述环境图像对象识别通过,控制屏幕显示处于所述锁屏状态之前的目标界面。
10.第三方面,本技术实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
11.第四方面,本技术实施例提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
12.本技术一些实施例提供的技术方案带来的有益效果至少包括:
13.在本技术一个或多个实施例中,终端可响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;确定所述环境图像对象识别通过,控制屏幕显示处于所述锁屏状态之前的目标界面;在整个显示控制过程中,终端可不直接基于第一操作直接进行显示,而是根据对象识别情况来控制屏幕点亮显示锁屏状态之前的目标界面。优化了显示控制的流程,提升了显示控制的视觉体验效果,另外在解锁之后不需要用户进行任何操作即可实现对锁屏界面的隐藏或关闭从而直接进入到锁屏状态之前的目标界面,提升了显示控制的处理效率,涉及显示控制的界面显示更为简洁;以及在涉及到进行显示控制涉及的对象识别过程中,采用并行执行方式同时调用底层的相机服务和对象识别服务实现对象识别处理的快速进行,节省了处理时间,提升了显示控制
的效率。
附图说明
14.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
15.图1是本技术实施例提供的一种显示控制方法的流程示意图;
16.图2是本技术实施例涉及的一种显示控制的场景示意图;
17.图3是本技术实施例提供的一种显示控制方法的流程示意图;
18.图4是本技术实施例提供的一种显示控制方法的流程示意图;
19.图5是本技术实施例涉及的一种常规显示控制的示意图;
20.图6是本技术实施例提供的一种显示控制系统的架构示意图;
21.图7是本技术实施例涉及的一种显示控制的信号处理示意图;
22.图8是本技术实施例涉及的一种显示控制装置的结构示意图;
23.图9是本技术实施例涉及的另一种显示控制装置的结构示意图;
24.图10是本技术实施例提供的一种电子设备的结构示意图;
25.图11是本技术实施例提供的操作系统和用户空间的结构示意图;
26.图12是图10中安卓操作系统的架构图;
27.图13是图10中ios操作系统的架构图。
具体实施方式
28.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
29.在本技术的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本技术的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本技术中的具体含义。此外,在本技术的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
30.下面结合具体的实施例对本技术进行详细说明。
31.在一个实施例中,如图1所示,特提出了一种显示控制方法,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的显示控制装置上。该计算机程序可集成在应用
中,也可作为独立的工具类应用运行。
32.具体的,该显示控制方法包括:
33.步骤s101:响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;
34.所述第一操作由用户在终端处于锁屏状态下时所输入;终端处于锁屏状态下时终端所包含的屏幕处于息屏状态,当终端的屏幕在锁屏状态下基于用户的人机操作再次唤醒时,通常需要对当前环境中用户身份进行对象识别,且在对象识别通过之后,终端可对锁屏界面之外的显示界面进行显示。
35.所述环境图像可以理解为对终端所处环境一种相似性、生动性的描述或写真,通过获取当前的环境图像的方式来客观表示所述终端当前环境场景中识别当前的用户的身份信息(如人脸图像、特定的身份识别手势),其中,所述环境图像可以是以照片、视频片段、完整视频等形式,当环境图像是以视频、照片等图像形式采集时,终端可以基于相机服务控制相机组件采集当前环境中的环境图像。
36.在相关技术中,当用户在锁屏状态下输入用户操作时,通常终端会直接响应用户操作点亮屏幕显示锁屏界面,与此同时终端还会对用户身份进行识别以确认是否解锁锁屏界面,如对用户的面部图像进行识别,在这个过程也就是说常会先显示锁屏界面在面部图像识别通过后再对锁屏界面进行解锁;进一步的,在一些对象识别成功进而锁屏界面解锁成功的场景下,通常也需要用户进一步针对锁屏界面输入相应操作(如滑动操作、点击操作)才能关闭或隐藏锁屏界面而进入应用界面。基于上述可预知的是显示控制过程繁琐,在涉及到对象识别解锁锁屏状态时相关技术中,底层处理阶段:通常会先调用底层图像组件进行环境图像出帧,环境图像出帧后才能继而触发底层对象识别服务进行图像识别,再叠加上诸如显示锁屏界面、监听针对锁屏界面输入相应操作(才能进入显示界面)等控制过程势必会导致显示控制的处理时间增加、降低了显示控制的处理效率,整个显示控制过程繁琐,界面显示不简洁。
37.以下对本技术涉及的锁屏和解锁场景进行释义,其中在本技术中终端在“确定所述环境图像对象识别通过”之后即涉及到解锁场景。
38.终端包含屏幕,屏幕通常是一种用于显示图像、文字等信息元素的器件。在实际应用中,为防止终端在休眠状态下被误操作,通常终端会在用户手动触发下或者自动进入屏幕锁定状态,这个过程就是锁屏,处于锁屏状态下的终端,其屏幕处于息屏状态。当终端屏幕锁定也即处于锁屏状态时,终端允许用户通过某种操作方式(如本技术涉及的第一操作)来解除屏幕锁屏状态,从而进入正常使用的状态,这个过程就是解锁。
39.另外,前述相机组件可以是终端内置的环境图像采集装置、也可以是外置的环境图像采集装置。当所述环境图像采集装置外置时,所述环境图像采集装置与终端之间的信息或数据的交互可以是通过有线通信连接的方式或无线通信连接的方式。
40.进一步的,用户在终端上输入第一操作,意图进行屏幕锁屏状态的解除,此时终端响应于第一操作,对终端当前用户身份进行对象识别,在对象识别成功也即当前用户身份识别通过之后,来解除屏幕锁屏状态;反之,若当前用户身份识别不通过,则保持屏幕锁屏状态。
41.具体实施中,终端响应于锁屏状态下所输入的第一操作,终端可以先控制屏幕保
持息屏状态,在完成对象识别之后再解除息屏状态点亮屏幕。这样可避免在对象识别过程中点亮屏幕展示锁屏界面,进而节省显示控制的时间简化显示控制的显示流程,避免调用终端计算资源进行解锁之前的锁屏界面多余显示处理流程。同时在进行设计到对象识别处理过程中,本技术涉及的终端不采用相关技术中先调用相机服务控制相机组件进行环境图像出帧,然后才触发针对环境图像的对象识别;为了提高整个显示控制的处理效率,节省处理时间。终端在响应第一操作的过程中,对底层服务流程进行优化,通过并行服务调用方式:同时调用相机服务和对象识别服务,基于相机服务控制底层相机组件采集环境图像出帧,基于对象识别服务进行针对环境图像的对象识别准备流程(加载对象识别对应的算法数据、向处理器获取用于对象识别的计算资源、运行空间等等),以便于在环境图像出帧前完成对比识别初始化过程,这样可在相机服务获取或采集到环境图像之后,可迅速基于与对象识别服务对环境图像进行对象识别处理而节省对象识别准备时间。
42.进一步的,用户在终端上输入第一操作的方式有多种,可以是通过与终端相连接的外部设备完成的,例如用户可以通过连接终端的智能设备(如智能穿戴设备、手机)等外部设备上进行操作触发进而输入针对终端的第一操作;可以是用户通过语音输入针对终端进行屏幕解锁的操作;可以是用户通过按压终端的物理按键(开关机键、音量键等)输入的针对终端的操作等,终端识别到用户所输入的第一操作时,进行第一操作的响应;可以是用户通过手持触控的方式在终端上进行触控来输入第一操作,如双击屏幕、长按屏幕等等。
43.具体的,对当前的环境图像进行对象识别处理,可以是通过检测环境图像中的图像对象进行用户身份识别进行的,如检测环境图像中图像对象是否为当前用户的目标图像;可以是检测环境图像中的图像对象进行姿态识别进行的,如检测环境图像中图像对象是否为目标姿态的姿态图像,目标姿态为用于进行锁屏解锁的姿态,等等。
44.在一种具体的实施场景中,终端可以调用系统底层的相机服务来获取当前的环境图像;终端可以调用系统底层的对象识别服务对环境图像进行对象识别处理。
45.具体的,终端可基于预先训练的对象识别模型对环境图像进行对象识别,通过训练好的对象识别模型对环境图像进行对象识别,如通过对象识别模型对环境图像进行用户面部识别,可以确定当前第一操作对应用户的用户身份。通过将环境图像输入至对象识别模型,输出对象识别结果,基于对象识别结果可确定环境图像对象识别是否通过。
46.具体的,在实际应用中,所述对象识别模型可以是基于深度学习的对象分析算法,如卷积神经网络(convolutional neural network,cnn)模型,深度神经网络(deep neural network,dnn)模型、循环神经网络(recurrent neural networks,rnn)、模型、嵌入(embedding)模型、梯度提升决策树(gradient boosting decision tree,gbdt)模型、逻辑回归(logistic regression,lr)模型等模型中的一种或多种的拟合实现的,进一步的,可在现有神经网络模型基础上引入误差反向传播算法进行优化,可以提高基于神经网络模型的初始对象识别模型的识别准确率。相比传统的对象识别方法(如刚性模板(rigid templates)法),深度神经网络提取的特征具有更强的鲁棒性和描述能力。
47.在本技术实施例中,可以预先获取大量的包含目标对象的环境样本数据,对所述环境样本数据进行预处理,所述预处理包含数字化、几何变换、归一化、平滑、复原增强等处理过程,消除图像中无关的信息,对包含目标对象的图像部分进行图像恢复及增强处理,提取经预处理之后的环境样本数据的图像特征信息,将图像特征信息中的冗余信息进行过
滤,并基于对样本图像已经标注的目标对象部分,将过滤之后的所述图像特征信息输入至初始对象识别模型进行训练,得到训练之后的对象识别模型,该对象识别模型具有对象特征抽取、对象特征知识概括和学习记忆的能力,通常所述对象识别模型学习到的信息或知识储存在每个单元节点之间的连接矩阵上。
48.需要说明的是,上述对对象识别模型的训练过程可以是在终端上进行的,也可以是在与终端建立通信连接的服务器上进行的,如:服务器可以预先对对象识别模型进行训练,以生成训练好的对象识别模型,然后将对象识别模型所对应的安装包推送至终端,终端只需安装所述安装包即可得到训练好的对象识别模型。此处,具体不做限定。
49.步骤s102:确定所述环境图像对象识别通过,唤醒屏幕并控制所述屏幕显示处于所述锁屏状态之前的目标界面。
50.具体的,终端对当前的环境图像进行对象识别处理,基于对象识别处理的对象识别结果确定对环境图像对象识别通过,此时终端可控制屏幕显示处于锁屏状态之前的目标界面。例如,终端在处于锁屏状态之前最后一帧界面为某应用的应用界面,则确定所述环境图像对象识别通过之后,可控制屏幕显示在处于锁屏状态之前的“某应用的应用界面”;又例如,终端在处于锁屏状态之前最后一帧界面为桌面应用界面,则确定所述环境图像对象识别通过之后,可控制屏幕显示桌面应用界面。
51.在一些实时场景中,目标界面不为锁屏服务或锁屏应用所提供的锁屏界面。
52.如图2所示,图2是本技术涉及的一种显示控制的场景示意图,图2中左边的子图中示出了终端在处于息屏状态之间的目标界面,该目标界面为一视频界面,用户可输出锁屏操作以使终端处于锁屏状态下,图2中间的子图中示出了终端在锁屏状态下屏幕不显示画面,用户在锁屏状态下诸如采用图2所示的按压终端的物理按键输入第一操作,终端响应第一操作,对当前的环境图像进行对象识别,于对象识别处理的对象识别结果确定对环境图像对象识别通过,此时终端可控制屏幕显示处于锁屏状态之前的目标界面。图2右边的子图中示出了终端显示视频界面的情形。
53.在一种可行的实施方式中,响应于锁屏状态下所输入的第一操作,可控制屏幕显示目标多媒体。
54.在一些实施方式中,目标多媒体可以不是锁屏界面,目标多媒体可理解为直接作用于人感官且特定设置的文字、图形、图像、动画、声音和视频等各种媒体的统称,即多种信息载体的表现形式和传递方式。在本实施例中的目标多媒体可以是图片、音频、文本、视频等等。在响应第一操作时,可不必控制屏幕保持息屏状态而是以目标多媒体进行显示点亮,通过显示预先设置的用户体验较佳的目标多媒体,可实现显示控制场景下的正向引导效果,避免因直接显示单调的锁屏界面造成显示体验不佳,例如,目标多媒体可以是针对锁屏场景下进行对象识别过程而设置的一个用于过渡的目标动画数据,显示目标动画数据可提升用户感官体验,避免显示单一或枯燥的锁屏界面。
55.进一步的,在确定所述环境图像对象识别通过之后,终端关闭显示所述目标多媒体控制屏幕显示处于所述锁屏状态之前的目标界面。在整个显示控制过程中,在响应第一操作之后,从对环境图像识别,到识别通过后的
56.在本技术实施例中,终端可响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;确定所述环境图像对象识别通
过,控制屏幕显示处于所述锁屏状态之前的目标界面;在整个显示控制过程中,终端可不直接基于第一操作直接进行显示,而是根据对象识别情况来控制屏幕点亮显示锁屏状态之前的目标界面。优化了显示控制的流程,提升了显示控制的视觉体验效果,另外在解锁之后不需要用户进行任何操作即可实现对锁屏界面的隐藏或关闭从而直接进入到锁屏状态之前的目标界面,提升了显示控制的处理效率,涉及显示控制的界面显示更为简洁;以及在涉及到进行显示控制涉及的对象识别过程中,采用并行执行方式同时调用底层的相机服务和对象识别服务实现对象识别处理的快速进行,节省了处理时间,提升了显示控制的效率。
57.请参见图3,图3是本技术提出的一种显示控制方法的另一种实施例的流程示意图。具体的:
58.步骤s201:响应于锁屏状态下所输入的第一操作,控制屏幕保持息屏状态,并并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;
59.根据一些实施例中,通常终端处于锁屏状态下时终端所包含的屏幕处于息屏状态,用户在终端处于锁屏状态下时输入第一操作,此时在相关技术中通常会基于第一操作再次唤醒屏幕也即控制屏幕点亮然后再进行锁屏状态解锁以显示相应除锁屏界面之外的显示界面;在实际场景中锁屏状态是否解锁可基于对象识别处理的结果确定,在整个对象识别过程中会存在因处理存在的时延,也就是说即使唤醒屏幕显示锁屏界面此时用户也非法进行下一步的相关业务操作,从视觉体验维度而言此时锁屏界面会形成一种阻碍用户进入正常显示界面的效果,等等。
60.在一种具体的实施场景中,用户在终端上输入第一操作,意图进行屏幕锁屏状态的解除,此时终端响应于第一操作,对终端当前用户身份进行对象识别的同时,与相关技术中不同的是,终端可不控制屏幕进行亮屏以保持屏幕继续处于息屏状态;实际实施中,终端此时响应第一操作,控制屏幕可以保持息屏状态,也即对屏幕进行延迟点亮处理,在一些实施场景中,也可理解为对屏幕进行延迟亮屏;需要说明的是本技术实现延迟亮屏并非对屏幕控制流程的阻塞处理,例如为了实现屏幕继续息屏而不去向屏幕发送阻塞点亮的指令,也就是说本技术不采用阻塞亮屏进行控制,从而避免诸如阻塞执行类指令在进行机器响应时出现控制逻辑混乱导致终端奔溃。
61.可选的:在本技术中为了实现保持息屏状态可以是:终端不生成任何与“用于控制屏幕点亮”电源相关的指令,而是在监测到完成环境图像的对象识别和/或对象识别通过,生成用于控制屏幕点亮”电源相关的指令。
62.可选的:在本技术中为了实现保持息屏状态可以是采用设置用于延迟亮屏的计时时钟,在所述时钟记录的时间达到某一时间阈值时,生成响应于第一操作且用于亮屏的亮屏指令发送至“用于控制屏幕点亮”的电源。进一步的,在所述计时时钟内,终端任意对所述计时时钟的时间进行更新,如延长计时时钟的时间或缩短计时时钟的时间;进一步的,若完成环境图像的对象识别和/或对象识别通过,则终端可以直接触发计时时钟,以生成响应于第一操作且用于亮屏的亮屏指令发送至“控制屏幕点亮”的电源。
63.示意性的,终端检测到用户当前所输入的第一操作,如按压终端的物理按键或触控屏幕,终端的操作系统可将第一操作对应的操作事件传输至底层电源服务(进程),由于终端此时处于锁屏状态下,电源服务(进程)可将操作事件传输至锁屏服务(进程),由于涉及到锁屏解锁流程锁屏服务(进程)会请求对象识别服务对当前的环境图像进行对象识别,
同时进行延迟亮屏处理,具体实施中可实时检测对象识别是否完成,在对象识别未完成时则保持屏幕处于息屏状态;进一步的,若对象识别完成则解除延迟亮屏,点亮屏幕。
64.进行延迟亮屏处理可让用户在进行锁屏解锁时有更好的体验。如果不延迟亮屏处理且设置为响应第一操作直接点亮屏幕或响应第一操作“亮屏直接解锁”的话,由于对象识别(如人脸识别)速度没有亮屏的速度快,常会出现先亮屏用户看见锁屏界面再解锁的现象;进一步的,若对象识别速度较快,也会由于识别时长较短亮屏后瞬间解锁成功,从视觉维度而言,常会展示为:锁屏界面闪屏的现象。而进行延迟亮屏处理,就通常不会在对象识别过程中屏幕先亮屏,可仅在对象识别完成之后对象识别服务的结果返回给锁屏服务之后,锁屏服务控制解锁并同时点亮屏幕显示处于锁屏状态之前的最后一帧的显示界面。从视觉体验而言,视觉效果大幅提升。
65.另外,“并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理”的步骤释义可参考本技术其他实施的步骤释义,此处不再赘述。
66.步骤s202:基于保持息屏阈值,控制所述屏幕进入亮屏状态;
67.所述保持息屏阈值可以理解为针对“终端(在响应第一操作之后)控制屏幕继续保持熄屏的时间”所对应的时长临界值,或时长门限值。在本技术中保持息屏阈值可理解为用于对“对象识别处理”流程进行处理容灾,避免“对象识别处理”流程出现意外奔溃而导致终端长时间不响应第一操作进行屏幕点亮。从视觉维度而言可避免对象识别时间过长导致屏幕亮屏太慢,因此可基于保持息屏阈值实现对对象识别整个流程的监控;具体实施中,可在系统进程服务中创建相应的用于对象识别监控的监控线程,而不占用于系统进程服务中的主线程来基于监控线程对整个流程进行监控,在监测到诸如对象识别超时时可进行处理容灾,解除保持息屏状态控制屏幕进入亮屏状态,也即点亮屏幕。
68.在一种可行的实施方式中,终端可获取针对所述环境图像的对象识别时长,若所述对象识别时长大于或等于保持息屏阈值,则控制所述屏幕进入亮屏状态。
69.具体实施中,对象识别时长可以理解为终端调用对象识别服务对环境图像进行对象识别的所用时长,常以终端调用相机服务(进程)或相机组件获取到环境图像开始进行对象识别为时间起始点进行识别处理的计时。终端通过检测对象识别时长,判断对象识别时长是否大于或等于保持息屏阈值,若所述对象识别时长大于或等于保持息屏阈值,则控制所述屏幕进入亮屏状态;反之,若所述对象识别时长小于保持息屏阈值且对象识别处理还未完成,则继续保持屏幕处于息屏状态。若所述对象识别时长小于保持息屏阈值且确定对象识别处理完成,则立即控制屏幕点亮。
70.示意性的,终端可以设置一个保持息屏阈值为a的值,监测对象识别时长是否满足保持息屏阈值;随着对象识别处理的进行,对象识别时长会随之增加,若对象识别时长大于或等于保持息屏阈值,终端可生成用于亮屏的消息发送至电源,以便于电源基于亮屏的消息点亮屏幕。
71.在一些实施方式中,另外若所述对象识别时长大于或等于保持息屏阈值,则终端控制所述屏幕进入亮屏状态,此时通常对象识别未完成终端点亮屏幕可显示相应用于过段的显示画面,终端可不显示锁屏界面来提高视觉体验,而是用来显示目标多媒体,目标多媒体可以是自定义的图片、音频、文本、视频等等以目标多媒体进行显示点亮,通过显示预先设置的用户体验较佳的目标多媒体,可实现显示控制场景下的正向引导效果,避免因直接
显示单调的锁屏界面造成显示体验不佳,例如,目标多媒体可以是针对锁屏场景下进行对象识别过程而设置的一个用于过渡的目标动画数据,显示目标动画数据可提升用户感官体验,避免显示单一或枯燥的锁屏界面。
72.在一种可行的实施方式中,终端可获取屏幕的息屏保持时长,若息屏保持时长大于或等于保持息屏阈值,则控制所述屏幕进入亮屏状态。
73.具体实施中,息屏保持时长可以理解为终端响应第一操作时维持屏幕息屏的时长。终端通过检测息屏保持时长,判断息屏保持时长是否大于或等于保持息屏阈值,若所述息屏保持时长大于或等于保持息屏阈值,则控制所述屏幕进入亮屏状态;反之,若所述息屏保持时长大于或等于保持息屏阈值,则继续保持屏幕处于息屏状态。另外若所述息屏保持时长大于或等于保持息屏阈值,则终端控制所述屏幕进入亮屏状态,此时通常对象识别未完成终端点亮屏幕可显示相应显示画面,
74.在一些实施方式中,终端可不显示锁屏界面来提高视觉体验,而是用来显示目标多媒体,目标多媒体可以是自定义的图片、音频、文本、视频等等以目标多媒体进行显示点亮,通过显示预先设置的用户体验较佳的目标多媒体,可实现显示控制场景下的正向引导效果,避免因直接显示单调的锁屏界面造成显示体验不佳,例如,目标多媒体可以是针对锁屏场景下进行对象识别过程而设置的一个用于过渡的目标动画数据,显示目标动画数据可提升用户感官体验,避免显示单一或枯燥的锁屏界面。
75.步骤s203:确定所述环境图像对象识别通过,解除所述屏幕的息屏状态。
76.具体对环境图像对象进行识别的过程可参考本技术的其他实施例,此处不再赘述。
77.进一步的,终端在确定环境图像对象识别通过之后,还需解除针对屏幕的息屏状态,以实现屏幕进行点亮显示。
78.步骤s204:控制屏幕显示处于所述锁屏状态之前的目标界面。
79.具体可参见本技术的其他实施例,此时不再赘述。
80.在本技术实施例中,终端可响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;确定所述环境图像对象识别通过,控制屏幕显示处于所述锁屏状态之前的目标界面;在整个显示控制过程中,终端可不直接基于第一操作直接进行显示,而是根据对象识别情况来控制屏幕点亮显示锁屏状态之前的目标界面。优化了显示控制的流程,提升了显示控制的视觉体验效果,另外在解锁之后不需要用户进行任何操作即可实现对锁屏界面的隐藏或关闭从而直接进入到锁屏状态之前的目标界面,提升了显示控制的处理效率,涉及显示控制的界面显示更为简洁;以及在涉及到进行显示控制涉及的对象识别过程中,采用并行执行方式同时调用底层的相机服务和对象识别服务实现对象识别处理的快速进行,节省了处理时间,提升了显示控制的效率;以及采用针对系统服务进程创建目标线程来替代原生逻辑中的服务主线程进行显示控制过程,可避免服务主线程负载导致的阻塞实现了操作快速响应。
81.请参见图4,图4是本技术提出的一种显示控制方法的另一种实施例的流程示意图。具体的:
82.步骤s301:创建针对系统服务进程的至少一个目标线程,所述目标线程为所述系统服务进程的服务主线程之外的线程。
83.具体实施中,涉及显示控制中的对象识别流程通常部署在系统服务system_server进程上进行,具体由系统服务进程中的服务主线程(system_server主线程)完成。
84.如图5所示,图5是涉及的一种常规显示控制的示意图,本技术是与图5所示的显示控制不同的技术构思来实现对显示控制的快速响应,以提高显示控制的效率。在图5所示的常规显示控制场景(图5仅示出部分显示控制流程)中,终端至少涉及到电源服务、锁屏服务、系统服务、(底层)对象识别服务、相机服务、底层安全相机等服务(进程)。
85.当用户按压电源键(可视为第一操作中的一种)后,事件通过input子系统传给电源服务,电源服务再把事件通知锁屏服务,锁屏服务根据相应的条件请求系统服务进程中的system_server主线程(system_server主线程,属于framework框架层)进行对象识别。进一步的,系统服务进程中的system_server主线程再去请求底层对象识别服务底层对象识别服务会与相机服务进行通信,打开相机采集图像,进行图像数据的对象识别处理,如录入的用户图像进行比较来进行对象识别。运算得出的对象识别结果经底层对象识别服务通知到“系统服务进程中的system_server主线程”,然后“系统服务进程中的system_server主线程”再返回给锁屏服务。假如识别成功,此时锁屏服务就可以进行解锁的操作了,否则不能解除锁屏。最后关闭相机的动作由底层对象识别服务发起。
86.基于上述针对常规显示控制流程的释义可知悉的是,涉及到触发对象识别等流程通常依赖于“系统服务进程中的system_server主线程”来完成,然而系统服务进程中的system_server主线程通常会存在待处理的业务较多等因素会导致system_server主线程阻塞,进而影响显示控制的效率。在本技术中,通常执行本实施例的显示控制方法不依赖于系统服务进程中的system_server主线程进行第一操作的显示控制过程,来实现对显示控制过程的快速响应进而实现对象识别后的快速的界面(非锁屏界面)显示。
87.具体实施中,可通过创建针对系统服务进程的至少一个目标线程,所述目标线程为所述系统服务进程的服务主线程(system_server主线程)之外的线程,通过各目标线程来实现响应第一操作,对环境图像进行识别进而在识别通过后显示锁屏状态之前的目标界面。
88.进一步的,目标线程可以理解为一种系统服务进程对应的业务线程;
89.所述业务线程是终端搭载的操作系统能够进行业务运算调度的最小单位。通常业务线程与系统服务进程相关,业务线程被包含在系统服务进程之中,并作为进程中的实际运作单位。其中,一条业务线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个业务线程,每条业务线程并行执行不同的任务。进一步的,在实际应用中,业务线程也被称为轻量进程(lightweight processes),轻量进程更多指系统的内核线程(kernel thread),而把用户线程(user thread)称为线程。在本技术实施例中,业务线程的释义不作具体限定,可以是系统的内核线程,也可以是用户线程,在本实施例中,不依赖于系统服务进程中的system_server主线程进行显示控制,而是预先创建至少一个目标线程来实现对涉及主线程的显示控制的替代,如实现与显示控制相关的客户端的控制、与底层对象识别服务的通信等,避免由于主线程负载导致的显示控制效率低下的问题。
90.在一些实施场景中,创建的针对系统服务进程的目标线程可以是下述涉及的:第一目标线程、第二目标线程、第三目标线程等目标线程中的至少一种或多种组合。
91.步骤s302:响应于锁屏状态下所输入的第一操作。
92.本实施例中,终端响应锁屏状态下所输入的第一操作,具体可以是基于各目标线程控制屏幕保持息屏状态并对当前的环境图像进行对象识别处理。具体可参见下述方法步骤的释义。
93.具体的,终端响应于锁屏状态下所输入的第一操作,基于前述创建的系统服务进程的至少一个目标线程并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理,一方面调用相机服务控制底层相机组件采集环境图像出帧,另一方面,采用并行执行方式同时调用对象识别服务进行对象识别准备流程,这样在相机服务的环境图像出帧后,对象识别服务可迅速进行对象识别处理,而节省对象识别的数据加载时间,实现并行调用相机服务和对象识别服务进行对当前的环境图像的对象识别处理过程。
94.步骤s303:基于第一目标线程控制屏幕保持息屏状态,并通过第一目标线程触发第二目标线程调用相机服务获取当前的环境图像;
95.在一些实施方式中,步骤s303中“通过第一目标线程触发第二目标线程调用相机服务获取当前的环境图像”与步骤s304“通过第一目标线程触发对象识别服务对所述环境图像进行对象识别处理”的执行顺序可不分先后,具体基于实际应用情况确定,此处不作限定。
96.在一些实施方式中,步骤s303和步骤s304同时执行,也就说基于第一目标线程、第二目标线程实现并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理。
97.步骤s304:通过第一目标线程并行调用对象识别服务进行对象识别准备流程。
98.所述第一目标线程可理解为系统服务进程中用于对象识别服务的业务线程,其可用于调用其他目标线程和/或其他底层服务(进程)实现针对对象识别控制的整个流程;进一步的,第一目标线程可用于基于对象识别状态延迟屏幕亮屏,以及可触发其他目标线程调用底层的相机服务(进程)来获取当前的环境图像。如涉及到人脸识别场景时,第一目标线程至少可以是一种人脸线程用于根据人脸的识别状态来延迟屏幕亮屏。
99.具体实施中,终端在锁屏场景下检测到用户输入的第一操作,响应于第一操作,如按压终端的物理按键或触控屏幕,终端的操作系统可将第一操作对应的操作事件传输至底层电源服务(进程),由于终端此时处于锁屏状态下,电源服务(进程)可将操作事件传输至锁屏服务(进程),由于涉及到锁屏解锁流程锁屏服务(进程)会请求进行对象识别,具体实施中,锁屏服务(进程)会请求系统服务进程中的第一目标线程进行对象识别,由第一目标线程来控制屏幕保持息屏状态,并通过第一目标线程触发第二目标线程调用相机服务获取当前的环境图像。如第一目标线程向第二目标线程发送打开相机的消息,则第二目标线程可调用底层相机服务(进程)来获取当前的环境图像。具体而言,第二目标线程可调用底层相机服务(进程)来通知其开启相机进行图像采集预览,底层相机服务(进程)进行响应来获取当前的环境图像(也即相机出帧)之后,将环境图像回传至第二目标线程。
100.另外,在本技术中,第二目标线程作为第一目标线程的辅助线程,用于替代第一目标线程去触发底层相机服务的业务,实际应用中,第一目标线程只需触发第二目标线程(如向第二目标线程发送触发相机的消息)去调用底层相机服务,在第二目标线程调用相机服务的同时第一目标线程可以与地目标线程并行调用底层对象识别服务;
101.实际应用中涉及相机组件、底层对象识别、保持息屏等业务操作都会存在处理时间,同一时间内同一线程通常只能执行一个业务操作,完成前述所有操作势必会采用串行
执行的方式,考虑到均由第一目标线程进行执行会存在由于其中某一业务影响导致超时响应的问题,如调用底层相机服务进程没有返回结果则整个后续的对象识别流程均会被阻塞,且第一目标线程也无法执行后续的其他操作,比如用户输入了其他操作此时也是需要第一目标线程去进行响应的,如取消对象识别的操作,此时锁屏服务进程通知到第一目标线程由于阻塞此时会存在响应超时的问题,因此本技术中预先还涉及到创建第二目标线程,基于第二目标线程分担第一目标线程的业务如调用底层相机服务来实现采用与其他业务并行执行方式来获取当前的环境图像。
102.具体实施中,终端可以基于第一目标线程先控制屏幕保持息屏状态,并通过第一目标线程触发第二目标线程调用相机服务获取当前的环境图像。同时其他业务可以是第一目标线程去触发底层对象识别进程,也就是说:与此同时可通过第一目标线程触发对象识别服务对所述环境图像进行对象识别处理;相当于此时触发底层对象识别进程与触发底层相机服务可以是并行同时执行,这将极大的提升显示控制中涉及对象识别流程的效率。
103.步骤s305:在完成所述对象识别准备流程之后,基于所述对象识别服务对所述相机服务获取的所述环境图像进行对象识别处理。
104.进一步的,在前述“底层相机服务(进程)进行响应来获取当前的环境图像(也即相机出帧)之后,将环境图像回传至第二目标线程”之后,由于对象识别服务进程已经完成诸如初始化、算法数据加载、计算资源获取等识别准备过程,此时第二目标线程可无缝衔接将相机服务出帧后回传的环境图像直接传输至对象识别服务进程进行对象识别处理。进一步的,对象识别服务进程完成对象识别处理后,会将对象识别结果反馈至第一目标线程。从而完成对环境图像的整个对象识别过程。
105.步骤s306:确定所述环境图像完成识别后,基于所述第一目标线程和/或所述第二目标线程关闭所述相机服务以及所述对象识别服务,控制屏幕显示处于所述锁屏状态之间的目标界面。
106.具体实施中,通过第一目标线程借助于第二目标线程触发对象识别服务对所述环境图像进行对象识别处理,对象识别服务(进程)部署有对环境图像进行识别的对象识别算法,对象识别服务通过对象识别算法来对环境图像进行识别,其中具体识别过程可参考本技术其他实施例的释义,与其他实施例的对象识别过程为同一发明构思。对象识别服务(进程)在完成对环境图像的对象识别之后,会反馈对象识别结果至第一目标线程,反馈识别结果至少包括环境图像识别通过或环境图像识别不通过的信息。需要说明的是无论是前述识别情形中任一种,第一目标线程收到对象识别结果可以认为:对环境图像完成识别,此时执行在对环境图像的完成识别后,通过第一目标线程触发第二目标线程关闭相机服务。实际应用中,可控制第一目标线程向第二目标线程发送关闭相机的消息,第二目标线程接收到关闭相机的消息,则向底层相机服务(进程)发送关闭相机的消息,此时底层相机服务(进程)进行相机组件的关闭,进一步关闭完成之后向第二目标线程反馈完成关闭相机的消息。
107.可选的,在完成对比识别过程后,后续涉及的对相机服务和对象识别服务的关闭,可以是基于第一目标线程完成的,如第一目标线程直接控制相机服务和对象识别服务进行关闭;可以是基于第二目标线程完成的,如第而目标线程直接控制相机服务和对象识别服务进行关闭;也可以是第一目标线程和第二目标线程分别控制“相机服务”和“对象识别服务”中的其一完成,
108.步骤s307:在对环境图像的对象识别过程中,针对所述对象识别过程进行监测容灾。
109.在一种可行的实施方式中,终端通过系统服务进程中的第三目标线程针对所述对象识别过程进行监测容灾,所述第三目标线程为为终端预先创建的所述系统服务进程的服务主线程之外的线程。
110.可选的,终端可设置保持息屏阈值来实现针对对象识别过程的监测容灾、具体实施中,基于保持息屏阈值控制所述屏幕进入亮屏状态,也就是说在当前保持息屏时长大于或等于保持息屏阈值时,可理解控制屏幕进入亮屏状态。
111.根据一些实施例中,保持息屏阈值可以理解为针对“终端(在响应第一操作之后)控制屏幕保持熄屏的时间”所对应的时长临界值,或时长门限值。在本技术中保持息屏阈值可理解为用于对“对象识别处理”流程进行处理容灾,避免“对象识别处理”流程出现意外阻塞而导致终端长时间不响应第一操作进行屏幕点亮。从视觉维度而言可避免对象识别时间过长导致屏幕亮屏太慢,因此可基于保持息屏阈值实现对对象识别整个流程的监控;具体实施中,可在系统进程服务中创建相应的用于对象识别监控的第三目标线程(相当于监控对象识别的监控线程),而不占用于系统进程服务中的主线程来基于监控线程对整个流程进行监控,在监测到诸如对象识别超时时可进行处理容灾,解除保持息屏状态控制屏幕进入亮屏状态,也即点亮屏幕。
112.在一种可行的实施方式中,终端可通过系统服务进程中的第三目标线程基于保持息屏阈值控制所述屏幕进入亮屏状态;
113.示意性的,终端可获取针对所述环境图像的对象识别时长,若所述对象识别时长大于或等于保持息屏阈值,则控制所述屏幕进入亮屏状态
114.示意性的,终端可获取屏幕的息屏保持时长,若息屏保持时长大于或等于保持息屏阈值,则控制所述屏幕进入亮屏状态。
115.在一种可行的实施方式中、终端可以对对象识别过程中,对相机服务和对象识别服务进行监测,具体实施中,终端可基于监测状况确定相机服务和/或对象识别服务响应服务故障,然后关闭所述相机服务和/或所述对象识别服务。
116.在一种可行的实施方式中,终端可通过系统服务进程中的第三目标线程来监测用于进行对象识别的对象识别服务是否正常,以及检测用于进行环境图像获取的相机服务是否正常;
117.若终端确定系统服务进程与相机服务之间服务响应故障,如相机组件崩溃无法获取环境图像,则通过系统服务进程中的第三目标线程关闭所述相机服务和/或所述对象识别服务,关闭对象识别服务可理解为由于无法获取到环境图像因此没有必要保留对象识别服务进行图像识别,因此可将对象识别服务进行关闭。示意性的,终端可通过第三目标线程来监测相机服务调用相机组件的接口是否存在接口超时调用情况,若存在接口超时调用情况则通常相机组件崩溃;
118.若终端确定系统服务进程与对象识别服务(如用于人脸识别的底层人脸服务)之间服务响应故障,则通过系统服务进程中的第三目标线程关闭所述相机服务和/或所述对象识别服务。关闭相机服务可理解为由于无法对环境图像进行识别因此没有必要继续获取环境图像,因此可将相机服务进行关闭。示意性的,终端可通过第三目标线程来监测对象识
别服务
119.在一些实施方式中,终端创建的目标线程还可以包括第四目标线程,第四目标线程用于接收第三目标线程的监控结果,也即第三目标线程在监测到“对象识别时长大于或等于保持息屏阈值”或“息屏保持时长大于或等于保持息屏阈值”,一方面第三目标线程通知电源服务超时亮屏,也即控制所述屏幕进入亮屏状态;另一方面,第三目标线程通知第四目标线程监控服务的结果,用于进行监控服务信息的更新,如底层更新对象识别超时。在一些实施方式中,第四目标线程可用于底层线程日志的维护处理过程,如可基于第四目标线程便于后端进行进程维护。
120.步骤s308:获取针对显示控制所输入的第二操作,通过所述第一目标线程响应于所述第二操作。
121.所述第二操作为在显示控制过程中涉及到对象识别过程中除第一操作之外的人机操作,第一操作可以理解为触发对象识别以点亮屏幕,第二操作可以是针对对象识别的取消对象识别操作、针对对象识别的延迟对象识别操作等等。
122.由于第一目标线程通过触发第二目标线程来调用底层对象识别服务,完成了第一目标线程与底层对象识别服务的解耦,此时若再监测到第二操作输入可通过第一目标线程进行快速响应,而避免由于对象识别未完成造成对象识别的整个链路阻塞,因此可实现对第二操作的快速响应,从而执行第二操作对应的业务,如取消对象识别的业务、延迟对象识别的业务等等。
123.在本技术实施例中,终端可响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;确定所述环境图像对象识别通过,控制屏幕显示处于所述锁屏状态之前的目标界面;在整个显示控制过程中,终端可不直接基于第一操作直接进行显示,而是根据对象识别情况来控制屏幕点亮显示锁屏状态之前的目标界面。优化了显示控制的流程,提升了显示控制的视觉体验效果,另外在解锁之后不需要用户进行任何操作即可实现对锁屏界面的隐藏或关闭从而直接进入到锁屏状态之前的目标界面,提升了显示控制的处理效率,涉及显示控制的界面显示更为简洁;以及在涉及到进行显示控制涉及的对象识别过程中,采用并行执行方式同时调用底层的相机服务和对象识别服务实现对象识别处理的快速进行,节省了处理时间,提升了显示控制的效率;以及采用针对系统服务进程创建目标线程来替代原生逻辑中的服务主线程进行显示控制过程,可避免服务主线程负载导致的阻塞实现了操作快速响应。
124.请参见图6,为本技术实施例提供的一种显示控制系统的架构示意图。如图6所示,所述显示控制系统涉及终端100和用户10;
125.终端100可以是具有显示控制功能的电子设备,该电子设备包括但不限于:可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、智能手机、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中终端设备可以叫做不同的名称,例如:用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant,pda)、5g网络或未来演进网络中的设备等。
126.具体实施中,用户10作为终端100的使用者,终端100处于锁屏状态之下此时终端所包含的屏幕处于息屏状态,当终端100的屏幕在锁屏状态下基于用户10的第一操作意图
再次唤醒时,通常终端100需要对当前环境中用户10的用户身份进行对象识别,且在终端100对象识别通过之后来解除屏幕锁屏状态,从而进入正常使用的状态,这个过程就是解锁,进一步的:终端100可对锁屏界面之外的显示界面进行显示。
127.具体实施中,终端100在响应第一操作过程,终端可以控制屏幕保持息屏状态,在完成对象识别之后再解除息屏状态点亮屏幕。这样可避免在对象识别过程中点亮屏幕展示锁屏界面,进而节省显示控制的时间简化显示控制的显示流程,避免调用终端计算资源进行解锁之前的锁屏界面多余显示处理流程。
128.以下,将结合图7,图7是本技术涉及的一种显示控制的信号处理示意图,通过执行本技术的其他显示控制实施例的方法来实现对显示控制的快速响应,从而提高显示控制效率。
129.在图7所示的显示控制场景中,终端100至少涉及到电源(服务)、锁屏(服务)、系统服务、(底层)对象识别服务、相机服务等服务(进程),另外系统服务(进程)至少包括服务主线程(图7中未示出)、第一目标线程、第二目标线程、第三目标线程以及第四目标线程。
130.当用户10采用诸如按压电源键、抬起亮屏、触控亮屏等形式输入针对终端100的第一操作之后,终端100可基于预先创建的各目标线程来响应第一操作。具体实施中,监测到第一操作后,第一操作对应的事件通过input子系统传给电源服务;电源服务再把事件通知锁屏服务以快速通知操作事件发生;锁屏服务请求系统服务进程中进行对象识别。进一步的,终端100的系统服务进程中的第一目标线程控制屏幕保持息屏状态,具体实施中,第一目标线程创建用于保持屏幕息屏状态的客户端,然后基于(客户端)去控制屏幕保持息屏状态而不立即点亮屏幕;客户端可用于保持屏幕处于息屏状态,本技术中通过在需要保持屏幕处于息屏状态时注册客户端,在完成整个对象识别过程中,在关闭客户端,由于用于保持息屏的客户端关闭,后续执行正常屏幕点亮流程即可,在本技术中,基于创建和关闭客户端来实现维持屏幕处于息屏状态和解除息屏状态,从而替代相关技术中,由于存在第一操作输入,终端通常必须进行针对屏幕的状态响应,本技术中客户端即起到替代屏幕的状态响应的作用,从而避免采用阻塞亮屏的手段控制屏幕不点亮,避免终端关于屏幕的显示控制的执行逻辑混乱造成的崩溃问题。在一些实施方式中,客户端可理解为替代实体屏幕的虚拟软体对象,也就是说在整个显示控制阶段,若终端存在任一针对实体屏幕的指令交互过程,终端均转移至虚拟软体对象

客户端上进行。从而实现了从底层实体屏幕触发逻辑的正向优化,避免诸如阻塞实体对象的指令执行这一类触发所造成的执行逻辑混乱。
131.保持息屏可以让用户解锁成功时有更好的体验,由于正确对象识别速度没有亮屏的快,大概率会出现先亮屏看见锁屏再解锁的现象,有时候甚至会出现亮屏后瞬间解锁成功而造成的闪屏现象,视觉体验极差,因此需要避免此现象的发生。
132.进一步的,第一目标线程控制屏幕保持息屏状态,然后通过第一目标线程触发第二目标线程调用相机服务获取当前的环境图像;以及同时通过第一目标线程触发对象识别服务对所述环境图像进行对象识别处理,这样以第二目标线程作为第一目标线程的辅助,从而可以在对象识别处理过程中,实现终端并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理。
133.具体而言:
134.通过第一目标线程触发第二目标线程调用相机服务获取当前的环境图像。如第一
目标线程向第二目标线程发送打开相机的消息,则第二目标线程可调用底层相机服务(进程)来获取当前的环境图像。具体而言,第二目标线程可调用底层相机服务(进程)来通知其开启相机进行图像采集预览,底层相机服务(进程)进行响应来获取当前的环境图像(也即相机出帧)之后,将环境图像回传至第二目标线程;
135.在第二目标线程调用底层相机服务(进程)时,第一目标线程可并行执行触发对象识别服务进行对象识别的准备流程,这样对象识别服务和底层相机服务同时进行处理,在前述“底层相机服务(进程)进行响应来获取当前的环境图像(也即相机出帧)之后,将环境图像回传至第二目标线程”之后,由于对象识别服务进程已经完成诸如初始化等识别准备过程,此时第二目标线程可无缝衔接将环境图像直接传输至对象识别服务进程进行对象识别处理。对象识别服务(进程)部署有对环境图像进行识别的对象识别算法,对象识别服务通过对象识别算法来对环境图像进行识别,其中具体识别过程可参考本技术其他实施例的释义,与其他实施例的对象识别过程为同一发明构思。
136.进一步的,对象识别服务(进程)在完成对环境图像的对象识别之后,会反馈对象识别结果至第一目标线程,在对环境图像的完成识别后,通过第一目标线程向锁屏应用发送对象识别结果,从而进行锁屏应用解锁;以及,在第一目标线程完成发送对象识别结果之后,第一目标线程关闭保持息屏的客户端,通常客户端关闭和锁屏应用解锁通常同步完成;
137.进一步的,第一目标线程“请求电源服务点亮屏幕,此时屏幕可显示处于所述锁屏状态之前的目标界面”,同时,可触发第二目标线程关闭底层的相机服务。此时底层相机服务(进程)进行相机组件的关闭,进一步关闭完成之后向第二目标线程反馈完成关闭相机的消息。
138.需要说明的是,此时第一目标线程“请求电源服务点亮屏幕”和“关闭相机服务等底层服务”的步骤执行顺序可以不分先后,具体基于实际应用环境确定,在此不做具体限定。
139.进一步的,第一目标线程向电源服务请求点亮屏幕,此时屏幕可显示处于所述锁屏状态之前的目标界面。
140.在一种可行的实施方式中,在对象识别过程中,终端100还基于系统服务进程中的第三目标线程进行监测容灾。该过程如图7所示,第一目标线程在保持息屏之后,向第三目标线程加入用于监控的保持息屏阈值,用于监测容灾,如在超时的情况下点亮屏幕,又如在监测到底层相机服务或对象识别服务故障时进行容灾。在监测到诸如对象识别超时时可进行处理容灾,解除保持息屏状态控制屏幕进入亮屏状态,也即点亮屏幕。在一些实施方式中,还可以包括第四目标线程进行回传,第四目标线程用于接收第三目标线程的监控结果,也即第三目标线程在监测到“对象识别时长大于或等于保持息屏阈值”或“息屏保持时长大于或等于保持息屏阈值”,一方面第三目标线程通知电源服务超时亮屏,也即控制所述屏幕进入亮屏状态;另一方面,第三目标线程通知第四目标线程监控服务的结果,用于进行监控服务信息的更新,如底层更新对象识别超时。
141.另外,上述实施例提供的显示控制系统实施例与一些实施例中的所述显示控制方法属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
142.在本技术实施例中,终端可响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;确定所述环境图像对象识别通
过,控制屏幕显示处于所述锁屏状态之前的目标界面;在整个显示控制过程中,终端可不直接基于第一操作直接进行显示,而是根据对象识别情况来控制屏幕点亮显示锁屏状态之前的目标界面。优化了显示控制的流程,提升了显示控制的视觉体验效果,另外在解锁之后不需要用户进行任何操作即可实现对锁屏界面的隐藏或关闭从而直接进入到锁屏状态之前的目标界面,提升了显示控制的处理效率,涉及显示控制的界面显示更为简洁;以及在涉及到进行显示控制涉及的对象识别过程中,采用并行执行方式同时调用底层的相机服务和对象识别服务实现对象识别处理的快速进行,节省了处理时间,提升了显示控制的效率。
143.下述为本技术装置实施例,可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节,请参照本技术方法实施例。
144.请参见图8,其示出了本技术一个示例性实施例提供的显示控制装置的结构示意图。该显示控制装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括操作响应模块11、界面显示模块12。
145.操作响应模块11,用于响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;
146.界面显示模块12,用于确定所述环境图像对象识别通过,唤醒屏幕并控制所述屏幕显示处于所述锁屏状态之前的目标界面。
147.可选的,所述操作响应模块11,具体用于:
148.响应于锁屏状态下所输入的第一操作,基于至少一个目标线程并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理。
149.可选的,如图9所示,所述装置1,还包括:
150.线程创建模块13,用于创建针对系统服务进程的至少一个目标线程,所述至少一个目标线程为所述系统服务进程的服务主线程之外的线程;
151.可选的,所述操作响应模块11,具体用于:
152.通过第一目标线程触发第二目标线程调用相机服务,同时通过第一目标线程并行调用对象识别服务进行对象识别准备流程,所述相机服务用于获取当前的环境图像;以及,
153.在完成所述对象识别准备流程之后,基于所述对象识别服务对所述相机服务获取的所述环境图像进行对象识别处理。
154.可选的,所述操作装置1,具体用于:
155.确定所述环境图像完成识别,基于所述第一目标线程和/或所述第二目标线程关闭所述相机服务以及所述对象识别服务。
156.可选的,所述操作响应模块11,具体用于:
157.响应于锁屏状态下所输入的第一操作,控制屏幕保持息屏状态以及并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理。
158.可选的,所述装置1,具体用于:
159.通过第一目标线程控制屏幕保持息屏状态,所述第一目标线程为系统服务进程的服务主线程之外的线程;
160.可选的,所述装置1,具体用于:
161.通过所述第一目标线程控制所述屏幕解除所述息屏状态,以控制所述屏幕进入亮屏状态。
162.可选的,所述装置1,具体用于:
163.在对环境图像的对象识别过程中,针对所述对象识别过程进行监测容灾。
164.可选的,所述装置1,具体用于:
165.通过系统服务进程中的第三目标线程针对所述对象识别过程进行监测容灾,所述第三目标线程为所述系统服务进程的服务主线程之外的线程。
166.可选的,所述装置1,具体用于:
167.基于保持息屏阈值控制所述屏幕进入亮屏状态;和/或,
168.确定相机服务和/或对象识别服务响应服务故障,关闭所述相机服务和/或所述对象识别服务。
169.需要说明的是,上述实施例提供的显示控制装置在执行显示控制方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的显示控制装置与显示控制方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
170.上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
171.在本技术实施例中,终端可响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;确定所述环境图像对象识别通过,控制屏幕显示处于所述锁屏状态之前的目标界面;在整个显示控制过程中,终端可不直接基于第一操作直接进行显示,而是根据对象识别情况来控制屏幕点亮显示锁屏状态之前的目标界面。优化了显示控制的流程,提升了显示控制的视觉体验效果,另外在解锁之后不需要用户进行任何操作即可实现对锁屏界面的隐藏或关闭从而直接进入到锁屏状态之前的目标界面,提升了显示控制的处理效率,涉及显示控制的界面显示更为简洁;以及在涉及到进行显示控制涉及的对象识别过程中,采用并行执行方式同时调用底层的相机服务和对象识别服务实现对象识别处理的快速进行,节省了处理时间,提升了显示控制的效率;以及采用针对系统服务进程创建目标线程来替代原生逻辑中的服务主线程进行显示控制过程,可避免服务主线程负载导致的阻塞实现了操作快速响应
172.本技术实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1

图7所示实施例的所述显示控制方法,具体执行过程可以参见图1

图7所示实施例的具体说明,在此不进行赘述。
173.本技术还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行如上述图1

图7所示实施例的所述显示控制方法,具体执行过程可以参见图1

图7所示实施例的具体说明,在此不进行赘述。
174.请参考图10,其示出了本技术一个示例性实施例提供的电子设备的结构方框图。本技术中的电子设备可以包括一个或多个如下部件:处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。
175.处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可
选地,处理器110可以采用数字信号处理(digital signal processing,dsp)、现场可编程门阵列(field-programmable gate array,fpga)、可编程逻辑阵列(programmable logic array,pla)中的至少一种硬件形式来实现。处理器110可集成中央处理器(central processing unit,cpu)、图像处理器(graphics processing unit,gpu)和调制解调器等中的一种或几种的组合。其中,cpu主要处理操作系统、用户界面和应用程序等;gpu用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
176.存储器120可以包括随机存储器(random access memory,ram),也可以包括只读存储器(read

only memory,rom)。可选地,该存储器120包括非瞬时性计算机可读介质(non

transitory computer

readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等,该操作系统可以是安卓(android)系统,包括基于android系统深度开发的系统、苹果公司开发的ios系统,包括基于ios系统深度开发的系统或其它系统。存储数据区还可以存储电子设备在使用中所创建的数据比如电话本、音视频数据、聊天记录数据,等。
177.参见图11所示,存储器120可分为操作系统空间和用户空间,操作系统即运行于操作系统空间,原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果,操作系统针对不同第三方应用程序为其分配相应的系统资源。然而,同一第三方应用程序中不同应用场景对系统资源的需求也存在差异,比如,在本地资源加载场景下,第三方应用程序对磁盘读取速度的要求较高;在动画渲染场景下,第三方应用程序则对gpu性能的要求较高。而操作系统与第三方应用程序之间相互独立,操作系统往往不能及时感知第三方应用程序当前的应用场景,导致操作系统无法根据第三方应用程序的具体应用场景进行针对性的系统资源适配。
178.为了使操作系统能够区分第三方应用程序的具体应用场景,需要打通第三方应用程序与操作系统之间的数据通信,使得操作系统能够随时获取第三方应用程序当前的场景信息,进而基于当前场景进行针对性的系统资源适配。
179.以操作系统为android系统为例,存储器120中存储的程序和数据如图12所示,存储器120中可存储有linux内核层320、系统运行时库层340、应用框架层360和应用层380,其中,linux内核层320、系统运行库层340和应用框架层360属于操作系统空间,应用层380属于用户空间。linux内核层320为电子设备的各种硬件提供了底层的驱动,如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、wi

fi驱动、电源管理等。系统运行库层340通过一些c/c++库来为android系统提供了主要的特性支持。如sqlite库提供了数据库的支持,opengl/es库提供了3d绘图的支持,webkit库提供了浏览器内核的支持等。在系统运行时库层340中还提供有安卓运行时库(android runtime),它主要提供了一些核心库,能够允许开发者使用java语言来编写android应用。应用框架层360提供了构建应用程序时可能用到的各种api,开发者也可以通过使用这些api来构建自己的应用程序,比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序,这些应用程序可以是操作系统自带的原生应用程序,比如联系人程序、短
信程序、时钟程序、相机应用等;也可以是第三方开发者所开发的第三方应用程序,比如游戏类应用程序、即时通信程序、相片美化程序、显示控制程序等。
180.以操作系统为ios系统为例,存储器120中存储的程序和数据如图13所示,ios系统包括:核心操作系统层420(core os layer)、核心服务层440(core services layer)、媒体层460(media layer)、可触摸层480(cocoa touch layer)。核心操作系统层420包括了操作系统内核、驱动程序以及底层程序框架,这些底层程序框架提供更接近硬件的功能,以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的系统服务和/或程序框架,比如基础(foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口,如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(airplay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架,可触摸层480负责用户在电子设备上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(user interface,ui)框架、用户界面uikit框架、地图框架等等。
181.在图13所示出的框架中,与大部分应用程序有关的框架包括但不限于:核心服务层440中的基础框架和可触摸层480中的uikit框架。基础框架提供许多基本的对象类和数据类型,为所有应用程序提供最基本的系统服务,和ui无关。而uikit框架提供的类是基础的ui类库,用于创建基于触摸的用户界面,ios应用程序可以基于uikit框架来提供ui,所以它提供了应用程序的基础架构,用于构建用户界面,绘图、处理和用户交互事件,响应手势等等。
182.其中,在ios系统中实现第三方应用程序与操作系统数据通信的方式以及原理可参考android系统,本技术在此不再赘述。
183.其中,输入装置130用于接收输入的指令或数据,输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据,输出装置140包括但不限于显示设备和扬声器等。在一个示例中,输入装置130和输出装置140可以合设,输入装置130和输出装置140为触摸显示屏,该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作,以及显示各个应用程序的用户界面。触摸显示屏通常设置在电子设备的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合,本技术实施例对此不加以限定。
184.除此之外,本领域技术人员可以理解,上述附图所示出的电子设备的结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(wireless fidelity,wifi)模块、电源、蓝牙模块等部件,在此不再赘述。
185.在本技术实施例中,各步骤的执行主体可以是上文介绍的电子设备。可选地,各步骤的执行主体为电子设备的操作系统。操作系统可以是安卓系统,也可以是ios系统,或者其它操作系统,本技术实施例对此不作限定。
186.本技术实施例的电子设备,其上还可以安装有显示设备,显示设备可以是各种能实现显示功能的设备,例如:阴极射线管显示器(cathode ray tubedisplay,简称cr)、发光
二极管显示器(light

emitting diode display,简称led)、电子墨水屏、液晶显示屏(liquid crystal display,简称lcd)、等离子显示面板(plasma display panel,简称pdp)等。用户可以利用电子设备101上的显示设备,来查看显示的文字、图像、视频等信息。所述电子设备可以是智能手机、平板电脑、游戏设备、ar(augmented reality,增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。
187.在图10所示的电子设备中,其中电子设备可以是一种终端,处理器110可以用于调用存储器120中存储的显示控制应用程序,并具体执行以下操作:
188.响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;
189.确定所述环境图像对象识别通过,唤醒屏幕并控制所述屏幕显示处于所述锁屏状态之前的目标界面。
190.在一个实施例中,所述处理器110在执行所述响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理时,具体执行以下操作:
191.响应于锁屏状态下所输入的第一操作,基于至少一个目标线程并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理。
192.在一个实施例中,所述处理器110在执行所述响应于锁屏状态下所输入的第一操作之前,还执行以下步骤:
193.创建针对系统服务进程的至少一个目标线程,所述至少一个目标线程为所述系统服务进程的服务主线程之外的线程。
194.在一个实施例中,所述处理器110在执行所述基于至少一个目标线程并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理时,具体执行以下步骤:
195.通过第一目标线程触发第二目标线程调用相机服务,同时通过第一目标线程并行调用对象识别服务进行对象识别准备流程,所述相机服务用于获取当前的环境图像;以及,
196.在完成所述对象识别准备流程之后,基于所述对象识别服务对所述相机服务获取的所述环境图像进行对象识别处理。
197.在一个实施例中,所述处理器110在执行所述显示控制方法时,还执行以下步骤:
198.确定所述环境图像完成识别,基于所述第一目标线程和/或所述第二目标线程关闭所述相机服务以及所述对象识别服务。
199.在一个实施例中,所述处理器110在执行所述响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理时,具体执行以下步骤:
200.响应于锁屏状态下所输入的第一操作,控制屏幕保持息屏状态以及并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理。
201.在一个实施例中,所述处理器110在执行所述控制屏幕保持息屏状态时,具体执行以下步骤:
202.通过第一目标线程控制屏幕保持息屏状态,所述第一目标线程为系统服务进程的服务主线程之外的线程;
203.所述唤醒屏幕,包括:
204.通过所述第一目标线程控制所述屏幕解除所述息屏状态,以控制所述屏幕进入亮屏状态。
205.在一个实施例中,所述处理器110在执行所述显示控制方法时,还执行以下步骤:
206.在对环境图像的对象识别过程中,针对所述对象识别过程进行监测容灾。
207.在一个实施例中,所述处理器110在执行所述针对所述对象识别过程进行监测容灾时,具体执行以下步骤:
208.通过系统服务进程中的第三目标线程针对所述对象识别过程进行监测容灾,所述第三目标线程为所述系统服务进程的服务主线程之外的线程。
209.在一个实施例中,所述处理器110在执行所述针对所述对象识别过程进行监测容灾时,具体执行以下步骤:
210.基于保持息屏阈值控制所述屏幕进入亮屏状态;和/或,
211.确定相机服务和/或对象识别服务响应服务故障,关闭所述相机服务和/或所述对象识别服务。
212.获取针对所述环境图像的对象识别时长,若所述对象识别时长大于或等于保持息屏阈值,则控制所述屏幕进入亮屏状态;和/或,
213.获取所述屏幕的息屏保持时长,若所述息屏保持时长大于或等于保持息屏阈值,则控制所述屏幕进入亮屏状态。
214.在本技术实施例中,终端可响应于锁屏状态下所输入的第一操作,并行调用相机服务和对象识别服务对当前的环境图像进行对象识别处理;确定所述环境图像对象识别通过,控制屏幕显示处于所述锁屏状态之前的目标界面;在整个显示控制过程中,终端可不直接基于第一操作直接进行显示,而是根据对象识别情况来控制屏幕点亮显示锁屏状态之前的目标界面。优化了显示控制的流程,提升了显示控制的视觉体验效果,另外在解锁之后不需要用户进行任何操作即可实现对锁屏界面的隐藏或关闭从而直接进入到锁屏状态之前的目标界面,提升了显示控制的处理效率,涉及显示控制的界面显示更为简洁;以及在涉及到进行显示控制涉及的对象识别过程中,采用并行执行方式同时调用底层的相机服务和对象识别服务实现对象识别处理的快速进行,节省了处理时间,提升了显示控制的效率;以及采用针对系统服务进程创建目标线程来替代原生逻辑中的服务主线程进行显示控制过程,可避免服务主线程负载导致的阻塞实现了操作快速响应。
215.本领域的技术人员可以清楚地了解到本技术的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件,其中硬件例如可以是现场可编程门阵列(field-programmable gate array,fpga)、集成电路(integrated circuit,ic)等。
216.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本技术所必须的。
217.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部
分,可以参见其他实施例的相关描述。
218.在本技术所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
219.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
220.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
221.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(read

only memory,rom)、随机存取存储器(random access memory,ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
222.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(read

only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
223.以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1