一种终端使用状态的检测方法和装置与流程

文档序号:11143233阅读:232来源:国知局
一种终端使用状态的检测方法和装置与制造工艺

本发明涉及终端技术领域,尤其涉及一种使用终端的检测方法和装置。



背景技术:

随着终端的普及应用,如手机、笔记本电脑、平板电脑等移动设备在生活中已不可或缺,使用终端设备成为人们的习惯。终端设备给人们带来了极大的方便,同时随着终端功能的完善,人们每天使用终端的时间越来越长。例如,有的用户使用手机看小说或者视频,一般连续使用时间为几十分钟,时间长的能够达到几个小时。

目前,由于长时间使用终端给人们也带来了烦恼。当长时间使用手机时,头部将自然而然地越来越低,越来越靠近手机。长时间颈椎前屈的状态给脊柱造成压迫。数据显示,头部不断向前倾斜对脊柱造成的压迫几乎是呈倍数增加的,头部向前倾斜15度,就会给脊柱增加12.24千克的重量。严重地可能会导致颈椎曲度变直、颈椎间盘突出等病症。这样的伤害难以完全恢复,需要服用药物、物理疗法甚至手术才能缓解或治疗。

现有技术中主要存在以下几个问题:

(一)仅判断手机与桌面夹角,无法准确计算用户颈椎弯曲程度;

(二)当用户处于不良姿势使用终端时,未向用户发出提醒;

(三)无法记录用户长期使用手机习惯,难以向用户发出准确、人性化的提醒。



技术实现要素:

本发明的其中一个目的是提出一种使用终端的检测方法和装置,解决了现有技术存在无法准确判断用户在以不良姿势使用终端时脊柱弯曲角度的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果(当用户一定时长不良使用终端时,向用户发出提醒等)详见下文阐述。

为实现上述目的,本发明提供了以下技术方案:

一种终端使用状态的检测方法,通过获取终端用户与终端相对位置关系,判断终端使用状态,其特征在于,包括步骤:采集终端所处状态信息和终端用户所处状态信息,计算终端用户使用状态参数;判断所述终端用户使用状态参数是否超过阈值;以及若所述终端用户使用状态参数超过阈值,所述终端发出反馈信号;其中,所述终端所处状态信息包含终端所处平面与特征面的夹角,所述终端用户所处状态信息包含终端用户面部所处平面与终端所处平面的夹角;所述终端用户使用状态参数指终端用户与特征面的夹角的余角。

优选地,包括步骤:采集终端所处状态信息和终端用户所处状态信息,计算终端用户使用状态参数;判断所述终端用户使用状态参数是否超过阈值;以及若终端用户使用状态参数超过阈值时,判断所述终端用户以不良姿势使用所述终端,所述终端发出反馈信号;其中,所述终端所处状态信息包含终端所处平面与特征面的夹角t1,所述终端用户所处状态信息包含终端用户面部所处平面与终端所处平面的夹角t2;所述终端用户使用状态参数指终端用户颈椎前倾角度t,其中t=90°-(t1+t2)。

优选地,所述终端预存所述终端用户标准人脸图像信息。

优选地,所述终端预存终端用户标准人脸图像信息后,采集预存终端用户标准人脸图像信息特征点的第一位置参数,包括用户标准人脸图像信息特征点之间的距离。

优选地,所述采集终端用户所处状态信息的方法包括:启用所述终端前置摄像头采集使用中终端用户人脸图像信息,从所述使用中终端用户人脸图像信息中识别所述使用中终端用户面部特征点,采集所述使用中终端用户面部特征点的第二位置参数,根据所述第一位置参数和所述第二位置参数计算所述终端用户使用状态参数。

优选地,所述第二位置参数至少包括:所述使用中终端用户面部特征点与终端显示屏幕特征点之间的水平距离L1、所述使用中终端用户面部特征点与终端显示屏幕特征点之间的垂直距离L2

优选地,其特征在于,所述根据所述第一位置参数和所述第二位置参数计算所述终端用户使用状态参数的方法包括:根据所述使用中终端用户面部特征点在所述终端前置摄像头成像关系及所述第二位置参数获得用户第一面部特征点与所述终端前置摄像头所在直线与所述终端所在平面的夹角t3;获取所述用户第一面部特征点与所述终端前置摄像头距离MO及所述用户第二面部特征点与所述终端前置摄像头距离CO;所述用户第一面部特征点与所述用户第二面部特征点间的距离CM采用所述预存终端用户标准头像图像第一特征点与第二特征点间的距离C‘M‘;其中,所述使用中终端用户面部所处平面与用户第一面部特征点和所述终端前置摄像头所在直线的夹角计算所述使用中终端用户面部所处平面与终端所处平面的夹角t2=t5-t3,所述终端用户使用状态参数t=90°-(t1+t2)=90°-(t1+t5-t3)。

本发明还提供了一种终端使用状态的检测装置,通过获取终端用户与终端相对位置关系,判断终端使用状态,其特征在于,包括:采集模块,用于采集终端所处状态信息和终端用户所处状态信息;检测模块,用于计算终端用户使用状态参数;判断模块,用于判断终端用户是否以不良姿势使用终端;其中,所述判断模块具体用于,判断所述终端用户使用状态参数是否超过预设阈值;所述终端所处状态信息包含终端所处平面与特征面的夹角t1,所述终端用户所处状态信息包含终端用户面部所处平面与终端所处平面的夹角t2;所述终端用户使用状态参数指终端用户颈椎前倾角度t,其中t=90°-(t1+t2)。

优选地,还包括存储模块,用于预存所述终端用户标准人脸图像信息;其中,所述终端用户标准人脸图像信息具体为采集预存用户标准头像图像特征点的第一位置参数,包括用户标准头像特征点之间的距离。

基于上述技术方案,本发明实施例至少可以产生如下技术效果:准确判断用户使用终端时颈椎弯曲向前弯曲程度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1为本发明检测方法第一实施例所提供的一种终端使用状态的检测方法流程图;

图2为本发明检测方法第一实施例所提供的用户人脸图像信息特征点定位示意图;

图3为本发明检测方法第一实施例所提供的终端重力传感器的位置和功能示意图;

图4为本发明检测方法第一实施例所提供的单目机器视觉方法面部位置的获取原理图;

图5为本发明检测方法第二实施例所提供的终端重力传感器的位置和功能示意图;

图6为本发明检测方法第二实施例所提供的单目机器视觉方法面部位置的获取原理图;

图7为本发明检测方法第三实施例所提供的一种终端使用状态的检测装置的结构图。

具体实施方式

下面可以参照附图图1~图7以及文字内容理解本发明的内容以及本发明与现有技术之间的区别点。下文通过附图以及列举本发明的一些可选实施例的方式,对本发明的技术方案(包括优选技术方案)做进一步的详细描述。需要说明的是:本实施例中的任何技术特征、任何技术方案均是多种可选的技术特征或可选的技术方案中的一种或几种,为了描述简洁的需要本文件中无法穷举本发明的所有可替代的技术特征以及可替代的技术方案,也不便于每个技术特征的实施方式均强调其为可选的多种实施方式之一,所以本领域技术人员应该知晓:可以将本发明提供的任一技术手段进行替换或将本发明提供的任意两个或更多个技术手段或技术特征互相进行组合而得到新的技术方案。本实施例内的任何技术特征以及任何技术方案均不限制本发明的保护范围,本发明的保护范围应该包括本领域技术人员不付出创造性劳动所能想到的任何替代技术方案以及本领域技术人员将本发明提供的任意两个或更多个技术手段或技术特征互相进行组合而得到的新的技术方案。

本发明第一实施例提供了一种当用户手持终端时的终端使用状态的检测方法。

下面结合图1至图4对本发明提供的一种终端使用状态的检测方法进行更为详细的阐述,所述终端使用状态的检测方法包括以下步骤:

步骤101,预存用户标准人脸图像信息。

通过终端获取用户在以标准姿势使用终端的标准人脸图像信息,存储在终端存储器内。预存用户标准人脸图像信息功能集成到终端系统设置中,由用户进行设置时,终端引导用户进行拍摄获取。

采集了用户标准人脸图像信息后,获取预存终端用户标准人脸图像信息特征点的第一位置参数,包括用户标准人脸图像信息特征点之间的水平距离。获取所述第一位置参数的方法包括:

首先,用户标准头像特征点定位。例如选取用户的眼睛、嘴巴作为用户标准人脸图像信息特征点。图2为用户人脸图像信息特征点定位示意图。

眼睛定位方法包括:根据五官分布的基本规律进行粗划分。如每张人脸从他的发际到眉毛、眉毛到鼻子底部、鼻子底部到下巴底部的距离均大致为人脸的三分之一。从人脸正面看,人脸的宽度可以近似为五个眼睛的宽度,其中另外三个眼睛宽度为两个眼外角到两耳的宽度,以及两眼之间的宽度。对眼睛区域进行粗划分后需要进行精确定位,如图2中E1和E2。最常使用的是灰度投影法,这种方法是指对脸部灰度图像进行水平和垂直方向的积分投影,分别统计出两个方向上的灰度值和,找出特定的变化点,然后根据统计规律将不同方向上的变化点位置相结合,即得到人眼中心的位置C‘。

嘴部定位方法包括:由于嘴部区域的灰度要低于其周边区域,所以在准确定位面部区域的情况下,可以利用嘴部和周围皮肤灰度分布的特征差别来准确定位嘴部。嘴部定位采用和眼睛定位相同的方法。可获取人脸下三分之一部分为嘴部感兴趣区域,对该区域进行动态阈值分割,然后进行垂直和水平积分投影,即得到嘴部中心位置M‘。

然后,根据定位位置,采用单目检测方法,通过终端的摄像头以及终端中的距离传感器,获得人眼中心位置C‘与嘴部位置M‘距离C‘M‘。

步骤102,检测终端是否处于使用状况以及终端用户是否为预存终端用户标准人脸图像信息的用户。

检测终端显示屏是否处于显示状态以及是否处于基本不动状态。若显示屏关闭或终端处于运动状态,一定时间间隔后重新执行步骤102。若显示屏正常使用并且基本保持不动状态,检测终端用户是否为预存终端用户标准人脸图像信息的用户。若终端用户是预存终端用户标准人脸图像信息的用户,继续执行下述各步骤。若终端用户不是预存终端用户标准人脸图像信息的用户,提示终端用户通过终端系统设置预存终端用户标准人脸图像信息,终端用户按提示存储标准人脸图像信息后,一定时间间隔后重新执行步骤102。

步骤103,检测终端所处状态信息。

终端所处状态信息包括终端所处平面与特征面的夹角t1,通常以水平面作为特征面。当用户手持终端时,t1>0。

调用终端的重力传感器,获得终端所处平面与水平面的夹角t1

如图3是终端重力传感器的位置和功能示意图。终端1的硬件至少包含一个面向用户的显示屏3和一个能检测出终端所处平面与水平面的夹角的重力传感器2。该重力传感器2安装在终端设备上,与显示屏3具有固定的位置关系。通过重力传感器2输出的数据,可以得到终端所处平面与水平面的夹角t1

步骤104,检测终端用户所处状态信息。

终端用户所处状态信息包含终端用户面部所处平面与终端所处平面的夹角t2,还包括用户使用终端时的环境信息,如处于强光或弱光环境,紫外线强度,气温信息,空气质量信息等。

在显示屏3处于显示状态时,每间隔一段时间(如5分钟)开启前置摄像头采集使用中终端用户人脸图像信息,该预设时间间隔由用户设定。

采集使用中终端用户人脸图像信息后,从所述使用中终端用户人脸图像信息中识别使用中终端用户面部特征点,获取使用中终端用户面部特征点的第二位置参数,所述第二位置参数包括使用中终端用户面部特征点与终端显示屏幕特征点之间的水平距离L1、使用中终端用户面部特征点与终端显示屏幕特征点之间的垂直距离L2

根据第一位置参数和第二位置参数计算终端用户使用状态参数,该方法包括:

首先,用户头像特征点定位。例如选取用户的眼睛、嘴巴作为用户头像特征点。特征点定位方法与获取用户标准人脸图像信息特征点的第一位置参数中的特征点定位方法相同。

然后,根据定位位置,获取特征点的第二位置参数。

图4是单目机器视觉方法面部位置的获取原理图。采用所述单目检测方法,存在一个摄像头,取嘴部位置M、人眼中心的位置C分别作为用户第一面部特征点、用户第二面部特征点,O点为终端前面板上的前置摄像头中心点位置。AB所在平面为前置摄像头传感器所在的平面,A、B两点分别是M、C`在图像传感器上的像。由于图像传感器与镜头的几何关系固定,因此可以由A、B在传感器上的位置及第一位置参数计算出角度t3,即MA与AB的夹角。通过单目机器视觉的方法,如几何相似法、几何光学法,可以得到CO、MO的长度。而CM可采用预存用户标准头像C‘M‘值,这样又可以用余弦定理计算出角度t5,计算公式为

。通过简单的平面几何推导可以得到t2=t5-t3,即使用中终端用户面部所处平面与终端所处平面的夹角。

最后,计算终端用户使用状态参数,即

t=90°-(t1+t2)=90°-(t1+t5-t3),

t可作为使用中终端用户颈椎前倾角度。

为使用户有更好的体验,终端还检测终端用户使用终端时的亮度信息和/或紫外线信息和/或气温信息和/或空气质量信息。亮度信息通过光线感应器传感器检测环境光度值并计算使用过程中终端用户头像图像灰度值采集。紫外线信息、气温信息、空气质量信息通过联网检测采集。

步骤105,判断用户是否以不良姿势使用终端。

一般情况下,脊椎有大约5°的弯曲角度。因此,可设置当使用中终端用户颈椎前倾角度大于5°时判断用户以不良姿势使用终端。

当终端判断用户以不良姿势使用终端时,记录不良姿势的持续时间。不良姿势的持续时间超出预定时间时,显示提示信息。

优选地,当亮度信息、紫外线信息、气温信息、空气质量信息其一超过预设阈值时,显示提示信息。如用户在强光下使用手机时间超过10分钟时,提示“您在强光下使用手机已超过10分钟,不利于您的用眼健康,建议稍作休息或在正常光线强度下使用手机”。

终端还可以记录终端用户使用终端的信息,如用户以不良姿势使用终端的持续时间、用户每两次以不良姿势使用终端的间隔时间、用户颈椎前倾角度、用户使用终端时的环境信息,至少一项终端用户使用终端信息超过阈值时,显示提示信息。另,终端依据终端用户使用终端的信息进行统计,通过统计结果提供用户健康使用手机的建议。例如,用户一天内以不良姿势使用手机的时间总长度超过1小时时,屏幕显示“您今天以不良姿势使用手机的时间已超1小时,给您的脊椎健康带来了严重伤害,建议调整使用方式”。

本发明第二实施例提供了一种当用户将终端置于桌面时的终端使用状态的检测方法。

下面结合图1、图5、图6对本发明提供的一种终端使用状态的检测方法进行更为详细的阐述,所述终端使用状态的检测方法包括以下步骤:

步骤101,预存用户标准人脸图像信息。

通过终端获取用户在以标准姿势使用终端的标准人脸图像信息,存储在终端存储器内。预存用户标准人脸图像信息功能集成到终端系统设置中,由用户进行设置时,终端引导用户进行拍摄获取。

采集了用户标准人脸图像信息后,获取预存终端用户标准人脸图像信息特征点的第一位置参数,包括用户标准人脸图像信息特征点之间的水平距离。获取第一位置参数的方法与第一实施例中获取第一位置参数的方法相同。

步骤102,检测终端是否处于使用状况以及终端用户是否为预存终端用户标准头像的用户。

检测终端显示屏是否处于显示状态以及是否处于基本不动状态。若显示屏关闭或终端处于运动状态,一定时间间隔后重新执行步骤102。若显示屏正常使用并且基本保持不动状态,检测终端用户是否为预存终端用户标准人脸图像信息的用户。若终端用户是预存终端用户标准人脸图像信息的用户,继续执行下述各步骤。若终端用户不是预存终端用户标准人脸图像信息的用户,提示终端用户通过终端系统设置预存终端用户标准人脸图像信息,终端用户按提示存储标准人脸图像信息后,一定时间间隔后重新执行步骤102。

步骤103,检测终端所处状态信息。

终端所处状态信息包括终端所处平面与特征面的夹角t1,通常以水平面作为特征面。当用户将终端置于桌面时,t1=0。

调用终端的重力传感器,获得终端所处平面与水平面的夹角t1

如图5是终端重力传感器的位置和功能示意图。终端1的硬件至少包含一个面向用户的显示屏3和一个能检测出终端所处平面与水平面的夹角的重力传感器2。该重力传感器2安装在终端设备上,与显示屏3具有固定的位置关系。通过重力传感器2输出的数据,可以得到终端所处平面与水平面的夹角可得出t1=0。

步骤104,检测终端用户所处状态信息。

终端用户所处状态信息包含终端用户面部所处平面与终端所处平面的夹角t2,还包括用户使用终端时的环境信息,如是否处于强光环境、弱光环境,紫外线强度,气温信息,空气质量信息等。

在显示屏3处于显示状态时,每间隔一段时间(如5分钟)开启前置摄像头,该预设时间间隔由用户设定。

采集使用中终端用户人脸图像信息后,从所述使用中终端用户人脸图像信息中识别使用中终端用户面部特征点,获取使用中终端用户面部特征点的第二位置参数,所述第二位置参数包括使用中终端用户面部特征点与终端显示屏幕特征点之间的水平距离L1‘、使用中终端用户面部特征点与终端显示屏幕特征点之间的垂直距离L2‘。

根据第一位置参数和第二位置参数计算终端用户使用状态参数,该方法包括:

首先,用户头像特征点定位。例如选取用户的眼睛、嘴巴作为用户头像特征点。特征点定位方法与获取用户标准人脸图像信息特征点的第一位置参数中的特征点定位方法相同。然后,根据定位位置,获取特征点的第二位置参数。

图6是单目机器视觉方法面部位置的获取原理图。采用所述单目检测方法,存在一个摄像头,取嘴部位置M、人眼中心的位置C作为用户第一面部特征点、用户第二面部特征点,O点为终端前面板上的前置摄像头中心点位置。A‘B‘所在平面为前置摄像头传感器所在的平面,A‘、B‘两点分别是M、C在图像传感器上的像。由于图像传感器与镜头的几何关系固定,因此可以由A‘、B‘在传感器上的位置及第一位置参数计算出角度t3‘,即MA‘与A‘B‘的夹角。通过单目机器视觉的方法,如几何相似法、几何光学法,可以得到CO、MO的长度。而CM可采用预存用户标准头像C‘M‘值,这样又可以用余弦定理计算出角度t5‘,计算公式为

通过简单的平面几何推导可以得到t2‘=t5‘-t3‘,即使用中终端用户面部所处平面与终端所处平面的夹角。

最后,计算终端用户使用状态参数,由于终端置于桌面,则t‘=90°-t2‘=90°-(t5‘-t3‘),

t可作为使用中终端用户颈椎前倾角度。

为使用户有更好的体验,终端还检测终端用户使用终端时的亮度信息和/或紫外线信息和/或气温信息和/或空气质量信息。亮度信息通过光线感应器传感器检测环境光度值并计算使用过程中终端用户头像图像灰度值采集。紫外线信息、气温信息、空气质量信息通过联网检测采集。步骤105,判断用户是否以不良姿势使用终端。

一般情况下,脊椎有大约5°的弯曲角度。因此,可设置当使用中用户颈椎前倾角度大于5°时判断用户以不良姿势使用终端。

当终端判断用户以不良姿势使用终端时,记录不良姿势的持续时间。不良姿势的持续时间超出预定时间时,显示提示信息。

优选地,当亮度信息、紫外线信息、气温信息、空气质量信息其一超过预设阈值时,显示提示信息。如用户在强光下使用手机时间超过10分钟时,提示“您在强光下使用手机已超过10分钟,不利于您的用眼健康,建议稍作休息或在正常光线强度下使用手机”。

终端还可以记录终端用户使用终端的信息,如用户以不良姿势使用终端的持续时间、用户每两次以不良姿势使用终端的间隔时间、用户颈椎前倾角度、用户使用终端时的环境信息,至少一项终端用户使用终端信息超过阈值时,显示提示信息。另,终端依据终端用户使用终端的信息进行统计,通过统计结果提供用户健康使用手机的建议。例如,用户一天内以不良姿势使用手机的时间总长度超过1小时时,屏幕显示“您今天以不良姿势使用手机的时间已超1小时,给您的脊椎健康带来了严重伤害,建议调整使用方式”。

本发明第三实施例提供了一种终端使用状态的检测装置。

下面结合图7对本发明提供的一种终端使用状态的检测装置进行更为详细的阐述。所述检测装置a00包括采集模块a10、检测模块a20、判断模块a30。

采集模块a10,用于采集终端所处状态信息和用户所处状态信息;检测模块a20,用于计算用户使用状态参数;判断模块a30,用于判断用户是否以不良姿势使用终端。

所述判断模块a30具体用于判断所述终端用户使用状态参数是否超过预设阈值;

所述终端所处状态信息包含终端所处平面与特征面的夹角t1,所述终端用户所处状态信息包含终端用户面部所处平面与终端所处平面的夹角t2

所述终端用户使用状态参数指终端用户颈椎前倾角度t,其中t=90°-(t1+t2)。

检测装置a00还包括存储模块a40,用于预存所述终端用户标准人脸图像信息,预存用户标准头像图像功能集成到终端系统设置中,由用户进行设置时,终端引导用户进行拍摄获取;其中,所述终端用户标准人脸图像信息具体为采集预存用户标准头像图像特征点的第一位置参数,包括用户标准头像特征点之间的距离。

采集了用户标准头像图像后,通过采集模块a10获取用户标准人脸图像信息特征点的第一位置参数,包括用户标准头像特征点之间的距离。第一用户标准头像特征点的第一位置参数保存与存储模块a40中。获取第一位置参数的方法包括:

首先,用户标准头像特征点定位。例如选取用户的眼睛、嘴巴作为用户标准人脸图像信息特征点。图2为用户人脸图像信息特征点定位示意图。

眼睛定位方法包括:根据五官分布的基本规律进行粗划分。如每张人脸从他的发际到眉毛、眉毛到鼻子底部、鼻子底部到下巴底部的距离均大致为人脸的三分之一。从人脸正面看,人脸的宽度可以近似为五个眼睛的宽度,其中另外三个眼睛宽度为两个眼外角到两耳的宽度,以及两眼之间的宽度。对眼睛区域进行粗划分后需要进行精确定位,如图2中E1和E2。最常使用的是灰度投影法,这种方法是指对脸部灰度图像进行水平和垂直方向的积分投影,分别统计出两个方向上的灰度值和,找出特定的变化点,然后根据统计规律将不同方向上的变化点位置相结合,即得到人眼中心的位置C‘。

嘴部定位方法包括:由于嘴部区域的灰度要低于其周边区域,所以在准确定位面部区域的情况下,可以利用嘴部和周围皮肤灰度分布的特征差别来准确定位嘴部。嘴部定位采用和眼睛定位相同的方法。可获取人脸下三分之一部分为嘴部感兴趣区域,对该区域进行动态阈值分割,然后进行垂直和水平积分投影,即得到嘴部中心位置M‘。

然后,根据定位位置,采用单目检测方法,通过终端的摄像头以及终端中的距离传感器,获得人眼中心位置C‘与嘴部位置M‘距离C‘M‘。

检测模块a20还用于在采集模块a10采集终端所处状态信息和用户所处状态信息前检测终端是否处于使用状况和终端所处状态信息,以及终端用户是否为预存终端用户标准头像的用户。若检测到终端用户不是预存终端用户标准人脸图像信息的用户时,提示终端用户通过终端系统设置预设终端用户标准人脸图像。

调用检测模块a20的重力传感器,获得终端所处平面与水平面的夹角t1

如图3是终端重力传感器的位置和功能示意图。终端1的硬件至少包含一个面向用户的显示屏3和一个能检测出终端所处平面与水平面的夹角的重力传感器2。该重力传感器2安装在终端设备上,与显示屏3具有固定的位置关系。通过重力传感器2输出的数据,可以得到终端所处平面与水平面的夹角t1

检测模块a20还用于检测用户所处状态信息。

用户所处状态信息包含用户面部所处平面与终端所处平面的夹角t2,还包括用户使用终端时的环境信息,如处于强光或弱光环境,紫外线强度,气温情况,空气质量等。

在显示屏3处于显示状态时,每间隔一段时间(如5分钟)开启前置摄像头采集使用中终端用户人脸图像信息,该预设时间间隔由用户设定。

采集模块a10采集使用中终端用户人脸图像信息后,从所述使用中终端用户人脸图像信息中识别使用中终端用户面部特征点,获取使用中终端用户面部特征点的第二位置参数,所述第二位置参数包括使用中终端用户面部特征点与终端显示屏幕特征点之间的水平距离L1、使用中终端用户面部特征点与终端显示屏幕特征点之间的垂直距离L2

根据第一位置参数和第二位置参数计算终端用户使用状态参数,该方法包括:

首先,用户头像特征点定位。例如选取用户的眼睛、嘴巴作为用户头像特征点。特征点定位方法与获取用户标准人脸图像信息特征点的第一位置参数中的特征点定位方法相同。

然后,根据定位位置,获取特征点的第二位置参数。

图4是单目机器视觉方法面部位置的获取原理图。采用所述单目检测方法,存在一个摄像头,取嘴部位置M、人眼中心的位置C分别作为用户第一面部特征点、用户第二面部特征点,O点为终端前面板上的前置摄像头中心点位置。AB所在平面为前置摄像头传感器所在的平面,A、B两点分别是M、C`在图像传感器上的像。由于图像传感器与镜头的几何关系固定,因此可以由A、B在传感器上的位置及第一位置参数计算出角度t3,即MA与AB的夹角。通过单目机器视觉的方法,如几何相似法、几何光学法,可以得到CO、MO的长度。而CM可采用预存用户标准头像C‘M‘值,这样又可以用余弦定理计算出角度t5,计算公式为

。通过简单的平面几何推导可以得到t2=t5-t3,即使用中终端用户面部所处平面与终端所处平面的夹角。

最后,计算终端用户使用状态参数,即

t=90°-(t1+t2)=90°-(t1+t5-t3),

t可作为使用中终端用户颈椎前倾角度。

判断模块a30用于判断用户是否以不良姿势使用终端。

一般情况下,脊椎大约呈5°的弯曲角度。因此,可设置当用户颈椎前倾角度大于5°时判断用户以不良姿势使用终端。

当终端判断用户以不良姿势使用终端时,记录不良姿势的持续时间并通过存储模块a40进行存储。不良姿势的持续时间超出预定时间时,显示提示信息。

此外,终端还可以将用户使用终端信息记录于存储模块a40,如用户以不良姿势使用终端的持续时间、用户每两次以不良姿势使用终端的间隔时间、用户颈椎前倾角度、用户使用终端时的环境信息,根据这些信息进行统计,通过统计结果提供用户健康使用手机的建议。例如,用户一天内以不良姿势使用手机的时间总长度超过1小时时,屏幕显示“您今天以不良姿势使用手机的时间已超1小时,给您的脊椎健康带来了严重伤害,建议调整使用方式”。

本发明实施例还提供了A1.一种终端使用状态的检测方法,通过获取终端用户与终端相对位置关系,判断终端使用状态,其特征在于,包括步骤:

采集终端所处状态信息和终端用户所处状态信息,计算终端用户使用状态参数;

判断所述终端用户使用状态参数是否超过阈值;以及

若所述终端用户使用状态参数超过阈值,所述终端发出反馈信号;

其中,所述终端所处状态信息包含终端所处平面与特征面的夹角,所述终端用户所处状态信息包含终端用户面部所处平面与终端所处平面的夹角;

所述终端用户使用状态参数指终端用户与特征面的夹角的余角。

A2.如A1所述的方法,其特征在于,包括步骤:

采集终端所处状态信息和终端用户所处状态信息,计算终端用户使用状态参数;

判断所述终端用户使用状态参数是否超过阈值;以及

若终端用户使用状态参数超过阈值时,判断所述终端用户以不良姿势使用所述终端,所述终端发出反馈信号;

其中,所述终端所处状态信息包含终端所处平面与特征面的夹角t1,所述终端用户所处状态信息包含终端用户面部所处平面与终端所处平面的夹角t2

所述终端用户使用状态参数指终端用户颈椎前倾角度t,其中t=90°-(t1+t2)。

A3.如A1所述的方法,其特征在于,所述终端预存所述终端用户标准人脸图像信息。

A4.如A3所述的方法,其特征在于,所述终端预存终端用户标准人脸图像信息后,采集预存终端用户标准人脸图像信息特征点的第一位置参数,包括用户标准人脸图像信息特征点之间的距离。

A5.如A1所述的方法,其特征在于,执行“采集终端所处状态信息和终端用户所处状态信息,计算终端用户使用状态参数”前,检测终端显示屏是否处于显示状态以及是否处于基本不动状态。

A6.如A1所述的方法,其特征在于,执行“采集终端所处状态信息和终端用户所处状态信息,计算终端用户使用状态参数”前,检测终端用户是否为预存终端用户标准头像的用户。

A7.如A6所述的方法,其特征在于,若所述终端用户不是所述预存终端用户标准人脸图像信息的用户时,提示所述终端用户通过终端系统设置预存终端用户标准图像。

A8.如A1所述的方法,其特征在于,所述采集终端用户所处状态信息的方法包括:启用所述终端前置摄像头采集使用中终端用户人脸图像信息,从所述使用中终端用户人脸图像信息中识别所述使用中终端用户面部特征点,采集所述使用中终端用户面部特征点的第二位置参数,根据所述第一位置参数和所述第二位置参数计算所述终端用户使用状态参数。

A9.如A8所述的方法,其特征在于,所述第二位置参数至少包括:所述使用中终端用户面部特征点与终端显示屏幕特征点之间的水平距离L1、所述使用中终端用户面部特征点与终端显示屏幕特征点之间的垂直距离L2

A10.如A8或A9所述的方法,其特征在于,所述根据所述第一位置参数和所述第二位置参数计算所述终端用户使用状态参数的方法包括:

根据所述使用中终端用户面部特征点在所述终端前置摄像头成像关系及所述第二位置参数获得用户第一面部特征点与所述终端前置摄像头所在直线与所述终端所在平面的夹角t3

获取所述用户第一面部特征点与所述终端前置摄像头距离MO及所述用户第二面部特征点与所述终端前置摄像头距离CO;

所述用户第一面部特征点与所述用户第二面部特征点间的距离CM采用所述预存终端用户标准头像图像第一特征点与第二特征点间的距离C‘M‘;

其中,所述使用中终端用户面部所处平面与用户第一面部特征点和所述终端前置摄像头所在直线的夹角

计算所述使用中终端用户面部所处平面与终端所处平面的夹角t2=t5-t3,所述终端用户使用状态参数t=90°-(t1+t2)=90°-(t1+t5-t3)。

A11.如A8所述的方法,其特征在于,所述启用所述终端的前置摄像头采集使用中终端用户人脸图像信息间隔预设的时间间隔。

A12.如A1所述的方法,其特征在于,所述终端用户所处状态信息还包括所述终端用户使用终端时的环境信息,至少包括亮度信息,紫外线信息,气温信息,空气质量信息。

A13.如A12所述的方法,其特征在于,所述亮度信息采集方法包括:光线感应器传感器检测环境光度值并计算使用过程中终端用户头像图像灰度值。

A14.如A12所述的方法,其特征在于,所述紫外线信息、气温信息、空气质量信息采集方法包括:联网检测获取。

A15.如A2所述的方法,其特征在于,所述判断用户以不良姿势使用终端时,记录所述终端用户使用终端信息。

A16.如A15所述的方法,其特征在于,所述终端用户使用终端信息至少包括:用户以不良姿势使用终端的持续时间,用户每两次以不良姿势使用终端的间隔时间,用户颈椎前倾角度,用户使用终端时的环境信息。

A17.如A15所述的方法,其特征在于,至少一项所述终端用户使用终端信息超出阈值时,显示提示信息。

A18.如A17所述的方法,其特征在于,所述提示信息依据记录用户使用终端信息,统计向用户提出健康使用终端建议。

本发明还提供了:B19.一种终端使用状态的检测装置,通过获取终端用户与终端相对位置关系,判断终端使用状态,其特征在于,包括:

采集模块,用于采集终端所处状态信息和终端用户所处状态信息;

检测模块,用于计算终端用户使用状态参数;

判断模块,用于判断终端用户是否以不良姿势使用终端;

其中,所述判断模块具体用于,判断所述终端用户使用状态参数是否超过预设阈值;

所述终端所处状态信息包含终端所处平面与特征面的夹角t1,所述终端用户所处状态信息包含终端用户面部所处平面与终端所处平面的夹角t2

所述终端用户使用状态参数指终端用户颈椎前倾角度t,其中t=90°-(t1+t2)。

B20.如B19所述的检测装置,其特征在于,还包括存储模块,用于预存所述终端用户标准人脸图像信息;

其中,所述终端用户标准人脸图像信息具体为采集预存用户标准头像图像特征点的第一位置参数,包括用户标准头像特征点之间的距离。

B21.如B19所述的检测装置,其特征在于,所述检测模块还用于所述采集模块采集终端所处状态信息和终端用户所处状态信息前,检测终端显示屏是否处于显示状态以及是否处于基本不动状态。

B22.如B19所述的检测装置,其特征在于,所述检测模块还用于所述采集模块采集终端所处状态信息和终端用户所处状态信息前,检测终端用户是否为预存终端用户标准头像的用户。

B23.如B22所述的检测装置,其特征在于,若检测终端用户不是所述预存终端用户标准人脸图像信息的用户时,提示所述终端用户通过终端系统设置预设终端用户标准人脸图像。

B24.如B19所述的检测装置,其特征在于,所述采集终端用户所处状态信息的方法包括:启用所述终端前置摄像头采集使用中终端用户人脸图像信息,从所述使用中终端用户人脸图像信息中识别所述使用中终端用户面部特征点,采集所述使用中终端用户面部特征点的第二位置参数,根据所述第一位置参数和所述第二位置参数计算所述终端用户使用状态参数。

B25.如B24所述的检测装置,其特征在于,所述第二位置参数至少包括:所述使用中终端用户面部特征点与终端显示屏幕特征点之间的水平距离L1、所述使用中终端用户面部特征点与终端显示屏幕特征点之间的垂直距离L2

B26.如B24或B25所述的检测装置,其特征在于,所述根据所述第一位置参数和所述第二位置参数计算所述终端用户使用状态参数的方法包括:

根据所述使用中终端用户面部特征点在所述终端前置摄像头成像关系及所述第二位置参数获得第一用户面部特征点与所述终端前置摄像头所在直线与所述终端所在平面的夹角t3

获取所述第一用户面部特征点与所述终端前置摄像头距离MO及所述第二用户面部特征点与所述终端前置摄像头距离CO;

所述第一用户面部特征点与所述第二用户面部特征点间的距离MC采用所述预存终端用户标准头像图像第一特征点与第二特征点间的距离M‘C‘;

其中,所述终端用户面部所处平面与第一用户面部特征点与所述终端前置摄像头所在直线的夹角

计算所述终端用户面部所处平面与终端所处平面的夹角t2=t5-t3,所述终端用户使用状态参数t=90°-(t1+t2)=90°-(t1+t5-t3)。

B27.如B19所述的检测装置,其特征在于,所述采集模块还用于采集所述终端用户使用终端时的环境信息,至少包括亮度信息,紫外线信息,气温信息,空气质量信息。

B28.如B7所述的检测装置,其特征在于,所述亮度信息采集方法包括:光线感应器传感器检测环境光度值并计算使用过程中终端用户头像图像灰度值。

B29.如B27所述的检测装置,其特征在于,所述紫外线信息、气温信息、空气质量信息采集方法包括:联网检测获取。

B30.如B19所述的检测装置,其特征在于,所述存储模块还用于,记录用户以不良姿势使用终端的终端用户使用终端信息。

B31.如B30所述的检测装置,其特征在于,所述终端用户使用终端信息至少包括:用户以不良姿势使用终端的持续时间,用户每两次以不良姿势使用终端的间隔时间,用户颈椎前倾角度,用户使用终端时的环境信息。上述本发明所公开的任一技术方案除另有声明外,如果其公开了数值范围,那么公开的数值范围均为优选的数值范围,任何本领域的技术人员应该理解:优选的数值范围仅仅是诸多可实施的数值中技术效果比较明显或具有代表性的数值。由于数值较多,无法穷举,所以本发明才公开部分数值以举例说明本发明的技术方案,并且,上述列举的数值不应构成对本发明创造保护范围的限制。

最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制;尽管参照较佳实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本发明技术方案的精神,其均应涵盖在本发明请求保护的技术方案范围当中。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1