终端用户安全监护方法及装置与流程
本发明涉及智能终端领域，具体涉及一种终端用户安全监护方法及装置。
背景技术：
随着科技的发展，智能手机等各种智能移动终端已经取代传统pc进入了人们娱乐、生活的方方面面，手机其先天的可移动性这一优势，促使人们更频繁的使用手机，因此也诞生了低头族这个新名词，即在街道上行走时，还是一直低头使用手机，刷微博微信、看视频、看电子书，打游戏等；把注意力完全集中在手机上，无法留意到周围环境的改变，因此可能带来人身安全上的隐患，比如经常就能看到新闻报道边走路边看手机然后掉到坑里，被车撞到等新闻。因此如何对终端用户在不安全的环境下使用终端存在的安全隐患进行及时提醒，以避免出现人身安全事故是目前亟需解决的问题。
技术实现要素：
本发明要解决的主要技术问题是，提供一种终端用户安全监护方法及装置，解决现有终端用户在不安全环境下使用终端忽略环境变化而可能导致人身安全事故发生的问题。
为解决上述技术问题，本发明提供一种终端用户安全监护方法，包括：
根据终端的运动数据判断所述终端是否处于需要进行安全监护的监护运动模式；
如是，判断所述终端前台当前运行的应用是否属于预设的监管型应用；
如是，通过所述终端对终端用户进行安全提醒。
在本发明的一种实施例中，根据终端的运动数据判断终端是否处于监护运 动模式包括：
检测到所述终端亮屏；
通过所述终端的运动数据采集模块按当前的采集频率在采集周期内采集所述终端的运动数据；
根据所述运动数据分析所述终端是否处于所述监护运动模式。
在本发明的一种实施例中，检测到所述终端亮屏后，通过所述终端的运动数据采集模块采集所述运动数据之前，还包括：
判断所述终端亮屏的持续时间是否大于预设的亮屏时间阈值。
在本发明的一种实施例中，根据所述运动数据分析所述终端是否处于所述监护运动模式包括：
根据当前采集周期内的运动数据分析所述终端当前的运动模式是否与所述监护运动模式匹配；
如匹配，判断当前连续判断结果为是的次数n是否大于等于预设次数阈值n，如大于等于，则判定所述终端处于所述监护运动模式；如小于，则继续分析后面采集周期内的运动数据；
如不匹配，按预设频率调整规则降低所述采集频率。
在本发明的一种实施例中，还包括：当检测到所述终端由亮屏变为熄屏时，停止所述运动数据的采集、终端前台应用类型的判断以及对终端用户的安全提醒。
在本发明的一种实施例中，判断所述终端前台当前运行的应用是否属于预设的监管型应用包括：
按预设轮询频率对所述终端前台当前运行的进程进行轮询；
当连续m1次或累计m2次轮询到所述终端前台运行的进程属于所述监管型 应用的进程时，判定所述终端前台当前运行的应用属于预设的监管型应用，所述m2大于等于所述m1。
在本发明的一种实施例中，判断所述终端前台当前运行的应用是否属于预设的监管型应用后，通过所述终端对终端用户进行安全提醒之前，还包括：
通过所述终端的图像采集模块采集终端正面的终端用户图像；
分析所述图像中是否存在人脸，如存在，再通过所述终端对终端用户进行安全提醒。
在本发明的一种实施例中，所述图像中不存在人脸时，继续对所述终端前台当前运行的进程进行轮询，当连续k1次或累计k2次轮询到所述终端前台运行的进程属于所述监管型应用的进程时，直接通过所述终端对终端用户进行安全提醒；所述k1大于所述m1，所述k2大于所述m2，且所述k2大于所述k1。
在本发明的一种实施例中，通过所述终端对终端用户进行安全提醒包括以下方式中的至少一种：
通过所述终端播放提醒语音；
将所述终端显示界面进行遮挡；
在所述终端显示界面上显示提醒悬浮窗口；
暂停或关闭所述终端前台当前运行的应用。
在本发明的一种实施例中，所述监护运动模式为步行模式。
在本发明的一种实施例中，所述监管型应用为社交娱乐类应用。
为了解决上述问题，本发明还提供了一种终端用户安全监护装置，包括：
运动模式判断模块，用于根据终端的运动数据判断所述终端是否处于需要进行安全监护的监护运动模式；
应用类型判断模块，用于在所述判断结果为是时，判断所述终端前台当前 运行的应用是否属于预设的监管型应用；
告警模块，用于在所述应用类型判断模块判断结果为是时，通过所述终端对终端用户进行安全提醒。
在本发明的一种实施例中，所述运动模式判断模块包括：
检测子模块，用于检测到所述终端亮屏；
采集控制子模块，用于控制所述终端的运动数据采集模块按当前的采集频率在采集周期内采集所述终端的运动数据；
运动数据分析子模块，用于根据所述运动数据分析所述终端是否处于所述监护运动模式。
在本发明的一种实施例中，所述应用类型判断模块包括：
轮询子模块，用于按预设轮询频率对所述终端前台当前运行的进程进行轮询；
判断子模块，用于当连续m1次或累计m2次轮询到所述终端前台运行的进程属于所述监管型应用的进程时，判定所述终端前台当前运行的应用属于预设的监管型应用，所述m2大于等于所述m1。
在本发明的一种实施例中，还包括：图像采集控制模块，用于在判断所述终端前台当前运行的应用是否属于预设的监管型应用后，通过所述终端对终端用户进行安全提醒之前，控制所述终端的图像采集模块采集终端正面的终端用户图像；
图像分析模块，用于分析所述图像中是否存在人脸，如存在，再通知所述告警模块对所述终端用户进行安全提醒。
在本发明的一种实施例中，还包括补询模块，用于在所述图像中不存在人脸时，继续对所述终端前台当前运行的进程进行轮询，当连续k1次或累计k2 次轮询到所述终端前台运行的进程属于所述监管型应用的进程时，直接通知所述告警模块对所述终端用户进行安全提醒；所述k1大于所述m1，所述k2大于所述m2，且所述k2大于所述k1。
本发明的有益效果是：
本发明提供的终端用户安全监护方法及装置，在终端使用过程中，可以根据终端的运动数据判断终端是否处于需要进行安全监护的监护运动模式，也即判断用户当前使用终端是否会存在潜在的安全隐患，例如处于步行模式；当判断终端处于监护运动模式时，进一步判断终端前台当前运行的应用是否属于预设的监管型应用(例如游戏、视频、电子书、各种网页、社交软件等)，如果是，则表明终端用户当前可能在将注意力集中在终端上，此时通过终端对终端用户进行安全提醒，以避免终端用户因分散注意力而忽略外部环境变化，进而可能导致人身安全事故发生的问题，维护终端用户的人身安全，提升用户体验的满意度。
附图说明
图1为本发明实施例一提供的终端用户安全监护方法流程示意图；
图2为本发明实施例一提供的判断终端是否处于监护运动模式流程示意图；
图3为本发明实施例一提供的判断前台当前运行的应用是否属于预设的监管型应用流程示意图；
图4为本发明实施例一提供的图像采集分析过程流程示意图；
图5为本发明实施例二提供的终端用户安全监护装置结构示意图一；
图6为本发明实施例二提供的终端用户安全监护装置结构示意图二；
图7为本发明实施例二提供的终端用户安全监护装置结构示意图三；
图8为本发明实施例三提供的运动模式判断模块工作过程示意图；
图9为本发明实施例三提供的应用类型判断模块工作过程示意图；
图10为本发明实施例三提供的监控系统结构示意图。
具体实施方式
本发明在终端使用过程中，可以根据终端的运动数据判断终端是否处于需要进行安全监护的监护运动模式，例如处于步行模式；当判断终端处于监护运动模式时，进一步判断终端前台当前运行的应用是否属于预设的监管型应用(例如游戏、视频等)，如果是，此时通过终端对终端用户进行安全提醒，维护终端用户的人身安全，提升用户体验的满意度。下面通过具体实施方式结合附图对本发明作进一步详细说明。
请参见图1所示，本实施例提供的终端用户安全监护方法包括：
步骤101：根据终端的运动数据判断终端是否处于需要进行安全监护的监护运动模式，如是，转至步骤102；否则，转至步骤105；
步骤102：判断终端前台当前运行的应用是否属于预设的监管型应用，如是，转至步骤103；否则，转至步骤104；
步骤103：通过终端对终端用户进行安全提醒。
步骤104：转至步骤102继续判断终端前台当前运行的应用是否属于预设的监管型应用。
步骤105：转至步骤101继续判断终端是否处于需要进行安全监护的监护运动模式。
应当理解的是，终端一般都是用户随身携带随用户动而动的，因此终端所处的运动模式能够体现终端用户所处的运动模式。而本实施例中的监护运动模式则是可根据实际需求由制造商或终端用户自己灵活设定。本实施例中可以设置该监护运动模式为步行模式。此时则根据终端的运动数据分析终端当前的运 动模式是否与步行模式匹配即可。匹配的方式可以采用任意能实现正确分析匹配的方式。
本实施例中，根据终端的运动数据判断终端是否处于监护运动模式请参见图2所示，包括以下步骤：
步骤201：检测到终端亮屏；因为一般终端处于亮屏状态时才表明终端用户当前的注意力可能集中于终端，这样可以提升控制的准确性；当然，为了避免终端用户点亮终端屏幕后在短时间内就立即关闭的情况，本实施例还可优选在检测到终端亮屏后，判断终端亮屏的持续时间是否大于预设的亮屏时间阈值(例如2秒、3秒等)，只有在判断结果为是时才进行后续的步骤，这样可以进一步提升控制的准确性；将终端用户只是点亮屏幕查看时间等情况排除在外；
步骤202：通过终端的运动数据采集模块按当前的采集频率在采集周期内采集所述终端的运动数据；
步骤203：根据得到的运动数据分析终端是否处于所述监护运动模式。
上述步骤202中所采用的运动数据采集模块可以采用任意能实现终端运动数据采集的功能模块，例如可以采用终端的重力感应传感器实现，也可以采用终端的三轴加速传感器、运动协处理器以及今后可能应用到终端中用于运动数据采集的其他各种传感器；应当理解的是也可以结合上述两个或两个以上的传感器实现运动数据的采集及后续的判断。本实施例后续部分则仅以重力感应传感器为示例进行说明。
另外，为了便于后续准确的统计和区分，本实施例中在每一次采集到的运动数据中都可以增加时间戳。本实施例中采集周期可以通过采集开始命令和采集停止命令进行控制。
本实施例中，运动数据的采集是利用终端自身的运动数据采集模块完成的，因此为了保证控制过程的正常进行，可在终端一启动后，实现对终端的运动数据采集模块是否正常进行检测，并将检测结果进行保存。在后续需要使用时，即可从该检测结果中得到是否存在可用的运动数据采集模块以及具体采用哪个运动数据采集模块；在检测结果为都不正常时，则可及时提醒用户进行修复设 置等。
本实施例中，根据运动数据分析终端是否处于监护运动模式的过程包括：
根据当前采集周期内的运动数据分析终端当前的运动模式是否与监护运动模式匹配；
如匹配，判断当前连续判断结果为是的次数n是否大于等于预设次数阈值n，如大于等于，则判定终端处于监护运动模式；如小于，则继续分析后面采集周期内的运动数据；
如不匹配，按预设频率调整规则降低采集频率。本实施例中的频率调整规则可以根据具体应用场景由厂家或用户自己灵活设定。例如初始可以设置为1秒中采集20次，当判断结果为不匹配时，则可将采集频率调整为1秒18次，按此规则每判断一次结果为不匹配，就将采集频率每1秒降低2次，直到降低为最低的1秒10次。且在一旦判断结果为匹配时，即可将采集频率立即恢复为初始的1秒20次。
本实施例中对终端运动模式的分析可以采用现有或今后任意能实现终端运动模式判断的方式。下面以重力感应传感器采集到的运动数据为例进行说明。
对提取出的带有时间戳的采样运动数据进行特征提取。在这里需要说明的是，不同人在不同环境下的步行状态的特征并不完全相同，根据重力感应传感器获取的数据分别包括手机在坐标x、y、z三轴方向上的加速度分量大小，根据
本实施例中n的取值优选大于等于2，而具体的取值范围可以根据不同终端 用户或者不同终端等应用场景灵活设定。本实施例中n大于等于2，也即只有在连续多次判定终端当前的运动模式与监护运动模式相匹配时，才判定终端当前处于监护运动模式，例如步行模式，这样可以进一步提升判断的准确率，避免发生误判从而生误告警，降低用户的体验。
本实施例中当根据当前采集周期内的运动数据分析发现终端的运动模式与监护运动模式并不匹配时，可以对采集频率进行降低。降低运动数据采集的频率，可以节省资源的消耗。因为一般的监护运动模式(例如步行模式)并不是终端的使用常态，终端处于这种运动模式时间会比较短，因此此处降低采集频率可以降低终端自身功耗。本实施例中，降低采集频率的规则也可以根据具体需求灵活设定。
本实施例中，判断终端前台当前运行的应用是否属于预设的监管型应用可以采用轮询的机制实现，请参见图3所示，包括：
步骤301：按预设轮询频率对终端前台当前运行的进程进行轮询；
步骤302：当连续m1次或累计m2次轮询到终端前台运行的进程属于监管型应用的进程时，判定终端前台当前运行的应用属于预设的监管型应用。
本实施例中，m1和m2的次数可由厂商或用户根据具体需求灵活设定，但设定m2大于等于m1。例如设定m1为2次或3次，m2设定为4次或5次等。在轮询过程中，当轮询结果为终端前台运行的进程不属于监管型应用的进程时，可以按照一定的规则对轮询频率进行调整，以降低轮询次数，降低资源消耗。该规则可以采用上述采集频率调整规则，也可以由用户自己灵活设定。
本实施例中，在上述步骤302中连续m1次或累计m2次轮询到终端前台运行的进程属于监管型应用的进程时，即可实现对终端用户的安全提醒。本实施例为了进一步提升控制的准确性，还可进一步确定终端用户当前是否将注意力集中在终端上。其中一种确定方式请参见图4所示，包括：
步骤401：通过终端的图像采集模块采集终端正面的终端用户图像；
该图像采集模块可以是终端的摄像头，且可以是终端的前置摄像头，或可旋转采集终端正面图像的后置摄像头，当然不排除今后出现的其他可采集终端 正面图像的图像采集装置。本实施例中终端正面是指终端具有显示屏的一面。如果终端为双面都设有显示屏时，则为当前使用的显示屏的一面；
步骤402：分析图像中是否存在人脸，如存在，则可以直接确定终端用户当前的注意力放在终端上，此时需通过终端对终端用户进行安全提醒。
本实施例中对图像中人脸的分析技术可以采用任意现有或今后出现的人脸识别技术。此处识别的目的是为了检测在该图像中是否可以找到符合人脸特征的图像，从而判断在采集图像的时刻，终端用户是否将视线停留在终端屏幕上。在对人脸检测时，本示例采用opencv(opensourcecomputervision)中已有的基于haar分类器方法的人脸检测方法来实现对图像中人脸的检测，通过opencv中提供的已有的人脸检测算法，可以较轻松的实现对图像中人脸的检测。当然，对图像中人脸检测的方法种类很多，也存在不同的处理速度和精度，本示例仅是描述了终端使用行为监控守护系统中存在了这样的检测机制，具体实现策略则是可以不同的。
上述步骤402中，当分析结果为图像中不存在人脸时，此时可能是用户确实未将注意力集中于终端，但也有可能仅仅是在采集图像这一时刻用户未将注意力集中于终端，此时可以采用继续采集图像进行分析的方式进一步判定；也可以在上述轮询基础上，继续对终端前台当前运行的进程进行轮询，当连续k1次或累计k2次轮询到终端前台运行的进程属于所述监管型应用的进程时，此时也能在很大程度上推定终端用户当前一直在终端前台使用该监管型应用，需要通过终端对终端用户进行安全提醒；此处的k1大于上述对应的m1，k2大于上述对应的m2，且设定k2大于等于k1。且k1、k2的值也可以灵活设定，例如k1设置为10次，20次，k2设置为30次等。
本实施例中的监管型应用主要指非必须要运行应用且会分散用户注意力的应用，终端用户可以根据自己需求对终端上的各应用类型进行定义，将认为是需要进行监管的应用添加进来；运营商或厂商或软件提供方也可以根据一些规则将相应的对用划分为监管型应用。例如该监管型应用可以具体为社交娱乐类应用，属于该类型的应用可以包含但不限于各种游戏、视频、电子书、社交软 件(qq、微信、微博)等等。
本实施例中，通过终端对终端用户进行安全提醒的方式不限，只要能起到警告用户注意安全即可。例如其可以包含以下方式中的任意一种或多种的组合：
方式一：通过终端播放提醒语音，例如语音类容可为：您当前处于行走状态，请注意行走安全，建议当前不要使用终端等；
方式二；将终端显示界面进行遮挡，这样终端用户就不能看到显示界面内的内容，从而提醒终端用户注意；
方式三：在终端显示界面上显示提醒悬浮窗口，该悬浮窗口可以文字或动画等形式提醒用户注意安全，并可提供与用户进行交互的交互接口(例如按钮)，用户通过该交互接口下发确认指令是，该悬浮窗口即可关闭；
方式四：暂停或关闭终端前台当前运行的应用，以此提醒用户注意行走安全。
对于以上方式都可以设置在终端中共用户选择、组合。也可提供自定义提醒方式让用户自己设定安全提醒的方式。可进一步提升用户体验的满意度。
如上分析，本实施例中，监护过程中进行的运动数据的采集、前台应用程序的判断、图像数据的采集以及对终端用户的提醒一般都是在终端保持亮屏过程中进行的，如果终端由亮屏转为熄屏了，则表明终端用户当前未使用终端，终端用户注意力一般不在终端上，此时可停止运动数据的采集、终端前台应用类型的判断以及对终端用户的安全提醒，并对之前采集的数据以及分析的结果清零。这样可以进一步提升管理的智能性，同时减少资源消耗。
实施例二：
本实施例提供了一种终端用户安全监护装置，请参见图5所示，包括：
运动模式判断模块1，用于根据终端的运动数据判断终端是否处于需要进行安全监护的监护运动模式；本实施例中的运动模式判断模块1可作为后台监控进程，其可随终端的启动而启动；
应用类型判断模块2，用于在判断结果为是时，判断终端前台当前运行的应用是否属于预设的监管型应用；
本实施例中的应用类型判断模块2可作为主动监控进程，其在终端启动后初始化完成后可处于休眠状态，根据运动模式判断模块1的通知从休眠状态激活；
告警模块3，用于在应用类型判断模块2判断结果为是时，通过终端对终端用户进行安全提醒。
具体，本实施例中的运动模式判断模块1包括：
检测子模块11，用于检测到所述终端亮屏；因为一般终端处于亮屏状态时才表明终端用户当前的注意力可能集中于终端，这样可以提升控制的准确性；当然，为了避免终端用户点亮终端屏幕后在短时间内就立即关闭的情况，本实施例还可优选在检测到终端亮屏后，判断终端亮屏的持续时间是否大于预设的亮屏时间阈值(例如2秒、3秒等)，只有在判断结果为是时才进行后续的步骤，这样可以进一步提升控制的准确性；将终端用户只是点亮屏幕查看时间等情况排除在外。
采集控制子模块12，用于控制终端的运动数据采集模块按当前的采集频率在采集周期内采集终端的运动数据；本实施例中的运动数据采集模块可以采用任意能实现终端运动数据采集的功能模块，例如可以采用终端的重力感应传感器实现，也可以采用终端的三轴加速传感器、运动协处理器以及今后可能应用到终端中用于运动数据采集的其他各种传感器；应当理解的是也可以结合上述两个或两个以上的传感器实现运动数据的采集及后续的判断。本实施例后续部分则仅以重力感应传感器为示例进行说明。
运动数据分析子模块13，用于根据运动数据分析终端是否处于监护运动模式。
另外，为了便于后续准确的统计和区分，本实施例中在每一次采集到的运动数据中都可以增加时间戳。本实施例中采集周期可以通过采集开始命令和采集停止命令进行控制。
本实施例中，运动数据的采集是利用终端自身的运动数据采集模块完成的，因此为了保证控制过程的正常进行，可在终端一启动后，采集控制子模块12实 现对终端的运动数据采集模块是否正常进行检测，并将检测结果进行保存。在后续需要使用时，即可从该检测结果中得到是否存在可用的运动数据采集模块以及具体采用哪个运动数据采集模块；在检测结果为都不正常时，则可及时提醒用户进行修复设置等。
运动数据分析子模块13根据运动数据分析终端是否处于监护运动模式的过程包括：
根据当前采集周期内的运动数据分析终端当前的运动模式是否与监护运动模式匹配；
如匹配，判断当前连续判断结果为是的次数n是否大于等于预设次数阈值n，如大于等于，则判定终端处于监护运动模式；如小于，则继续分析后面采集周期内的运动数据；
如不匹配，按预设频率调整规则降低采集频率。本实施例中的频率调整规则可以根据具体应用场景由厂家或用户自己灵活设定。例如初始可以设置为1秒中采集15次，当判断结果为不匹配时，则可将采集频率调整为1秒14次，按此规则每判断一次结果为不匹配，就将采集频率每1秒降低1次，直到降低为最低的1秒10次。且在一旦判断结果为匹配时，即可将采集频率立即恢复为初始的1秒15次。
本实施例中对终端运动模式的分析可以采用现有或今后任意能实现终端运动模式判断的方式。下面以重力感应传感器采集到的运动数据为例进行说明。
运动数据分析子模块13对提取出的带有时间戳的采样运动数据进行特征提取。在这里需要说明的是，不同人在不同环境下的步行状态的特征并不完全相同，根据重力感应传感器获取的数据分别包括手机在坐标x、y、z三轴方向上的加速度分量大小，根据
本实施例中n的取值优选大于等于2，而具体的取值范围可以根据不同终端用户或者不同终端等应用场景灵活设定。本实施例中n大于等于2，也即只有在连续多次判定终端当前的运动模式与监护运动模式相匹配时，才判定终端当前处于监护运动模式，例如步行模式，这样可以进一步提升判断的准确率，避免发生误判从而产生误告警，降低用户的体验。
本实施例中当根据当前采集周期内的运动数据分析发现终端的运动模式与监护运动模式并不匹配时，可以对采集频率按预设频率增量进行降低，降低运动数据采集的频率，可以节省资源的消耗。因为一般的监护运动模式(例如步行模式)并不是终端的使用常态，终端处于这种运动模式时间会比较短，因此此处增大采集频率可以降低终端自身功耗。
本实施例中的应用类型判断模块2包括：
轮询子模块21，用于按预设轮询频率对终端前台当前运行的进程进行轮询；
判断子模块22，用于当连续m1次或累计m2次轮询到所述终端前台运行的进程属于所述监管型应用的进程时，判定所述终端前台当前运行的应用属于预设的监管型应用。本实施例中，m1和m2的次数可由厂商或用户根据具体需求灵活设定，且设定m2大于等于m1。例如设定m1为2次或3次，设定m2为4次或5次。在轮询过程中，当轮询结果为终端前台运行的进程不属于监管型应用的进程时，可以按照一定的规则对轮询频率进行调整，以降低轮询次数，降低资源消耗。该规则可以采用上述采集频率调整规则，也可以由用户自己灵活设定。
判断子模块22在连续m1次或累计m2次轮询到终端前台运行的进程属于监管型应用的进程时，即可实现对终端用户的安全提醒。本实施例为了进一步提升控制的准确性，还可进一步确定终端用户当前是否将注意力集中在终端上。因此请参见图6所示，本实施例中的终端用户安全监护装置还包括：
图像采集控制模块4，用于在判断终端前台当前运行的应用是否属于预设的监管型应用后，通过终端对终端用户进行安全提醒之前，控制终端的图像采集模块采集终端正面的中终端用户图像；
本实施例中所采用的图像采集模块可以是终端的摄像头，且可以是终端的前置摄像头，或可旋转采集终端正面图像的后置摄像头，当然不排除今后出现的其他可采集终端正面图像的图像采集装置。本实施例中终端正面是指终端具有显示屏的一面。如果终端为双面都设有显示屏时，则为当前使用的显示屏的一面；
图像分析模块5，用于分析所述图像中是否存在人脸，如存在，再通知告警模块3对所述终端用户进行安全提醒。本实施例中对图像中人脸的分析技术可以采用任意现有或今后出现的人脸识别技术。此处识别的目的是为了检测在该图像中是否可以找到符合人脸特征的图像，从而判断在采集图像的时刻，终端用户是否将视线停留在终端屏幕上。
当图像分析模块5分析结果为图像中不存在人脸时，此时可能是用户确实未将注意力集中于终端，但也有可能仅仅是在采集图像这一时刻用户未将注意力集中于终端，此时可以采用继续采集图像进行分析的方式进一步判定。此时请参见图7所示，本实施例中的终端用户安全监护装置还包括补询模块，用于在所述图像中不存在人脸时，继续对所述终端前台当前运行的进程进行轮询，当连续k1次或累计k2次轮询到终端前台运行的进程属于所述监管型应用的进程时，此时也能在很大程度上推定终端用户当前一直在终端前台使用该监管型应用，需要通过终端对终端用户进行安全提醒；此处的k1大于上述对应的m1，k2大于上述对应的m2。且k1、k2的值可以灵活设定，例如设定k1为20次，k2为40次。
本实施例中的监管型应用主要指非必须要运行应用且会分散用户注意力的应用，终端用户可以根据自己需求对终端上的各应用类型进行定义，将认为是需要进行监管的应用添加进来；运营商或厂商或软件提供方也可以根据一些规则将相应的对用划分为监管型应用。例如该监管型应用可以具体为社交娱乐类 应用，属于该类型的应用可以包含但不限于各种游戏、视频、电子书、社交软件(qq、微信、微博)等等。
本实施例中，告警模块3通过终端对终端用户进行安全提醒的方式不限，只要能起到警告用户主要安全即可。例如其可以包含以下方式中的任意一种或多种的组合：
方式一：通过终端播放提醒语音，例如语音类容可为：您当前处于行走状态，请注意行走安全，建议当前不要使用终端等；
方式二；将终端显示界面进行遮挡，这样终端用户就不能看到显示界面内的内容，从而提醒终端用户注意；
方式三：在终端显示界面上显示提醒悬浮窗口，该悬浮窗口可以文字或动画等形式提醒用户注意安全，并可提供与用户进行交互的交互接口(例如按钮)，用户通过该交互接口下发确认指令是，该悬浮窗口即可关闭；
方式四：暂停或关闭终端前台当前运行的应用，以此提醒用户注意行走安全。
对于以上方式都可以设置在终端中共用户选择、组合。也可提供自定义提醒方式让用户自己设定安全提醒的方式。可进一步提升用户体验的满意度。
如上分析，本实施例中，监护过程中进行的运动数据的采集、前台应用程序的判断、图像数据的采集以及对终端用户的提醒一般都是在终端保持亮屏过程中进行的，如果终端由亮屏转为熄屏了，则表明终端用户当前未使用终端，终端用户注意力一般不在终端上，此时可通过熄屏控制模块停止运动数据的采集、终端前台应用类型的判断以及对终端用户的安全提醒，并对之前采集的数据以及分析的结果清零。这样可以进一步提升管理的智能性，同时减少资源消耗。
实施例三：
为了更好的理解本发明，下面以终端为手机，监护运动模式为步行模式，监管型应用为社交娱乐类的软件为例，对本发明做进一步说明。
请参见图8所示，在手机启动后，步骤801运动模式判断模块开始工作，向运动数据采集模块发送自检命令；步骤802运动数据采集模块接收到自检命令，对手机设备的重力感应传感器进行检测。在这里对重力感应传感器进行检测的目的是为了确保该传感器是能够正常工作的，运动数据采集模块将检测结果反馈给后台监控进程。
运动模式判断模块接收运动数据采集模块的设备检测结果，如果设备异常，则无法检测手机用户是否处于步行状态，运动模式判断模块可以退出，系统关闭，也可以提醒用户修复；当设备检测结果是正常时，运动模式判断模块开始同时监听手机屏幕点亮事件和屏幕熄灭事件。
当步骤803运动模式判断模块监听到手机屏幕点亮后，对点亮的时间进行记录，如果在5秒钟内没有手机屏幕熄灭事件的发生，则步骤804运动模式判断模块的采集控制子模块向运动数据采集模块发送采集命令。这里的5秒钟时延在系统设计中是可以调整的，其目的是过滤掉手机屏幕点亮后在较短时间内熄灭手机屏幕的情况，例如手机用户亮屏看时间，随后又息屏的这种操作。
运动数据采集模块接收到后台监控进程发送的采集指令后，在采集周期内以每秒20次的采集频率的对重力感应传感器的数据进行采集，在采集的同时对每笔数据加上时间戳并存储记录。
运动模式判断模块的采集控制子模块在发送采集命令后，延迟5秒钟(此时采集周期为5秒)，发送停止命令给运动数据采集模块，同时也发送分析命令给运动数据分析子模块。这里延迟5秒钟是为了让运动数据采集模块能够采集一定时间量的数据，以便进行分析。
运动数据采集模块接收到停止命令后即停止对重力感应传感器的数据采集，步骤805运动数据分析子模块接收到后发送的分析命令后，会将运动数据采集模块中存储记录的数据提取出来，此时运动数据采集模块已经停止采集，不会产生新的数据。运动数据分析子模块对提取出的带有时间戳的采样数据进行特征提取。在这里需要说明的是，不同人在不同环境下的步行状态的特征并不完全相同，根据重力感应传感器获取的数据分别包括手机在坐标x、y、z三 轴方向上的加速度分量大小，根据
步骤806运动模式判断模块在接收到运动数据分析子模块的反馈结果后，根据结果进行后续的操作，并对连续出现相同结果的次数进行记录。如果反馈的结果符合步行状态，则立即再次发送采集命令给运动数据采集模块进行数据采集，如果反馈的结果不符合步行状态，则延迟一定时间后再发送采集命令，但是每次发送采集命令后，都会延迟5秒钟后发送停止命令给运动数据采集模块，此时的运动数据采集周期则为5秒，以确保可以采集到足够的数据用以分析；再发送分析命令给运动数据分析模块，以对采集周期(5秒)内采集的运动数据进行分析。
当运动模式判断模块记录的反馈结果中，出现连续两次都是步行状态，则认为当前手机用户处于较持续的步行状态中，步骤807运动模式判断模块发送唤醒命令给应用类型判断模块。如果当前的反馈结果不符合步行状态，则手机用户可能处于非运动状态，或者处于运动状态但是非步行状态，应当适当降低重力传感器数据的采集频率。降低该采集频率的方式也可以通过延长触发对重力感应传感器数据的进行采集的触发周期实现，对触发周期呈现阶梯化处理，从而降低数据采集分析带来的负载。例如，在接收到不符合步行状态的结果后，运动模式判断模块不会第一时间发送数据采集命令给运动数据采集模块，而是会等待一段时间，该时间即为触发周期，本实例设计触发周期＝5×连续反馈非步行状态的累积次数，即如果连续反馈3次均为非步行状态，则这个触发周期是 15秒，也即每隔15秒下发一次运动数据采集命令，同时这里也设计了最大等待时间不可超过55秒，这样就确保至少在1分钟内，进行过一次运动数据的采集和分析。通过以上触发周期的控制可以适当阶梯式的减少对运动数据采集的次数。当然，本实施例中，还可直接降低上述采集周期内的采集频率，例如采集周期固定为5秒，也即每到一触发周期后，都会进行5秒的运动数据采集；初始时设定采集周期(5秒)内采集频率为1秒20次，每判断一次为非步行状态时，采集频率降低2次，即如果连续反馈3次均为非步行状态，后续采集周期(5秒)内的采集频率降低为1秒14次，如果后续反馈仍为为非步行状态，则继续降低，知道达到设定的最小值10次；在此期间一旦反馈为步行状态时，则采集频率恢复为初始值1秒20次。应当理解的是，以上具体次数以及规则都可以根据具体应用场景灵活设定。
步骤808，当运动模式判断模块监听到手机屏幕息屏事件时，即存在手机屏幕由亮屏到息屏状态的切换，此时系统认为在息屏状态下手机用户的视线不会被手机所吸引，即使处于步行状态下，也不会出现因视线停留在手机屏幕上而导致出现人身安全的问题，因此执行步骤809和步骤810，运动模式判断模块的采集控制子模块发送停止命令给运动数据采集模块和运动数据分析子模块，执行步骤811发送休眠命令给应用类型判断模块。运动数据采集模块和运动数据分析子模块在接收到停止命令时，如果模块处于工作状态，则会立即停止工作，并清空自身数据，如果模块处于停止状态，则对停止命令不会做出动作。
图9是应用类型判断模块的工作流程示意图，在手机启动后，执行步骤901，应用类型判断模块开始工作。在应用类型判断模块启动后，执行步骤902，通过图像采集控制模块发送检测命令给图像采集模块。
图像采集模块接收到检测命令后，会检测手机的前置摄像头是否可以正常工作，并将检测结果反馈给应用类型判断模块。
应用类型判断模块接收到图像采集模块反馈的设备检测结果后对该结果进行记录，然后主动进入休眠状态。
当步骤903执行时，即应用类型判断模块接收到运动模式判断模块发送的 唤醒命令后，应用类型判断模块进入工作状态，执行步骤904，开始以一定的时间间隔轮询手机当前前台工作进程的类型。如果该进程属于社交娱乐类的软件，则将查询命中次数加1，连续查询命中次数加1。如果该进程不属于社交娱乐类的软件，则将连续查询命中次数置为0。这里应用类型判断模块根据查询到的当前前台工作进程的类型会主动的调整轮询时间，如果该进程不属于社交娱乐类软件，则将轮询时间的间隔调整为10秒，降低单位时间的轮询次数，减轻系统负载。如果查询到的当前进程属于社交娱乐类软件，则将轮询时间的间隔调整为3秒，加速后续流程对用户行为的判断。这里需要说明的是对社交娱乐类软件的界定，即此类软件的主要用途是社交或娱乐，此类软件在使用过程中需要用户通过手机屏幕与之进行较多的交互或注意力的集中，因此在步行时会导致使用者的注意力沉浸在与软件的交互上而导致无法注意到周围环境的改变，进而造成潜在的人身危险。在本实例中对社交娱乐类软件的划分包括手机中的游戏软件，视频播放软件，微信，微博，手机qq，电子书软件。同时也应明确的是，本实例对社交娱乐类软件的具体划分并不是限定该类软件的范围，其它相近或类似的软件都在此范围中。
当应用类型判断模块发现记录的连续查询命中次数达到3次时，停止对手机前台工作进程的轮询检测，清空连续查询命中次数，执行步骤905，发送采集命令给图像采集模块，这里操作的目的是系统感知到社交娱乐类软件作为手机前台工作进程已经一段时间了，需要进行进一步的检测，判断手机用户的视线是否被社交娱乐类软件吸引，同时也需要说明的是，在应用类型判断模块启动时，发送检测命令给图像采集模块，并记录了对设备的检测结果，如果设备检测异常，则不会发送采集命令给图像采集模块。
图像采集模块接收到应用类型判断模块发送的采集命令后，会启动手机的前置摄像头来采集一幅图像，并将图像存储为bmp格式，反馈采集结果给应用类型判断模块。
应用类型判断模块接收到图像采集模块反馈的结果后，如果反馈结果是采集成功，则执行步骤906，发送分析命令给图像分析模块，如果反馈结果是采集 失败，则应用类型判断模块会再次启动对手机当前前台工作进程类型的轮询。
图像分析模块接收到应用类型判断模块发送的分析命令后，会对图像采集模块通过手机前置摄像头采集到的图像进行分析。在这里分析的目的是为了检测在该图像中是否可以找到符合人脸特征的图像，从而判断在前置摄像头采集图像的时刻，手机的使用者是否将视线停留在手机屏幕上。
应用类型判断模块接收图像分析模块反馈的分析结果，如果可以检测出人脸，则此时手机的使用者满足了如下状态，即手机屏幕处于点亮状态，手机使用者处于步行状态，手机当前前台工作进程为社交娱乐类软件，手机使用者的视线停留在手机屏幕上，所以应用类型判断模块判断手机使用者当前的行为存在人身安全的风险，执行步骤907，发送阻止消息给告警模块。
如果图像分析模块反馈的结果是无法检测到人脸，那么主动监控进程应用类型判断模块会继续进行轮询检测。
在应用类型判断模块进行轮询时，首先会检查自身记录的社交娱乐类软件查询命中次数，如果该次数大于一定数值，例如大于20次，则应用类型判断模块会发送告警消息给告警模块。这里查询命中次数的方法可以有效的提高系统检测的容错率。因为在图像中进行人脸检测对图像自身质量有一定的要求，手机前置摄像头采集图像的成像效果与当前场景的光照强度有较大关系，所以采集的图像不一定可以检测到人脸。同时，这里是在某一时刻进行的一次图像采集，在该时刻可能手机的使用者并没有将视线停留在手机屏幕上，但是却不能排除手机使用者在步行状态下使用社交娱乐软件的可能，因此当主动监控进程进行轮询时，检测查询命中次数大于某个设定数值时，执行步骤907，发送告警消息到告警模块。
在本实例中是设计使用了图像采集模块和图像分析模块的，这两个模块在手机行为监控守护系统中是可选模块，所以当具体实例中没有图像采集和图像分析模块时，应用类型判断模块在流程上的处理方式是通过在每次轮询时，检查自身记录的社交娱乐类软件查询命中次数是否超过设定值，来判断是否需要发送告警消息到告警模块的，这样手机行为监控守护系统也就不依赖图像采集 模块和图像分析模块了。
当步骤908执行时，即应用类型判断模块接收到休眠命令，同时执行步骤909、步骤910和步骤911，停止对手机当前前台工作进程类型的轮询，发送停止命令给图像采集模块，发送停止命令给图像分析模块，应用类型判断模块进入休眠状态。图像采集模块接收到停止命令，如控制手机前置摄像头进行图像采集，则停止该操作，并清空存储的图像。图像分析模块接收到停止命令，如果在进行对图像的人脸检测，则停止该操作。这里需要说明的是，当步骤908执行后，应用类型判断模块及其所控制的全部模块均会停止工作。
图10是运动模式判断模块、应用类型判断模块以及告警模块之间交互的流程图。步骤1000表示运动模式判断模块所进行的全部处理过程。运动模式判断模块在连续两次获得运动数据分析模块反馈当前处于步行状态后，会向应用类型判断模块发送唤醒命令。运动模式判断模块在监控到手机息屏事件后，会向应用类型判断模块发送休眠命令。
步骤1001表示应用类型判断模块所进行的全部处理过程。应用类型判断模块接收到运动模式判断模块发送的唤醒命令后，如果此时处于休眠状态，则停止休眠，进入工作状态，如果此时已经处于工作状态，则对唤醒命令不做任何动作。应用类型判断模块接收到运动模式判断模块发送的休眠命令后，则停止应用类型判断模块自身以及其管理的图像采集模块和图像分析模块的一切操作，并清空自身保留的数据，进入休眠状态。
应用类型判断模块在接收到图像分析模块反馈的可以检测出人脸的结果后，会向告警模块发送阻止命令，应用类型判断模块停止查询并清除查询命中次数和连续命中次数。应用类型判断模块在轮询时发现社交娱乐类软件查询命中次数超过限定，会向告警模块发送告警命令，应用类型判断模块停止查询并清除查询命中次数和连续命中次数。
步骤1002表示告警模块进行的告警处理。告警模块接收到应用类型判断模块的阻止命令后，会使用不透明的告警图片覆盖手机顶层屏幕7秒钟，之后发送一个悬浮窗消息，提醒手机使用者不要在步行的时候使用社交娱乐类软件， 并且需要手机使用者与这个悬浮窗消息进行互动，比如点击消息窗的确认键，告警模块在接收到悬浮窗消息的返回事件后，再次使用不透明的告警图片覆盖手机顶层屏幕7秒钟，之后取消图片遮挡，发送处理完毕的消息给应用类型判断模块。
告警模块在接收到应用类型判断模块的告警命令后，会发送一个悬浮窗消息，提醒手机使用者不要在步行的时候使用社交娱乐类软件，并且需要手机使用者与这个悬浮窗消息进行互动，比如点击消息窗的确认键，告警模块在接收到悬浮窗消息的返回事件后，发送处理完毕的消息给应用类型判断模块。
应用类型判断模块在接收到告警模块处理完毕的消息后，自动进入到休眠状态。
本发明的优点是，只要使用者不在步行状态下使用社交娱乐类软件，整个的监控过程对使用者就是完全透明的。监控守护系统的使用无需手机联网，即如果手机在信号不好或没有手机信号的地方，本系统都可以正常工作。
显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储介质(rom/ram、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换， 都应当视为属于本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！