一种人机交互系统及方法与流程

本发明涉及魔镜，具体涉及一种人机交互系统及方法。

背景技术：

目前，现有技术中,魔镜是一种采用特殊材质镜面玻璃作为投影介质,投影机背投架设的装置,可以用来照镜子,同时还能看到高画质投影的图像,也可用手指触摸镜子表面,选择自己感兴趣的内容,镜面内的投影内容会被触并发形成互动或进行相关信息内容查询。

由于青少年自杀不仅是个体人生的不幸和整个家庭的悲剧，更是触目惊心的社会问题，探讨青少年自杀的影响因素显得十分必要。在对青少年的自杀问题进行干预之前，我们首先需要理性地看待导致其自杀的诱因。毋庸置疑，某些社会影响和经历是导致青少年自杀的重要因素。然而，我们也应该同时看到，在特定的社会环境下，影响青少年自杀的个体不良压力的出现与消退的程度和类型是由其自身的应对方式决定的，而其应对方式则具体包括或体现了个体的应对风格、信仰、自我对话、健康习惯、交流风格以及其他特质等。

因此如何应对青少年的自杀现象，合理的方案会起到至关重要的作用。本次设计以青少年自杀问题为基础，综合分析引起青少年自杀的各种因素，有针对的提出了相应的解决方案，能有效预防并减少青少年自杀现象的发生及蔓延，对青少年的发展及身心健康起到了巨大的作用随着人工智能和大数据时代的到来，很多传统行业逐渐被机器人所替代，以至于年轻人的压力越来越大，长期的睡眠不足，睡眠质量欠佳是影响年轻人身心健康的一个重量级杀手学校生活中的不如意境况是青少年自杀行为的风险因素之一上课出勤率和学习平均成绩是青少年自杀行为的一个良好的预测因子。在学校生活中，青少年自杀者承受的相应压力是学习与考试压力。

在以应试教育为主的整体环境趋势下，评定学生的标准是考试成绩，很多有特殊才能的学生不能得到充分发挥，求知的热情和动力也被泯灭。沉重的学习负担和考试压力使青少年失去了在他们这个年龄应该享受的乐趣，损害了他们的健康成长。学业的压力是青少年紧张的根源，为了能进更好的大学，他们过早地成为学习的工具，越往上升，竞争就越激烈，压力也就越来越大，长此以往，造成学习压力的循环递增，进而造成青少年自杀。

随着工业化以及城市化进程的加快,社会竞争日趋激烈,这种社会压力不仅影响着成年人,在一定程度上也潜移默化的影响着青少年群体,青少年学生不仅承受着学业、生活的压力,而且将来还要面对融入社会的多重压力。体育锻炼和心理健康有密切的关系,体育锻炼能够改善人体机能,促进身心健康的发展,体验到达成目标的愉悦。因此,加强青少年体育锻炼、培养良好的运动习惯,为全面提升他们的身心健康水平,是十分重要而紧迫的问题。

大约90%以上自杀身亡的青少年在自杀时心理健康水平差，患有一定的精神疾病。在最近的关于青少年自杀的研究中，精神疾病的患病率大约为60%。杀观念与生活事件、、情感中心应对、心理症状呈显著的正相关，其中心理症状与自杀观念相关系数最大，特别是抑郁症。有研究显示抑郁。

障碍青少年44%曾有过自伤行为，49.33%有自杀念头。其中有自伤行为的患者存在较多的精神病性症状，包括身体不适感、焦虑情绪引起的躯体症状，强迫观念，冲动行为，厌烦感、毁物、猜疑、牵连观念、妄想等种种不适的感受以及不可控制的情绪和思维导致患者在极度烦躁不安的状态下可能出现自伤、自杀念头。

技术实现要素：

本发明的主要目的在于提供一种人机交互系统。

根据本发明的一个方面，提供了一种人机交互系统，包括：

智能语音模块，用于用户可以实时和魔镜进行聊天；

人脸识别模块，基于可见光图像的人脸识别通过python程序与摄像头，云台实现人脸识别功能；

情绪识别模块，通过皮肤电信号传感器监测人体的情绪；

室内环境检测预警模块，通过对空气中的烟雾，煤气等各项气体的检测，当达到指定数值时，服务器能够及时预警，并通过短信通知其他人；

睡眠质量及时长检测模块，通过监测用户在睡眠期间内的心率变化是否平稳，从而达到判断睡眠质量的功效；同时通过用户入睡和醒来的时间确定睡眠时长；

手机终端模块，用于通过手机终端实时查看并了解孩子的健康状况；

魔镜控制模块，用于控制智能语音模块、人脸识别模块、情绪识别模块、室内环境检测预警模块、睡眠质量及时长检测模块，并用于魔镜显示及操作。

进一步地，所述智能语音模块主要包括语音识别芯片，当进行语音控

制操作时，将麦克风采集到的声音，经过语音训练、识别，输出最终语音识别结果，形成标准的语音模型参考数据库，然后在魔镜上显示。

更进一步地，所述人脸识别模块基于可见光图像的人脸识别通过python程序与摄像头，云台实现人脸识别功能，包括：

对人脸检测定位，进行肤色对比，确定脸部尺寸；

对定位后的人脸预处理，为了方便提取人脸特征值，进行降噪处理，将尺度统一化，灰度归一化与均衡化；

特征提取，根据面部特征的提取结果与待测人脸进行比较，一定误差内的比较结果视为识别成功；

由摄像头将数据传入树莓派，由树莓派实现反馈。

更进一步地，所述情绪识别模块包括四运算放大器、gsr皮肤电信号

传感器、蓝牙通讯模块，通过对人体生物电的变化曲率，与数据库中已有数据做对比，初步判断用户的情绪；通过主流的人脸识别技术进行二次判别，实现准确判断，极大的降低误差。

更进一步地，所述室内环境检测预警模块在魔镜镜所处环境中存在烟

雾气体时，烟雾传感器的电导率随空气中污染气体浓度的增加而增大；将电导率的变化转换为与该气体浓度相对应的输出信号。

更进一步地，所述睡眠质量及时长检测模块光电容积法监测睡眠情况。

更进一步地，所述手机终端模块设有app软件，用于监测并显示，其

软件模块包括：

登录单元，允许用户登录当前的app，手机可以链接到网络，要求用户验证用户名密码，正确则进入主界面，由于用户名和密码错误而无法登录；系统日志记录错误并通知用户；

获取基本信息单元，用于允许用户获取自己的基本信息；

查看路况单元，用于允许用户查看自己当前位置的路况；

获取最近的心率，心情以及评分单元，用于允许用户查看一个月的心情数据；

获取最近一个月的心情统计单元，用于允许用户查看一个月的心情数据；

获取最近一周的平均心率单元，用于允许用户查看一个月的心率数据。

更进一步地，所述魔镜控制模块包括树莓派模块和arduino模块；

树莓派模块用于监测智能语音模块、人脸识别模块、情绪识别模块、室内环境检测预警模块、睡眠质量及时长检测模块的数据；

arduino模块用于对树莓派模块监测的数据进行分析处理。

根据本发明的又一个方面，提供了一种人机交互系统方法，包括：

采用客户端－服务器工作模式，服务器负责相关传感器数据采集及分析；

客户端实现语音识别、互动娱乐等功能，当人靠近时，客户端的原子镜利用相关的传感器和ai几乎可以实时检测出身体的一些参数，并实时传回云端，和数据库中的标准数据进行对比，严重失衡的会通过短信及时反馈给其家人；

魔镜具有语音聊天对话功能，可以作为知心朋友和人聊天讲段子，有什么烦心事可以倾诉，进行实时互动；

当人照镜子时，魔镜会自动采集相关数据，将数据传回云端，与标准的数据进行对比分析，然后再终端即手机app给定一个分数，对该分数进行合格判断，如果不合格，服务器就会自动发送短信到该用户家人的手机上，及时督促。

本发明的优点：

本发明结合语音识别技术和讯飞机器人，实现聊天对话；支持手机终端实时查看，省心省力；采用睡眠质量和时长检测及打分系统，高效快捷，保证了充足的睡眠；采用情绪识别判别，及时判断用户此刻的心情；采用烟雾报警模块，实行预警，快捷方便。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例的总体框架图；

图2是本发明实施例的语音识别过程图；

图3是本发明实施例的人脸识别过程图；

图4是本发明实施例的情绪识别过程图；

图5是本发明实施例的室内环境检测并预警流程图；

图6是本发明实施例的心率监测过程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1至图6，如图1至图6所示，一种人机交互系统，包括：

智能语音模块，用于用户可以实时和魔镜进行聊天；

人脸识别模块，基于可见光图像的人脸识别通过python程序与摄像头，云台实现人脸识别功能；

情绪识别模块，通过皮肤电信号传感器监测人体的情绪；

室内环境检测预警模块，通过对空气中的烟雾，煤气等各项气体的检测，当达到指定数值时，服务器能够及时预警，并通过短信通知其他人；

睡眠质量及时长检测模块，通过监测用户在睡眠期间内的心率变化是否平稳，从而达到判断睡眠质量的功效；同时通过用户入睡和醒来的时间确定睡眠时长；

手机终端模块，用于通过手机终端实时查看并了解孩子的健康状况；

魔镜控制模块，用于控制智能语音模块、人脸识别模块、情绪识别模块、室内环境检测预警模块、睡眠质量及时长检测模块，并用于魔镜显示及操作。

本发明结合语音识别技术和讯飞机器人，实现聊天对话；支持手机终端实时查看，省心省力；采用睡眠质量和时长检测及打分系统，高效快捷，保证了充足的睡眠；采用情绪识别判别，及时判断用户此刻的心情；采用烟雾报警模块，实行预警，快捷方便。

所述智能语音模块主要依赖于ld3320语音识别芯片，当进行语音控

制操作时，将麦克风采集到的声音，经过语音训练、识别，输出最终语音识别结果，形成标准的语音模型参考数据库，然后在魔镜上显示。

对话内容：

（1）互动语言交流:唱歌，讲故事，回答问题。

（2）智能问答：可以提问，回答，欢乐互动，例如今天的天气情况，时间等。

特点：对话的名字可以根据客户喜爱要求设定。

所述人脸识别模块基于可见光图像的人脸识别通过python程序与摄像头，云台实现人脸识别功能，包括：

对人脸检测定位，进行肤色对比，确定脸部尺寸；

对定位后的人脸预处理，为了方便提取人脸特征值，进行降噪处理，将尺度统一化，灰度归一化与均衡化；

特征提取，根据面部特征的提取结果与待测人脸进行比较，一定误差内的比较结果视为识别成功；

由摄像头将数据传入树莓派，由树莓派实现反馈。

所述情绪识别模块以lm324四运算放大器，gsr皮肤电信号传感器，

蓝牙通讯技术为基础，通过对人体生物电的变化曲率，与数据库中已有数据做对比，初步判断用户的情绪；通过主流的人脸识别技术进行二次判别，实现准确判断，极大的降低误差。

在人脸识别的基础上将图像上传至第三方平台face++，根据用户的面部特征进行情绪反馈，并将反馈结果发送到魔镜中与皮肤电信号的结果进行比对并将两组数据中的接近的数据作为正确的数据从而反馈给用户正确的情绪识别。皮肤电信号通过原子镜上的grovegsr传感器采集用户的身体数据将数据上传至服务器与服务器中的数据库进行对比得到通过电信号监测得知的情绪状况。

所述室内环境检测预警模块在魔镜镜所处环境中存在烟雾气体时，烟

雾传感器的电导率随空气中污染气体浓度的增加而增大；将电导率的变化转换为与该气体浓度相对应的输出信号。

通过mq-135传感器检测。mq-135适用于氨气氮氧化合物醇类芳族化合物硫化物和烟雾等模拟输出电压随检测环境中气体浓度的升高而增大快速的响应恢复特性灵敏度可调。预先设定好正常情况下各个气体在空气中含量的参数，当实时监测的数据值超过标准值的时候，将指令以蓝牙方式传送给魔镜内的短信模块，将短信发送给联系人。

所述睡眠质量及时长检测模块光电容积法监测睡眠情况。

该功能用到了光电容积法，光电容积法的基本原理是利用人体组织在血管搏动时造成透光率不同来进行脉搏测量的。其使用的传感器由光源和光电变换器两部分组成，通过绑带或夹子固定在病人的手指或耳垂上。光源一般采用对动脉血中氧和血红蛋白有选择性的一定波长（500nm~700nm）的发光二极管。

当光束透过人体外周血管，由于动脉搏动充血容积变化导致这束光的

透光率发生改变，此时由光电变换器接收经人体组织反射的光线，转变为电信号并将其放大和输出。由于脉搏是随心脏的搏动而周期性变化的信号，动脉血管容积也周期性变化，因此光电变换器的电信号变化周期就是脉搏率。

血管脉搏跳动时造成的透光率不同来进行脉搏和血氧饱和测量的。

智能语音通过麦克风采集声音后系统自有的语音识别功能，直接触发

树莓派的语音识别程序。使用开源的自美智能系统实现了互动聊天的过程。

人脸识别过程是通过摄像头采集用户的实时面部特征将结果上传至

服务器服务器是第三方平台face++能够准确的反映进行结果的反馈传入图片进行人脸检测和人脸分析。

可以检测图片内的所有人脸，对于每个检测出的人脸，会给出其唯一

标识face_token，可用于后续的人脸分析、人脸比对等操作。

睡眠监测是依靠使用者外带佩戴的这不部分功能需要从患者身体上

直接采集数据选用血氧传感器max30102通常佩戴在患者的手指上。

本发明的系统还包括：

加速度传感器：针对一部分行动不便的使用者的安全考虑而设计，出

于对使用者的保护，建议有需求的使用者可以佩戴一款这样的传感器，配合后续的短信模块，能够将危险信息及时传递给亲属得到及时的帮助。

心率传感器：当使用者需要得知自己情绪的准确数据的时候，数据主

要来源于两方面。其中一方面就是心率传感器，通过心率传感器采集的数据，通过程序绘制成弯曲的曲线图，将得到图形与数据库中原有图形作对比，对比出一个较为可靠的数据。再次将此数据与人脸识别的数据相比较，得出精确的数据。

红外检测传感器；由于人脸识别需要一定的距离才能够实现，用红外

线可以测得产品与使用者的距离，能够提示使用者掌握适合的使用距离。

所述手机终端模块设有app软件，用于监测并显示，其软件模块包括：

登录单元，允许用户登录当前的app，手机可以链接到网络，要求用户验证用户名密码，正确则进入主界面，由于用户名和密码错误而无法登录；系统日志记录错误并通知用户；

获取基本信息单元，用于允许用户获取自己的基本信息；

查看路况单元，用于允许用户查看自己当前位置的路况；

获取最近的心率，心情以及评分单元，用于允许用户查看一个月的心情数据；

获取最近一个月的心情统计单元，用于允许用户查看一个月的心情数据；

获取最近一周的平均心率单元，用于允许用户查看一个月的心率数据。

所述魔镜控制模块包括树莓派模块和arduino模块；

树莓派模块用于监测智能语音模块、人脸识别模块、情绪识别模块、室内环境检测预警模块、睡眠质量及时长检测模块的数据；

arduino模块用于对树莓派模块监测的数据进行分析处理。

本发明的人机交互系统的方法，基于树莓派开发平台，嵌入式实时操作系统，以组建传感器网络为基础，采用客户端－服务器工作模式，服务器为arm系列stm32微控制器和树莓派，负责相关传感器数据采集及分析；客户端借助了科大讯飞，图灵机器人，实现语音识别、互动娱乐等功能，当靠近时，该原子镜利用相关的传感器和ai几乎可以实时检测出身体的一些参数，并实时传回云端，和数据库中的标准数据进行对比，严重失衡的会通过短信及时反馈给其家人。

同时该魔镜具有语音聊天对话功能，可以作为知心朋友聊天讲段子，有什么烦心事可以倾诉，它可以实时互动，有助于舒缓年轻人的心理压力，起到了很好的调节作用。

本发明基于树莓派和arduino对整套系统进行智能控制。

组件传感器网络用来实时反馈并分析各类参数。

实现魔镜的智能识别情绪功能，操作性强，省心省力。

同时，当照镜子时，魔镜会自动采集相关数据，将数据传回云端，与标准的数据进行对比分析，然后再终端即手机app给定一个分数，该分数如果大于85分，则为较佳状态，70-85之间为良好状态，60-75之间为合格状态，60分一下，服务器就会自动发送短信到该用户家人的手机上，及时督促。对用户的心理和身体健康起到了很好的预防作用。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。