一种表情识别应用于显示器的方法及系统的制作方法
【技术领域】
[0001]本发明属于生物识别技术领域，特别设计一种表情识别在显示器的应用。
【背景技术】
[0002]随着人工智能技术、生物识别技术和计算机技术及其相关领域的迅速发展，自动化技术在社会发展中担负着越来越重要的角色，人们对于拟人化交流的人机交互的需求日益增长。机器如果能够像人类一样，具有像人类一样的理解情感的能力，将从根本上改变人与机器之间的关系，让机器更好的为人类服务。表情识别是情感理解的基础，是机器理解人类情感的前提，也是人类探索机器智能化的有效途径。如果实现机器理解人类情感，这将对未来人机交互领域产生重大的意义。
[0003]现在的智能电视/显示器，大多是增加联网功能、手势控制等，这些都需要人类去操作，只有人类发出了指令，机器才会做出相应，并不是真正的智能化。
【发明内容】
[0004]有鉴于此，本发明提出一种表情识别应用于显示器的系统和方法，显示器能根据观众的表情变化做出关机、静音、调节音量判断。
[0005]本发明采用以下技术方案实现:一种表情识别应用于显示器的方法，其特征在于:包括以下步骤:步骤SOl:通过一图像采集装置采集观众的人脸图像；步骤S02:对采集的人脸图像的人脸数进行分析并编号定位；步骤S03:通过选取每个人脸的表情特征点计算每个人脸的特征，所述人脸表情特征点包括人脸图像中左侧眼眶上下左右四个顶点，右眼眼眶上下左右四个顶点，以及嘴唇轮廓上下左右四个顶点，左右耳耳垂两个点；步骤S04:分析每个人脸表情的可能类型；步骤S05:记录每个人脸表情的可能类型并保存一段时间，通过记录的人脸表情的可能类型分析出人脸表情类型；步骤S06:根据这段时间每个人脸的表情类型的动态情况，显示器做出响应。
[0006]在本发明一实施例中，步骤S04包括以下具体步骤:若人脸图像上双眼眼眶的上下特征点重合判断为似睡眠状态；若表情特征点正对显示器则判断为似观看状态；若表情特征点不正对显示器则判断似交谈状态；若左耳或右耳耳垂点被覆盖则判断为似通话状
??τ O
[0007]在本发明一实施例中，步骤S05包括以下具体步骤:检测到似睡眠状态持续5秒以上，则判断为睡眠状态；检测到在似观看状态期间没有进入睡眠状态则判断为观看状态；检测到似交谈状态持续10秒以上，则判断为交谈状态；检测到有人脸从左右耳耳垂点均未被覆盖变为似通话状态并持续5秒以上，则判断为通话状态。
[0008]在本发明一实施例中，步骤S06包括以下具体步骤:在300秒内检测不到人脸或检测到每张人脸都处于睡眠状态60秒以上，显示器关机；在30秒内检测到有一张人脸处于睡眠状态，显示器静音；在20秒内检测到一半及一半以上的人脸处于交谈状态或有一张人脸处于通话状态，显示器将音量调小为原来音量的百分30 ;检测到由交谈状态或通话状态更改为观看状态，显示器调大音量至观众设定值。
[0009]本发明还提供一种表情识别应用于显示器的系统，其特征在于:包括图像采集装置、表情识别模块及表情信号处理响应模块；由所述图像采集装置获取观众脸部表情，并将采集到的脸部表情传送至表情识别模块；所述表情识别模块经对采集到的脸部表情进行分析，并将分析结果传送至表情信号处理响应模块；所述表情信号处理模块记录保存人脸表情信息一段时间，并分析该段时间的表情，显示器根据分析结果做出关机、静音、调节音量的判断。
[0010]在本发明一实施例中，所述图像采集装置为显示器前置或外置摄像头。
[0011]与现有技术相比，本发明提供的技术方案将表情识别应用于显示器中，显示器根据观众的表情变化来做出反应，真正实现显示器的智能化。本发明选取14个表情特征点能够高度还原观众表情变化。
【附图说明】
[0012]图1是本发明的原理框图。
[0013]图2是本发明的特征点选取图。
【具体实施方式】
[0014]下面结合附图和具体实施例对本发明做进一步说明。
[0015]本发明一种表情识别应用于显示器的方法，其特征在于:包括以下步骤:步骤SOl:通过一图像采集装置采集观众的人脸图像；步骤S02:对采集的人脸图像的人脸数进行分析并编号定位；步骤S03:通过选取每个人脸的表情特征点计算每个人脸的特征，所述人脸表情特征点包括人脸图像中左侧眼眶上下左右四个顶点，右眼眼眶上下左右四个顶点，以及嘴唇轮廓上下左右四个顶点，左右耳耳垂两个点；步骤S04:分析每个人脸表情的可能类型；步骤S05:记录每个人脸表情的可能类型并保存一段时间，通过记录的人脸表情的可能类型分析出人脸表情类型；步骤S06:根据这段时间每个人脸的表情类型的动态情况，显示器做出响应。其原理框图参见图1。本发明的表情特征点的选取点参见图2。本发明一共选取了 14个表情特征点，能够根据这14个表情特征点的分析即可准确地得到观众的表情变化。
[0016]在本发明一实施例中，步骤S04包括以下具体步骤:若人脸图像上双眼眼眶的上下特征点重合判断为似睡眠状态；若表情特征点正对显示器则判断为似观看状态；若表情特征点不正对显示器则判断似交谈状态；若左耳或右耳耳垂点被覆盖则判断为似通话状
??τ O
[0017]其中，不正对显示器的判断标准为图像采集装置采集到的h点的位置偏离头部右侧边缘达50%头部宽度以上或a点的位置偏离头部左边边缘达50%头部宽度以上；正对显示器的判断标准为非不正对即判断为正对。
[0018]在本发明一实施例中，步骤S05包括以下具体步骤:检测到似睡眠状态持续5秒以上，则判断为睡眠状态；检测到在似观看状态期间没有进入睡眠状态则判断为观看状态；检测到似交谈状态持续10秒以上，则判断为交谈状态；检测到有人脸从左右耳耳垂点均未被覆盖变为似通话状态并持续5秒以上，则判断为通话状态。
[0019]在本发明一实施例中，步骤S06包括以下具体步骤:在300秒内检测不到人脸或检测到每张人脸都处于睡眠状态60秒以上，显示器关机；在30秒内检测到有一张人脸处于睡眠状态，显示器静音；在20秒内检测到一半及一半以上的人脸处于交谈状态或有一张人脸处于通话状态，显示器将音量调小为原来音量的百分30 ;检测到由交谈状态或通话状态更改为观看状态，显示器调大音量至观众设定值。
[0020]本发明还提供一种表情识别应用于显示器的系统，其特征在于:包括图像采集装置、表情识别模块及表情信号处理响应模块；由所述图像采集装置获取观众脸部表情，并将采集到的脸部表情传送至表情识别模块；所述表情识别模块经对采集到的脸部表情进行分析，并将分析结果传送至表情信号处理响应模块；所述表情信号处理模块记录保存人脸表情信息一段时间，并分析该段时间的表情，显示器根据分析结果做出关机、静音、调节音量的判断。
[0021 ] 较佳的，所述图像采集装置为显示器前置或外置摄像头。
[0022]本领域技术人员可以在不违背本发明的原理和实质的前提下对本具体实施例做出各种修改或补充或者采用类似的方式替代，但是这些改动均落入本发明的保护范围。因此本发明技术范围不局限于上述实施例。
【主权项】
1.一种表情识别应用于显示器的方法，其特征在于:包括以下步骤: 步骤SOl:通过一图像采集装置采集观众的人脸图像； 步骤S02:对采集的人脸图像的人脸数进行分析并编号定位； 步骤S03:通过选取每个人脸的表情特征点计算每个人脸的特征，所述人脸表情特征点包括人脸图像中左侧眼眶上下左右四个顶点，右眼眼眶上下左右四个顶点，以及嘴唇轮廓上下左右四个顶点，左右耳耳垂两个点； 步骤S04:分析每个人脸表情的可能类型； 步骤S05:记录每个人脸表情的可能类型并保存一段时间，通过记录的人脸表情的可能类型分析出人脸表情类型； 步骤S06:根据这段时间每个人脸的表情类型的动态情况，显示器做出响应。
2.根据权利要求1所述的表情识别应用于显示器的方法，其特征在于:步骤S04包括以下具体步骤:若人脸图像上双眼眼眶的上下特征点重合判断为似睡眠状态；若表情特征点正对显示器则判断为似观看状态；若表情特征点不正对显示器则判断似交谈状态；若左耳或右耳耳垂点被覆盖则判断为似通话状态。
3.根据权利要求1所述的表情识别应用于显示器的方法，其特征在于:步骤S05包括以下具体步骤:检测到似睡眠状态持续5秒以上，则判断为睡眠状态；检测到在似观看状态期间没有进入睡眠状态则判断为观看状态；检测到似交谈状态持续10秒以上，则判断为交谈状态；检测到有人脸从左右耳耳垂点均未被覆盖变为似通话状态并持续5秒以上，则判断为通话状态。
4.根据权利要求1所述的表情识别应用于显示器的方法，其特征在于:步骤S06包括以下具体步骤:在300秒内检测不到人脸或检测到每张人脸都处于睡眠状态60秒以上，显示器关机；在30秒内检测到有一张人脸处于睡眠状态，显示器静音；在20秒内检测到一半及一半以上的人脸处于交谈状态或有一张人脸处于通话状态，显示器将音量调小为原来音量的百分30 ;检测到由交谈状态或通话状态更改为观看状态，显示器调大音量至观众设定值。
5.一种表情识别应用于显示器的系统，其特征在于:包括图像采集装置、表情识别模块及表情信号处理响应模块；由所述图像采集装置获取观众脸部表情，并将采集到的脸部表情传送至表情识别模块；所述表情识别模块经对采集到的脸部表情进行分析，并将分析结果传送至表情信号处理响应模块；所述表情信号处理模块记录保存人脸表情信息一段时间，并分析该段时间的表情，显示器根据分析结果做出关机、静音、调节音量的判断。
6.根据权利要求5所述的表情识别应用于显示器的系统，其特征在于:所述图像采集装置为显示器前置或外置摄像头。
【专利摘要】本发明提供一种表情识别应用于显示器的方法及系统，该系统包括图像采集装置、表情识别模块及表情信号处理响应模块；由所述图像采集装置获取观众脸部表情，并将采集到的脸部表情传送至表情识别模块；所述表情识别模块经对采集到的脸部表情进行分析，并将分析结果传送至表情信号处理响应模块；所述表情信号处理模块记录保存人脸表情信息一段时间，并分析该段时间的表情，做出关机、静音、调节音量的判断。该系统及方法有利于提高人机交互体验，使显示器更加智能化。
【IPC分类】G06K9-00, G06F3-01
【公开号】CN104777910
【申请号】CN201510193899
【发明人】姚剑敏, 郭太良, 林志贤, 林金堂, 郭明勇
【申请人】福州大学
【公开日】2015年7月15日
【申请日】2015年4月23日