相应的无线控制信号给手机客户端和灯光主题控制器；
[0049]灯光主题控制器，存储适合不同情绪的灯光主题并接受无线传输模块发出的控制信号，并根据接受到的控制信号，产生符合相应情绪的灯光主题；
[0050]带有无线传输模块的手机，手机上设置有基于Android或1S等主流手机操作系统，安装有本方案的客户端。该手机客户端作为移动端控制器，接受并存储无线传输模块发出的人脸分析结果，用户可以查看本人及家人一天的心情变化。
[0051 ] 如图2所示，本系统的方法包括:
[0052]注册阶段:
[0053]从摄像头采集图像信息，对人脸进行检测与定位，分割出人脸图像并归一化。提取人脸的整体特征，对采集到的人脸注册类别，保存在注册人脸模板库。
[0054]识别阶段:
[0055]步骤1:从摄像头采集图像信息，对人脸进行检测与定位，分割出人脸图像并归一化，发送给人脸特征和面部表情特征提取单元(处理器)。提取人脸的整体特征用于人脸识另IJ，提取面部表情显著区域(嘴部，眼部，鼻子)的特征，用于表情识别。
[0056]步骤2:在提取到人脸识别特征和面部表情特征后，与存储器里保存的注册人脸模板和人脸表情模板进行匹配，输出采集到的人脸的身份和表情属性。
[0057]步骤3:统计注册人群在一定时间段内的表情属性变化情况，并通过无线传输模块传输给手机客户端和灯光主题控制器。
[0058]步骤4:手机客户端在接收到无线传输模块发送过来的表情属性和人脸身份属性信号后，根据人脸身份类别，统计并记录注册人心情变化情况。
[0059]步骤5:灯光主题控制器在接收到传输模块发送过来的表情属性信号后，根据相应表情属性与灯光主题的对应关系，控制室内灯光主题。
[0060]人脸检测与定位单元接收来自人脸图像采集单元的图像信息后，对人脸进行检测与定位，分割出人脸图像并归一化，发送给人脸特征和面部表情特征提取单元。
[0061]所述人脸特征和面部表情特征提取单元，提取人脸的整体特征用于人脸识别，提取面部表情显著区域(嘴部，眼部，鼻子)的特征，用于表情识别。
[0062]人脸识别算法，可以采用eigenFace, Fisherface以及LBPFace等人脸识别算法，表情识别算法可以提取表情显著区域的LBP和Gabor融合特征，用SVM(支持向量机)分类识别，也可定位表情显著区域的关键特征点，分析各特征点之间的关系，将输入表情归类到相应的表情类别。
[0063]根据人脸识别和表情识别的分析结果，统计一段时间内，同一人脸表情变化情况，根据表情的变化属性，发出相应的控制信号。
[0064]a、当系统视野范围内只有一个注册人时，根据这个人的表情统计规律，发出相应的控制信号给灯光主题控制器。b、当系统视野范围内有多个注册人时，系统根据用户指定的注册人的表情变化属性，发出相应的控制信号。C、当系统视野范围内没有注册人时，系统状态不变，系统不发出任何控制信号。
[0065]用户自定义阶段:
[0066]—、用户可以根据自己的喜好，通过手机客户端，自定义表情属性与灯光主题的对应关系。
[0067]二、为了提高表情识别的准确性，用户可以将自己的表情模板添加到表情数据库。
[0068]可以根据客户自定义的符合表情属性的灯光主题，并能够接收无线传输模块发出的特定人群的表情属性，并记录。用户可以查看本人或家人某个时间段的表情变化。
[0069]上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
【主权项】
1.一种基于人脸识别和表情识别的记录与灯光控制系统，其特征是:包括人脸图像采集单元、存储器、运算处理单元、无线传输模块和灯光主题控制器； 所述人脸图像采集单元，用于采集人脸图像，并将采集的图像转换为特征数据进行存储； 所述存储器，用于存储离线训练好的表情特征数据和初次采集的注册人脸模板； 所述运算处理单元，用于实现人脸识别和面部表情识别，并将识别分析结果通过无线传输模块发出相应的无线控制信号； 所述灯光主题控制器，存储适合不同情绪的灯光主题并接收无线传输模块发出的控制信号，产生符合相应情绪的灯光主题控制信号，传输给灯光系统。
2.如权利要求1所述的记录与灯光控制系统，其特征是:所述灯光主题控制器与移动终端连接，接收移动终端客户端的控制信号，自定义灯光主题。
3.如权利要求1所述的记录与灯光控制系统，其特征是:所述移动终端设有无线传输模块，安装有相应的客户端。
4.基于权利要求1-3中任一项所述的系统的工作方法，其特征是:包括以下步骤: (1)摄像头采集图像信息，对人脸进行检测与定位，分割出人脸图像并归一化；提取人脸的整体特征，对采集到的人脸注册类别，保存在存储器中的注册人脸模板库； (2)从摄像头采集图像信息，对人脸进行检测与定位，分割出人脸图像并归一化，发送给运算处理单元进行人脸特征和面部表情特征提取，与存储器里保存的注册人脸模板和人脸表情模板进行匹配，输出采集到的人脸的身份和表情属性； (3)统计注册人群在设定时间段内的表情属性变化情况，并通过无线传输模块传输给移动终端客户端和灯光主题控制器； (4)客户端接收到无线传输模块发送过来的表情属性和人脸身份属性信号后，根据人脸身份类别，统计并记录注册人心情变化情况； (5)灯光主题控制器在接收到传输模块发送过来的表情属性信号后，根据相应表情属性与灯光主题的对应关系，控制室内灯光主题。
5.如权利要求4所述的工作方法，其特征是:所述步骤(3)中，包括以下情况: (a)当系统视野范围内只有一个注册人时，根据这个人的表情统计规律，发出相应的控制信号给灯光主题控制器； (b)当系统视野范围内有多个注册人时，系统根据用户指定的注册人的表情变化属性，发出相应的控制信号； (c)当系统视野范围内没有注册人时，系统状态不变，系统不发出任何控制信号。
6.如权利要求4所述的工作方法，其特征是:所述步骤(5)中，用户根据自己的喜好，通过客户端，自定义表情属性与灯光主题的对应关系。
7.如权利要求4所述的工作方法，其特征是:所述步骤(2)中，为了提高表情识别的准确性，用户将自己的表情模板添加到表情数据库。
8.如权利要求7所述的工作方法，其特征是:所述步骤(2)中，运算处理单元进行人脸特征和面部表情特征提取时，提取人脸的整体特征用于人脸识别，提取面部表情显著区域的特征，用于表情识别。
9.如权利要求4所述的工作方法，其特征是:所述步骤(2)中，显著区域包括嘴部、眼部和鼻子。
【专利摘要】本发明公开了基于人脸识别和表情识别的记录与灯光控制系统及方法，包括人脸图像采集单元、存储器、运算处理单元、无线传输模块和灯光主题控制器；人脸图像采集单元，用于采集人脸图像，并将采集的图像转换为特征数据进行存储；存储器，用于存储离线训练好的表情特征数据和初次采集的注册人脸模板；运算处理单元，实现人脸识别和面部表情识别，并将识别分析结果通过无线传输模块发出相应的无线控制信号；灯光主题控制器，存储适合不同情绪的灯光主题并接收无线传输模块发出的控制信号，产生符合相应情绪的灯光主题控制信号，传输给灯光系统。本发明基于面部表情识别和人脸识别的心情记录和家居控制，可以给用户良好的体验，丰富家庭的娱乐生活。
【IPC分类】H05B37-02, G06K9-00
【公开号】CN104582187
【申请号】CN201510019195
【发明人】刘治, 宿方琪, 孙育霖, 唐波, 肖晓燕, 刘晶
【申请人】山东大学
【公开日】2015年4月29日
【申请日】2015年1月14日