一种机器人人脸检测跟踪情感检测系统的制作方法
【技术领域】
[0001]本发明涉及一种家庭服务机器人的人脸检测跟踪及情感识别系统。
【背景技术】
[0002]现有的家庭服务机器人的人脸识别能力有限，尤其是情感识别能力非常有限，无法对家庭中老人或者儿童的情感状态进行全方位的识别，比如发明专利[I] [2]中的人脸识别模块，仅仅通过所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像，但识别能力有限，特别是针对存储较多人脸图像时，无法有效完成人脸的识别。发明[3]中助老/助残机器人尽管具有防盗监测、安全检查、监护诊疗、辅助行走、物品搬运、家电控制、清洁卫生、家庭娱乐、报时催醒、儿童教育等功能，但没有人脸检测和情感识别的功能，无法对家庭中的老人和孩子的状态进行有效识别。发明[4]主要通过分析语音和人脸，进行情感特征提取，决策出机器人要表达的情感，并通过相应输出设备输出，产生出机器人的面部表情和身体语言，但该系统既没有能够实现机器人的自主运动，也没有能够有效地判断老人和孩子的行为状态。发明[5]主要提供一种机器人的情绪生成与表达系统，而对于如何通过人脸检测来识别老人和儿童的情感状态方面没有涉及。发明
[6]提出了一种基于多特征融合的人脸定位与头部姿势识别的方法，可以实现在变化光照条件、移动场景下的人脸运动分析，但没有通过人脸运动分析，解决人的情感识别问题。
[0003][I]具有人脸识别的智能机器人，公开号:CN201163417Y，发明设计人:陈振雄；杨舟；李娜；皮小平等
[2]具有人脸识别的安保机器人，公开号:CN202985566U，发明设计人:王云
[3]助老/助残机器人，公开号:CN202397747U，发明设计人:肖南峰
[4]情感机器人系统，公开号:CN101474481A，发明人:王志良、刘遥峰、解仑、赵晖坐寸ο
[0004][5] 一种机器人情绪情感生成与表达系统，公开号:CN 103218654 A，发明人:杜振军，徐方，曲道奎，贾凯，郑春晖，谭波悦等
[6]基于多特征融合的人脸定位与头部姿势识别方法，公开号:CN 1601549A，发明人:谭铁牛，魏育成，周超。
【发明内容】
[0005]本发明要解决的技术问题:针对现在家庭机器人应用的人脸检测和情感识别系统主要由可移动摄像头和固定摄像头组成，只是单纯实现人脸识别系统，智能化程度有限，并且无法感知周围其他信息的问题，提供了一种能够进行人脸追踪和情感识别的机器人人脸识别系统。
[0006]本发明技术方案:
一种机器人人脸检测跟踪情感检测系统，其特征在于:包括人脸检测情感识别系统和人脸跟踪系统，两者均和主控计算机系统连接，人脸检测情感识别系统包括采集人脸表情库、表情特征库构建模块、特征库重构模块和表情识别模块，人脸跟踪系统和数字舵机控制系统连接。
[0007]根据权利要求1所述的机器人人脸检测跟踪情感检测系统，其特征在于:人脸跟踪系统的工作方法包括四个步骤:步骤一，在当前目标位置上建立在线分类器；步骤二，下一帧利用上一步建立的分类器在候选区域内遍历搜索，生成置信图；步骤三.在置信图中搜索极大值作为目标所在的新位置；步骤四，在极大值位置处选取样本，利用得到的新样本更新分类器，在下一帧中利用更新后的分类器重复步骤二和步骤三。
[0008]本发明有益效果:
本发明主要用于机器人的视觉感知和控制，检测图像中的人脸位置进而控制机器人的头部转动和机器人行进方向，并根据人面部表情的变化，通过led点阵进行表情的仿真。本发明能够实现机器人自主实时检测和追踪人脸、情感识别与仿真，并为其他机器人视觉功能提供基础的视觉图像数据。为了兼顾人脸跟踪和识别算法的鲁棒性、精确性和实时性，利用人脸检测算法实现人脸目标的自动定位，然后以CAMShift为跟踪算法进行人脸跟踪。在CAMShift跟踪之前引入前置滤波器，滤除类肤色区域，可以有效提高人脸的跟踪鲁棒性，解决CAMShift容易跟踪到类肤色区域的问题。
[0009]【附图说明】:
图1为本发明组成结构示意图。
[0010]图2为人脸检测与情感识别系统的工作原理图。
[0011]图3为人脸跟踪系统的跟踪流程图。
[0012]【具体实施方式】:
发明主要涉及家庭环境中的智能家庭服务机器人，包括运动装置、图像处理模块、控制装置、表情仿真装置，整体组成结构如图1所示，主控计算机系统分别连接底盘控制器、人脸检测情感识别系统、通讯模块和音箱；底盘控制器和下位机控制系统连接，控制底盘的左右轮的电机工作。通讯模块分别连接机器人头部的数字电机控制系统和机器人手臂的步进电机控制系统，数字电机控制系统和人脸跟踪系统连接，在人脸跟踪的信息下，系统数字电机控制系统控制头部的2个舵机工作，I个舵机负责控制机器人脖子的上下转动，I个舵机控制头部的左右转动，从而可以控制眼球(摄像头I和II的转动)。
[0013]机器人的人脸检测与情感识别系统由采集人脸表情库、表情特征库构建模块、特征库重构模块和表情识别模块4个部分组成，
I)采集人脸表情库
人脸表情库采集模块完成从摄像头中自动进行人脸检测和表情区定位，生成用于表情特征提取的训练图像集。该模块同样需要通过人眼检测来对人脸进行旋转和根据人脸几何结构特征对表情区进行精确定位。
[0014]2)表情特征库构建模块
表情特征库构建模块使用主成分分析法(PCA)降维去除图像冗余信息，提取表情特征，并将表情特征保存为文件。
[0015]3)特征库重构模块
特征库重构模块使用基于距离哈希法(DBH)将原始特征库重构为结构化的哈希表，用作提闻表情识别效率。
[0016]4)表情识别模块
表情识别模块从摄像头中采集彩色图像帧，将其转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化，接着进行人脸检测、人眼检测、人脸旋转、表情区精确定位、表情特征提取等步骤提取出图像表情特征，最后在重构后的特征库中进行k最近邻分类(KNN)来识别人脸表情，以此来指导机器人对老人和儿童的行为进行预测。
[0017]基于在线前置滤波CAMShift算法的家庭服务机器人人脸跟踪系统描述:
所述机器人的人脸跟踪系统可以分为五个步骤:(I)在当前目标位置上建立在线分类器分类滤波；(2)下一帧利用上一步建立的分类器在候选区域内遍历搜索，建立人脸跟踪目标颜色直方图；(3)根据直方图生成颜色概率分布图像，并在其中搜索极大值作为目标所在的新位置；(4)在极大值位置处选取样本，利用得到的新样本更新分类器，判断目标搜索是否收敛，如收敛，解决目标大小自适应问题更新在线滤波器；(5)如目标搜索不收敛，重复步骤(I)、(2)、(3)和(4)，直至目标搜索收敛，解决目标大小自适应问题更新在线滤波器，输出目标位置和大小；具体过程如图3所示。
【主权项】
1.一种机器人人脸检测跟踪情感检测系统，其特征在于:包括人脸检测情感识别系统和人脸跟踪系统，两者均和主控计算机系统连接，人脸检测情感识别系统包括采集人脸表情库、表情特征库构建模块、特征库重构模块和表情识别模块，人脸跟踪系统和数字舵机控制系统连接。2.根据权利要求1所述的机器人人脸检测跟踪情感检测系统，其特征在于:人脸跟踪系统的工作方法包括四个步骤:步骤一，在当前目标位置上建立在线分类器；步骤二，下一帧利用上一步建立的分类器在候选区域内遍历搜索，生成置信图；步骤三.在置信图中搜索极大值作为目标所在的新位置；步骤四，在极大值位置处选取样本，利用得到的新样本更新分类器，在下一帧中利用更新后的分类器重复步骤二和步骤三。
【专利摘要】一种机器人人脸检测跟踪情感检测系统，包括人脸检测情感识别系统和人脸跟踪系统，两者均和主控计算机系统连接，人脸检测情感识别系统包括采集人脸表情库、表情特征库构建模块、特征库重构模块和表情识别模块，人脸跟踪系统和数字舵机控制系统连接。本发明能够实现机器人自主实时检测和追踪人脸、情感识别与仿真，并为其他机器人视觉功能提供基础的视觉图像数据。
【IPC分类】G06K9/46, G06K9/00, G06K9/62
【公开号】CN105590084
【申请号】CN201410606320
【发明人】蔡则苏, 王建森, 蔺绍勇, 杨建军, 于绍彤, 马杰
【申请人】贵州亿丰升华科技机器人有限公司
【公开日】2016年5月18日
【申请日】2014年11月3日