一种基于人脸识别的视频通信方法及系统的制作方法
【专利摘要】一种基于人脸识别的视频通信方法，其包括如下步骤：S1、预存渲染动态图像，将渲染动态图像划分为不同的应用场景；S2、通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转到步骤S3；如果没有检测到人脸，跳转到步骤S1；S3、对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种；S4、根据步骤S3中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上；跳转到步骤S2直至视频通信结束。
【专利说明】
一种基于人脸识别的视频通信方法及系统
技术领域
[0001]本发明涉及无线通信技术领域，特别涉及一种基于人脸识别的视频通信方法及系统。
【背景技术】
[0002]随着移动终端的普及、无线网络技术日益成熟，现有的语音通话和短信交流方式已经不能满足人们需求，视频语音聊天业务越来越被人们所青睐。然而，虽然无线互联网蓬勃发展，用户量与日剧增，但是移动通讯网络普及程度仍然不足，移动通讯网络速度较慢，费用较高，限制用户实时视频聊天应用的发展，此外，移动终端的性能还不高，特别是移动终端摄像头清晰度不高，也影响视频聊天业务的用户体验。
[0003]在现有移动终端即时通讯软件中，一般都实现了视频或语音聊天的功能。一般的实现方法是，把麦克风和摄像头录制语音和视频，及进行音视频数据压缩同步处理，通过网络传输后在另一客户端播放视频画面;还有一些采用虚拟摄像头的方式对视频图像进行实时转换，通过人脸识别技术显示成虚拟形象视频数据，将生成的视频数据通过网络传输后在另一客户端播放视频画面。
[0004]现有技术中视频通信方法，通常仅有双方摄像头拍摄的实景头像信息，即时存在能够在头像信息上叠加其他图片，叠加的效果不佳，并且叠加的图片事先固定，灵活程度不尚O
【发明内容】
[0005]有鉴于此，本发明提出一种基于人脸识别的视频通信方法及系统。
[0006]—种基于人脸识别的视频通信方法，其包括如下步骤:
51、预存渲染动态图像，将渲染动态图像划分为不同的应用场景；
52、通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转到步骤S3;如果没有检测到人脸，跳转到步骤SI;
53、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种；
54、根据步骤S3中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。
[0007]在本发明所述的基于人脸识别的视频通信方法中，
所述步骤S2包括:
通过摄像头获取视频图像信息，对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息；
加载特征训练文件，特征训练文件包括边缘特征、线性特征、中心特征和对角线特征； 通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸； 如果检测到人脸，跳转到步骤S3;如果没有检测到人脸，重复执行步骤S2。
[0008]在本发明所述的基于人脸识别的视频通信方法中，
所述步骤S3包括:
531、对检测到的人脸进行预处理；
532、设置人脸跟踪区域，跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组；
533、在下一帧中通过区域限制算法确定该下一帧的跟踪区域；
534、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种。
[0009]在本发明所述的基于人脸识别的视频通信方法中，所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息；
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息，特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组；
将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练获得心情状态判断模型；
获取检测的人脸关键点对应的特征信息，并通过心情状态判断模型判断用户此刻心情状态信息。
[0010]在本发明所述的基于人脸识别的视频通信方法中，
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系；
获取步骤S3中的心情状态信息，根据心情状态信息与应用场景的映射关系选择相应的应用场景；
在该应用场景中随机获取渲染动态图像，将渲染动态图像叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。
[0011]本发明还提供一种基于人脸识别的视频通信系统，其包括如下单元:
预存分类单元，用于预存渲染动态图像，将渲染动态图像划分为不同的应用场景； 人脸检测单元，用于通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转执行跟踪识别单元;如果没有检测到人脸，跳转执行预存分类单元；
跟踪识别单元，用于对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种；
渲染单元，用于根据跟踪识别单元中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。
[0012]在本发明所述的基于人脸识别的视频通信系统中， 所述人脸检测单元包括:
通过摄像头获取视频图像信息，对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息；
加载特征训练文件，特征训练文件包括边缘特征、线性特征、中心特征和对角线特征； 通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸；
如果检测到人脸，跳转执行跟踪识别单元;如果没有检测到人脸，重复执行人脸检测单
J L ο
[0013]在本发明所述的基于人脸识别的视频通信系统中，
所述跟踪识别单元包括:
预处理子单元，用于对检测到的人脸进行预处理；
跟踪子单元，用于设置人脸跟踪区域，跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组；
区域计算子单元，用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域；
识别子单元，用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态，心情状态包括积极情绪、消极情绪、中立情绪任一种。
[0014]在本发明所述的基于人脸识别的视频通信系统中，所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息；
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息，特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组；
将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练获得心情状态判断模型；
获取检测的人脸关键点对应的特征信息，并通过心情状态判断模型判断用户此刻心情状态信息。
[0015]在本发明所述的基于人脸识别的视频通信系统中，
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系；
获取跟踪识别单元中的心情状态信息，根据心情状态信息与应用场景的映射关系选择相应的应用场景；
在该应用场景中随机获取渲染动态图像，将渲染动态图像叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。
[0016]实施本发明提供的基于人脸识别的视频通信方法及系统与现有技术相比具有以下有益效果:首先预存了渲染动态图像，将渲染动态图像划分为不同的应用场景，并且通过人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种，根据心情状态来选择合适的渲染动态图像到人脸上，使得视频聊天过程中叠加的图片符合当时用户的心情状态，提高用户体验;此外，对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别，使得视频聊天过程中叠加的图片是实时可变的，灵活性高。
【附图说明】
[0017]
图1是本发明实施例的基于人脸识别的视频通信方法流程图；
图2是图1中步骤S3的子流程图；
图3是本发明实施例的基于人脸识别的视频通信系统结构框图；
图4是图3中跟踪识别单元的结构框图。
【具体实施方式】
[0018]
如图1所示，一种基于人脸识别的视频通信方法，其包括如下步骤:
S1、预存渲染动态图像，将渲染动态图像划分为不同的应用场景。
[0019]渲染动态图片可以包括各种头饰、耳钉、腮红、各种风格眼镜、大哭的特效、头像上黑线的特效图片等等。应用场景可以划分为高兴场景、忧伤场景以及中立场景。
[0020]S2、通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转到步骤S3;如果没有检测到人脸，跳转到步骤SI。
[0021 ]可选地，在本发明实施例所述的基于人脸识别的视频通信方法中，
所述步骤S2包括:
通过摄像头获取视频图像信息，对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息。通过灰度化和直方图归一化处理，可以使得人脸特征更为突出。此外，优选地，还可以进行照度校正和光照校正处理，可以削弱侧面光源对人脸图像的干扰以及削弱正面光源对人脸图像的干扰。
[0022]加载特征训练文件，特征训练文件包括边缘特征、线性特征、中心特征和对角线特征。
[0023]通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。
[0024]如果检测到人脸，跳转到步骤S3;如果没有检测到人脸，重复执行步骤S2。
[0025]S3、对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种。
[0026]通过对检测到的用户人脸进行动态跟踪，可以实时对用户此刻心情状态信息进行跟踪。
[0027]可选地，如图2所示，在本发明实施例所述的基于人脸识别的视频通信方法中，
所述步骤S3包括:
S31、对检测到的人脸进行预处理。
[0028]S32、设置人脸跟踪区域，跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组。此外，通过设置人脸中心位置在水平方向、垂直方向、人脸尺度的变化阈值，限定了人脸跟踪区域的范围。
[0029]S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域。通过区域限制算法能够降低跟踪的运算量。
[0030]S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别。并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种。
[0031]可选地，在本发明实施例所述的基于人脸识别的视频通信方法中，所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
[0032]根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息，特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组。
[0033]将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练获得心情状态判断模型。
[0034]获取检测的人脸关键点对应的特征信息，并通过心情状态判断模型判断用户此刻心情状态ig息。
[0035]通过实施本实施例，建立心情状态判断模型，能够实时判断用户的心理状态。进而选择合适的渲染动态图像进行叠加。比如在判断为积极情绪时，可以叠加大笑的渲染动态图像，将龇压大笑的渲染动态图像替换用户的牙齿，使得聊天场景生动，用户体验度高。在判断为消极情绪时，可以叠加黑线的渲染动态图像，将黑线的渲染动态图像叠加用户的额头上。
[0036]S4、根据步骤S3中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。
[0037]可选地，在本发明实施例所述的基于人脸识别的视频通信方法中，
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系。
[0038]获取步骤S3中的心情状态信息，根据心情状态信息与应用场景的映射关系选择相应的应用场景。可选地，一种心情状态下可以对应多组应用场景下的图片信息，并且这些对应关系用户可灵活设置。
[0039]在该应用场景中随机获取渲染动态图像，将渲染动态图像叠加到人脸关键点上；跳转到步骤S2直至视频通信结束。
[0040]如图3所示，本发明实施例还提供一种基于人脸识别的视频通信系统，其包括如下单元:
预存分类单元，用于预存渲染动态图像，将渲染动态图像划分为不同的应用场景。
[0041]人脸检测单元，用于通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转执行跟踪识别单元;如果没有检测到人脸，跳转执行预存分类单元。
[0042]可选地，在本发明实施例所述的基于人脸识别的视频通信系统中，
所述人脸检测单元包括:
通过摄像头获取视频图像信息，对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息。
[0043]加载特征训练文件，特征训练文件包括边缘特征、线性特征、中心特征和对角线特征。
[0044]通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸。
[0045]如果检测到人脸，跳转执行跟踪识别单元;如果没有检测到人脸，重复执行人脸检测单元。
[0046]跟踪识别单元，用于对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、
中立情绪任一种。
[0047]可选地，如图4所示，在本发明实施例所述的基于人脸识别的视频通信系统中，
所述跟踪识别单元包括:
预处理子单元，用于对检测到的人脸进行预处理。
[0048]跟踪子单元，用于设置人脸跟踪区域，跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组。
[0049]区域计算子单元，用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域。
[0050]识别子单元，用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识另Ij;并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态，心情状态包括积极情绪、消极情绪、中立情绪任一种。
[0051]可选地，在本发明实施例所述的基于人脸识别的视频通信系统中，所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
[0052]根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息，特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组。
[0053]将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练获得心情状态判断模型。
[0054]获取检测的人脸关键点对应的特征信息，并通过心情状态判断模型判断用户此刻心情状态ig息。
[0055]渲染单元，用于根据跟踪识别单元中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。
[0056]可选地，在本发明实施例所述的基于人脸识别的视频通信系统中，
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系。
[0057]获取跟踪识别单元中的心情状态信息，根据心情状态信息与应用场景的映射关系选择相应的应用场景。
[0058]在该应用场景中随机获取渲染动态图像，将渲染动态图像叠加到人脸关键点上；跳转执行人脸检测单元直至视频通信结束。
[0059]实施本发明提供的基于人脸识别的视频通信方法及系统与现有技术相比具有以下有益效果:首先预存了渲染动态图像，将渲染动态图像划分为不同的应用场景，并且通过人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种，根据心情状态来选择合适的渲染动态图像到人脸上，使得视频聊天过程中叠加的图片符合当时用户的心情状态，提高用户体验;此外，对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别，使得视频聊天过程中叠加的图片是实时可变的，灵活性高。
[0060]上述方法实施例与系统实施例是一一对应的，因此，方法实施例的扩展也可适用于上述系统实施例。
[0061]结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、⑶-ROM、或技术领域内所公知的任意其他形式的存储介质中。
[0062]可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其它各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。
【主权项】
1.一种基于人脸识别的视频通信方法，其包括如下步骤: 51、预存渲染动态图像，将渲染动态图像划分为不同的应用场景； 52、通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转到步骤S3;如果没有检测到人脸，跳转到步骤SI; 53、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种； 54、根据步骤S3中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。2.根据权利要求1所述的基于人脸识别的视频通信方法，其特征在于， 所述步骤S2包括: 通过摄像头获取视频图像信息，对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息； 加载特征训练文件，特征训练文件包括边缘特征、线性特征、中心特征和对角线特征； 通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸； 如果检测到人脸，跳转到步骤S3;如果没有检测到人脸，重复执行步骤S2。3.根据权利要求2所述的基于人脸识别的视频通信方法，其特征在于， 所述步骤S3包括: 531、对检测到的人脸进行预处理； 532、设置人脸跟踪区域，跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组； 533、在下一帧中通过区域限制算法确定该下一帧的跟踪区域； 534、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种。4.根据权利要求3所述的基于人脸识别的视频通信方法，其特征在于，所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息； 根据人脸关键点判断用户此刻心情状态包括: 预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息，特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组； 将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练获得心情状态判断模型； 获取检测的人脸关键点对应的特征信息，并通过心情状态判断模型判断用户此刻心情状态信息。5.根据权利要求4所述的基于人脸识别的视频通信方法，其特征在于， 所述步骤S4包括: 建立心情状态信息与应用场景的映射关系； 获取步骤S3中的心情状态信息，根据心情状态信息与应用场景的映射关系选择相应的应用场景； 在该应用场景中随机获取渲染动态图像，将渲染动态图像叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。6.一种基于人脸识别的视频通信系统，其包括如下单元: 预存分类单元，用于预存渲染动态图像，将渲染动态图像划分为不同的应用场景；人脸检测单元，用于通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转执行跟踪识别单元;如果没有检测到人脸，跳转执行预存分类单元； 跟踪识别单元，用于对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种； 渲染单元，用于根据跟踪识别单元中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。7.根据权利要求6所述的基于人脸识别的视频通信系统，其特征在于， 所述人脸检测单元包括: 通过摄像头获取视频图像信息，对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息； 加载特征训练文件，特征训练文件包括边缘特征、线性特征、中心特征和对角线特征； 通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸； 如果检测到人脸，跳转执行跟踪识别单元;如果没有检测到人脸，重复执行人脸检测单J L ο8.根据权利要求7所述的基于人脸识别的视频通信系统，其特征在于， 所述跟踪识别单元包括: 预处理子单元，用于对检测到的人脸进行预处理； 跟踪子单元，用于设置人脸跟踪区域，跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组； 区域计算子单元，用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域； 识别子单元，用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态，心情状态包括积极情绪、消极情绪、中立情绪任一种。9.根据权利要求8所述的基于人脸识别的视频通信系统，其特征在于，所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息； 根据人脸关键点判断用户此刻心情状态包括: 预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息，特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组； 将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练获得心情状态判断模型； 获取检测的人脸关键点对应的特征信息，并通过心情状态判断模型判断用户此刻心情状态信息。10.根据权利要求9所述的基于人脸识别的视频通信系统，其特征在于， 所述渲染单元包括: 建立心情状态信息与应用场景的映射关系； 获取跟踪识别单元中的心情状态信息，根据心情状态信息与应用场景的映射关系选择相应的应用场景； 在该应用场景中随机获取渲染动态图像，将渲染动态图像叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。
【文档编号】H04N7/14GK105847734SQ201610189755
【公开日】2016年8月10日
【申请日】2016年3月30日
【发明人】徐阿宏, 何异, 杨柳
【申请人】宁波三博电子科技有限公司