一种基于面部表情识别的客户需求智能反馈方法与流程
本发明涉及表情识别领域，尤其是涉及了一种基于面部表情识别的客户需求智能反馈方法。
背景技术：
客户的需求是推动产品创新优化的基本，也是整体战略定位的方向。比如，客户的需求对于商家销售商品，制作电影、电视剧或电视节目，活动主办方举办各种活动等都有重要的意义。然而客户需求并不是能够轻易地获取的，因为客户需求带有多面性和不确定性，需要大量的沟通和分析，消耗大量的人力物力，也未必能把客户心中的模糊的需求以精确的方式展现出来。
在传统的客户需求的调查基本采用人为的问卷或者面对面交流等方式，在数据量没有到达一定数量的时候所获得的反馈结果并不具有参考作用，然而当数据量到达一定数量的时候，会占据大量的人力物力，由于客户的需求并不是都那么明确，所以可能也获取不到最准确的结果。
本发明提出了一种基于面部表情识别的客户需求智能反馈方法，对客户无意识地观看显示屏时的表情进行分析，从而获得客户需求的智能反馈。本发明无需客户进行选择，直接通过表情识别分析，没有人为的主观因素影响，结果客观；也无需大量的人力物力的投入，在观看显示屏时进行表情分析，无需投入额外的时间，减少资金投入；同时，此方法简单易行，应用广泛。
技术实现要素：
针对传统方法耗时耗力并且不准确等问题，本发明的目的在于提供一种基于面部表情识别的客户需求智能反馈方法，先将包括广告、影视作品、宣传片等视频素材在显示屏上显示，供客户观看；利用内置摄像头捕捉客户观看不同视频内容时的不同表情，输入该视频数据，并进行表情识别；最后获得信息反馈。
为解决上述问题，本发明提供一种基于面部表情识别的客户需求智能反馈方法，其主要内容包括：
(一)素材库；
(二)表情识别；
(三)信息反馈。
其中，所述的素材库，包括广告、影视作品、宣传片等视频素材在显示屏上显示，供客户观看。
其中，所述的表情识别，包括利用利用内置摄像头捕捉客户观看不同视频内容时的不同表情形成视频数据、结合增强补丁和多标签学习(ZBDX)框架、动作单元(AU)相互关系推导、将AU关系和ZBDX合并。
进一步地，所述的结合增强补丁和多标签学习(ZBDX)框架，包括增强补丁学习和多标签学习；使作为训练集，N为实例个数，存在L个AU；其中是一个从面部图像提取的特征向量；yi∈{+1,-1}L是一个L×1标签矢量，第l个元素yil＝+1，则表示第l个AU存在，如果yil＝-1，表示第l个AU不存在；
简单的说，使作为数据模型，作为包含第l个AU一个实例的索引集；目标在矩阵形式学习L线性分类器，根据W的对应行，执行组稀疏特征选择，根据W的对应列，确定AU关系；制定ZBDX作为一个无约束优化：
其中是逻辑损失，Ω(W)是增强补丁的正则化，执行以W为组的稀疏行，ψ(w,x)是关系正规化，利用AU关系约束X的预测，对Ω(·)调节参数α，(β1,β2)包含在ψ(·,·)里。
进一步地，所述的增强补丁学习，能更好地捕捉在不同的面部区域(例如，口腔角)的外观变化；为了解决在AUs区域的外观变化，定义一组稀疏性的分类矩阵W；群稀疏性学习的目的是将变量分成组，然后选择每组的稀疏性；每一个列的W分裂成非重叠组，每组128个值，每个组对应于从一个特定的增强补丁提取的筛选特征；这种分组通过共同设置一组在W到零的增强补丁稀疏的选择，公式(1)简化为：
其中是增强补丁的正则化，是第l个AU的第p组。
进一步地，所述的多标签学习，利用共同发生的面部单元的约束作用，提取两种AU关系，积极和消极的，构造了一个相应的关系约束，以帮助提高预测性能；将其与增强补丁结合形成ZBDX框架，充分考虑特征或者动作单元之间的依赖性。
进一步地，所述的动作单元(AU)相互关系推导，通过统计分析多个表情测谎的数据集获得AU之间的关系，得到AU关系推导，将AU之间的关系分成正相关和负相关；相关系数≥0.40为正相关，相关系数≤-0.60为负相关。
进一步地，所述的将AU关系和ZBDX合并，分别用和表示AU对的正相关和负相关；在中，为了合并AU关系，引入关系正规化
β1和β2是折衷系数，抓住AU关系的正相关：
γij是一个预定义的相似性得分，决定了相似的两个预测和更大的γij是在中第i个和第j个更相似的预测AUs；正规化矩阵背后的原理是AUs在同一个正组将共享类似的预测，从而最大限度地减少方程(4)；另一方面，消极竞争的正则化定义为：
象征中的第n个AU对；公式(5)中的l1标准倾向于实现一个稀疏解，如果一个分类器预测AU1在组中，则AU6分类器容易产生小的预测值，对正则化的价值最小化，所以需要解决多标签学习任务ZBDX：
进一步地，所述的ZBDX的算法，由于增强补丁正规化矩阵Ω(W)和关系矩阵ψ(W,X)对分别W行和列进行约束，公式(1)没有解析解；通过引入辅助变量W1,W2，然后使用ADMM共同优化W1和W2，重写公式(1)：
s.t.W1＝W2 (6)
引入拉格朗日算符和惩罚项ρ，扩张的拉格朗日算符可以写成
通过以下更新：
解决公式(9)涉及增强补丁的正则化Ω(W1)和扩张术语由于用L2,1解W1范数非光滑问题，分解L2,1规范分解为49个子问题，然后使用加速梯度法求解；该算法的收敛条件是‖w(t+1)-w(t)‖2≤δ(δ＝10-5)；
解决公式(9)涉及关联化ψ(W2,X)和的增加项目；对于ψ(·,·)，正相关在W2是光滑的，但是负相关不使公式(9)不可微；给定一个训练样本xi和它的负相关关系指示作为一个的W的子矩阵，每列包含使它的双重规范为根据涅斯捷罗夫的近似值平滑即可以近似为以下光滑函数：
μ是控制精度的一个参数，对于一个固定的W，得到z：
基于这些知识，解决问题(9)的非光滑的目的为光滑逼近：
其中
ZBDX是通过迭代增强补丁学习和多标签学习优化。
其中，所述的信息反馈，通过表情识别获取信息反馈，用以分析广告、影视作品、宣传片等对受众群体的吸引力，从而分析不同性别、不同年龄的客户的兴趣点。
附图说明
图1是本发明一种基于面部表情识别的客户需求智能反馈方法的系统流程图。
图2是本发明一种基于面部表情识别的客户需求智能反馈方法的素材库。
图3是本发明一种基于面部表情识别的客户需求智能反馈方法的摄像头采集到的表情视频数据。
图4是本发明一种基于面部表情识别的客户需求智能反馈方法的表情识别的流程图。
图5是本发明一种基于面部表情识别的客户需求智能反馈方法的结合增强补丁和多标签学习(ZBDX)框架的实例图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于面部表情识别的客户需求智能反馈方法的系统流程图。主要包括素材库、表情识别和信息反馈。
其中，素材库包括广告、影视作品、宣传片等视频素材在显示屏上显示，供客户观看。
其中，表情识别包括利用内置摄像头捕捉客户观看不同视频内容时的不同表情形成视频数据、结合增强补丁和多标签学习(ZBDX)框架、动作单元(AU)相互关系推导、将AU关系和ZBDX合并。
其中，信息反馈是通过表情识别获取信息反馈，用以分析广告、影视作品、宣传片等对受众群体的吸引力，从而分析不同性别、不同年龄的客户的兴趣点。
图2是本发明一种基于面部表情识别的客户需求智能反馈方法的素材库。素材库包括广告、影视作品、宣传片等视频素材在显示屏上显示，供客户观看。
图3是本发明一种基于面部表情识别的客户需求智能反馈方法的摄像头采集到的表情视频数据。利用内置摄像头捕捉客户观看不同视频内容时的不同表情，形成视频数据。
图4是本发明一种基于面部表情识别的客户需求智能反馈方法的表情识别的流程图。主要包括利用输入视频数据、结合增强补丁和多标签学习(ZBDX)框架、动作单元(AU)相互关系推导、将AU关系和ZBDX合并。
其中，结合增强补丁和多标签学习(ZBDX)框架，包括增强补丁学习和多标签学习；使作为训练集，N为实例个数，存在L个AU；其中是一个从面部图像提取的特征向量；yi∈{+1,-1}L是一个L×1标签矢量，第l个元素yil＝+1，则表示第l个AU存在，如果yil＝-1，表示第l个AU不存在；
简单的说，使作为数据模型，作为包含第l个AU一个实例的索引集；目标在矩阵形式学习L线性分类器，根据W的对应行，执行组稀疏特征选择，根据W的对应列，确定AU关系；制定ZBDX作为一个无约束优化：
其中是逻辑损失，Ω(W)是增强补丁的正则化，执行以W为组的稀疏行，ψ(w,x)是关系正规化，利用AU关系约束X的预测，对Ω(·)调节参数α，(β1,β2)包含在ψ(·,·)里。
进一步地，增强补丁学习，能更好地捕捉在不同的面部区域(例如，口腔角)的外观变化；为了解决在AUs区域的外观变化，定义一组稀疏性的分类矩阵W；群稀疏性学习的目的是将变量分成组，然后选择每组的稀疏性；每一个列的W分裂成非重叠组，每组128个值，每个组对应于从一个特定的增强补丁提取的筛选特征；这种分组通过共同设置一组在W到零的增强补丁稀疏的选择，公式(1)简化为：
其中是增强补丁的正则化，是第l个AU的第p组。
进一步地，多标签学习，利用共同发生的面部单元的约束作用，提取两种AU关系，积极和消极的，构造了一个相应的关系约束，以帮助提高预测性能；将其与增强补丁结合形成ZBDX框架，充分考虑特征或者动作单元之间的依赖性。
其中，动作单元(AU)相互关系推导，通过统计分析多个表情测谎的数据集获得AU之间的关系，得到AU关系推导，将AU之间的关系分成正相关和负相关；相关系数≥0.40为正相关，相关系数≤-0.60为负相关。
其中，将AU关系和ZBDX合并，分别用和表示AU对的正相关和负相关；在中，为了合并AU关系，引入关系正规化
β1和β2是折衷系数，抓住AU关系的正相关：
γij是一个预定义的相似性得分，决定了相似的两个预测和更大的γij是在中第i个和第j个更相似的预测AUs；正规化矩阵背后的原理是AUs在同一个正组将共享类似的预测，从而最大限度地减少方程(4)；另一方面，消极竞争的正则化定义为：
象征中的第n个AU对；公式(5)中的l1标准倾向于实现一个稀疏解，如果一个分类器预测AU1在组中，则AU6分类器容易产生小的预测值，对正则化的价值最小化，所以需要解决多标签学习任务ZBDX：
进一步地，ZBDX的算法，由于增强补丁正规化矩阵Ω(W)和关系矩阵ψ(W,X)对分别W行和列进行约束，公式(1)没有解析解；通过引入辅助变量W1,W2，然后使用ADMM共同优化W1和W2，重写公式(1)：
s.t.W1＝W2 (6)
引入拉格朗日算符和惩罚项ρ，扩张的拉格朗日算符可以写成
通过以下更新：
解决公式(9)涉及增强补丁的正则化Ω(W1)和扩张术语由于用L2,1解W1范数非光滑问题，分解L2,1规范分解为49个子问题，然后使用加速梯度法求解；该算法的收敛条件是‖w(t+1)-w(t)‖2≤δ(δ＝10-5)；
解决公式(9)涉及关联化ψ(W2,X)和的增加项目；对于ψ(·,·)，正相关在W2是光滑的，但是负相关不使公式(9)不可微；给定一个训练样本xi和它的负相关关系指示作为一个的W的子矩阵，每列包含使它的双重规范为根据涅斯捷罗夫的近似值平滑即可以近似为以下光滑函数：
μ是控制精度的一个参数，对于一个固定的W，得到z：
基于这些知识，解决问题(9)的非光滑的目的为光滑逼近：
其中
ZBDX是通过迭代增强补丁学习和多标签学习优化。
图5是本发明一种基于面部表情识别的客户需求智能反馈方法的结合增强补丁和多标签学习(ZBDX)框架的实例图。结合增强补丁和多标签学习(ZBDX)框架包括增强补丁学习和多标签学习；使作为训练集，N为实例个数，存在L个AU；其中是一个从面部图像提取的特征向量；yi∈{+1,-1}L是一个L×1标签矢量，第l个元素yil＝+1，则表示第l个AU存在，如果yil＝-1，表示第l个AU不存在；
简单的说，使作为数据模型，作为包含第l个AU一个实例的索引集；目标在矩阵形式学习L线性分类器，根据W的对应行，执行组稀疏特征选择，根据W的对应列，确定AU关系；制定ZBDX作为一个无约束优化：
其中是逻辑损失，Ω(W)是增强补丁的正则化，执行以W为组的稀疏行，ψ(w,x)是关系正规化，利用AU关系约束X的预测，对Ω(·)调节参数α，(β1,β2)包含在ψ(·,·)里。
其中，增强补丁学习，能更好地捕捉在不同的面部区域(例如，口腔角)的外观变化；为了解决在AUs区域的外观变化，定义一组稀疏性的分类矩阵W；群稀疏性学习的目的是将变量分成组，然后选择每组的稀疏性；每一个列的W分裂成非重叠组，每组128个值，每个组对应于从一个特定的增强补丁提取的筛选特征；这种分组通过共同设置一组在W到零的增强补丁稀疏的选择，公式(1)简化为：
其中是增强补丁的正则化，是第l个AU的第p组。
其中，多标签学习，利用共同发生的面部单元的约束作用，提取两种AU关系，积极和消极的，构造了一个相应的关系约束，以帮助提高预测性能；将其与增强补丁结合形成ZBDX框架，充分考虑特征或者动作单元之间的依赖性。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
- 还没有人留言评论。精彩留言会获得点赞！