一种基于情绪识别的展品关注度分析系统及分析方法与流程

本发明涉及情绪识别处理技术领域，尤其涉及一种基于情绪识别的展品关注度分析系统及分析方法。

背景技术：

对于经营性展览展示场景，展品对参观人员的吸引力分析对展览展示运营效率提升有重要作用。既往一般采用展厅内人流人力图方式进行展品吸引力分析，存在典型问题是仅能根据展位特定区域人员数量进行分析，无法获知人员是否对特定展品关注以及关注程度。

现有技术也存在一些情绪识别技术，例如专利公开技术：一种情绪识别方法和装置以及智能交互方法和设备，其主要公开了一种情绪识别方法，该方法的主要操作是：根据用户的语音消息获取语音情绪识别结果；根据用户的面部图像获取面部情绪识别结果，面部情绪识别结果也包括预设的至少两种情绪分类的一种；以及当所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为所述相同的情绪分类。但是很显然，这种方式方法并没有直接引述到关注展品的情绪识别以及情绪变化识别的技术内容，上述现有技术只是单一识别面部情绪。

同时现有技术中也存在一些对人脸识别的图像采集方法，然而这些方法都是根据展位特定区域人员数量进行分析得到的关注度结论，然而这种关注度判断方式极容易引起误判，判断结果精度较差；因为聚集在某一展位，或是人员密度大并不能直接判断该展位受关注度高。

综上，如何克服传统技术中的上述技术缺陷是本领域技术人员急需解决的技术问题。

技术实现要素：

本发明的目的在于提供一种基于情绪识别的展品关注度分析系统及分析方法，以解决上述问题。

为了达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种基于情绪识别的展品关注度分析系统，包括摄像机系统、主控制单元、分析单元、人脸面部情绪识别单元；

其中，所述摄像机系统，用于对经过展区的当前人员的人脸面部图像进行采集；

所述主控制单元，用于对采集的所述当前人员的人脸面部图像进行初步识别处理，获取经过展品预设范围内的当前人员的数量信息，获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围；

所述分析单元，用于根据当前展品预设范围内的当前人员的人脸朝向、眼部视线范围判断当前人员是否为有效目标人员，然后对有效目标人员进行人脸面部进行锁定；

所述人脸面部情绪识别单元，用于最后再对有效目标人员的人脸面部进行人脸面部情绪识别处理。

优选的，作为一种可实施方案；所述主控制单元包括计数单元和计时单元；

所述计数单元，用于获取采集的所述当前人员的人脸面部图像进行初步识别处理，锁定当前展品预设范围内的当前人员的人脸，并持续进行追踪，并实时计算获得经过展品预设范围内的当前人员的数量信息；

所述计时单元，用于同步获取当前人员停留在当前展品预设范围内的时间，只有当前人员停留在当前展品预设范围内的时间超过标准时间阈值后才执行获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围的操作步骤。

优选的，作为一种可实施方案；所述分析单元包括第一分析子单元和第二分析子单元；

所述第一分析子单元，用于分析当前展品预设范围内的当前人员的人脸朝向，筛选出当前展品预设范围内的当前人员中人脸朝向目标展品中的人员，再进一步判断该人员的眼部视线范围是否落入到目标展品上；

所述第二分析子单元，用于筛选判定当前展品预设范围中的当前人员的人脸朝向所述目标展品且同时眼部视线范围落入到所述目标展品上的人员为有效目标人员。

优选的，作为一种可实施方案；所述基于情绪识别的展品关注度分析系统，还包括数据库；

所述数据库，用于存储人脸面部情绪标准模板；上述存储了至少六种反映人脸面部情绪标准模板的模板形式；

所述人脸面部情绪识别单元，还用于将有效目标人员的人脸面部在所述数据库内进行匹配判定有效目标人员的人脸面部的情绪，得出对展品关注程度数据。

相应地，本发明提供了一种基于情绪识别的展品关注度分析方法，利用上述基于情绪识别的展品关注度分析系统实现人员对展品关注度分析处理，包括如下操作方法：

步骤s1：摄像机系统对经过展区的当前人员的人脸面部图像进行采集；

步骤s2：主控制单元对采集的所述当前人员的人脸面部图像进行初步识别处理，获取经过展品预设范围内的当前人员的数量信息，同步获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围；

步骤s3：分析单元根据当前展品预设范围内的当前人员的人脸朝向、眼部视线范围判断当前人员是否为有效目标人员，然后对有效目标人员进行人脸面部进行锁定；

步骤s4：人脸面部情绪识别单元最后再对有效目标人员的人脸面部进行人脸面部情绪识别处理。

优选的，作为一种可实施方案；在步骤s2的具体操作中，主控制单元，对采集的所述当前人员的人脸面部图像进行初步识别处理，获取经过展品预设范围内的当前人员的数量信息，具体包括如下操作步骤：

步骤s21：计数单元获取采集的所述当前人员的人脸面部图像进行初步识别处理，锁定当前展品预设范围内的当前人员的人脸，并持续进行追踪，并实时计算获得经过展品预设范围内的当前人员的数量信息。

优选的，作为一种可实施方案；在步骤s2的具体操作中，在执行获取经过展品预设范围内的当前人员的数量信息之后，并在执行获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围之前，还包括如下操作步骤：

步骤s22：计时单元同步获取当前人员停留在当前展品预设范围内的时间，只有当前人员停留在当前展品预设范围内的时间超过标准时间阈值后才执行获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围的操作步骤。

优选的，作为一种可实施方案；在步骤s3的具体操作中，根据当前展品预设范围内的当前人员的人脸朝向、眼部视线范围判断当前人员是否为有效目标人员，具体包括如下操作步骤：

步骤s31：第一分析子单元分析当前展品预设范围内的当前人员的人脸朝向，筛选出当前展品预设范围内的当前人员中人脸朝向目标展品中的人员，再进一步判断该人员的眼部视线范围是否落入到目标展品上；

步骤s32：第二分析子单元筛选判定当前展品预设范围中的当前人员的人脸朝向所述目标展品且同时眼部视线范围落入到所述目标展品上的人员为有效目标人员。

优选的，作为一种可实施方案；在步骤s4的具体操作中，具体包括如下操作步骤：

步骤s41：数据库存储人脸面部情绪标准模板；上述存储了至少六种反映人脸面部情绪标准模板的模板形式；

步骤s41：人脸面部情绪识别单元将有效目标人员的人脸面部在所述数据库内进行匹配判定有效目标人员的人脸面部的情绪，得出对展品关注程度数据。

与现有技术相比，本发明实施例的优点在于：

本发明提供的一种基于情绪识别的展品关注度分析系统及分析方法，分析上述的基于情绪识别的展品关注度分析方法主要技术内容可知：上述基于情绪识别的展品关注度分析方法，主要实施了如下操作步骤：

摄像机系统对经过展区的当前人员的人脸面部图像进行采集；

主控制单元，对采集的当前人员的人脸面部图像进行初步识别处理，获取经过展品预设范围内的当前人员的数量信息，同步获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围；

分析单元，根据当前展品预设范围内的当前人员的人脸朝向、眼部视线范围判断当前人员是否为有效目标人员，然后对有效目标人员进行人脸面部进行锁定；

人脸面部情绪识别单元，用于最后再对有效目标人员的人脸面部进行人脸面部情绪识别处理。

需要说明的是，经过研发发现在进行展品展示时，很多人员会经过展区，但是部分人员只是经过当前展区(甚至会因为人群聚集，交谈等原因滞留一段时间)，但是他们并没有人脸朝向展品，也并没有对当前展品表露出任何情绪；同时也有部分人员会经过展区并短暂观看了一下展品，并没有持续对展品进行关注，没有表露出感兴趣等情绪表情；同时也有人员会经过展区并停留持续关注了展品，并且表现出来一些对当前展品感兴趣的面部情绪，很显然这一部分人是本系统重要识别和关注统计的人群。

在具体分析过程中，主控制单元对采集的当前人员的人脸面部图像进行初步识别处理，获取经过展品预设范围内的当前人员的数量信息，同步获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围；同时分析单元根据当前展品预设范围内的当前人员的人脸朝向、眼部视线范围判断当前人员是否为有效目标人员，然后对有效目标人员进行人脸面部进行锁定；在具体处理过程中，当人员陆续进入当前展品预设范围内则会被初步识别并在显示图像中圈定，同时计时处理只有当前展品预设范围停留的时间超过标准时间阈值后才会被持续进行追踪识别；在追踪识别过程中继续判断，当前展品预设范围内的当前人员的人脸朝向和该人员的眼部视线范围是否落入到目标展品上；筛选判定当前展品预设范围中的当前人员的人脸朝向目标展品且同时眼部视线范围落入到所述目标展品上的人员为有效目标人员。最后由人脸面部情绪识别单元再对有效目标人员的人脸面部进行人脸面部情绪识别处理。在上述处理过程中，进行多级图像处理识别，逐渐缩小了筛查范围，最终减少了计算处理量，节省了处理时间，并显著提升了分析处理效率；上述分析方法先对人员进行筛选，该当前展品预设范围内(或称区域内)的人脸进行识别，然后追踪判断其他条件，最终锁定到满足所有条件的有效目标人员，进而对筛选出有效目标人员的人脸特定情绪按照情绪分类法分析人员情绪，得出对展品关注程度数据。

上述基于情绪识别的展品关注度分析方法，相比较传统根据展位特定区域人员数量进行分析得到的关注度结论方法，判断识别精度更高，分析得到的展品关注程度数据更为真实可靠。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于情绪识别的展品关注度分析系统的主要原理示意图；

图2为本发明实施例提供的基于情绪识别的展品关注度分析系统中的主控制单元原理示意图；

图3为本发明实施例提供的基于情绪识别的展品关注度分析系统中的分析单元原理示意图；

图4为本发明实施例提供的多个基于情绪识别的展品关注度分析系统协同服务器进行信息分析处理的原理示意图；

图5为本发明实施例提供的基于情绪识别的展品关注度分析方法的流程示意图。

标号：

基于情绪识别的展品关注度分析系统100；

摄像机系统10；

主控制单元20；计数单元21；计时单元22；

分析单元30；第一分析子单元31；第二分析子单元32；

人脸面部情绪识别单元40；

数据库50。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，某些指示的方位或位置关系的词语，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

实施例一

参见图1，本发明实施例一提供了一种基于情绪识别的展品关注度分析系统100，包括摄像机系统10、主控制单元20、分析单元30、人脸面部情绪识别单元40；

其中，摄像机系统10，用于对经过展区的当前人员的人脸面部图像进行采集；

主控制单元20，用于对采集的当前人员的人脸面部图像进行初步识别处理，获取经过展品预设范围内的当前人员的数量信息，获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围；

分析单元30，用于根据当前展品预设范围内的当前人员的人脸朝向、眼部视线范围判断当前人员是否为有效目标人员，然后对有效目标人员进行人脸面部进行锁定；

人脸面部情绪识别单元40，用于最后再对有效目标人员的人脸面部进行人脸面部情绪识别处理。

分析上述基于情绪识别的展品关注度分析系统可知，该系统主要由摄像机系统、主控制单元、分析单元、人脸面部情绪识别单元等构成，其中各个模块单元的工作原理如下：主控制单元对采集的当前人员的人脸面部图像进行初步识别处理，获取经过展品预设范围内的当前人员的数量信息，同步获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围；同时分析单元根据当前展品预设范围内的当前人员的人脸朝向、眼部视线范围判断当前人员是否为有效目标人员，然后对有效目标人员进行人脸面部进行锁定；在具体处理过程中，当人员陆续进入当前展品预设范围内则会被初步识别并在显示图像中圈定，同时计时处理只有当前展品预设范围停留的时间超过标准时间阈值后才会被持续进行追踪识别；在追踪识别过程中继续判断，当前展品预设范围内的当前人员的人脸朝向和该人员的眼部视线范围是否落入到目标展品上；筛选判定当前展品预设范围中的当前人员的人脸朝向目标展品且同时眼部视线范围落入到目标展品上的人员为有效目标人员。最后由人脸面部情绪识别单元再对有效目标人员的人脸面部进行人脸面部情绪识别处理。在上述处理过程中，进行多级图像处理识别，逐渐缩小了筛查范围，最终减少了计算处理量，节省了处理时间，并显著提升了分析处理效率；

上述基于情绪识别的展品关注度分析系统，相比较传统根据展位特定区域人员数量进行分析得到的关注度结论方式，判断识别精度更高，分析得到的展品关注程度数据更为真实可靠。

如图2所示，主控制单元20包括计数单元21和计时单元22；

计数单元21，用于获取采集的当前人员的人脸面部图像进行初步识别处理，锁定当前展品预设范围内的当前人员的人脸，并持续进行追踪，并实时计算获得经过展品预设范围内的当前人员的数量信息；

计时单元22，用于同步获取当前人员停留在当前展品预设范围内的时间，只有当前人员停留在当前展品预设范围内的时间超过标准时间阈值后才执行获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围的操作步骤。

需要说明的是，在本发明实施例的具体技术方案中，主控制单元20，用于对采集的当前人员的人脸面部图像进行初步识别处理，获取经过展品预设范围内的当前人员的数量信息，在此具体实施时，分别进行计数和计时操作；在计数时，获取采集的当前人员的人脸面部图像进行初步识别处理，锁定当前展品预设范围内的当前人员的人脸，并持续进行追踪，并实时计算获得经过展品预设范围内的当前人员的数量信息；然而计数的同时，还应当进行计时操作，系统判定只有当前人员停留在当前展品预设范围内的时间超过标准时间阈值后才能后续的有效目标人员识别操作。通常说来，判断当前人员长期以特定情绪盯着某展品看(并且是停留在当前展区时间高于标准时间阈值，视线范围落入到当前展品上)，则可判断当前人员对此展品感兴趣，关注度高。

如图3所示，分析单元30包括第一分析子单元31和第二分析子单元32；

第一分析子单元31，用于分析当前展品预设范围内的当前人员的人脸朝向，筛选出当前展品预设范围内的当前人员中人脸朝向目标展品中的人员，再进一步判断该人员的眼部视线范围是否落入到目标展品上；

第二分析子单元32，用于筛选判定当前展品预设范围中的当前人员的人脸朝向目标展品且同时眼部视线范围落入到目标展品上的人员为有效目标人员。

需要说明的是，在本发明实施例的具体技术方案中，分析单元30根据当前展品预设范围内的当前人员的人脸朝向、眼部视线范围判断当前人员是否为有效目标人员；分析当前展品预设范围内的当前人员的人脸朝向(通过图像处理技术进行识别操作)，再进一步判断该人员的眼部视线范围是否落入到目标展品上，可以具体通过如下方法完成；获取观测者观看当前展品时的脸部图像；从脸部图像中提取脸部区域和眼部区域的特征点；跟踪脸部图像的初始图片序列，对脸部区域的特征点进行迭代计算，获得观测者的头部姿态；根据眼部区域的特征点，确定观测者的视线角度和视线置信参数；根据头部姿态、视线角度和视线置信参数以及观测者到当前展品的距离，确定观测者的视线在当前展品的落点位置；最终判定该人员的眼部视线范围是否落入到目标展品上。

如图1所示，基于情绪识别的展品关注度分析系统还包括数据库50；上述数据库50，用于存储人脸面部情绪标准模板；上述存储了至少六种反映人脸面部情绪标准模板的模板形式；人脸面部情绪识别单元40，还用于将有效目标人员的人脸面部在数据库内进行匹配判定有效目标人员的人脸面部的情绪，得出对展品关注程度数据。

需要说明的是，在本发明实施例的具体技术方案中，上述基于情绪识别的展品关注度分析系统还包括数据库50，上述数据库50，用于存储人脸面部情绪标准模板；上述存储了至少六种反映人脸面部情绪标准模板的模板形式；在最终真正进行有效目标人员的人脸面部情绪识别时，将有效目标人员的人脸面部在数据库内进行匹配判定有效目标人员的人脸面部的情绪，得出对展品关注程度数据。

如图4所示，在整个的大型会展展区内，可以在任意一个展品或是任意一个小型展位部署一套上述基于情绪识别的展品关注度分析系统100，这样在整个的大型会展展区内则会出现多套基于情绪识别的展品关注度分析系统100(即将该方法扩展至所有展示位上)，然后由服务器200管理集合多套基于情绪识别的展品关注度分析系统100进行分析处理，并且可以进行横向比较，然后输出整个大型会展展区内所有展品的分析报告，这样多套基于情绪识别的展品关注度分析系统100形成的分析系统则为整体展会展品关注度分析提供了解决方案和技术支持，这样保障了展览展示效果的精准分析，确定了展品对展厅经营价值所在。

基于上述基于情绪识别的展品关注度分析系统的主要原理，本发明实施例还涉及提供了一种基于情绪识别的展品关注度分析方法；该分析方法利用了上述基于情绪识别的展品关注度分析系统实现人员对展品关注度分析处理。

如图5所示，本发明提供了一种基于情绪识别的展品关注度分析方法，包括如下操作方法：

步骤s1：摄像机系统对经过展区的当前人员的人脸面部图像进行采集；

步骤s2：主控制单元对采集的当前人员的人脸面部图像进行初步识别处理，获取经过展品预设范围内的当前人员的数量信息，同步获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围；

步骤s3：分析单元根据当前展品预设范围内的当前人员的人脸朝向、眼部视线范围判断当前人员是否为有效目标人员，然后对有效目标人员进行人脸面部进行锁定；

步骤s4：人脸面部情绪识别单元最后再对有效目标人员的人脸面部进行人脸面部情绪识别处理。

需要说明的是，经过研发发现在进行展品展示时，很多人员会经过展区，但是部分人员只是经过当前展区(甚至会因为人群聚集，交谈等原因滞留一段时间)，但是他们并没有人脸朝向展品，也并没有对当前展品表露出任何情绪；同时也有部分人员会经过展区并短暂观看了一下展品，并没有持续对展品进行关注，没有表露出感兴趣等情绪表情；同时也有人员会经过展区并停留持续关注了展品，并且表现出来一些对当前展品感兴趣的面部情绪，很显然这一部分人是本系统重要识别和关注统计的人群。

由于各种原因导致识别展区内滞留大量的人员，但是这种显然不是因为持续关注展品而引发的，因此这种人员应当通过后续技术手段进行排除。然而在本发明实施例的具体分析过程中，先对人员进行筛选，该当前展品预设范围内(或称区域内)的人脸进行识别，然后追踪判断其他条件，最终锁定到满足所有条件的有效目标人员，进而对筛选出有效目标人员的人脸特定情绪按照情绪分类法分析人员情绪，得出对展品关注程度数据。上述基于情绪识别的展品关注度分析方法，相比较传统根据展位特定区域人员数量进行分析得到的关注度结论方法，判断识别精度更高，分析得到的展品关注程度数据更为真实可靠。

在步骤s2的具体操作中，主控制单元，对采集的当前人员的人脸面部图像进行初步识别处理，获取经过展品预设范围内的当前人员的数量信息，具体包括如下操作步骤：

步骤s21：计数单元获取采集的当前人员的人脸面部图像进行初步识别处理，锁定当前展品预设范围内的当前人员的人脸，并持续进行追踪，并实时计算获得经过展品预设范围内的当前人员的数量信息。

在步骤s2的具体操作中，在执行获取经过展品预设范围内的当前人员的数量信息之后，并在执行获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围之前，还包括如下操作步骤：

步骤s22：计时单元同步获取当前人员停留在当前展品预设范围内的时间，只有当前人员停留在当前展品预设范围内的时间超过标准时间阈值后才执行获取识别到在当前展品预设范围内的当前人员的人脸朝向，获取当前展品预设范围内的当前人员的眼部视线范围的操作步骤。

在步骤s3的具体操作中，根据当前展品预设范围内的当前人员的人脸朝向、眼部视线范围判断当前人员是否为有效目标人员，具体包括如下操作步骤：

步骤s31：第一分析子单元分析当前展品预设范围内的当前人员的人脸朝向，筛选出当前展品预设范围内的当前人员中人脸朝向目标展品中的人员，再进一步判断该人员的眼部视线范围是否落入到目标展品上；

步骤s32：第二分析子单元筛选判定当前展品预设范围中的当前人员的人脸朝向目标展品且同时眼部视线范围落入到目标展品上的人员为有效目标人员。

在步骤s4的具体操作中，具体包括如下操作步骤：

步骤s41：数据库存储人脸面部情绪标准模板；上述存储了至少六种反映人脸面部情绪标准模板的模板形式；

步骤s41：人脸面部情绪识别单元将有效目标人员的人脸面部在数据库内进行匹配判定有效目标人员的人脸面部的情绪，得出对展品关注程度数据。

综上，本发明提供的基于情绪识别的展品关注度分析系统及分析方法，通过对展位前部署支持情绪识别系统，完成对展位前特定区域内的人员进行覆盖识别、初步分析，情绪识别再分析进而得到相应的展品关注度数据；首先对该区域内的人员进行多种条件的筛选，然后对有效目标人员的人脸进行锁定，同时确定锁定人脸的目光焦点在展品上，进而对筛选出人脸的特定情绪按照情绪分类法分析人员情绪，得出对展品关注程度。通过上述分析得到的展品关注程度数据更为真实可靠。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。