一种用于眼动仪的情感识别系统及方法与流程

本发明属于眼动仪技术领域，具体涉及一种用于眼动仪的情感识别系统及方法。

背景技术：

眼动仪是心理学基础研究的重要仪器。眼动仪用于记录人在处理视觉信息时的眼动轨迹特征，广泛用于注意、视知觉、阅读等领域的研究。眼动的时空特征是视觉信息提取过程中的生理和行为表现，它与人的心理活动有着直接或间接的关系，这也是许多心理学家致力于眼动研究的原因所在。

现有结合眼动仪进行情感数据分析的设备多仅记录瞳孔运动数据，结合运用于自闭症、ar场景应用、vr场景运用中。

诸如中国专利文献cn111339878a中公开了一种基于眼动数据数据的修正型实时情感识别方法及系统，在vr环境中实时采集眼动数据，即通过眼动仪跟踪能够准确、高效的获取丰富的眼动信息（眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径大小、眨眼次数），从眼动角度分析受测对象的情感状态，利用svr对面部表情特征向量和眼动特征向量进行处理。

诸如中国专利文献cn105868694a、cn109803109a中公开了一种基于面部表情和眼球动作的情感识别方案，其利用眼动仪捕捉用户的眼睛所聚焦的焦点位置，利用面部表情识别系统采集人脸的8个采集位置的生理信号，根据各个采集位置的生理信号分析各个采集位置的肌肉紧张程度，再结合8个采集位置的肌肉紧张程度通过分析算法来分析确定用户的当前面部表情。

诸如中国专利文献cn110931111a中公开了一种基于虚拟现实及多模态信息的孤独症辅助干预系统及方法，其使用内置眼动仪获得眼睛运动数据，计算眼动的方向和焦点，使用腔外摄像头拍摄下半张脸获得下巴及两颊的肌肉运动数据，通过语音特征提取单元进行情感识别获得用户互动语言的情感分数。

诸如中国专利文献cn111695442a公开了一种基于多模态融合的在线智能辅助系统，眼动仪检测用户的眼跳过程，将眼动仪收集到的数据通过卷积神经网络提取相应的特征，再通过svm可判断其气质类型。

然而，现有技术中尚不存在既追踪眼动状态，又结合眼睑、眨眼状态等数据进行综合性分析，并结合各次的数据进行比对以获得计权的情感数据参考的用于眼动仪的情感识别解决方案。

技术实现要素：

鉴于现有技术中存在的技术问题，本发明的目的在于提供一种用于眼动仪的情感识别系统及方法，既能够追踪眼动状态，又结合眼睑、眨眼状态等数据进行综合性分析，并结合各次的数据进行比对以获得计权的情感数据参考，能够集成于所述眼动仪上的解决方案。

为实现上述目的，本发明提供如下技术方案：一种用于眼动仪的情感识别系统，包括画面播放系统、眼动监测系统和情感分析系统，所述画面播放系统用于播放用户注视视频画面，所述眼动监测系统包括作为光源实现面部光线补足的补光系统、结合摄像设备进行瞳孔位置追踪并存储追踪数据的瞳孔追踪系统、监测瞳孔大小的瞳孔大小监测系统、监测眨眼状态的眨眼监测系统和监测眼睑松弛程度的眼睑松弛度监测系统，所述情感分析系统包括眼动信息库系统、结合眼动信息库系统内数据以及眼动监测系统进行综合比对的眼动信息比对系统，还包括情感信息库系统、结合情感信息库系统内数据以及眼动监测系统进行综合比对的情感信息比对系统。

优选的，所述瞳孔追踪系统包括记录瞳孔运动轨迹的轨迹成像系统、监测瞳孔跳动频率的眼跳频率监测系统、结合眼跳频率监测系统监测并记录瞳孔跳动距离的眼跳距离监测系统以及结合眨眼监测系统和眼睑松弛度监测系统进行睁眼前瞳孔位移预测的位移预测系统。

优选的，所述眨眼监测系统用于眨眼检测，其中眨眼监测系统包括用于监测眨眼速度的眨眼速度监测系统、用于监测眨眼频率的眨眼频率监测系统和用于监测眨眼时间的眨眼时间记录系统，所述眨眼速度监测系统和眨眼频率监测系统结合进行眨眼速度数据的记录，所述眨眼速度和眨眼频率取同一时间长度进行测量，所述眨眼速度检测取平均值为a，超出a的眨眼速度记录为aa，低于a的眨眼速度记录为ab。所述眨眼频率检测取平均值v，超出v的眨眼频率记录为va，低于v的眨眼频率记录为vb。通常而言，眨眼速度快表明用户思维活跃状态良好，跟随画面比较紧密，紧张度较高，注意力也会相对集中，眨眼频率快表明用户对画面兴趣度较高，跟随性好。

优选的，所述眼睑松弛度监测系统用于眼睑松弛度检测，其中眼睑松弛度监测系统的检测结果以覆盖虹膜程度作为区分，包含不覆盖状态b、部分覆盖ba、半覆盖bb和大部覆盖bc。通过记录覆盖虹膜程度，能够判断用户眼睑松弛度。覆盖越大松弛度越高。

根据本发明的另一方面，本发明还提供一种用于眼动仪的情感识别方法，包括以下步骤：

s1、启动画面播放系统并开启补光系统实现人脸表面的补光，在满足识别需求的光线范围内，通过眼动监测系统获取一定时间内的眼动信息；

s2、将s1中获取的眼动信息结合眼动信息库系统和眼动信息比对系统进行数据比对，获得基础比对数据；

s3、将s2中获得的基础比对数据结合情感信息库系统和情感信息比对系统进行数据比对，结合不同情感数据进行权重分析，获得不同权重的分析结果。

优选的，所述s2中的数据比对内容包括结合瞳孔追踪系统的瞳孔轨迹比对、眼跳频率和眼跳距离，还包括结合瞳孔大小监测系统的瞳孔大小比对、结合眨眼监测系统的眨眼速度比对和眨眼频率比对以及结合眼睑松弛度监测系统的眼睑松弛度比对。

根据本发明的用于眼动仪的情感识别系统及方法，由于补光系统的配置，可保证暗光条件下对面部进行补光，保证眼动监测系统能准确捕捉眼动数据。

根据本发明的用于眼动仪的情感识别系统及方法，瞳孔追踪系统记录眼动数据同时，位移预测系统可在眨眼状态下预知并提前捕捉瞳孔大概位置，方便眼睑开启时对瞳孔位置的快速定位；情感分析系统中的眼动信息库系统结合眼动信息比对系统对眼动信息进行比对，并可存储当前眼动信息方便后续眼动信息采集时的比对，具备增加比对信息的功能，实现数据学习。

根据本发明的用于眼动仪的情感识别系统及方法，由于设置情感信息库系统结合情感信息比对系统，从而能够实现复合当前眼动信息的情感计权，提供权重比例供参考。

根据本发明的用于眼动仪的情感识别系统及方法，无论是外置式眼动仪还是内置式眼动仪，均可实现情感识别系统与眼动仪集成于一体的技术方案，增加眼动仪的智能性。

附图说明

图1为示出本发明具体实施方式中涉及的用于眼动仪的情感识别系统的示意框图；

图2为示出本发明具体实施方式中涉及的用于眼动仪的情感识别系统的瞳孔追踪系统的示意框图；

图3为示出本发明具体实施方式中涉及的用于眼动仪的情感识别系统的眨眼监测系统的示意框图。

图中附图标记分别为：1画面播放系统、2眼动监测系统、3情感分析系统、4补光系统、5瞳孔追踪系统、501轨迹成像系统、502眼跳频率监测系统、503眼跳距离监测系统、504位移预测系统、6瞳孔大小监测系统、7眨眼监测系统、701眨眼速度监测系统、702眨眼频率监测系统、703眨眼时间记录系统、8眼睑松弛度监测系统、9眼动信息库系统、10眼动信息比对系统、11情感信息库系统、12情感信息比对系统。

具体实施方式

下面将参照附图结合具体实施例对本发明进行清楚、完整地描述，本领域普通技术人员懂得，该具体实施方式是示例性的，本发明并不仅限于该具体实施例之中。

除非单独定义指出的方向外，本文涉及的上、下、左、右、前、后、内和外等方向均是以本发明所示的图中的上、下、左、右、前、后、内和外等方向为准，在此一并说明。

图1为用于眼动仪的情感识别系统的示意框图；图2为瞳孔追踪系统的示意框图；图3为眨眼监测系统的示意框图。

如图1所示，在本发明一具体实施例中，提供一种用于眼动仪的情感识别系统，包括画面播放系统1、眼动监测系统2和情感分析系统3，所述画面播放系统1用于播放用户注视视频画面，通过该画面播放系统，引导用户眼球注视自己所感兴趣的画面内容。所述眼动监测系统2包括作为光源实现面部光线补足的补光系统4，通过补光系统4的配置，可保证暗光条件下对面部进行补光，对于观影的场合，光线往往出现不足，且受到播放画面内容的影响而亮度变化很大，此时通过该补光系统4的补光，确保检测系统检测的准确性。眼动监测系统2还包括瞳孔追踪系统5，通过该瞳孔追踪系统5捕捉眼动数据、并能够结合摄像设备进行瞳孔位置追踪并将追踪数据存储于存储器中，该眼动监测系统2还包括监测瞳孔大小的瞳孔大小监测系统6，该瞳孔大小监测系统6检测瞳孔大小数据以及瞳孔大小变化的数据，在一优选实施例中，该瞳孔大小监测系统6还检测虹膜的大小以及变化的数据，并将这些数据存储在存储器中，该眼动监测系统2还包括监测眨眼状态的眨眼监测系统7和监测眼睑松弛程度的眼睑松弛度监测系统8。所述眨眼监测系统对眨眼状态进行检测。所述眼睑松弛度监测系统8用于眼睑松弛度检测，其检测结果以覆盖虹膜程度作为区分，包含不覆盖状态b、部分覆盖ba、半覆盖bb和大部覆盖bc。优选的，所述眼睑松弛度监测系统用于眼睑松弛度检测，其中眼睑松弛度监测系统的检测结果以覆盖虹膜程度作为区分，包含不覆盖状态b、部分覆盖ba、半覆盖bb和大部覆盖bc。通过记录覆盖虹膜程度，能够判断用户眼睑松弛度。覆盖越大松弛度越高。

在本发明的一实施例中，所述情感识别系统的所述情感分析系统3包括眼动信息库系统9、结合眼动信息库系统9内数据以及眼动监测系统2进行综合比对的眼动信息比对系统10，该情感分析系统3中的眼动信息库系统9结合眼动信息比对系统10对眼动信息进行比对，并可存储当前眼动信息方便后续眼动信息采集时的比对，具备增加比对信息的功能，实现数据学习。所述情感分析系统3还包括情感信息库系统11、结合情感信息库系统11内数据以及眼动监测系统2进行综合比对的情感信息比对系统12，所述情感信息库系统11结合情感信息比对系统12实现复合当前眼动信息的情感计权，提供权重比例供参考。

如图2所示，所述瞳孔追踪系统5包括记录瞳孔运动轨迹的轨迹成像系统501、监测瞳孔跳动频率的眼跳频率监测系统502、结合眼跳频率监测系统502监测并记录瞳孔跳动距离的眼跳距离监测系统503以及结合眨眼监测系统7和眼睑松弛度监测系统8进行睁眼前瞳孔位移预测的位移预测系统504，瞳孔追踪系统5记录眼动数据同时，位移预测系统504可在眨眼状态下预知并提前捕捉瞳孔大概位置，方便眼睑开启时对瞳孔位置的快速定位。

如图3所示，所述眨眼监测系统7用于眨眼检测，其中眨眼监测系统7包括用于监测眨眼速度的眨眼速度监测系统701、用于监测眨眼频率的眨眼频率监测系统702和用于监测眨眼时间的眨眼时间记录系统703，所述眨眼速度监测系统701和眨眼频率监测系统702结合进行眨眼速度数据的记录，其检测取平均值为a，超出a的眨眼速度记录为aa，低于a的眨眼速度记录为ab。所述眨眼速度和眨眼频率取同一时间长度进行测量，所述眨眼速度检测取平均值为a，超出a的眨眼速度记录为aa，低于a的眨眼速度记录为ab。所述眨眼频率检测取平均值v，超出v的眨眼频率记录为va，低于v的眨眼频率记录为vb。通过对眨眼速度和眨眼频率的检测跟踪，赋予用户的思维活跃状态、紧张度、用户对画面兴趣度、注意力集中程度、跟随性一个可以计算的值，从而给予眨眼一个量化指标，以提供用户感情变化上的一个量化参考值。同时，还可以作为后期诸如进行神经卷积计算时的特征图谱。

上面根据本发明的具体实施方式对本发明的用于眼动仪的情感识别系统进行了详细描述，另一方面，本发明还提供一种利用上述情感识别系统进行情感识别的方法。下面结合图1-3的情感识别系统对其进行详细说明。

根据本发明的另一个实施例，所述用于眼动仪的情感识别方法，包括以下步骤：

s1、启动画面播放系统1并开启补光系统4实现人脸表面的补光，在满足识别需求的光线范围内，通过眼动监测系统2获取一定时间内的眼动信息；该眼动信息包括瞳孔信息、眨眼信息、眼睑信息、眼跳信息、注视信息等五大信息。在一个优选实施例中，该眼动信息还包括虹膜信息。

s2、将s1中获取的眼动信息结合眼动信息库系统9和眼动信息比对系统10进行数据比对，获得基础比对数据；s1中获取的眼动信息通过将用户情感变化采用上述五大信息进行量化表征，通过将该数据与眼动信息库系统9中存储的眼动参考信息进行比对，在该眼动信息比对系统10中形成对比数据，作为基础比对数据，从而使该眼动信息直观化。在该具体实施例中，所述s2中的数据比对内容包括结合瞳孔追踪系统5的瞳孔轨迹比对、眼跳频率和眼跳距离，还包括结合瞳孔大小监测系统6的瞳孔大小比对、结合眨眼监测系统7的眨眼速度比对和眨眼频率比对以及结合眼睑松弛度监测系统8的眼睑松弛度比对。

s3、将s2中获得的基础比对数据结合情感信息库系统11和情感信息比对系统12进行数据比对，结合不同情感数据进行权重分析，获得不同权重的分析结果。当用户心情愉悦时，眨眼速度变快，注意力集中，瞳孔炯炯有神，眼睑紧张度较高，获得乐观加权，相反，当用户心情沮丧时，眼皮沉重、眼中无光、注意力涣散，获得悲观加权。通过如此计权，对情感进行量化而实现情感识别。

以上结合具体实施例对本发明做出了详细说明，本领域的技术人员懂得，其可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，只要不脱离本发明的精神和宗旨，所作的任何修改、等同替换、改进等均应落入本发明的保护范畴之内，本发明的保护范围由所附权利要求书限定。