眼电图测量以及眼睛跟踪的制作方法

眼电图测量以及眼睛跟踪
1.相关申请的交叉引用
2.本技术要求2021年1月19日提交的美国临时专利申请第63/139,022号、2020年1月22日提交的美国临时专利申请第62/964,178号、和2020年1月22日提交的欧洲专利申请第20153054.0号的优先权，所有这些专利申请通过引用而整体并入此。
技术领域
3.本发明涉及使用眼电描记法(eog)的眼睛跟踪。特别地，本发明涉及使用安装在听筒(earpiece)上和/或耳朵周围的颞部(temple)区域的传感器的眼睛跟踪。


背景技术：

4.在许多情况下，眼睛跟踪可以用于理解用户的注意力集中在哪里。具体而言，眼睛跟踪可以能够改善用户对外围设备的控制。
5.最常见的眼睛跟踪方法是获取用户眼睛的视频图像。可以基于数值分析或深度学习使用适当的图像处理和算法来确定用户的注视(gaze)方向。这种基于视频的眼睛跟踪的缺点是必须将相机对准用户的面部，或者安装在头部，这极大地限制了可能的应用。
6.最近，已引入了基于视频的眼睛跟踪的替代方法，包括眼电描记法(eog)。眼电描记法(eog)是对眼睛的角膜-视网膜偶极子的电偶极子电势(角膜和视网膜之间的电荷差异)的测量。当眼睛沿眼眶(orbit)移动时，偶极旋转。该电势可以使用放置在眼眶附近的一组电极来测量，并且可以用于估计眼睛的位置。eog的精确度估计约为0.5度。
7.eog测量的标准方法包括在眼眶周围两颞侧放置氯化银电极。eog主要用于医疗应用，因为在眼睛周围使用粘性氯化银电极不方便。
8.然而，已经提议在其他应用中使用基于eog的眼睛跟踪。例如，文献wo 2018/0368722公开了基于eog的眼睛跟踪，其可以用于例如助听器应用中。


技术实现要素：

9.本发明的一个目的是提供一种改进的eog方法。
10.根据本发明的第一方面，通过一种用于确定用户注视方向的系统来实现这些和其他目的，该系统包括音频终端，该音频终端包括一对听筒，每个听筒预期佩戴在用户的相应耳朵附近，以及布置在每个听筒上的一组电极，使得它们在使用中被放置成与用户的皮肤接触，每个电极包括可压缩且导电的泡沫材料的贴片，其被配置成提供与皮肤的可靠电连接(生物电极)。该系统还包括连接到电极的电路，该电路被配置为从布置在用户佩戴的音频终端上的一组电极接收一组电压信号，将所述电压信号复用到输入信号，从所述输入信号中去除预测的中心电压，以提供去趋势信号，并且基于所述去趋势信号确定所述注视方向。这种可压缩且导电的泡沫材料通常用于电子设备的电绝缘。
11.本发明的第二方面涉及对应于第一方面的方法。
12.这种导电泡沫材料，例如基于低密度微孔聚氨酯泡沫的导电泡沫材料，具有数个
优点，包括高导电性、对皮肤的柔软触感、在干燥状态下令人满意的生物传感性能(即，不需要例如导电膏)，以及对于宽范围的压缩水平并随时时间推移而保持性能。在贴耳式耳机的情况下，泡沫电极可以集成在耳机套(cuff)中，对舒适度影响很小或没有影响。
13.根据本发明的一些实施例，使用当前迭代(k)的中心电压和先前迭代k-1，k-2，
…
，k-n的预测中心电压来确定下一次迭代(k+1)的中心电压的两个估计。通过使用两种方法，中心电压估计的准确性(提升)。
14.根据本发明的眼睛跟踪可以用于数种应用，包括演示控制、头戴式耳机控制、注意力解码、主动对话增强、视网膜中央凹渲染、改进的ar/vr体验、改进的电视和移动设备上的内容消费、无人机控制以及电影摄影中的相机控制。
15.本发明与多种终端设备兼容，包括但不限于:头戴式耳机、头戴式显示器、助听器、智能眼镜、耳戴式设备和耳塞。
16.此外，应当注意，术语“听筒”应当广义地解释，并且旨在覆盖位于头部侧面的音频终端的任何部分。例如，在本发明的一些实施例中，听筒包括耳塞、贴耳式监听器、头戴式耳机、助听设备、耳机、或其他设备(例如，眼镜、ar/vr护目镜等)的一部分。
17.根据本发明的第三方面，这些和其他目的通过一种用于确定用户注视方向的系统来实现，该系统包括被布置成与用户皮肤接触的一组电极，每个电极包括可压缩导电材料的贴片，其被配置成提供与皮肤的可靠电连接，以及连接到电极的电路，该电路被配置为从布置在用户佩戴的音频终端上的一组电极接收一组电压信号，将所述电压信号复用到输入信号，计算作为输入信号和表示当前注视方向的电压之间的差的当前中心电压，提供作为当前中心电压和当前估计基线电压的线性加权的第一估计，提供作为当前中心电压和基于一组先前预测中心电压的预测的均值的第二估计，确定作为第一和第二估计的平均值的预测中心电压，从输入信号中去除该预测中心电压，以提供去趋势信号，并且基于该去趋势信号确定注视方向。
18.根据此方面，电极不布置在用户佩戴的终端设备上。相反，电极直接附着在用户的皮肤上，并且可以由所谓的“电子皮肤”形成。信号的处理可以与本发明第一方面所公开的相似或相同。
19.本发明的又一方面涉及对应于第三方面的方法。
附图说明
20.将参照附图更详细地描述本发明，附图示出了本发明的当前优选实施例。
21.图1示出了用户佩戴根据本发明实施例的一副耳机。
22.图2在图2中示出了耳机套。
23.图3是根据本发明实施例的眼睛跟踪的概述。
24.图4更详细地示出了图3中的眼睛跟踪块。
25.图5示出了根据本发明实施例的训练过程的概述。
26.图6a是示出测量信号的图。
27.图6b是示出基线去除后的信号的图。
28.图6c是示出被估计的注视角度的图。
29.图7是根据本发明的另一实施例的用于确定注意力方向的系统的框图。
30.图8是根据本发明的另一个实施例的用于改善听觉注意力的系统的框图。
31.图9是根据本发明的另一个实施例的用于控制消噪耳机的传递(pass-through)特征的系统的框图。
具体实施方式
32.作为示例，图1和图2示出了如何将电极安置在佩戴在用户头部2上的一副贴耳式耳机1上。“贴耳”指的是耳机1包括覆盖用户耳朵4的两个耳机套(左/右)3。每个耳机套3的边缘5靠在用户头部2的围绕耳朵4的区域6上。耳机套3用于(在很大程度上)隔绝环境声音，以使音频回放具有尽可能小的干扰。贴耳式耳机设计有头带7，头带7在头部2上支撑耳机1的重量。头带产生水平压力8，将耳机套3推压在区域6上。
33.一组电极10布置在终端上，以便在使用期间与用户的头部接触。该组电极10包括多个引线电极10a和至少一个偏置电极10b。电极10可以是有源的或无源的。
34.如图2所示，在所示的例子中，终端由一副贴耳式耳机1实现，电极10包括设置在每个耳机套3的边缘5上的贴片。在使用中，水平压力8将贴片10推压在皮肤上，从而降低接触阻抗，并提高生物传感能力。边缘5与区域6具有大的接触，因此提供了可以在其上设置电极的大的可用空间。贴片10可以具有任何合适的形状，例如方形、矩形、圆形或椭圆形。在其他终端(例如入耳式耳机)的情况下，电极10的不同安置和设计可能是足够的。
35.贴片10可以使用具有高导电性的导电泡沫来制造。优选地，该材料能够在温度下保持厚度，并提供一致和可靠的电连接。电极材料可具有低垂直电阻(例如，小于0.005ω)，具有在压缩期间保持最佳导电性能的能力。
36.例如，用于电极的材料可以具有0.33至0.53mm的厚度，具有0.001至0.003ω的垂直接触电阻。体积电阻率可以是1.3至2.94ω
·
cm的典型体积电阻率。该材料可以具有0.1至0.12ω/sq的表面电阻率。当施加0.12n/mm2的应力时，电阻从0.09ω变为0.001ω，因此电阻率的微小变化与材料的压缩有关。电极可以被制造成具有粘性侧面，这允许容易地与塑料或金属外壳集成。
37.例如，电极可以由rogers公司的condux plus
tm
泡沫制成。
38.注意，除了泡沫之外的其他材料也可以用于电极贴片。例如，织物贴片或其他导电材料可以用于电极。
39.也可以考虑甚至更薄的纳米量级的传感器材料。这种薄且可拉伸的电极可以直接附着在用户的皮肤上，有时被称为“电子皮肤”。电子皮肤可以通过将氧化物材料与生物相容硅相结合而制成，并且可以包括自改性涂层，例如由二氧化钒制成。rehman等人在2020年9月1日发表的文章artificial somatosensors:feedback receptors for electronic skins(人工体感:电子皮肤的反馈感受器)中提供了进一步的细节。
40.现在转到眼睛注视的估计，并参考图3，使用仪器放大器11在模拟域中调节来自引线电极10a的信号，并且在该过程中使用来自偏置电极10b的信号来降低共模噪声。经调节的信号被复用，由a/d转换器12进行a/d转换，并被提供给眼睛跟踪处理电路13，眼睛跟踪处理电路13识别注视方向的变化并确定瞬时注视方向(例如，相对注视角度或方向)。最后，来自处理电路13的输出被独立地用于控制一些设施、应用或外围设备14。根据本发明的眼睛跟踪可用于其中的应用示例包括演示控制、头戴式耳机控制、活动对话增强、视网膜中央凹
渲染、改进的ar/vr体验、改进的电视和移动设备上的内容消费、无人机控制、以及电影摄影中的相机控制。
41.图6a示出了从a/d转换器12输入到电路13的信号的例子。灰色区域51代表实际信号，该信号有噪声并围绕平均值波动。虚线52是表示向前(中心)注视方向的电压(称为“中心电压”)。两条点线53是左电压限值和右电压限值。这些电压代表极端的左或右注视，并且以固定的δ电压与中心电压52分开，该δ电压对于每个个体是恒定的。
42.继续参考图6a，测量信号51的幅度(电压)与用户的注视方向相关。当前测量电压51和中心电压52之间的差值57被称为注视δv，并表示当前注视角度(例如，注视方向；相对于参考方向或角度的注视方向)。人的注视在焦点之间转移，称为扫视。扫视之间的转变通常以眼睛从一个焦点相对快速或跳动地移动到另一个焦点为特征。
43.中心电压52受不可忽略的漂移影响(图6a中的向下倾斜)。对于特定的扫视，即恒定的注视δv 57，测量电压因此也将漂移。测量信号和(漂移的)中心电压之间的差值总是代表当前注视方向的电压57。
44.通过预测中心电压52的漂移，注视估计器13能够检测到向另一注视方向的转变，例如新的扫视。在下文中，迭代k的中心电压的预测值被称为基线(k)。
45.眼睛跟踪处理电路13在图4中被更详细地示出，并且将在下文进行讨论。图4中所示的处理将能够处理一个平面中的注视方向，例如水平(左右)和垂直(上下)。因此，实际上需要两个并行过程，每个平面一个。为简单起见，这里只讨论一个(左-右)。
46.另一种眼睛运动是聚散度(vergence)，它与被注视的深度有关。在这种情况下，眼睛向相反的方向移动，要么向内，要么向外。聚散度与涉及从小于1米到大于3米的距离变化的应用相关。与移动电话和其他物体的交互通常会涉及聚散度变化。观看普通电视不涉及聚散度变化，但是观看具有深度显示的自动立体电视可能涉及聚散度变化。
47.在当前公开的实施例中，该算法在包括一组样本的数据窗口(段)上工作。窗口长度是可变参数，并且不影响算法的原理。例如，采样率可以是250hz，窗口长度可以是1/10秒，即25个样本。
48.信号的每个窗口(索引k)首先在块21中被处理，以去除电力线噪声。在本示例中，这是使用移动平均滤波器来实现的。作为替代，数字iir或fir滤波器也可用于相同目的。块21的输出是滤波后的信号(索引k)。
49.接下来，在块22中移除基线(k)，例如当前窗口的估计中心电压。下文将参考块31-36描述中心电压的估计。注意，基线(k)是代表整个下一窗口(即，这里为25个数据点)上的基线预测的单个值。
50.对于基线去除，根据下式从滤波后信号(k)(filtered signal(k))中的每个样本中减去基线(k)(baseline(k))的值:
51.去趋势信号(k)＝滤波后信号(k)-估计基线(k)
52.在基线去除之后，去趋势信号在注视估计器23中用于估计水平注视的角度。在当前实现中，这是使用线性回归模型获得的，该模型使用最大左注视和最大右电压作为上限和下限来校准。最大左电压和最大右电压对应于最大可能左注视角和右注视角的电压，并且取决于中心电压，这将在下文参考块30a和30b进行描述。还可能具有关于如何在不使用线性回归模型的情况下根据去趋势信号估计注视的其他备选方案。
53.去趋势信号还在状态分类器24中用于进行状态分类，例如确定水平注视方向是处于左侧状态、右侧状态、还是中心状态。这是使用线性状态分类器获得的。在这个实现中，使用了线性判别分析。作为替代，可以使用其他多类分类器(如逻辑回归或支持向量机)。使用神经网络也可以完成同样的任务。虽然在本示例中仅包括三个状态，但是可以将更多的状态添加到分类中(例如，诸如中心偏左或中心偏右的中间状态，以及适合于能够实现snr的分辨率的多种状态，即，与前述0.5度精度的可能位置的数量一致)。
54.如上所述，来自块23和块24的输出都可以独立地用于驱动应用14。
55.去趋势信号还被提供给转变分类器25，以识别转变，即，例如由从一个扫视到另一个扫视的变化或者由“平滑追随”眼睛运动引起的注视的变化。每次出现新的扫视时，去趋势信号将示出垂直电压偏移(向上或向下)。换句话说，当用户移动他的眼睛时，测量电压和中心电压(直视)之间的差异将会改变。转变分类器25处理每个数据窗口(索引k)以确定它是否包括这样的电压偏移。代表向新扫视的转变的电压偏移通常会很快，并且可以在去趋势信号中被识别为短时间段内的阶跃或斜坡。转变分类器25还可以识别由“平滑追随”眼睛运动引起的偏移。
56.如果当前窗口不包含可识别的转变(这意味着用户没有移动眼睛)，那么根据下式，注视δv将保持不变:
57.注视δv(k)＝注视δv(k-1)
58.此外，中心电压计算器27使用注视δv(k)根据下式计算当前中心电压(k):
59.中心电压(k)＝取中值[滤波后信号(k)-注视δv(k)]
[0060]
其中，从滤波后信号(k)的每个样本中减去单个值注视δv(k)。注意，中心电压(k)不是以与基线(k)相同的方式预测的，而是基于在窗口(k)期间测量的信号(和所确定的注视)的认知的。
[0061]
如果由转变分类器25检测到转变，则将该转变的时间戳(哪个样本)提供给块28，在块28中确定新的注视δv。块28还接收滤波后信号(k)(即，在去趋势之前)和基线(k)。然后，可以根据下式，基于该时间戳之后的滤波后信号的电压电平来确定新的注视δv:
[0062]
注视δv(k)＝取中值[滤波后信号(k)
转变后-基线(k)]
[0063]
新的注视δv值被存储并用于随后的迭代，直到检测到另一个转变。此外，中心电压估计器29估计当前中心电压为
[0064]
中心电压(k)＝基线(k)。
[0065]
左电压估计器30a和右电压估计器30b使用中心电压(k)的值来确定测量电压的新的潜在最大电压。注意，这种最大/最小电压对于注视估计不是必需的。然而，在一些实施方式中，它们可以用于提高注视估计器23和状态分类器24的准确度。通过将这些阈值设置为适当的值，还可以跟踪所谓的“平滑追随”眼睛运动。
[0066]
注意，这里的注视方向估计(块23)和状态分类(块24)被描述为针对每次迭代执行。因此，每次迭代也确定左最大电压和右最大电压(块30a、30b)。这可能有利于增加可靠性，但是会降低计算效率。如果块25中的转变检测是可靠的，那么可能是有利的是只有当在块25中检测到转变时才估计注视和进行状态分类。在这种情况下，块23和24将紧接在块28之后。
[0067]
现在将参考块31-36描述被称为基线的下一次迭代的中心电压的预测。
[0068]
使用泄漏积分器31生成第一估计基线a，形成先前中心电压和先前估计基线的线性加权:
[0069]
基线a(k+1)＝α
·
中心电压(k)+(1-α)
·
基线(k)
[0070]
泄漏积分器31可以由具有可调低截止频率和高截止频率的带通滤波器代替，用于平滑追随跟踪。
[0071]
使用寄存器32和ar模型33生成第二估计基线b。寄存器32存储n+1个在先预测基线(k)、基线(k-1)、
…
、基线(k-n)的集合，并且该集合被提供给ar模型33。ar模型33生成预测基线
ar模型
(k+1),然后在块35中将其与中心电压(k)进行平均，以提供第二估计b，如下:
[0072][0073]
两个估计基线a和b在块36中被平均，以获得最终基线(k+1)，该最终基线将被存储在寄存器32中，并且在后续迭代中在块22中使用，以对滤波后信号去趋势。
[0074]
图4中的过程需要一个简短的培训会话以便正常工作。在训练会话期间，要求用户执行一些眼睛“姿势”(从右到中、从中到左、从左到中、从中到右移动眼睛)。可以添加额外的姿势来提高准确性，或增加想要识别的状态的数量(如前所述，还能够对诸如中心偏左或中心偏右的状态进行分类)。在明确链接到显示器的应用中，为了更精确，可以要求用户将目标固定在已知位置的显示器上。
[0075]
训练过程用于训练在块23、24和25中使用的模型(估计模型、分类模型和转变模型)。在图5所示的一个实施例中，线性回归模型用于分类和注视估计。训练过程需要对于每个个体执行一次，并且对于每个个体是特定的，并且可以使用训练过程通过一组简单的眼部姿势来收集训练数据41。所收集的数据41用于训练第一模型42，第一模型42在状态分类器(块24)中被用于在可能的状态(中心-右-左-上-下)中对注视方向进行分类。此外，收集的数据41用于训练第二模型43，第二模型43在转变检测器25中被用于识别从一个扫视到另一个扫视的转变。最后，收集的数据41用于训练第三模型44，第三模型44在注视估计器23中被用于估计水平注视和垂直注视。
[0076]
注意，文中公开的系统原则上可以不进行训练，而是通过简单地选择近似的参数值来工作(代价是精度较低)。
[0077]
图6b示出了信号54(例如，在块21和22中的信号处理和基线去除之后的信号输入51，它是图4中两个分支的信号输入)。很明显，图6a中可见的基线漂移现在已被消除。分类边界(例如，与最大/最小电压相关)用虚线55表示。
[0078]
图6c示出了由图6b中的信号54产生的所估计的注视角度值56。
[0079]
如上所述的用于眼睛注视检测的eog方法可以有利地与附加的传感器或测量单元相结合，特别是与用于测量生理反应的附加传感器相结合。如图7所示，除了eog电极10a、10b之外，系统70可以包括以下附加传感器系统中的至少一个:
[0080]
惯性测量单元(imu)71，用于测量加速度、磁场和角速度
[0081]
用于测量脑电图(eeg)的电极72
[0082]
用于测量肌电图(emg)的电极73
[0083]
用于测量心率和血压(光电容积描记图，ppm)的传感器74
不应被解释为局限于其后列出的手段或元件或步骤。例如，表述“包括a和b的设备”的范围不应限于设备仅由元件a和b组成。这里使用的术语“包含”也是开放的术语，也意味着至少包括该术语后面的元件/特征，但不排除其他元件/特征。因此,“包括”与“包含”同义。
[0096]
如这里所使用的，术语“示例性的”是在提供例子的意义上使用的，与指示质量相反。也就是说，“示例性实施例”是作为示例提供的实施例，而不是必须是示例性质量的实施例。
[0097]
应当理解，在本发明的示例性实施例的上述描述中，出于简化公开内容和帮助理解各种发明方面中的一个或多个的目的，本发明的各种特征有时被组合在单个实施例、附图或其描述中。然而，本公开的方法不应被解释为反映了要求保护的发明需要比每个权利要求中明确记载的更多的特征的意图。相反，如以下权利要求所反映的，创造性方面少于单个前文公开的实施例的所有特征。因此，具体实施方式之后的权利要求由此明确地结合到该具体实施方式中，每个权利要求独自作为本发明的单独实施例。
[0098]
此外，尽管本文描述的一些实施例包括其他实施例中包括的一些特征但不包括其他特征，但是不同实施例的特征的组合应该在本发明的范围内，并且形成不同的实施例，如本领域技术人员将理解的。例如，在以下权利要求中，任何要求保护的实施例可被以任何组合使用。
[0099]
此外，一些实施例在这里被描述为可以由计算机系统的处理器或者由执行该功能的其他装置实现的方法或者方法的元素的组合。因此，具有用于执行这种方法或方法元素的必要指令的处理器形成了用于执行该方法或方法元素的手段。此外，这里描述的装置实施例的元件是用于执行出于实现本发明的目的而由该元件执行的功能的手段的示例。
[0100]
在本文提供的描述中，阐述了许多具体细节。然而，应当理解，本发明的实施例可以在没有这些具体细节的情况下实施。在其他情况下，没有详细示出公知的方法、结构和技术，以免模糊对本说明书的理解。
[0101]
类似地，应当注意，术语“耦合”在权利要求中使用时，不应被解释为仅限于直接连接。可以使用术语“耦合”和“连接”以及它们的派生词。应该理解，这些术语并不打算作为彼此的同义词。因此，表述设备a耦合到设备b的范围不应限于其中设备a的输出直接连接到设备b的输入的设备或系统。这意味着在a的输出和b的输入之间存在路径，该路径可以是包括其他设备或装置的路径。“耦合”可以意味着两个或更多个元件直接物理接触或电接触，或者两个或更多个元件彼此不直接接触但是仍然彼此合作或交互。
[0102]
因此，尽管已经描述了本发明的具体实施例，但是本领域技术人员将认识到，在不脱离本发明的精神的情况下，可以对其进行其他和进一步的修改，并且所有这些改变和修改都落入本发明的范围内。例如，上面给出的任何公式仅仅是可以使用的程序的代表。功能可以添加到框图以及从框图中添加或删除，并且操作可以在功能块之间互换。在本发明的范围内，可以对于所描述的方法添加或删除步骤。例如，在图示的实施例中，终端设备被图示为一对贴耳式耳机。然而，本发明也适用于其他终端设备，例如入耳式耳机和助听器等。