用于检测和分类面部肌肉运动的方法和系统的制作方法

专利名称：用于检测和分类面部肌肉运动的方法和系统的制作方法
技术领域：
本发明一般来讲涉及以人为对象的面部肌肉运动的检测和分类， 例如面部表情或者其他类型的肌肉活动。本发明适合使用在电子娱乐
或者其他平台之中，在其中脑电图(EEG)数据被收集和被分析，以 确定对象的面部表情、以便为该平台提供控制信号，并且使用相关的 示例性的而非限制性的应用将会更方便地描述本发明。
背景技术：
面部表情长期以来是人和人交流的最重要的方面之一.人类已经
习惯自觉和不自觉地用面部表情表示情感和态度。进一步而言，我们 在理解和解释其他人的面部表情方面已经变得非常熟练。面部表情形 成了我们日常生活、日常交流和互动的非常重要的部分。
随着技术的进步，我们更多的交流通过机器被传导。人们现在聚 集在虚拟的聊天室和别人讨论事情。文本消息传递正变得更流行，导 致新的正交系统被开发以处理这种无人类属性的世界。目前，面部表 情还没有被用在人机交流的界面中。与机器的互动被限制于使用繁瑣 的输入装置，例如鍵盘和鼠标。这把我们的交流限制于仅是预先考虑 好的和自觉的行为。
因此，需要提供简化人机交流的技术。而且期望这种技术稳健、 强大和适用于大量平台和环境。也期望这种技术优化自然的人和人互 动的技术的使用，使得人机界面对人类使用者来讲尽可能自然。

发明内容
带着这种想法，本发明的一个方面提供了一种检测和分类面部肌 肉运动的方法，包括步骤从至少一个生物信号检测器接收生物信号；和 把至少一种面部肌肉运动检测算法应用到受预定的面部肌肉运 动类型影响的一部分生物信号中，以检测该预定类型的面部肌肉运动。 把至少一种面部肌肉运动检测算法应用到生物信号的步骤可以
包括
将该生物信号部分与定义了预定面部肌肉运动类型的一个或多 于一个独特的(distinctive)信号特征的签名进行比较。
在本发明的第一个实施例中，把至少一种面部肌肉运动检测算法 应用到生物信号的步骤可以包括
直接比较来自 一个或者多个预定的生物信号检测器的生物信号 和该签名，
在本发明的另 一个实施例中，把至少一种面部肌肉运动检测算法 应用到生物信号的步骤可以包括
在一个或者多个预定的分量矢量上投影来自多个生物信号检测 器的生物信号；和
比较一个或者多个分量矢量上的投影和该签名。
预定的分量矢量通过对先前收集的生物信号应用第一分量分析 而确定，该先前收集的生物信号产生在对应于该第一签名的类型的面 部肌肉运动期间。被应用于先前收集的生物信号的第一分量分析可以 是独立分量分析(ICA)。或者，被应用于先前收集的生物信号的第 一分量分析可以是主分量分析(PCA).在这个实施例中，该方法可 以还包括步骤
应用笫二分量分析到被检测的生物信号；和
利用第二分量分析的结果以在生物信号检测期间更新一个或者 多个预定的分量矢量，
第二分量分析可以是主分量分析(PCA)。
在本发明的另 一个实施例中，把至少一种面部肌肉运动检测算法 应用到生物信号的步骤可以包括
应用期望的变换到生物信号；和比较期望的变换的结果和该签名。
该期望的变换可以从付里叶变换、小波变换或者其他信号变换方 法中的任何一个或多个中选择。
把至少一种面部肌肉运动检测算法应用到生物信号的步骤可以
还包括步骤把来自预定面部肌肉运动类型的生物信号和生物信号中 的一个或者多个噪声源分离开。
噪声源可以包括电磁千扰(EMI)、不是来自预定的面部肌肉运 动类型的生物信号和其他肌肉伪信号(arcefact)中的任何一个或者多 个。
把一个或者多于一个面部肌肉运动检测算法应用到生物信号的 步骤可以包括，将来自 一对或者多对生物信号检测器的生物信号的和 或者差与该签名相比较。
把一个或者多于一个面部肌肉运动检测算法应用到生物信号的 步骤还包括，比较来自一对或者多对生物信号检测器的每一对的生物 信号和该签名。
比较步骤包括
求来自一对或者多对生物信号检测器的每一对的生物信号中的 一个或者多于一个的导数，以及来自 一对或者多对生物信号检测器的 生物信号的和或者差。
比较步稞还可以包括
将来自一对或者多对生物信号检测器的每一对的生物信号中的 一个或者多于一个的梯度和幅度中的一个或者两个与来自 一对或者多 对生物信号检测器的生物信号的和或者差相比较；和
确定梯度和幅度中的一个或者两个分别在什么时候超过了预定 的梯度和幅度的阈值。
比较步骤还可以包括
计算来自一对或者多对生物信号检测器的每一对的生物信号之 间的相关性；和
确定该相关性在什么时候超过预定的相关性阈值。把一个或者多于一个面部肌肉运动检测算法应用到生物信号的
步骤可以包括，比较来自 一个或者多个预定生物信号检测器的生物信 号的功率和该签名。
比较步骤可以包括，计算来自 一对或者多对生物信号检测器的生
物信号的功率与该签名的和；和
确定该和是否超过了指示第一面部肌肉运动类型的预定阈值。 比较步骤可以包括计算来自第一组生物信号检测器的生物信号
的功率和来自第二组生物信号检测器的生物信号的功率的比值；和 确定该比值是否超过了指示笫二面部肌肉运动类型的预定阈值。 在本发明的一个或者多个实施例中，生物信号可以包括脑电图 (EEG)信号，眼电图(EOG)信号和肌电图(EMG)信号中的任
何一个或者多个。
该方法还可以包括步骤
对于在电子娱乐应用或其他应用中的输入，产生代表被检测面部 肌肉运动类型的输出信号。
本发明的另外一个方面，提供了 一种用于检测和分类面部肌肉运 动的设备，包括
处理器和使处理器实施上面所述方法的相关联的存储装置。
本发明还有另外一个方面，提供了一种计算机程序产品，可有形 地存储在机器可读的介质上，该产品包括使处理器实施上面所述方法
的指令，
本发明还有另外一个方面，提供了一种包括使处理器实施上面所 述方法的指令的计算机程序产品，


参考下面的描述、附加的权利要求书和相关附图，本发明的这些 和其他特征、方面与优势将会被更好的理解，它们描述了该装置的视 图和实施例，和本发明的方法的特定实施例中的一些步骤，其中
图l是根据本发明的用于检测和分类面部肌肉运动的设备的示意图。
图2是阐明了形成被用于图l所示设备的头戴式装置(head set) 的一部分的头皮电极(scale electrode )位置的示意图。
图3是阐明了被图1所示设备执行的广义功能步骤的流程图。
图4和图5表示的是在预定面部运动期间来自图2所示的被选择 电极的示例性信号。
图6表示的是在大量面部运动期间来自图2所示头皮电极的信号。
图7是阐明了在签名产生过程中执行的步骤的流程图，所述签名 在检测和分类面部肌肉运动期间被用于图l的设备中，定义了预定面 部肌肉运动类型的独特的信号特征。
图8是在至少一个操作模式下，把来自图2所示传感器的信号分 解成被图1所示设备执行的预定分量的概念表示。
图9是在一系列眨眼期间来自图2所示传感器中的一个传感器的 信号表示'
图10是阐明了在至少一个操作模式下，在生物信号检测和分类 期间和之前由图l所示设备执行的步骤的流程图。
图11是示明了在一个示例性的眨眼期间，存在于从图2所示传 感器获得的生物信号之中的眨眼分量矢量的示意图。
图12是用于将面部肌肉运动检测和分类为眨眼的一个示例算法 的流程图。
图13所示的是从图2所示的示例性传感器检测的生物信号和在 该生物信号上执行的后续分析的表示。
图14表示的是用于将面部肌肉运动检测和分类为眨眼的另一个 示例算法的流程图。
图15是用于将面部肌肉运动检测和分类为微笑和皱眉的一个示 例算法的流程图；和
图16是在一个微笑期间来自图2所示传感器的信号的表示。
具体实施例方式
现在参见图1，这里大致图示了一个用于检测和分类面部肌肉运
动的设备100。该设备100包括一个生物信号检测器的头戴式装置102, 能检测来自对象的各种各样的生物信号，具体来讲是由身体产生的电 子信号，例如脑电图(EEG )信号，眼电图(EOG )信号，肌电图(EMG ) 信号或者类似的信号。设备100也可以包括能检测其他生理信号、例 如皮肤电导的生物信号检测器。在图示中的典型实施例中，头戴式装 置102包括一系列用于从使用者那里获取EEG信号的头皮电极。该 头皮电极可以直接接触头皮，或者是不需要直接放置在头皮上的非接 触类型。不像提供高分辨率的3-D脑扫描(例如MRI或者CAT扫描) 的系统，该头戴式装置一般来讲是轻便的和不受约束的。
被头皮传感器系列检测到的头皮上的电波动主要归因于处于头 骨或者在头骨附近的脑组织。其来源是大脑皮质的电子活动，该大脑 皮质的大部分位于头皮下面的大脑的外表面上。头皮电极拾取由大脑 自然地产生的电子信号，并且可以观测穿越大脑表面的电子脉冲。尽 管在这个典型实施例中，头戴式装置102包括几个头皮电极，在其他 的实施例中，仅有一个或者更多的头皮电极(例如16个电极)可能被 用于头戴式装置中。
传统的EEG分析仅仅专注于来自大脑的信号。其主要应用是 探索性的研究，其中不同的节律(a波，p波等等)被识别；病理学 检测—痴呆的发病或物理损伤能被检测到；自我完善装置——利用 这种装置，生物反馈被用来辅助各种不同形式的思考.传统的EEG 分析认为来自例如眨眼的面部肌肉运动的信号是伪信号(artefacts)， 其掩盖了期望要被分析的真正的EEG信号。各种不同的程序和操作 被施行以把这些伪信号从被选择的EEG信号中滤除出去。
申请人已经开发了一种技术，该技术使得能够从头皮电极感测和 采集电子信号，并能运用信号处理技术来分析这些信号，以检测和分 类人类面部表情，例如眨眼(blink)、眨一只眼(wink)、皱眉、微 笑、大笑、谈话等等。这样的分析结果能被用于各种其他应用之中，包括但不限于电子娱乐应用、计算机程序和模拟器，
被头戴式装置102的电极检测到的每一个信号通过一个传感器接 口 104 (其可以包括一个放大器以加强信号强度和一个滤波器以消除 噪声)被馈送，然后再被一个模拟数字转换器106数字化。被每一个 头皮传感器捕获的信号的数字化样本在设备100操作的过程中被储存 进一个数字緩冲器108以用于后续处理。
设备100还包括处理系统109，其包括数字信号处理器112、协 处理装置110和相关的存储装置以储存一系列指令(或者名为计算机 程序或计算机控制逻辑)，以使处理系统109执行预期功能步骤。很 明显，所述存储器包括一系列指令，该指令定义至少一种要被数字信 号处理器112执行的算法114，以检测和分类预定的面部肌肉运动的 类型.在检测到面部肌肉运动的每一个预定类型后，对应的控制信号 在这个典型的实施例中被传输到输入/输出接口 116，以经过一个无线 传输装置118传输到平台120以被电子娱乐应用、程序、模仿器或者 类似物作为控制输入使用。
在一个实施例中，算法被实现在软件之中，指令系列被存储在处 理系统的存储器中，例如处理系统109的存储器之中。指令系列使得 处理系统109像此处描述的那样执行本发明的功能。在装栽进存储器 之前，指令能被有形地包含在机器可读的存储装置之中，例如计算机 盘或存储卡，或者传播信号中。在另一个的实施例中，算法主要被实 现在硬件中，例如使用硬件元件，比如专用集成电路(ASIC)。硬件 状态机器的实现以执行此处所描述的功能，对于在相关领域里技术人 员来讲将非常清楚。在另外的实施例中，算法被使用软件和硬件的组 合实现。
设备IOO的其他实现也是可能的。取代数字信号处理器，FPGA (现场可编程门阵列)可被使用。不是由分离的数字信号处理器和协 处理器来完成处理功能，而是由一个单独的处理器执行处理功能。緩 冲器108可以被去掉或者被一个复用器(MUX)所取代，数据被直接 存储在处理系统的存储器中。MUX能被放置在A/D转换器之前，使得仅需要一个单独的A/D转换器。设备100和平台120之间的连接可 以是有线连接而不是无线连接。
尽管在图1中被阐明的设备IOO在一个单独的装置(其处于平台 的外面)中带有所有的处理功能，但是其他的实现是可能的。例如， 设备可以包括头戴式装置组件(assembly)，其包括头戴式装置， MUX， A/D转换器(MUX之前或者之后)，无线传输装置，供电的 电池，和一个控制电池使用、从MUX或A/D转换器向无线芯片发送 数据等等的微控制器。该设备也能包括一个单独的处理器单元，该单 独的处理器单元包括无线接收器，以接收来自头戴式装置组件的数据； 和处理系统，例如数字信号处理器和协处理器。该处理器单元能通过
有线或者无线连接被连接到平台。作为另一个例子，设备能包括一个 如上描述的头戴式装置组件，平台能包括一个无线接收器以接收来自 头戴式装置组件的数据，专用于面部肌肉运动的检测的数字信号处理 器能被直接集成进平台里。作为另外一个例子，设备能包括一个如上 描迷的头戴式装置组件，平台能包括一个无线接收器以接收来自头戴 式装置組件的数据，面部肌肉运动检测算法被同一处理器在平台中执 行，所述的同一处理器(例如通用数字处理器)执行应用、程序、模 仿器以及类似物。
图2阐明的是构成头戴式装置102的一部分的头皮电极的定位系 统200的一个例子。图2所示的电极布置系统200被称为"10-20"系统， 并且被建立在电极的定位和大脑皮质之下区域之间的关系的基础之 上。电极布置系统200上的每一个点表明一个可能的头皮电极位置. 每一个位点包括一个字母以识别波瓣(lobe),和一个数字或者其他 字母以识别大脑半球位置。字母F、 T、 C、 P、 O代表前部(Frontal)、 颞部(Temporal)、中心(Central)、侧部(Parietal)、枕部(Occipital)。 偶数表示大脑右半球，奇数表示大脑左半球。字母Z表示中线位置的 电极。中线是一条线，其沿着头皮在子午面上以鼻根点开始，在头部 后面的枕外隆凸点结束。"10"和"20"表示中线划分的百分率。中线被 划分成7个位置，它们是鼻根点、Fpz、 Fz、 Cz、 Pz、 Oz和枕外隆凸点，相邻位置之间的间隔角分别是中线长度的10%、 20% 、 20%、 20%、 20%和10%。
头戴式装置102 (包括根据系统200定位的头皮电极)，被放置 在对象的头上以检测EEG信号。就像图3所示，在步骤300， EEG 信号被神经生理学信号采集装置获得，然后在步骤302用模数转换器 106被转换到数字域。在步骤304，来自每一个传感器的一系列的数字 化信号然后被存储进数据緩冲器108.在步骤306， 一个或者更多的面 部肌肉运动检测算法被应用以检测和分类不同的面部肌肉运动，包括 面部表情或者其他肌肉运动。每一个算法产生一个结果来表示对象的 面部表情。在步骤308，这些结果被传递到输出模块116,在这里它们 被各种不同的应用所使用.
在传统的EEG研究中，许多来自眨眼和其他面部肌肉运动的信 号被认为是伪信号，其掩盖了需要分析的真正的EEG信号。图4所 示的是，在一系列眨眼动作期间，来自电极Fpl或者Fp2 (在图2中 所示的电极定位系统200中所看到的)的信号的表示400。相似地， 图5所示的是来自电极T7或者T8 (来源于对象的一系列微笑动作) 的信号的表示500,
图6所示的是，当对象执行各种各样的眼部运动的时候，来自在 头戴式装置102中的每一个电极的信号的表示600。上、下、左、右 的眼部运动的影响(impact)能从信号表示的划圃围的部分被观察到， 设备IOO隔离这些波动，然后应用一个或多个算法以对面部肌肉运动 (其负责产生这些波动)划分类别，而不是认为来自面部肌肉运动的 对EEG信号的影响是污染了 EEG信号质量的伪信号。i殳备100向生 物信号的一部分应用至少一种面部肌肉运动检测算法114，以检测预 定类型的面部肌肉运动，其中所讲的生物信号由受预定类型的面部肌 肉运动影响的头戴式装置102获取。为了做到这些，定义了预定面部 肌肉运动类型的 一个或多个独特的特征的数学签名被存储在存储装置 112中。受预定类型的面部肌肉运动影响的生物信号的相关部分然后 和该数学签名作比较。为了给每一种面部肌肉运动产生所述的数学签名，就像图7中所 示的一样，在步骤700中，刺激(stimuli)被开发以得出该特殊的面 部表情。 一般来讲，该刺激采取声像表示的形式或者一组指令的形式。 在步骤702中，该组刺激被测试直到在被开发的刺激和所得到的期望 面部肌肉运动之间得到高度关联。在步骤704, —旦一组有效的刺激 被开发，EEG信号记录就会生成，其包含许多期望的面部肌肉运动的 例子。理想地，这些面部肌肉运动应该尽可能自然，
一旦EEG信号记录被收集，信号处理操作随后在步骤706中被 执行，以识别每种预定面部肌肉运动类型的一个或多个独特的信号特 征。在每一种EEG信号记录中识别出这些独特的信号特征，使得在 一个对象中的面部肌肉运动的类别在步骤708中被划分，代表被检测 的面部肌肉运动类型的输出信号在步骤710中被输出。在步骤712中， 输出信号的测试和验证使一个鲁棒的数据集被确定。
在某些实施例中，为每一个对象开发一个数学签名可能是必需 的。在本发明的其他实施例中，可以为每一种类型的面部肌肉运动开 发通用的数学签名(例如用有限数量的对象)，然后被存储进数字信 号处理器112的存储器中，不需要像前面所提到的步骤一样被每一个 对象实施。
在其中一个操作模式下，受预定类型的面部肌肉运动所影响的生 物信号部分主要被发现存在于来自有限数量的头皮电极的信号中。例 如，眼部运动和眨眼能通过使用眼睛附近的仅两个电极被检测，例如 图2中所示的Fpl和Fp2通道，在这种情况下，可以将来自这些电极
的:学i名直接进行比较。 ' 各
也可以把来自一个或者更多电极的信号组合在一起，然后再把该
一个或者多;数学签名进行比较.在信号组合操作之前，权重能被应 用于每一个信号以提高面部肌肉运动检测和分类的精确度。
在其他操作模式下，设备100把头皮电极信号分解成一系列分量，然后将来自头皮电极的生物信号在一个或更多的预定的分量矢量上的 投影与定义了每一种类型的面部肌肉运动的信号特征的数学签名进行 比较。
在这方面，独立分量分析(ICA)已经被发现对于定义横越整个 头皮的势能函数(potential function)的特征形式非常有用。独立分 量分析用 一 系列对比函数在输出之间最大化统计学独立性的程度。像 图8中所示的一样，在ICA中，输入矩阵X的行代表在不同的电极上 记录的来自头戴式装置102中的生物信号的数据样本，而列是在不同 的时间点上记录的测量结果。独立分量分析发现一个"分离" (unmixing)矩阵W，其分解或者线性地把多通道头皮数据分离成临 时独立的和特别固定的分量的总和。输出数据矩阵U=WX的行是激活 ICA分量的时间进程。逆矩阵W-l的列给出来自头皮电极的每一个信 号在各自的分量矢量上的相对的投影强度。这些头皮权重给出每一个 分量矢量的头皮拓朴图。
另一种用于把生物信号分解为分量的技术是主要分量分析 (PCA)，其确保输出分量是不相关的。在本发明的各种不同的实施 例之中，独立分量分析和主要分量分析中的任意一种或者这两者能被 使用以检测和分类面部肌肉运动。
在其他操作模式之中，设备100可以把期望的付里叶变换运用到 来自头皮电极的生物信号中。该变换也可以是小波变换方式或者任何 适合的信号变换方式。 一种或者更多不同的信号变换方法的组合也可 以被使用。然后，受预定类型面部肌肉运动影响的部分生物信号可以 用 一种神经网络被识别出来。
上面描述的每一种用于检测和分类面部肌肉运动的技术可以被 合并到面部肌肉运动检测算法中，其被存储进数字信号处理器112的 存储区并且被数字信号处理器112执行。 一旦一种特殊的面部肌肉运 动检测算法被完全开发，该算法可以作为一段实时软件程序被实施， 或者被传输到数字信号处理器或其他合适的环境。
作为一个能被设备100检测和分类的面部肌肉运动类型的例子，用于检测眨眼的面部表情算法现在将要被描述。我们可以这样理解， 的检测和分类，例如眨眼和眼球运动。眨眼存在于所有的前部的电极
中，但是在前面的Fpl和Fp2两个通道中特征最突出。图9所示的是 在3次典型的眨眼期间，在头皮电极Fpl上记录的生物信号的表示 900。从来自前面的通道Fpl的生物信号的902、 904和906信号部分， 我们可以看出，3次眨眼中的每一次对生物信号有明显的影响。在这 个例子中，来自前面的电极Fpl和Fp2的生物信号在预定分量矢量 上的投影被用来将生物信号中的波动检测和分类为眨眼。
在本发明的一个实施例中，预定分量矢量从以前从大量对象和/ 或者在大量不同的会话中被收集的数据中被识别出来。像图10中所示 的一样，在步骤1000,当期望的面部肌肉运动被对象产生的时候，来 自大量不同对象和/或者在大量不同的会话中的EEG数据被记录下 来，在步骤1002,在被记录的EEG数据上执行独立分量分析；在步 骤1004,产生于相关面部肌肉运动的EEG信号中的波动被投影在其 上面的分量矢量被确定。然后，被使用在后续数据记录和分析中的相 关分量矢量依面部肌肉运动的类型被记录在存储装置112中。在这种 情况下，面部肌肉运动的三种典型类型能被划分，它们是步骤1006 中的垂直眼部运动、步骤1008中的水平眼部运动和步骤1010中的眨 眼.
独立分量分析是一种很消耗计算时间的活动，并且在许多情况下 在某些应用、例如实时应用中是不适当的。尽管独立分量分析能被用 来产生平均分量矢量以用于各种不同面部肌肉运动类型的检测和分 类，而不同电极的信号的平衡随着不同的会话和使用者轻微地不同.
因此，在实时数据检测和分类期间，利用以前搜集的数据的独立 分量分析所定义的平均分量矢量可能不是最佳的。在设备IOO实时操 作期间，可以在实时数据上执行主要分量分析，并且其结果分量矢量 能被使用以更新被独立分量分析贯穿每一个会话产生的分量矢量。用 这种方式，得到的面部肌肉运动检测算法相对于电极移动和电极接触强度变化可以是鲁棒的。
如在步骤1012中可以看到的，在面部肌肉运动检测算法114中， 以前被收集的数据在矢量分量上的投影最初被用作参考。但是，当数 据在步骤1014被收集和被存储进数据緩冲器108中，在步骤1016在 被存储数据上实施主要分量分析，并且产生于步骤1018的分析结果然 后被利用以更新在离线独立分量分析期间开发的分量矢量。
如前所述，分量矢量能被利用以使正确的权重被应用到来自每一 个相关电极的信号的贡献。眨眼分量矢量的例子被表示在图11中的矢 量图1100中。从这个矢量图，我们可以看出对该分量的最大贡献实际 上是来自两个前面的电极Fpl和Fp2。但是，很明显眨眼并不对称. 在这种情况下，电极Fp2周围的电位比电极Fpl周围的大。这种不同 可能是由于很多原因，例如肌肉不对称、电极不是对称地分布在对象 头部或者接触头皮的电极阻抗不同。这个图阐释的是期望在每一个会 话期间优化分量矢量，例如通过应用在图10中示出的步骤。
图12所示的是一个被用于检测眨眼的面部肌肉运动检测算法 1200的例子。该算法1200可能被应用于激活分量矢量，或者可能被 应用于来自单个头皮电极的信号或是来自多于一个的头皮电极的信号 的组合。在一个实施例中，在步骤1202, EEG信号在和眨眼相关的 分量矢量上的投影最初被传递到一个低通滤波器。在步骤1204， 一阶 导数运算然后在信号上执行。简短而言，函数f关于x的无穷小改变 的一阶导数被定义为代x)slimh/(針 —f00。对于单一的眨眼的处
理结果表示在图13中。最初分量矢量标为1300，而产生于低通滤波 器和一阶导数运算的信号分别标为1302和1304。
特别引人注意的是一阶导数信号中的零交叉点，其被分为两类 正零交叉点和负零交叉点。零交叉点的符号(即或正或负)表示，信 号在穿过轴之后是增加还是减少。对于每一次眨眼，有两个正零交叉 点，分别在图13中标为1306和1308。这两个正零交叉点定义了眨眼 的边界条件。负零交叉点1310定义了眨眼的峰值。因此，在步骤1206， 算法1200确定在存储于数据緩冲器108中的数字化数据中是否出现零
18交叉点。如果情况如此，在步骤1208确定交叉类型是正零交叉还是负 零交叉。如果检测到负零交叉，对应信号的峰值幅度在步骤1210被检 查，以校验信号幅度中的这个过渡性的上升是否来自真正的眨眼。如 果检测到正零交叉点，如果在步骤1212确定没有先前的负零交叉点被 存储在序列中(其对应信号幅度满足峰值条件)，算法在步骤1214 把这个信息存储进状态队列。如果有先前的负零交叉点被存储在状态 队列里，在步骤1212作出存在眨眼的断言。如果被发现的负零交叉点 不能满足峰值条件或者眨眼检测断言被做出，所述算法复位。
因此， 一旦零交叉点被识别，算法就校验是否存在一个被夹在两 个正零交叉点之间的负零交叉点；以及眨眼峰值是否通过幅度阈值。 幅度阈值的默认值在开始的时候被作出，但为了增加算法的精确度， 在步骤1218，阈值幅度在个体眨眼峰值的强度的基础上可选择性地被 调整，
在这个例子中，眨眼签名定义了代表眨眼的独特的信号特征，也 即在被滤波信号的一阶导数中被夹在两个正零交叉点之间的负零交叉 点，和大于被滤波信号中的预定阈值的信号幅度。在面部肌肉运动检 测和分类的过程中，通过改变形成签名的独特的信号特征的部分的阈 值，该签名被有选择性地更新。在其他实施例中，数字签名可以定义 其他幅度或信号特征，其超出一个或更多预定的阈值。在面部肌肉运 动检测和分类的过程中，通过改变一个或更多这种阈值，该签名可以 被更新.更一般地讲，在面部肌肉运动检测和分类的过程中，预定面 部肌肉运动类型的任何一个或者多个独特的信号特征(其形成数字签 名部分)可以被更新，以提高被设备IOO实现的面部肌肉运动检测算 法的可行性和精确度。
被利用来检测和分类各种不同面部表情的特定通道(channel) 根据所考虑的特殊的面部表情可能不同，除了利用来自个别的通道的 信号或者激活分量矢量，通道对的和或者差可以被用在面部肌肉运动 检测算法中。图14所示的是被用来检测眨眼的面部肌肉运动检测算法 1400的另一个例子。该算法1400涉及检查通道对之间的信号的相关性，也涉及检查来自通道对Fpl和Fp2中的每一个的信号的幅度和梯 度，也涉及检查来自该对通道的生物信号的和。在这个示例性的算法 中，在步骤1402,来自在图2中示出的传感器的生物信号以256Hz 的速率被采样，导致32个通道中的每一个每秒钟产生256个样本。在 步骤1404，分别对应来自传感器Fpl和Fp2的生物信号的通道1和通 道30针对一个数据窗口被提取，其对应于l/32秒、包含8个样本。 在步骤1406，来自通道1和通道30的样本被相加。
在步驟1408，三阶无限冲击响应(IIR)低通滤波器以10Hz被 应用，同时在步骤1410， 一阶IIR高通滤波器以0.125Hz被应用.
在步骤1412，在来自通道Fpl和Fp2的生物信号的总和上执行 一阶导数运算。类似于前面提到的算法1200，眨眼峰值被一阶导数的 负零交叉点跟踪。眨眼信号峰值的上升和下降分别被一阶导数的在该 负零交叉点前面和后面的正零交叉点界定。 一个评价被做出，其关于 在步骤1414，对于由正零交叉和负零交叉界定的数据窗口的峰值的上 升(或相反为峰值的下降)，通道Fpl和Fp2的被滤波信号之间的相 关性是否超过了第一预定阈值；在步骤1416，来自单独的通道Fpl和 Fp2其中之一的眨眼峰值信号的上升或者下降的较小幅度是否超出了 第二预定阈值；在步骤1418，由来自通道Fpl和Fp2的总和信号的 一阶导数的峰值和槽谷确定的最大梯度是否超出了第三预定阈值。如 果这三个值不管在什么情况下都在它们各自的阈值之上，则在步骤 1420，峥眼或者闭眼事件被检测到(取决于最大梯度是正还是负)。
类似的算法能被用来识别眨一只眼、眼球运动或者其他相关的面 部肌肉表情。其他算法可能使用信号相关性、幅度位移和信号梯度测 量的不同的组合，以及评价与使用在图14所示算法中不同的一个或者 更多的不同的通道对的生物信号的和与差。
被用来检测和分类面部肌肉运动的其他算法依赖于确定特殊通 道上的信号功率、 一对或者多对信号通道上的信号功率的总和、 一对 或者多对通道之间的信号功率的差和/或者一个或者多个通道或一对 或者多对通道上的信号功率和一个或多个其他通道或一对或者多对其他通道的信号功率的比，通过使用图15所示的示例算法1500，微笑 或者皱眉能被检测到。该示例算法确定了一个尺度，其通过使用特殊 通道上的信号功率、特殊通道上的生物信号的总和的信号功率和信号 通道对上的信号功率的总和的比被计算出来。在步骤1502，来自图2 所示的每一个检测器的生物信号，以256Hz被采样。在步骤1504，来 自几个通道对的数据被提取，也即来自对应于检测器T7和T8的通道 6和11、对应于检测器AF3和AF4的通道2和15、对应于检测器FC5 和FC6的通道4和13和对应于检测器F7和F8的通道3和14的数据。
在步骤1506，为这些通道中的每一个创建数据窗口，其中，64 连续样本(对应于四分之一秒)被考虑。在步骤1508，由每一个通道 的数据窗口中的64连续样本所代表的信号的功率被计算出来，并且在 步骤1510为每一个通道计算出信号功率值。
为了确定步骤1502中的EEG数据样本中是否出现微笑，通道对 T7和T8上的功率和通道对AF3和AF4与通道对FC5和FC6上的功 率的平均值的比值在步骤1512被计算出来。在步骤1514，低通滤波 器被应用到在步骤1512中得出的计算结果。在步骤1516,确定在步 骤1512中被计算出来的比值是否超出了指示微笑的预定的阈值。如果 情况如此，则在步骤1518检测到微笑，否则步骤1506被再次执行于 来自在步骤1504被提取的每一个通道的下面的64个数据样本。
在步驟1512被计算以确定在生物信号数据中是否存在微笑的同 时，通道对FC5和FC6上的平均功率在步骤1522被计算以确定生物 信号中是否存在铍眉.如果在步驟J526确定这个被计算的平均功率超 过了指示皱眉的预定的阈值，则在步骤1528检测到皱眉。在步骤1526， 如果在步骤1522被计算出来的平均功率不超过指示皱眉的预定的阈 值，则在步骤1512被计算出来的功率比值被拿来和指示微笑的阈值做 比较以确定在生物信号中是否存在微笑。
为了提高依靠信号功率检测的算法的效率，可以利用所有通道上 的信号功率创建信号功率轮廓，以创建一个信号功率的轮廓，其作为 一个32通道矢量，有好几种可以为表情创建信号功率轮廓的方法。例如主要分量分析，简单统计学(像平均值)、中值和人工测量的组合， 能被用来创建信号功率轮廓。为了度量简单，该轮廓然后能被规范化 成一个单位矢量。信号功率轮廓和所有通道上的规范化的信号功率的 点积然后能被用作信号以识别何时发生特殊的面部表情。
在关于图15所描述的算法之中， 一个通道上的信号功率通过计 算通道信号的一阶导数被计算出来，这里所述的通道信号有时候首先 通过高通滤波器。通道信号的一阶导数的绝对值被得到，并且某些最 低值和最高值部分被舍弃。这些值通常是最低值的3/8和最高值的1/8。 然后，没有被抛弃部分的平均值被计算出来。被用来计算信号功率的 数据窗口 一般是1/4秒的量级。
另外的可替换的计算信号功率的方法能被用在本发明的其他实 施例中。这些方法可能是以存在于通道上的特殊频段上的信号功率， 或者两种不同频段或两种不同通道上的功率的比值为基础的。这些可 能是相同频段上的不同通道、相同通道上的不同频段或者不同通道上 的不同频段。
根据表达式sum ( xy ) /sqrt (sum ( x2) +sum (y2))， 关于 图14中所示的相关算法执行的通道相关性被计算出来。在本发明的某 些实施例中，另一种可替换的相关性的测算方法能被实施sum(xy) /sqrt (sum (max (x， y) 2)。在两个前述的表达式中，x项和y项 对应于两个正在被计算的信号。后一相关方法有减小两个信号中的值 的优势，所述两个信号有相似轮廓但是一个比另一个大得多。
上面所描述的面部表情检测算法可能有几个和其相关的阈值。这
些阈值调整起来可能不直观，因此把这些阈值转换成一个或者多个直 观的"灵敏度"参数是有用的。
例如，眨眼在来自任何一个或者多个图2所示的检测器的EEG 信号上的影响能被简单理解成大量前面通道上的并行向上的偏转.这 些偏转能用以下内容被表征偏转的最小高度，偏转的最小梯度和不 同通道上的信号的最小相关性。这三个阈值如何被结合对非专家使用 者来讲不一定是直接的。为了把多个阈值转化成单一的灵敏度参数，为每一个阈值评估一个合理的范围是我们需要的。然后，每一个阈值 可能被插值(或者线性或者其他)在合理范围的最小值和最大值之间。
相应地，如果单个的参数的最小的阈值是thresh一min、最大值是 thresh_max。给出一个灵敏度参数S，其在0 1的范围内变化，用线 性插值，那个参数的阈值将会是
阈值-thresh—max+ (thresh—min- thresh一max ) *S 另外，灵敏度阈值可能被任何单独的阈值推断出，这种推断建立 在这样的基础之上
S= (threshold- thresh_max) / (thresh_min- thresh—max) 由于不同的人的肌肉组织的变化，通过噪声轮廓分析而被检测到 的表情可能有不同的值。这些算法的自动校准能被执行以适应这种变 化。校准能通过记录中性状态被执行，该中性状态被定义为任何亊情 但除了正在被校准的表情。噪声值在这个时期被计算，被获得的值被 存储并且该值的较低的50%被抛弃。剩余值的平均值然后被作为一个 基线使用，高于这个基线，我们就能推断有少量的表情发生了。
表情的最大阈值的校准能通过使用较低阈值的倍数被实现，例如 较低阈值的2或者3倍。或者，对象能被要求来执行该表情，并且在 这个期间被得到的值能用来确定面部表情范围的上限。应该仔细，因 为被强迫的表情所导致的波动可能不像自然发生的表情那样大，因此 在这个校准期间被发现的最大值应该被设定在该范围的50%。
尽管该发明已经参考特定的优选实施例在大量的细节上被探讨， 但是其他实施例是可能的。因此，所附的权利要求的范围不应该限于 被包含在本公开中的优选实施例中的描述。这里所有的被引用的参考 应该被集合在它整个参考之内。
权利要求
1、一种检测和分类面部肌肉运动的方法，包括步骤a)从一个或者多于一个生物信号检测器接收生物信号；和b)将一个或者多于一个面部肌肉运动检测算法应用到受预定类型的面部肌肉运动影响的一部分生物信号中，以检测该预定类型的面部肌肉运动。
2、 根据权利要求1的方法，其中将一个或者多于一个面部肌肉 运动检测算法应用到生物信号的步骤包括，将该生物信号部分与定义 了该预定面部肌肉运动类型的一个或者多于一个独特的信号特征的签 名进行比较。
3、 根据权利要求2的方法，其中将一个或者多于一个面部肌肉 运动检测算法应用到生物信号的步骤包括，对来自 一个或者多于一个 预定的生物信号检测器的生物信号与该签名进行直接比较。
4、 根据权利要求2的方法，其中将一个或者多于一个面部肌肉 运动检测算法应用到生物信号的步骤包括a) 在一个或者多于一个预定的分量矢量上投影来自多个生物信 号检测器的生物信号；和b) 将一个或者多于一个分量矢量上的生物信号的投影与该签名 进行比较。
5、 根据权利要求4的方法，还包括在来自多个检测器的生物信 号在一个或者多于一个分量矢量上投影之后，并且在将被投影的生物 信号与该签名进行比较之前，对被投影的生物信号应用期望的变换。
6、 根据权利要求4的方法，其中通过在先前收集的、在对应于 该签名的类型的面部肌肉运动期间产生的生物信号上应用第一分量分 析来确定所述预定的分量矢量。
7、 根据权利要求6的方法，其中被应用于先前收集的生物信号 的第一分量分析是独立分量分析(ICA)。
8、 根据权利要求6的方法，其中被应用于先前收集的生物信号的第一分量分析是主分量分析(PCA)。
9、 根据权利要求4的方法，其中一个或者多于一个分量矢量在 面部肌肉运动检测和分类期间被更新。
10、 根据权利要求2的方法，还包括在面部肌肉运动检测和分类 过程中更新签名。
11、 根据权利要求10的方法，其中通过改变形成签名的至少一 部分独特的信号特征的阈值来更新签名。
12、 根据权利要求2的方法，将一个或者多于一个面部肌肉运动 检测算法应用到生物信号的步骤包括a) 对生物信号应用期望的变换；和b) 对期望的变换的结果与该签名进行比较。
13、 根据权利要求12的方法，其中的变换是从由付里叶变换和 小波变换组成的组中选择的一个或者多于一个变换。
14、 根据权利要求4的方法，还包括a) 对被检测的生物信号应用第二分量分析；和b) 在生物信号检测期间利用第二分量分析的结果来更新所述的 一个或者多于一个预定的分量矢量。
15、 根据权利要求14的方法，其中的第二分量分析是主分量分 析(PCA)。
16、 根据权利要求l的方法，其中将一个或者多于一个面部肌肉 运动检测算法应用到生物信号的步骤包括把来自预定类型的面部肌 肉运动的生物信号与生物信号中的一个或者多于一个噪声源相分离。
17、 根据权利要求16的方法，其中噪声源包含从由电磁干扰 (EMI)和不是来自预定类型的面部肌肉运动的生物信号組成的组中选择的一个或者多于一个源。
18、 根据权利要求2的方法，其中将一个或者多于一个面部肌肉 运动检测算法应用到生物信号的步骤包括，将来自一对或者多对生物 信号检测器的生物信号的和或者差与该签名进行比较。
19、 根据权利要求18的方法，其中将一个或者多于一个面部肌肉运动检测算法应用到生物信号的步骤还包括，对来自 一对或者多对 生物信号检测器中的每一对的生物信号与该签名进行比较。
20、 根据权利要求19的方法，其中的比较步骤包括求来自一 对或者多对生物信号检测器中的每一对的生物信号中的一个或者多于 一个的导数，以及来自一对或者多对生物信号检测器的生物信号的和 或者差。
21、 根据权利要求20的方法，其中的比较步猓还包括 对来自一对或者多对生物信号检测器中的每一对的生物信号中的一个或者多于一个的梯度和幅度中的一个或者这两者与来自 一对或 者多对生物信号检测器的生物信号的和或者差进行比较；和确定梯度和幅度中的一个或者两者分别在何时超过预定的梯度 和幅度阈值。
22、 根据权利要求20或者21的方法，其中的比较步骤还包括计算来自一对或者多对生物信号检测器中的每一对的生物信号 之间的相关性；和确定该相关性何时超过预定的相关性阈值。
23、 根据权利要求2的方法，其中将一个或者多于一个面部肌肉 运动检测算法应用到生物信号的步骤包括，将来自一个或者多个预定 生物信号检测器的生物信号的功率与该签名进行比较。
24、 根据权利要求23的方法，其中的比较步骤包括计算来自一对或者多对生物信号检测器的生物信号的功率与该 签名的和；和确定该和是否超过了指示第一面部肌肉运动类型的预定阈值.
25、 根据权利要求23的方法，其中的比较步骤包括计算来自 第一组生物信号检测器的生物信号的功率和来自第二组生物信号检测 器的生物信号的功率的比值；和确定该比值是否超过了指示第二面部肌肉运动类型的预定阈值。
26、 根据权利要求1的方法，其中所述生物信号包括脑电图 (EEG)信号。
27、 根据权利要求l的方法，还包括产生代表被检测面部肌肉运 动类型的输出信号。
28、 一种用于检测和分类面部肌肉运动的设备，包括 处理器和使处理器实施根据权利要求1~27中的任何一项的方法的相关联的存储装置。
29、 一种计算机程序产品，有形地存储在机器可读介质上，该产 品包括使处理器实施根据权利要求1~27中的任何一项的方法的可操 作指令。
30、 包括使处理器实施根据权利要求1 27中的任何一项的方法 的可操作指令的计算机程序产品。
全文摘要
一种检测和分类面部肌肉运动的方法，包括步骤从至少一个生物信号检测器接收生物信号；和把至少一种面部肌肉运动检测算法应用到受预定类型的面部肌肉运动影响的一部分生物信号中，以检测该预定类型的面部肌肉运动。
文档编号G06Q50/00GK101310242SQ200680041584
公开日2008年11月19日 申请日期2006年9月12日 优先权日2005年9月12日
发明者B·M·多里, E·德里克, M·K·D·托雷, W·A·金, 李丹氏泰, 杜南怀, 约翰森·帝, 维维安·罗, 范海河 申请人:埃默迪弗系统股份有限公司