用于表征情绪提示的方法和系统的制作方法
【专利摘要】提供了一种供信息处理系统识别情绪并向用户通知该情绪的方式，该用户可能以其他方式识别其他人表现出的情绪存在困难。在一个或多个接收器处接收诸如音频输入和视频输入的实时输入集合。这些输入是从正与信息处理系统的用户交互的人类主体接收的，其中该信息处理系统是用户携带的便携式系统。将所接收的实时输入的集合与预定义的情绪特征集合进行比较，以便识别正在由人类主体表现出的情绪。向该系统的用户提供关于所识别的该人类主体展现的情绪的反馈。
【专利说明】用于表征情绪提示的方法和系统
【技术领域】
[0001]本公开涉及通过面部和声音提示辨认主体情绪的方式。更具体地，本公开涉及向便携式识别系统的用户提供这种情绪识别的方式。
【背景技术】
[0002]患有非视觉学习障碍(NLD)、右半球脑外伤、阿斯伯格综合症的某些方面、高功能孤独症和其他神经疾病的人通常在实现所谓“心理理论(Theory ofMind) ”时存在障碍。心理理论本质上是个体将自己置入与同自己交流的另一个人的角色中的能力。不能实现心理理论的人通常在视敏度测试上得分非常低，并且在与其他人进行社交交互时存在困难。研究已经表明，个体之间所有交流中大约有三分之二是非口头交流，诸如肢体语言、面部表情和副语言提示。这些非口头形式的交流通常会被误读，或者不能被不能实现心理理论的人辨认出。环境中的微妙提示，诸如，某些事情已经远远不够时，“读懂言外之意”的能力和私人“空间”的概念，通常被这些个体完全忽略。这使得社会环境，诸如课堂、团队运动、俱乐部等，对于这些个体而言变得更加难以驾驭和充分参与。事实上，尽管这些个体通常非常聪明，但是他们通常也被描绘为眼睛“向内看”而不是“向外看”。这些个体中的多数个体发现他们没有朋友或者即使有也为数不多，并且通常被标记为“有问题的”。由于他们通常很聪明，所以这些个体有时在课堂和工作环境中也被认为是“差等生”。因此，这些个体通常在渗透其生活的大部分领域的社会评价和社会交往中具有明显的低评。尽管他们可能是很好的问题解决者，但是他们通常做出较差的决策，因为他们无法辨识出他们的所做所言带来的社会影响。他们与激进的个人相处较差，通常具有较低的自尊，并且更易于出现抑郁和焦虑问题。与大部分已知的神经性紊乱者类似，NLD、阿斯伯格综合症者等的根源神经性起因是不能动手术的。尽管医生可以提供帮助，但是通常情况下，这些医生处理症状，诸如，焦虑，或者增加脑激素，诸如，多巴胺，而不是解决根本问题。有助于这些个体的大部分非药物矫正和治疗耗时耗力。此外，这些治疗通常需要个体支持系统所有部分的高水平承诺和训练有效。尽管父母可能能够在家中提供适当的环境，但是诸如教练、导师、教师和雇主之类的其他人却可能不愿意或者不能满足个体的特殊需求，使得处方开出的治疗有效。
【发明内容】
[0003]提供了一种供信息处理系统识别情绪并向用户通知该情绪的方式，该用户可能以其他方式识别其他人表现出的情绪存在困难。在一个或多个接收器处接收诸如音频输入和视频输入的实时输入集合。这些输入是从正与信息处理系统的用户交互的人类主体接收的，其中该信息处理系统是用户携带的便携式系统。将所接收的实时输入的集合与预定义的情绪特征集合进行比较，以便识别由人类主体表现出的情绪。向该系统的用户提供关于所识别的该人类主体表现出的情绪的反馈。在一个实施方式中，人类主体表现出的情绪强度也作为反馈从系统传递至用户。可以使用各种形式的反馈，诸如，基于温度的反馈，振动反馈，音频反馈和可视反馈，诸如颜色和颜色亮度。[0004]前文是总结，并且由此必然包含细节的简化、综述和省略；因此，本领域技术人员将理解，本
【发明内容】
仅是说明性的，而不以任何方式做出限制。权利要求单独定义的本发明的其他方面、发明性特征和优势将在下文给出的非限制性详细描述中变得明显。
【专利附图】
【附图说明】
[0005]通过参考附图，可以更好地理解本发明，并且本发明的众多目的、特征和优势对于本领域技术人员而言变得显然，其中:
[0006]图1是此处描述的方法可以在其中实现的数据处理系统的框图；
[0007]图2提供了图1所示信息处理系统环境的扩展，以便说明此处描述的方法可以在于网络环境中操作的广泛的信息处理系统上执行；
[0008]图3是示出了移动情绪识别系统的部件之间、在接收和处理外部情绪信号时的交互的部件图示；
[0009]图4是示出了移动情绪识别系统在针对环境中的人员表现出的情绪特征监控环境时所执行步骤的流程图；
[0010]图5是示出了向移动情绪识别系统的用户提供反馈的过程所执行步骤的流程图；
[0011]图6是示出了在对移动情绪识别系统收集的数据进行后续分析期间执行的步骤的流程图；以及
[0012]图7是示出了在关注于对移动情绪识别系统的用户进行趋势分析的后续分析期间执行的步骤的流程图。
【具体实施方式】
[0013]在下文描述和附图中提供了某些特定细节，以便提供对本发明各种实施方式的透彻理解。然而，未在下文公开中给出通常与计算和软件技术相关联的某些公知细节，以便避免不必要地混淆本发明的各种实施方式。此外，相关领域的普通技术人员将会理解，他们可以实施本发明的其他实施方式，而无需下文详细描述的一个或多个细节。最后，尽管在下文公开中参考步骤和序列描绘了各种方法，但是这样的描述仅为了提供本发明实施方式的明确实现，并且这些步骤和步骤的序列不应当被认为是实施本发明所必需的。取而代之的，下文意在提供本发明示例的详细描述，而不应当是对本发明本身的限制。相反，任何数量的变体都将落入本发明的范围内，该范围是由说明书后面的权利要求定义的。
[0014]下文详细描述通常在上文给出的本发明的
【发明内容】
之后，以在需要的时候进一步说明和扩展本发明各种方面和实施方式的定义。为此，此详细描述首先给出了图1中的计算环境，其适于实现与本发明关联的软件和/或硬件技术。在图2中示出的网络环境作为基本计算环境的扩展，以强调现代计算技术可以跨多个分立设备执行。
[0015]图1示出了信息处理系统100，其是能够执行此处描述的计算操作的计算机系统的简化示例。信息处理系统100包括耦合至处理器接口总线112的一个或多个处理器110。处理器接口总线112将处理器110连接至北桥115，其也公知为存储器控制器中心(MCH)。北桥115连接至系统存储器120，并提供供处理器110访问系统存储器的装置。图形控制器125也连接至北桥115。在一个实施方式中，PCI Express (PCI快线)总线118将北桥115连接至图形控制器125。图形控制器125连接至显示设备130，诸如计算机监视器。[0016]北桥115和南桥135彼此使用总线119连接。在一个实施方式中，总线是在北桥115和南桥135之间的每个方向上、以高速传输数据的直接媒体接口(DMI)总线。在另一实施方式中，外设部件互联(PCI)总线连接北桥和南桥。南桥135也公知为I/O控制器中心(ICH)，其是通常实现以比北桥提供的能力更低速度操作的能力。南桥135典型地提供用于连接各种部件的各种总线。这些总线包括例如PCI和PCI Express总线，ISA总线，系统管理总线(SMBus或SMB)和/或低引脚数(LPC)总线。LPC总线通常连接低带宽设备，诸如引导R0M196和“旧有” I/O设备(使用“超级I/O”芯片)。“旧有” I/O设备(198)可以包括例如串行端口和并行端口、键盘、鼠标和/或软盘控制器。LPC总线还将南桥135连接至受信平台模块(TPM) 195。通常包括在南桥135中的其他部件包括直接存储器访问(DMA)控制器、可编程中断控制器(PIC)和存储设备控制器，其使用总线184将南桥135连接至非易失性存储设备185，诸如硬盘驱动。
[0017]扩展卡(ExpressCard) 155是将热可插拔设备连接至信息处理系统的插槽。扩展卡155支持PCI Express和USB连通性，因为其使用通用串行总线(USB)和PCI Express总线二者连接至南桥135。南桥135包括USB控制器140，其向连接至USB的设备提供USB连通性。这些设备包括webcam(网络摄像机)150、红外(IR)接收器148、键盘和触控板144和提供无线个人局域网(PAN)的蓝牙设备146。USB控制器140还向其他各种USB连接的设备142 (诸如，鼠标、可移除的非易失性存储设备145、调制解调器、网卡、ISDN连接器、传真机、打印机、USB中心和很多其他类型的USB连接设备)提供USB连通性。尽管可移除非易失性存储设备145被示出为USB连接的设备，但是可移除非易失性存储设备145可以使用不同的接口(诸如，火线接口等)进行连接。
[0018]无线局域网(LAN)设备175经由PCI或PCI Express总线172连接至南桥135。LAN设备175典型地实现空中调制技术的IEEE802.11标准(其针对在信息处理系统100和另一计算机系统或设备之间的无线通信都使用相同协议)中的一个。光存储设备190使用串行ATA(SATA)总线188连接至南桥135。串行ATA适配器和设备通过高速串行链路进行通信。串行ATA总线还将南桥135连接至其他形式的存储设备，诸如，硬盘驱动。音频电路160(诸如声卡)经由总线158连接至南桥135。音频电路160还提供了功能性，诸如，音频输入和光数字音频输入端口 162、光数字输出和耳机插孔164、内部扬声器166和内部麦克风168。以太网控制器170使用总线(诸如，PCI或PCI Express总线)连接至南桥135。以太网控制器170将信息处理系统100连接至计算机网络，诸如，局域网(LAN)、因特网和其他公共和私有计算机网络。
[0019]尽管图1示出了一个信息处理系统，但是信息处理系统可以采用多种形式。例如，信息处理系统可以采用台式机、服务器、便携式机、膝上型计算机、笔记本或其他形状因数计算机或数据处理系统的形式。此外，信息处理系统可以采用其他形状因数，诸如个人数字助理(PDA)、游戏设备、ATM机、便携式电话设备、通信设备或其他设备，其包括处理器和存储器。
[0020]图1所示及此处描述的、用于提供安全功能的受信平台模块(TPM195)仅仅是硬件安全模块(HSM)的一个示例。因此，此处描述和要求保护的TPM包括任何类型的HSM，包括但不限于:遵从受信计算群组(TCG)标准的硬件安全设备，其标题为“受信平台模块(TPM)规范版本1.2”。TPM是可以并入任何数量的信息处理系统(诸如在图2中描绘的那些)中的硬件安全子系统。
[0021]图2提供了图1所示信息处理系统环境的扩展，用于说明此处描述的方法可以在操作于网络环境中的广泛的信息处理系统上执行。信息处理系统的类型可以是从诸如手持式计算机/移动电话210的小型手持设备到诸如大型计算机270的大型主机系统。手持式计算机210的示例包括个人数字助理(PDA)、个人娱乐设备(诸如MP3播放器)、便携式电视和紧致盘播放器。信息处理系统的其他示例包括笔式或平板式计算机220、膝上型或笔记本计算机230、工作站240、个人计算机系统250和服务器260。未单独在图2中示出的其他类型的信息处理系统由信息处理系统280表示。如所示，各种信息处理系统可以使用计算机网络200联网在一起。可以用来互联各种信息处理系统的计算机网络类型包括局域网(LAN)、无线局域网(WLAN)、因特网、公共交换电话网(PSTN)、其他无线网络和可以用来互联信息处理系统的任何其他网络拓扑。信息处理系统中的多数包括非易失性数据存储，诸如硬驱动和/或非易失性存储器。图2所示信息处理系统的某些描绘了单独的非易失性数据存储(服务器260利用非易失性数据存储265，大型计算机270利用非易失性数据存储275，信息处理系统280利用非易失性数据存储285)。非易失性数据存储可以是各种信息处理系统外部的部件，或者可以是信息处理系统之一内部的部件。此外，可移除非易失性存储设备145可以使用各种技术在两个或更多个信息处理系统之间共享，诸如将可移除非易失性存储设备145连接至信息处理系统的其他连接器或USB端口。
[0022]图3-图7描述了可以在如图1-图2中所示的信息处理系统和计算机网络上执行的方案。在此方案中，移动情绪识别系统由用户使用，诸如不能实现心理理论的人或在识别其他人所表现出的情绪上存在困难的人。具有非可视学习障碍的人员、阿斯伯格综合症的谱系障碍的某些方面以及在社交场景中存在困难的其他个体通常在读取其周围人的面部和声音的情绪时表现出有限的能力，并且不能实现心理理论。此外，这些个体通常不能辨别出他的言辞行动会如何影响他人以及这些言辞行动会如何影响其他人对该个体的感知。为了辅助这些个体，提供了反馈循环机制，其向用户指示在主体人员(用户正与之交互的个体)的面部和声音中观察到的情绪。反馈循环提供实时感觉信息，其可以正面影响具有社交障碍的个体的行为。在示例性实施方式中，用户携带移动情绪识别系统，其包括输入接收器，诸如带有麦克风的小型蓝牙视频相机。移动情绪识别系统可以是诸如智能手机的便携式信息处理系统。反馈机制诸如是温度(热/冷)输出设备、振动设备(例如，放置在用户手臂上的设备等)、扬声器设备(诸如放置在用户的一只或两只耳朵中、用于产生变化的音高和强度的声音的耳机)和显示设备(诸如，由用户穿戴的、隐藏在眼镜框内部的多色LED)。此外，移动情绪识别系统包括存储设备，用于存储和用户与各种主体的交互有关的数据。治疗师或保健提供者可以在治疗期间利用此数据帮助教导用户如何更好地理解其他用户展现的情绪。
[0023]图3是示出了移动情绪识别系统的部件之间、在接收和处理外部情绪信号时的交互的部件图示。移动情绪识别系统300包括接收器，用于从诸如用户与之交谈或交互的人员之类的人类主体接收实时输入集合。这些接收器包括可视输入传感器310，诸如包括在移动情绪识别系统中的相机，其捕获诸如由该人类主体展现的面部和脸部表情的图像320。图像可以包括静态图像、视频(移动)图像或其组合。此外，图像320可以包括非面部提示，诸如肢体姿势和姿态，其由人类主体使用以传递其他非言语提示。[0024]输入接收器还包括音频传感器330，诸如包括在移动情绪识别系统中的麦克风，其捕获并记录来自人类主体的音频340。所捕获的音频包括人类主体说出的词汇，以及由人类主体使用来传达词汇的语调变化。
[0025]情绪比较器350是由包括在移动情绪识别系统中的处理器执行的过程，其将在移动情绪识别系统处接收的实时输入集合与一个或多个预定义的情绪特征集合进行比较，以便识别人类主体表现出的情绪和所表现出的情绪的强度水平。预先确定的情绪特征由情绪比较器过程350从可视情绪特征数据存储360和可听情绪特征数据存储370取回。可视情绪特征数据存储360包括非口头面部提示的库和身体语言提示的库。可视提示的库与由可视输入传感器310捕获的可视数据进行比较，以便识别人类主体可视地表现出的情绪。可听情绪特征数据存储370包括音调和变化的库。可听提示的库与音频输入传感器330捕获的音频数据进行比较，以便通过人类主体展现的音调和变化来识别人类主体在音频上投射的情绪。
[0026]人类主体表现出的情绪由情绪比较器过程350识别。所识别的情绪继而被提供给情绪识别反馈过程380，其向用户提供关于人类主体的情绪和强度的反馈。反馈过程380可以使用大量不同的反馈技术来向用户传递回情绪和强度水平。来自于过程380的反馈作为用户反馈390被提供给用户。如以下讨论的，这些反馈技术的某些被设计为不唐突的，并且不容易被人类主体所察觉，以便在用户与人类主体之间提供更自然的交互。
[0027]—个反馈技术在于使用热输出，其提供用户能感觉到的基于温度的反馈。例如，较冷的温度可以用于通知用户，该人类主体正表现出正面情绪，诸如，高兴、欢乐等，凉的量或程度传递这种正面情绪的强度。同样，较热的温度可以用于通知用户，该人类主体正展示负面情绪，诸如，生气，害怕或失望。再次，温暖的量或程度可以用来传递这种负面情感的强度。如果期望，可以将温度反过来，使得较冷的温度传递负面情感，而较热的温度传递正面情绪。
[0028]另一反馈技术使用振动输出，其接触用户以基于识别的情绪来向用户提供不同的触觉感觉。例如,轻柔振动可以用来指示人类主体正表现出正面情绪,剧烈振动用来指示负面情绪。强度可以基于增加振动的频率得以指示。以此方式，可以使用较快的轻柔振动来传递较强的正面情绪。同样，将使用较快的剧烈振动来传递较强的负面情绪。如果期望的话，振动技术可以反过来，使得轻柔振动传递负面情绪，剧烈振动传递正面情绪。
[0029]第三反馈技术使用针对用户的可听音调。在一个实施方式中，以如下方式向用户播放可听音调或信号，即，诸如通过使用耳机或靠近用户耳朵的小型扬声器来防止被人类主体听到。例如，较高的音调可以用来指示人类主体正表现出正面情绪，而较低的音调用来指示负面情绪。强度可以基于在所指示的情绪方向中增大音量或音调得以指示。以此方式，可以使用甚至更高的音调或通过以增大的音量播放高音调来传递较强的正面情绪。同样，将使用甚至更低的音调或通过以增大的音量播放低音调来传递较强的负面情绪。如果期望的话，声音技术可以反过来，使得较高的音调传递负面情绪，而较低的音调传递正面情绪。
[0030]另一反馈技术使用针对用户的可视信号或提示。在一个实施方式中，以下述方式向用户显示可视提示，即，诸如通过在嵌入在用户佩戴的眼镜内部部分上的一个或多个LED灯上显示可视信号来防止被人类主体看到该可视提示。当照射出LED光时，用户可以使用余光以在内部框架上看到LED灯，而包括用户与之交互的人类主体在内的其他用户不能看到这些灯。例如，绿色或白色的LED可以用作正面可视提示，以指示人类主体正在表现出正面情绪，而红色或蓝色LED用作指示负面情绪的负面可视提示。强度可以基于LED的闪烁频率来指示。以此方式，可以通过更快速地闪烁绿色或白色LED来传递强的正面情绪。同样，将通过更快速地闪烁红色或蓝色LED来传递强的负面情绪。此外，可以使用其他可视提示来传递强度，诸如，增大LED的亮度以指示该主体正在表现出更强烈的情绪。而且，颜色可以使用并指派给不同的情绪(例如，欢笑、轻视、难堪、内疚、安慰、难为情等)。附加地，所指示情绪的强度可以通过增加所显示LED的亮度来显示。如果期望的话，可视提示技术可以根据用户将之与正面和负面情绪关联的颜色来进行调整。
[0031]图4是示出了移动情绪识别系统在针对环境中的人员所表现出的情绪特征对环境进行监控时所执行步骤的流程图。处理在400处开始，此后，在步骤405，事件发生，诸如用户打开移动情绪识别系统，接收到用户请求，检测到用户与人类主体之间的交互等。在步骤410，移动情绪识别系统监控用户目前所在的环境。监控由包括在移动情绪识别系统中的接收器执行，诸如视频相机，麦克风等。移动情绪识别系统的接收器所捕获的实时输入(例如，可视输入、音频输入等)存储在数据存储中，诸如可视图像数据存储420和音频数据存储 425。
[0032]在步骤430，移动情绪识别系统的处理器识别正在接收的实时输入的来源。换言之，在步骤430，移动情绪识别系统识别用户正与之交互的人类主体。在步骤440，从可视情绪特征数据存储360和可听情绪特征数据存储370选择关于第一情绪的特征。例如，正在分析的第一情绪是“生气”，继而从可视情绪特征数据存储360取回例示“生气”的面部和身体语言特征。同样，从可听情绪特征数据存储370取回例示“生气”的音调特征。在步骤450，将从人类主体接收和捕获的所接收实时输入(可视图像和音频)与例示所选情绪的特征数据(可视和可听)进行比较。确定从人类主体接收的实时输入是否与例示所选情绪的特征数据(可视和可听)匹配(决策460)。如果输入与用于所选情绪的特征数据不匹配，则决策460分支到“否”分支，其循环回从数据存储360和370选择用于下一情绪的特征。此循环继续，直至从人类主体接收的实时输入与例示所选情绪的特征数据(可视和可听)匹配。
[0033]当输入与用于所选情绪的特征数据匹配时，则决策460分支到“是”分支，以向用户提供反馈。注意，在一个实施方式中，实时输入(可视图像、音频等)继续被接收，同时系统将实时输入与各种情绪进行比较。以此方式，可以用来识别人类主体正表现出的情绪的附加数据可被持续捕获和评估。此外,如果人类主体改变情绪(例如,在开始交互时,高兴见到用户，但是继而响应于该用户说了什么而变得生气，等等)，可以识别这种情绪的改变，并且可以向用户提供反馈，使得在此示例中，用户将接收这样的反馈，即，人类主体变得不再高兴并且开始变得生气，从而帮助用户确定更适当的行为或者需要的话进行道歉。
[0034]预定义过程470向用户提供关于所识别的人类主体正表现出的情绪的反馈(参见图6和针对处理细节的对应文字)。确定用户是否已终止与人类主体的交互(例如，会话等)(决策480)。如果交互尚未结束，则决策480分支到“否”分支，其循环回继续监控环境，继续捕获实时输入，以及继续识别人类主体所表现出的情绪。此循环继续，直至移动情绪识别系统检测到用户与人类主体之间的交互已经结束，从该时间点起，移动情绪识别系统等待下一事件发生(在步骤490)。当下一事件发生时，处理循环回步骤405，以再次开始例程(例如，与另一人类主体，等等)。[0035]图5是示出了由向移动情绪识别系统的用户提供反馈的过程所执行步骤的流程图。此例程在图4所示的预定义过程470处进行调用。图5中的处理开始于500，此后，在步骤505，从用户配置数据存储510读取用户配置设置。在一个实施方式中，用户可以配置移动情绪识别系统，以基于用户的偏好来提供不同类型的反馈。此外，在一个实施方式中，可以向用户提示该人类主体正表现出的情绪，用户继而针对该用户是否正确识别了正表现出的情绪而接收近乎实时的反馈。是否向用户提示提供情绪识别也可以包括在配置设置中。
[0036]确定用户是否正在被提示识别人类主体正表现出的情绪(决策515)。如果正在提示用户识别正表现出的情绪，则决策515分支到“是”分支，此后，在步骤520，提示用户输入该用户认为的人类主体正表现出的情绪。该提示可以采用感觉反馈的形式(例如，可听的“蜂鸣”，红色和绿色LED的闪烁，等等)。此外，在步骤520，用户诸如通过使用小型手持式控制器或输入设备来提供响应，该响应指示用户认为该人类主体正表现出的情绪。在步骤525，将用户提供的响应与移动情绪识别系统所识别的情绪进行比较。确定用户是否正确地识别了人类主体正表现出的情绪(决策530)。如果用户正确地识别了人类主体正表现出的情绪，则决策530分支到“是”分支，此后，在步骤535，向用户提供该用户的响应正确的反馈(例如，振动用户使用的手持式单元以利用一系列脉冲输入响应，等等)。另一方面，如果用户未正确识别人类主体正表现出的情绪，则决策530分支到“否”分支以进一步处理。
[0037]如果未向用户提示识别人类主体情绪的响应(决策515分支到“否”分支)或者如果用户关于人类主体表现出的情绪的响应不正确(决策530分支到“否”分支)，则在步骤540，基于所识别的情绪向用户提供反馈。此外，也可以基于所识别情绪的强度来提供反馈。图5提供了可被识别的正面和负面情绪的若干示例，然而，可以识别更多的情绪，并将其传递给用户。如果用户主体表现出强正面情绪，诸如欢笑，则决策545将控制权分支到过程550，其提供强正面反馈，其中该反馈基于所采用的反馈机制类型，诸如之前结合图3在上文描述的那些(例如，非常快速的轻柔振动，非常清凉的温度，快速闪烁的绿色或白色LED，高音调等等)。同样，如果人类主体展现出中等的正面情绪，诸如微笑，则决策545将控制权分支到过程555，其提供了中等的正面反馈，其中该反馈再次基于所采用的反馈机制类型，诸如之前在上文针对图3描述的那些(例如，中等快速轻柔振动，中等清凉温度，中等闪烁的绿色或白色LED,中等闻首调，等等)。
[0038]如果人类主体展现出强负面情绪，诸如生气或厌恶，则决策545将控制权分支到过程560，其提供强负面反馈，其中该反馈基于所采用反馈机制的类型，诸如之前在上文结合图3描述的那些(例如，非常快速的剧烈振动，非常热的温度，快速闪烁的红色LED，低音调等等)。同样，如果人类主体展现出中等负面情绪，诸如皱眉，则决策545将控制权分支到过程565，其提供中等负面反馈，其中该反馈再次基于所采用的反馈机制类型，诸如之前在上文结合图3描述的那些(例如，中等快速的剧烈振动，中等温暖温度，中等闪烁的红色LED，中等低音调，等等)。
[0039]确定移动情绪识别系统是否正在保存事件数据以用于将来的分析目的(决策580)。如果正在保存事件数据，则决策580分支到“是”分支，此后，在步骤585，记录与人类主体所展示的情绪对应的事件数据(例如，图像、声音等)以及任何用户响应(在步骤520处接收的)。事件数据和用户响应数据被存储在事件数据存储590中以供将来分析。另一方面，如果未保存事件数据，则决策580分支到“否”分支而跳过步骤585。处理此后在步骤595返回到调用例程。
[0040]图6是示出了在对移动情绪识别系统收集的数据进行后续分析期间所执行步骤的流程图。处理在600处开始，此后，确定执行分析的人员(例如，治疗师、顾问、父母等)是否希望分析移动情绪识别系统捕获的事件或者是否希望对事件的历史执行趋势分析(决策610)。如果正在分析用户的移动情绪识别系统所捕获的事件，则决策610分支到“是”分支以进行事件分析。
[0041]在步骤620，从记录在用户移动情绪识别系统处的事件数据存储590获取第一交互事件。事件数据包括移动情绪识别系统捕获的音频和/或视频数据，其用于识别人类主体所展示的情绪。在步骤625，之前捕获的事件被回放给用户(例如，在与人类主体碰面期间捕获的音频/视频等等的回放)。在步骤630，提示用户就用户现在认为人类主体正展示出什么情绪给出响应。通过使用移动情绪识别系统，用户可以在识别其他人所表现出得情绪方面变得更强。在步骤635，将移动情绪识别系统所识别的情绪与用户的响应进行比较。确定用户的响应是否正确地识别了人类主体正表现出的情绪(决策640)。如果该用户正确识别了人类主体正表现出的情绪，则决策640分支到“是”分支，此后，在步骤650，向用户提供关于正确响应的反馈(例如，用户如何识别该情绪？识别此情绪是否较困难？等等)。同样，如果用户的响应不正确，则确定640分支到“否”分支，此后，在步骤660，也向用户提供反馈，以便帮助用户更好地理解如何识别所识别的正由人类主体表现出的情绪(例如，恐惧与愤怒，等等)。
[0042]在步骤670，将所识别情绪和用户对所显示事件的响应记录在用户响应数据存储675中。在一个实施方式中，所记录的情绪和响应数据在进一步的分析和治疗期间使用，以辅助用户识别对于该用户而言更难以识别的情绪，以及执行历史趋势分析以辨别该用户识别人类主体所表现出的情绪的能力是否在改进。
[0043]确定事件数据存储590中是否存在治疗师希望与用户一起审视的更多事件(决策680)。如果存在更多事件待处理，则决策680分支到“是”分支，该分支循环回选择并继而如上所述处理下一事件数据集合。此循环继续，直到不存在更多数据要分析，或者治疗师或用户希望结束此过程，在该时刻，决策680分支到“否”分支。
[0044]返回决策610，如果移动情绪识别系统所捕获的事件数据并未进行分析，则决策610分支到“否”分支，跳过步骤620-680。预定义的过程690使用为此用户收集的历史用户数据执行趋势分析(参见图7和针对处理细节的对应文字)。与用户数据处理有关的分析此后在695处结束。
[0045]图7是示出了在关注于对移动情绪识别系统的用户进行趋势分析的后续分析期间所执行步骤的流程图。处理开始于700处，此后，在步骤705，该过程将当前事件数据(图像、音频等)附接至历史趋势分析数据存储750。以此方式，历史趋势分析数据存储750随着用户继续使用移动情绪识别系统而继续增长。
[0046]确定用户(例如，父母、学生、儿童等)是否针对该用户认为人类主体正表现出什么情绪提供了实时响应(决策710)。如果用户针对该用户认为人类主体正表现出什么情绪提供了实时响应，则决策710分支到“是”分支，此后，在步骤720，将包含用户响应的事件数据包括进来以进行趋势分析。在步骤720，从事件数据存储590取回响应数据并且将其写入趋势分析数据存储750。另一方面，如果用户未针对该用户认为人类主体正表现出什么情绪提供实时响应，则决策710分支到“否”分支，跳过步骤720。
[0047]确定用户是否加入了治疗疗程(例如，诸如在图6中描绘的疗程等)，在该疗程中用户对记录的事件数据做出响应(决策730)。如果用户参与了这种治疗疗程，则决策730分支到“是”分支，此后，在步骤740，取回在治疗疗程期间收集的并存储在用户响应数据存储675的响应数据，并将其写入趋势分析数据存储750中。另一方面，如果未实施这种治疗疗程，则决策730分支到“否”分支，跳过步骤740。
[0048]在步骤760，存储趋势分析数据存储750，以便更好地识别已被随着时间证明用户难以正确识别的情绪。在一个实施方式中，趋势分析数据存储750利用人类主体展示的情绪和该用户针对每种情绪接收的不正确响应的总数(或百分比)进行排序。
[0049]在步骤770，该过程选择第一情绪，其是用户最难以识别的情绪类型。在步骤780，治疗师向用户提供深度咨询，以通过使用用户的移动情绪识别系统捕获的实时输入来提供帮助用户更好识别所选择情绪类型(例如，识别“恐惧”与“愤怒”等)的工具。确定趋势分析是否识别了用户在识别方面有困难的附加情绪类型(决策790)。如果存在用户难以识别的更多情绪类型，则决策790分支到“是”分支，该分支循环回针对用户选择下一个最难以识别的情绪类型，并且基于此新选择的情绪类型来进行咨询。决策790继续循环回处理其他情绪类型，直至不存在需要与此用户讨论的更多情绪类型，从该时刻起，决策790分支到“否”分支，并且处理在795处返回到调用例程(参见图6)。
[0050]本发明的一个优选实现是客户端应用，S卩，代码模块中的指令集(程序代码)或其他功能描述性材料，代码模块例如可以驻留在计算机的随机访问存储器中。直到计算机请求，可以将指令集存储在另一计算机存储器中，例如，硬盘驱动，或可移除存储器(诸如，光盘(在CD ROM中永久使用)或软盘(在软盘驱动中永久使用))。由此，本发明可以实现为用于在计算机中使用的计算机程序产品。另外，尽管描述的各种方法方便地在选择性地由软件激活或重配置的通用计算机中实现，本领域技术人员还将认识到，这种方法可以在硬件、固件或构建为执行所需方法步骤的更专用设备中实现。功能性描述材料是向机器给予功能性的信息。功能性描述材料包括但不限于计算机程序、指令、规则、事实、计算机化函数的定义、对象和数据结构。
[0051]尽管已经示出并描述了本发明的特定实施方式，但是对于本领域技术人员而言显然的是，基于此处的教导，可以做出改变和修改，而不会偏离本发明和其宽广范围。因此，所附权利要求意在将所有这种改变和修改囊括在权利要求的范围内，因为这些改变和修改落入了本发明的真实精神和范围内。此外，应当理解，本发明仅由所附权利要求定义。本领域技术人员应当理解，如果意在强调所引入权利要求元素的特定数量，这种意图会明确地记载在权利要求中，而如果缺少这种记载，则不存在任何限制。对于非限制性示例，作为对理解的辅助，下述所附权利要求包含对介绍性短语“至少一个”和“一个或多个”的使用，以便介绍权利要求元素。然而，这种短语的使用不应当理解为暗示着不定冠词“一”或“一个”对权利要求元素的介绍会将包含这种介绍的权利要求元素的任何特定权利要求限制为仅包含一个这种元素，即使相同的权利要求包括介绍性短语“一个或多个”或“至少一个”以及不定冠词(诸如“一”或“一个”)时，对于在定冠词的权利要求中使用也同样如此。
【权利要求】
1.一种表征情绪提示的方法，所述方法由信息处理系统实现，包括:在包括于所述信息处理系统中的一个或多个接收器处，从人类主体接收实时输入的集合，其中所述人类主体正与所述信息处理系统的用户交互；将接收的所述实时输入的集合与一个或多个预定义的情绪特征集合进行比较；响应于所述比较，识别所述人类主体表现出的情绪；以及向所述信息处理系统的所述用户提供关于识别的所述情绪的反馈。
2.根据权利要求1所述的方法，进一步包括:响应于所述比较，识别正表现出的所述情绪的强度；以及向所述用户提供关于识别的所述强度的附加反馈。
3.根据权利要求1所述的方法，其中所述实时输入的集合是可视输入，所述方法进一步包括:在所述信息处理系统可访问的相机处接收所述可视输入，其中所述相机对准所述人类主体，并且其中所述信息处理系统是由所述用户携带的便携式系统。
4.根据权利要求1所述的方法，其中所述实时输入的集合是音频输入，所述方法进一步包括:在所述信息处理系统可访问的麦克风处接收所述音频输入，其中所述麦克风从所述人类主体接收一个或多个声音提示，并且其中所述信息处理系统是由所述用户携带的便携式系统。
5.根据权利要求1所述的方法，其中所述反馈是使用热输出向所述用户提供的，所述热输出向所述用户提供触觉感觉，所述方法进一步包括:响应于识别出正面情绪，使用所述热输出将识别的所述情绪指示为清凉感觉；以及响应于识别出负面情绪，使用所述热输出将识别的所述情绪指示为温热感觉。
6.根据权利要求5所述的方法，进一步包括:响应于所述比较，识别正表现出的所述情绪的强度；响应于识别出较强的正面情绪，增强所述清凉感觉；以及响应于识别出较强的负面情绪，增强所述温热感觉。
7.根据权利要求1所述的方法，其中所述反馈是使用振动输出向所述用户提供的，所述振动输出向所述用户提供触觉感觉，所述方法进一步包括:响应于识别出正面情绪，使用所述振动输出将识别的所述情绪指示为轻柔振动感觉；以及响应于识别出负面情绪，使用所述振动输出将识别的所述情绪指示为剧烈振动感觉。
8.根据权利要求7所述的方法，进一步包括:响应于所述比较，识别正表现出的所述情绪的强度；响应于识别出较强的正面情绪，提高所述轻柔振动感觉的频率；以及响应于识别出较强的负面情绪，提高所述剧烈振动感觉的频率。
9.根据权利要求1所述的方法，其中所述反馈是使用扬声器输出提供给所述用户的，所述扬声器输出向所述用户提供可听反馈，所述方法进一步包括:基于识别的所述情绪，将识别的所述情绪指示为音调集合。
10.根据权利要求9所述的方法，进一步包括 :响应于所述比较，识别正表现出的所述情绪的强度；响应于识别出较强的情绪，增加所述音调集合的强度。
11.根据权利要求1所述的方法，其中所述反馈是使用显示设备提供给所述用户的，所述显示设备向所述用户提供可视反馈，所述方法进一步包括:响应于识别出正面情绪，在所述显示设备上显示正面可视提示；以及响应于识别出负面情绪，在所述显示设备上显示负面可视提示。
12.根据权利要求11所述的方法，进一步包括:响应于所述比较，识别正表现出的所述情绪的强度；响应于识别出较强的正面情绪，增加所述正面可视提示的强度；以及响应于识别出较强的负面情绪，增加所述负面可视提示的强度。
13.根据权利要求1所述的方法，进一步包括:从所述用户接收与所述人类主体对应的响应，其中所述响应是所述用户的情绪识别，并且其中所述响应是在向所述用户提供所述反馈之前接收的；以及将所述用户的响应和接收的所述实时输入的集合存储在数据存储中。
14.根据权利要求13所述的方法，进一步包括:对所述用户与所述人类主体之间的所述交互执行后续分析，其中所述分析进一步包括:从所述数据存储取回所述用户的响应和所述实时输入的集合；向所述用户显示所述用户的响应、识别的所述情绪以及与识别的所述情绪对应的所述一个或多个预定义的情绪特征集合；以及向所述用户提供取回的所述实时输入的集合。
15.根据权利要求1所述的方法，进一步包括:从所述用户接收与所述人类主体对应的响应，其中所述响应是所述用户的情绪识别，并且其中所述响应是在向所述用户提供所述反馈之前接收的；将所述用户的响应和接收的所述实时输入的集合存储在数据存储中，其中在一段时间内、与所述用户和多个人类主体之间的多个交互有关的多个实时输入的集合和多个用户响应被存储在所述数据存储中；基于所述多个用户响应与对应于所述多个实时输入的集合的识别的所述情绪之间的多个比较，生成趋势分析；以及基于所述趋势分析，识别所述用户难以识别的一个或多个情绪类型。
16.—种信息处理系统,包括:一个或多个处理器；与所述处理器的至少一个耦合的存储器；由所述处理器的至少一个处理器可访问的多个接收器，其中所述多个接收器包括视频相机和麦克风；由所述处理器的至少一个处理器可访问的反馈部件；以及存储在所述存储器中、并由所述处理器的至少一个处理器执行的指令集合，其中所述指令集合执行动作:在一个或多个接收器处，从人类主体接收实时输入的集合，其中所述人类主体正与所述信息处理系统的用户交互；将接收的所述实时输入的集合与存储在所述存储器中的一个或多个预定义的情绪特征集合进行比较；响应于所述比较，识别所述人类主体正表现出的情绪；以及经由所述反馈部件，向所述用户提供关于识别的所述情绪的反馈。
17.根据权利要求16所述的信息处理系统，其中所述指令集合执行附加动作，包括:响应于所述比较，识别正表现出的所述情绪的强度；以及向所述用户提供关于识别的所述强度的附加反馈。
18.根据权利要求16所述的信息处理系统，其中所述实时输入的集合包括可视输入和音频输入，并且其中所述指令集合执行附加动作，包括:在所述视频相机处接收所述可视输入，其中所述视频相机对准所述人类主体；以及在所述麦克风处接收所述音频输入，其中所述麦克风从所述人类主体接收一个或多个声音提不。
19.根据权利要求16所述的信息处理系统，其中所述反馈部件是热输出，所述热输出向所述用户提供触觉感觉，其中所述指令集合执行附加动作，包括:响应于识别出正面情绪，使用所述热输出将识别的所述情绪指示为清凉感觉；以及响应于识别出负面情绪，使用所述热输出将识别的所述情绪指示为温热感觉。
20.根据权利要求16所述的信息处理系统，其中所述反馈部件是振动部件，所述振动部件向所述用户提供触觉感 觉，其中所述指令集合执行附加动作，包括:响应于识别出正面情绪，使用所述振动部件将识别的所述情绪指示为轻柔振动感觉；以及响应于识别出负面情绪，使用所述振动部件将识别的所述情绪指示为剧烈振动感觉。
21.根据权利要求16所述的信息处理系统，其中所述反馈部件是扬声器输出，所述扬声器输出向所述用户提供可听反馈，所述指令集合执行附加动作，包括:响应于识别出正面情绪，使用所述扬声器输出将识别的所述情绪指示为音高较高的音调；以及响应于识别出负面情绪，使用所述扬声器输出将识别的所述情绪指示为音高较低的音调。
22.根据权利要求16所述的信息处理系统，其中所述反馈部件是显示设备，所述显示设备向所述用户提供可视反馈，其中所述指令集合执行附加动作，包括:响应于识别出正面情绪，在所述显示设备上显示正面可视提示；以及响应于识别出负面情绪，在所述显示设备上显示负面可视提示。
23.根据权利要求16所述的信息处理系统，其中所述指令集合执行附加动作，包括:从所述用户接收与所述人类主体对应的响应，其中所述响应是所述用户的情绪识别，并且其中所述响应是在向所述用户提供所述反馈之前接收的；将所述用户的响应和接收的所述实时输入的集合存储在数据存储中；对所述用户与所述人类主体之间的所述交互执行后续分析，其中所述分析进一步包括:从所述数据存储取回所述用户的响应和所述实时输入的集合；向所述用户显示所述用户的响应、识别的所述情绪以及与识别的所述情绪对应的所述一个或多个预定义的情绪特征集合；以及向所述用户提供取回的所述实时输入的集合。
24.根据权利要求16所述的信息处理系统，其中所述指令集合执行附加动作，包括:从所述用户接收与所述人类主体对应的响应，其中所述响应是所述用户的情绪识别， 并且其中所述响应是在向所述用户提供所述反馈之前接收的；将所述用户的响应和接收的所述实时输入的集合存储在数据存储中，其中在一段时间内、与所述用户和多个人类主体之间的多个交互有关的多个实时输入的集合和多个用户响应被存储在所述数据存储中；基于所述多个用户响应与对应于所述多个实时输入的集合的识别的所述情绪之间的多个比较，生成趋势分析；以及基于所述趋势分析，识别所述用户难以识别的一个或多个情绪类型。
25.一种用于表征情绪提示的信息处理系统，包括:用于在包括于所述信息处理系统中的一个或多个接收器处，从人类主体接收实时输入的集合的装置，其中所述人类主体正与所述信息处理系统的用户交互；用于将所述接收的实时输入的集合与一个或多个预定义的情绪特征集合进行比较的装置；用于响应于所述比较，识别所述人类主体正表现出的情绪的装置；以及用于向所述信息处理系统的所述用户提供关于识别的所述情绪的反馈的装置。
26.根据权利要求25所述的信息处理系统，进一步包括:用于响应于所述比较，识别正表现出的所述情绪的强度的装置；以及用于向所述用户提供关于识别的所述强度的附加反馈的装置。
27.根据权利要求25所述的信息处理系统，其中所述实时输入的集合是可视输入，并且所述系统进一步包括:用于在所述信息处理系统可访问的相机处接收所述可视输入的装置，其中所述相机对准所述人类主体，并且其中所述信息处理系统是由所述用户携带的便携式系统。
28.根据权利要求25所述的信息处理系统，其中所述实时输入的集合是音频输入，并且所述系统进一步包括:用于在所述信息处理系统可访问的麦克风处接收所述音频输入的装置，其中所述麦克风从所述人类主体接收一个或多个声音提示，并且其中所述信息处理系统是由所述用户携带的便携式系统。
29.根据权利要求25所述的信息处理系统，其中所述反馈是由反馈部件提供的，所述反馈部件选自包括如下的组:热输出单元、振动输出单元、扬声器和显示器。
30.根据权利要求25所述的信息处理系统，进一步包括:用于从所述用户接收与所述人类主体对应的响应的装置，其中所述响应是所述用户的情绪识别，并且其中所述响应是在向所述用户提供所述反馈之前接收的；以及用于将所述用户的响应和接收的所述实时输入的集合存储在数据存储中的装置；用于对所述用户与所述人类主体之间的所述交互执行后续分析的装置，其中所述分析进一步包括:从所述数据存储取回所述用户的响应和所述实时输入的集合；向所述用户显示所述用户的响应、识别的所述情绪以及与识别的所述情绪对应的所述一个或多个预定义的情绪特征集合；以及向所述用户提供取回的所述实时输入的集合。
31.根据权利要求25所述的信息处理系统，进一步包括:用于从所述用户接收与所述人类主体对应的响应的装置，其中所述响应是所述用户的情绪识别，并且其中所述响应是在向所述用户提供所述反馈之前接收的；用于将所述用户的响应和接收的所述实时输入的集合存储在数据存储中的装置，其中在一段时间内、与所述用户和多个人类主体之间的多个交互有关的多个实时输入的集合和多个用户响应被存储在所述数据存储中；用于基于所述多个用户响应与对应于所述多个实时输入的集合的识别的所述情绪之间的多个比较，生成趋势分析的装置；以及用于基于所述趋势分析，识别所述用户难以识别的一个或多个情绪类型的装置。
【文档编号】G10L25/63GK103514455SQ201310236771
【公开日】2014年1月15日 申请日期:2013年6月14日 优先权日:2012年6月19日
【发明者】J·K·格肯三世 申请人:国际商业机器公司