用于检测神经生理状态的社交交互应用的制作方法
相关申请的交叉引用
本申请要求于2018年1月8日提交的美国临时专利申请序列号62/614,811、于2018年4月23日提交的美国临时专利申请序列号62/661,556和于2018年8月7日提交的美国临时专利申请序列号62/715,766的优先权，这些申请通过引用整体并入本文。
本公开涉及用于在通信增强和游戏应用中根据对神经生理状态的检测来对生物特征传感器数据进行信号处理的应用、方法和装置。
背景技术：
许多人都善于在通信期间与其他人感同身受；其他人则更少。随着电子媒体越来越普遍地用于许多人际或人机通信中，在使用电子通信媒体的人们之间，通过可见和可听线索进行情绪告知变得更加困难或不可能。在文本媒体中，用户诉诸表情符号或其他手动信号。通常，情绪通信会失败，并且用户会误解彼此的意图。此外，有些人善于掩饰自己的感受，并且有时会利用自己的技能欺骗或误导其他人。诸如测谎仪之类的设备用于在有限的情况下解决这些问题，但是对于广泛使用而言却过于麻烦和有侵入性。
在一个有关的问题中，许多计算机游戏对用户的情绪信号无响应，这可能导致玩家随着时间的流逝对玩游戏失去兴趣。
因此，期望开发新的方法和其他新技术以增强人际或人机通信和游戏，从而克服现有技术的这些和其他限制，并帮助制作人为未来受众提供更具吸引力的娱乐体验。
技术实现要素：
本发明内容和以下具体实施方式应被解释为整体公开的补充部分，这些部分可以包括冗余的主题和/或补充的主题。任何节段中的省略均不指示该整体申请中描述的任何要素的优先级或相对重要性。这些节段之间的差异可以包括替代实施例的补充公开、附加细节或使用不同术语的相同实施例的替代描述，其根据相应的公开内容是显而易见的。2018年4月23日提交的序列号为62/661,556的在先申请为数字地表示用户参与音频-视频内容打下了基础，包括但不限于基于传感器数据的内容参与能力(cep)的数字表示，类似于本申请中描述的复合神经生理状态(cns)。如在较早申请中更充分描述的，计算机处理基于来自至少一个传感器的传感器数据来开发针对内容的cep，该至少一个传感器被定位成感测一个或多个用户在参与音频-视频输出时的非自愿响应。例如，传感器数据可以包括从相应传感器接收到的以下一项或多项：脑电图(eeg)数据、皮肤电响应(gsr)数据、面部肌电图(femg)数据、心电图(ekg)数据、视频面部动作单元(fau)数据、脑机接口(bmi)数据、视频脉冲检测(vpd)数据、瞳孔扩张数据、功能磁共振成像(fmri)数据和身体化学感测数据和功能近红外数据(fnir)。相同或相似的传感器可以用于cns的运算。“用户”是指受众成员、出于娱乐目的作为消费者而体验视频游戏或促进社交交互的其他应用的人。本申请建立在此基础上，在以下总结的各种应用中使用cns。
cns是用户的生物特征状态的客观、算法和数字电子量度，其在社交交互期间(例如，在玩视频游戏或参与促进社交交互的应用时)与用户的神经生理状态相关。如本文所用，“社交交互”包括其中两个或更多人交互的任何游戏，以及其他形式的社交交互，诸如当用户与由计算机操作的非玩家角色对抗或与她自己以前的表现对抗(例如，比较)时的人际通信或模拟的社交交互。在给定的社交交互中，用户可能会关注学习内部神经生理状态如何对应于传感器可检测到的外在效应。感兴趣的状态可以是用户自己的神经生理状态，或者另一用户的神经生理状态。如本文所用，“神经生理”是指指示或源自人的生理状态、神经状态或这两种状态。“生物特征”是指生物状态的量度，其涵盖“神经生理”并且可以涵盖其他信息，例如身份信息。某些数据(例如，人脸或其他身体部位的图像)可能既指示身份又指示神经生理状态。如本文所用，“生物特征”始终包括“神经生理”。
cns表达至少两个正交量度，例如唤起度(arousal)和评价度(valence)。如本文所用，“唤起度”是指根据其心理学含义而处于生理机敏、清醒和注意的状态或状况。高唤起度指示感兴趣和关心，而低唤起度指示无聊和缺少兴趣。“评价度”在这里也以其吸引力或美学的心理意义来使用。正评价度指示吸引，而负评价度指示厌恶。
在一方面，一种用于基于用户的神经生理状态的表示(例如，定量量度或定性符号)来控制社交交互应用的方法可以包括由至少一个处理器监测来自社交交互(例如游戏或非结构化聊天)的数字数据。该方法可以包括从至少一个传感器接收传感器数据，该至少一个传感器被定位成在社交交互期间感测至少一个用户的神经生理响应。该方法可以包括基于传感器数据确定复合神经生理状态(cns)值，并将cns值记录在计算机存储器中和/或将cns值的表示传达给用户或社交交互中的另一参与者。在一方面，确定cns值还可以包括基于传感器数据确定唤起度值，并且将基于传感器数据的刺激平均唤起度与期望平均唤起度进行比较。传感器数据可以包括以下各项中的一项或多项：脑电图(eeg)数据、皮肤电响应(gsr)数据、面部肌电图(femg)数据、心电图(ekg)数据、视频面部动作单元(fau)数据、脑机接口(bmi)数据、视频脉冲检测(vpd)数据、瞳孔扩张数据、功能磁共振成像(fmri)数据和功能近红外数据(fnir)。
一方面，可以基于认知鉴别模型来运算复合神经生理状态(cns)。另外，运算cns值可以包括基于传感器数据确定评价度值并且在确定神经生理状态的量度时包括评价度值。确定评价度值可以基于传感器数据，其包括以下各项中的一项或多项：脑电图(eeg)数据、面部肌电图(femg)数据、视频面部动作单位(fau)数据、脑机接口(bmi)数据、功能磁共振成像(fmri)数据、功能近红外数据(fnir)和正电子发射断层扫描(pet)。
在相关方面，该方法可以包括基于进一步的传感器数据来确定期望平均唤起度，该进一步的传感器数据测量接收者在对已知音频-视频刺激参与时的类似非自愿响应。因此，该方法可以包括播放已知音频-视频刺激，该已知音频-视频刺激包括已知非唤起性刺激和已知唤起性刺激。确定cns值、针对一个或多个用户中的每一个运算多个事件能力中的一个、基于传感器数据的一个或多个源标识符为事件能力中的每一个分配权重、确定期望平均唤起度和基于传感器数据确定评价度值的更详细的方面可以如本文上文或下文更详细描述中针对其他应用所述。
前述方法可以通过在非暂时性计算机可读介质中提供的程序指令在任何合适的可编程计算装置中实施，这些程序指令在由计算机处理器执行时使该装置执行所描述的操作。处理器相对于装置和用户可以是本地的、远程定位的，或者可以包括本地处理器和远程处理器的组合。一种装置可以包括计算机或一组连接的计算机，该计算机或该组连接的计算机用于测量和传达用于内容输出设备的cns或类似的参与量度。内容输出设备可以包括例如个人计算机、移动电话、音频接收器(例如，蓝牙听筒)、笔记本计算机、电视或计算机监测器、投影仪、虚拟现实设备、增强现实设备或触觉反馈设备。该装置的其他元件可以包括例如音频输出设备和用户输入设备，它们参与该方法的执行。一种装置可以包括虚拟或增强现实设备，诸如对用户的头部和其他身体部分的运动做出反应的头戴式受话器或其他显示器。该装置可以包括生物特征传感器，这些生物特征传感器提供由控制器用来确定cns的数字表示的数据。
为了实现前述和相关目的，一个或多个示例包括下文中充分描述并且在权利要求中特别指出的特征。以下描述和附图详细地阐述了某些说明性方面，并且仅指示了可以采用示例原理的各种方式中的一些方式。当结合附图和所公开的示例来考虑以下具体实施方式时，其他优点和新颖特征将变得显而易见，该具体实施方式包括所有这些方面及其等同物。
附图说明
当结合附图时，根据以下阐述的具体实施方式，本公开的特征、性质和优点将变得更加明显，其中贯穿说明书和附图，相同的附图标记标识相同的元件。
图1是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的系统和装置的各方面的示意性框图，该系统和装置耦合到一个或多个分配系统。
图2是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的服务器的各方面的示意性框图。
图3是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的客户端设备的各方面的示意性框图。
图4是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的虚拟现实客户端设备的特征的示意图。
图5是示出基于在表演视频游戏或促进社交交互的其他应用期间收集的生物特征传感器数据确定cns的数字表示的方法的高级操作的流程图。
图6是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的系统的高级方面的框图。
图7a是指示神经生理状态相对于二维神经生理空间的轴线的布置的示意图。
图7b是指示神经生理状态相对于三维神经生理空间的轴线的布置的示意图。
图8是示出用于基于生物特征响应数据确定内容参与等级的过程和算法的流程图。
图9是用户使用带有传感器和附件的移动应用来收集在本文描述的方法和装置中使用的生物特征数据的透视图。
图10是示出用于使用生物特征传感器数据来控制社交交互应用的方法的各方面的流程图。
图11是示出对玩家或用户中的神经生理状态进行测量的流程图。
图12是示出包括移动设备的系统的图，该移动设备具有生物特征传感器以利用生物特征诉说来增强人际通信。
图13是示出用于操作系统以利用生物特征诉说来增强人际通信的方法的各方面的流程图。
图14-图16是示出图21中图示的方法的可选的其他方面或操作的流程图。
图17是示出用于利用生物特征诉说来增强人际通信的装置或系统的部件的概念框图。
具体实施方式
现在参考附图描述各个方面。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个方面的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践各个方面。在其他实例中，以框图形式示出公知的结构和设备以有助于描述这些方面。
参考图1，可以在客户端-服务器环境100中实施用于在通信增强应用中对生物特征传感器数据进行信号处理以检测神经生理状态的方法。其他架构也可能是合适的。在网络架构中，传感器数据可以在本地收集和处理，并且传输到服务器，该服务器处理来自一个或多个受试者的生物特征传感器数据，基于计算机存储器中的生物特征传感器数据运算用户神经生理状态的数字表示，并且使用数字表示来控制机器，控制通信或游戏过程，或将用户自己的神经生理状态或在个人通信或游戏中的另一用户的状态的数字表示通知给用户。
合适的客户端-服务器环境100可以包括经由一个或多个网络(例如，广域网(wan)102(例如，互联网)和/或无线通信网络(wcn)104(例如蜂窝电话网络))进行通信的各种计算机服务器和客户端实体。可以以各种架构来实施计算机服务器。例如，环境100可以包括一个或多个web/应用服务器124，其包含与万维网协议兼容的文档和应用代码，包括但不限于例如html、xml、php和javascript文档或可执行脚本。web/应用服务器124可以服务于用于输出视频游戏或促进社交交互的其他应用并且用于从经历内容的用户收集生物特征传感器数据的应用。在替代方案中，可以从数学服务器110、云服务器122、区块链实体128或内容数据服务器126服务数据收集应用。如以下本文更详细描述的，用于体验视频游戏或促进社交交互的其他应用的环境可以包括用于现场交互式剧院的物理布景，或将数据馈送到服务虚拟剧院的建模和渲染引擎的一个或多个数据收集客户端的组合。
环境100可以包括一个或多个数据服务器126，其用于保存：数据，例如，游戏或社交媒体应用内容的视频、音频-视频、音频和图形内容组分，以供使用客户端设备消费；用于在客户端设备上执行或与之结合执行的软件，例如传感器控制和传感器信号处理应用；以及从用户或客户端设备收集的数据。从客户端设备或用户收集的数据可以包括例如传感器数据和应用数据。传感器数据可以由在客户端设备上运行的后台(非面向用户)应用来收集，并且被传输到数据接收装置(sink)，例如基于云的数据服务器122或离散数据服务器126。应用数据是指应用状态数据，包括但不限于与应用或其他应用输入、输出或内部状态的用户交互的记录。应用可以包括用于视频游戏、社交交互或个人训练的软件。可以从其他类型的服务器提供应用和数据，例如，访问分布式区块链数据结构128的任何服务器，或诸如端对端(p2p)服务器116可以由一组客户端设备118、120提供且同时作为微型服务器或客户端进行操作。
如本文所用，“用户”始终是视频游戏或社交交互应用的消费者，系统节点从这些消费者收集神经生理响应数据以用于确定用于在游戏或其他社交交互中使用的情绪状态的数字表示。当经由化身(avatar)或其他机构积极地参与游戏或社交体验时，用户在本文中也可以被称为“玩家演员”。观众并不总是用户。例如，旁观者可以是系统不从其收集任何生物特征响应数据的被动观众。如本文所用，“节点”包括参与计算机网络的客户端或服务器。
网络环境100可以包括各种客户端设备，例如经由wcn104和wan102连接到服务器的移动智能电话客户端106和笔记本客户端108，或经由路由器112和wan102连接到服务器的混合现实(例如，虚拟现实或增强现实)客户端设备114。通常，客户端设备可以是或可以包括由用户用于访问经由服务器或从本地贮存器提供的视频游戏或促进社交交互的其他应用的计算机。在一个方面，数据处理服务器110可以确定用于实时或离线应用中的生物特征数据的数字表示。实时应用可以包括例如视频游戏，经由客户端设备提供情绪反馈的人际社交游戏，用于个人训练和自我完善的应用以及用于实时社交交互的应用，例如文本聊天、语音聊天、视频会议和虚拟存在会议。离线应用可以包括例如“绿色灯光”制作建议书，在绿色灯光之前对制作建议书进行自动筛选，对宣传内容(诸如预告片或视频广告)进行自动或半自动包装以及针对目标用户或用户群组定制内容的编辑或设计(自动和半自动)。
图2示出数据处理服务器200，该数据处理服务器200用于基于生物特征传感器数据来数字地表示用户参与计算机存储器中的视频游戏或促进社交交互的其他应用，该生物特征传感器可以在环境100中、在类似网络中或作为独立的服务器来操作。服务器200可以包括一个或多个硬件处理器202、214(示出一个或多个硬件处理器中的两个)。硬件包括固件。一个或多个处理器202、214中的每一个可以耦合到输入/输出端口216(例如，通用串行总线端口或其他串行或并行端口)，耦合到用于指示用户的神经生理状态的生物特征传感器数据的源220。某些类型的服务器(例如云服务器、服务器场或p2p服务器)可以包括进行协作以执行单个服务器的功能的离散服务器200的多个实例。
服务器200可以包括用于发送和接收应用和数据的网络接口218，该应用和数据包括但不限于用于基于生物特征传感器数据数字地表示在计算机存储器中的游戏或社交交互期间的用户神经生理状态的传感器和应用数据。内容可以从服务器200服务到客户端设备，或者可以由客户端设备在本地存储。如果在本地被存储到客户端设备，则客户端和服务器200可以进行协作以处理传感器数据的收集以及向服务器200的传输以用于处理。
服务器200的每个处理器202、214可以可操作地耦合到至少一个存储器204，该存储器204保存一个或多个应用的功能模块206、208、210、212，以便执行本文所述的方法。这些模块可以包括例如将生物特征反馈与诸如唤起度或评价度的一个或多个量度相关的相关模块206。相关模块206可以包括指令，这些指令在由处理器202和/或214执行时使服务器使用机器学习(ml)或其他过程将生物特征传感器数据与用户的一个或多个神经生理(例如情绪)状态相关。事件检测模块208可以包括用于基于一个或多个生物特征传感器输入超过数据阈值的量度或指示符来检测事件的功能。这些模块还可以包括例如标准化模块210。标准化模块210可以包括指令，这些指令在由处理器202和/或214执行时使服务器使用基线输入来标准化评价度、唤起度或其他值的量度。这些模块还可以包括运算功能212，该运算功能212在由处理器执行时使服务器基于传感器数据和来自上游模块的其他输出来运算复合神经生理状态(cns)。确定cns的细节在本文后面公开。存储器204可以包含附加指令，例如操作系统和支持模块。
参考图3，内容消费设备300生成指示用户对从视频游戏或促进社交交互的其他应用信令生成的输出的神经生理响应的生物特征传感器数据。装置300可以包括例如处理器302，例如基于由inteltm或amdtm设计的80x86架构的中央处理单元、由armtm设计的片上系统，或任何其他合适的微处理器。处理器302可以使用总线或其他耦合方式可通信地耦合到3d环境装置300的辅助设备或模块。可选地，处理器302及其耦合的辅助设备或模块可以被容纳在外壳301内或耦合到外壳301，外壳301例如是具有电视、机顶盒、智能电话、可佩戴谷歌眼镜(googles)、眼镜或遮光板的形状因子或其他形状因子的外壳。
用户接口设备324可以耦合到处理器302，用于向媒体播放器和数据收集过程提供用户控制输入。该过程可以包括输出用于显示屏或投影显示设备的视频和音频。在一些实施例中，视频游戏或促进社交交互的其他应用控制过程可以是或可以包括用于由在处理器302上执行的混合现实沉浸式显示引擎操作的沉浸式混合现实内容显示过程的音频-视频输出。
用户控制输入可以包括例如来自图形用户接口的选择或经由触摸屏、键盘、定点设备(例如游戏控制器)、麦克风、运动传感器、相机或者这些或其他输入设备的某种组合(由方框324表示)生成的其他输入(例如文本或定向命令)。此类用户接口设备324可经由输入/输出端口326(例如通用串行总线(usb)或等效端口)耦合到处理器302。还可以经由耦合到处理器302的传感器328来提供控制输入。传感器328可以是或可以包括例如运动传感器(例如，加速度计)、位置传感器、相机或相机阵列(例如，立体影像阵列)、生物特征温度或脉搏传感器、触摸(压力)传感器、高度计、位置传感器(例如，全球定位系统(gps)接收器和控制器)、接近度传感器、运动传感器、烟雾或蒸汽检测器、陀螺仪位置传感器、无线电接收器、多相机跟踪传感器/控制器、眼睛跟踪传感器、麦克风或麦克风阵列、脑电图(eeg)传感器、皮肤电响应(gsr)传感器、面部肌电(femg)传感器、心电图(ekg)传感器、视频面部动作单元(fau)传感器、脑机接口(bmi)传感器、视频脉冲检测(vpd)传感器、瞳孔扩张传感器、身体化学传感器、功能磁共振成像(fmri)传感器、光学体积描记术(ppg)传感器、相控阵列雷达(par)传感器或功能近红外数据(fnir)传感器。眼睛跟踪传感器、fau传感器、par传感器、瞳孔扩张传感器或心率传感器中的任何一个或多个可以是或可以包括诸如iphone10和其他用于面部识别的智能手机中使用的前置(或后置)立体相机。同样，智能手机或类似设备中的相机可以用于环境光检测，例如，检测环境光变化以与瞳孔扩张的变化相关。
一个或多个传感器328可以检测用作用户神经生理状态的指示符的生物特征数据，例如面部表情、皮肤温度、瞳孔扩张、呼吸速率、肌肉张力、神经系统活动、脉搏、eeg数据、gsr数据、femg数据、ekg数据、fau数据、bmi数据、瞳孔扩张数据、化学检测(例如催产素)数据、fmri数据、ppg数据或fnir数据中的一个或多个。另外，(一个或多个)传感器328可以检测用户的背景，例如，用户的物理环境和环境中的对象的标识位置、大小、取向和运动；用户接口显示器的运动或其他状态，例如虚拟现实头戴式受话器的运动。传感器可以内置在可佩戴设备中，或者可以是非佩戴的，包括显示设备，或者在诸如智能电话、智能手表或植入式医疗监测设备等辅助装备中。传感器也可以放置在附近的设备中，诸如，例如用于免提网络访问的互联网连接的麦克风和/或相机阵列设备，或者放置在物理布景上的阵列中。
来自一个或多个传感器328的传感器数据可以由cpu302在本地处理以控制显示输出，和/或被传输到服务器200以由服务器实时地处理或用于非实时处理。如本文所用，“实时”是指在输入和输出之间没有任何任意延迟的情况下响应于用户输入进行处理；也就是说，只要技术上可行就尽可能快地做出反应。“非实时”或“离线”是指传感器数据的批处理或其他用途，其不用于提供即时控制输入来控制显示，而是可以在任意延迟量后控制显示。
为了能够与计算机网络的另一个节点(例如视频游戏或促进社交交互的其他应用服务器200)进行通信，客户端300可以包括网络接口322，例如有线或无线的以太网端口。网络通信可以用于例如实现多玩家体验，包括视频游戏或促进社交交互的其他应用的沉浸式或非沉浸式体验，诸如非定向多用户应用，例如社交网络、团体娱乐体验、教学环境、视频游戏等。网络通信还可用于客户端和网络的其他节点之间的数据传递，其目的包括数据处理、内容递送、内容控制和跟踪。客户端可以使用通信模块306管理与其他网络节点的通信，该通信模块306处理应用级通信需求和更低级通信协议，优选地不需要用户管理。
显示器320可以例如经由集成在处理器302或单独芯片中的图形处理单元318耦合到处理器302。显示器320可以包括例如由发光二极管(led)或其他灯照亮的平板彩色液晶显示器(lcd)、由lcd或由数字光处理(dlp)单元驱动的投影仪、激光投影仪或其他数字显示设备。显示设备320可以被结合到虚拟现实头戴式受话器或其他沉浸式显示系统中，或者可以是计算机监测器、家庭剧院或电视屏幕，或者放映室或剧院中的投影仪。在真实的社交交互应用中，用户和演员的客户端可以避免使用显示器来倾向于通过听筒等的听觉输入，或通过触觉套装的触觉印象。
在虚拟社交交互应用中，可以将由在处理器302上操作的混合现实显示引擎驱动的视频输出，或用于将用户输入与沉浸式内容显示进行协调和/或生成显示的其他应用提供到显示设备320并作为视频显示输出到用户。类似地，放大器/扬声器或其他音频输出换能器316可以经由音频处理器312耦合到处理器302。与视频输出相关并由媒体播放器模块308、视频游戏或促进社交交互的其他应用或其他应用生成的音频输出可以被提供到音频换能器316并作为听觉声音输出到用户。音频处理器312可以从麦克风314接收模拟音频信号，并将其转换为数字信号以供处理器302进行处理。麦克风可以用作用于检测神经生理(例如情绪)状态的传感器，并且用作用于口头命令的用户输入或对其他用户的社交口头响应的设备。
3d环境装置300还可以包括随机存取存储器(ram)304，其存储程序指令和数据以响应于从用户收集的生物特征传感器数据在控制视频游戏或促进社交交互的其他应用期间由处理器快速执行或处理。当设备300断电或处于不活动状态时，程序指令和数据可以被存储在长期存储器中，例如，非易失性磁性、光学或电子存储器存储设备(未示出)。ram304或存储设备中的任一个或两者都可以包括保存程序指令的非暂时性计算机可读介质，这些程序指令在由处理器302执行时促使设备300执行本文所述的方法或操作。程序指令可以用任何适当的高级语言(例如c、c++、c#、javascript、php或javatm)编写，并进行编译以产生用于由处理器执行的机器语言代码。
程序指令可以被分组为功能模块306、308，以促进编码效率和可理解性。通信模块306可以包括协调生物特征传感器数据或元数据到运算服务器的通信。传感器控制模块308可以包括控制传感器操作和处理原始传感器数据以传输到运算服务器。模块306、308即使可辨别为源代码中的分区或分组，也不一定可辨别为机器级编码中的单独代码块。定向到特定类型的功能的代码束可以被视为包括模块，而不管该束上的机器代码是否可以独立于其他机器代码执行。这些模块可以只是高级模块。媒体播放器模块308可以全部或部分地执行本文描述的任何方法以及等效方法的操作。可以独立地执行操作，或者可以与其他一个或多个另外的网络节点(例如，服务器200)进行协作来执行操作。
本文公开的内容控制方法可以与虚拟现实(vr)或增强现实(ar)输出设备一起使用，例如在虚拟现场或机器人交互式剧院中。图4是示出一种类型的沉浸式vr立体显示设备400的示意图，作为具有更具体的形状因子的客户端300的示例。可以以各种形状因子来提供客户端设备300，其中设备400仅提供客户端设备300的一个示例。本文描述的创新方法、装置和系统不限于单个形状因子，而是可以与适合于将用户的cns的表示传送到人的任何输出设备一起使用。如本文所用，“社交交互应用信号”包括来自视频游戏或促进社交交互的其他应用的任何数字信号。在一个方面，视频游戏或促进社交交互的其他应用的操作可以响应于从生物特征传感器数据运算出的用户的检测到的神经生理状态而变化。在虚拟现实或增强现实应用中，可以响应于用户的cns来控制用户化身的外观、行为和功能，从而提供更大的真实感、趣味性或玩游戏或社交体验的乐趣。
无论是在沉浸式环境还是非沉浸式环境中，应用都可以响应于来自一个或多个用户的实时cns数据来控制计算机控制的非玩家角色的外观、行为和能力。例如，如果cns数据指示低唤起度，则控制器可以增加体验的难度或步调，可以修改化身、非玩家角色、游戏环境或前述的组合的特性。再例如，如果cns数据指示过度紧张或沮丧，则控制器可以类似地减少体验的难度或步调。
沉浸式vr立体显示设备400可以包括平板电脑支撑结构，该平板电脑支撑结构由不透明的轻质结构材料(例如，刚性聚合物、铝或硬纸板)制成，该平板电脑支撑结构被配置为支撑并允许可移除地放置包括高分辨率显示屏(例如，lcd)的便携平板电脑或智能电话设备。设备400被设计为靠近用户的面部佩戴，从而可以使用(诸如智能电话中的)小屏幕尺寸实现宽视野。支撑结构426相对于显示屏412保持一对透镜422。这些透镜可以被配置为使用户能够舒适地聚焦在显示屏412上，显示屏412可以保持为距用户眼睛大约一到三英寸。
设备400还可以包括观看护罩(未示出)，该观看护罩耦合到支撑结构426并且由柔软的、可挠曲的或其他合适的不透明材料构造成，以形成适合用户面部并阻挡外部光的形状。护罩可以被配置为确保对用户而言唯一的可见光源是显示屏412，从而增强使用设备400的沉浸效果。可以使用屏幕分隔器将屏幕412分离成独立驱动的立体区域，每个立体区域仅通过透镜422中的相应一个是可见的。因此，沉浸式vr立体显示设备400可以用于提供立体显示输出，从而为用户提供对3d空间的更真实的感知。
沉浸式vr立体显示设备400还可以包括用于定位在用户鼻子上方的桥接件(未示出)，以便于将透镜422相对于用户的眼睛进行精确定位。设备400还可以包括弹性条或带424或其他头饰，用于装配在用户的头部周围并将装置400保持到用户的头部。
沉浸式vr立体显示设备400可以包括与用户的头部430有关的显示和通信单元402(例如，平板电脑或智能电话)的附加电子部件。当佩戴支撑件426时，用户通过一对透镜422观看显示器412。显示器412可以由中央处理单元(cpu)403和/或图形处理单元(gpu)410经由内部总线417来驱动。显示和通信单元402的部件还可以包括例如一个或多个发射/接收部件418，使得能够经由无线耦合在cpu和外部服务器之间进行无线通信。发射/接收部件418可以使用任何合适的高带宽无线技术或协议来操作，包括例如蜂窝电话技术，诸如第三代、第四代或第五代合作伙伴计划(3gpp)长期演进(lte)(也被称为3g、4g或5g)、全球移动通信系统(gsm)或通用移动电信系统(umts)和/或无线局域网(wlan)技术，例如使用诸如电气与电子工程师协会(ieee)802.11的协议。一个或多个发射/接收部件418可以使视频数据能够从本地或远程视频服务器流式传输到显示和通信单元402，并且可以将传感器和其他数据上行传输到本地或远程视频服务器，以用于如本文所述的控制或受众响应技术。
显示和通信单元402的部件还可以包括例如经由通信总线417耦合到cpu403的一个或多个传感器414。这样的传感器可以包括例如提供指示显示和通信单元402的取向的取向数据的加速度计/倾角仪阵列。由于显示和通信单元402被固定到用户的头部430，所以该数据也可以被校准以指示头部430的取向。一个或多个传感器414还可以包括例如指示用户的地理位置的全球定位系统(gps)传感器。一个或多个传感器414还可以包括例如相机或图像传感器，该相机或图像传感器被定位为检测用户的眼睛中的一个或多个的取向，或捕获用户的物理环境的视频图像(用于vr混合现实)，或这两者。在一些实施例中，可以将被配置为检测用户的眼睛或眼睛移动的相机、图像传感器或其他传感器安装在支撑结构426中，并且经由总线416和串行总线端口(未示出)(例如，通用串行总线(usb)或其他合适的通信端口)耦合到cpu403。一个或多个传感器414还可以包括例如干涉仪，该干涉仪被定位在支撑结构404中并且被配置为向用户的眼睛指示表面轮廓。一个或多个传感器414还可以包括例如麦克风、麦克风阵列或其他音频输入换能器，以用于检测口语用户命令或对显示输出的口头和非口头听觉反应。一个或多个传感器可以包括使用arnavkapur、pattiemaes和shreyaskapur在2018年美国计算机协会acm智能用户接口大会(associationforcomputingmachinery’sacmintelligentuserinterfaceconference)上发表的论文中所述的使用电极的人声识别(subvocalization)掩模。人声识别的词可以用作命令输入，用作唤起度或评价度的指示，或这两者。一个或多个传感器可以包括例如用于感测心率的电极或麦克风，被配置用于感测用户的皮肤或身体温度的温度传感器，耦合到分析模块以检测面部表情或瞳孔扩张的图像传感器、用于检测口头和非口头发声的麦克风，或者用于收集生物反馈数据(包括能够经由算法处理指示情绪的神经系统响应)的其他生物特征传感器(包括已经结合图3在328处描述的任何传感器)。
显示和通信单元402的部件还可以包括例如音频输出换能器420，例如显示和通信单元402中的扬声器或压电换能器，或者用于头戴式耳机的音频输出端口或安装在头饰424中的其他音频输出换能器等。音频输出设备可以提供环绕声、多声道音频、所谓的“面向对象的音频”或其他伴随立体沉浸式vr视频显示内容的配乐输出。显示和通信单元402的部件还可以包括例如经由存储器总线耦合到cpu403的存储器设备408。存储器408可以存储例如程序指令，这些程序指令在由处理器执行时使装置400执行本文所述的操作。存储器408还可以将数据(例如，音频-视频数据)存储在库中或在从网络节点进行流式传输期间进行缓冲。
已经描述了用于在通信增强应用中执行生物特征传感器数据的信号处理以检测神经生理状态的合适的客户端、服务器和网络的示例，将讨论合适的信号处理方法的更详细的方面。图5示出用于运算复合神经生理状态(cns)的方法500的概述，该方法可以包括以任何功能顺序进行的或并行的四个相关操作。如本文所述，可以将这些操作编程为用于服务器的可执行指令。
相关操作510使用算法来将用户或用户群组的生物特征数据与神经生理指示符相关。可选地，该算法可以是机器学习算法，其被配置为除了处理生物特征数据之外还处理背景指示数据，这可以提高准确性。背景指示数据可以包括例如用户方位、用户位置、一天中的时间、一周中的一天、环境光水平、环境噪声水平等等。例如，如果用户的背景充满干扰，则生物反馈数据的显著性可能与安静环境中的显著性不同。
如本文所用，“神经生理指示符”是与参与社交交互的用户的实时神经生理状态有关的机器可读符号值。该指示符可以具有组成元素，其可以是定量的也可以是非定量的。例如，指示符可以被设计为多维向量，其值表示心理素质(诸如认知负荷、唤起度和评价度)的强度。心理上以及如本文所用的“评价度”是指事件、对象或情况的吸引度或期望度的状态；当受试者感觉某物是好的或有吸引力时，评价度被称为是正的，并且当受试者感觉对象是排斥的或不良的时，评价度被称为是负的。心理上以及如本文所用的“唤起度”是指受试者的机敏度和注意力的状态。机器学习算法可以包括至少一种受监督的机器学习(sml)算法，例如，线性回归算法、神经网络算法、支持向量算法、朴素贝叶斯算法、线性分类模块或随机森林算法中的一个或多个。
事件检测操作520在向用户输出视频游戏或促进社交交互的其他应用期间分析来自一个或多个传感器的时间相关信号，并且检测其中信号超过阈值的事件。该阈值可以是固定的预定值，或者诸如滚动平均值之类的可变数。本文在下面提供了gsr(皮肤电响应)数据的示例。可以为每个事件量化神经生理响应的离散量度。神经生理状态不能被直接测量，因此传感器数据指示情感调制。情感调制是归因于神经生理状态或神经生理状态的变化的生物特征波形的调制。在一个方面，为了获得情感调制和神经生理状态之间的基线相关性，可以向玩家演员显示已知的视觉刺激(例如，来自焦点组测试或个人校准会话)以引起某种类型的情绪。在刺激下，测试模块可以捕获玩家演员的生物特征数据，并将刺激生物特征数据与静止生物特征数据进行比较，以识别生物特征数据波形中的情感调制。
cns测量和相关方法可以用作社交交互应用的驱动器或控制参数。预期效果与组响应之间的测量的误差可以有助于告知视频游戏或促进社交交互其他应用的设计、发行和市场营销，或受同龄人对社交交互应用的神经生理响应的影响的任何活动。另外，测量的误差可以用在计算机实施的应用模块中，以控制或影响社交交互应用体验的实时操作。在焦点组测试期间，使用智能手机或平板电脑可能会有用，因为此类可编程设备已经包含用于收集生物特征数据的一个或多个传感器。例如，appletm的iphonetm包括前置立体相机，这些相机可以用于例如眼睛追踪、fau检测、瞳孔扩张测量、心率测量和环境光跟踪。焦点组的参与者可以在智能手机或类似设备上观看社交交互应用，该智能手机或类似设备在参与者的许可下通过他们观看的设备上运行的焦点组应用收集生物特征数据。
标准化操作530在用于已知刺激的测试数据与用于用户的测量信号之间执行算术或其他数值比较，并且将针对事件的测量值标准化。标准化补偿了各个响应中的变化，并提供了更有用的输出。一旦检测到输入传感器事件并将其标准化，运算操作540就为用户或用户群组确定cns值，并将这些值记录在计算机存储器中的时间相关记录中。
机器学习(也被称为ai)可以是用于揭示复杂现象之间的相关性的有效工具。如图6所示，响应于指示用户的神经生理状态的传感器数据610的系统600可以使用机器学习训练过程630来检测来自社交交互应用体验的感官刺激刺激620与生物特征数据610之间的相关性。训练过程630可以从媒体播放器客户端(例如，客户端300、402)接收与生物特征数据610在时间上相关的刺激数据620。数据可以与特定用户或用户群组相关联，或者可以是通用的。两种类型的输入数据(与用户相关联的和通用的)可以一起使用。通用输入数据可以用于校准对场景的神经生理响应的基线，以分类对模拟社交交互的刺激的基线神经生理响应。例如，如果大多数用户在参与相似的社交交互时表现出相似的生物特征诉说(tells)(例如，友善、快乐、生气、吓人、诱人等)，则可以将每个相似的交互与激发来自用户的相似生物特征数据的相似交互一起分类。如本文所用，生物特征数据提供关于用户如何思考和感受其对视频游戏或促进社交交互的其他应用的体验的“诉说”，即用户对游戏或社交交互的神经生理响应。可以由人类来收集和审查相似的场景，该人类可以使用自动分析工具在神经生理指示符指标640上对交互评分。在替代方案中，指示符数据640可以通过人类和半自动处理来评分，而无需按照相似交互进行分类。社交交互应用制作的人类评分元素可以成为机器学习过程630的训练数据。在一些实施例中，视频游戏或促进社交交互的其他应用的人类评分元素可以包括用户，诸如经由在线调查表。评分应考虑文化人口统计，并且可以由专家告知关于不同文化对场景元素的响应的信息。
ml训练过程630比较由人类和机器确定的社交交互的分数，并使用本领域已知的迭代机器学习方法来减少训练数据与其自身估计之间的误差。创造内容分析师可以基于他们的专业判断和经验为来自多个用户的数据评分。各个用户可以对他们自己的社交交互评分。例如，愿意协助训练其个人“导演软件”以识别其神经生理状态的用户可以在玩游戏或参与其他社交交互时对自己的情绪评分。这种方法的问题在于，用户评分可能会干扰他们的正常反应，从而误导机器学习算法。其他训练方法包括在较短的社交交互中对受试者的生物特征响应进行临床测试，然后针对其神经生理状态对临床受试者进行调查。这些和其他方法的组合可以用于为机器学习过程630开发训练数据。
复合神经生理状态是在整个用户对视频游戏或促进社交交互的其他应用的体验中对复合神经生理响应的量度，其可以在体验期间或体验完成后针对不同的时间段进行监测和评分。总体用户愉悦度被测量为预期生物特征数据调制能力(在校准期间测量)与平均持续生物特征数据调制能力之间的差异。可以通过其他方法来确定用户参与的量度，并将其与“复合神经生理状态”相关，或者使其成为对“复合神经生理状态”评分的一部分。例如，退出采访响应或接受购买、订阅或关注的提议可以被包含于或用于调整复合神经生理状态的运算。可以在参与社交交互体验期间或之后使用提议响应率来提供更完整的用户神经生理响应的量度。然而，应当理解，运算cns的目的不一定包括增加用户对被动内容的参与，而是可以主要针对控制游戏玩法的方面以提供不同且更招引人的的社交交互用户体验。
用户进入交互的心情影响叙事娱乐的解释方式，因此计算cns可以校准心情。如果过程无法校准心情，则可以在社交媒体应用的操作中考虑该心情。例如，如果用户的心情压抑，则社交交互应用可以倾向于更积极的评价交互或匹配更多有同情心的伙伴。再例如，如果用户的心情提升，则应用可以倾向于更具挑战性的遭遇。本公开的即时系统和方法将最适合健康镇定的个体，尽管它将使cns能够用于为参与的每个人控制社交交互应用的操作。
图7a示出神经生理状态相对于由水平评价度轴线和竖直唤起度轴线限定的二维神经生理空间的轴线的布置700。在该布置中仅作为示例而不是实际或典型的测量值示出基于评价度/唤起度神经生理模型的所示情绪。媒体播放器客户端可以使用测量面部动作单元的生物特征传感器来测量评价度，而唤起度测量可以例如通过gsr测量来完成。
神经生理空间的特征可以在于两个以上的轴线。图7b图示了神经生理空间的三维认知鉴别模型750，其中第三轴线是社交优势度(dominance)或信心。模型750示出vad(评价度、唤起度、优势度)模型。3d模型1550对于涉及社交等级的复杂情绪可能是有用的。在另一实施例中，可以将来自生物特征数据的神经生理状态量度建模为三维向量，该三维向量提供认知工作量、唤起度和评价度，处理器可以从中确定校准后的主要和次要情绪。参与量度可以被推广到n维模型空间，其中n为一或更大。在本文描述的示例中，cns处于具有评价度轴线和唤起度轴线的二维空间700中，但是cns不限于此。例如，优势度是可以添加的另一个心理测量轴线，可以添加其他轴线，并且除评价度和唤起度以外的基本轴线也可能有用。在情绪校准期间，可以基于个体确定基线唤起度和评价度。
在下面的详细示例中，来自生物特征传感器的神经生理状态确定是基于评价度/唤起度神经生理模型，其中评价度是正/负，而唤起度是幅度。通过该模型，社交交互应用和其他创造制作的制作者可以通过测量社交理论结构(诸如紧张感(希望与恐惧)和紧张感增强(唤起度随着时间的推移而增加))等来验证社交体验的意图。在通过应用为媒介的社交交互期间，算法可以使用神经生理模型来基于用户的心理状态或倾向动态地对应用进行操作。本文描述的发明构思不限于本文描述的cns神经生理模型，并且可以适用于与以可量化参数为特征的任何有用的神经生理模型一起使用。
在测试环境中，可以将电极和其他传感器以临床功能手动放置在受试者用户上。对于消费者应用，传感器的放置应减少干扰且更方便。例如，可见光和红外波长的图像传感器可以被内置在显示装备中。再例如，相控阵雷达发射器可以被制造为微型设备，并放置在移动电话或平板电脑的显示屏后面，用于检测诸如面部动作单元或瞳孔扩张之类的生物特征数据。当用户在使用vr装备时佩戴饰品或抓住控制器时，可以将电极内置在头饰、控制器和其他可佩戴饰品中，以测量皮肤的电导率、脉搏和电活动。
基于视频游戏或促进社交交互的其他应用的目标故事情节可以作为任何有用的神经生理模型中的目标值的序列存储在计算机数据库中，该神经生理模型用于表示用户在社交交互中的神经生理状态，例如评价度/唤起度模型。使用评价度/唤起度模型的示例，服务器可以执行差值运算以确定计划/预测和测量的唤起度和评价度之间的误差。该误差可以用于应用控制或用于生成易于理解的表示。一旦预测值和测量值之间的增量超过阈值，则社交交互应用软件可以命令分支动作。例如，如果基于游戏设计，用户的评价度处于“错误”方向，则处理器可以通过以下逻辑改变内容：如果(预测的评价度–测量的评价度)的绝对值>0，则改变内容。内容的改变可以是专用于软件所了解的有关玩家演员的几个不同项目，也可以是来自ai过程的试用或推荐。同样地，如果唤起度误差降到预测的阈值(例如50％)以下(误差的绝对值＞0.50*预测)，则处理器可以改变内容。
图8示出用于确定包括复合神经生理状态(cns)在内的视频游戏或促进社交交互的其他应用的内容等级的方法800。该方法可以通过编码为可由计算机处理器执行的算法来实现，并且可以在需要运算cns的任何地方应用于本文描述的其他方法中。cns可以表达为受试者内容的事件能力的总和“pv”与社交交互中的可比较事件的期望能力“px”之比。对于不同的主题，并且在通常情况下对于不同的用户，使用相同的方法来运算pv和px。这样一来，总和涵盖了不同的总时间，事件能力pv涵盖了时间段“tv”，该时间段“tv”等于受试者内容的“n”个事件能力时段δtv的总和：
同样，期望能力px涵盖时段“tx”，该时段“tx”等于期望内容的“m”个事件能力时段δtx的总和：
对于任何给定的事件“n”或“m”，能力pv和px中的每一个是能力向量p和维度i的加权向量w的点积，如下所示：
通常，可以对能力向量
其中
cj＝sj-sjoj＝sj(1-oj)等式6
等式6中的索引“j”表示从1到j+k的索引，sj表示比例因子，并且oj表示传感器数据范围的最小值与其真实最小值之间的偏移。与等式5的能力向量相对应的加权向量
其中每个权重值都会与因子的相对估计可靠性成比例地缩放其相应因子。
利用等式3和等式4给出的经校准的点积
比率tx/tv标准化不同时间序列总和中的不等性，并使比率无单位。用户cns值大于1表明用户/玩家演员/观众正在经历的神经生理响应大于所讨论的社交交互类型的基线。用户cns值小于1表明神经生理响应小于社交交互类型的基线。处理器可以基于不同的能力向量同时为同一用户计算多个不同的cns值。
等式5描述了经校准的能力向量，该经校准的能力向量由从生物特征传感器数据得出的唤起度和评价度量度组成。在替代方案中，处理器可以定义部分未校准的能力向量，其中传感器数据信号在转换为数字值之前被缩放，以作为低水平数字信号处理的一部分，但对于用户而言不偏移，如下所示：
如果使用部分未校准的能力向量，则可以在运算复合神经生理状态(cns)之前，针对每个因子计算聚合校准偏移，并从等式3和等式4给出的点积
在这种情况下，可以通过以下等式计算能力向量
可以类似地计算经校准的能力向量
再次参考其中可以使用前述表达式的方法800(图8)，首先执行传感器数据的校准过程802，以校准用户对已知刺激(例如已知静止刺激804、已知唤起性刺激806、已知正评价度刺激808和已知负评价度刺激810)的反应。已知刺激806-810可以使用焦点组进行测试，该焦点组在文化和人口统计学上类似于目标用户组，并保持在数据库中以供校准中使用。例如，国际情感图片系统(iaps)是用于在心理学研究中研究情绪和注意力的图片数据库。为了与内容平台保持一致，可以以与目标平台一致的格式制作在iaps或类似知识库中找到的这些的图像，以用于在校准中使用。例如，可以将触发情感的主题的图片制作为视频剪辑。校准确保传感器按预期操作，并且在用户之间提供一致的数据。不一致的结果可能表明传感器发生故障或配置错误，可以将其校正或忽略。处理器可以确定一个或多个校准系数816，以用于针对设备和/或用户之间的一致性调整信号值。
校准可以具有缩放和偏移特性。为了用作唤起度、评价度或其他心理状态的指示符，传感器数据可能需要使用缩放因子和偏移因子两者进行校准。例如，gsr在理论上可能在零和1之间变化，但实际上取决于人类皮肤的固定和可变条件，该条件随个体和时间而变化。在任何给定的情景中，受试者的gsr可能在某个大于0的gsrmin到某个小于1的gsrmax之间。可以通过将受试者暴露于已知刺激下并估计校准因子的幅度和缩放来测量范围的幅度及其缩放。通过将来自具有已知刺激的情景的结果与相同类型传感器的预期范围进行比较来进行该估计。在许多情况下，校准的可靠性可能令人怀疑，或者校准数据可能不可用，有必要从现场数据中估计校准因子。在一些实施例中，可以使用自适应机器学习算法对传感器数据进行预校准，该自适应机器学习算法在接收到更多数据时为每个数据流调整校准因子，并且从针对校准进行调整的任务中省去了更高级别的处理。
一旦校准了传感器，系统就在812处使用例如等式8针对类型差异对传感器数据响应数据进行标准化。不同的社交交互类型产生不同的评价度和唤起度分数。例如，第一人射击游戏与在线扑克或社交聊天具有不同的步调、重点和强度。因此，除非考虑了应用类型的参与简档，否则无法跨不同应用类型比较参与能力。类型标准化相对于同一类型的应用对应用进行评分，使得能够在各个类型之间进行等效基础上的比较。可以在开始玩之前对一个或多个用户执行标准化812。例如，用户可以在真实游戏之前玩试用模拟游戏，并且处理器可以使用来自模拟游戏的数据进行标准化。在替代方案中，处理器可以使用相同用户或相同用户群组的存档数据来运算期望能力。使用与用于或将用于事件能力的测量相同的算法来运算期望能力，并且可以使用相同的校准系数816来调整该期望能力。处理器存储期望能力818以供稍后使用。
在820处，处理器在受试者内容的玩耍期间接收传感器数据，并且针对关注的每个量度(诸如唤起度和一个或多个评价度品质)运算事件能力。在828处，处理器在播放结束之后或在玩耍期间的运行基础上对内容的事件能力求和或聚合。在830处，处理器运算用户的神经生理状态(例如，如先前描述的复合神经生理状态(cns))的表示。处理器首先应用适用的校准系数，然后通过将聚合的事件能力除以期望能力来运算cns，如上所述。
可选地，运算功能820可以包括在824处将每个检测的事件或检测的事件的较小子集的事件能力与社交/游戏体验的参考进行比较。参考可以是例如由游戏设计者或用户的之前数据定义的基线。例如，在扑克或类似的下注游戏中，虚张声势是玩游戏的重要部分。游戏设计者可以将当前事件能力(例如，当用户下注时测量的)和基线参考(例如，在两局之间或在游戏之前测量的)进行比较。在826处，处理器可以保存、递增或以其他方式累积描述一个或多个变量的误差的误差向量值。误差向量可以包括参考与对于指定事件或社交交互的时段的每个测量值(例如，唤起度和评价度值)的测量响应之间的差异。误差向量和向量矩阵可以用于内容评估或内容控制。
误差测量可以包括或增加用于内容评估的其他指标。可以将复合神经生理状态和误差量度与购买、订阅或与呈现的内容相关的其他转换进行比较。该系统还可以使用标准差或其他统计量度来测量受众响应的一致性。该系统可以测量针对个人、群组和聚合受众的复合神经生理状态、评价度和唤起度。误差向量和cns可以用于各种实时和离线任务。
图9示出用于用户902的包括移动设备904的移动系统900，该移动设备904具有用于收集本文描述的方法和装置中使用的生物特征数据的传感器和配件912、920以及显示屏906。移动系统900可以对于应用(诸如传统的内容范围焦点组测试)的实时控制或非实时控制很有用。移动设备904可以使用通常包括在消费者设备(电话、平板等)上的内置传感器，例如，前置立体相机908(人像)或910(风景)。通常由制造商内置以用于面部检测身份验证的相机908、910也可以用于通过眼睛跟踪以跟踪注意力、用于跟踪cns评价度的fau、用于瞳孔扩张测量以跟踪cns唤起度和心率，该cns唤起度和心率可通过包括脉搏检测传感器914的手表配件914或通过移动设备904本身获得。
诸如头戴式耳机920、帽子或vr头戴式受话器之类的附件可以配备有eeg传感器922。移动设备的处理器可以经由也提供眼睛跟踪数据的3d相机908、910通过瞳孔扩张来检测唤起度。校准方案可以用于将由光圈(光线变化)引起的瞳孔扩张与由于情感唤起度引起的改变区分开。设备904的前置和后置相机都可以用于环境光检测，并且用于校准瞳孔扩张检测，从而排除了由灯光变化引起的扩张。例如，可以在校准序列期间测量瞳孔扩张距离(mm)与在针对预期环境光条件的表演期间预期的光的动态范围之间的关系。据此，处理器可以基于叙事的设计，通过测量叙事元素的额外扩张位移和校准信号测试的结果，来校准灯光效果与情感或认知工作量的效果之间的关系。
代替或附加于立体相机908或910，移动设备904可以包括雷达传感器930(例如多元件微芯片阵列雷达(memar))，以创建和跟踪面部动作单元和瞳孔扩张。雷达传感器930可以被嵌入在下方，并且可以通过移动设备904上的屏幕906看到，无论受试者上是否有可见光。屏幕906对于由成像雷达阵列辐射的rf频谱是不可见的，从而可以在任何程度的明暗中通过屏幕执行雷达成像。在一个方面，memar传感器930可以包括两个阵列，每个阵列具有6个元件。各带有六个元件的两个小型rf雷达芯片天线构成成像雷达。memar传感器930相对于光学传感器908、910的优点在于不需要面部的照明，因此黑暗不会妨碍面部动作单元、瞳孔扩张和眼睛跟踪的感测。虽然仅示出一个6芯片memar阵列930，但是移动设备可以配备有两个或更多个类似的阵列以用于更稳健的感测能力。
图10示出了用于使用生物特征传感器数据来控制社交交互应用的方法1000的各方面。该方法可以适用于各种不同的游戏和社交交互方式，其中发生以下任何一种或多种：(1)用户接收到他/她自己的一个或多个cns测量的指示；(2)其他玩家、旁观者或监测器接收到用户的cns测量的指示，或(3)响应于将用户的cns测量与基线进行比较，应用更改操作参数、游戏玩法，或采取某种其他动作。执行用于执行方法1000的代码的处理器可以基于事件的发生来触发cns的测量，事件的发生为例如事件触发(例如，对社交交互应用的进度或结果重要的事件被触发，诸如下注或加注、非玩家角色或其他玩家挑战用户的化身、比赛事件开始、比赛事件结束、发生社交交互等)，时间的流逝(例如，在玩耍期间每隔15秒)或生物特征传感器的输入(例如，一个或多个生物特征输入超过固定的预定数据阈值或可变数量(例如，滚动平均值)的量度或指示的发生)。在一方面，可以基于前述的组合来触发cns的测量。方法1000至少对于以下描述的社交交互应用的类型通用，但不限于以下描述的应用：
方法1000可以用于具有或不具有货币下注的竞争性虚张声势游戏，例如扑克、werewolftm、balderdashtm和类似游戏。在这些游戏中，玩家竞争来愚弄其他玩家。该方法可以在以下模式中使用：训练模式，其中仅用户看到他或她自己的cns指示符；竞争模式，其中每个玩家看到其他玩家的cns指示符；特权模式，其中玩家可以赢得或被随机授予另一玩家的cns指示符的访问权；交互模式，其中处理器基于一个或多个玩家的cns指示符修改游戏玩法；旁观者模式，其中将cns值提供给旁观者；或上述的任意组合。
方法1000可以用于任何游戏或其他社交交互，以响应于cns指示符来改善用户体验。例如，如果cns指示符展示沮丧，则处理器可以简化游戏玩法；如果指示符展示无聊，则处理器可以引入新元素、更改影响外观和步调的游戏技术参数或提供差异挑战。一方面，处理器可以基于将cns数据与游戏玩法进行相关来应用机器学习算法以优化任何期望参数(例如，用户参与度)。
方法1000可以用于以下社交游戏中，该社交游戏涉及共享对任何主题的偏好，包括例如挑选优选的朋友或约会对象；选择喜欢的衣服或商品、模因(meme)、视频剪辑、照片或艺术品或其他刺激因素项，无论是否向其他玩家揭示用户的cns数据。这样的社交游戏可以在有或没有竞争性元素(诸如选举最喜欢的人或事物)的情况下进行。
方法1000可以用于以下社交游戏中，以通过允许参与者更好地理解其社交交互的情绪影响并相应地调整其行为来增强人际通信。
方法1000可以用于以下社交游戏中，其中，例如虚张声势，对象包括隐藏玩家的情绪状态，或者用于以下游戏中，其中对象包括揭示玩家的情绪状态。在任一情况下，cns数据都可以提供定量或定性基础，以比较不同玩家的表现。
该方法可以用于体育比赛中。处理器可以将cns提供给属于每个竞赛者或竞赛者团队的设备，以管理比赛。作为替代或补充，处理器可以将cns提供给属于一个或多个裁判员或旁观者的设备，以提高安全性或比赛的乐趣。作为替代或补充，处理器可以将cns提供给属于对手或对手团队的设备，以启用新的比赛方式。
方法1000可以包括，在1002处，处理器确定、获得或分配一个或多个玩家的标识以及对应的对刺激的基线神经生理响应，该刺激模拟在社交交互应用期间可能发生的一个或多个社交交互。例如，在一方面，基线可以包括基线唤起度值和评价度值。在一方面，基线神经生理响应可以从生物特征数据的数据库中获得(例如610：图6)，并且它可以特定于给定玩家(就数据库已经包含先前从玩家获得的基线数据而言)，或者替代性地，可以基于可归因于玩家所属文化或人口统计类别的一组基线数据，将一组通用基线数据分配给特定玩家，或者可以随机或通过其他合适的方式分配基线数据。在一方面，如本文先前所讨论的，可以在情绪校准期间确定基线。然而，这样的基线确定对于每个玩家都不总是必需的，对于本公开所考虑的游戏或另一社交交互应用的每个玩耍会话也不都是必须的。
在1004处，处理器启动一个或多个玩家(包括人类和/或计算机玩家)参与的社交交互应用的玩耍。在1006处，处理器确定是否发生了如本文先前所述的事件，从而将触发cns的测量。为此，例如，处理器可以使用本文所述的传感器和客户端设备来监测一个或多个玩家的行为或神经生理状态。例如，可以使用以下针对紧接在以下段落中的娱乐场的游戏室中的实施方式的示例所描述的传感器来监测玩家的行为。如果未检测到事件，则在1008处，处理器继续等待直到检测到一个事件。如果检测到事件，则在1010处，处理器继续以运算一个或多个玩家的cns值的测量。
例如，在涉及第一玩家和两个或多个其他玩家(包括发牌者)的扑克游戏的方法1000中，假设第一玩家是“枪口位”玩家(意味着需要与另一名玩家的下注相匹配或离开游戏)，并紧跟在已经发出了$75的大盲注的玩家之后。一局开始，并且发牌者向每位玩家分发两张底牌。如本文所述的系统和传感器所检测的，枪口位第一玩家通过放置筹码大于大盲注(例如，$5000)来跟注和加注。在这种情况下，处理器在1006处确定已经发生了事件(例如，加注)。在1010处，处理器根据事件运算第一玩家的cns值的测量，并且在1012处，处理器将表示所测量的cns的一组数据存储在存储器中。
在一方面，在1014处，处理器确定是否将运算出的cns输出到第一玩家。例如，假设刚刚描述过的扑克游戏中的那局先前被针对计算机算法进行训练的第一玩家指定为训练会话玩家。在这种情况下，在1014处，处理器确定应将在1010处运算出的cns输出到第一玩家。
在1016处，第一玩家可以以合适的定性或定量形式中的任何一种或多种来感知或感测运算出的cns的输出，定性或定量形式包括例如数字表示(例如，唤起度或评价度或其他生物特征数据(诸如温度、汗水、面部表情、姿势、手势等)的数值)、百分比、颜色、声音(例如音频反馈、音乐、触觉反馈等)。例如，假设第一玩家加注到$5000时在虚张声势，并且第一玩家已经展示出与虚张声势的事件一致的本公开的生物特征传感器可检测到的神经生理迹象。在这种情况下，在训练模式的实施方式中，处理器可以向第一玩家提供音频反馈，“虚张声势”，提供向玩家暗示已检测到虚张声势的可识别触觉反馈，在显示器上提供向玩家展示文本“虚张声势”的警告消息等。
当处理器确定不应将运算出的cns输出到第一玩家时，处理器在1018处确定是否应将运算出的cns输出到其他玩家。例如，继续在训练模式下的扑克游戏的示例，其中在1014处，处理器已经确定第一玩家在虚张声势，但是在替代训练模式(其中不揭示虚张声势的检测或不向第一玩家输出虚张声势的检测)下，作为训练模式编程的一部分，处理器可以替代地将运算出的cns输出到其他玩家。在1020处，可以以与1016中的第一玩家的情况类似的方式，将运算出的cns输出到其他玩家。
在1022处，处理器可以更改社交交互应用的玩法。例如，继续训练模式下的扑克游戏的示例，处理器可以在如上所述检测到第一玩家的虚张声势之后，确定参与扑克游戏的一个或多个计算机算法玩家的动作的过程。例如，假设计算机算法玩家在第一玩家加注之前已经准备好通过匹配大盲注($75)来跟注。取而代之的是，处理器通过跟注第一玩家的下注并将其提高到$5100来更改玩法。
在1024处，处理器可以运算cns的测量的误差向量。例如，继续扑克游戏的示例，假设在整局结束时，第一玩家(其先前由处理器确定为“虚张声势”)最终赢得了该回合。然后，在1024处，处理器运算误差向量以用于“虚张声势”确定。在1026处，处理器基于所运算的误差来选择动作。例如，继续扑克游戏的示例，处理器在1026处可以更新“虚张声势”参数值，并且对于先前被标记为“虚张声势”的同一组生物特征数据，处理器将不再认为该组为“虚张声势”。在1028处，处理器可以实施新动作。例如，继续扑克游戏的示例，其中已经更新了用于检测“虚张声势”的参数，在第一玩家参与的下一回合扑克游戏中，处理器将不会认为先前标记为“虚张声势”的同一组生物特征数据为这样，并且相反，在从第一玩家检测到同一组生物特征数据的情况下，计算机算法玩家可以例如决定弃牌。
也可以出于其他原因执行操作1024。例如，在社交介绍游戏中，处理器可以基于高误差值确定社交介绍会话中的一个或多个参与者感到不安。然后，在1026中，处理器可以选择操作以减少所检测到的不适。例如，处理器可以执行干预脚本以检测并减少不安的来源，直到并包括在1028从会话中移除参与者并将所移除的参与者置于与不同人的新会话中。再例如，如果处理器确定动作游戏的玩家感到沮丧或无聊，则它可以减少或增加游戏呈现的挑战水平，以增加玩家的兴趣和玩耍时间。
在1030处，处理器监测社交交互应用是否完成。例如，继续扑克游戏的示例，当与其他计算机算法玩家对战的第一玩家离开桌子或以其他方式结束参与游戏时，游戏终止。
方法1000的特定实施例可以包括使用生物特征反馈来提高在赌场游戏中玩家意图的估计的准确性(其涉及迷惑玩家等级的强度，包括对赌注、加注和虚张声势的预期)。如本文所述的系统和传感器可以用于在玩家参与赌场游戏时通过视频和音频捕获、热成像、呼吸监测和其他生物特征来记录生物特征和/或玩家行为、手势、姿势、面部表情和其他生物特征指示符。与受试者虚张声势或以其他方式进行欺骗行为相比，当受试者平静时，处理器可以参考通过情绪反馈进行的校准来记录cns分数。例如，在赌场等的游戏室中的实施方式可以包括：1)在扑克和扑克派生游戏中涉及赌注和虚张声势的赌场环境中部署前置立体相机(眼睛跟踪、瞳孔扩张、fau)、麦克风(音频语音分析、nlp词分析)、相控阵传感器(眼睛跟踪、瞳孔扩张、fau)、ir传感器(fnir)、激光呼吸监测器，并向赌场管理者和发牌者提供实时分析和反馈；2)改进扑克玩耍计算机算法，以提供有关人类对手的生物特征状态的缺失信息，以及3)使用机器学习以允许扑克玩耍计算机能够检测人类意图、预期下注、加注和虚张声势。其他应用可以包括，例如，在锦标赛环境中针对人类冠军扑克玩家部署扑克游戏计算机，即用于测试最终的人类扑克技能与计算机扑克技能。在一些实施方式中，提供商可以包装包括立体相机、麦克风、相控阵、ir和激光传感器的硬件套件，以供扑克玩耍专业人士用来针对使用生物特征检测人类意图的计算机算法进行训练，以用于改善他们的游戏。
其他应用可以在涉及迷惑玩家等级的强度(例如，关于军事单位或装备强度)、预期攻击、撤退、诡计、伏击和虚张声势的策略游戏中使用生物特征反馈。可以将策略游戏中的所有玩家的生物特征反馈的可用性提供给人类或计算机对手，以增强确定对手或对手的状态和意图的准确性，增加游戏的挑战性或提供完全基于虚张声势的新的游戏形式。
参见图11，图11示出了用于在参与社交交互应用期间向用户或其他人发信号的某些附加操作或方面1100，方法1000还可以包括：在1110处，至少部分通过基于传感器数据确定唤起度值并将基于传感器数据的刺激平均唤起度与期望平均唤起度进行比较来确定复合神经生理状态的量度。例如，cns包括唤起度和评价度的量度。上面结合图4和图10列出了用于检测唤起度的合适传感器的非限制性示例。
在相关方面中，方法1000可以包括：在1120处，至少部分地通过基于传感器数据超过阈值达一段时间来检测一个或多个刺激事件，从而确定复合神经生理状态的量度。在相关方面中，方法1000可以包括：在1130处，针对一个或多个受众成员中的每一个并且针对刺激事件中的每一个，运算多个事件能力中的一个，并且聚合事件能力。在一个方面，方法1000可以包括由至少一个处理器基于传感器数据的一个或多个源标识为每个事件能力分配权重。在1140处，方法1000还可以包括至少部分通过基于传感器数据确定评价度值并将评价度值包括在确定复合神经生理状态的量度中来确定复合神经生理状态的量度。上面结合图4和图10提供了非限制性的示例合适的传感器列表。
本文所述的用于控制社交交互应用制作的方法和装置可以适于在虚拟或现实环境中改善人对人的通信。图12示出系统1200，其包括具有第一人1202的第一节点1200，该第一节点1200经由电子通信网络1250与具有第二人1212的第二节点1220进行通信。系统1200可以使用cns模型进行通信，其中呈现cns值并与交谈一起进行衡量。例如，两个人1202、1212可以交谈，同时一个或多个参与客户端1206、1216在每个参与者的照片或视频1242、1244旁边呈现关于情感影响的数据1240。使用对应的生物特征传感器1208、1218来感测参与者1202、1212的神经生理响应，并且在本文其他地方进行了描述。每个客户端1206、1218可以将来自生物特征传感器1208、1218的传感器信号转换为生物特征数据，并且经由相应的通信部件1207、1217和通信网络1250将生物特征数据发送到分析服务器1230。服务器1230可以实时或近似实时生成评价度、唤起度、优势度、cns或神经生理响应的任何其他合适量度中的一种或多种量度，或经由网络1250向客户端1206、1216提供一种或多种量度。
每个客户端1206、1216可以经由输出设备1204、1214(例如显示屏)将量度输出为图形显示1240或其他有用格式(例如，可听输出)。显示1240或其他输出可以报告用于交谈序列陈述或陈述组的神经生理状态量度。例如，显示1240可以包括唤起度1246、1250或评价度1248、1252的指示。系统1200可以在唤起度迅速增加的任何时间提供警报，并且还报告与增加相关联的评价度。然后可以由人鉴别警报的含义。系统1200对于虚拟沉浸式体验内的玩家演员之间的人与人通信特别有用，并且还可以在其他上下文中找到应用。
鉴于前述内容，并且通过附加示例的方式，图13-图16示出了用于基于用户的神经生理状态的表示来控制社交交互应用的方法1300或各方法的各方面。在某些方面，社交交互应用可以是以下各项中的一项或多项：纸牌游戏、虚张声势游戏、约会应用、社交网络应用、动作视频游戏、冒险视频游戏、角色扮演视频游戏、模拟视频游戏、策略视频游戏、体育视频游戏和派对视频游戏。方法1300可以由沉浸式混合现实输出设备或非沉浸式平板屏幕设备、投影仪或包括可编程计算机的其他输出设备执行，由与该输出设备通信的一个或多个计算机执行，或由输出设备和与该输出设备通信的一个或多个计算机的组合来执行。
参照图13，一种用于基于用户的神经生理状态的表示来控制社交交互应用的计算机实施的方法可以包括，在1310处，由至少一个处理器监测来自涉及应用的用户的社交交互的数字数据。数字数据可以被编码用于输出设备，例如，用于替代现实或增强现实的便携式或非便携式平板屏幕设备、数字投影仪或可佩戴饰品，在每种情况下输出设备耦合到音频输出功能并且可选地耦合到其他输出功能(例如，运动、触觉或嗅觉)。播放数字数据可以包括，例如，将数字数据保存在输出设备的高速缓存或其他存储器中，并且处理该数据以供输出设备的至少一个处理器输出。数字数据可以表示社交交互或社交交互应用的状态，例如，游戏状态、聊天记录或其他社交交互的记录、或与社交交互中一个或多个参与者的神经生理响应相关的其他数据。
方法1300可以包括，在1320处，从至少一个传感器接收传感器数据，该传感器被定位成感测用户的与社交交互有关的神经生理响应。传感器数据可以包括本文所述的用于唤起度、评价度或其他量度的任何一个或多个数据。
方法1300可以包括，在1330处，使用如上本文所述的算法，基于传感器数据，确定用于社交交互的复合神经生理状态(cns)值。在替代方案中，该方法可以确定神经生理响应的不同量度。该方法可以包括在1340处，将与社交交互相关的cns值或其他神经生理量度记录在计算机存储器中。在替代方案中，该方法可以包括向用户和/或接收者指示cns值或其他神经生理量度。在替代方案中，该方法可以包括至少部分地基于cns值来控制社交交互应用的进度。
图14-图16列出了可以作为方法1300的一部分执行的附加操作1400、1500、1600。操作1400、1500、1600的元素可以按任何操作顺序执行，并且可以从方法1300中省略它们中的任何一个或任何数量的元素。
参照图14，方法1300可以包括用于确定cns值的附加操作1400中的任何一个或多个。方法1300可以包括，在1410处，至少部分地通过基于传感器数据确定唤起度值，并且将基于传感器数据的刺激平均唤起度与期望平均唤起度进行比较来确定cns值。用于唤起度的传感器数据可以包括以下一项或多项：脑电图(eeg)数据、皮肤电响应(gsr)数据、面部肌电图(femg)数据、心电图(ekg)数据、视频面部动作单元(fau)数据、脑机接口(bmi)数据、视频脉冲检测(vpd)数据、瞳孔扩张数据、功能磁共振成像(fmri)数据和功能近红外数据(fnir)。方法1300可以包括，在1420处，基于进一步的传感器数据来确定期望平均唤起度，该进一步的传感器数据测量接收者在对已知音频-视频刺激参与时的类似非自愿响应。
在另一方面，方法1300可以包括，在1430处，播放已知音频-视频刺激，该已知音频-视频刺激包括已知非唤起性刺激和已知唤起性刺激。方法1300可以包括，在1440处，至少部分地通过基于传感器数据超过阈值达一时间段而检测到一个或多个刺激事件来确定cns值。方法1300可以包括，在1450处，针对一个或多个用户中的每一个并且针对刺激事件中的每一个运算多个事件能力中的一个，并且聚合事件能力。方法1300可以包括，在1460处，基于用于传感器数据的一个或多个源标识，为事件能力中的每一个分配权重。
参照图15，方法1300可以包括用于确定cns值的附加操作1500中的任何一个或多个。方法1300可以包括，在1510中，至少部分地通过基于进一步的传感器数据超过阈值达一时间段而检测到一个或多个刺激事件，并且针对一个或多个用户并且针对刺激事件中的每一个运算已知音频-视频刺激的多个期望能力中的一个来确定期望平均唤起度。方法1300可以包括，在1520处，至少部分地通过运算事件能力的总和与期望能力的聚合的比率来运算cns能力。
在相关方面，方法1300可以包括，在1530处，基于传感器数据确定评价度值。用于评价度的传感器数据可以包括以下一项或多项：脑电图(eeg)数据、面部肌电图(femg)数据、视频面部动作单元(fau)数据、脑机接口(bmi)数据、功能磁共振成像(fmri)数据、功能近红外数据(fnir)和正电子发射断层扫描(pet)。方法1300可以包括，在1540处，基于针对已知音频-视频刺激而收集的类似值来标准化评价度值。方法1300可以包括，在1550处，基于将评价度值与用于社交交互的目标评价度进行比较来确定评价度误差测量。
参考图16，方法1300可以包括用于确定cns值的附加操作1600中的任何一个或多个。方法1300可以包括，在1610处，在社交交互应用的玩耍期间，将cns值的指示输出到分配给用户的客户端设备。该方法可以包括，在1620处，在社交交互应用的玩耍期间，将cns值的指示输出到分配给另一参与者的客户端设备。该方法可以包括，在1630处，至少部分地基于cns值来控制社交交互应用的进度。例如，在1640处，控制社交交互应用的进度可以包括以下各项中的至少一项：确定获胜者；改变用于音频-视频游戏输出的参数设置；为用户选择新的挑战；将用户与其他玩家进行匹配；或确定用户化身、竞争玩家化身或非玩家角色的能力。
图17是示出用于基于用户的神经生理状态的表示控制社交交互应用的装置或系统1700的部件的概念框图。装置或系统1700可以包括用于执行如本文所述的功能或过程操作的附加或更详细的部件。例如，处理器1710和存储器1716可以包含如上所述的用于实时运算cns的过程的实例。如所描绘的，装置或系统1700可以包括能够表示由处理器、软件或其组合(例如，固件)实施的功能的功能块。
如图17所示，装置或系统1700可以包括用于由至少一个处理器监测来自涉及应用的用户的社交交互的数字数据的电子部件1702。部件1702可以是或可以包括用于所述监测的装置。所述装置可以包括处理器1710，其耦合到存储器1716并且耦合到至少一个生物特征传感器1714的输出，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括，例如检测社交交互的上下文，包括该社交交互针对引起目标神经生理响应，以及在社交交互和目标响应之间创建关联。
装置1700还可以包括用于从至少一个传感器接收传感器数据的电子部件1704，该传感器被定位成感测用户的与社交交互有关的神经生理响应。部件1704可以是或可以包括用于所述接收的装置。所述装置可以包括耦合到存储器1716的处理器1710，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，配置数据端口以从已知传感器接收传感器数据、配置与传感器的连接、在端口处接收数字数据，以及将数字数据解释为传感器数据。
装置1700还可以包括用于基于传感器数据，确定用于社交交互的复合神经生理状态(cns)值的电子部件1706。部件1706可以是或可以包括用于所述确定的装置。所述装置可以包括耦合到存储器1716的处理器1710，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，如结合图8所描述的。
装置1700还可以包括用于以下各项中的至少一项的电子部件1708：将与该社交交互相关的cns值记录在计算机存储器中或向用户指示cns值，向社交交互中的另一参与者指示cns值，或至少部分基于cns值来控制社交交互应用的进度。部件1708可以是或可以包括用于所述记录或指示的装置。所述装置可以包括耦合到存储器1716的处理器1710，该处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，对cns值进行编码并且将编码的值存储在计算机存储器中，或者将编码的值发送到输出设备以呈现给用户。
装置1700可以可选地包括具有至少一个处理器的处理器模块1710。处理器1710可以经由总线1713或类似的通信耦合方式与模块1702-1708可操作地通信。在替代方案中，一个或多个模块可以被实例化为处理器的存储器中的功能模块。处理器1710可以发起和调度由电子部件1702-1708执行的过程或功能。
在相关方面中，装置1700可以包括网络接口模块1712或等效的i/o端口，其可操作用于通过计算机网络与系统部件进行通信。网络接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(usb)端口)、wi-fi接口或蜂窝电话接口。在另外的相关方面中，装置1700可以可选地包括用于存储信息的模块，例如存储器设备1716。计算机可读介质或存储器模块1716可以经由总线1713等可操作地耦合到装置1700的其他部件。存储器模块1716可以适于存储计算机可读指令和数据，以影响模块1702-1708及其子部件或处理器1710的过程和行为、方法1300以及本文公开的一个或多个附加操作1400-1600，或本文所述的由媒体播放器执行的任何方法。存储器模块1716可以保留用于执行与模块1702-1708相关联的功能的指令。尽管示出为在存储器1716外部，但是应当理解，模块1702-1708可以存在于存储器1716内或处理器1710的片上存储器内。
装置1700可以包括或者可以连接到一个或多个生物特征传感器1714，生物特征传感器1714可以是任何合适的类型。合适的生物特征传感器的各种示例在上文中进行了描述。在替代实施例中，处理器1710可以包括来自在计算机网络上操作的设备的联网微处理器。另外，装置1700可以经由i/o模块1712或其他输出端口连接到本文所述的输出设备。
本领域技术人员将进一步理解，结合本文公开的方面描述的各种说明性的逻辑块、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经在其功能方面总体上描述了硬件和软件、各种说明性部件、方框、模块、电路和步骤的可互换性。将这种功能实现为硬件还是软件取决于施加于整个系统的应用和设计约束。技术人员可以针对每个应用以变化的方式来实施所描述的功能，但是这种实施决定不应被解释为导致脱离本公开的范围。
如在本申请中所用，术语“部件”、“模块”、“系统”等旨在指代与计算机有关的实体，可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，部件或模块可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过说明的方式，在服务器上运行的应用和服务器都可以是部件或模块。一个或多个部件或模块可以驻留在执行的进程和/或线程中，并且部件或模块可以位于一个计算机上和/或分布在两个或多个计算机之间。
将根据可以包括几个部件、模块等的系统来呈现各个方面。应当理解和意识到，各种系统可以包括附加部件、模块等，和/或可以不包括结合附图所讨论的所有部件、模块等。也可以使用这些方法的组合。可以在电气设备上执行本文公开的各个方面，该电气设备包括利用触摸屏显示技术、平视(heads-up)用户接口、可佩戴接口和/或鼠标和键盘类型的接口的设备。这种设备的示例包括vr输出设备(例如vr头戴式受话器)、ar输出设备(例如ar头戴式受话器)、计算机(台式和移动式)、电视、数字投影仪、智能电话、个人数字助理(pda)以及有线和无线的其他电子设备。
另外，结合本文公开的各方面描述的各种说明性逻辑块、模块和电路可以用设计用于执行本文所述的功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其他可编程逻辑设备(pld)或复杂pld(cpld)、离散门或晶体管逻辑、离散硬件部件或其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实施为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器与dsp核心结合，或任何其他此类配置。
本文公开的操作方面可以直接体现在硬件中，由处理器执行的软件模块中，或两者的组合中。软件模块可以驻留在ram存储器、闪速存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom、数字多功能磁盘(dvd)、blu-raytm或本领域已知的任何其他形式的存储介质。示例性存储介质耦合到处理器，使得处理器可以从该存储介质读取信息，并且可以向该存储介质写入信息。在替代方案中，存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在asic中。asic可以驻留在客户端设备或服务器中。在替代方案中，处理器和存储介质可以作为离散部件驻留在客户端设备或服务器中。
此外，可以使用标准编程和/或工程技术来产生软件、固件、硬件或其任意组合以控制计算机实施所公开的方面来将一个或多个版本实施为方法、装置或制品。非暂时性计算机可读介质可以包括但不限于磁存储设备(例如硬盘、软盘、磁条或其他格式)、光盘(例如压缩盘(cd)、dvd、blu-raytm或其他格式)、智能卡和闪速存储器设备(例如卡、棒或其他格式)。当然，本领域技术人员将认识到可以在不脱离所公开的方面的范围的情况下对该配置进行许多修改。
提供对所公开的方面的先前描述以使本领域的任何技术人员能够制造或使用本公开。对这些方面的各种修改对于本领域技术人员将是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可以应用于其他实施例。因此，本公开并非旨在限于本文中所示的实施例，而是应被赋予与本文中公开的原理和新颖性特征一致的最广范围。
鉴于上文描述的示例性系统，已经参考几个流程图描述了可以根据所公开的主题实施的方法。尽管为了简化说明的目的，将方法论示出并描述为一系列框，但是应当理解和认识道，所要求保护的主题不受框的顺序限制，因为一些方框可以以不同的顺序进行，和/或与本文所描绘和描述的其他框同时进行。此外，并非需要所有示出的框来实施本文描述的方法。另外，应当进一步认识到，本文公开的方法能够存储在制品上，以便于将这样的方法传递和转移到计算机。
- 还没有人留言评论。精彩留言会获得点赞！