基于背景环境的智能手机传感器逻辑的制作方法
【专利摘要】本发明涉及采用便携式装置(例如，智能手机)中的传感器来感测内容信息(例如，音频和图像)以及背景环境信息的方法。装置处理合乎期望地依赖于两者。例如，一些实施方案基于感测到的内容和背景环境的分类激活某些处理器密集型操作(例如，内容识别)。背景环境可以控制从这种操作产生的信息被存储的位置，或者控制提醒信号表示例如感测到的语音在被转录。一些配置方案将由一个装置采集的传感器数据发布到云存储库，供其它装置访问和处理。多个装置可以协作采集和处理数据，以便利用各自可具有的优势(例如，在位置、处理能力、社交网络资源等方面)。还详细说明了许多其它特征和配置方案。
【专利说明】基于背景环境的智能手机传感器逻辑
[0001]相关申请数据
[0002]在美国，本申请要求2011年9月23日提交的61/538，578及2011年10月3日提交的61/542，737的临时申请的优先权。
【背景技术】
[0003]在公布的申请20110212717、20110161076和20120208592中，本受让人详述了根
据背景环境做出响应的多种智能手机配置方案。本说明书在某些方面扩大这些教导。
【发明内容】
[0004]根据一个方面，根据本技术的系统和方法使用智能手机感测音频和/或视觉信息，并将信息提供给第一分类器模块。第一分类器模块按照类型(例如，音乐、语音、静默、视频图像，自然场景、面部等)表征输入的视听刺激。第二分类器模块处理其它背景环境信息(可包括来自第一分类器模块的输出)，例如一日、星期中的一日、位置、日程表数据、时钟闹钟状态、运动传感器、Facebook状态等，并且输出表征装置状态类型或场景的数据。控制规则模块然后根据来自两个分类器模块的输出，向一个或多个内容识别模块发出控制信号。
[0005]控制信号可简单地启用或禁用不同的识别模块。此外，如果识别模块被启用，则控制信号可建立该模块执行识别功能所用的频率、计划，或其它参数。
[0006]这样的配置方案通过不尝试对于背景环境不必要或不适当的操作而保存电池电量。此外，因为处理资源未转用于空闲识别操作，所以这些配置方案有助于其它智能手机操作。
[0007]本技术的前述和其它特征和优点，通过以下参照附图进行的详细说明将更加明显易见。
【专利附图】
【附图说明】
[0008]图1示出结合本技术的某些方面的说明性实施例。
[0009]图2示出可在图1的实施例中使用的几个内容识别模块。
[0010]图3是采用本技术的各方面的处理的框图。
[0011]图4是采用本技术的各方面的装置的框图。
[0012]图5是示出对于一个实施例，不同的音频识别代理如何基于音频分类数据被激活的事件控制器表。
[0013]图6是示出对于一个实施例，不同的音频识别代理如何基于音频分类数据被激活的流程图。
[0014]图7是示出对于一个实施例，不同的图像识别代理如何基于来自光传感器和运动传感器的输出以及图像分类数据被激活的事件控制器表。
[0015]图8是示出对于一个实施例，不同的图像识别代理如何基于来自光传感器和运动传感器的输出以及图像分类数据被激活的流程图。
【具体实施方式】
[0016]参照图1，结合本技术的某些方面的说明性实施例10包括一个或多个麦克风12、摄像头14、视听分类器模块16、第二分类器模块18、控制规则模块20和内容识别模块22。这些组件可全部包括在智能手机中。替代性地，这些组件可分布在不同位置和/或不同装置(包括云)之间。
[0017]一种适合的智能手机是苹果iPhone4装置，其包括两个摄像头(一个向前，一个向后)，和两个麦克风。另一种是HTC EV03D，其包括立体摄像头(均向后)。
[0018]视听分类器模块16处理由麦克风和/或摄像头采集的数据，并且按照类型将这种视听内容分类。
[0019]如本领域技术人员所熟悉的(并且如维基百科的文章“Statisticalclassification”中所解释的)，分类是识别新的观察结果属于一组类别(亚群)中的哪一类别的问题。可将各个单独的观察结果分析成一组可量化特性，已知为各种变量、特征等。这些特性可以是分类的(例如，用于血型的“A”、“B”、“AB”或“O”)，按顺序的(例如，“大”、“中”或“小”)，等等。熟悉的(虽然有时是困难的)分类问题是将电子邮件识别为垃圾邮件或非垃圾邮件。实施分类的算法或程序称为分类器。
[0020]传统上，基于包括类别隶属关系已知的观察结果(或实例)的数据训练集来进行分类。在此意义上，分类被视为有监督机器学习的实例，即，学习正确识别的观察结果的训练集可用的情况。相应的无监督过程被称为聚类(或聚类分析)，并且涉及基于内在相似性的某种度量(例如，被视为多维向量空间中的向量的实例之间的距离)将数据分类。为了本申请的目的，分类被视为包括聚类。
[0021]一个说明性分类器模块16是音频分类器，其将输入刺激归类为语音、音乐、背景/不确定，或静默。对于前三类，该模块还将音频的音量归类为大声、中级或安静。
[0022]说明性音频分类技术将在后面的章节详述。
[0023]一个简单的实施例按照音频分类器的输出，激活不同的内容识别模块，如下所示:
[0024]
【权利要求】
1.一种方法，包括: 将第一分类处理应用于接收到的音频和/或视觉信息，以便从多个可能的类型当中识别出所述接收到的信息的类型； 将第二分类处理应用于接收到的第二信息，以便从多个可能的场景当中识别出一个场景，所述接收到的第二信息不同于所述接收到的音频或视觉信息；以及基于来自所述第一和第二分类处理的输出，激活一个或多个识别模块。
2.根据权利要求1所述的方法，其中所述第一和第二分类处理通过参考时间、地点和音频信息识别时间-地理-听觉场景，并且所述方法包括基于所识别的时间-地理-听觉场景激活所述一个或多个识别模块。
3.根据权利要求1所述的方法，包括激活面部识别模块。
4.根据权利要求1所述的方法，包括: 将第一分类处理应用于接收到的音频信息，以便将所述接收到的音频信息识别为包括语音； 激活语音识别模块以处理所述音频信息；以及 至少部分地基于采集到所 述音频信息的位置，识别来自所述语音识别模块的输出应当被存储到的存储介质。
5.根据权利要求1所述的方法，包括基于来自所述第一和第二分类处理的输出，激活多个不同的识别模块。
6.根据权利要求1所述的方法，包括将来自所述第一和第二分类处理的输出应用于规则模块，所述规则模块识别要激活的一个或多个识别模块。
7.根据权利要求1所述的方法，其中所述接收到的第二信息包括从所述第一分类处理输出的信息。
8.根据权利要求1所述的方法，其中所述接收到的第二信息包括社交网络信息。
9.根据权利要求1所述的方法，其中所述接收到的第二信息包括关于附近的一人或多人的信息。
10.一种方法，包括: 将第一分类处理应用于接收到的音频和/或视觉信息，以便从两种可能的类型即第一类型和第二类型当中识别出所述接收到的信息的类型； 如果接收到的信息被识别为第一类型，则将多种识别技术的第一组合应用于所述接收到的信息；以及 如果接收到的信息被识别为第二类型，则将多种识别技术的第二组合应用于所述接收到的信息； 其中至少一种识别技术是基于水印或指纹的识别技术，并且所述第一和第二组合都不同。
11.根据权利要求10所述的方法，包括: 应用所述第一分类处理，以便从三种可能的类型即第一类型、第二类型和第三类型当中识别出所述接收到的信息的类型；以及 如果接收到的信息被识别为第三类型，则将多种识别技术的第三组合应用于所述接收到的信息；其中所述第一、第二和第三组合都不同。
12.—种方法,包括: 基于对在用户装置接收到的音频所应用的音频分类处理，将音频识别为包括语音； 至少部分地基于所述识别处理，激活语音识别模块； 确定装置附近的另一人的存在；以及 至少部分地基于所述确定处理的结果，激活提醒信号。
13.根据权利要求12所述的方法，包括如果所述另一人是用户不熟悉的人，则激活所述提醒信号。
14.根据权利要求12所述的方法，包括基于用户与所述另一人之间的关系，控制所述提醒信号的侵扰性。
15.一种方法，包括: 确定用户装置附近的人的存在；以及 至少部分地基于所述确定处理，将面部识别处理应用于由所述用户装置拍摄的图像。
16.根据权利要求15所述的方法，包括通过参考一个或多个电磁信号，确定所述人的存在。
17.根据权利要求15所述的方法，其中所述确定处理包括确定所述用户装置附近的、用户已知的人的存在。
18.根据权利要求16所述的方法，包括尝试通过参考感测到的无线电信号来识别人，并且至少部分地基于所述尝试处理的结果，应用所述面部识别处理。
19.根据权利要求15所述的方法，包括确定所述人与用户之间的社交网络关系，并且至少部分地基于所述确定社交网络关系的结果，应用所述面部识别处理。
20.—种方法,包括: 计算机控制的系统感测用户的背景环境从第一状态到第二状态的变化，所述第二状态包括大于所述第一状态的音频水平； 至少部分地基于所述感测到的变化，询问用户对于音频内容识别操作的兴趣，并且根据响应于所述询问的用户输入或缺乏用户输入，执行音频内容识别； 存储与所述用户输入或缺乏用户输入相关的信息；以及 随着时间的推移，学习用户对所述询问的响应，并且当音频环境从所述第一状态变化为所述第二状态时，在不询问用户兴趣的情况下自动执行内容识别。
21.根据权利要求20所述的方法，其中所述学习处理还包括确定所述第一状态与第二状态之间的音频水平的阈值变化，在该阈值变化下所述系统应当询问用户对于音频内容识别?呆作的兴趣。
22.一种方法，包括在检测到提供用于面部识别的图像数据的摄像头的轴线从水平线偏离超出阈值量时，中断面部识 别模块的操作。
23.一种方法，包括至少部分地基于来自摄像头系统的表示焦距的数据，控制面部识别模块的操作。
24.一种方法，包括通过使用用户所携带装置中的麦克风感测由第一装置发出的阈下信号，并且将与所述感测到的信号相关的数据发布至远程存储站点，供用户所携带装置以外的装置访问。
25.根据权利要求24所述的方法，其中所述第一装置包括由另一用户运送的便携式装置。
26.根据权利要求24所述的方法，其中所感测到的信号传送包括所述第一装置的识别信息和背景环境信息在内的信息，并且所述方法包括将所述信息连同包括用户所携带装置的识别信息和背景环境信息在内的附加信息一起，发布至所述远程存储站点。
27.—种方法,包括: 由第一用户运送的第一装置与由第二用户运送的第二装置进行无线通信，以确定哪个装置更适合执行图像或音频处理任务； 使用所确定的装置执行任务；以及 与另一装置共享所述任务的结果。
28.根据权利要求27所述的方法，其中所述任务包括面部识别。
29.—种方法,包括: 分别由第一用户和第二用户运送的第一装置和第二装置分别从所述用户占据的环境中感测第一信息和第二信息； 每个所述装置处理其感测到的信息；以及 每个所述装置使来自所述处理的输出数据对于另一装置可用。
30.根据权利要求29所述的方法，其中所述第一装置接收由所述第二装置产生的输出数据，并且使用从所述第二装置接收到的该输出数据，而不使用通过所述第一装置自身的处理输出的数据。
31.根据权利要求29所述的方法，包括所述第一装置使用未被所述第二装置在处理所述第二信息时使用的社交网络信息，处理所述第一信息。
32.—种方法,包括: 分别由第一用户和第二用户运送的第一装置和第二装置分别从所述用户占据的环境中感测第一信息和第二信息； 所述第一装置使所述第一信息对于所述第二装置可用；以及 所述第二装置连同对于所述第一装置不可用的社交网络信息一起处理所述第一信息，以产生输出信息。
33.根据权利要求32所述的方法，包括所述第二装置使所述输出信息对于所述第一装置可用。
34.—种方法,包括: 基于来自装置摄像头的图像数据，感测用户的眼睛沿其定位的轴线；以及 至少部分地基于所述感测到的轴线，控制所述装置上的显示器。
35.一种方法,包括: 使用通过用户装置采集的音频数据，将声音场景表征为会议；以及将关于会议的条目提交至联网的调度日程表，使得会议正在进行的房间在日程表上显示为忙碌。
36.根据权利要求35所述的方法，还包括将关于会议的时间间隔提交至日程表，使得在该间隔内所述房间在日程表上将显示为忙碌。
37.根据权利要求36所述的方法，包括至少部分地基于通过用户装置采集的信息，估计所述时间间隔。
【文档编号】H04M1/725GK103918247SQ201280054460
【公开日】2014年7月9日 申请日期:2012年9月7日 优先权日:2011年9月23日
【发明者】T·F·罗德里格斯, 白杨 申请人:数字标记公司