个性化的机器学习模型的制作方法

个性化的机器学习模型的制作方法
【专利摘要】机器学习可以针对个人计算设备的个体用户进行个性化，并且能够用于增加机器学习预测的精确性和速度，和/或降低存储器占用。对机器学习进行个性化可以包括选择机器学习模型的子集以载入到存储器中。这样的选择是至少部分地基于由个人计算设备本地地收集的信息的。对机器学习进行个性化可以另外地或可替代地包括，至少部分地基于由个人计算设备本地地收集的信息来调整机器学习模型的分类阈值。此外，对机器学习进行个性化可以另外地或可替代地包括至少部分地基于由个人计算设备本地地收集的信息来对可以由应用访问的机器学习模型的特征输出进行标准化。
【专利说明】个性化的机器学习模型
【背景技术】
[0001] 机器学习设及可W从经验中自动地进行学习的各种算法。运些算法的基础是建立 在数学和统计学上的，可W采用运些算法来对事件进行预测、对实体进行分类、对问题进行 诊断、W及对函数近似进行建模等（仅指出若干示例）。尽管有各种产品可W用于将机器学 习并入到计算机化的系统中，但是运些产品当前不能提供好的方法来对通用的机器学习模 型进行个性化而不危及用户的个人或私人信息。例如，可W配置机器学习模型W供一般使 用但不用于个体用户。运样的模型可W出于训练的目的而使用去标识的数据，但是不考虑 个体用户的个人或私人信息。该情况可能会导致相对慢的运行速度和相对大的存储器占 用。

【发明内容】

[0002] 本公开部分地描述了用于个性化对个人计算设备的个体用户的机器学习而不危 及个体用户的私人或个人信息的技术和架构。在本文中所描述的技术可W用于增加机器学 习预测准确性和速度，并且降低存储器占用，除此之外还有其他益处。对机器学习进行个性 化可W在个人计算设备上本地地执行，并且可W包括选择机器学习模型的子集W载入到存 储器中。运样的选择可W是至少部分地基于由个人计算设备本地地收集的关于用户的信息 的。对机器学习进行个性化可W另外地或可替代地包括，至少部分地基于由个人计算设备 本地地收集的信息来调整机器学习模型的分类阔值。此外，对机器学习进行个性化可W另 外地或可替代地包括，至少部分地基于由个人计算设备本地地收集的信息来对可W由应用 访问的机器学习模型的特征输出进行标准化。
[0003] 提供了本
【发明内容】
W用简化的形式引入在下文的【具体实施方式】中进一步描述的 概念的选择。本
【发明内容】
不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在 用于帮助确定所要求保护的主题的范围。例如，术语"技术"可W指的是系统、方法、计算机 可读指令、模块、算法、硬件逻辑(例如，现场可编程口阵列(FPGA)、专用集成电路(ASIC)、专 用标准产品（ASSP)、片上系统（S0C)、复杂可编程逻辑设备(CPLD))、和/或由W上或本文档 中通篇的上下文所允许的其他技术。
【附图说明】
[0004] 参考附图描述了【具体实施方式】。在附图中，附图标记的最左边的数字标识了该附 图标记第一次出现所在的图。不同的图中的相同的附图标记指示相似或相同的项。
[0005] 图1是描绘了可W在其中实现在本文中所描述的技术的示例环境的框图。
[0006] 图2是根据各种示例实施例的机器学习系统的框图。
[0007] 图3是根据各种示例实施例的机器学习模型的框图。
[000引图4示出了根据各种示例实施例的机器学习模型的支持向量的树的一部分。
[0009]图5是根据各种示例实施例的用于选择机器学习模型的子集W载入到存储器中的 过程的流程图。
[0010] 图6是根据各种示例实施例的关于分类阔值的特征测量的示意图。
[0011] 图7是根据各种示例实施例的用于至少部分地基于由客户端设备本地地收集的信 息来调整机器学习模型的分类阔值的过程的流程图。
[0012] 图8示出了根据各种示例实施例的特征分布和聚合的特征分布。
[OOK]图9示出了根据各种示例实施例的特征的标准化分布。
[0014] 图10示出了根据各种示例实施例的关于标准化的聚合的特征分布的误算错误。
[0015] 图11是根据各种示例实施例的用于至少部分地基于由客户端设备本地地收集的 信息来对机器学习模型的特征输出进行标准化的过程的流程图。
【具体实施方式】 [0016] 概述
[0017] 在各种实施例中，技术和架构用于个性化对个人计算设备的个体用户的机器学 习。例如，运样的个人计算设备(在下文中被称为客户端设备)可W包括台式计算机、膝上型 计算机、平板计算机、移动通信设备、个人数字助理(PDA)、电子书阅读器、可穿戴计算机、车 载设备、游戏设备等。能够个性化对客户端设备的个体用户的机器学习的客户端设备可W 增加机器学习预测的准确性和速度。与非个性化机器学习的示例相比，个性化的机器学习 可W设及更小的存储器占用和更小的CPU占用，除此之外还有其它益处。在一些实现方式 中，客户端设备的用户必须在个性化的机器学习可W发生之前"选择进入"或采取其它肯定 性的动作。
[0018] 可多种方式实现对机器学习的个性化。例如，在一些实现方式中，对机器学习 进行个性化设及对可W由应用访问的机器学习模型的特征输出进行标准化，其中所述应用 是由客户端设备来执行的。对特征输出进行标准化可W是至少部分地基于由客户端设备本 地地收集的信息的。对机器学习进行个性化可W另外地或者可替代地设及至少部分地基于 由客户端设备本地地收集的信息来调整机器学习模型的分类阔值。另外地或者可替代地， 对机器学习进行个性化可W包括选择机器学习模型的子集W载入到客户端设备的存储器 (例如，RAM或易失性存储器)中。运样的选择也可W是至少部分地基于由客户端设备本地地 收集的信息的。
[0019] 在设及对由客户端设备托管的机器学习模型的特征输出进行标准化的各种实施 例中，所述标准化过程可W至少部分地基于与由客户端设备的处理器所执行的应用相关联 的信息。由客户端设备所收集的信息可W包括：图像、语音或其它音频采样、或者捜索查询 等(除了其他示例之外）。所述信息可W包括客户端设备的用户的个人信息，例如，从诸如所 捕获的图像或语音采样中捜集的身体特征（例如，嘴的大小、眼睛的大小、语音音量、语调 等）。一个用户的特定的身体特征通常与另一个用户的特定的身体特征不同。每个用户的身 体特征都被表示为值的分布(例如，随着嘴的大小的随时间的变化的出现次数）。分布的最 大值和最小值(例如，峰值和谷值)可W用于指示很多事情，例如，用户的特征的各种状态。 例如，用户的嘴的大小的分布中的两个局部最大值之间的局部最小值可W用于定义用户的 嘴张开或者用户的嘴闭合之间的分类边界。通常而言，不同用户的运样的值的分布将是不 同的。特别地，分布的峰值和谷值的位置和大小针对不同的用户是不同的。因此，并且不期 望地，将多个用户的分布进行聚合趋向于使个体用户的分布的峰值和谷值不可分辨。换言 之，将很多用户的分布进行组合会导致使个体用户的分布的峰值和谷值模糊不清的聚合的 分布。来自对分布进行组合的运样的结果可W针对基于多个用户的去标识的数据的机器学 习模型而发生。本文中的一些实施例包括通过基于本地收集的信息对个体用户的分布进行 标准化的过程而对很多用户的分布进行聚合的过程。运样的过程可W得出可W分辨的聚合 的分布。运样的分辨出的聚合的分布可W有明显可定义的(例如，非模糊的)分类边界。
[0020] 在一个示例实现方式中，客户端设备的处理器对机器学习模型的特征输出进行标 准化，运是通过将特征输出的分类边界(例如，分类阔值)与由其它客户端设备托管的机器 学习模型的对应的特征输出的分类边界对齐来进行的。
[0021] 在一些实现方式中，通过使用来自网络的去标识的数据可W对机器学习模型特征 输出进行更新或者进一步细化。例如，对机器学习模型的特征输出进行标准化生成可W与 从客户端设备之外所接收到的去标识的数据聚合的标准化的输出。去标识的数据包括已经 被剥离了关于数据和与数据有关的人之间的关联的信息(例如，元数据)的数据。
[0022] 在一些实施例中，上文中所描述的方法可W由服务器或者网络（例如，互联网或 云）中的其它计算设备整体地或部分地来执行。服务器执行标准化并且将多个客户端设备 的特征分布对齐。服务器可W例如从第一客户端设备中接收由第一客户端设备托管的第一 机器学习模型所生成的第一特征分布，并且从第二客户端设备中接收由第二客户端设备托 管的第二机器学习模型所生成的第二特征分布。服务器可W随后关于第二特征分布来对第 一特征分布进行标准化，W使得第一特征分布和第二特征分布中的每个分布的分类边界相 互对齐。服务器可W接着向第一客户端设备提供通过关于第二特征分布来对第一特征分布 进行标准化而得出的标准化的第一特征分布。第一特征分布可W是至少部分地基于由第一 客户端设备本地地收集的信息的。所述方法还可W包括关于训练分布来对第一特征分布进 行标准化，W使得第一特征分布和训练分布中的每一个的分类边界相互对齐。
[0023] 在各种实施例中，由客户端设备的系统所执行的方法包括至少部分地基于由客户 端设备本地地收集的信息来调整机器学习模型的分类阔值。所述信息可W与由客户端设备 的处理器所执行的应用相关联。运样的信息可W被认为是客户端设备的用户的私人信息。 用户想要使其私人信息保留在客户端设备上。例如，私人信息可W包括W下中的一个或多 个：由系统的用户所捕获和/或所下载的图像和/或视频、用户的图像和/或视频、系统的用 户的语音采样、或者来自系统的用户的捜索查询。在一些实现方式中，客户端设备的用户必 须"选择进入"或采取其它肯定性的动作来允许客户端设备或系统调整机器学习模型的分 类阔值。
[0024] 在一些实现方式中，由客户端设备所执行的方法包括用于降低存储器和CPU占用 的延迟加载策略。例如，运样的方法包括选择机器学习模型的子集W载入到诸如客户端设 备的随机存取存储器(RAM)或易失性存储器之类的存储器中。运样的选择可W是至少部分 地基于由客户端设备本地地收集的信息的。机器学习模型的子集包括少于全部的机器学习 模型。
[0025] 所述方法还包括响应于除了机器学习模型的子集的机器学习模型的部分与在应 用的执行期间所接收到的输入相关，而将该机器学习模型的部分载入到存储器中。
[0026] 在一些实现方式中，客户端设备的用户的各个实时动作不需要影响个性化的机器 学习，而用户的长期的行为示出了可W用于对机器学习进行个性化的模式。例如，机器学习 模型的特征输出可w是经过至少预先确定的时间（例如，数小时、数天、数月等)对客户端设 备的用户的行为模式进行响应。
[0027] 进一步参考图1-11而描述了各种实施例。
[002引示例环境
[0029] 下文所描述的环境仅仅组成一个实例，并且不旨在将权利要求限于任何一个特定 的操作环境。可W使用其它环境而不脱离所要求保护的主题的精神和范围。图1示出了示例 环境100,其中可W运行设及如在本文中所描述的对机器学习进行个性化的实施例。在一些 实施例中，环境100的各种设备和/或组件包括多种计算设备102。在各种实施例中，计算设 备102可W包括设备102a-102c。尽管被示出为多种不同的设备类型，但是计算设备102可W 是其它设备类型而不限于所示出的设备类型。计算设备102可W包括具有可操作地连接(例 如，经由总线110)至输入/输出接口 106和存储器108的一个或多个处理器104的任何类型的 设备。计算设备102可W包括个人计算机，例如，台式计算机102a、膝上型计算机10化、平板 计算机102c、移动通信设备102d、个人数字助理(PDA)102e、电子书阅读器、可穿戴计算机、 车载计算机、游戏设备等。计算设备102还可W包括商业或零售方向的设备，例如，服务器计 算机、瘦客户端、终端、和/或工作站。在一些实施例中，计算设备102可W包括例如，用于集 成在计算设备中的组件、器件、或者另一种设备。在一些实施例中，被描述为由计算设备102 执行的功能中的一些或全部可W由一个或多个远程对等计算设备、远程服务器或多个服务 器、或者云计算资源来实现。例如，计算设备102可W执行远离计算设备而存储的应用。
[0030] 在一些实施例中，如关于设备102d所示出的，存储器108可W存储可W由处理器 104来执行的指令，包括操作系统(0SH12、机器学习模块114、W及可W由处理器104载入和 执行的程序或应用116。一个或多个处理器104可W包括一个或多个中央处理单元(CPU)、图 形处理单元(GPU)、视频缓冲处理器等。在一些实现方式中，机器学习模块114包括存储在存 储器108中并且可W由处理器104执行W用于由计算设备102经由输入/输出106来本地地收 集信息的可执行代码。所述信息与应用116相关联。机器学习模块114选择存储在存储器108 中（或者，更加具体地，存储在机器学习114中）的机器学习模型的子集，W载入到随机存取 存储器(RAMH18中。所述选择可W是至少部分地基于由个人计算设备102本地地收集的信 息的，并且机器学习模型的子集包括少于全部的机器学习模型。机器学习模块114还可W访 问用户模式模块120和私人信息模块122。例如，模式模块120可W存储用户简档，该用户简 档包括用户的动作的历史、执行了一段时间的应用等。私人信息模块122对由个人计算设备 102本地地收集或生成的信息进行存储。运样的私人信息可W与用户或者用户的动作相关。 运样的信息可W由机器学习模块114访问W调整针对用户的分类阔值，例如，W使得个人计 算设备102的用户受益。私人信息不越过个人计算设备102而进行分享和传输。此外，在一些 实现方式中，个人计算设备102的用户必须"选择进入"或采取其它肯定性的动作W允许个 人计算设备102将私人信息存储在私人信息模块122中。
[0031] 尽管某些模块已经被描述为执行各种操作，但是所述模块仅仅是示例，并且可W 由更多或更少数量的模块来执行相同或相似的功能。此外，由所描绘的模块所执行的功能 非必须由单个设备本地地执行。相反，一些操作可W由远程设备(例如，对等、服务器、云等） 来执行。
[0032] 可替代地或者另外地，可W至少部分地由一个或多个硬件逻辑组件来执行在本文 中所描述的功能中的一些或全部。例如而非限制，可w使用的示例性类型的硬件逻辑组件 包括:现场可编程口阵列（FPGA)、专用集成电路(ASIC)、专用标准产品（ASSP)、片上系统 (SOC)、复杂可编程逻辑设备(CPLD)等。
[0033] 在一些实施例中，计算设备102可W与能够捕获图像和/或视频的相机和/或能够 捕获音频的麦克风相关联。例如，输入/输出模块106可W包含运样的相机和/或麦克风。存 储器108可W包括一个计算机可读介质或计算机可读介质的组合。
[0034] 计算机可读介质可W包括计算机存储介质和/或通信介质。计算机存储介质包括 W用于存储诸如计算机可读指令、数据结构、程序模块、或其它数据之类的信息的任何方法 或技术实现的易失性介质和非易失性介质、可移除介质和非可移除介质。计算机存储介质 包括但不限于：相变存储器（PRAM)、静态随机存取存储器（SRAM)、动态随机存取存储器 (DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 化EPROM)、闪速存储器或其它存储器技术、光盘只读存储器(CD-ROM)、数字通用盘(DVD)或 其它光存储、盒式磁带、磁带、磁盘存储或其它磁存储设备、或者可W用于存储信息W供计 算设备存取的任何其它非传输介质。
[0035] 相反，通信介质可W将计算机可读指令、数据结构、程序模块、或其它数据实施在 经调制的数据信号(例如，载波或其它传输机制）中。如在本文中所定义的，计算机存储介质 不包括通信介质。在各种实施例中，存储器108是存储计算机可执行指令的计算机存储介质 的示例。当由存储器104执行时，计算机可执行指令可W配置处理器执行应用并且收集与该 应用相关联的信息等(除了其他之外）。所述信息可W由个人计算设备102本地地收集。当被 执行时，计算机可执行指令也可W配置处理器W至少部分地基于由客户端设备本地地收集 的信息来对可W由应用访问的机器学习模型的特征输出进行标准化。
[0036] 在各种实施例中，输入/输出（I/O)接口 106的输入设备可W是直接触摸输入设备 (例如，触摸屏）、间接触摸设备(例如，触摸板）、间接输入设备(例如，鼠标、键盘、相机或者 相机阵列等）、或者诸如音频输入设备之类的另一类型的非接触设备。
[0037] 计算设备102还可W包括一个或多个输入/输出（I/O)接口 106W允许计算设备102 与其它设备进行通信。输入/输出（I/O)接口 106可W包括一个或多个网络接口 W使能计算 设备102与其它网络化设备(例如，其它设备102)之间的通信。输入/输出（I/O)接口 106可W 允许设备102与诸如用户输入外围设备(例如，键盘、鼠标、笔、游戏控制器、语音输入设备、 触摸输入设备、手势输入设备等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、 触觉输出等)之类的其它设备进行通信。
[0038] 图2是根据各种示例实施例的机器学习系统200的框图。机器学习系统200包括机 器学习模型202、离线训练模块204、W及多个客户端设备206A-C。机器学习模型202从离线 训练模块204中接收训练数据。例如，训练数据可W包括来自群体的数据，例如，操作客户端 设备的用户的群体或者由客户端设备的处理器所执行的应用的群体。数据可W包括从用户 的动作中得出的信息，或者可W包括关于用户本身的信息。例如，当用户从事于特定的活动 时，可W测量多个用户中的每个用户的嘴的大小。例如，可W从在各个时刻或在周期性的时 刻所捕获的用户的图像中捜集运样的测量。用户的嘴的大小可W指示用户的状态，例如用 户对特定的活动的参与等级、情绪状态、或者形体尺寸等(仅指出若干示例）。来自群体的数 据可W用于训练机器学习模型202。在运样的训练之后，可W在客户端设备206A-C中实现机 器学习模型202。因此，例如，使用来自用户的群体的用于离线训练的数据的训练可W充当 机器学习模型的初始状态。
[0039] 部分作为离线训练模块204的结果的机器学习模型202可W针对相当大的用户的 群体而被配置。例如，机器学习模型202可W包括基于离线训练模块204的用户的群体的平 均特性而设置的多个分类阔值。客户端设备206A-C可W修改机器学习模型202,然而，运是 在机器学习模型202被载入到客户端设备206A-C上之后。通过该方式，自定义/个性化的机 器学习可W发生在独立的客户端设备206A-C上。经修改的机器学习模型被指定为机器学习 208A-C。在一些实现方式中，例如，机器学习208A包括客户端设备206A的操作系统的一部 分。对客户端设备上的机器学习进行修改是对机器学习模型进行本地训练的一种形式。如 在下文中所解释的，运样的训练可W利用已经被呈现在客户端设备上的个人信息。此外，客 户端设备的用户可W有信屯、的是，当客户端设备保持为其所占有时，其个人信息保持隐私。
[0040] 在一些实施例中，机器学习208A-C的特性根据客户端设备206A-C的特定的用户而 改变。例如，由客户端设备206A托管并且由特定的用户操作的机器学习208A与由客户端设 备206B托管并且由另一个特定的用户操作的机器学习208B不同。客户端设备的用户的行为 和/或个人信息被考虑用于修改由客户端设备托管的机器学习的各种参数。可W考虑经过 预先确定的一段时间所收集的用户的行为或个人信息。例如，机器学习208A可W至少部分 地基于经过一段时间（例如，数小时、数天、数月等)的客户端设备206A的用户的历史使用模 式、行为、和/或个人信息而被修改。因此，对机器学习208A的修改可W随着时间继续，并且 对客户端设备208A的特定的用户而言变得更加个人化。机器学习208A对特定的用户而言变 得更加个人化产生很多益处。在运些益处之中，机器学习208A的输出的精确度增加了、机器 学习208A的运行的效率(例如，速度)增加了、并且机器学习208A的存储器占用降低了，仅仅 列出了一些示例益处。另外地或可替代地，用户可W被允许选择退出使用个人/私人信息来 对机器学习进行个性化。
[0041] 客户端设备206A-C可W包括个人计算设备，其接收、存储、并且作用于个人计算设 备的用户认为是私人的数据。即，用户想要将运样的数据保存在个人计算设备内。私人数据 可W包括数据文件(例如，文本文件、视频文件、图像文件、W及音频文件），其包括与用户、 用户的行为、用户的属性、用户与其它用户之间的通信、由用户提交的查询、W及用户访问 的网站等(仅指出若干示例)有关的个人信息。
[0042] 机器学习模型的子集选择
[0043] 图3是根据各种示例实施例的机器学习模型300的框图。例如，机器学习模型300可 W相同或相似于在图2中所示出的机器学习模型202。机器学习模型300包括功能块，例如， 随机森林块302、支持向量机块304、W及图形模型块306。随机森林块302可W包括通过在训 练时构建决策树来运行的用于分类的集成学习方法。例如，随机森林块302可W输出作为由 各个树输出的类的模式的类。随机森林块302可W充当框架，该框架包括可W混合和匹配W 创建大量特定的模型的若干可互换的部分。在运样的框架内构建机器学习模型包括:确定 在每个节点中所使用的决策的方向、确定在每个叶子中使用的预测子的类型、确定用于在 每个节点中优化的分割目标、确定用于向树中注入随机性的方法等。
[0044] 支持向量机块304针对机器学习模型300对数据进行分类。支持向量机块304可W 充当与分析数据并识别模式的学习算法相关联的有监督学习模型，其用于分类和回归分 析。例如，给定训练数据的集合，其中每个数据都被标记为属于两个分类中的一个，支持向 量机训练算法建立将新的训练数据分配到一个分类或另一个分类中的机器学习模型。
[0045] 图形模型块306充当概率模型，其中，图形表示随机变量之间的条件相关性结构。 图形模型提供用于发现和分析分布中的结构并且提取非结构化的信息的算法。图形模型的 应用包括信息提取、话音识别、计算机视觉、W及低密度奇偶校验码的解码等(仅指出若干 示例）。
[0046] 图4示出了根据各种示例实施例的由客户端设备(例如，客户端设备206A-C)托管 的机器学习模型的支持向量和节点的树400。例如，树400包括由各种支持向量（由箭头指 出）沿着特定的路径所连接的决策节点402、404、406、408、W及410。树400可W仅仅表示更 大的树的一部分，所述更大的树包括例如数百个或者数千个节点和支持向量。
[0047] 机器学习模型通过沿着树400的支持向量和节点来运行。尽管机器学习模型对应 于大树(树400可W是其相当小的一部分），但是在任何一个时间通常仅仅使用树的一部分。 例如，树400的部分412可W不由特定用户的客户端设备所使用。另一方面，由于用户的使用 模式，树400的部分414可W相当经常地被使用。例如，如果由客户端设备托管的机器学习模 型包括关于语音命令和话音识别的树的部分，则该树的部分可W很少针对很少在客户端设 备上使用语音命令和话音识别的客户端设备的用户而被使用。在运样情况下，在一些实施 例中，很少被使用的树的部分不需要与树的其它部分一起被存储。例如，全部的机器学习模 型可W被存储在只读存储器(ROM)中，而少于全部的机器学习模型可W选择性地被存储在 随机存取存储器(RAM)中。在一些实现方式中，很少被使用的树的部分可W被远程地存档或 存储在任何数量的类型的存储器或位置(例如，远程服务器或者云）中。选择性地仅仅将机 器学习模型的常用的部分存储在RAM中可W提供很多益处，例如，与将全部的机器学习模型 都存储在RAM中相比，增加了机器学习模型的速度并且降低了由机器学习模型所占用的存 储器的量。
[0048] 在一些实施例中，当针对树400的部分的需求提升时，可W将该部分从ROM载入到 RAM中。例如，如果很少利用语音命令或话音识别的用户开始运样做，则设及语音命令或话 音识别的树400的部分可W随后从ROM载入到RAM中。在一些实现方式中，选择性地载入机器 学习模型的部分可W至少部分地基于该部分将被使用的可能性和预测。客户端设备的不同 的用户可能将不同地操作其客户端设备。因此，机器学习模型的部分将针对不同的用户而 不同地被存储。在一个示例中，不同的用户可W在不同的时间操作单个客户端设备。在该情 况下，作为特定的用户登录客户端设备或者W其它方式向客户端设备标识其自身的结果， 由客户端设备托管的由特定的用户频繁地使用的机器学习模型的特定的部分可W从ROM载 入到RAM中。运样的特定的部分可W针对不同的用户而不同。在另一个示例中，不同的用户 可W每个都操作不同的客户端设备。在运样的情况下，每个客户端设备可W使机器学习模 型的不同的部分从ROM载入到RAM中。
[0049] 图5是根据各种示例实施例的用于选择机器学习模型的子集W载入到客户端设备 的RAM中的过程500的流程图。可W通过仅仅载入将最有可能由特定的用户使用的机器学习 模型的部分来提高性能。在方框502处，通过将机器学习模型的部分载入到RAM中来初始化 客户端设备。在该初始阶段，可W至少部分地基于由客户端设备托管的应用的类型或内容、 客户端设备使用的历史或模式、客户端设备的类型等来选择待载入到RAM中的机器学习模 型的部分。全部的机器学习模型(被载入到RAM中的部分是其一部分)可W被托管在客户端 设备上，例如，在ROM中。在其它情况下，可W远程地存储和/或存档机器学习模型的一些部 分。在一些实现方式中，客户端设备对机器学习模型的各种部分进行优先性排序，W确定各 种部分被载入到RAM中的顺序。运样的优先性排序可W至少部分地基于由客户端设备托管 的应用的类型或内容、客户端设备的使用的历史或模式、客户端设备的类型等。
[0050] 在方框504处，由客户端设备本地地收集信息。运样的信息与诸如捜索引擎、游戏 应用、或者话音识别应用（仅指出若干示例）之类的应用相关联。运样的信息可W包括由用 户输入到客户端设备中的文本、音频信息、视频信息、所捕获的图像等。在特定的示例中，机 器学习模型可W与语音识别应用相关联。例如，如果例如所收集的信息指示用户是写技术 文档还是写创意写作文档，则可W改进机器学习模型。在另一个示例中，机器学习模型可W 与用于在互联网上执行捜索的网络浏览器相关联。例如，如果所收集的信息指示客户端设 备的用户主要是进行网络捜索来购物还是来进行科学研究，则机器学习模型可W被个性 化。例如，当用户键入捜索词语时，浏览器可W自动填充捜索文本框:个性化的机器学习模 型可W提供针对用户最有可能捜索的主题的自动填充的词语。
[0051] 在方框506处，选择机器学习模型的子集W载入到存储器(例如，RAM)中。运样的选 择是至少部分地基于由客户端设备本地地收集的信息的。机器学习模型的子集包括少于全 部的机器学习模型。例如，如果机器学习模型与语音识别应用相关联，则用于载入到存储器 中的机器学习模型的子集的选择可W至少部分地取决于由客户端设备的用户所使用的词 语或声音的类型、用户是否用特定的口音讲话、或者用户是写技术文档还是写创意性写作 文档。在另一个示例中，如果机器学习模型与网络浏览器相关联，则用于载入到存储器中的 机器学习模型的子集的选择可W至少部分地取决于用户主要捜索互联网是为了购物还是 为了科学研究。
[0052] 通过统计上对信息进行分析，客户端设备可W使用所收集的信息来选择机器学习 模型的部分。例如，由客户端设备托管的应用可W对机器学习树的特定的节点被访问的次 数进行记忆，并且开发历史或使用模型。机器学习模型可W分配客户端设备上的存储器的 特定的区域(例如，在图1中所示出的用户模式模块120) W存储例如所收集的信息、历史或 使用模型、或者特定的节点被访问的次数。
[0053] 在一些实现方式中，响应于除了机器学习模型的子集的机器学习模型的部分与在 应用的执行期间所接收到的输入相关，而可W将机器学习模型的部分载入到RAM中。例如， 如果用户的动作或输入使应用的特定的部分开始执行，则机器学习模型的特定部分可W相 应地被载入到RAM中。在特定的示例中，如果用户在相对长的时间内第一次激活与话音识别 相关联的应用的部分，则与话音识别相关联的机器学习模型的部分可W从ROM被载入到RAM 中。在一些实现方式中，所选择的机器学习模型的子集可W大于或小于在初始阶段(在502 处)所选择的机器学习模型的部分。
[0054] 除了多个其它功能，机器学习模型可W将特征分类成状态。例如，用户的嘴的大小 是可W被分类成处于张开状态或闭合状态的特征。此外，嘴的大小或状态可W用作参数，根 据该参数可W确定用户处于高兴状态还是悲伤状态，除此之外还有多个其它情绪状态。机 器学习模型包括至少部分地基于将决策函数f(x)的值与阔值t进行对比而做出决策的分类 器。增加阔值t会增加分类的准确度，尽管查全率(recall)会相应地降低。例如，如果用于确 定特征是否在特定的状态中的阔值t被设置得相对高，则将会有相对少的关于特征在该特 定的状态中的确定（例如，查全率），但是该确定是正确的（例如，准确的）的分数将会相对 高。另一方面，降低阔值t会降低分类的准确度，尽管查全率会相应地增加。
[0化日]分类阔值调整
[0056] 图6示出了根据各种实施例的关于机器学习模型的分类阔值602的Ξ个用户A、B、 和C的特征测量600示意图。在所示示例中，特征测量600示出了准确度与查全率之间的平 衡，其是至少部分地由可W针对不同的用户而不同地设置的分类阔值602所确定的。如在下 文中所解释的，通过针对特定的用户而调整分类阔值，机器学习模型可W与针对所有用户 使用单个分类阔值的情况相比更加精确地预测测量结果。基于多个用户的分类阔值可W在 训练期间被初始设置。尽管运样的初始值对一组用户表现良好，但是其不一定对特定的用 户表现良好。
[0057] 在一些实现方式中，可W至少部分地基于特定用户的过去和/或当前的行为而针 对该特定的用户自动地(例如，通过由客户端设备所执行的机器学习模型）调整分类阔值。 在其它实现方式中，可W至少部分地基于用户输入来调整分类阔值。在后者的实现方式中， 例如，用户可W期望通过机器学习模型来进行偏差预测(bias prediction)。在一个示例实 现方式中，可W通过用户调整设置或输入设置来显式地执行偏置(biasing)。在另一个示例 实现方式中，可W基于用户动作而隐式地执行偏置。运样由用户进行的偏置可W提高机器 学习模型的性能。
[0058] 每个箭头604都表示特征(例如，用户或用户的动作的特征）的测量或实例。每个箭 头要么处于向上状态要么处于向下状态。基于所测量的用户的嘴的大小而从左到右来放置 箭头。例如，朝向分布的左边末端的箭头606表示所测量的小的嘴的大小而朝向分布的右边 末端的箭头608表示所测量的大的嘴的大小。所测量(例如，使用所捕获的图像)的嘴的大小 可W用于确定用户的情绪参数，例如，用户是处于高兴状态还是不高兴状态。在该示例中， 箭头朝下指示嘴闭合而箭头朝上指示嘴张开。因此，在嘴的大小的六个测量中，用户A使其 嘴闭合了两次并且使其嘴张开了四次。用户B使其嘴闭合了四次并且使其嘴张开了两次。用 户C使其嘴闭合了Ξ次并且使其嘴张开了Ξ次。
[0059] 如上文中所提及的，机器学习模型包括至少部分地基于将值与阔值进行比较而做 出决策的分类器。在图6中，如果嘴的大小的测量落到分类阔值602的左边，则用户的嘴被分 类为闭合的，而如果嘴的大小的测量落到分类阔值602的右边，则用户的嘴被分类为张开 的。因此，如在图6中可见，如果机器学习模型基于分类阔值602而将用户的嘴分类为张开的 或闭合的，则结果的准确度将针对不同的用户而变化。例如，测量箭头610指示用户A的嘴是 张开的，但箭头610落到分类阔值602的左边，因此机器学习模型将用户A的嘴分类为闭合 的。在另一个示例中，测量箭头604指示用户B的嘴是闭合的，但箭头604落到分类阔值602的 右边，因此机器学习模型将用户B的嘴分类为张开的。对于用户C，测量箭头针对在分类阔值 602右边的每个测量都指示张开的嘴，而针对在分类阔值602左边的每个测量都指示闭合的 嘴。因此，在该特定的情况下，机器学习模型正确地对所有情况中的用户C的嘴进行分类。
[0060] 如上所示，应用至不同的用户的单个阔值会得出不同的结果。分类阔值602对于用 户C而言正确地被设置，但对于用户A而言被设置得太高而对于用户B而言被设置得太低。如 果分类阔值602被调整到准确地适用于用户A，则该分类阔值602对于用户B和C而言将变得 不那么准确。因此，没有单个分类阔值可w对于所有用户而言都是准确的。此外，增加阔值 会增加分类的准确度，尽管查全率会相应地降低。例如，如果用于确定特征是否在特定的状 态中的阔值t被设置得相对高，则将会有相对少的关于特征在该特定的状态中的确定（例 如，查全率），但是该确定是正确的（例如，准确的）的分数将会相对高。另一方面，降低阔值t 会降低分类的准确度，尽管查全率会相应地增加。
[0061] 如在上文中所解释的，应用至不同的用户的单个分类阔值会产生不同的结果。通 过将特定的分类阔值t应用至具有一种类型的用户简档或者个人简档的用户可W提供相对 更精确的结果，相比之下将相同的特定的分类阔值t应用至具有另一个类型的用户简档或 者个人简档的用户会提供不那么精确的结果。因此，在一些实施例中，分类阔值t可W至少 部分地基于特定用户的简档或具有一个或多个共同特性的一类用户的简档而被设置。此 夕h分类阔值t可W至少部分地基于特定用户的行为而被修改或调整。例如，不同的分类阔 值可W被分配至不同的族群：例如，有亚洲血统的用户统计学上具有不同于有高加索血统 的用户的身体特征(例如，眼睛大小和身高）。因此，不同的阔值t可W适合用于不同的族群。
[0062] 机器学习模型可W调整分类阔值。为了在不同的用户间获得一致的体验，可W考 虑W下两种情况。第一，类值的特征分布在用户的任何子群体中大致相同。运可W被表达为 对于所有ω '（ ω的子集），p/ y=i~Py=i，其中P表示概率并且y是由机器学习模型所预测的目 标类。第二，设置分类阔值W使得在用户的子群体间的准确度和查全率至少大致相同。运可 W被表达为：
[00创
等式1
[0064] 其中t是阔值，t'是个性化的阔值，并且X表示输入信号，例如，图像像素或音频文 件。例如，客户端设备可W在一段时间内积累为分布ω '，并且根据等式1来计算自适应分类 阔值。此外，如果t'*是最佳个人阔值，并且t\是通过抽取η个采样而根据等式1计算的估 计，则其中η是由客户端设备所收集的采样的数量。
[0065] 图7是根据各种示例实施例的用于至少部分地基于由客户端设备本地地收集的信 息而调整机器学习模型的分类阔值的过程700的流程图。在方框702处，由客户端设备托管 的机器学习模型包括初始分类阔值，其可W被设置为由通用机器学习模型的先验训练所确 定的值，其中由客户端设备托管的机器学习模型是基于该值的。例如，通用机器学习模型的 分类阔值可W至少部分地基于所测量的用户的群体的参数。
[0066] 在方框704处，由客户端设备本地地收集信息。运样的信息与诸如话音识别应用、 捜索引擎、游戏等之类的应用相关联。在方框706处，机器学习模型至少部分地基于由客户 端设备本地地收集的信息而调整分类阔值。例如，机器学习模型能够由应用访问。在一些实 现方式中，机器学习模型在特定的时间后，或者在收集了特定量的信息后，调整分类阔值。
[0067] 处理700的特定的示例可W包括微笑分类器W确定用户是否在微笑。例如，运可W 对于确定用户是高兴的还是悲伤的有用。为了建立通用机器学习模型，可W针对用户的群 体(例如，100、500、或者1000或更多人)来收集嘴的大小的测量。可W从当用户玩视频游戏、 观看电视节目等时所捕获的用户的图像中获取测量。所述测量可W指示用户多长时间微笑 一次。例如，可W针对每个用户在3小时内每60秒执行测量。运些测量可W用作通用机器学 习模型的初始训练集，其将包括初始分类阔值。
[0068] 当通用机器学习模型首先被载入到客户端设备中时，初始分类阔值将由客户端设 备使用（例如，参见过程700的方框702)。然而，继该时间之后，测量将由客户端设备的特定 的用户构成。例如，可W从当用户玩视频游戏、观看电视节目等时所捕获的用户的图像中获 取对用户的嘴的大小的测量。所述测量可W指示用户多长时间微笑一次。测量(例如，收集 信息，如在过程700的方框704中）可W继续，并且分类阔值可W相应地被调整，直到分类阔 值收敛(例如，基本上变成恒定的)为止。例如，在最近的时间帖内检查连续的阔值计算允许 对连续阔值间的平均变化是否低于特定的预先确定的小的数（例如，0.00001)的确定。因 此，例如，通用机器学习模型可W期望用户在40%的时间在微笑。然而，如通过收集关于用 户的信息（例如，从所捕获的图像中测量嘴的大小)所确定的，用户可能被观察到在25%的 时间在微笑。从而，可W调整分类阔值(例如，参见过程700的框706) W考虑到所观察到的用 户的微笑率。例如，机器学习模型可W通过该方式而被个性化。
[0069] 标准化
[0070] 图8示出了根据各种示例实施例的客户端设备的Ξ个不同的用户的Ξ个示例特征 分布，W及所述Ξ个示例分布的聚合的分布。将多个特征分布进行聚合是用于对个体用户 的特征分布(其可W被看作个人数据)进行去标识或"匿名化"的技术。将多个特征分布进行 聚合还是用于对来自多个用户的采样数据进行组合的技术。
[0071 ]特征分布802表示客户端设备的第一用户的特定参数的测量的分布，特征分布804 表示客户端设备的第二用户的特定参数的测量的分布，而特征分布806表示客户端设备的 第Ξ用户的特定参数的测量的分布。在一些实现方式中，针对用户中的两个或更多个，客户 端设备可W是相同的。例如，两个或更多个用户可W共享单个客户端设备。然而在其它实现 方式中，针对每个用户，客户端设备是不同的。
[0072] 用户的参数被多次测量W生成特征分布802-806。运样的参数可W包括特定用户 的身体特征，例如，嘴的大小、眼睛的大小、语音音量等。可W从由用户操作的客户端设备所 收集的信息中捜集参数的测量。收集运样的信息可W包括捕获用户的图像、捕获用户的语 音采样、从用户接收捜索查询等。
[0073] 作为示例，将特征分布802-806的参数看作是Ξ个用户的嘴的大小。例如，嘴的大 小的测量可W指示用户是在讲话、微笑、大笑、还是在说话。特征分布802-806的X-轴表示增 加的嘴的大小。来自由用户的客户端设备周期性地或者不时地捕获的每个用户的图像的信 息可W用于测量嘴的大小。因此，例如，特征分布802表示第一用户的嘴的大小的测量的分 布，特征分布804表示第二用户的嘴的大小的测量的分布，而特征分布806表示第Ξ用户的 嘴的大小的测量的分布。如可W预期的那样，一个用户的特定的身体特征通常与另一个用 户的特定的身体特征不同。特征分布(例如，嘴的大小的分布）的最大值和最小值(例如，峰 值和谷值)可W用于指示多件事情，例如，用户的特征的各种状态。例如，第一用户的嘴的大 小的特征分布802中的两个局部最大值810和812之间的局部最小值808可W用于定义张开 的用户的嘴或闭合的用户的嘴之间的分类边界。因此，嘴的大小测量在局部最小值808的左 边表示在采样的时刻(例如，在图像捕获的时刻）用户的嘴是闭合的。相反，嘴的大小测量在 局部最小值808的右边表示在采样的时刻用户的嘴是张开的。
[0074] 针对第二用户，第二用户的嘴的大小的特征分布804中的两个局部最大值816和 818之间的局部最小值814可W用于定义张开的用户的嘴或闭合的用户的嘴之间的分类边 界。类似地，针对第Ξ用户，第Ξ用户的嘴的大小的特征分布806中的两个局部最大值822和 824之间的局部最小值820可W用于定义张开的用户的嘴或闭合的用户的嘴之间的分类边 界。通常而言，值的特征分布针对不同的用户而不同。特别地，特征分布的峰值和谷值的位 置和大小W及因此分类边界的位置针对不同的用户而不同。从而W及不期望地，对多个用 户的特征分布进行聚合会引起特征分布的分辨率的损失(例如，模糊及关于个体用户的 特征分布的信息的伴随的损失。例如，聚合的特征分布826是特征分布802-806的总和或叠 加。在聚合的特征分布826中，两个局部最大值830和832之间的局部最小值828可W用于定 义所有张开的用户的嘴或所有闭合的用户的嘴之间的分类边界834。不幸地是，相比于独立 的特征分布802-806的分类边界的情况，分类边界834被定义有较低的确定性。例如，可W根 据局部最小值与相邻的局部最大值的相对大小来量化分类边界的确定性或置信等级:相比 于聚合的特征分布826中的局部最大值830和832的大小，局部最小值828的大小相对大。
[0075] 因此，聚合的特征分布的分类边界834可能根据独立的特征分布802-806而相对不 精确。例如，对应于特征分布802的局部最小值808的分类边界从聚合的特征分布的分类边 界834偏移，如由箭头834所指示的那样。作为另一示例，对应于特征分布806的局部最小值 836的分类边界从聚合的特征分布的分类边界834偏移，如由箭头836所指示的那样。因此， 针对个体用户而使用聚合的特征分布的分类边界834会导致错误或误分类。如在下文中所 描述的，标准化的过程可W减轻由对多个用户的特征分布的聚合而产生的运样的问题。
[0076] 图9示出了根据各种示例实施例的客户端设备的Ξ个不同用户的标准化的示例特 征分布，W及所述Ξ个标准化的示例特征分布的聚合的分布。可W通过将标准化过程应用 到特征分布中来生成运样的标准化的特征分布。例如，如在图8中所示，标准化的特征分布 902是通过对特征分布802进行标准化而得到的。类似地，标准化的特征分布904是通过对特 征分布804进行标准化而得到的，而标准化的特征分布906是通过对特征分布806进行标准 化而得到的。
[0077] 在一个实现方式中，应用至特征分布的标准化过程将局部最小值设置为特定的预 先确定的值。扩展该方法，将运样的标准化过程应用至多个特征分布，运将局部最小值设置 为特定的预先确定的值。因此，在图9中所示出的示例特征分布中，标准化的特征分布902- 906中的每一个的最小值908、910、912都沿着X-轴彼此对齐。在运样的情况下，标准化的特 征分布902-906的聚合的分布914也包括与标准化的特征分布902-906的最小值908-912对 齐的局部最小值916。由于局部最小值的运样的对齐，标准化的特征分布902-906的分类边 界与由聚合的特征分布914的局部最小值918的X-位置所定义的分类边界916相同。
[0078] 如上文所提及的，值的特征分布通常针对不同的用户而不同。特别地，特征分布的 峰值和谷值的位置和大小，W及因此分类边界的位置针对不同的用户而不同。在运样的情 况下，对多个用户的特征分布进行聚合不期望地引起特征分布的分辨率的损失（例如，模 糊）W及关于个体用户的特征分布的信息的伴随的损失。然而，应用至独立的特征分布的标 准化过程会得出聚合的特征分布，其相比于没有标准化过程的情况(例如，聚合的特征分布 826)，保持了被定义具有更高的确定性的分类边界。例如，如上文所提及的，分类边界的确 定性或者置信等级可W根据局部最小值与相邻的局部最大值之间的相对大小而被量化。相 比于聚合的特征分布914的局部最大值920和922的大小，局部最小值918的大小相对小。因 此，基于标准化的特征分布902-906的聚合的特征分布914比基于非标准化的特征分布802- 806的聚合的特征分布826(图8)具有更加区别的（例如，更低的）局部最小值。换言之，基于 标准化的特征分布902-906的聚合的特征分布914提供清楚的决策边界(分类边界）W用于 确定用户的特征的状态(例如，用户的嘴是张开还是闭合）。
[0079] 图10示出了根据各种示例实施例的关于聚合的特征分布的误分类错误。特别地， 聚合的特征分布1002是基于非标准化的特征分布(例如，特征分布802-806)的，而聚合的特 征分布1004是基于标准化的特征分布(例如，特征分布902-906)的。在对非标准化的特征分 布进行聚合的过程中，分辨率降低。因此，误分类错误1006和1008可能在聚合的特征分布 1002的局部最小值1010附近的"模糊区域"内发生。运样的模糊区域是由于由局部最小值 1010所定义的分类边界的分辨率的降低W及伴随的不确定性的增加而产生的。
[0080] 相反，在对标准化的特征分布进行聚合的过程中，分辨率被保持。因此，误分类错 误1012和1014在聚合的特征分布1004的局部最小值1016附近的相对小的"模糊区域"内发 生。错误1012和1014相对小，并且由局部最小值1016所定义的分类边界相对准确。
[0081] 在一些实施例中，标准化过程可W被表达为^'=邑^;口'），其中口'是客户端设备的 单个用户的特征X的特征分布，并且g是标准化函数。例如，P'可W是通过观察客户端设备上 的采样而估计出的。关于在图10中所示出的错误，错误1006、1008与错误1012、1014之间的 差等于Ag，f。此外，P表示聚合的特征分布的模糊的分布，并且Pg表示示例标准化特征分布 (g是标准化函数）。因此，给定任何分类器f(x)并且假设错误降低是Ag，f=虹[ef]-Epg[e f ]，可W通过应用具有η个采样的实时标准化来执行错误降低，Δ gn，f将W概率收敛至Δ g， f: Agn，f^Ag，f。该等式示出了标准化可W理想地将错误降低Ag，f。通过在客户端设备 上进行在线标准化，可W在有限个数量的采样之后（例如，经过某时间量)完成运样的错误 降低。
[0082] 图11是根据各种示例实施例的用于至少部分地基于由客户端设备本地地收集的 信息而对机器学习模型的特征输出进行标准化的过程1100的流程图。在方框1102处，客户 端设备执行应用。在方框1104处，客户端设备收集与该应用相关联的信息。由客户端设备本 地地收集所述信息。然而，在其它实施例中，可W通过使用来自网络的去标识的数据来对机 器学习模型的特征输出进行更新或进一步的细化。在方框1106处，能够由应用访问的机器 学习模型的特征输出至少部分地基于由客户端设备本地地收集的信息而被标准化。在一些 实施例中，对机器学习模型的特征输出进行标准化生成标准化的输出，该标准化的输出能 够与从在客户端设备外部的源中所接收到的去标识的数据聚合。
[0083] 在一些实施例中，上文中所描述的方法是由网络（例如，互联网或云）中的服务器 执行的。服务器执行标准化并且对齐由多个客户端设备所收集的数据的特征分布。例如，月良 务器从第一客户端设备中接收由第一客户端设备托管的第一机器学习模型所生成的第一 特征分布，并且从第二客户端设备中接收由第二客户端设备托管的第二机器学习模型所生 成的第二特征分布。服务器随后关于第二特征分布来对第一特征分布进行标准化，W使得 第一特征分布和第二特征分布中的每个的分类边界相互对齐。服务器接着向第一客户端设 备提供通过关于第二特征分布来标准化第一特征分布而得出的标准化的第一特征分布。第 一特征分布可W至少部分地基于由第一客户端设备本地地收集的信息。所述方法还可W包 括关于训练分布来对第一特征分布进行标准化，W使得第一特征分布和训练分布中的每一 个的分类边界相互对齐。
[0084] 在图5、7、和11中示出的操作的流程被示出为方框和/或表示操作的顺序的箭头的 集合，所述操作可硬件、软件、固件、或其组合实现。方框被描述的顺序不想要被理解为 限制，并且可任何顺序对所描述的任何数量的操作进行组合W实现一个或多个方法或 替代方法。另外地，可W从操作的流程中省略独立的操作而不脱离在本文中所描述的主题 的精神和范围。在软件的上下文中，方框表示当由一个或多个处理器执行时，配置所述处理 器执行所述操作的计算机可读指令。在硬件的上下文中，方框表示被配置为执行所述操作 的一个或多个电路(例如，FPGA、专用集成电路(ASIC)等）。
[0085] 在图5、7、和11中所示出的操作的流程中的任何例程说明、元素、或者方框都可W 表示代码的模块、片段、或者部分，所述代码的模块、片段、或者部分包括一个或多个可执行 的指令W用于实现例程中的特定逻辑功能或元素。
[0086] 结论
[0087] 尽管已经用特定于结构特征和/或方法论行为的语言描述了所述技术，但应当理 解的是所附权利要求非必须限于所描述的特征或行为。相反，所述特征和行为被描述为运 样的技术的示例实现方式。
[0088] 除非另外说明，否则，在上文中所描述的所有的方法和过程都可W由由一个或多 个通用计算机或处理器执行的软件代码模块整体地或部分地实施。所述代码模块可W被存 储在任何类型的计算机可读存储介质或其它计算机存储设备中。所述方法中的一些或全部 可W可替代地由专用计算机硬件(例如，FPGA、ASIC等)整体地或部分地实现。
[0089] 除非另外具体说明，否则诸如"可、"能够"、"可能会"、或"可能"之类的条件性 语言用于指示某些实施例包括而其它实施例不包括所记录的特征、元素、和/或步骤。因此， 除非另外说明，否则运样的条件语言不旨在暗示特征、元素、和/或步骤W任何方式是一个 或多个实施例所必须的，或者一个或多个实施例必须包括用于在有或没有用户输入或提示 的情况下判定运些特征、元素和/或步骤是否被包括或将在任何特定的实施例中被执行的 逻辑。
[0090] 除非另外具体说明，否则诸如短语气、￥、或Z中的至少一个"之类的连接性语言将 被理解为呈现项目、术语等，可W是X、或Y、或Z中的任何一个或其组合。
[0091] 可W对在上文中所描述的实施例做出各种变形和修改，其元素将被理解为在其它 可接受的示例之中。在本文中所有运样的修改和变形旨在被包括在本公开的范围内。
【主权项】
1. 一种方法，包括： 由客户端设备引起应用的执行； 由所述客户端设备本地地收集与所述应用相关联的信息； 至少部分地基于由所述客户端设备本地地收集的所述信息，对能够由所述应用访问的 机器学习模型的特征输出进行标准化;以及 选择所述机器学习模型的子集以载入到存储器中，其中，所述选择是至少部分地基于 由所述客户端设备本地地收集的所述信息的，并且其中，所述机器学习模型的子集包括少 于全部的所述机器学习模型。2. 根据权利要求1所述的方法，其中，对所述机器学习模型的所述特征输出进行标准化 还包括： 将所述特征输出的分类边界与另一个客户端设备中的机器学习模型的另一个特征输 出的分类边界对齐。3. 根据权利要求1所述的方法，其中，对所述机器学习模型的所述特征输出进行标准化 生成标准化的输出，并且还包括： 从所述客户端设备外部接收去标识的数据；以及 将所述标准化的输出与所述去标识的数据聚合在一起。4. 根据权利要求1所述的方法，其中，所述机器学习模型的所述特征输出是响应于经过 至少预先确定的时间所述客户端设备的用户的行为模式的。5. -种系统，包括： 一个或多个处理器；以及 存储指令的存储器，其中，当所述指令由所述一个或多个处理器执行时，配置所述一个 或多个处理器执行以下操作，包括： 执行应用； 由所述系统本地地收集与所述应用相关联的信息； 至少部分地基于由所述系统本地地收集的所述信息来调整能够由所述应用访问的机 器学习模型的分类阈值；以及 选择所述机器学习模型的子集以载入到存储器中，其中，所述选择是至少部分地基于 由所述系统本地地收集的所述信息的，并且其中，所述机器学习模型的子集包括少于全部 的所述机器学习模型。6. 根据权利要求5所述的系统，所述操作还包括： 至少部分地基于由所述系统本地地收集的所述信息来对所述机器学习模型的特征输 出进行标准化。7. 根据权利要求5所述的系统，其中，收集信息包括以下中的一个或多个:捕获所述系 统的用户的图像、捕获所述系统的所述用户的语音采样、或者从所述系统的所述用户接收 搜索查询。8. 存储计算机可执行指令的客户端设备的计算机可读存储介质，其中，当所述计算机 可执行指令由所述客户端设备的一个或多个处理器执行时，配置所述一个或多个处理器执 行以下操作，包括： 执行应用； 由所述客户端设备本地地收集与所述应用相关联的信息；以及 选择机器学习模型的子集以载入到存储器中，其中，所述选择是至少部分地基于由所 述客户端设备本地地收集的所述信息的，并且其中，所述机器学习模型的子集包括少于全 部的所述机器学习模型。9. 根据权利要求8所述的计算机可读存储介质，其中，载入所述机器学习模型的子集还 包括将所述机器学习模型的子集载入到随机存取存储器(RAM)中，并且还包括响应于除了 所述机器学习模型的子集的所述机器学习模型的部分与在所述应用的执行期间所接收到 的输入相关，而将所述机器学习模型的所述部分载入到所述RAM中。10. 根据权利要求9所述的计算机可读存储介质，所述操作还包括： 对所述机器学习模型的各种部分进行优先性排序，以确定所述机器学习模型的各种部 分被载入到所述RAM中的顺序，其中，所述优先性排序是至少部分地基于所述应用的类型、 或者所述客户端设备的使用历史或使用模式的。
【文档编号】G06N99/00GK106068520SQ201480067987
【公开日】2016年11月2日
【申请日】2014年12月3日 公开号201480067987.7, CN 106068520 A, CN 106068520A, CN 201480067987, CN-A-106068520, CN106068520 A, CN106068520A, CN201480067987, CN201480067987.7, PCT/2014/68250, PCT/US/14/068250, PCT/US/14/68250, PCT/US/2014/068250, PCT/US/2014/68250, PCT/US14/068250, PCT/US14/68250, PCT/US14068250, PCT/US1468250, PCT/US2014/068250, PCT/US2014/68250, PCT/US2014068250, PCT/US201468250
【发明人】缪旭
【申请人】微软技术许可有限责任公司