技能评估测试校准的制作方法

1.本主题的实施例总体上涉及技能评估，并且更具体地涉及技能评估测试校准。


背景技术：

2.一些在线服务提供与职业生涯相关的服务。例如，在线服务可以提供用于招聘启事(job listing)的与就业相关的平台。这种类型的服务允许求职者搜索可用的招聘启事，并申请感兴趣的职位。类似地，招聘者可以使用该服务来查看用户简档，以标识具有针对开放职位的必备技能的用户。例如，用户的简档可以列出用户的职业历史、教育历史、技能集合等。招聘者通常想要验证候选者的技能。
附图说明
3.在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述类似的组件。具有不同字母后缀的相同的附图标记可以表示类似的组件的不同实例。在附图的图中，通过示例而非限制的方式示出了一些实施例，其中：
4.图1示出了根据一些示例实施例的用于技能评估测试校准的示例系统。
5.图2是根据一些示例实施例的评估测试校准系统的框图。
6.图3a和图3b是示出根据一些示例实施例的评估测试校准系统的功能的框图。
7.图4是示出根据某些示例实施例的技能评估测试校准的示例方法的流程图。
8.图5是示出根据某些示例实施例的重新校准技能评估测试的示例方法的流程图。
9.图6是示出可以与本文所描述的各种硬件架构结合使用的代表性软件架构的框图。
10.图7是示出根据一些示例实施例的机器的组件的框图，该机器能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的方法中的任何一种或多种。
具体实施方式
11.在以下描述中，出于解释的目的，阐述了各种细节以便提供对一些示例实施例的透彻理解。然而，对于本领域的技术人员将显而易见的是，可以在没有这些具体细节的情况下或在进行了微小的变更的情况下实践本主题。
12.在说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本主题的至少一个实施例中。因此，在整个说明书中的各种位置出现的短语“在一个实施例中”或“在实施例中”的出现不一定全部指代同一实施例。
13.出于解释的目的，阐述了特定的配置和细节以便提供对本主题的透彻理解。然而，对于本领域的普通技术人员将显而易见的是，可以在没有本文所呈现的具体细节的情况下或在如本文所描述的各种组合中实践所描述的主题的实施例。此外，可以省略或简化公知的特征，以免模糊所描述的实施例。在整个说明书中可以给出各种示例。这些示例仅是特定实施例的描述。权利要求书的范围或含义不限于所给出的示例。
14.公开了用于技能评估测试校准的系统、方法和非暂时性计算机可读介质。一些在线服务实行技能评估测试以验证求职者足够精通技能。例如，用户可以选择进行技能评估测试，以向潜在的雇主提供用户精通技能的验证。可以更新用户的简档，以指示用户已经成功通过技能评估测试。为了确保技能评估测试准确地验证用户是否足够精通技能，对技能评估测试进行校准以包括不同难度水平的问题。当前，测试校准的过程是由人类审阅者手动执行的。审阅者评价问题并确定问题的难度水平，然后将这些问题用于制定技能评估测试。该过程的缺陷在于使用人类审阅者是慢且昂贵的，并且可能提供基于较少数量的审阅者的意见的不准确的结果。为了减轻这些问题，评估测试校准系统利用就业服务平台来使测试校准过程自动化。
15.就业服务平台是一种在线服务，其允许用户提供表示其职业身份的数据。例如，就业服务平台可以是职业交流(networking)服务(例如，linkedin)，其促进其成员之间的职业交流。例如，成员可以创建描述其职业身份的用户简档(例如，教育和工作历史、熟练技能等)、查看其他成员的用户简档和/或与其他成员联系(例如，发送消息、建立简档连接等)。就业服务平台还可以是例如通过允许雇主发布开放招聘启事并且使求职者能够搜索和/或申请所列出的招聘启事来促进雇主与求职者之间的雇用过程的平台。求职者可以创建简档，该简档包括其简历或描述其职业身份的其他数据。招聘者可以搜索和查看用户简档，以标识针对开放职位的合格候选者。
16.评估测试校准系统利用就业服务平台来确定测试问题的难度分数。难度分数指示测试问题的难度的估计水平。针对测试问题确定出的难度分数用于针对特定技能校准技能评估测试。例如，难度分数用于针对技能评估测试选择测试问题集合，以提供期望的难度水平。作为另一示例，难度分数可以用于实行自适应测试，其中基于在测试期间应试者的表现来选择呈现给应试者的测试问题，例如，当应试者正确地回答了先前问题时选择具有较高难度分数的测试问题，或者当应试者不正确地回答了先前问题时选择具有较低难度分数的测试问题。
17.为了确定测试问题的难度分数，评估测试校准系统标识就业服务平台的有资格回答测试问题的用户。例如，评估测试校准系统可以使用用户的简档数据来标识用户，这些用户已经将自己标识为拥有测试问题所测试的技能和/或具有指示用户拥有测试问题所测试的技能的就业和/或教育历史。
18.评估测试校准系统将测试问题呈现给所标识的用户以收集答案，然后可以将这些答案用于确定该测试问题的难度分数。可以将测试问题呈现给被标识为有资格回答测试问题的用户的子集。例如，评估测试校准系统可以将测试问题呈现给被确定为提供足够数据以计算难度分数的有限数量的用户。在一些实施例中，评估测试校准系统可以基于历史响应率来确定数量或用户，以在期望的时间帧内实现所需的答案的数量。
19.可以在贝他(beta)技能评估测试内或在已经被校准的实时技能评估测试内呈现测试问题。贝他技能评估测试可以是包括尚未被校准的多个测试问题的评估测试，并且以确定测试问题的难度值而不是确定用户是否足够精通某种技能为主要目的对用户实行该评估测试。
20.相反，实时技能评估测试是已经被校准的评估测试，并且以确定用户是否足够精通某种技能为主要目的实行该评估测试。在这种类型的实施例中，尚未指派难度分数的新
的测试问题可以连同已经指派难度分数的其他测试问题一起被包括在实时技能评估测试中作为测试问题。新的测试问题可以出于实验目的呈现在实时技能评估测试中，以收集用于确定测试问题的难度值的数据，并因此可能对用户通过还是未通过实时技能评估测试没有影响。
21.在任一种情况下，评估测试校准系统收集由用户针对测试问题提供的答案，并使用答案来确定测试问题的难度分数。评估测试校准系统可以基于用户提供的答案以及其他数据(例如，测试问题本身和/或提供答案的用户的用户简档中包括的简档数据)来确定难度分数。例如，评估测试校准系统可以将数据用作对模型(例如，rasch模型)的输入，该模型生成指示测试问题将被正确回答的可能性的概率值。评估测试校准系统然后可以使用所得到的概率值来针对测试问题指派难度分数。
22.在已经针对测试问题确定了难度分数并且在实时技能评估测试内使用了测试问题之后，评估测试校准系统可以连续地监视实时技能评估测试并根据需要对其进行重新校准。例如，评估测试校准系统可以在实时评估期间使用由应试者提供的答案来重新计算指派给测试问题的难度分数。评估测试校准系统还可以监视与实时技能评估测试相关联的通过率，以确保通过率不超过预定阈值率。在实时技能评估测试的通过率确实超过了预定的阈值率的情况下，评估测试校准系统可以停止实行评估测试，直到已经适当地重新校准评估测试为止。
23.利用就业服务平台来确定测试问题的难度分数提供了对现有系统的若干技术改进。例如，大大增加了校准评估测试的速度，由此改进了计算设备的感知速度。此外，由计算设备生成的数据的质量与现有系统相比有所改进，因为当提供答案的用户是目标受众并且用户可以在假设测试问题是实时技能评估测试的一部分的情况下回答测试问题时，较大的数据集用于校准评估测试，并且该数据更准确地表示测试问题的难度。
24.图1示出了根据一些示例实施例的用于技能评估测试校准的示例系统100。如所示的，多个设备(即，客户端设备102、客户端设备104、就业服务平台106和评估测试校准系统108)连接到通信网络110，并且被配置为通过使用通信网络110彼此通信。通信网络110是任何类型的网络，包括局域网(lan)(例如，内联网)、广域网(wan)(例如，互联网)或其任何组合。此外，通信网络110可以是公共网络、专用网络或其组合。使用与一个或多个服务提供商相关联的任何数量的通信链路(包括一个或多个有线通信链路、一个或多个无线通信链路或其任何组合)来实现通信网络110。另外地，通信网络110被配置为支持使用任何数量的协议格式化的数据的传输。
25.多个计算设备可以连接到通信网络110。计算设备是能够与其他计算设备进行网络通信的任何类型的通用计算设备。例如，计算设备可以是个人计算设备(例如，台式机或工作站、商业服务器)，或者便携式计算设备(例如，膝上型计算机、智能电话或平板个人计算机(pc))。计算设备可以包括图7中示出的机器700的特征、组件和外围设备中的一些或全部。
26.为了促进与其他计算设备的通信，计算设备包括通信接口，该通信接口被配置为从与计算设备进行网络通信的另一计算设备接收通信(例如，请求、数据等)，并将该通信传递到在计算设备上运行的适当组件。通信接口还向与计算设备进行网络通信的另一计算设备发送通信。
27.在系统100中，用户与就业服务平台106进行交互以利用由就业服务平台106提供的服务。用户通过使用客户端设备102和104来与就业服务平台106通信并利用该就业服务平台106的功能，客户端设备102和104通过直接和/或间接通信连接到通信网络110。
28.尽管所示的系统100仅包括两个客户端设备102、104，但这仅是为了易于解释，并且不意味着是限制性的。本领域技术人员将认识到的是，系统100可以包括任何数量的客户端设备102、104。此外，就业服务平台106可以同时接受来自任何数量的客户端设备102、104的连接并与其进行交互。就业服务平台106支持来自各种不同类型的客户端设备102、104(例如，台式计算机；移动计算机；移动通信设备(例如，移动电话、智能电话、平板计算机)；智能电视；机顶盒；和/或任何其他支持网络的计算设备)的连接。因此，客户端设备102和104可以具有变化的类型、能力、操作系统等。
29.用户经由安装在客户端设备102和104上的客户端侧应用与就业服务平台106进行交互。在一些实施例中，客户端侧应用包括特定于就业服务平台106的组件。例如，组件可以是独立应用、一个或多个应用插件和/或浏览器扩展。然而，用户还可以经由驻留在客户端设备102和104上并且被配置为与就业服务平台106通信的第三方应用(例如，web浏览器)与就业服务平台106进行交互。在任一情况下，客户端侧应用向用户呈现用于用户与就业服务平台106进行交互的用户接口(ui)。例如，用户经由与文件系统集成的客户端侧应用或经由使用web浏览器应用显示的网页来与就业服务平台106进行交互。
30.就业服务平台106是被配置为提供在线的就业相关服务的一个或多个计算设备。例如，就业服务平台106可以是用于商务专业人员(例如，linkedin)的职业社交网络服务，其促进其成员之间的职业交流。作为另一示例，就业服务平台106可以是例如通过允许雇主发布开放招聘启事并且使求职者能够搜索和/或申请所列出的招聘启事来促进雇主与求职者之间的雇用过程的平台。
31.在任何情况下，就业服务平台106允许用户提供表示其职业身份的数据。例如，就业服务平台106允许用户创建用户简档，该用户建档包括诸如他们的教育和工作历史、目标、个人描述、熟练技能、成就、兴趣等之类的数据。就业服务平台106的其他用户可以访问该数据。例如，其他用户可以查看其他成员的用户简档和/或与其他成员连接(例如，发送消息、建立简档连接等)。作为另一示例，诸如招聘者之类的用户可以搜索和查看用户简档，以标识针对开放职位的合格候选者。
32.作为就业服务平台106提供的服务的一部分，就业服务平台106可以实行技能评估测试以提供对用户足够精通某种技能的验证。技能评估测试是包括测试问题集合的测试，其旨在确定用户在特定技能上的水平或精通度。例如，针对诸如计算机联网之类的技能的技能评估测试可以包括与计算机联网相关的测试问题集合。在技能评估测试中成功得分高于指定阈值(例如，正确回答指定数量的测试问题)的用户将被验证为对所测试的技能具有足够的精通度。就业服务平台106可以在用户简档上提供视觉指示符，该视觉指示符指示用户对技能的精通度水平已经被测试和/或验证。
33.对技能评估测试进行校准，以确保通过测试的用户对所测试的技能至少拥有阈值水平的精通度。例如，对技能评估测试进行校准，以包括足够难度水平的测试问题，来确保通过技能评估测试的用户对所测试的技能拥有阈值水平的精通度，并且对所测试的技能不拥有阈值水平的精通度的用户不太可能通过技能评估测试。因此，指示测试问题的难度水
平的难度分数用于校准技能评估测试。例如，难度分数用于针对技能评估测试选择测试问题集合，以提供期望的难度水平。作为另一示例，难度分数可以用于实行自适应测试，其中基于在测试期间应试者的表现来选择呈现给应试者的测试问题，例如，当应试者正确地回答了先前问题时选择具有较高难度分数的测试问题，或者当应试者不正确地回答了先前问题时选择具有较低难度分数的测试问题。
34.就业服务平台106使用评估测试校准系统108的功能来校准评估测试。尽管在图1中将就业服务平台106和评估测试校准系统108示为分离的，但是这仅仅是一个可能的实施例，并且不意味着是限制性的。评估测试校准系统108的功能可以部分或全部集成在就业服务平台106内。
35.评估测试校准系统108利用就业服务平台106来确定测试问题的难度分数。难度分数指示测试问题的难度的估计水平，并且用于针对特定技能校准技能评估测试。
36.为了确定测试问题的难度分数，评估测试校准系统108标识就业服务平台106的有资格回答测试问题的用户。例如，评估测试校准系统108可以使用用户的简档数据来标识用户，这些用户已经将自己标识为拥有测试问题所测试的技能和/或具有指示用户拥有测试问题所测试的技能的就业和/或教育历史。
37.评估测试校准系统108将测试问题呈现给所标识的用户以收集答案，然后可以将这些答案用于确定该测试问题的难度分数。可以将测试问题呈现给被标识为有资格回答测试问题的用户的子集。例如，评估测试校准系统108可以将测试问题呈现给被确定为提供足够数据以计算难度分数的有限数量的用户。在一些实施例中，评估测试校准系统108可以基于历史响应率来确定数量或用户，以在期望的时间帧内实现所需的答案的数量。
38.可以在贝他技能评估测试内或在已经被校准的实时技能评估测试内呈现测试问题。贝他技能评估测试可以是包括尚未被校准的多个测试问题的评估测试，并且以确定测试问题的难度值而不是确定用户是否足够精通某种技能为主要目的对用户实行该评估测试。
39.相反，实时技能评估测试是已经被校准的评估测试，并且以确定用户是否足够精通某种技能为主要目的实行该评估测试。在这种类型的实施例中，尚未指派难度分数的新的测试问题可以连同已经指派难度分数的其他测试问题一起被包括在实时技能评估测试中作为测试问题。新的测试问题可以出于实验目的呈现在实时技能评估测试中，以收集用于确定测试问题的难度值的数据，并因此可能对用户通过还是未通过实时技能评估测试没有影响。
40.在任一种情况下，评估测试校准系统108收集由用户针对测试问题提供的答案，并使用答案来确定测试问题的难度分数。评估测试校准系统108可以基于用户提供的答案以及其他数据(例如，测试问题本身和/或提供答案的用户的用户简档中包括的简档数据)来确定难度分数。例如，评估测试校准系统108可以将数据用作对模型(例如，rasch模型)的输入，该模型生成指示测试问题将被正确回答的可能性的概率值。评估测试校准系统108然后可以使用所得到的概率值来针对测试问题指派难度分数。
41.在已经针对测试问题确定了难度分数之后，可以在实时技能评估测试内使用测试问题，评估测试校准系统108可以连续地监视实时技能评估测试并根据需要对其进行重新校准。例如，评估测试校准系统108可以在实时评估期间使用由应试者提供的答案来重新计
算指派给测试问题的难度分数。评估测试校准系统108还可以监视与实时技能评估测试相关联的通过率，以确保通过率不超过预定阈值率。在实时技能评估测试的通过率确实超过了预定的阈值率的情况下，可以停止实行实时技能评估测试，直到评估测试校准系统108已经适当地重新校准实时技能评估测试为止。
42.图2是根据一些示例实施例的评估测试校准系统108的框图。为了避免以不必要的细节模糊发明主题，已经从图2中省略了与传达对发明主题的理解没有密切关系的各种功能组件(例如，软件组件)。然而，技术人员将容易地认识到，评估测试校准系统108可以支持各种附加的功能组件，以促进本文未具体描述的附加功能。此外，图2中描绘的各种功能组件可以驻留在单个计算设备上，或者可以以诸如基于云的架构中使用的那些布置之类的各种布置跨若干计算设备分布。
43.如所示的，评估测试校准系统108包括测试问题录入组件202、合格用户标识组件204、过渡(ramping)组件206、测试问题实行组件208、反馈接收组件210、难度分数确定组件212、评估测试校准组件214、实时技能评估测试监视组件216和数据存储装置218。
44.测试问题录入组件202录入要被校准的测试问题。可以从创建测试问题的内容创建者接收测试问题。例如，内容创建者可以是编写与一个或多个技能或主题相关的测试问题的人类用户。测试问题录入组件202可以从内容创建者的客户端设备102接收测试问题。例如，内容创建者可以使用其客户端设备102与评估测试校准系统108进行通信以提交测试问题。
45.可替代地，在一些实施例中，测试问题录入组件202可以从内容管理系统(未示出)访问由内容创建者创建的测试问题。在这种类型的实施例中，内容创建者将他们创建的测试问题提交到内容管理系统，并且测试问题录入组件202从内容管理系统接收测试问题。例如，内容管理系统可以将测试问题发送到评估测试校准系统108，然后由测试问题录入组件202接收该测试问题。作为另一示例，测试问题录入组件202可以将针对测试问题的请求发送到内容管理系统，该内容管理系统可以作为响应返回测试问题。
46.每个测试问题可以包括测试问题的主体，以及问题的正确答案或可接受答案的集合，主体包括意图将问题传达给应试者的任何文本、图像或其他媒体。测试问题还可以包括可能答案的集合，其包括一个或多个正确答案和一个或多个不正确答案，例如，常见为对/错或多项选择问题。例如，还向对其呈现问题的应试者呈现可能答案的集合，应试者可以从中选择可能答案中的一个或多个来提供对测试问题的答案。
47.测试问题还可以包括标识正在由测试问题测试的一个或多个主题的数据。例如，测试问题可以包括一个或多个标签标识符，每个标签标识符标识正在由测试问题测试的主题。测试问题还可以包括标识技能评估测试的数据。例如，测试问题可以包括被指派给其中包括测试问题的技能评估测试的唯一的测试标识符。这可以包括正在由评估测试校准系统108实行的实时技能评估测试或在被校准的过程中的贝他技能评估测试。
48.测试问题录入组件202将接收到的测试问题存储在评估测试存储装置222中。此外，测试问题录入组件202可以根据需要将测试问题与任何其他数据和/或测试问题进行关联。例如，测试问题录入组件202可以基于与测试问题一起接收到的数据将测试问题与技能和/或技能评估测试进行关联。
49.合格用户标识组件204标识就业服务平台106的合格用户，可以出于确定难度分数
的目的向这些合格用户实行测试问题。可以在实时技能评估测试内实行测试问题，或者作为贝他技能评估测试的一部分实行测试问题。
50.合格用户标识组件204可以使用就业服务平台106的用户的简档数据来标识拥有指定的技能简档的用户，该指定的技能简档使用户有资格回答测试问题。可以基于一个或多个因素(例如，用户所拥有的技能、工作历史、教育历史等)来定义指定的技能简档。例如，指定的技能简档可以被简单地定义为用户已经指示他们拥有正在由测试问题和/或其中包括测试问题的技能评估测试测试的技能。作为另一示例，指定的技能简档可以被定义为用户已经指示他们具有指定的技能并且在相关领域中具有阈值量的工作经验。作为另一示例，指定的技能简档可以被定义为用户已经指示他们具有指定的技能并且已经获得指定的学位和/或具有指定职称(job title)的工作。
51.合格用户标识组件204通过访问就业服务平台106的用户简档数据来标识合格用户。用户简档数据包括在就业服务平台106的用户的用户简档中包括的数据，例如，教育历史数据(例如，就读学校、所获得的学位等)、就业历史数据(例如，当前和/或先前担任的工作、工作年限、职称等)、所拥有的技能等。合格用户标识组件204可以访问来自用户简档存储装置218的用户简档数据。尽管用户简档存储装置218被示为评估测试校准系统108的一部分，但这仅是一个示例，并且不意味着是限制性的。用户档案存储装置218可以部分或完全地由就业服务平台106维护，就像评估测试校准系统108可以完全或部分地并入作为就业服务平台106的一部分一样。
52.合格用户标识组件204基于针对测试问题的指定的技能简档搜索简档数据，以标识就业服务平台106的可以出于确定难度分数的目的向其实行测试问题的合格用户的子集。合格用户不一定是能够正确回答测试问题的用户，而是具有与技能相关的背景和/或技能集合的用户，使得由用户针对测试问题提供的答案将提供对评价测试问题的难度水平有意义的数据。例如，不具有与所测试的技能相关的背景的用户将提供仅仅是猜测的答案，这对评价测试问题的难度水平没有意义。
53.过渡组件206确定要向其呈现测试问题的合格用户的数量，以允许在目标时间帧内针对测试问题确定难度分数。为了适当地确定测试问题的难度水平，可以收集对测试问题的阈值数量的答案。即，应该从阈值数量的合格用户接收答案，以适当地确定测试问题的难度分数。收集足够数量的答案这一目的应与限制在确定难度分数之前向其呈现测试问题的合格用户的数量的目的相平衡。这是因为测试问题将用于评估用户是否拥有所测试的技能，并因此在出于该目的实行测试问题时，测试问题应优选地对于应试者是未知的。
54.过渡组件206通过选择要向其呈现测试问题以在目标时间帧内提供足够数量的答案的合格用户的数量，同时还限制向其呈现测试问题的用户的数量来平衡这些目的。目标时间帧定义了要在其中针对测试问题确定难度分数的期望时间段，例如，在24小时之内、2天之内等。
55.过渡组件206基于响应的目标数量和历史响应率来选择合格用户的数量，该历史响应率指示当被提示回答问题时将在指定时间段内提供响应的用户的百分比。响应的目标数量是期望确定测试问题的难度分数的响应的预定数量。例如，实行者可以基于个人经验或关于确定可靠的难度分数的答案的数量的知识来选择响应的目标数量。过渡组件206使用历史响应率来确定应向其呈现测试问题以使得接收目标数量的响应(例如，答案)的用户
的数量，使得可以在目标时间帧内成功地确定难度分数。例如，给定目标数量为200和历史响应率为50％，过渡组件206将确定应将测试问题呈现给400个用户(例如，400
×
50％＝200)。
56.过渡组件206可以选择用户的数量以使接收到的超过响应的目标数量的响应的数量最小化。例如，过渡组件206可以选择用户的数量，以导致恰好为目标响应的数量或者在期望的阈值量之内高于或低于响应的目标数量。例如，在给出目标数量为200个答案和历史响应率为50％的上述示例的情况下，过渡组件206可以基于目标数量(例如，200)、高于目标数量的数量(例如，205)或低于目标数量的数量(例如，195)来确定用户的数量。过渡组件206可以监视接收到的响应的数量，并确定应该增加或减少用户的数量。例如，过渡组件206可以选择在初始阶段期间接收测试问题的用户的数量，并基于初始阶段期间接收到的响应的数量来确定在后续阶段期间接收测试问题的用户的数量。
57.测试实行组件208管理向就业服务平台106的用户实行技能评估测试。例如，测试实行组件208使测试接口呈现在用户的客户端设备102上。测试接口向用户呈现测试问题，并允许用户(例如，通过键入答案和/或从所呈现的可能答案中进行选择)提供针对所呈现的问题的答案。
58.测试实行组件208可以访问来自评估测试存储装置222的技能评估测试。每个自适应技能测试可以与唯一的测试标识符相关联，测试实行组件208使用该唯一的测试标识符来标识期望的技能评估测试。所存储的技能评估测试可以包括测试问题集合以及描述如何实行技能评估测试的测试配置数据。例如，测试配置数据可以指示被分配用于进行技能评估测试和/或回答单个测试问题的时间量、如何呈现测试问题、如何对技能评估测试进行评分等。
59.测试实行组件208可以实行静态和/或自适应技能评估测试。静态技能评估测试具有定义的测试问题集合，每个测试问题以预定次序呈现给应试者。相反，自适应技能评估测试是一种基于应试者的表现来选择呈现给应试者的测试问题的测试。例如，可以向已经正确地回答了测试问题或测试问题集合的应试者呈现比先前呈现的测试问题更难的后续测试问题。类似地，可以向已经不正确地回答了测试问题或测试问题集合的应试者呈现与先前呈现的测试问题相比不那么难的后续测试问题。为了实行自适应技能评估测试，测试实行组件208使用被指派给测试问题的难度分数来选择要呈现给用户的后续测试问题。
60.测试实行组件208实行实时技能评估测试和贝他技能评估测试两者。实时技能评估测试是已经被校准的评估测试(例如，包括具有确定的难度分数的测试问题)，并且以确定用户是否足够精通某种技能为主要目的实行该评估测试。贝他技能评估测试包括尚未被校准的多个测试问题，并且以确定测试问题的难度值而不是确定用户是否足够精通某种技能为主要目的对用户实行该评估测试。
61.测试实行组件208可以向用户呈现尚未针对其确定难度分数的测试问题，作为实时技能评估测试或贝他技能评估测试的一部分。例如，出于校准技能评估测试的目的，可以提示合格用户参加贝他技能评估测试。在这种类型的实施例中，可以向用户提供同意参与贝他技能评估测试的奖励或某种其他形式的补偿。可替代地，可以在实时技能评估测试内实行尚未针对其确定难度分数的测试问题以及已经指派了难度分数的其他测试问题。测试问题可以出于实验目的呈现在实时技能评估测试中，以收集用于确定测试问题的难度值的
数据，并因此可能对用户通过还是未通过实时技能评估测试没有影响。
62.反馈接收组件210接收由向合格用户呈现测试问题而产生的反馈数据。反馈数据包括由用户针对测试问题提交的答案。反馈接收组件210可以将反馈数据存储在反馈数据存储装置220中。反馈数据可以包括由用户针对所呈现的测试问题提供的答案，例如，键入的答案和/或对呈现给用户的可能答案的选择。反馈数据还可以包括标识正在对其实行技能评估测试的用户的数据，例如，唯一的设备、帐户或用户标识符。反馈数据还可以包括标识针对其提供答案的特定测试问题以及在其中呈现测试的技能评估测试的数据，例如，唯一的测试问题和/或技能评估标识符。
63.难度分数确定组件212基于存储在反馈数据存储装置220中的反馈数据和存储在用户简档数据存储装置218中的用户简档数据来确定测试问题的难度分数。例如，难度分数确定组件212使用由用户针对测试问题提供的答案以及与提供答案的用户相关联的用户简档数据作为对数学模型的输入，该数学模型输出指示测试问题将被正确回答的估计的可能性的概率值。难度分数确定组件212然后使用概率值来确定测试问题的难度分数。使用用户的用户简档数据来确定难度分数允许在确定测试问题的难度时考虑用户的经验水平或其他特征。例如，有经验的用户正确回答的测试问题仍然可能被视为困难的测试问题。
64.数学模型可以是可以被训练以基于给定输入来输出概率值的任何类型的合适的数学模型。例如，数学模型可以是心理测量模型，例如，rasch模型、线性回归模型、逻辑回归模型等。基于历史测试数据来训练数学模型，该历史测试数据描述了向就业服务平台106的用户实行的先前测试问题，包括由就业服务平台106的用户针对先前实行的测试问题提供的答案(例如，正确地还是不正确地回答了测试问题)以及就业服务平台106的提供答案的用户的用户简档数据。用户简档数据和答案用于训练数学模型。
65.在一些实施例中，用户简档数据可以用于生成表示用户的嵌入向量。例如，嵌入向量可以包括根据所选择的特征集合来表示用户的值。该特征集合例如通过指示用户的经验水平来表示被认为与确定测试问题的难度相关的用户的方面。例如，特征集合可以包括表示用户的经验年限、用户的教育程度、用户的职称、所标识的技能等的特征。为了生成用户的嵌入向量，分析用户的简档数据以确定每个特征的值。例如，可以分析用户的简档数据来确定用户具有的经验年限，然后将其用于确定嵌入向量中表示该特征的值。所得到的嵌入向量是表示用户的每个特征的值的集合。
66.经训练的数学模型输出指示在给定指定输入的情况下测试问题将被正确回答的可能性的概率值。例如，经训练的数学模型可以接收针对测试问题的答案以及表示提供答案的用户的嵌入向量作为输入，并输出概率值。难度分数确定组件212可以通过基于提供了答案集合的用户的用户简档生成嵌入向量，并使用该嵌入向量和答案集合作为对经训练的数学模型的输入，来确定测试问题的难度分数。
67.难度分数确定组件212可以以各种方式中的任一种基于概率值来确定难度分数。如先前所解释的，概率值指示测试问题将被正确回答的可能性。在一些实施例中，难度分数可以简单地与概率值相同。可替代地，难度分数确定组件212可以通过基于概率值应用数学函数来确定难度值。例如，数学函数可以是将概率值乘以100，等等。难度分数确定组件212可以将针对测试问题确定出的难度值存储在评估测试存储装置222中。
68.测试校准组件214使用针对测试问题确定出的难度分数来校准技能评估测试。这
可以包括生成新的技能评估测试或重新校准现有的技能评估测试。例如，测试校准组件214选择测试问题集合以将其包括在技能评估测试中，来维持通过率低于期望的阈值通过率。这可以确保只有在技能方面至少具有一定水平的精通度的用户才能够成功通过技能评估测试。测试校准组件214使用指派给测试问题的难度分数来选择用于技能评估测试的测试问题。如先前所解释的，难度分数基于测试问题将被正确回答的概率。测试校准组件214可以使用这些确定出的概率来利用测试问题制定技能评估测试，这些测试问题提供通过的整体可能性处于期望的阈值通过率或低于期望的阈值通过率。测试校准组件214可以将新的技能评估测试存储在评估测试存储装置222中，以及例如在重新校准技能评估测试时修改与现有技能评估测试相关的数据。
69.测试监视组件216监视对用户实行的实时技能评估测试的性能，以确保适当地校准技能评估测试并按期望执行。例如，测试监视组件216可以周期性地确定技能评估测试的整体通过率，并且确定通过率是否超过技能评估测试的期望的阈值通过率。在技能评估测试的通过率确实超过期望的阈值通过率的情况下，测试监视组件216可以暂停实行技能评估测试，在此期间不对用户实行技能评估测试。例如，测试监视组件216可以更新评估测试存储装置222以指示不应实行技能评估测试。
70.在暂停期间，可以重新校准技能评估测试。例如，测试监视组件216可以与评估测试校准系统108的另一组件通信，以使得技能评估测试被重新校准和/或使得所包括的测试问题的难度分数被更新。在技能评估测试已经被重新校准之后，评估测试存储装置222可以被更新以指示技能评估测试可以作为实时技能评估测试对用户实行。
71.图3a和图3b是示出根据一些示例实施例的评估测试校准系统108的功能的框图。为了避免以不必要的细节模糊发明主题，已经从图3a和图3b中省略了与传达对发明主题的理解没有密切关系的各种功能组件(例如，软件组件)。然而，技术人员将容易地认识到，评估测试校准系统108可以支持各种附加的功能组件，以促进本文未具体描述的附加功能。此外，图3a和图3b中描绘的各种功能组件可以驻留在单个计算设备上，或者可以以诸如基于云的架构中使用的那些布置之类的各种布置跨若干计算设备分布。
72.图3a示出了评估测试校准系统108，其出于收集反馈数据的目的向用户提供测试问题。如所示的，测试问题录入组件202录入测试问题。测试问题可以是尚未针对其确定难度分数的新的测试问题。例如，可以从内容创建者和/或从内容管理系统接收测试问题。测试问题可以包括标识与测试问题相关联的技能和/或技能评估测试的数据。测试问题录入组件202可以将接收到的测试问题和相关联的数据存储在评估测试存储装置222中。
73.测试问题录入组件202还可以与合格用户标识组件204通信，以使合格用户标识组件204标识测试问题的用户集合。合格用户标识组件204可以使用就业服务平台106的用户的简档数据来标识拥有使用户有资格能够回答测试问题的指定技能简档的用户。合格用户标识组件204通过访问来自用户简档存储装置218的用户简档数据来标识合格用户。合格用户标识组件204基于针对测试问题的指定的技能简档搜索简档数据，以标识就业服务平台106的可以出于确定难度分数的目的向其实行测试问题的合格用户的子集。
74.过渡组件206可以确定接收测试问题的合格用户的数量，以及选择用户。过渡组件206基于响应的目标数量和历史响应率来选择合格用户的数量，该历史响应率指示当被提示回答问题时将在指定时间段内提供响应的用户的百分比。响应的目标数量是被确定需要
用于确定测试问题的难度分数的响应的数量。过渡组件206使用历史响应率来确定应向其呈现测试问题以使得接收目标数量的响应(例如，答案)的用户的数量，使得可以在目标时间帧内成功地确定难度分数。
75.过渡组件206可以选择用户的数量以使接收到的超过响应的目标数量的响应的数量最小化。例如，过渡组件206可以选择用户的数量，以导致恰好为目标响应的数量或者在阈值量之内高于或低于响应的目标数量。过渡组件206可以与反馈数据存储装置220通信以监视针对测试问题接收到的响应的数量，并确定应该增加或减少应向其呈现测试问题的附加用户的数量。例如，过渡组件206可以选择在初始阶段期间接收测试问题的用户的数量，并基于初始阶段期间接收到的响应的数量来确定在后续阶段期间接收测试问题的用户的数量。过渡组件206可以从由合格用户标识组件204标识出的合格用户集合中随机选择要接收测试问题的用户。
76.过渡组件206与测试实行组件208通信以使测试问题呈现给所选择的用户。例如，过渡组件206可以向测试实行组件208提供标识要接收测试问题的所选择的用户的数据。测试实行组件208访问来自评估测试存储装置222的测试问题，该测试问题可以在实时技能评估测试或贝他技能评估测试内实行。实行技能评估测试使测试问题经由在客户端设备102、104的显示器上呈现的测试接口对用户实行。
77.图3b示出了基于接收到的反馈数据来校准技能评估测试的评估测试校准系统108。如所示的，反馈接收组件210从客户端设备102、104接收反馈数据。反馈数据包括指示由用户针对测试问题提供的答案的数据。反馈接收组件210基于接收到的反馈数据来更新反馈数据存储装置220。
78.难度分数确定组件212基于存储在反馈数据存储装置220中的反馈数据和存储在用户简档数据存储装置218中的用户简档数据来确定测试问题的难度分数。例如，难度分数确定组件212使用由用户针对测试问题提供的答案以及与提供答案的用户相关联的用户简档数据作为对模型的输入，该模型输出指示测试问题将被正确回答的估计的可能性的概率值。难度分数确定组件212然后使用概率值来确定测试问题的难度分数。数学模型可以是可以被训练以基于给定输入来输出概率值的任何类型的合适的模型，例如，rasch模型、线性回归模型、逻辑回归模型等。
79.在一些实施例中，用户简档数据可以用于生成表示每个用户的嵌入向量。例如，嵌入向量可以包括基于每个用户的用户简档数据的特征集合的值。针对用户生成的嵌入向量可以用于训练数学模型，以及在确定测试问题的难度分数时用作输入。
80.难度分数确定组件212可以以各种方式中的任一种基于概率值来确定难度分数。如先前所解释的，概率值指示测试问题将被正确回答的可能性。在一些实施例中，难度分数可以简单地与概率值相同。可替代地，难度分数确定组件212可以通过基于概率值应用数学函数来确定难度值。例如，数学函数可以是将概率值乘以100，等等。难度分数确定组件212可以将针对测试问题确定出的难度值存储在评估测试存储装置222中。
81.测试校准组件214使用针对测试问题确定出的难度分数来校准技能评估测试。这可以包括选择具有足够的难度水平的测试问题集合以维持通过率低于期望的阈值通过率。这可以确保只有在技能方面至少具有一定水平的精通度的用户才能够成功通过技能评估测试。测试校准组件214可以将新的技能评估测试存储在评估测试存储装置222中，以及例
如在重新校准技能评估测试时修改与现有技能评估测试相关的数据。
82.测试监视组件216监视对用户实行的实时技能评估测试的性能，以确保适当地校准技能评估测试并按期望执行。例如，测试监视组件216可以周期性地确定技能评估测试的整体通过率，并且确定通过率是否不超过技能评估测试的期望的阈值通过率。在技能评估测试的通过率确实超过期望的阈值通过率的情况下，测试监视组件216可以暂停实行技能评估测试，在此期间不对用户实行技能评估测试。例如，测试监视组件216可以更新评估测试存储装置222以指示不应实行技能评估测试。
83.在暂停期间，可以重新校准技能评估测试。例如，测试监视组件216可以与评估测试校准系统108的另一组件通信，以使得技能评估测试被重新校准和/或使得所包括的测试问题的难度分数被更新。在技能评估测试已经被重新校准之后，评估测试存储装置222可以被更新以指示技能评估测试可以作为实时技能评估测试对用户实行。
84.图4是示出根据某些示例实施例的技能评估测试校准的示例方法400的流程图。方法400可以体现在供一个或多个处理器执行的计算机可读指令中，使得方法400的操作可以部分地或全部地由评估测试校准系统108执行；因此，通过参考示例的方式在下文描述方法400。然而，应当认识到的是，方法400的操作中的至少一些可以被部署在各种其他硬件配置上，并且方法400不旨在限于评估测试校准系统108。
85.在操作402处，测试问题实行组件208将测试问题呈现给就业服务平台的用户集合。测试问题实行组件208可以呈现测试问题作为实时技能评估测试或贝他技能评估测试的一部分。贝他技能评估测试可以是包括尚未被校准的多个测试问题的评估测试，并且以确定测试问题的难度值而不是确定用户是否足够精通某种技能为主要目的对用户实行该评估测试。
86.相反，实时技能评估测试是已经被校准的评估测试，并且以确定用户是否足够精通某种技能为主要目的实行该评估测试。尚未指派难度分数的新的测试问题可以连同已经指派难度分数的其他测试问题一起被包括在实时技能评估测试中作为测试问题。测试问题可以出于实验目的呈现在实时技能评估测试中，以收集用于确定测试问题的难度值的反馈数据，并因此可能对用户通过还是未通过实时技能评估测试没有影响。
87.测试问题实行组件208可以将测试问题呈现给由合格用户标识组件204标识出的合格用户的子集。此外，可以通过过渡组件206选择要接收测试问题的所选择的用户以满足目标时间帧内的响应的目标数量，这也使接收到的高于目标数量的响应的数量最小化。
88.在操作404处，反馈接收组件接收由用户集合针对测试问题提供的答案集合。答案可以被存储并且与标识提供答案的用户的数据相关联。
89.在操作406处，难度分数确定组件212基于答案集合和用户集合的简档数据来确定测试问题的难度分数。例如，难度分数确定组件212使用由用户提供的答案以及用户简档数据作为对模型的输入，该模型输出指示测试问题将被正确回答的估计的可能性的概率值。难度分数确定组件212然后使用概率值来确定测试问题的难度分数。数学模型可以是可以被训练以基于给定输入来输出概率值的任何类型的合适的模型，例如，rasch模型。
90.在操作408处，测试问题实行组件208基于难度分数在自适应实时技能评估测试中呈现测试问题。自适应技能评估测试是一种基于应试者的表现来选择呈现给应试者的测试问题的测试。例如，可以向已经正确地回答了测试问题或测试问题集合的应试者呈现比先
前呈现的测试问题更难的后续测试问题。类似地，可以向已经不正确地回答了测试问题或测试问题集合的应试者呈现与先前呈现的测试问题相比不那么难的后续测试问题。为了实行自适应技能评估测试，测试实行组件208使用被指派给测试问题的难度分数来选择要呈现给用户的后续测试问题。
91.图5是示出根据某些示例实施例的重新校准技能评估测试的示例方法500的流程图。方法500可以体现在供一个或多个处理器执行的计算机可读指令中，使得方法500的操作可以部分地或全部地由评估测试校准系统108执行；因此，通过参考示例的方式在下文描述方法500。然而，应当认识到的是，方法500的操作中的至少一些可以被部署在各种其他硬件配置上，并且方法500不旨在限于评估测试校准系统108。
92.在操作502处，评估测试校准组件214基于针对测试问题集合确定出的难度分数来校准技能评估测试。例如，评估测试校准组件214选择具有足够的难度水平的测试问题集合以维持通过率处于期望的阈值通过率或低于期望的阈值通过率。这可以确保只有在技能方面至少具有一定水平的精通度的用户才能够成功通过技能评估测试。
93.在操作504处，测试问题实行组件208对用户实行技能评估测试。例如，测试实行组件208使测试接口呈现在用户的客户端设备102上。测试接口向用户呈现测试问题，并允许用户(例如，通过键入答案和/或从所呈现的可能答案中进行选择)提供针对所呈现的问题的答案。
94.在操作506处，实时评估测试监视组件216确定技能评估测试的通过率大于阈值通过率。测试监视组件216可以周期性地确定技能评估测试的整体通过率，并且确定通过率是否超过技能评估测试的期望的阈值通过率。
95.在操作508处，实时评估测试监视组件216暂停实行技能评估测试。例如，测试监视组件216可以更新评估测试存储装置222以指示不应实行技能评估测试。
96.在操作510处，评估测试校准组件214重新校准技能评估测试。例如，评估测试校准组件214可以基于技能评估测试中包括的测试问题的更新后的难度分数来重新校准技能评估测试。评估测试校准组件214还可以重新校准技能评估测试，或者以降低通过率为目的而包括具有较高难度分数的测试问题。
97.在操作512处，测试问题实行组件208恢复实行技能评估测试。技能评估测试的实行基于重新校准，例如，基于更新难度分数。
98.软件架构
99.图6是示出可以与本文所描述的各种硬件架构结合使用的示例软件架构606的框图。图6是软件架构606的非限制性示例，并且将认识到的是，可以实现许多其他架构以促进本文描述的功能。软件架构606可以在诸如图7的机器700之类的硬件上执行，该机器700包括处理器704、存储器714和(输入/输出)i/o组件718以及其他组件。示出了代表性硬件层652，并且其可以表示例如图7的机器700。代表性硬件层652包括具有相关联的可执行指令604的处理单元654。可执行指令604表示软件架构606的可执行指令，包括本文所描述的方法、组件等的实现方式。硬件层652还包括也具有可执行指令604的存储器和/或存储组件656。硬件层652还可以包括其他硬件658。
100.在图6的示例架构中，软件架构606可以被概念化为层的栈，其中每层提供特定的功能。例如，软件架构606可以包括诸如操作系统602、库620、框架/中间件618、应用616和呈
现层614之类的层。可操作地，这些层内的应用616和/或其他组件可以调用通过软件栈的应用编程接口(api)调用608并接收响应，例如，响应于api调用608的消息612。所示出的层本质上是代表性的，并且不是所有软件架构都具有所有层。例如，一些移动操作系统或者专用操作系统可能不提供框架/中间件618，而其他操作系统可能提供这样的层。其他软件架构可能包括附加或不同的层。
101.操作系统602可以管理硬件资源并提供公共服务。操作系统602可以包括例如内核622、服务624和驱动器626。内核622可以用作硬件层与其他软件层之间的抽象层。例如，内核622可以负责存储器管理、处理器管理(例如，调度)、组件管理、联网、安全设置等。服务624可以为其他软件层提供其他公共服务。驱动器626负责控制底层硬件或与底层硬件接合。例如，驱动器626包括显示驱动器、相机驱动器、驱动器、闪速存储器驱动器、串行通信驱动器(例如，通用串行总线(usb)驱动器)、驱动器、音频驱动器、功率管理驱动器等，这取决于硬件配置。
102.库620提供由应用616和/或其他组件和/或层使用的公共基础结构。库620提供的功能允许其他软件组件以比与底层操作系统602功能(例如，内核622、服务624和/或驱动器626)直接接合更容易的方式执行任务。库620可以包括系统库644(例如，c标准库)，该系统库644可以提供诸如存储器分配功能、字符串操纵功能、数学功能等之类的功能。另外地，库620可以包括api库646，例如，媒体库(例如，支持呈现和操纵各种媒体格式(例如，mpeg4、h.264、mp3、aac、amr、jpg、png)的库)、图形库(例如，可以用于在显示器上以图形内容渲染2d和3d的opengl框架)、数据库库(例如，可以提供各种关系数据库功能的sqlite)、web库(例如，可以提供web浏览功能的webkit)等等。库620还可以包括各种其他库648，以向应用616和其他软件组件提供许多其他api。
103.框架/中间件618(有时也被称为中间件)提供可以由应用616和/或其他软件组件使用的较高级别公共基础结构。例如，框架/中间件618可以提供各种图形用户接口(gui)功能、高级别资源管理、高级别位置服务等。框架/中间件618可以提供可以由应用616和/或其他软件组件使用的广泛的其他api，其中一些可以特定于特定的操作系统602或平台。
104.应用616包括内置应用638和/或第三方应用640。代表性内置应用638的示例可以包括但不限于联系人应用、浏览器应用、图书阅读器应用、位置应用、媒体应用、消息传送应用和/或游戏应用。第三方应用640可以包括由除了特定平台的供应商之外的实体使用android
tm
或ios
tm
软件开发工具包(sdk)开发的应用，并且可以是在诸如ios
tm
、android
tm
、phone之类的移动操作系统或其他移动操作系统上运行的移动软件。第三方应用640可以调用由移动操作系统(例如，操作系统602)提供的api调用608，以促进本文所描述的功能。
105.应用616可以使用内置的操作系统功能(例如，内核622、服务624和/或驱动器626)、库620和框架/中间件618来创建ui以与系统的用户交互。可替代地或另外地，在一些系统中，可以通过诸如呈现层614之类的呈现层发生与用户的交互。在这些系统中，可以将应用/组件“逻辑”与和用户交互的应用/组件的方面分开。
106.图7是示出根据一些示例实施例的机器700的组件的框图，该机器700能够从机器可读介质(例如，机器可读存储介质)读取指令604并执行本文讨论的方法中的任何一种或多种。具体地，图7以计算机系统的示例形式示出了机器700的图示表示，在该机器700内可
以执行用于使机器700执行本文讨论的方法中的任何一种或多种的指令710(例如，软件、程序、应用、小程序、app或其他可执行码)。因此，指令710可以用于实现本文描述的组件。指令710将通用的、未编程的机器700转换为被编程从而以所描述的方式执行所描述和示出的功能的特定机器700。在替代实施例中，机器700作为独立设备操作，或者可以耦合(例如，联网)到其他机器。在联网部署中，机器700可以在服务器
‑
客户端网络环境中作为服务器机器或客户端机器操作，或者作为对等(或分布式)网络环境中的对等机器操作。机器700可以包括但不限于服务器计算机、客户端计算机、pc、平板计算机、膝上型计算机、上网本、机顶盒(stb)、个人数字助理(pda)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能家电)、其他智能设备、web装置、网络路由器、网络交换机、网桥或者能够顺序地或以其他方式执行指定了机器700要采取的动作的指令710的任何机器700。此外，虽然仅示出了单个机器700，但术语“机器”还应被认为包括独立地或共同地执行指令710以执行本文讨论的方法中的任何一种或多种的机器的集合。
107.机器700可以包括处理器704、存储器/存储装置706和i/o组件718，它们可以被配置为例如经由总线702彼此通信。存储器/存储装置706可以包括存储器714(例如，主存储器或其他存储器存储装置)和存储单元716，两者都可以例如经由总线702由处理器704访问。存储单元716和存储器714存储体现本文描述的方法或功能中的任何一种或多种的指令710。指令710在由机器700执行期间，指令710还可以全部或部分地驻留在存储器714内、在存储单元716内、在处理器704中的至少一个内(例如，在处理器的高速缓冲存储器内)或在其任何合适的组合内。因此，存储器714、存储单元716和处理器704的存储器是机器可读介质的示例。
108.i/o组件718可以包括各种组件，以接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等。被包括在特定机器700中的特定i/o组件718将取决于机器的类型。例如，诸如移动电话之类的便携式机器将可能包括触摸输入设备或其他这样的输入机构，而无头(headless)服务器机器将可能不包括这样的触摸输入设备。将认识到的是，i/o组件718可以包括图7中未示出的许多其他组件。仅为了简化下面的讨论，根据功能对i/o组件718进行分组，并且该分组绝不是限制性的。在各种示例实施例中，i/o组件718可以包括输出组件726和输入组件728。输出组件726可以包括视觉组件(例如，诸如等离子体显示面板(pdp)、发光二极管(led)显示器、液晶显示器(lcd)、投影仪或阴极射线管(crt)之类的显示器)、声学组件(例如，扬声器)、触感组件(例如，振动电机、阻力机构)、其他信号生成器等等。输入组件728可以包括字母数字输入组件(例如，键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、跟踪球、操纵杆、运动传感器或其他定点仪器)、触觉输入组件(例如，物理按钮、提供触摸或触摸手势的位置和/或力的触摸屏或其他触觉输入组件)、音频输入组件(例如，麦克风)等。
109.在其他示例实施例中，i/o组件718可以包括生物特征组件730、运动组件734、环境组件736或位置组件738以及各种其他组件。例如，生物特征组件730可以包括用于检测表达(例如，手表达、面部表达、声音表达、身体手势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗液或脑电波)、标识个人(例如，语音标识、视网膜标识、面部标识、指纹标识或基于脑电图的标识)等的组件。运动组件734可以包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如，陀螺仪)等。环境组件736可以包括例如照明传感器
组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如，气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近度传感器组件(例如，检测附近对象的红外传感器)、气体传感器(例如，用于为了安全而检测有害气体的浓度或测量大气中的污染物的气体检测传感器)或可以提供与周围物理环境相对应的指示、测量或信号的其他组件。位置组件738可包括地点传感器组件(例如，gps接收机组件)、高度传感器组件(例如，检测可以根据其推导高度的气压的高度计或气压计)、定向传感器组件(例如，磁力计)等。
110.可以使用多种技术来实现通信。i/o组件718可以包括通信组件740，该通信组件740可操作以分别经由耦合724和耦合722将机器700耦合到网络732或设备720。例如，通信组件740可以包括网络接口组件或其他合适的设备以与网络732接合。在另外的示例中，通信组件740可以包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(nfc)组件、组件(例如，低能耗)、组件和其他通信组件以经由其他模态提供通信。设备720可以是另一机器或各种外围设备(例如，经由usb耦合的外围设备)中的任一个。
111.此外，通信组件740可以检测标识符或包括可操作以检测标识符的组件。例如，通信组件740可以包括射频标识(rfid)标签读取器组件、nfc智能标签检测组件、光学读取器组件(例如，用于检测一维条形码(例如，通用产品码(upc)条形码)、多维条形码(例如，快速响应(qr)码、aztec码、数据矩阵、dataglyph、maxicode、pdf417、ultra code、ucc rss
‑
2d条形码和其他光学码)的光学传感器)或声学检测组件(例如，用于标识带标签的音频信号的麦克风)。另外地，可以经由通信组件740导出各种信息，例如，经由互联网协议(ip)地理位置来导出位置、经由信号三角测量来导出位置、经由检测可以指示特定位置的nfc信标信号来导出位置等等。
112.术语表
113.在该上下文中，“载波信号”指代能够存储、编码或携带供机器700执行的指令710的任何无形介质，并且包括数字或模拟通信信号或用于促进这种指令710的通信的其他无形介质。可以使用传输介质经由网络接口设备并使用多种公知的传输协议中的任何一种在网络732上发送或接收指令710。
114.在该上下文中，“客户端设备”指代与通信网络732接合以从一个或多个服务器系统或其他客户端设备102、104获得资源的任何机器700。客户端设备102、104可以是但不限于移动电话、台式计算机、膝上型计算机、pda、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程的消费者电子件、游戏机、stb或用户可以用于接入网络732的任何其他通信设备。
115.在该上下文中，“通信网络”指代网络732的一个或多个部分，其可以是自组织网络、内联网、外联网、虚拟专用网络(vpn)、lan、无线lan(wlan)、wan、无线wan(wwan)、城域网(man)、互联网、互联网的一部分、公共交换电话网(pstn)的一部分、普通旧式电话服务(pots)网络、蜂窝电话网络、无线网络、网络、另一类型的网络或两个或更多个这种网络的组合。例如，网络732或网络732的一部分可以包括无线或蜂窝网络，并且耦合可以是码分多址(cdma)连接、全球移动通信系统(gsm)连接或其他类型的蜂窝或无线耦合。在该示例中，耦合可以实现多种类型的数据传输技术中的任何一种，例如，单载波无线电传输技
术(1xrtt)、演进数据优化(evdo)技术、通用分组无线电服务(gprs)技术、增强型数据速率gsm演进(edge)技术、包括3g的第三代合作伙伴计划(3gpp)、第四代无线(4g)网络、通用移动电信系统(umts)、高速分组接入(hspa)、全球微波接入互操作性(wimax)、长期演进(lte)标准、由各种标准设置组织定义的其他标准、其他远程协议或其他数据传输技术。
116.在该上下文中，“机器可读介质”指代能够临时或永久地存储指令710和数据的组件、设备或其他有形介质，并且可以包括但不限于随机存取存储器(ram)、只读存储器(rom)、缓冲器存储器、闪速存储器、光学介质、磁性介质、高速缓冲存储器、其他类型的存储装置(例如，可擦除可编程只读存储器(eeprom))和/或其任何合适的组合。术语“机器可读介质”应被认为包括能够存储指令710的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓存和服务器)。术语“机器可读介质”还应被认为包括能够存储供机器700执行的指令710(例如，代码)的任何介质或多个介质的组合，使得指令710在由机器700的一个或多个处理器704执行时使机器700执行本文描述的方法中的任何一种或多种。因此，“机器可读介质”指代单个存储装置或设备，以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”本身不包括信号。
117.在该上下文中，“组件”指代具有边界的设备、物理实体或逻辑，该边界由功能或子例程调用、分支点、api或提供特定处理或控制功能的分区或模块化的其他技术定义。组件可以经由它们与其他组件的接口进行组合以执行机器过程。组件可以是被设计为与其他组件一起使用的打包的功能硬件单元，以及通常执行相关功能的特定功能的程序的一部分。组件可以构成软件组件(例如，体现在机器可读介质上的代码)或硬件组件。“硬件组件”是能够执行某些操作的有形单元，并且可以以某种物理方式进行配置或布置。在各种示例实施例中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件组件(例如，处理器或一组处理器704)可以由软件(例如，应用616或应用部分)配置为操作以执行本文所描述的某些操作的硬件组件。硬件组件还可以机械地、电子地或以其任何合适的组合来实现。例如，硬件组件可以包括被永久性地配置为执行某些操作的专用电路或逻辑。硬件组件可以是专用处理器，例如，现场可编程门阵列(fpga)或专用集成电路(asic)。硬件组件还可以包括可编程逻辑或电路，该可编程逻辑或电路由软件临时配置为执行某些操作。例如，硬件组件可以包括由通用处理器704或其他可编程处理器704执行的软件。硬件组件一旦由这样的软件进行配置，硬件组件就变成专用于执行所配置的功能的特定机器700(或机器700的特定组件)，且不再是通用处理器704。将认识到的是，以专用且永久配置的电路或以临时配置的电路(例如，由软件配置)机械地实现硬件组件的决定可能受成本和时间考虑驱动。因此，短语“硬件组件”(或“硬件实现的组件”)应被理解为包含有形实体，其是被物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)的实体从而以某种方式操作或执行本文所描述的某些操作。考虑其中硬件组件被临时配置(例如，编程)的实施例，硬件组件中的每一个不需要在任何一个时刻被配置或实例化。例如，在硬件组件包括由软件配置为成为专用处理器的通用处理器704的情况下，通用处理器704可以在不同时间被配置作为分别不同的专用处理器(例如，包括不同的硬件组件)。软件相应地配置一个或多个特定处理器704，以例如在一个时刻构成特定的硬件组件，并在不同的时刻构成不同的硬件组件。硬件组件可以向其他硬件组件提供信息，并且从其他硬件组件接收信息。因此，所描述的硬件组件可以被认为是通信耦合的。在同时存
在多个硬件组件的情况下，可以通过在硬件组件中的两个或更多个硬件组件之间或之中的信号传输(例如，通过适当的电路和总线702)来实现通信。在其中在不同时间配置或实例化多个硬件组件的实施例中，可以例如通过在多个硬件组件可以访问的存储器结构中存储和取回信息来实现这些硬件组件之间的通信。例如，一个硬件组件可以执行操作并将该操作的输出存储在其通信耦合到的存储器设备中。然后，另一硬件组件可以在稍晚的时间访问存储器设备以取回并处理所存储的输出。硬件组件还可以发起与输入或输出设备的通信，并且可以在资源(例如，信息的集合)上进行操作。本文描述的示例方法的各种操作可以至少部分地由(例如，通过软件)被临时配置或永久配置为执行相关操作的一个或多个处理器704来执行。无论这种处理器704是被临时配置还是永久配置，其都可以构成处理器实现的组件，这些组件操作以执行本文描述的一个或多个操作或功能。如本文所使用的，“处理器实现的组件”指代使用一个或多个处理器704实现的硬件组件。类似地，本文描述的方法可以至少部分地是处理器实现的，其中一个或多个特定处理器704是硬件的示例。例如，一种方法的操作中的至少一些可以由一个或多个处理器704或处理器实现的组件执行。此外，一个或多个处理器704还可以操作以在“云计算”环境中或作为“软件即服务”(saas)来支持相关操作的性能。例如，操作中的至少一些可以由一组计算机(作为包括处理器704的机器700的示例)执行，其中这些操作可以经由网络732(例如，互联网)且经由一个或多个适当的接口(例如，api)来访问。操作中的某些操作的性能可以分布在处理器704之间，不仅驻留在单个机器700内，而且跨多个机器700部署。在一些示例实施例中，处理器704或处理器实现的组件可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器场内)。在其他示例实施例中，处理器704或处理器实现的组件可以跨多个地理位置分布。
118.在该上下文中，“处理器”指代任何电路或虚拟电路(由在实际处理器704上执行的逻辑仿真的物理电路)，其根据控制信号(例如，“命令”、“操作码”、“机器码”等)操纵数据值，并产生被应用以操作机器700的对应的输出信号。处理器704例如可以是中央处理单元(cpu)、精简指令集计算(risc)处理器、复杂指令集计算(cisc)处理器、图形处理单元(gpu)、数字信号处理器(dsp)、asic、射频集成电路(rfic)或其任何组合。处理器704还可以是具有可以同时执行指令710的两个或更多个独立处理器704(有时称为“核心”)的多核心处理器。