通信响应分析仪的制作方法

1.在本文中所公开的主题总体涉及用于利用人工智能来解释人们的响应的方法、系统和机器可读存储介质。


背景技术：

2.在针对人对人电子通信的一些系统中，分布式通信包括请求，并且所述系统将提示接收者对发送者做出响应。有时，所述系统为接收者提供针对响应的选项的有限集合(例如，是、否、我不知道)。
3.在一些情况下，发送者将请求发送给许多用户，并且在线服务将对响应进行分析和归类，因此发送者能够快速评估来自用户的响应，例如，以选择用户进行进一步交互。如果在线服务能够改进对响应的归类，则总体系统效率和操作得到改进。快速地评估响应的能力能够大大提高发送者的生产率。
4.然而，有时被提供给接收者的系统选项不包括最佳响应选项(例如，我不感兴趣，但是我的朋友joe将感兴趣)。其他时候，接收者可能选择响应选项，并且以后希望选择不同的选项，但是没有方法来改变响应。此外，一些用户可能希望扩展其响应选项，但是当经由系统仅有预定义固定选项可用时，这是困难的。
5.在一些情况下，接收者可以被给出输入自由文本的选项作为响应，但是这可能使系统为发送者解释消息的能力复杂化，特别是在发送者仅对选项的有限集合(例如，是或否)的类别感兴趣的情况。
6.需要一种系统，其允许用于对消息做出响应的用户灵活的选项，并且还能够有效地对来自用户的响应进行归类和分析，以便允许消息发送者对后续活动进行优先化。
附图说明
7.各种附图仅图示出了本公开的示例性实施例并且不能够被视为限制其范围。
8.图1是用于对请求做出响应的用户界面，其中，接收者必须对所述响应进行归类。
9.图2是用于对通信做出响应的用户界面，其中，接收者必须对所述响应进行分类，并且可以选择性地添加额外的自由文本。
10.图3是根据一些示例性实施例的通用用户界面，其中，接收者具有从预定义答案中进行选择或者输入自定义响应的选项。
11.图4是根据一些示例性实施例的用于发送者的用户界面，其中，来自接收者的响应当被自动地归类。
12.图5图示了根据一些示例性实施例的机器学习程序的训练和使用。
13.图6图示了根据一些示例性实施例的获取针对接受模型的训练数据的过程。
14.图7图示了根据一些示例性实施例的使用接受模型来对接收者响应进行归类。
15.图8是图示了根据一些示例性实施例的联网系统的框图，其图示出了基于高级客户端-服务器的网络架构的示例性实施例。
16.图9是根据一些示例性实施例的用于将接收者响应分类为来自可能响应类别的有限集合中的一个可能响应类别的方法的流程图。
17.图10是图示了机器的示例的框图，在该机器上或者通过该机器可以实现或控制在本文中所描述的一个或多个示例性过程实施例。
具体实施方式
18.示例性方法、系统和计算机程序旨在解释接收者对通信的响应，以便对所述响应进行分类并且将所述响应呈现给发送者。示例仅仅代表可能的变化。除非另有明确说明，否则组件和功能是可选的，并且可以被组合或细分，并且操作的次序可以不同，或者可以被组合或细分。在以下描述中，出于解释的目的，阐述了许多特定细节以提供对示例性实施例的透彻理解。然而，对于本领域技术人员将显而易见的是，可以在没有这些特定细节的情况下实践本主题。
19.一种系统使得发送者能够与通信的许多接收者进行交互，并且每次通信包括针对接收者的提议以及在接收者感兴趣时针对进一步交互的请求。所述系统为每个接收者给出了从多个选项中之一进行选择的选项(例如，选择与所选择的选项相对应的按钮)、输入针对所述响应的文本或者其组合。所述系统分析来自接收者的选择并且将其归类为多个类别之一(例如，感兴趣的或不感兴趣的)。然后，所述系统在用户界面中呈现所述响应，并且清楚地标记所选择的类别，使得发送者能够快速地评估每个接收者的意图，而无需阅读所述响应中的每个响应。
20.在一个方面中，发送者是招聘者，其向候选者发送针对职位空缺的通信，其中，候选者是在线服务的用户或成员。每个通信都提供关于职位空缺的信息，并且如果对所呈现的职位空缺感兴趣，则要求接收者做出响应。尽管参考来自招聘者的消息呈现了实施例，但是相同的系统可以被用于请求响应的其他类型的通信，诸如营销通信、购买或出售的提议、活动中的志愿者的提议、调查、请求捐赠、市场调查等。
21.提出了用于解释接收者对通信的响应以便对所述响应进行分类的方法。一种方法包括：在第一用户界面(ui)中呈现从发送者到接收者的、请求来自接收者的响应的消息。所述第一ui包括第一分类、第二分类以及用于输入自由文本消息的文本输入字段的响应选项。另一操作用于接收接收者响应，所述接收者响应包括对以下项的选择：(a)第一按钮或第二按钮，以及(b)在文本输入字段中输入的、来自接收者的自由文本消息。所述方法还包括：基于所述自由文本消息来生成特征化的接收者响应向量(例如，针对输入的文本和按钮选择的向量，如果有的话)。接受机器学习(ml)模型基于所述特征化的接收者响应向量根据多个分类值来计算接收到的自由文本消息的分类值。所述方法还包括在针对发送者的第二ui中呈现针对所述消息的指示符和计算出的分类值。
22.出于本说明书的目的，短语“在线社交网络应用”、“在线社交网络系统”和“在线社交网络服务”可以被称为“在线社交网络”或者仅仅是“社交网络”并且可与其互换地使用。还将注意到，在线社交网络可以是任意类型的在线社交网络，诸如，例如专业网络、基于兴趣的网络或者允许用户作为注册成员加入的任何在线网络系统。出于本说明书的目的，在线社交网络的注册成员可以被简称为成员。此外，一些在线服务向其成员提供服务(例如，搜索工作、搜索工作候选者、职位发布)而不是社交网络，并且在本文中所提出的原则也可
以被应用于这些在线服务。
23.注意，实施例是在招聘者向潜在候选者发送消息的招聘上下文中呈现的。然而，相同的方法可以被用于请求响应的任意类型的通信，诸如连接在线服务的邀请、销售提议、参与事件的邀请、加入工作组的邀请、志愿者邀请，等等。因此，所图示的实施例不应当被解释为排他性的或限制性的，而是例示性的。
24.图1是用于对请求做出响应的用户界面100。在所图示的示例中，招聘者已经向潜在候选者发送了消息102，并且用户界面100被呈现给在本文中也被称为接收者的所述潜在候选者，具有用于做出响应的预定义选项104-106。
25.在一些示例中，要求接收者通过选择按钮104-106中的预定义选项之一来开始，其打开对话框(例如，在由接收者选择时发送的带有文本的文本框)。接收者具有在输入字段108中输入文本消息的选项。接收者不必输入文本消息，如果接收者想要进一步限定预定义选项之一，则其是可选的。
26.在该示例中，存在三个选项：感兴趣的、可能以后感兴趣的以及不感兴趣的。在一些示例性情况下，所述响应当被呈现给发送者并且被分类为感兴趣的或不感兴趣的，这允许发送者对大量响应快速地进行排序。
27.然而，在实验期间，已经发现接收者倾向于提供异常高数量的“感兴趣的”响应(在本文中也被称为已接受)，例如，90％的响应是“感兴趣的”。原因可能是一些接收者不是真正感兴趣，或者不是非常感兴趣，但是接收者希望听起来礼貌而不是明显的拒绝。在该示例中，选择的分类是报告给发送者的分类，即使接收者在输入字段108中输入与按钮选择相矛盾的文本。
28.对于发送者，这些响应几乎不提供价值，因为所述响应并不是非常有辨别性。发送者必须阅读每个响应以确定接收者是否真正感兴趣，或者接收者仅仅是出于礼貌或者试图传达一些其他信息，诸如“我不感兴趣，但是我的朋友carla将感兴趣。”29.图2是用于对通信做出的用户界面200，其中，接收者必须对所述响应进行归类。用户界面200是从发送者到针对工作岗位的潜在候选者的通信。框架204提供了关于寻找针对特定工作的候选者的公司的信息。消息202由发送者发送给接收者。
30.在一些示例中，接收者被给予两个或更多个选项来做出响应，并且接收者必须从所述选项之一中做出明确的选择来进行响应，因为没有用于输入纯文本作为响应的可用性。
31.在用户界面200中的所图示的示例中，提供了两个选项：不是现在和是。在其他示例中，可能提供额外的选项(例如，可能在未来感兴趣、对来自同一公司的另一工作岗位感兴趣)。
32.已经观察到，一些接收者可能对所给出的选项不满意而不做出响应，即使可能对工作岗位或者对同一公司的工作有一些感兴趣。
33.在实验期间，观察到了，来自接收者的接受回复数量低于图1的用户界面中的接受回复数量。然而，所接收到的接受响应质量更高，因为接受响应用信号通知来自接收者的真正感兴趣。这允许发送者跟进与接受所述请求的接收者的进一步对话。
34.然而，用户界面200的问题在于：选项的数量是有限的，并且许多接收者觉得他们想要给出的响应没有在选项之一中表示出(例如，我不感兴趣但是我知道有人感兴趣、我对
数据科学家工作不感兴趣但是我对软件开发人员工作感兴趣)。
35.在图2的示例中，所述系统没有对所述响应进行智能归类。如果接收者提供了分类(例如，按钮选择)，那么其是被呈现给发送者的值，即使分类可能与基于键入的文本消息的接收者的意图不匹配。
36.图3是针对用于解决上文关于图1和图2所解释的问题的系统的通用用户界面300，其中，接收者具有对以下项的选项：从预定义答案中进行选择；输入自定义响应而不选择预定义答案；或者根据一些示例性实施例，输入预定义答案和文本自定义响应两者。如果接收者对所呈现的提议感兴趣，则消息302邀请接收者进行响应。
37.在一些示例性实施例中，所述接收者具有对选择预定义选项304、306之一或者在响应文本308中输入自由文本响应的选项。亦即，所述接收者能够选择针对所述预定义选项304、306的所述按钮之一，但是所述接收者不会被迫进行选择，并且能够选取仅输入针对所述响应的自由文本。
38.通过给予所述接收者选择所述选项之一或输入文本的灵活性，所述接收者能够更好地选取如何对邀请做出响应。这导致来自接收者的更好的通信以及提高的用户满意度。
39.然而，所述系统能够智能地并且正确地对传入的响应进行分类是重要的。消息发送者偏好快速地知道所述接收者是否对提议感兴趣，但是阅读文本形式的答案比简单地查看指示符摘要(诸如接受或拒绝)花费更多的时间。在一些示例性实施例中，所述系统分析所选择的分类(如果有的话)和所述自由文本响应以根据预定义数量的可能性(例如，接受或不接受、感兴趣或不感兴趣)对所述响应进行分类。
40.在一些示例性实施例中，所述自由文本是从在所述用户界面中提供的所述选项304、306之一分类的。注意到了，所述系统向所述接收者提供关于输入所述自由文本响应的所述选项，而不必预先地选择所述预定义选项304、306之一。这在输入所述响应时为所述接收者提供了最大的灵活性。
41.在其他示例性实施例中，根据预定义数量的选项对所述响应(对所述预定义选项或自由文本之一的选择，或者其组合)进行分类，所述选项可以与在所述按钮中所提供的所述选项相同或不同。例如，如果向所述接收者呈现三个选项，则所述选项中的一个选项可以与接受相关联，并且其他两个选项可以与拒绝相关联。
42.有时，所述接收者可以选择所述预定义选项之一，但是所述文本可以指示不同的意图(例如，所述接收者选择“感兴趣”，但是所述接收者在未来的某个时间而不是现在感兴趣)。然后，所述系统将选择与接收者意图相匹配的分类，而不必选择所选择的所述预定义选项，亦即，所述系统将不使用由所述接收者通过选择所述按钮之一而指示的所述分类，而是使用基于系统分析在所述文本中所描述的所述分类。
43.其他实施例可以利用不同的布局、不同数量的预定义答案、不同的预定义答案等。因此，在图3中所图示的实施例不应当被解释为排他性或限制性的，而是例示性的。
44.图4是根据一些示例性实施例的针对招聘者的用户界面400，其中，来自接收者的所述响应是根据所述接收者的意图进行归类的。在用户界面400的左侧，来自接收者的响应402、412被呈现在列表中。
45.在一些示例性实施例中，每个接收者响应由所述系统从多个选择之一自动地分类。在图4中所图示的示例中，所述选项是“接受”和“拒绝”，但是其他实施例可以包括额外
的类别。接受的响应402指示接收到可能的工作机会的接收者对邀请做出积极响应并且有兴趣参与招聘过程。被拒绝的响应412指示所述接收者对所述邀请中所描述的工作不感兴趣。
46.当发送者从左边的列表中选择所述响应之一时，所述响应的内容被呈现在所述用户界面的右侧，其包括原始邀请404、指示接收者接受所述邀请的消息406(例如，inmail)，以及用于向所述用户发送新消息的输入字段408。
47.在一些示例性实施例中，向所述发送者提供针对所述接收者响应的过滤器，诸如仅呈现接受的邀请的过滤器。以这种方式，发送者不必针对拒绝所述邀请的接收者而浪费时间。例如，发送者可以具有100个打开的邀请，并且接收到30个接受和70个拒绝。发送者能够快速地聚焦于接受而不是浪费时间在拒绝上。
48.在一些示例性实施例中，发送者有两个文件夹：一个文件夹用于接受，并且一个文件夹用于拒绝。发送者能够打开接受文件夹以快速地查看所述响应。
49.以这样的清晰的方式呈现接收者对于所述邀请的意图，允许发送者通过快速地聚焦有兴趣继续所述招聘过程的高质量招聘来节省时间。
50.图5图示了根据一些示例性实施例的机器学习程序的训练和使用。在一些示例性实施例中，机器学习程序(mlp)(也被称为机器学习算法或工具)被用于执行与搜索相关联的操作，诸如工作搜索。
51.机器学习是给予计算机在没有被明确地编程的情况下进行学习的能力的研究领域。机器学习探索算法的研究和构建，在本文中也被称为工具，其可以从现有数据中学习并且对新数据进行预测。这样的机器学习工具通过根据示例性训练数据512构建模型来进行操作，以便做出被表达为输出或评估520的数据驱动的预测或决策。尽管相对于一些机器学习工具呈现了示例性实施例，但是在本文中所呈现的原理可以被应用于其他机器学习工具。
52.在一些示例性实施例中，可以使用不同的机器学习工具。例如，逻辑回归(lr)、朴素贝叶斯、随机森林(rf)、神经网络(nn)、深度神经网络(dnn)、矩阵分解和支持向量机(svm)工具可以被用于分类工作发布或者对其进行评分。
53.机器学习中的两种常见问题是分类问题和回归问题。分类问题也被称为类别问题，旨在将项目分类为若干类别值之一(例如，这个物体是苹果还是橙子？)。回归算法旨在量化一些项目(例如，通过提供是实数值的值)。所述机器学习算法利用训练数据512来寻找影响结果的识别出的特征502之间的相关性。
54.机器学习算法利用特征502来分析所述数据以生成评估520。特征502是被观察的现象的个体可测量特性。特征的概念与在诸如线性回归的统计技术中所使用的解释变量的概念有关。选取信息丰富的、有区分性的并且独立的特征对于mlp在模式识别、分类和回归中的有效操作是重要的。特征可以是不同的类型，诸如数字、字符串和图形。
55.在一个示例性实施例中，特征502可以是不同类型的并且可以包括以下中的一项或多项：用户特征504(用户特征504可以包括关于发送者和/或接收者的信息)、工作发布特征505；公司特征506；消息102，消息响应509，消息文本嵌入510以及其他特征510(用户帖子、网络活动、关注的公司等)。
56.用户特征504包括用户简档信息，诸如头衔、技能、经验、教育、地理、用户在在线服
务中的活动等。工作发布特征505包括关于工作发布的信息，诸如提供工作的公司、工作发布的头衔、工作发布的位置、所需的技能、工作的描述等。此外，公司特征506包括关于发布所述工作的公司的信息，诸如公司的名称、行业、收入信息、位置等。
57.消息102包括关于从发送者发送给潜在候选者的消息的信息。消息响应509包括关于所述接收者对消息102的响应的信息，诸如选择的预定义响应、响应的时间等。消息文本嵌入510包括关于由消息的接收者输入的文本响应的信息。在一些示例性实施例中，接收者的响应当被嵌入到向量中以供由所述ml算法进行处理。
58.所述ml算法利用训练数据512来找到影响结果或评估520的识别出的特征502之间的相关性。在一些示例性实施例中，训练数据512包括在所述在线系统中从发送者和接收者的过去活动获得的、针对一个或多个识别的特征502的已知数据，诸如对由接收者发送的消息的响应以及由发送者或者由分类系统对所述响应的分类(例如，接受或拒绝)。
59.此外，所述训练数据可以包括关于没有从所述接收者接收到响应的消息的信息，例如，被分类为“可能”的选项。
60.利用训练数据512和识别出的特征502，在操作514处训练所述ml算法。ml训练评估特征502的值，因为其与训练数据512相关。所述训练的结果是接受ml模型516。
61.当接受ml模型516被用于执行评估时，新数据518被提供作为对接受ml模型516的输入，并且接受ml模型516生成评估520作为输出。例如，接受ml模型516可以被用于将来自接收者的已经作为文本输入的响应分类为接受或拒绝。在一些示例性实施例中，可以包括额外的分类类别。
62.在一些示例性实施例中，消息的接收者选择预定义选项(例如，“是，感兴趣”或者“不，谢谢”)以及自由文本响应。该响应输入由接受ml模型516处理以生成响应的分类作为来自多个预定义值(例如，“是，感兴趣”或者“不，谢谢”)中的一个。因此，可能的是，作为对自由文本响应的自动分析的结果，由接收者所选择的预定义选项可能被覆盖并且被改变为不同的类别。例如，所述自由响应文本指示接收者对提议并不真正感兴趣，但是接收者可能不想要通过选择“否”选项来听起来消极。然而，与必须通过“礼貌的”肯定按钮选择进行排序以发现接收者并不真正感兴趣相比，通信的发送者将从真正的分类中发现更多的值。
63.在其他情况下，接收者可能不感兴趣但是可能选择“是”，因为接收者想要提供可能感兴趣的朋友的推荐。然而，如果发送者对推荐并不真正感兴趣，则这样的信息可能会证明是浪费时间。在一些示例性实施例中，自动归类可以包括不作为明确接收者选项而提供的额外值，诸如“不，但我知道其他人”、“是的，但不是此时”、“不，但可能以后”等等。因此，这些归类将允许发送者快速地遍历所述响应而无需阅读响应文本。
64.图6图示了根据一些示例性实施例的用于获得针对接受模型的训练数据的过程。消息102被发送给接收者602。每个接收者602给出二元选项以接受604或拒绝605申请工作的邀请。在其他示例性实施例中，可以向接收者提供额外的选项或不同的选项。
65.在接收者已经选择了对消息102的响应之后，接收者602被给予输入字段108以输入针对所述响应的额外文本。如果接收者输入文本，则所述文本由自然语言处理器进行分析606，所述自然语言处理器606创建所述文本的特征化的表示向量608以用于与模型一起使用，其中，特征化的响应向量608是针对在模型中识别出的特征的文本的表达，诸如从所述文本创建的向量，并且其能够被用作训练数据或者用于输入到所述接受模型。在其他示
例性实施例中，矩阵被用于创建可选额外文本108的特征化表示(例如，将文本中的每个词语表示为矩阵的一个行)。在一些示例性实施例中，特征化的响应向量608是表示所述响应的文本的向量，诸如通过为所述文本中的每个词语分配向量，并且然后组合词语向量，诸如通过创建矩阵、添加向量、连接向量等。在一些示例性实施例中，特征化的响应向量608是响应文本的嵌入，其中，所述嵌入是具有所述文本的语义表示的向量，使得针对具有相似含义的文本的嵌入向量将靠近于彼此，而针对具有不同含义的文本的嵌入向量将不靠近于彼此。
66.自然语言处理(nlp)是语言学、计算机科学、信息工程和人工智能的子领域，涉及计算机与人类语言之间的交互，并且特别是如何对计算机进行编程以处理和分析大量自然语言数据。自然语言处理中的挑战常常涉及语音识别、自然语言理解和自然语言生成。
67.然后，利用关于消息102、接收者602(例如，用户简档数据、与针对消息响应的工作申请相关的接收者活动)、对所述消息的响应(接受604或拒绝605)以及当可用时的文本的特征表示向量608来创建训练数据610。
68.由于接收者必须选择接受604或拒绝605，所有响应都被分类，因为接收者602已经提供了该分类。此外，可选的额外文本108提供将文本响应与由接收者602提供的分类相匹配的信息。这提供了接收者选择的选项与他们键入的响应之间的清晰的一对一映射。这为系统提供了训练数据610的初始集合。随着时间，由于模型被细化并且由于系统收集额外的数据(例如，来自接收者的关于对响应的正确分类的信息)，那么该较新的信息将被用于改善训练数据610的准确性。
69.在一些示例性实施例中，训练数据610包括针对所述响应的接收者分类以及由提供所述响应的接收者输入的文本，并且所述ml算法是浅层神经网络。在其他示例性实施例中，可以包括额外的特征，诸如参考图5所描述的那些特征。
70.在一些示例性实施例中，可以通过从接收者602或发送者请求确认来细化训练数据610。例如，一旦接收者输入文本响应，接收者就被提示：“我们相信您有兴趣寻求这个机会，是或否？”然后，可以使用所述响应来改善所述训练数据。
71.类似地，当发送者正在审查响应时，可以利用关于所估计的分类的信息来提示发送者，诸如，“我们认为该候选者有兴趣寻求这个机会，是还是否？”然后，可以使用所述响应来改善所述训练数据。例如，如果所述分类不正确，则修改所述训练数据以反映这种不正确的分类。
72.在操作514处，训练数据610被用于创建接受模型612，如上文参考图5所描述的。在一些示例性实施例中，接受模型612是分类器，以确定响应是接受还是拒绝。在其他示例性实施例中，接受模型612提供接受的分数或概率(例如，所述响应为接受的概率为75％，并且拒绝的概率为25％)。
73.图7图示了根据一些示例性实施例的使用接受模型612来对接收者响应进行归类。在所图示的示例中，参考图3所描述的用户界面被呈现给接收消息102的接收者602，亦即，接收者能够利用响应文本308、接受304、拒绝306或者响应文本308与接受304或拒绝306之一的组合来进行响应。
74.当接收者输入响应文本时，自然语言处理606基于响应文本308的内容来创建所述文本的特征表示向量608。
75.来自消息102、接收者602、响应文本308、接受304或拒绝306以及文本的特征表示向量608中的一个或多个的信息被用作针对接受模型612的输入数据702。
76.接受模型612然后提供指示来自一个接收者602的、对给定消息102的响应是接受704还是拒绝706的输出。然后，在用户界面上呈现类别，诸如在图4中所呈现的用户界面400。注意到了，接受模型612的输出不一定等于由接收者对预定义选项之一的选择，因为接受模型612可以基于响应文本308而对所述响应进行“重新分类”。
77.在一些示例性实施例中，由接收者602所提供的响应可以被用于增强在线服务中除了发送者通信之外的其他功能。例如，所述系统测量接收者对消息做出响应的频率。如果接收者经常以接受来响应，则这是接收者对换工作有兴趣的信号。然后，将该信息提供给对候选者进行排序的实用程序，使得更倾向于换工作的候选者将看到他们在针对工作的候选者列表中的排名，基于他们换工作的意愿而提升。
78.此外，当发送者搜索候选者时，候选者搜索功能利用接收者愿意换工作的指示作为针对机器学习模型的特征之一，其中，愿意换工作的接收者将看到他们的分数增加。
79.在其他示例性实施例中，在线服务分析特定接收者的接受以检查工作机会的参数，诸如头衔、技能、行业、公司等。工作搜索功能(例如，您可能感兴趣的工作(jymbi))可以使用其来为接收者查找与识别出的所需工作特性相匹配的工作。
80.图8是图示了根据一些示例性实施例的包括社交网络服务器812的联网系统的框图，其图示出了高级基于客户端-服务器的网络架构802的示例性实施例。参考在线服务呈现实施例，并且在一些示例性实施例中，在线服务是社交网络服务。
81.社交网络服务器812经由网络814(例如，互联网或广域网(wan))向一个或多个客户端设备804提供服务器侧功能。图8图示了例如网络浏览器806、(一个或多个)客户端应用808以及在客户端设备804上执行的社交网络客户端810。社交网络服务器812还与提供对一个或多个数据库816-224的访问的一个或多个数据库服务器826通信地耦合。
82.社交网络服务器812包括招聘者用户界面(ui)828、消息处理器830以及接受模型612等模块。招聘者ui 828为在线服务内的招聘者提供用户界面(例如，图4的用户界面400)。消息处理器830管理向候选者发送消息以及他们对招聘者的响应。
83.客户端设备804可以包括但不限于：移动电话、台式计算机、膝上型计算机、便携式数字助理(pda)、智能电话、平板计算机、上网本、多处理器系统、基于微处理器或可编程的消费者电子系统、或者用户可以用于访问社交网络服务器812的任何其他通信设备。在一些实施例中，客户端设备804可以包括显示模块(未示出)以显示信息(例如，以用户界面的形式)。
84.在一个实施例中，社交网络服务器812是基于网络的设备，其对来自客户端设备804的初始化请求或搜索查询做出响应。一个或多个接收者602可以是人、机器或者与客户端设备804进行交互的其他方式。在各种实施例中，接收者602经由客户端设备804或者其他方式与网络架构802进行交互。
85.客户端设备804可以包括一个或多个应用(也被称为“app”)，诸如但不限于：网络浏览器806、社交网络客户端810和其他客户端应用808，诸如消息传递应用、电子邮件(email)应用、新闻应用等。在一些实施例中，如果社交网络客户端810存在于客户端设备804中，则社交网络客户端810被配置为本地提供针对应用的用户界面并且根据需要与社交
网络服务器812传送本地不可用的数据和/或处理能力(例如，访问用户简档、认证接收者602、识别或定位其他的连接的接收者602等)。相反地，如果社交网络客户端810未被包含在客户端设备804中，则客户端设备804可以使用网络浏览器806来访问社交网络服务器812。
86.除了客户端设备804之外，社交网络服务器812与一个或多个数据库服务器826和数据库816-224通信。在一个示例性实施例中，社交网络服务器812被通信地耦合到成员活动数据库816、社交图数据库818、成员简档数据库820、工作发布数据库822和消息数据库824。数据库816-224可以被实现为一种或多种类型的数据库，包括但不限于：层级数据库、关系数据库、面向对象的数据库、一个或多个平面文件或者其组合。
87.成员简档数据库820存储关于已经在社交网络服务器812上注册的用户的用户简档信息。关于成员简档数据库820，成员可以是个体的人或组织，诸如公司、企业、非营利组织、教育机构或者其他这样的组织。
88.在一些示例性实施例中，当接收者602最初注册成为由社交网络服务器812提供的社交网络服务的成员时，接收者602被提示以提供一些个人信息，诸如姓名、年龄(例如，出生日期)、性别、兴趣、联系信息、家乡、地址、配偶和/或家庭用户的姓名、教育背景(例如，学校、专业、入学和/或毕业日期等)、工作经历(例如，工作的公司、针对相应工作的受雇时间、职位头衔)、专业行业(在本文中也被简称为“行业”)、技能、专业组织等。该信息例如被存储在成员简档数据库820中。类似地，当组织的代表最初向由社交网络服务器812提供的社交网络服务注册所述组织时，可以提示所述代表提供关于所述组织的特定信息，诸如公司行业。
89.当成员与由社交网络服务器812提供的社交网络服务进行交互时，社交网络服务器812被配置为监视这些交互。交互的示例包括但不限于：评论其他成员输入的帖子、查看用户简档、编辑或查看成员自己的简档、在社交网络服务之外共享内容(例如，由社交网络服务器812之外的实体提供的文章)、更新当前状态、发布内容以供其他成员查看和评论、发布针对成员的工作建议、搜索工作发布以及其他这样的交互。在一个实施例中，这些交互的记录被存储在用户活动数据库816中，用户活动数据库816将由成员进行的交互与被存储在用户简档数据库820中的他的或她的用户简档相关联。
90.工作发布数据库822包括由公司提供的工作发布。每个工作发布包括与工作相关的信息，诸如雇主、职位头衔、工作描述、针对工作发布的要求、工资和福利、地理位置、所需的一项或多项工作技能、工作发布被发布的日期、搬迁福利等的任意组合。此外，消息数据库824存储消息和对消息的响应。
91.尽管(一个或多个)数据库服务器826被图示为单个框，但是本领域普通技术人员将认识到(一个或多个)数据库服务器826可以包括一个或多个这样的服务器。因此，并且在一个实施例中，由社交网络服务实现的(一个或多个)数据库服务器826还被配置为与社交网络服务器812进行通信。
92.图9是根据一些示例性实施例的用于将接收者响应分类到可能的响应类别的有限集合中的一个可能的响应类别的方法900的流程图。尽管在该流程图中的各种操作是按顺序呈现和描述的，但是普通技术人员将意识到，可以以不同的次序执行、组合或省略或并行执行所述操作中的一些或全部操作。
93.操作902用于使得在第一用户界面(ui)中呈现从发送者到接收者的消息。所述消
息包括针对来自接收者的响应的请求，并且第一ui包括以下响应选项：用于选择第一分类的第一按钮、用于选择第二分类的第二按钮，以及用于输入自由文本的文本输入字段。
94.从操作902，方法900流向操作904，用于接收接收者响应，所述接收者响应包括对以下项的选择：(a)第一按钮或第二按钮，以及(b)在文本输入字段中输入的自由文本消息。
95.在操作906处，基于所述自由文本消息和所述选择来生成特征化的接收者响应向量。
96.从操作906，所述方法流向操作908，其中，接受机器学习(ml)模型基于所述特征化的接收者响应向量根据多个分类值来计算接收者响应的分类值。
97.从操作908，方法900流向操作910，用于在针对发送者的第二ui中呈现针对消息的指示符和计算出的分类值，其中，在第二ui中的呈现基于所述计算出的分类。
98.在一个示例中，所述接受ml模型是由ml程序基于训练数据来生成的，所述训练数据包括以下中的一项或多项：(a)关于对请求的接收者响应的信息，所述接收者响应包括文本响应和按钮选择，以及(b)对所述请求的响应的分类值。
99.在一个示例中，方法900还包括基于接收者对请求的响应来生成训练数据，生成所述训练数据包括：在第三ui中重新发送请求来自接收者的响应的消息；使得接收者能够选择第一分类或第二分类中的一项；以及在所述训练数据中添加关于请求响应的消息和接收者的选择的信息。
100.在一个示例中，所述接受ml模型基于以下项的特征，包括：对接收者的请求；对请求的响应；对请求的响应的文本嵌入；以及对请求的响应的分类值。
101.在一个示例中，所述特征还包括以下中的一项或多项：用户简档信息、与请求相关联的信息以及关于与所述请求相关联的公司的信息。
102.在一个示例中，生成所述特征化的接收者响应向量包括：利用自然语言处理器基于所述自由文本消息的语义含义来生成所述特征化的接收者响应向量。
103.在一个示例中，所述第一分类是接受所述请求，而所述第二分类是拒绝所述请求。
104.在一个示例中，在第二ui中的呈现还包括：在所述第二ui中提供针对接受的请求的第一文件夹和针对拒绝的请求的第二文件夹。
105.在一个示例中，所述消息是来自招聘者的、对就业机会的请求。
106.在一个示例中，所述消息是以下中的一项：待售产品的报价、待售服务的报价、或者调查。
107.另一个一般方面是一种系统，所述系统包括具有指令的存储器和一个或多个计算机处理器。所述指令当由所述一个或多个计算机处理器运行时使得所述一个或多个计算机处理器执行包括以下的操作：使得在第一用户界面(ui)中呈现从发送者到接收者的消息，所述消息请求来自接收者的响应，所述第一ui包括响应选项，所述响应选项包括：用于选择第一分类的第一按钮；用于选择第二分类的第二按钮；以及用于输入自由文本消息的文本输入字段；接收包括对以下项的选择的接收者响应：(a)第一按钮或第二按钮，以及(b)在文本输入字段中输入的自由文本消息；基于所述自由文本消息和所述选择来生成特征化的接收者响应向量；由接受机器学习(ml)模型基于所述特征化的接收者响应向量根据多个分类值来计算接收者响应的分类值；并且在针对发送者的第二ui中呈现针对所述消息的指示符和计算出的分类值，其中，在所述第二ui中的所述呈现基于所述计算出的分类值。
108.在又一个一般方面中，一种机器可读存储介质(例如，非暂时性存储介质)包括指令，所述指令当由机器运行时使得所述机器执行包括以下的操作：使得在第一用户界面(ui)中呈现从发送者到接收者的消息，所述消息请求来自所述接收者的响应，所述第一ui包括响应选项，所述响应选项包括：用于选择第一分类的第一按钮；用于选择第二分类的第二按钮；以及用于输入自由文本消息的文本输入字段；接收包括对以下项的选择的接收者响应：(a)第一按钮或第二按钮，以及(b)在文本输入字段中输入的自由文本消息；基于所述自由文本消息和所述选择来生成特征化的接收者响应向量；由接受机器学习(ml)模型基于所述特征化的接收者响应向量根据多个分类值来计算接收者响应的分类值；并且在针对发送者的第二ui中呈现针对所述消息的指示符和计算出的分类值，其中，在所述第二ui中的所述呈现基于所述计算出的分类值。
109.图10是图示了机器1000的示例的框图，在机器1000上或者通过机器1000可以实现或控制在本文中所描述的一个或多个示例性过程实施例。在替代实施例中，机器1000可以作为独立设备来操作或者可以被连接(例如，联网)到其他机器。在联网部署中，机器1000可以在服务器-客户端网络环境中以服务器机器、客户端机器或者这两者的能力来操作。在示例中，机器1000可以充当对等(p2p)(或者其他分布式)网络环境中的对等机器。此外，尽管仅图示出了单个机器1000，但是术语“机器”也应当被视为包括个体地或联合地运行一组(或多组)指令以执行在本文中所讨论的方法中的任意一种或多种方法的机器的任意集合，诸如经由云计算、软件即服务(saas)或者其他计算机集群配置。
110.如在本文中所描述的，示例可以包括逻辑单元、多个组件或机制或者可以由其来操作。电路是在包括硬件(例如，简单电路、门、逻辑单元)的有形实体中实现的电路集合。电路成员可以是随着时间和潜在硬件变化性而灵活的。电路包括在操作时可以单独或组合执行指定操作的成员。在示例中，电路的硬件可以被不变地设计为执行特定操作(例如，硬连线)。在示例中，所述电路的硬件可以包括可变地连接的物理组件(例如，执行单元、晶体管、简单电路)，包括物理地修改(例如，磁、电、通过不变质量颗粒的可移动放置)以编码具体操作的指令的计算机可读介质。在连接所述物理组件时，硬件构成的基本电气属性被改变(例如，从绝缘体到导体，或者反之亦然)。所述指令使得嵌入式硬件(例如，执行单元或加载机制)能够经由可变连接在硬件中创建电路的成员，以在操作时执行特定操作的部分。因此，当设备正在运行时，所述计算机可读介质被通信地耦合到电路的其他组件。在示例中，任何物理组件都可以被用于多于一个电路的多于一个成员中。例如，在操作中，执行单元可以在一个时间点处在第一电路系统的第一电路中使用，并且在不同的时间由第一电路系统中的第二电路或者由第二电路系统中的第三电路来重新使用。
111.机器(例如，计算机系统)1000可以包括硬件处理器1002(例如，中央处理单元(cpu)、硬件处理器核心或者其任意组合)、图形处理单元(gpu)1003、主存储器1004和静态存储器1006，其中的一些或全部可以经由互连(例如，总线)1008彼此通信。机器1000还可以包括显示设备1010、字母数字输入设备1012(例如，键盘)和用户界面(ui)导航设备1014(例如，鼠标)。在示例中，显示设备1010、字母数字输入设备1012和ui导航设备1014可以是触摸屏显示器。机器1000可以另外包括大容量存储设备(例如，驱动单元)1016，信号生成设备1018(例如，扬声器)，网络接口设备1020以及一个或多个传感器1021，诸如全球定位系统(gps)传感器、指南针、加速度计或者其他传感器。机器1000可以包括输出控制器1028，诸如
串行(例如，通用串行总线(usb))、并行或者其他有线或无线(例如，红外(ir)、近场通信(nfc))连接以与一个或多个外围设备(例如，打印机、读卡器)进行通信或者对其进行控制。
112.大容量存储设备1016可以包括机器可读介质1022，在机器可读介质1022上存储有一组或多组数据结构或指令1024(例如，软件)，其体现在本文中所描述的技术或功能中的任意一种或多种技术或功能或者由其使用。在机器1000执行指令1024期间，指令1024还可以完全地或者至少部分地驻留在主存储器1004内、在静态存储器1006内、在硬件处理器1002内或者在gpu 1003内。在示例中，硬件处理器1002、gpu 1003、主存储器1004、静态存储器1006或者大容量存储设备1016之一或者其任意组合可以构成机器可读介质。
113.尽管机器可读介质1022被图示为单个介质，但是术语“机器可读介质”可以包括单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)，其被配置为存储一个或多个指令1024。
114.术语“机器可读介质”可以包括能够存储、编码或者承载用于由机器1000执行的指令1024并且使得机器1000执行本公开的技术中的任意一种或多种技术的任意介质，或者能够存储、编码或承载由这样的指令1024使用或者与之相关联的数据结构的任意介质。非限制性机器可读介质示例可以包括固态存储器以及光和磁介质。在示例中，大量机器可读介质包括机器可读介质1022，其包括具有不变(例如，静止)质量的多个颗粒。因此，大量机器可读介质不是瞬时传播信号。大量机器可读介质的具体示例可以包括非易失性存储器，诸如半导体存储设备(例如，电可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom))和闪存设备；磁盘，诸如内部硬盘和可移动盘；磁光盘；以及cd-rom和dvd-rom盘。
115.指令1024还可以经由网络接口设备1020使用传输介质在通信网络1026上发送或接收。
116.在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。尽管一种或多种方法的个体操作被图示和描述为单独的操作，但是所述个体操作中的一个或多个可以同时地执行，并且不需要按所图示的次序来执行所述操作。在示例性配置中作为单独组件呈现的结构和功能可以被实现为组合的结构或组件。类似地，被呈现为单个组件的结构和功能可以被实现为单独的组件。这些和其他变化、修改、添加和改进落入本文中的主题的范围之内。
117.以充分的细节描述了在本文中所例示的实施例以使得本领域技术人员能够实践所公开的教导。可以使用其他实施例并且从中导出其他实施例，从而可以在不背离本公开的范围的情况下进行结构和逻辑替换和改变。因此，详细描述不应当被理解为限制性的，并且各种实施例的范围仅由随附的权利要求以及这样的权利要求所赋予的等效物的全部范围来限定。
118.如在本文中所使用的，术语“或”可以被解释为包含性或排他性。此外，可以为本文被描述为单个实例的资源、操作或结构提供多个实例。另外，在各种资源、操作、模块、引擎和数据存储之间的边界在某种程度上是任意的，并且在特定例示性配置的上下文中示出了特定操作。功能的其他分配被设想到并且可以落入在本公开的各种实施例的范围之内。一般而言，在示例性配置中作为单独资源呈现的结构和功能可以被实现为组合的结构或资源。类似地，被呈现为单个资源的结构和功能可以被实现为单独的资源。这些和其他变化、修改、添加和改进落入在由随附的权利要求表示的本公开的实施例的范围之内。因此，说明
书和附图被认为是例示性的而非限制性的。