发展中的事件特定的临时知识图
背景技术:1.随着诸如智能电话和智能手表的互联网启用的设备的激增,关于新发展中的或“实况”事件的信息由目击者使用诸如社交媒体帖子、搜索引擎查询、数字图像帖子等的实况数据流来传播日益常见。这常常甚至发生在由传统新闻媒体发布此类信息之前。称为“知识图”的数据结构可以例如由搜索引擎使用来管理关于实体的知识和实体之间的关系。实体可以是人、地点或事物(例如,事件)。一些知识图可以包括表示实体的节点和表示实体之间的关系的边。然而,对于诸如体育事件、灾难、抗议等的发展中的事件,知识图可能未被实时地更新以反映当前信息。因为可能有传达关于发展中的事件的信息的大量实况数据流,所以可能从多个源接收到重复和/或矛盾数据。
技术实现要素:2.本文中描述了用于从多个实况数据流收集关于发展中的事件的信息并且将关于发展中的事件的多条新信息推送给感兴趣的个人或“订阅者”的技术和框架。更特别地,本文中描述了用于例如在通用知识图之上构建和/或更新“事件特定的临时知识图”的技术。类似于通用知识图,该事件特定的临时知识图可以将个人发布的信息组织成实体节点和边。然而,事件特定的临时知识图如同其名称暗示的那样,在性质上可以是“临时的”或“短暂的”,因为通过其节点中的至少一些节点表示的实体和/或关系可能仍未被视为充分地确证或验证以供包括在通用知识图中。因此,那些未经确证和/或未经验证的实体和/或关系可以通过事件特定的临时知识图的实体节点和/或边来表示,该实体节点和/或边至少在发展中的事件的开始之后的一定时间内不存在于通用知识图中。换句话说,通用知识图在具有关于发展中的事件的信息方面可能滞后于事件特定的临时知识图。
3.该事件特定的临时知识图提供功能数据,该功能数据可以被利用核对、去重复和传播与和通用知识图相关联的现有数据有关的信息。事件特定的临时知识图结合通用知识图使计算设备能够自动地识别并输出与实体相关联的事件特定数据。提供与实体相关联的不同知识图可以,例如,允许计算设备以适当的格式自动地呈现与实体相关联的事件特定信息。
4.可以例如向已经表达了兴趣的用户传播信息,个人发布的关于诸如灾难、体育事件、抗议、集会(自发的或另外的)等的发展中的和/或实况事件的信息。例如,随着有新闻价值的事件展开,可以分析诸如来自目击者或声称了解事件的其他人的社交媒体帖子的实况事件流以识别与事件相关联的一个或多个实体。尽管事件它本身可能最终在通用知识图中被表示为实体节点,但是在通用知识图被更新之前可能有一定延迟。在这样的更新之前,可以至少例如通过一个或多个实体节点或实体节点之间的边在事件特定的临时知识图中临时表示发展中的事件。所提供的数据结构允许在信息被更新之前提供与事件有关的信息。另外或替代地,可以期望事件特定信息是临时的并且所提供的数据结构可以提供能够被用于在不用修改现有存储的数据的情况下输出信息的临时结构。在一些实施方式中,事件特定的临时知识图可以对所有个人可用,或者至少对多个个人可用。它不一定与任何特定个
人相关联。
5.在一些实施方式中,可以爬取多个实况数据流以识别与发展中的事件相关的实况数据流的子集。然后可以使用各种数据处理流水线来处理来自实况数据流的子集中的每一个子集的内容,以填充事件特定的临时知识图,并且最终,以将关于发展中的事件的新信息传播给感兴趣的人(其可以被称为“事件订阅者”)。例如,这些数据处理流水线中的一个或多个可以被用于解析和/或自然语言处理(例如,以识别主题和/或实体)实况数据流,并且对来自多个数据流的数据进行合并和/或去重复以供并入到事件特定的临时知识图中。一旦被更新,事件特定的临时知识图就可以被查询,例如,周期性地或连续地,以确定关于传播给事件订阅者的事件的新信息。
6.可以以各种方式最初识别发展中的事件。在一些实施方式中,一个或多个个人可以向搜索引擎提交搜寻关于发展中的事件的信息的查询,诸如“is there a fire at the cathedral?(教堂着火了吗?)”或“why is a crowd gathering at times square?(为什么人群聚集在时代广场?)”。如果足够的查询,例如,语义上相关的查询的聚类证明新发展中的事件,则其可以触发对诸如社交媒体帖子的多个实况数据流的分析,以获得信息来填充事件特定的知识图。作为另一示例,可以在持续基础上分析诸如社交媒体帖子的多个实况流。类似于语义上相关的查询的聚类,如果识别了足够的语义上相关的帖子的数量或聚类,则那可以证明新发展中的事件。在其它实施方式中,可以监视例如来自诸如第一响应者的可信个人/组织的特定实况数据流是否有新发展中的事件。
7.可以选择特定个人来以各种方式从事件特定的临时知识图接收关于发展中的事件的更新—即“订阅”发展中的事件。在一些实施方式中,个人可以是发出了与发展中的事件有关的早期查询例如先前描述的那些查询(“is there a fire at the cathedral?”或“why is a crowd gathering at times square?”)的人之一。随着关于发展中的事件的更多信息被得知,并且事件特定的临时知识图被更新,个人可以接收到具有尚未被呈现给他们的信息的更新。更一般地,在一些实施方式中,发出关于发展中的事件的查询的个人,不管该个人的查询是否有助于发展中的事件的初始检测如何,都可以有效地使该个人“订阅”以随着更新变得可用而从事件特定的临时知识图接收它们。在其他情况下,个人可以订阅以例如基于那些个人的兴趣与发展中的事件的事件“类型”对齐自动地接收关于发展中的事件的更新。
8.在一些实施方式中,提供了一种方法,该方法包括:分析两个或更多个实况数据流;基于分析,识别与发展中的事件相关联的一个或多个实体,其中,该一个或多个实体形成包括多个实体节点和多个实体节点之间的多条边的通用知识图的一部分,其中,多个实体节点表示实体并且多条边表示实体之间的关系;基于所识别的一个或多个实体,构建或更新与发展中的事件相关联的事件特定的临时知识图,其中,该事件特定的临时知识图与通用知识图共享一个或多个实体节点,并且其中,该事件特定的临时知识图包括在通用知识图中找不到的一个或多个附加节点或边,这些附加节点或边传达所识别的一个或多个实体与发展中的事件之间的关系;并且响应于构建或更新,针对发展中的事件的新信息来查询事件特定的临时知识图;以及引起一个或多个计算设备渲染新信息作为输出。
9.本文中公开的技术的这些和其他实施方式可以任选地包括以下特征中的一个或多个特征。
10.在各种实施方式中,该方法进一步包括:接收搜寻与发展中的事件有关的信息的用户查询;以及基于用户查询分析实况数据流的超集以将所述两个或更多个实况数据流的集合识别为与发展中的事件相关。在各种实施方式中,该方法进一步包括:接收搜寻与发展中的事件有关的信息的用户查询;其中,查询包括基于用户查询来查询事件特定的临时知识图。在各种实施方式中,该方法进一步包括确定通用知识图不包括响应于用户查询的信息。在各种实施方式中,该分析响应于该确定。
11.在各种实施方式中,两个或更多个实况数据流包括来自发展中的事件的目击者的一个或更多个帖子。在各种实施方式中,该方法进一步包括基于分析检测发展中的事件。在各种实施方式中,该方法进一步包括基于分析确定发展中的事件的事件类型。在各种实施方式中,该引起包括:确定给定用户对接收关于具有事件类型的事件的信息感兴趣;以及基于确定给定用户感兴趣,向由给定用户操作的计算设备推送指示新信息的数据。在各种所述方式中,推送引起由给定用户操作的计算设备在一个或多个输出组件处渲染新信息,而不用给定用户显式地请求关于发展中的事件的新信息。在各种实施方式中,确定事件类型包括确定在通用知识图中找不到的一个或多个附加节点或边与和事件类型相关联的事件类型模板匹配。
12.其他实施方式可以包括非暂时性计算机可读存储介质,其存储可由一个或多个处理器(例如,中央处理单元(cpu)、图形处理单元(gpu)和/或张量处理单元(tpu)执行的指令以执行诸如上述和/或本文其他地方描述的一种或多种方法的方法。然而其他实施方式可以包括由一台或多台计算机的系统,其包括一个或多个处理器,其可操作以执行存储的指令,该指令用于执行诸如上文和/或本文中其他地方描述的一种或多种方法的方法。
13.应当理解,前述概念和本文中更详细描述的附加概念的所有组合都被设想为本文中公开的主题的一部分。例如,出现在本公开末尾的要求保护的主题的所有组合都被认为是本文中公开的主题的一部分。
附图说明
14.图1是其中可以实现这里公开的实施方式的示例环境的框图。
15.图2描绘了其中可以采用本文描述的技术以基于在多个实况数据流处检测到的语义相关数据来检测发展中的事件的示例场景。
16.图3描绘了在实况数据流和/或搜索引擎查询被分析以确定关于发展中的事件的附加信息时在事件已经被检测到之后的图2的示例场景。
17.图4示意性地图示可以如何部分地基于通用知识图来生成事件特定的临时知识图。
18.图5和图6描绘了可以如何采用本文中描述的技术来向个人提供关于发展中的事件的更新的示例。
19.图7描绘了配置有本公开的所选择的方面的示例数据处理流水线。
20.图8描绘图示用于实践本公开的所选择的方面的示例方法的流程图。
21.图9图示计算设备的示例架构。
具体实施方式
22.现在转向图1,图示了可以在其中实现本文中公开的技术的示例环境。该示例环境包括一个或多个客户端计算设备106。每个客户端设备106可以执行自动助理客户端108的相应实例,其在本文中也可以被称为自动助理的“客户端部分”。可以在经由通常在114指示的一个或多个局域网和/或广域网(例如,互联网)通信地耦合到客户端设备106的一个或多个计算系统(统称为“云”计算系统)上实现一个或多个基于云的自动助理组件119,其在本文中也可以被统称为自动助理的“服务器部分”。
23.在各种实施方式中,自动助理客户端108的实例,通过其与一个或多个基于云的自动助理组件119的交互的方式,可以形成从用户的角度看起来是为用户可以在人机对话中与其接洽的自动助理120的逻辑实例的东西。这样的自动助理120的一个实例在图1中以虚线描绘。因此应该理解,与在客户端设备106上执行的自动助理客户端108接洽的每个用户实际上可以与他或她自己的自动助理120的逻辑实例接洽。为了简洁和简单起见,本文中作为“服务”特定用户而使用的术语“自动助理”将指在由用户操作的客户端设备106上执行的自动助理客户端108和一个或多个基于云的自动助理组件119(其可以在多个自动助理客户端108当中被共享)的组合。
24.一个或多个客户端设备106可以包括,例如,以下中的一个或多个:台式计算设备、膝上型计算设备、平板计算设备、移动电话计算设备、用户的车辆的计算设备(例如,车载通信系统、车载娱乐系统、车载导航系统)、独立交互式扬声器(其在一些情况下可以包括视觉传感器)、诸如智能电视(或配备有带自动助理能力的联网加密狗的标准电视)的智能器具和/或用户的包括计算设备的可穿戴设备(例如,用户的具有计算设备的手表、用户的具有计算设备的眼镜、虚拟或增强现实计算设备)。可以提供附加和/或替代客户端计算设备。诸如独立交互式扬声器(或“智能扬声器”)的一些客户端设备106可以采取被主要设计来促进用户与自动助理120之间的对话的助理设备的形式。
25.如本文中更详细地描述的,自动助理120经由一个或多个客户端设备106的用户界面输入和输出设备参与与一个或多个用户的人机对话会话。在一些实施方式中,自动助理120可以响应于由用户经由客户端设备106中的一个客户端设备的一个或多个用户界面输入设备提供的用户界面输入而参与与用户的人机对话会话。在那些实施方式中的一些实施方式中,用户界面输入显式地针对自动助理120。例如,用户可以口头地提供(例如,键入、讲出)预先确定的调用短语,诸如“ok,assistant(好的,助理)”或“hey,assistant(嘿,助理)”,以使自动助理120开始主动地听或监视键入的文本。另外或替代地,在一些实施方式中,可以单独或与口头调用短语相结合地基于一个或多个检测到的视觉线索来调用自动助理120。
26.在许多实施方式中,自动助理120可以采用语音辨识处理来将来自用户的话语转换成文本,并且相应地例如通过提供搜索结果、一般信息和/或采取一个或多个响应动作(例如,播放媒体、启动游戏、订购食物等)对文本做出响应。在一些实施方式中,自动助理120能够另外或替代地在不将话语转换成文本的情况下对话语做出响应。例如,自动助理120能够将语音输入转换成嵌入、转换成实体表示(其指示存在于语音输入中的一个或多个实体)和/或其他“非文本”表示并且对这种非文本表示进行操作。因此,本文中描述为基于从语音输入转换的文本来操作的实施方式可以另外和/或替代地直接对语音输入和/或语
音输入的其他非文本表示进行操作。
27.客户端计算设备106和操作基于云的自动助理组件119的计算设备中的每一个可以包括用于存储数据和软件应用的一个或多个存储器、用于访问数据并执行应用的一个或多个处理器、以及促进通过网络的通信的其他组件。由客户端计算设备106和/或由自动助理120执行的操作可以跨多个计算机系统被分布。自动助理120可以被实现为例如在通过网络彼此耦合的一个或多个位置中的一个或多个计算机上运行的计算机程序。
28.文本到语音(“tts”)模块116可以被配置成将文本数据(例如,由自动助理120制定的自然语言响应)转换成计算机生成的语音输出。语音到文本(“stt”)模块117可以被配置成将捕获的音频数据转换成文本。在一些实施方式中,此文本(或替换地,其嵌入)然后可以被提供给自然语言处理器122。在一些实施方式中,stt模块117可以将语音的音频记录转换为一个或多个音素,然后将该一个或多个音素转换为文本。另外或替代地,在一些实施方式中,stt模块117可以采用状态解码图。
29.自动助理120(以及特别是基于云的自动助理组件119)可以包括前述tts模块116、前述stt模块117和在下面更详细地描述的其他组件。在一些实施方式中,自动助理120的模块中的一个或多个可以被省略、组合和/或实现在与自动助理120分开的组件中。在一些实施方式中,自动助理120的组件中的一个或多个,诸如自然语言处理器122、tts模块116、stt模块117等,可以被至少部分地实现在客户端设备106上(例如,把云排除在外)。
30.在一些实施方式中,自动助理120响应于由客户端设备106的用户在与自动助理120的人机对话会话期间生成的各种输入来生成响应内容。自动助理120可以(例如,在与用户的客户端设备分开时通过一个或多个网络)提供响应内容以供作为对话会话的一部分呈现给用户。例如,自动助理120可以响应于经由客户端设备106提供的自由形式自然语言输入来生成响应内容。如本文中所使用的,自由形式输入是由用户制定并且不局限于被呈现以供用户选择的选项组的输入。
31.如本文中所使用的,“对话会话”可以包括用户与自动助理120(以及在一些情况下,其他人类参与者)之间的一个或多个消息的逻辑自包含交换。自动助理120可以基于诸如以下的各种信号来区分与用户的多个对话会话:会话之间的时间流逝、会话之间的用户上下文(例如,位置、在预定会议之前/期间/之后等)的变化、对除用户与自动助理之间的对话以外的用户与客户端设备之间的一个或多个中间交互的检测(例如,用户切换应用一会儿,用户步行离开然后返回到独立语音激活的产品)、客户端设备在会话之间的锁定/休眠、用于与自动助理120的一个或多个实例接口的客户端设备的变化等。
32.自然语言处理器122可以被配置成处理由用户经由客户端设备106生成的自然语言输入并且可以生成注释的输出(例如,以文本形式)以供由自动助理120的一个或多个其他组件使用。例如,自然语言处理器122可以处理由用户经由客户端设备106的一个或多个用户界面输入设备生成的自然语言自由形式输入。所生成的注释的输出包括自然语言输入的一个或多个注释和自然语言输入的词语中的一个或多个(例如,全部)。在一些实施方式中,自然语言处理器122可以被配置成基于用户的自然语言输入最终地预测用户的意图。
33.在一些实施方式中,自然语言处理器122可以另外和/或替代地包括实体标记器(未描绘),该实体标记器被配置成注释一个或多个分段中的实体引用,诸如对人(包括例如文学角色、名人、公众人物等)、组织、位置(真实的和虚构的)等的引用。在一些实施方式中,
自然语言处理器122可以另外和/或替代地包括共指解析器(未描绘),该共指解析器被配置成基于一个或多个上下文线索分组或“聚类”对同一实体的引用。
34.在一些实施方式中,关于实体的数据可以被存储在一个或多个数据库中,诸如在通用知识图138(其是图1中的分开的知识系统130的一部分)中。在一些实施方式中,通用知识图138可以包括表示已知实体(在一些情况下为实体属性)的节点,以及连接节点并且表示实体之间关系的边。例如,“banana(香蕉)”节点可以(例如,作为子节点)被连接到“fruit(水果)”节点,该“fruit”节点又可以(例如,作为子节点)被连接到“produce(产品)”和/或“food(食物)”节点。作为另一示例,称作“hypothetical caf
é
(假想咖啡馆)”的餐馆可以通过也包括诸如其地址、所提供的食物类型、营业时间、联系信息等的属性的节点来表示。“hypothetical caf
é”
节点在一些实施方式中可以通过边(例如,表示子对父关系)被连接到一个或多个其他节点,诸如“restaurant(餐馆)”节点、“business(企业)”节点、表示餐馆所位于的城市和/或州的节点等。
35.履行模块124(也称为“查询处理器”或“解析模块”)可以被配置成接收由自然语言处理器122输出的预测/估计意图并且履行(或“解析”)该意图。在各种实施方式中,对用户的意图的履行(或“解析”)可以使各种履行信息(也称为“响应”信息或“解析信息”)例如由履行模块124生成/获得。在一些实施方式中,可以将履行信息提供给自然语言生成器(一些图中的“nlg”)126,其可以基于履行信息生成自然语言输出。
36.履行(或“解析”)信息可以采取各种形式,因为能够以各种方式履行(或“解析”)意图。假设用户请求纯信息,诸如“where were the outdoor shots of
‘
the shining’filmed?(
‘
闪灵’的户外镜头是在哪里拍摄的?)”用户的意图可以例如由意图匹配器135确定为搜索查询。搜索查询的意图和内容可以被提供给履行模块124,该履行模块如图1所描绘的那样可以与一个或多个搜索模块128通信,该一个或多个搜索模块被配置成为响应信息搜索例如知识系统130的文档的语料库和/或其他数据源(例如,知识图138等)。履行模块124可以向搜索模块128提供指示搜索查询的数据(例如,查询的文本、降维嵌入等)。搜索模块128可以提供响应信息,诸如gps坐标或其他更显式的信息,诸如“timberline lodge,mt.hood,oregon(林线客栈,胡德山,俄勒冈州)”。该响应信息可以形成由履行模块124生成的履行信息的一部分。
37.知识系统130可以包括一个或多个计算设备,诸如协同行动以汇编来自各种源的知识(例如,web爬取文档的数据库)并且提供向请求实体提供各种服务和信息的一个或多个服务器计算机(例如,刀片服务器)。知识系统130可以尤其作为搜索引擎,该搜索引擎提供对从个人和/或从自动助理120接收的搜索查询的响应信息(例如,搜索结果、直接响应信息、深度链接等)。知识系统130也可以执行各种其他服务,并且因此不限于图1中描绘的那些组件。
38.知识系统130可以包括先前提及的知识图138以及查询监视器132、实况流监视器134和/或临时知识图管理器(图1中的“prov.k.g.管理器”)136。在一些实施方式中,知识系统130可以尤其接收搜索查询并且提供响应信息。在各种实施方式中,查询监视器132可以被配置成监视提交给,例如,诸如知识系统130的搜索引擎的查询,并且对一起与彼此和/或与发展中的事件语义上有关的查询进行聚类。然后可以利用语义上相关的查询的聚类来向感兴趣的用户提供关于例如来自其他查询和/或来自实况数据流的发展中的事件的演变信
息。
39.如先前提及的,可能不从诸如通用知识图138的传统信息源或从由搜索引擎常常利用的其他数据源立即获得关于诸如灾难、犯罪、即兴集会(例如,抗议)、事故等的新发展中的事件的信息。相反,这些传统数据源往往滞后于诸如实况数据流的其他更敏捷源。因此,在各种实施方式中,实况流监视器134可以被配置成监视多个实况数据流以检测发展中的事件。
40.如本文中所使用的,“实况数据流”可以包括由一个或多个个人(例如,由诸如企业或政府组织的实体)生成的信息流,该信息流包括随着时间的推移而生成的多个更新。这些更新可以包括文本、图像、视频、音频记录或任何其他形式的用户创建的、用户策划的和/或用户编译的信息,这些信息能够被传播给能够访问这些实况数据流的其他个人。普遍形式的实况数据流更新是社交媒体帖子,其中发帖用户能够包括文本、音频数据、视频数据、图像数据、超链接、小程序等。
41.在图1中,例如,第一社交网络140可以例如从第一社交网络140的多个用户提供第一多个实况数据流1421‑
n
。每个实况数据流142可以由与第一社交网络140的社交媒体简档相关联的一个或多个人生成。类似地,第二社交媒体网络144可以例如从第二社交网络144的多个用户提供第二多个实况数据流142
n+1
‑
142
m
。n和m是正整数。虽然在图1中描绘了两个社交网络,但是这不意在为限制性的。各种类型的任何数量的社交网络可以提供实况数据流。
42.一些社交网络可以被设计成主要允许用户创建局限于一定数量的字符、单词、图像等的帖子,并且允许其他用户“关注”发帖用户,即使其他用户不亲自认识发帖用户也如此。例如,利用一些社交网络,许多用户可以关注(或订阅)更少量的“影响者”,这些“影响者”常常是名人或者是其他知名人士(例如,政治家、新闻记者)。这些影响者不太可能关注(或订阅)其关注者的实况数据流,除非那些关注者是影响者的个人熟人或者是其他影响者。通过一贯地传播关注者发现有吸引力或另外有价值的信息,影响者能够在一些情况下基于他们的社交媒体帖子赢得信誉和/或产生收入。
43.其他社交网络可以被设计成主要允许用户连接到(或者“成为朋友”)他们在真实生活中认识或遇见的其他用户。一旦被连接,用户就能够在社交媒体上与他们的“朋友”或“联系人”共享诸如文本、图像、视频、音频、超链接等的内容。这些其他社交网络可以由用户使用来在非正式基础上与朋友联系,和/或在更正式基础上与业务熟人联系(例如,类似于虚拟rolodex)。
44.尽管在图1中未描绘,但是与社交网络类似的其他系统也可以是实况数据流的源。例如,用户可能在视频共享网站上具有账户并且将视频发帖到视频共享网站。在一些情况下,这些视频共享网站可以允许用户订阅其他用户的视频更新,类似于先前描述的社交网络中的一些。因此,例如,定期地或周期性地发帖视频的特定用户实际上可以创建实况流。其他类似的网站被专门地设计成使得用户能够发帖图像,特别是散播想法、活动、构思、笑话、流行语或其他信息的媒体,通常称为互联网“模因(memes)”。
45.基于从查询监视器132和/或实况流监视器134获得的信息,临时知识图管理器136可以被配置成构建、管理和/或维护一个或多个事件特定的临时知识图139。在一些实施方式中。例如,在诸如“规则”或“通用”知识图138的更传统数据源被更新以包括关于发展中的
事件的信息之前,可以为特定发展中的事件构建每个事件特定的临时知识图139。例如,添加到事件特定的临时知识图139的信息可能不(同样严重地)受制于先前描述的报刊或其他标准。在一些实施方式中,事件特定的临时知识图139可以例如由临时知识图管理器136实现为通用知识图138顶上的层。
46.在一些实施方式中,给定的事件特定的临时知识图139在性质上可以是临时的或“短暂的”(因此,事件特定的临时知识图139在图1中以虚线被渲染)。在一些此类实施方式中,添加到事件特定的临时知识图139的信息可以最终被添加到知识图138,例如,一旦该信息被充分地确证。除事件特定的临时知识图139之外或替代其的任何信息(例如,事实)不能被确证或验证的程度,它可能最终被丢弃或以可验证的信息代替。
47.假设废弃的溜冰场倒塌,但是来自一个或多个目击者的初始实况流更新(例如,社交媒体帖子)将倒塌结构错误地识别为废弃的保龄球馆。在各种实施方式中,与发展中的事件相关联的位置或建筑将最初在事件特定的临时知识图139中被识别为保龄球馆。然而,当后面的信息与该事实矛盾并且正确地报告倒塌结构是溜冰场而不是保龄球馆时,可以被添加到事件特定的临时知识图139和/或在事件特定的临时知识图139内被更新以反映其“倒塌”的状态。
48.图2描绘本文中描述的技术可以例如由实况流监视器134采用以基于在多个实况数据流(例如,1421
‑
m)处检测到的语义相关的数据来检测发展中的事件的示例场景。图2示意性地描绘了城市的一部分的俯视图,其中黑线表示道路和从左上方向右下中间蜿蜒的河流。如火焰所指示的,在位于城市东部的教堂处已经爆发了火灾。
49.在该火灾的最早阶段中,例如,当它首次被一个或多个目击者检测到时,诸如知识图138或搜索引擎的传统数据源不可能将具有关于火灾的可用信息。在此时段期间,火灾能够被认为是正在通过多个源收集其信息的“发展中的事件”。这些源可以通过实况数据流传播此信息。实况流监视器134可以采用本文中描述的技术来确定新事件正在发展的可能性。如果可能性满足某个准则,诸如最小阈值,则实况流监视器134可以向临时知识图管理器136提供关于发展中的事件的“临时”信息。临时知识图管理器136可以将信息组织成事件特定的临时知识图139的节点和边,类似于在通用知识图138中找到的那些。随后,可以例如通过各种组件来查询事件特定的临时知识图139,以获得关于发展中的事件的信息。
50.在图2中,非常接近火灾的第一用户已向社交媒体发帖了“omg!there’s a fire at the cathedral!(天哪!教堂着火了!)”。另一附近的用户张贴“there must be ten fire trucks fighting the church fire!(必然有十辆消防车在扑灭教堂火灾!)”。又一附近的用户张贴“i hope the parishioners were able to escape the fire
…
(我希望教区居民能够逃离火灾
……
)”。在各种实施方式中,实况流监视器134可以分析多个实况流,包括这三个实况流,以确定发展中的事件很可能正在发生。实况流监视器134可以在句法上和/或语义上处理或者使另一系统在句法上和/或语义上处理这些实况数据流更新以确定它们是相关的。例如,实况流监视器134可以生成这些实况流更新的嵌入并且基于嵌入在潜在空间中聚类在一起的事实来确定它们是相关的。
51.在一些实施方式中,实况流监视器134可以在确定发展中的事件是否正在发生时考虑除实况流更新外的其他信息信号。例如,在图2中,实况流监视器134可以例如根据通过由三个不同用户操作的移动设备生成的位置坐标(例如,gps)确定三个用户彼此靠近。实况
流监视器134可以另外或替代地确定三个实况流更新在时间上接近,例如彼此在数分钟或甚至数秒钟内。结合他们的实况流更新的句法和/或语义相似性,实况流监视器134可以不仅确定发展中的事件正在展开,而且确定发展中的事件在接近于这三个用户的某处正在展开。除了刚刚提及的那些之外或替代刚刚提及的那些,还可以考虑其他信息信号,包括但不限于关于发帖用户的人口统计信息(例如,年龄、性别)、发帖用户的已知偏好或兴趣(例如,根据他们的在线简档来确定)、发帖用户的已知隶属关系(例如,母校、组织、雇主)等。
52.上述前三个发帖用户在图2中相对地靠近火灾。在一些实施方式中,他们的贴子可能足以按合理量的置信度确定发展中的事件(教堂火灾)正在发生。然而,空间上和/或时间上远离火灾的其他用户也可以利用潜在相关的信息更新他们的实况流。这些距离较远的用户可能不太直接了解火灾,而是替代地可能拥有火灾的情景知识。例如,在消防站以西几个街区的另一用户发帖“there are so many fire trucks headed downtown!(有这么多消防车开往闹市区!)”。该用户可能不知道特定的教堂正在着火,但是能够基于他或她观察到的救火车的轨迹来推测在闹市区某处有火灾。作为另一示例,河流以南的用户发帖“anyone know why there is smoke across the river?(有谁知道河对面为什么有烟雾?)”。再次,南边用户可能不知道哪些建筑着火,但是能够推测火灾正在发生。
53.距离较远的用户的实况流更新是否有用或多么有用可能取决于它们是否包括在来自(空间上或时间上)更接近于发展中的事件的用户的实况流更新中不可用的附加信息。假设西边用户的帖子“there are so many fire trucks headed downtown!(有这么多消防车开往闹市区!)”出现并且/或者在来自空间上更接近的用户的帖子“there must be ten fire trucks fighting the church fire!(必须有十辆消防车扑灭教堂火灾!)”之前被实况流监视器134检测到。西边用户的帖子可能发信号通知火灾很可能相对较大,然而来自其他两个空间上接近的用户的其他两个帖子(“i hope the parishioners
…
(我希望教区居民
……
)”和“omg!there’s a fire
…
(天哪!有火灾...)”)仅建立有火灾,而不是其潜在大小。
54.在一些实施方式中,可以认为特定实况数据流比其他的更可靠。在一些情况下,发帖到特别可靠的实况数据流的更新可以触发实况流监视器134在其他鲜为人知的实况数据流搜索附加信息。例如,在图2中,消防部门(“fd”)发布了它自己的实况流更新“code 12345@state and main”。假设“code 12345”对应于火灾,这样的帖子可能由于其来源为官方政府机构而不是鲜为人知的个人而被认为是高度可靠的。值得注意的是,该帖子不指示它是着火的教堂,而是替代地将位置简单地声明为“state and main”。假设在该区域中有其他建筑,可能无法单独根据消防部门的帖子推断出教堂着火。然而,当结合指示教堂着火的其他确证帖子时,实况监视器134可以变得非常确信教堂火灾的发展中的事件正在发生。尽管消防部门可能接收到假警报,所以甚至其帖子也可能不一定被实况流监视器134认为是结论性的或决定性的。
55.在一些实施方式中,实况流监视器134理所当然地可以监视各种实况流。例如,实况流监视器134可以连续地或周期性地监视被称为特别及时和/或可靠的实况流,诸如由第一响应者、记者、影响者、政府实体等生成的实况流。另外或替代地,实况流监视器134可以响应于各种事件而开始监视实况数据流142的某个集合。可以例如随机地从已知可靠的实况数据流中、从已知与发展中的事件具有某种空间或其他关系的实况数据流中等选择这些
实况数据流。
56.假设知识系统130接收到搜寻与发展中的事件有关的信息的用户查询,并且知识系统130不能在其传统数据源,诸如它已经爬取并索引的通用知识图138和/或文档中,找到响应信息。在一些这种实施方式中,查询监视器132可以确定新发展中的事件可能正在发生。查询监视器132可以通知实况流监视器134。实况流监视器134可以通过基于用户查询选择并监视/分析实况数据流142集以将两个或更多个实况数据流的子集识别为与发展中的事件相关来响应。
57.假设知识系统130接收到询问“who is rioting in times square?(谁在时代广场骚乱?)”的搜索查询。进一步假设在时代广场中发生的骚乱最近开始以致诸如由知识系统130索引/爬取的知识图138和/或文档的传统数据源尚未具有响应信息。例如由查询监视器132触发的实况流监视器134可以选择最可能提供关于该潜在发展中的事件的新信息的实况数据流集。例如,实况流监视器134可以选择包括由可能由第一手目击者操作的地理上接近于时代广场的计算设备对发展中的事件生成的最近更新的一个或多个实况流142。实况流监视器134另外或替代地可以选择已知与时代广场相关的其他实况数据流142,诸如由诸如地理上接近于时代广场或以其他方式与时代广场相关的企业、政府机构等(例如,商务部门、市政现场直播等)的实体生成的实况数据流142。
58.图3描绘在发展中的事件已经被建立(例如,发展中的事件是真实的的置信量度满足某个阈值)之后图2的示例场景。此时,可以分析实况数据流和/或搜索引擎查询以确定关于发展中的事件的附加信息。然后可以利用这些数据来向其他询问用户提供信息。尽管图3的事件时间上追随图2的事件,但是它们可能仍然是相对“新鲜的”,使得诸如知识图138和/或搜索引擎的常规信息源仍然未被充分地通知。
59.在图3中,北边用户提交搜索引擎查询“did the stain glass windows survive?(染色玻璃窗幸存?)”。该查询可以例如由查询监视器132确定为与发展中的教堂火灾事件语义上相关,例如,因为“染色玻璃窗”可能通常与教堂具有相对强的语义关系,并且单词“survive(幸存)”暗示某个破坏性事件例如火灾的发生。相对靠近火灾的另一用户问“how long did repairs to the cathedral take after the 1948fire?(在1948年火灾之后教堂修复花费了多长时间?)”。位于城市最南端的又一用户问“where there any injuries caused by tuesday’s fire?(周二的火灾造成了任何伤亡吗?)”。西南边的用户问“what caused the cathedral fire?(是什么造成了教堂火灾?)”。西边用户问“is the hypothetical crown still in the cathedral?(假想王冠还在教堂里吗?)”。这些查询中的任一个,无论它们是否仍然可由诸如搜索引擎或知识图138的常规数据源回答,都可以被利用来向感兴趣的用户快速地传播关于发展中的事件的新信息。
60.图4示意性地演示了依照各种实施方式的事件特定的临时知识图139可以如何与常规知识图138有关。在图4中,通用或常规知识图138包括多个实体节点和多个实体节点之间的多条边。多个实体节点可以表示实体并且多条边可以表示实体之间的关系。事件特定的知识图139也包括实体节点和边,但是比规则知识图138小得多。实际上,规则知识图138几乎肯定会比图4中描绘的远大得多。图4中描绘的知识图138的节点和边缘的有限数量仅用于说明性目的。
61.如先前描述的,诸如实况流监视器134和/或临时知识图管理器136的各种组件可
以分析两个或更多个实况数据流。基于该分析,可以识别与发展中的事件相关联的一个或多个实体。在一些实施方式中,一个或多个识别的实体可以形成通用知识图138的一部分和/或从通用知识图138中被识别,如图4中通过通用知识图138的阴影节点所描绘的。
62.基于经识别的一个或多个实体,可以构建与发展中的事件相关联的事件特定的临时知识图139(或者在它已经存在的情况下更新它)。如图4所示,事件特定的临时知识图139与通用知识图138共享一个或多个实体节点。然而,事件特定的临时知识图139包括在通用知识图138中找不到的一个或多个附加节点或边,诸如发展中的事件节点450。这些新节点和/或边可以传达经识别的一个或多个实体与发展中的事件之间的关系。
63.一旦事件特定的临时知识图139被创建,它就可以被用于各种目的。在一些实施方式中,可以查询事件特定的临时知识图139是否有关于发展中的事件的信息。例如,搜寻与发展中的事件有关的信息的用户查询可以例如由知识系统130接收。知识系统130可以确定通用知识图138不包括响应于用户查询的信息。在知识系统130通知查询用户响应信息尚未是可用的之前,知识系统130可以查询事件特定的临时知识图139关于发展中的事件的信息。假设事件特定的临时知识图139包括响应信息,知识系统130可以从事件特定的临时知识图139获得并返回此响应信息(在一些情况下与信息可能未被确证的注释或通知一起)。
64.在一些实施方式中,一旦事件特定的临时知识图139的一个或多个组件被充分地确证和/或验证,就可以将那些组件合并或以其他方式并入到通用知识图138中。另外或替代地,一旦事件特定的临时知识图139的一个或多个节点或边表示的事实和/或关系不再被需要或者不再有充足需求以保证保持事件特定的临时知识图139,它们可以被删除和/或被合并到通用知识图138的现有节点中。
65.个人可以以各种方式订阅关于发展中的事件的信息。在一些实施方式中,个人可以是发出了与发展中的事件相关的早期查询,例如图3中的那些查询(“did the stain glass windows survive?”或“what caused the cathedral fire?”)的人之一。随着例如从一个或多个实况数据流得知了关于发展中的事件的更多信息,可以更新与该发展中的事件相关联的事件特定的临时知识图139。随着事件特定的临时知识图139被更新,个人可以接收具有尚未被呈现给他们的信息的更新。更一般地,在一些实施方式中,发出关于发展中的事件的查询的个人,不管该个人的查询是否有助于发展中的事件的初始检测,都可以有效地使该个人“订阅”以随着更新变得可用而从事件特定的临时知识图接收它们。
66.图5
‑
6描绘了用户501可以如何订阅关于发展中的事件的信息并且稍后接收与关于发展中的事件的信息相关联的更新的示例。在图5中,客户端设备506采取独立交互式扬声器的形式。客户端设备506包括通常在这种客户端设备中找到的各种组件,诸如用于捕获用户501的话语的麦克风,在本文中未对其进行详细的描述。在图5中,用户501已经调用了自动助理120提出问题“tell me about the cathedral fire(告诉我关于教堂火灾的情况)”。知识系统130可能尚未具有关于最近的教堂火灾的信息,因此响应“many cathedrals and religious buildings have burned throughout history.what cathedral are you referring to?(从古至今许多教堂和宗教建筑已经烧毁了。你是指什么教堂?)”。
67.此时,知识系统130无法提供响应信息以供自动助理120提供。然而,在各种实施方式中,查询监视器132可以被设置成运动并且可以例如结合实况流监视器134,开始选择和/或分析提交给知识系统130的一个或多个实况数据流和/或查询以确定是否潜在地有与教
堂燃烧有关的发展中的事件展开。
68.在图5中,用户501响应“i’m talking about the fire that’s happening right now downtown(我说的是闹市区现在正在发生的火灾)”。该响应包含查询监视器132和/或实况流监视器134可以利用以在提供关于潜在发展中的事件的信息时更好地识别和/或分析实况数据流和/或查询的多条信息。特别地,现在清楚火灾很近(“现在正在发生”)并且它正在“闹市区”发生,这可以缩小到用户501附近的最近都市区域。查询监视器132和/或实况流监视器134可以选择最近在闹市区区域附近生成的查询和/或实况数据流以确定关于发展中的事件的信息。
69.根据从这些实况数据流获得的更新,临时知识图管理器136可以生成和/或更新与发展中的“教堂火灾”事件相关联的事件特定的临时知识图139。一旦此事件特定的临时知识图139被建立,它就可以随着从后续查询/实况流更新中发现新信息而被随后更新,并且能够被查询关于发展中的事件的附加信息。同时,自动助理说“ok,let me do some digging
…
(好的,让我来挖掘一下
……
)”。
70.例如,在图5中经过一定量的时间(几秒钟、几分钟等)之后,自动助理120主动地在而无需来自用户501的另外的调用的情况下,跟进关于发展中的事件的附加信息:“ok,here’s what i found:one source said that the fire has enveloped the nave.another source said the fire was caused by lighting.another source said one minute ago that the fire department is just arriving(好的,这是我找到的东西:一个源说火灾已笼罩了中殿。另一源说火灾是由照明引起的。另一源在一分钟前说消防部门刚刚到达)”。
71.值得注意的是,在一些实施方式中,如果特定实况流更新或查询识别发展中的事件中发生的一些发展的时间点或相对时间(例如,“仅仅”在更新中、“消防部门刚到达”),则自动助理120或另一组件,例如临时知识图管理器136、实况流监视器134等,可以添加附加时间说明(例如,“一分钟前”),使得用户501更好地了解所谓的发展何时发生,或至少事件的实况流更新何时发生。类似地,如果实况流更新或查询提供一些相对地理信息(例如,“跨过河流”、“在我的建筑中”等),则自动助理120和/或另一组件可以识别源的位置(例如,使用gps坐标)并且使用那个来提供关于源帖子的上下文的附加信息,诸如“one source located south of the river said there’s a lot of smoke across the river(位于河流以南的一个源说在河流对面有许多烟雾)”。
72.图6描绘了相同用户501可以如何稍后,例如,在用户501最初询问发展中的事件的与自动助理120的对话会话之外接收关于发展中的事件的更新的示例。在图6中,用户501正在采取“智能”电视的形式的客户端设备606上观看电视,该“智能”电视例如在本地配置有自动助理客户端108和/或安装有助理配置的加密狗。在任何一种情况下,自动助理120被推送或者请求来自与教堂火灾事件相关联的事件特定的临时知识图139的更新。当新信息被确定时,用户501从自动助理120接收更新。例如,在图6中,自动助理120主动地并在不用用户501请求它的情况下,提供覆盖在客户端设备606上渲染的内容的视觉输出,“the cathedral fire has been 90percent contained(教堂火灾已被90%控制)”。
73.在各种实施方式中,除提交关于事件的搜索查询的那些个人外,个人可以订阅以响应于其他发生事件而接收关于发展中的事件的更新。在一些实施方式中,发展中的事件
的事件类型可以被用于确定是否订阅特定个人。例如,一些个人可能对政治抗议感兴趣。当新发展中的事件例如由查询监视器132和/或实况流监视器134检测到,并且被估计(例如,由临时知识图管理器136)为政治抗议时,对政治抗议感兴趣的那些个人中的至少一些个人可以订阅以自动地接收更新。其他信号可能影响这样的决定,诸如与发展中的事件的接近度和/或发展中的事件的范围。例如,俄勒冈州对政治抗议感兴趣的个人可能不一定对诸如肯塔基州的遥远州的政治抗议感兴趣,尤其是如果那些抗议的范围仅限于肯塔基州政治。相比之下,同一个人可能对附近的政治抗议感兴趣,即使那些抗议的范围仅限于俄勒冈州政治也如此。并且同一个人可能对全国范围的遥远抗议,诸如在华盛顿特区或与国家政治而不是地方或地区政治有关的其它地方的抗议感兴趣。
74.可以以各种方式预测/估计发展中的事件的事件类型。在一些实施方式中,一个或多个实况数据流可以例如由临时知识图管理器136分析,如先前描述的那样以解析并分析关于发展中的事件的数据。这种分析可以包括将数据与一个或多个“事件类型模板”进行比较。事件类型模板可以与特定事件类型,例如抗议、暴动、灾难、体育事件、音乐会、政治集会、犯罪行为、恐怖袭击等相关联。事件类型模板可以包括与通常与特定事件类型相关联的预期事件类型数据点相关联的“槽”。例如,体育事件类型模板可以包括用于“分数”、“球员”、“教练”、“出场”、“团队”以及在与体育事件有关的社交媒体帖子中通常找到的其他数据点的槽。“建筑火灾”事件类型模板可以包括用于“火灾”、“火焰”、“烟雾”、“救火车”、“ems”、“软管”以及在与建筑火灾有关的社交媒体帖子中通常找到的其他数据点的槽。
75.在一些实施方式中,除了事件类型模板的之外或替代事件类型模板,事件特定的临时知识图139和/或指示其组成实体/边的数据可以作为输入跨诸如支持向量机、神经网络、图神经网络、图卷积网络、图注意力网络等的一个或事件类型机器学习模型被应用。这样的机器学习模型可以被训练以生成预测事件的事件类型的输出。例如,可以使用各自包括从已知事件类型的事件中提取的多个特征的训练示例来训练神经网络。每个训练示例可以被标记有对应的事件类型。机器学习模型的损失函数可以是通过跨模型应用训练示例而生成的模型输出与指配给训练示例的标签之间的差。然后损失函数可以被用于训练模型,例如,使用诸如梯度下降、反向传播等的技术。
76.在一些实施方式中,单个机器学习模型可以生成表示事件具有多种不同事件类型的多个概率的多个输出。在一些这种实施方式中,可以选择具有最高概率的事件类型作为发展中的事件的推定事件类型。另外或替代地,在一些实施方式中,可以单独地训练多个机器学习模型或分类器以生成指示特定事件类型的输出。
77.在其他实施方式中,发展中的事件的特征可以作为输入跨机器学习模型被应用以生成语义上丰富的潜在空间嵌入。该嵌入与潜在空间中的其他“参考”嵌入的距离可以指示嵌入与那些参考嵌入的相似性。如果那些附近的参考嵌入是从特定类型的发展中的事件被生成的,则新嵌入—并且因此,从其生成它的发展中的事件—可以被估计为相同种类的事件。
78.在一些实施方式中,发展中的事件及其事件特定的临时知识图139可以被指配多个候选事件类型,每个候选事件类型具有作为正确事件类型的对应概率。随着关于发展中的事件得知了更多信息并且事件特定的临时知识图139被更新,这些概率可以改变。例如,发展中的事件可以最初被分类为最可能是政治抗议,但是也潜在地被分类为政治集会或骚
乱。然而,随着事件中的参与者变得激动和/或暴力,发展中的事件可以被重新分类为最可能是暴乱(或者在确定了事件作为政治集会开始但演变成暴乱的情况下被分类为政治集会和暴乱两者)。在一些这种实施方式中,个人最初可以接收关于发展中的事件的更新,因为发展中的事件被分类为个人感兴趣的事件类型。然而,一旦发展中的事件被重新分类为个人不感兴趣的不同事件类型,则个人可以被取消订阅接收关于发展中的事件的更新。
79.图7描绘了可以由各种实施方式中的知识系统130实现的数据处理流水线700。数据处理流水线700的组成组件可以跨查询监视器132、实况流监视器134、临时知识图管理器136和/或知识系统130中的与图1中描绘的那些组件不同的一个或多个组件被分布。
80.在各种实施方式中,爬取器/解析器760可以被配置成爬取实况数据流142的各种源,诸如社交网络140/144,以识别和/或选择可以包括与考虑中的发展中的事件有关的信息的实况数据流。例如,假设知识系统130接收到关于太新鲜而尚未未被记录在通用知识图138中的事件的初始搜索查询。实况流监视器134和/或临时知识图管理器136可以识别实况数据流142和/或使用已知地理上接近于,例如,初始搜索查询中识别的位置和/或接近于由用于提交初始搜索查询的计算设备生成的坐标的计算设备提交的其他搜索查询。爬取器/解析器760然后可以解析通过每个识别的实况数据流接收的一个或多个文本更新(例如,社交媒体帖子)以为与发展中的事件的潜在相关性的信息。
81.在一些实施方式中,图像/视频子流水线761可以被配置成爬取和/或处理来自一个或多个实况数据流的非文本更新。这些非文本更新可以包括例如图像、视频、音频文件等。在图像(和/或视频)的情况下,可以使用诸如光学字符辨识、对象检测、面部辨识等的各种图像处理技术来识别在实况数据流上发布的图像中描绘的对象和/或文本。这些识别的对象和/或文本然后可以由下述流水线700的组件被分析,例如,以识别一个或多个实体,以确定关于图像中描绘的发展中的事件的信息等。在实况数据流上发布的音频数据的情况下,可以应用语音辨识处理来提取与发展中的事件信息有关的文本。
82.可以使用一个或多个自然语言处理(“nlp”)模型来分析由爬取器/解析器760生成的解析后的(并且在一些情况下注释的)输出和/或图像/视频子流水线761的输出以用于主题提取762和/或实体识别/链接764。用于主题提取762的nlp模型可以采取诸如概率潜在语义分析(“plsa”)模型、潜在狄利克雷分配(“lda”)、弹球盘分配等的统计模型的形式。用于实体识别/链接764的nlp模型可以采取与先前作为自动助理120的自然语言处理器122的一部分描述的“实体标记器”类似的形式。事实上,在一些实施方式中,可以将诸如自然语言处理器122和/或自然语言生成器126的基于云的自动助理组件119实现为知识系统130的一部分。在一些这种实施方式中,自然语言处理器122可以被用于既实现自动助理120又/或作为数据处理流水线700的一部分。
83.组件762和764的输出可以由去重器766处理以确保实体和/或关系在事件特定的临时知识图139内不重复。去重器766可以确定,例如,哪个信息是新信息和哪个信息是重复信息。例如,第一用户发帖实况流更新(例如,文本、图像、视频、音频等)并且然后该第一用户的关注者重新发帖相同更新使得他们自己的下游关注者能够看到它并不是少见的。然而,出于填充事件特定的临时知识图139的目的,重新发帖的更新对于获得新信息可能没有用,但是它可以被用于其他目的,诸如以确证或验证在重新发帖的更新中传达的信息。在一些这种情况下,重新发帖的数据可能被丢弃或以其他方式被忽视。
84.当接收到关于发展中的事件的更新时,个人订户可能不希望简单地接收反流的实况流更新。他们可能更喜欢从那些实况流更新中提取信息并以写实方式呈现。因此,可以提供用于句子概括的自然语言模型768,其例如与自动助理120的自然语言生成器126共享一个或多个特性。特别地,用于句子概括的自然语言模型768可以促进概括从一个或多个实况数据流接收的信息的句子(或更一般地,自然语言)的生成。
85.通知流传输器770和tts流传输器772通常可以被配置成向订阅了发展中的事件的个人提供关于发展中的事件的新信息,例如,以供作为渲染输出呈现在一个或多个客户端设备106上。在一些实施方式中,个人可以在任何时间点查询事件特定的临时知识图139关于发展中的事件的信息。相比之下,组件770和772可以被配置成将由流水线700的上游组件760
‑
766生成的新信息“推送”给订阅的个人,例如,使得新信息被“浮现”给那些个人,而不用他们必定具体地请求它。如本文中所是用,向个人“浮现”内容意味着,例如,以听觉方式和/或以视觉方式在由个人操作的一个或多个计算设备上输出该内容。在一些情况下,浮现可以指提供向个人呈现的通知(例如,卡片、弹出通知、音频警报等),而不管个人当前是否从事任务和/或甚至在操作客户端设备。例如,可以通过在智能电话或平板计算设备的起始或锁定屏幕上呈现“卡片”或者通过如先前关于图6所描述的那样将通知覆盖在电视屏幕上来向用户浮现信息。
86.通知流传输器770可以被配置成处理由流水线700的上游组件生成的解析后的和/或注释的内容,并且生成将主要以视觉方式被渲染在计算设备的显示器上的内容。该内容可以被呈现为卡片、弹出通知、横幅、彩带、列表等。
87.tts流传输器772可以被配置成处理从流水线700的上游组件生成的解析后的和/或注释的文本,并且将该文本转换成语音输出,该语音输出能够例如由自动助理120以听觉方式或以视觉方式提供给个人。在一些这种实施方式中,自动助理120可以随着关于发展中的事件的新信息进入和/或被确定为足够可靠而主动地提供这些语音输出更新,例如,而不用个人请求它们。
88.在一些实施方式中,tts流传输器772(或通知流传输器770)可以使用各种信号来确定关于发展中的事件要向特定个人浮现哪个信息和/或多少信息。例如,可以考虑由个人操作的计算设备的可用输出模态。驾驶配置有支持助理的计算系统的汽车的用户和/或在独立交互式扬声器附近的用户可用于以听觉方式例如经由扬声器接收通知。然而,音频通知在太频繁地提供的情况下或者在它们不包含新信息的情况下能够分散注意力或使人恼火。因此,组件770
‑
772可以给经由音频输出可到达的个人提供比例如可用于接收视觉更新的其他个人(例如,坐在计算机屏幕前面)不太频繁的更新。
89.可以由组件770
‑
772使用以确定关于发展中的事件向个人浮现多少实况流更新和/或是否向个人浮现实况流更新的其他信号包括但不限于当前与发展中的事件相关联的事件类型的置信度、用户偏好(通常且与特定发展中的事件类型有关)、过去的个人行为(他们先前拒绝了浮现的信息,或者请求比主动地浮现的信息更多的信息?)等。对于一些事件类型,诸如体育事件,订阅个人可能期望更频繁的更新,例如,每当某人得分、受伤、犯规等时。对于其他事件类型,诸如政治集会,个人可能希望接收不太频繁的更新。在一些实施方式中,只有当信息尚未被呈现给个人时和/或只有当信息来自被视为足够可靠的源时,才可以主动地向订阅个人浮现关于发展中的事件的信息。
90.在一些实施方式中,组件770
‑
772可以被配置成当事件类型已经改变时通知订阅者,例如,使得个人可以决定他们是否希望继续接收更新。例如,有政治头脑的订阅者可能接收到关于最初被分类为自发政治集会的发展中的事件的更新。然而,随着来自更多实况流和/或搜索查询的更多信息被分析,可以变得清楚的是,集会在性质上不是政治性的,而替代地是旨在激发特定体育团队的粉丝群的“鼓舞”集会。可以向那些有政治头脑的订阅者通知新事件类型,例如,使得他们能够在他们选取如此的情况下取消订阅。
91.在一些实施方式中,接收到关于发展中的事件的更新的个人可以能够,例如,使用语音输入或通过与图形用户界面交互来请求关于特定更新的源的信息。这可以使个人能够做出他或她自己的关于特定更新有多么可靠或不可靠的确定。在一些情况下,个人可以能够在分析来自源的后续实况流更新时提供关于该源的反馈,该反馈能够与该个人关联地或更广泛地跨人群被使用。例如,如果个人确定发展中的事件在它实际上为鼓舞集会时被错误表征为政治集会,则该个人能够标记导致该发展中的事件被分类为政治集会的一个或多个源,例如,使得那些源被“降级”(例如,对那些源的信任降低)前进。
92.图8是图示根据本文中公开的实施方式的示例方法800的流程图。为了方便,参考执行操作的系统来描述流程图的操作。该系统可以包括各种计算机系统的各种组件,诸如实现自动助理120的计算系统的一个或多个组件。此外,虽然以特定次序示出方法800的操作,但是这不意在为限制性的。可以重新排序、省略或添加一个或多个操作。
93.在框802,系统例如通过实况流监视器134和/或爬取器/解析器760的方式,可以分析两个或更多个实况数据流。如先前描述的,在一些实施方式中,系统可以选择被认为特别可靠和/或快速报告新信息的一组实况数据流142,诸如记者的实况流、第一响应者的实况流等。另外或替代地,在一些实施方式中,系统可以基于那些流的源推测地在发展中的事件附近来选择并开始监视两个或更多个实况数据流。
94.基于分析,在框804,系统可以识别与发展中的事件相关联的一个或多个实体。在各种实施方式中,一个或多个实体可以形成通用知识图138的一部分,如先前描述的,该通用知识图包括多个实体节点和多个实体节点之间的多条边,其中多个实体节点表示实体并且多条边表示实体之间的关系。在其他实施方式中,可以基于分析临时地识别推测的实体,即使那些推测的实体不能够立即与通用知识图138中的建立实体匹配。
95.基于经识别的一个或多个实体,在框806,可以与发展中的事件关联地构建事件特定的临时知识图139(或者在它已经被构建的情况下更新它)。如先前描述的,事件特定的临时知识图可以与通用知识图共享一个或多个实体节点,但是也可以包括在通用知识图中找不到的一个或多个附加节点或边,它们传达识别后的一个或多个实体与发展中的事件之间的关系。
96.在一些实施方式中,响应于框806的构建或更新,或者周期性地/连续地,在框808,系统可以查询事件特定的临时知识图139关于发展中的事件的新信息。在框810,系统例如通过通知流传输器770和/或tts流传输器772的方式,可以使一个或多个计算设备渲染新信息作为输出。
97.图9是示例计算设备910的框图,该示例计算设备910可以可选地用于执行本文中所描述的技术的一个或多个方面。计算设备910通常包括至少一个处理器914,其经由总线子系统912与多个外围设备通信。这些外围设备可以包括存储子系统924,包括例如,存储器
子系统925和文件存储子系统926;接口输出设备920;用户接口输入设备922以及网络接口子系统916。输入和输出设备允许用户与计算设备910交互。网络接口子系统916提供到外部网络的接口,并且被耦合到其他计算设备中的对应接口设备。
98.用户界面输入设备922可以包括键盘;诸如鼠标、轨迹球、触摸板或图形输入板的指向设备;扫描仪;并入到显示器的触摸屏;诸如语音辨识系统的音频输入设备;麦克风;以及/或其他类型的输入设备。通常,术语“输入设备”的使用旨在包括所有可能类型的设备以及将信息输入到计算设备910或通信网络中的方式。
99.用户界面输出设备920可以包括显示子系统、打印机、传真机或诸如音频输出设备的非视觉显示器。显示子系统可以包括阴极射线管(crt)、诸如液晶显示器(lcd)的平板设备、投影设备或其他用于创建可视图像的机制。显示子系统还可以诸如经由音频输出设备来提供非视觉显示。通常,术语“输出设备”的使用旨在包括所有可能类型的设备以及从计算设备910向用户或另一个机器或计算设备输出信息的方式。
100.存储子系统924存储提供本文中所描述的一些或全部模块的功能性的编程和数据构造。例如,存储子系统924可以包括执行图7的管线700的所选择的方面以及实现图1中描述的各种组件的逻辑。
101.这些软件模块通常由处理器914单独或与其他处理器结合执行。存储子系统924中使用的存储器925能够包括多个存储器,包括用于在程序执行期间存储指令和数据的主随机存取存储器(ram)930以及存储固定指令的只读存储器(rom)932。文件存储子系统926能够提供用于程序和数据文件的持久存储,并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、cd
‑
rom驱动器、光盘驱动器或可移动介质盒。实现某些实施方式的功能性的模块可以由在存储子系统924中的文件存储子系统926存储,或者被存储在处理器914可访问的其他机器中。
102.总线子系统912提供一种机制,其用于使计算设备910的各种组件和子系统按照预期相互通信。尽管总线子系统912被示意性地示出为单个总线,但是总线子系统的替代实施方式可以使用多个总线。
103.计算设备910能够是各种类型,包括工作站、服务器、计算集群、刀片服务器、服务器群或任何其他数据处理系统或计算设备。由于计算机和网络的不断变化的性质,图9中描绘的计算设备910的描述仅旨在作为用于说明一些实施方式的目的的特定示例。计算设备910的许多其他配置可能具有比图9中描绘的计算设备更多或更少的组件。
104.虽然已在本文中描述和图示了若干实施方式,但是可以利用用于执行功能并且/或者获得结果和/或本文中描述的优点中的一个或多个的各种其它手段和/或结构,并且这样的变化和/或修改中的每一个均被视为在本文中描述的实施方式的范围内。更一般地,本文中描述的所有参数、尺寸、材料和构造意在为示例性的,并且实际的参数、尺寸、材料和/或构造将取决于教导被用于的一个或多个具体应用。本领域的技术人员将认识到或者能够使用不超过例行实验来查明本文中描述的具体实施方式的许多等价形式。因此应当理解的是,上述实施方式仅作为示例被呈现,并且在所附权利要求及其等价形式的范围内,可以以不同于具体地描述和要求保护的方式实践实施方式。本公开的实施方式针对本文中描述的每个单独的特征、系统、物品、材料、套件和/或方法。另外,如果这样的特征、系统、物品、材料、套件和/或方法不是相互不一致的,则两个或更多个这样的特征、系统、物品、材料、套件
和/或方法的任何组合被包括在本公开的范围内。