使用音频流识别与当前播放的电视节目相关联的元数据的制作方法

本申请属于申请日为2014年3月13日的中国发明专利申请No.201480028082.9的分案申请

技术领域

本描述通常涉及被配置成呈现与播放的电视节目相关联的互联网可访问内容的系统、方法和设备。

背景技术：

视频内容有时包括提示观众采取与视频的内容有关的某个动作的听觉或视觉消息。例如，电视广告可以提示用户访问与广告的产品相关联的产品网站来获得有关产品的优惠券或信息。在另一示例中，在广播电视节目或电影期间，消息可能出现，提示观众访问网站来观看有关在电视节目或电影中描述或相关联的人物、地点或事物的信息。即使没有被提示，许多用户对与他们正观看的视频内容有关的人物、地点或事物感兴趣。通常，为获得与视频流相关的信息，用户需要使用上网功能的设备访问网站。现有的方法是低效的，因为它们要求用户采取观看体验外的某个动作。而且，许多观众可能错过或忽略提供有关视频内容的附加信息的音频消息和视觉消息，对许多观众来说，在观看视频内容的同时，不方便操作计算设备。

技术实现要素：

在此所述的方法和系统提供在用户观看视频内容的同时显示与视频内容相关的信息的高效方式。例如，可以在显示设备上显示有关茶的广告，当用户正观看该广告时，连接到显示设备的客户端设备解析隐藏字幕内容来获得信息集，将信息集发送到服务器，从服务器获得指令集并且根据接收的指令集来执行一个或多个功能。一个或多个功能显示有关隐藏字幕内容的信息。在该示例中，指令集包括执行一个或多个应用的指令，所述应用诸如显示具有有关特定类型或品牌的茶的网页的浏览器、示出有关制作茶的教学视频的媒体播放器、显示有关茶的文章的馈送阅读器应用或呈现作为广告的主题的茶的优惠券的优惠券簿应用的指令。当正播放广告时，执行一个或多个应用，并且在显示设备上，与广告一起同时显示一个或多个应用。

根据一些实现，提供系统和方法来显示信息。在客户端设备接收包括隐藏字幕的视频流。从隐藏字幕的内容确定信息集。将包括信息集的请求发送到远离客户端设备的服务器以便处理。从服务器接收指令集。指令集包括显示与信息集有关的信息的指令。响应于接收指令集，根据指令集来执行一个或多个应用。

根据一些实现，在服务器接收包括从视频流中的隐藏字幕内容提取的信息集的客户请求。从信息集识别一个或多个相关标识。确定与信息集相关联的指令集。将指令集发送到客户端。

本公开的另一方面包括一种方法的实现，包括在具有一个或多个处理器和存储将由一个或多个处理器执行的一个或多个程序的存储器的计算设备处：获得视频流，视频流包括音频描述数据；从音频描述数据确定信息集，其中信息集包括从音频描述数据取得的一个或多个符号或词；将包括信息集的请求发送到远离计算设备的服务器以便处理；从服务器接收指令集，其中指令集包括用于显示与信息集有关的内容信息的指令；以及响应于接收指令集并且根据指令集，基于内容信息的类型来执行一个或多个应用，其中一个或多个应用包括下述中的至少一个：Web浏览器、音乐应用、馈送阅读器应用、优惠券应用和内容观看器。

在一些实现中，该方法进一步包括格式化来自一个或多个应用的输出以与视频流的显示相邻地显示。

在一些实现中，信息集包括从音频描述数据取得的非语音信息。在一些实现中，信息集包括从音频描述数据提取的至少一个符号。在一些实现中，信息集包括从音频描述数据提取的至少一个句子。在一些实现中，与视频流并发地显示来自一个或多个应用的输出。

在一些实现中，在与计算设备同步的第二设备上并发地显示来自一个或多个应用的输出。

在一些实现中，从音频描述数据确定信息集包括应用语音识别技术来将音频内容转换成文本。在一些实现中，从音频描述数据确定信息集包括将音频描述数据转换成文本，而不播放音频描述数据使得音频描述数据能被听到。

在一些实现中，信息集包括从音频描述数据提取的至少一些文本。

在一些实现中，该方法进一步包括：传送发起包括在音频描述数据中的音频内容的播放的代码；记录音频内容的至少一部分；以及从记录的音频内容提取文本。

在本公开中，还提供用于执行上述方法的一个或多个步骤的计算系统和非瞬时计算机可读存储介质。

附图说明

因此，能更详细地理解本公开，参考各个实现的特征给出更特定描述，在附图中示出一些。然而，附图仅示出本公开的更相关特征，因此不视为限制，因为本说明书容许其他有效的特征。

图1是图示根据一些实现的分布式客户端-服务器系统的框图。

图2A是图示根据一些实现的示例性服务器系统的结构的框图。

图2B是图示根据一些实现的示例性广播系统的结构的框图。

图3是图示根据一些实现的示例性客户端设备的结构的框图。

图4是图示显示信息的过程的概述的流程图。

图5A、5B、5C、5D和5E是根据一些实现的示例性截屏。

图6是图示显示信息的过程的流程图。

图7是图示基于从隐藏字幕提取的信息集来确定指令集的过程的流程图。

图8是客户端-服务器环境的实现的图。

图9A是根据一些实现的电视显示的示例性截屏的示意图。

图9B是根据一些实现的电视显示和第二屏幕客户端设备(即平板电脑)的示意图。

图10是图示使用包括在节目数据中的音频描述数据来显示相关联的内容和信息的过程的概述的信号流图。

图11是使用包括节目数据中的音频描述数据来显示相关联的内容和信息的方法的实现的流程图表示。

图12是基于从音频描述数据提取的信息集来确定指令集的方法的实现的流程图表示。

根据一般实践，在图中所示的各个特征可以不按比例绘制。因此，为清楚起见，各个特征的尺寸可以任意地扩大或缩小。此外，图可以不描述给定系统、方法或设备的所有部件，因为为简化起见，未详尽地描述已知方法、部件和电路。最后，在整个说明书和图中，使用相同的参考数字来表示相同的特征。

具体实施方式

在此所述的各个实现包括能识别并且实时地呈现与在电视或显示器上并发播放的特定电视节目相关联的互联网可访问和/或基于互联网的功能、内容和/或服务作为交互电视技术套件的一部分的系统、方法和/或设备。在一些实现中，识别相关联的内容的过程包括分析包括在用于媒体(例如电视)节目的视频流数据中的隐藏字幕数据和音频描述数据中的至少一个。例如，本公开的一个方面是通过获得包括在用于媒体节目的视频流数据中的隐藏字幕数据和音频描述数据中的至少一个、从包括在视频流数据中的隐藏字幕数据和音频描述数据中的至少一个提取文本、基于提取的文本中的至少一些传送对信息的请求，以及显示响应于该请求接收的相关联的内容和/或信息，识别和呈现与媒体节目相关联的内容的方法。

在此描述许多细节以便提供在附图中所图示的示例性实现的全面理解。然而，在没有这些具体细节的情况下，也可以实施本发明。未以详尽地方式描述非常公知的方法、过程、部件和电路，以便不必要地混淆示例性实现的更相关方面。

图1是图示为一些实现而实现的分布式系统100的框图。客户端-服务器系统100包括：一个或多个客户端设备102、通信网络104、服务器系统106、显示设备108和广播系统128。服务器系统106通过通信网络104耦接到一个或多个客户端设备102和广播系统128。

广播系统128将视频流161广播到一个或多个客户端设备102。服务器系统106接收包含从隐藏字幕内容取得的信息集的请求，基于信息集来确定指令集并且将指令集发送到客户端设备102以便执行。当由客户端设备102执行时，指令集使客户端设备102显示与从视频流的隐藏字幕提取的信息集相关的信息。

根据一些实现，视频或视频流是表示具有运动中的对象的场景的一系列图像或帧。视频每秒显示多个图像或帧。例如，视频通常每秒显示30帧。相比而言，如在此单独使用的静态图像是静态或静止的，不包括如视频通常的运动或变化。在此的图像能包括或嵌入在更大图像或视频内。

隐藏字幕是指显示字幕文本来选择观众的成员的能力。隐藏字幕在出现时或通过稍微延迟(以逐字或编辑形式)通常显示节目的音频部分的转录，有时包括非语音元素。隐藏字幕中的术语“隐藏”指示不是所有观众能看到该字幕。仅选择解码或激活隐藏字幕的用户能观看它们。隐藏字幕与所有用户均能看到的开放式字幕相区分。隐藏字幕还与字幕相区分。字幕假定观众能听到但不能理解语言或口音，因此字幕仅转录对话和一些屏上文本。隐藏字幕用来向聋人和听力困难的人描述所有重要的音频内容，包括口语对话、音乐、声音效果和非语音信息，诸如说话者的身份和他们的说话方式。隐藏字幕有时由内容创建者或内容的广播者创建。

在一些实施例中，服务器系统106被实现为单一服务器系统，而在其他实现中，其被实现为多个服务器的分布式系统。仅为了说明方便，在下文中将服务器系统106描述为实现在单一服务器系统上。在一些实现中，广播系统128被实现为单一服务器系统，而在其他实现中，其被实现为多个服务器的分布式系统。仅为了说明方便，在下文中将广播系统128描述为实现在单一服务器系统上。

通信网络104可以是任何有线或无线局域网(LAN)和/或广域网(WAN)，诸如内联网、外联网或互联网。通信网络104提供一个或多个客户端设备102和服务器系统106之间的通信能力则足以。在一些实现中，通信网络104使用超文本传输协议(HTTP)来使用传输控制协议/网际协议(TCP/IP)来传输信息。HTTP允许客户端设备102访问经通信网络104可获得的各种资源。然而，各种实现不限于使用任何特定协议。

在一些实现中，服务器系统106包括便利服务器系统106和网络104之间的通信的前端服务器112。在一些实现中，前端服务器112被配置成接收对指令集的请求。在一些实现中，前端服务器112被配置成将指令集发送到发出请求的客户端设备102。在一些实现中，前端服务器112被配置成发送内容文件或/和指向内容文件的链接或内容文件。在该上下文中，术语“内容文件”是指任何格式的任何电子文件，包括但不限于视频文件、图像文件、音乐文件、Web页面、电子邮件消息、SMS消息、内容馈送、广告、优惠券、播放列表和XML内容文件。在一些实现中，前端服务器112还被配置成将视频流发送到客户端102。

内容馈送(或信道)是在馈送源提供呈现、新添加或新更新的内容项的列表的资源或服务。内容馈送中的内容项可以包括与项本身相关联的内容(内容项指定的实际内容)、标题(有时称为标题行)和/或内容的描述、内容的网络位置或定位符(例如URL)或其任意组合。例如，如果内容项识别文本文章，内容项可以包括内嵌的文章本身，以及标题(或标题行)和定位符。替选地，内容项可以包括标题、描述和定位符，但不包括文章内容。由此，一些内容项可以包括与那些项相关联的内容，而其他包含指向相关联的内容的链接，而不是项的整个内容。内容项还可以包括提供有关内容的另外的信息的另外的元数据。内容的版本可以是任何机器可读数据，包括但不限于网页、图像、数字音频、数字视频、可移植内容文件格式(PDF)内容文件等等。

在一些实现中，使用内容联合格式，诸如RSS，指定内容馈送。RSS是代表“丰富站点摘要”、“RDF站点摘要”或“真正简易聚合”的缩写。“RSS”可以是指基于用于指定内容馈送和包括在该馈送中的内容项的可扩展标记语言(XML)的格式系列中的任何一个。在一些其他实现中，诸如Atom联合格式或VCALENDAR日历格式的其他内容联合格式可以用来指定内容馈送。

在一些实现中，服务器系统106包括存储一个或多个相关标识和相关联的度量的标识数据库116。标识能表示人、地点或事物以及相关联的度量测量各个标识的重要性。在一些实现中，标识数据库116是分布式数据库。

在一些实现中，服务器系统106包括管理和检索在标识数据库116中存储的信息的识别模块114。识别模块114接收请求并且返回与该请求匹配的、标识数据库116中存储的标识。

在一些实现中，服务器系统106包括存储用户数据的用户数据库124。用于各个用户的用户数据包括用户标识符、相关联的内容文件和偏好。在一些实现中，用户数据库124是分布式数据库。

在一些实现中，服务器系统106包括内容数据库122。在一些实现中，内容数据库122存储视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈送、广告、优惠券、播放列表XML内容文件。在一些实现中，内容数据库122存储指向视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈送、广告、优惠券、播放列表XML内容文件的链接。在一些实现中，内容数据库122是分布式数据库。

在一些实现中，服务器系统106包括生成将由客户端设备102执行的指令集的指令模块118。指令模块118基于包含在请求220中的信息和/或用户数据库124中的信息来生成指令集。在一些实现中，指令模块118基于包含在请求中的信息集来选择一个或多个内容文件和/或指向一个或多个内容文件的链接。指令模块118将一个或多个内容文件和/或指向内容文件的一个或多个链接发送到前端服务器112，用于传输到发出请求的客户端设备102。

在一些实现中，用户经客户端设备102与服务器系统106交互。客户端设备102可以是能与通信网络104连接的任何适当的计算机设备，诸如台式计算机、膝上型计算机、平板设备、笔记本、互联网信息亭、个人数字助理、移动电话、游戏设备或能与服务器系统106通信的任何其他设备。客户端设备102通常包括一个或多个处理器、非易失性存储器，诸如硬盘驱动或闪速驱动以及显示器。在一些实现中，客户端设备102具有输入设备，诸如键盘和鼠标(如图3所示)。在一些实现中，客户端设备102具有用于输入的触摸屏显示器和/或麦克风。在一些实现中，客户端设备连接到投影仪。在一些实现中，客户端设备102连接到显示设备108。在一些实现中，客户端设备102包括显示设备108。换种方式说，在一些实现中，客户端设备和显示设备包含在单一设备中。在一些实现中，显示设备108是电视或屏幕，诸如LCD或LED显示器。

在一些实现中，客户端设备102从一个或多个广播系统128接收视频流126。在一些实现中，客户端设备102从有线电视输入、卫星接收机、从网络连接或从空中天线接收视频流。

图2A是图示根据本实现的一个实现的服务器系统106的框图。服务器系统106通常包括一个或多个处理单元(CPU)202、一个或多个网络或其他通信接口208、存储器206和用于连接这些部件的一个或多个通信总线204。存储器206包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储设备；以及可以包括非易失存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失固态存储设备。存储器206可以可选地包括远离CPU 202的一个或多个存储设备。存储器206，包括存储器206内的非易失和易失存储设备，包括计算机可读存储介质。在一些实现中，存储器206或存储器206的非瞬时计算机可读存储介质存储下述程序、模块和数据结构或其子集，包括操作系统216、网络通信模块218、识别模块114、标识数据库116、指令模块118、内容数据库122和用户数据库124。

操作系统216包括用于处理各种基本系统服务和用于执行硬件依赖任务的过程。

网络通信模块218经一个或多个通信网络接口208(有线或无线)和诸如互联网、其他广域网、局域网、城域网等等的一个或多个通信网络便利与其他设备通信。

标识数据库116存储一个或多个标识234。各个标识234-2包括名称240、重要性度量242和相关联的动作244。名称240识别标识。例如，名称240能是人、地点或事物的名称。重要性度量242测量标识的重要性并且用来确定标识集中的哪一标识是最重要的。相关联的动作244指定一个或多个动作，诸如发送消息、显示消息和执行应用。在一些实现中，相关联的动作244指定内容数据库122中的一个或多个内容文件。

内容数据库122存储内容文件和/或指向内容文件的链接。在一些实现中，内容数据库122存储媒体232，诸如视频、图像和音乐。在一些实现中，内容数据库122存储广告226、优惠券226、播放列表228、内容馈送230和XML内容文件。在一些实现中，内容数据库122存储网页233、电子邮件消息和SMS消息。在一些实现中，内容数据库122包括指向视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈送、广告、优惠券、播放列表和XML内容文件的链接。在一些实现中，在内容文件处，内容数据库122包括测量各个内容文件的流行性的度量。

用户数据库124存储用于一个或多个用户的用户数据236。在一些实现中，用于各个用户的用户数据236-2包括用户标识符246和相关联的文件248。在一些实现中，用于各个用户的用户数据236-2包括偏好250。用户标识符230识别用户。在一些实现中，相关联的文件248包括在与用户相关联的内容数据库122中存储的内容文件的标识符的列表。与用户相关联的文件248能包括在内容数据库122中存储的任何文件。在一些实现中，偏好250包括用户感兴趣或不感兴趣的信息的类别。例如，用户可能对体育不感兴趣而对科幻感兴趣。在一些实现中，偏好250包括用于感兴趣的类别的计数。例如，每一类别可以包括表示用户已经观看与类别相关联的项的次数的数量或分值。在一些实现中，偏好250包括用户优选或不优选的一个或多个应用。例如，偏好250可以表示用户优选将歌曲添加到用户播放列表。在另一示例中，偏好250可以表示用户优选不接收优惠券优惠。

指令模块118基于包含在请求中的信息来生成指令集358，并且将指令集发送到客户端102。

在一些实现中，指令模块116响应于从客户端102接收请求220而生成指令集358。在一些实现中，请求220包括用户标识符262和信息集350。用户标识符262识别请求与之相关联的用户。例如，用户标识符262能是与客户端设备102相关联的IP地址或由用户选择或由服务器指定的、唯一地标识用户的字母数字值。在一些实现中，信息集350包括从隐藏字幕流265的内容解析的信息。

在一些实现中，信息集350包括由字母字符、数字、符号或其任意组合组成的串。在一些实现中，信息集350包括人、地点或事物的名称，以及附加信息，诸如应用的名称。例如，信息集350可以包括音乐艺术家的姓名以及可以指示媒体应用。在一些实现中，信息集350包括视频流的名称和/或视频流的类别。例如，信息集350可以包括电影名称和电影的类别或种类(例如戏剧、科幻等等)。在一些实现中，信息集350包括指令集。在一些实现中，指令集包括用于调用一个或多个应用的指令。在一些实现中，指令集包括用于显示和/或发送一个或多个消息的指令。在一些实现中，消息包括电子邮件消息和SMS消息。

在一些实现中，指令模块118将在请求220中接收的信息集350存储在用户数据库124中，并且将信息集350与由请求220识别的用户相关联。在一些实现中，包含在来自各个用户的请求220中的信息集350可以用于确定各个用户的偏好。例如，信息集350可以包含各个用户已经观看的内容的类别信息(例如科幻)。在该示例中，指令模块118递增在用户偏好250中对各个用户存储的各个类别计数。

在一些实现中，指令模块118基于包含在请求220中的信息来生成指令集358。在一些实现中，指令模块118基于用户偏好250和/或包含在请求220中的信息集350来生成指令集358。

在一些实现中，指令模块116将分信息集350的至少一部发送到识别模块114来获得一个或多个相关标识234。识别模块114将包含在信息集350中的信息与标识数据库116中的一个或多个标识234匹配。在一些实现中，识别模块114解析信息集350来获得解析的信息并且利用解析的信息来生成检索查询。例如，信息集350可以包括专有名词的列表，以及识别模块114可以利用每一专有名词来构造查询。在一些实现中，信息集350包括一个或多个句子、特殊字符和/或符号。在一些实现中，一个或多个句子用作对标识数据库116的查询。在一些实现中，信息集350中的特殊字符后的预定量的文本用作对标识数据库116的查询。例如，如果信息集350包括文本“#actor person x”，文本“person x”将用作查询。

将所生成的查询发送到标识数据库116来查找潜在匹配。在一些实现中，识别模块114基于与每个标识相关联的重要性度量242来过滤搜索结果。例如，识别模块114可以选择具有高于预定阈值的重要性度量242的标识或可以选择标识集中的前几个标识。识别模块114将一个或多个确定的标识发送到指令模块118。

在一些实现中，指令模块118从指令模块118接收一个或多个确定的标识并且基于一个或多个确定的标识来确定指令集358。指令模块118从一个或多个确定的标识选择标识。例如，指令模块118可以选择具有最高相关联的重要性度量242的标识。在一些实现中，基于与由用户标识符262识别的用户相关联的偏好250来确定选择的标识。例如，当用户的偏好指示用户与运动具有密切关系时，指令模块118可以选择一个或多个体育有关标识。

在选择标识后，指令模块118生成指令集358。在一些实现中，指令模块118对从信息集350确定的每一标识来确定指令集。在一些实现中，指令集358基于用于选择的标识的相关联的动作244。例如，如果选择的标识是历史人物的姓名，相关联的动作244可以指定示出具有有关该历史人物的信息的网页。在一些实现中，指令集358基于一个或多个确定的标识和用于由用户标识符262识别的用户的用户偏好250。例如，用户的偏好250可以指示用户更优选或更不优选的应用或动作。例如，用户可能更优选不在用户设备上执行某些应用。在另一示例中，用户可能更优选接收内容馈送中的信息。

在一些实现中，指令模块118使用由识别模块118返回的一个或多个确定的标识来生成识别内容数据库122中的相关内容文件中的搜索查询。例如，如果一个或多个确定的标识包括演员的名称，指令模块118可以确定与该演员相关联的内容文件，诸如网页、视频、图片和新闻故事，并且基于与内容文件相关联的度量来确定用户对哪一个最感兴趣。例如，度量可以测量流行性或相关性。

在一些实现中，指令集358包括调用客户端设备102上的一个或多个功能或应用的指令。在一些实现中，从由媒体应用、馈送阅读器应用、浏览器应用和优惠券簿应用组成的组选择一个或多个应用。在一些实现中，基于使用相关标识识别的一个或多个内容文件，选择一个或多个应用。在一些实现中，指令集358包括调用应用的指令和指引调用的应用下载包含在内容数据库118中的一个或多个内容文件的指令。例如，指令模块118可以生成调用馈送阅读器设备的指令和使馈送阅读器设备下载与该演员有关的内容项的指令。在另一示例中，指令模块118可以生成调用Web浏览器的指令和使浏览器导航到特定网站(例如产品网站)的指令。在图5B、5C、5D和5E的论述中，论述应用执行的另外的示例。

在一些实现中，指令集358包括在客户端设备102的显示器313上显示消息的指令。在一些实现中，指令集358包括将电子邮件消息或SMS消息发送给用户的指令。电子邮件消息或SMS的内容与信息集350有关。例如，消息可以包含与包含在信息集350中的代词有关的促销优惠。

指令模块118响应于来自客户端设备102的请求来生成并且发送指令集358到客户端设备102。在一些实现中，由指令模块118生成的指令358包含在内容馈送中。在一些实现中，指令模块118利用指令集358来检索和发送一个或多个内容文件和/或内容文件链接(存储在内容数据库122中)。

上述标识的元件中的每一个可以存储在一个或多个先前提到的存储器设备中，以及模块或程序中的每一个对应于用于执行上述功能的指令集。能由一个或多个处理器(例如CPU 202)执行指令集。上述识别的模块或程序(即指令集)不需要实现为单独的软件程序、过程或模块，由此，在不同实现中，这些模块的各种子集可以组合或者另外重新排列。在一些实现中，存储器206可以存储上述识别的模块和数据结构的子集。此外，存储器206可以存储上文未描述的另外的模块和数据结构。

尽管图2A示出了服务器系统，但图2A更旨在作为可以存在于服务器集中的各种特征的功能描述，而不是在此所述的实现的结构示意。实际上，并且如本领域的普通技术人员意识到，单独示出的项能结合并且一些项能分离。例如，在图2A中单独示出的一些项(例如，操作系统216和网络通信模块218)能实现在单一服务器上并且单一项能由一个或多个服务器实现。用来实现服务器系统106的服务器的实际数量以及在它们之间如何分配特征将在不同实现之间改变，并且可能部分取决于在峰值使用时段期间以及在平均使用时段期间系统必须处理的数据业务量。

图2B是图示根据本实现的一个实现的广播系统128的框图。广播系统128通常包括一个或多个处理单元(CPU)358、一个或多个网络或其他通信接口262、存储器268、传输接口266和用于互连这些部件的一个或多个通信总线262。存储器268包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储设备；以及可以包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器268可以可选地包括远离CPU 358的一个或多个存储设备。存储器268，包括存储器268内的非易失和易失性存储设备，包括计算机可读存储介质。在一些实现中，存储器268或存储器268的非瞬时计算机可读存储介质存储下述程序、模块和数据结构，或包括操作系统270、网络通信模块272、视频模块273和视频流数据库276的子集。

传输接口266经无线电发射、卫星发射或通过电缆线来传输视频流。

操作系统270包括用于处理各种基本系统服务和执行硬件依赖任务的过程。

网络通信模块272经一个或多个通信网络接口264(有线或无线)和诸如互联网、其他广域网、局域网、城域网等等的一个或多个通信网络便利与其他设备的通信。在一些实现中，网络通信模块272经网络接口264传输在视频流数据库268中存储的视频流。

视频流数据库274存储视频流276。在一些实现中，视频流数据库274中的视频流276包括视频内容254和隐藏字幕256。

视频模块273将在视频流数据库274中存储的一个或多个视频流276发送到一个或多个客户端设备102。

在一些实现中，广播系统108和服务器系统106的功能能结合在单一服务器系统上。

可以将上述识别的元素中的每一个存储在一个或多个先前提及的存储器设备中，以及每一模块或程序对应于用于执行上述功能的指令集。指令集能由一个或多个处理器(例如CPU 358)执行。上述识别的模块或程序(即指令集)不需要实现为单独的软件程序、过程或模块，由此，在不同实现中，这些模块的各种子集可以组合或者另外重新排列。在一些实现中，存储器268可以存储上文识别的模块和数据结构的子集。此外，存储器268可以存储上文未描述的另外的模块和数据结构。

尽管图2B示出广播系统，但图2B更旨在作为可以存在于服务器集中的各种特征的功能描述，而不是在此所述的实现的结构示意。实际上，并且如本领域的普通技术人员意识到，单独示出的项能结合并且一些项能分离。例如，在图2B中单独示出的一些项(例如，操作系统270和网络通信模块272)能实现在单一服务器上并且单一项能由一个或多个服务器实现。用来实现广播系统128的服务器的实际数量以及在它们之间如何分配特征将在不同实现之间改变，并且可以部分取决于在峰值使用时段期间以及在平均使用时段期间系统必须处理的数据业务量。

图3是图示根据一些实现的客户端设备102的框图。客户端设备102通常包括一个或多个处理单元(CPU)302、一个或多个网络或其他通信接口308、存储器306和用于互连这些部件的一个或多个通信总线304。客户端设备102还可以包括包含显示器313和键盘和/或鼠标(或其他指示设备)314的用户接口。存储器306包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储设备；以及可以包括非易失存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失固态存储设备。存储器306可以可选地包括远离CPU 302的一个或多个存储设备。存储器306，或者替选地存储器306内的非易失性存储器设备包括可读存储介质。在一些实现中，客户端设备102是具有触摸屏显示器的便携式电子设备。在一些实现中，存储器306或存储器306的计算机可读存储介质存储下述程序、模块和数据结构或其子集，包括操作系统316、网络通信模块318、用户接口模块322、解析模块126、应用328和数据342。

客户端设备102包括用于输入和输出视频的视频输入/输出351。在一些实现中，视频输入/输出351被配置成从无线电发射、卫星发射和电缆线接收视频流。在一些实现中，视频输入/输出351被连接到有线电视机顶盒。在一些实现中，视频输入/输出351被连接到卫星天线。在一些实现中，视频输入/输出351被连接到天线。

在一些实现中，客户端设备102包括用于接收和记录电视视频流的电视调谐器352。

操作系统316包括用于处理各种基本系统服务和用于执行硬件依赖任务的过程。

网络通信模块318经一个或多个通信网络接口304(有线或无线)和诸如互联网、其他广域网、局域网、城域网等等的一个或多个通信网络来便利与其他设备通信。

用户接口模块322跟踪对客户端设备102的用户输入和选择。

图形模块320显示与应用328相关联的用户界面。

数据342包括视频流344。视频流344包括视频内容348、隐藏字幕348a和音频描述数据348b。

在一些实现中，应用328包括浏览器330、媒体应用332、优惠券簿应用336和馈送阅读器应用340。浏览器330允许用户观看网页。媒体应用332播放视频、音乐、显示图像和管理播放列表334。馈送阅读器应用340显示内容馈送341。优惠券簿应用336显示和存储优惠券/广告338。

解析模块126解析视频流中的隐藏字幕来生成信息集，将信息集发送到服务器106，响应发送信息集而从服务器106接收指令集，并且执行指令集。

在一些实现中，解析模块126解析视频流中的隐藏字幕来确定信息集350。解析模块126解析隐藏字幕的内容。例如，如果隐藏字幕包括文本“hello world”，解析模块将解析文本“hello world”。在一些实现中，隐藏字幕包括文本、数字、符号或其任意组合。

在一些实现中，解析模块126识别隐藏字幕中的一个或多个特殊字符。在解析模块126中存储的列表中定义特殊字符。可以由视频流的提供者或广播者定义特殊字符。在一些实现中，解析模块126识别一个或多个特殊字符以及一个或多个特殊字符后的预定量的文本。解析模块126将特殊字符和/或预定量的文本包括在信息集350中。在一些实现中，特殊字符包括符号、数字、文本或其任意组合。例如，广播者或内容提供者可以将符号“#”插入到隐藏字幕中来强调该符号后的文本与生成指令集有关。在该符号后的文本可以包括指令或可以包括将取得指令的信息。例如，隐藏字幕可以包括“#actor person x”来指示person x是演员。通过将特殊字符插入到视频节目的隐藏字幕中，内容提供者能在播放该视频节目的同时将相关信息提供给视频节目的观众。

在一些实现中，解析模块126识别隐藏字幕中的句子并且将识别的句子包括在信息集350中。例如，解析模块126可以通过检测隐藏字幕中的时段或其他标点标记来识别句子。解析模块126将一个或多个识别的句子包括在信息集350中。

在一些实现中，解析模块126识别隐藏字幕中的一个或多个专有名词并且将专有名词包括在信息集350中。例如，解析模块126可以选择隐藏字幕中的大写词。在一些实现中，一个或多个专有名词如果与在解析模块126中存储的一个或多个专有名词匹配则被选择它们。专有名词可以对应于人、地点或事物。例如，解析模块126可以解析隐藏字幕来确定一个或多个人的姓名、产品或公司的名称或国家的名称。指令模块118能使用该信息来将特定请求发布到服务器106，返回指向有关该人的网页的链接，或由该专有名词识别的地点，或返回由专有名词识别或有关由专有名词识别的人的媒体项(例如歌曲或电影)的媒体播放列表。

在一些实现中，在由请求模块352生成的请求220中，将信息集350发送到服务器106。在一些实现中，请求356包括客户端102的用户的用户标识符。

响应于发送请求220，解析模块126从远离客户端102的服务器接收指令集358。在一些实现中，指令集358包含在内容馈送中。在一些实现中，解析模块126响应于该请求而接收一个或多个内容文件。

解析模块126响应于接收指令集358而执行指令集358。在一些实现中，指令集358包括用于在显示器(例如，313和110)上显示消息的指令。消息的内容与信息集有关。例如，消息可以为用户提供与视频段有关的产品或服务。在一些实现中，由消息模块356显示消息。在一些实现中，指令集358包括用于将电子邮件消息或SMS消息发送到与客户端设备103相关联的用户的指令。例如，电子邮件消息或SMS消息可以包括优惠券或促销优惠。在一些实现中，电子邮件消息或SMS消息由消息模块356发送。

在一些实现中，信息集350包括执行一个或多个应用328的指令。在图5B、5C、5D和5E的论述中，论述应用的示例。解析检测模块126执行从服务器接收的指令集350。

可以将上述识别的元素的每一个存储在一个或多个先前提及的存储器设备中，以及每一模块或程序对应于用于执行上述功能的指令集。指令集能由一个或多个处理器(例如CPU 302)执行。上述识别的模块或程序(即指令集)不需要被实现为单独的软件程序、过程或模块，由此，在不同实现中，这些模块的各种子集可以组合或者另外重新排列。在一些实现中，存储器306可以存储上文识别的模块和数据结构的子集。此外，存储器306可以存储上文未描述的另外的模块和数据结构。

尽管图3示出了客户端设备，但图3更旨在作为可以存在于客户端设备中的各种特征的功能描述，而不是在此所述的实现的结构示意。实际上，并且如本领域的普通技术人员意识到，单独示出的项能结合并且一些项能分离。

现在关注图4，其是图示根据一些实现的显示信息的过程400的流程图。图4提供在图6和7的论述中更详细描述的方法的概述。广播系统128将包含隐藏字幕的视频流发送到客户端102(401)。在客户端102接收包含隐藏字幕的视频流(402)。从隐藏字幕确定信息集(404)。将信息集发送到远离客户端102的服务器106以便处理(406)。服务器106接收信息集(408)。服务器106从信息集识别一个或多个相关标识，确定与一个或多个相关标识相关联的指令集，并且将指令集发送到客户端102(410)。客户端102从服务器106接收指令集(412)。客户端102根据指令集来执行一个或多个应用(414)。

现在关注图5A、5B、5C、5D和5E，其图示根据一些实现的示例性截屏。图5B、5C、5D和5E图示由客户端设备102执行的应用。基于包含在电视节目502中的隐藏字幕504的内容确定的指令集，调用和控制图5B、5C、5D和5E中的应用。如更详细所述，在图6的论述中，客户端设备102上的模块(例如，解析模块126)：接收视频流，诸如电视节目502，从电视节目502的隐藏字幕504确定信息集，将信息集发送到服务器(例如服务器106)来获得指令集，从服务器接收指令集并且根据指令集来调用客户端设备102上的一个或多个应用。电视节目502和应用并发地显示在客户端设备102的显示器上。图5A、5B、5C、5D和5E本质上应当看作示例性的，而不是限制。

图5A图示显示包括隐藏字幕504的电视节目502的截屏。如图5A所示，隐藏字幕504的内容为“Hello World！”，其可以对应于电视节目502中的口语对话。

图5B图示与电视节目502相邻显示的馈送阅读器应用506。在图5B的上下文中，客户端设备102上的解析模块126接收电视节目502、从电视节目502的隐藏字幕504确定信息集、将信息集发送到服务器106来获得指令集、从服务器106接收指令集并且根据从服务器106接收的指令集来调用客户端设备102上的馈送阅读器应用506。馈送阅读器应用506显示内容馈送508。基于从包含在电视节目502中的隐藏字幕504取得的信息，内容馈送508中的一个或多个内容项510被服务器106选择。例如，用户可能正观看体育相关电视节目502并且当相应的隐藏字幕504提及运动队(例如队X)时，调用馈送阅读器应用506并且显示内容项Sports Headline 1 510。在图5B的上下文中，基于从隐藏字幕504取得的信息或指令，由服务器106上的指令模块118选择内容项510。

图5C图示与电视节目502并发显示的媒体播放器512。在图5C的上下文中，客户端设备102上的解析模块126接收电视节目502、从电视节目502的隐藏字幕504确定信息集、将信息集发送到服务器106来获得指令集、从服务器106接收指令集并且根据从服务器106接收的指令集来调用客户端设备102上的媒体播放器512。媒体播放器512基于从包含在电视节目502中的隐藏字幕504取得的信息来执行一个或多个应用。例如，电视节目502的隐藏字幕504可能提及艺术家并且当用户正观看包含与该艺术家有关的隐藏字幕504的电视节目502的部分时，调用媒体应用512并且提示用户将来自该艺术家的歌曲添加到用户的播放列表。

图5D图示与电视节目502相邻显示的Web浏览器516。在图5D的上下文中，客户端设备102上的解析模块126接收电视节目502、从电视节目502的隐藏字幕504确定信息集、将信息集发送到服务器(例如服务器106)来获得指令集、从服务器接收指令集并且根据从服务器接收的指令集来调用客户端设备102上的Web浏览器516。在一些实现中，浏览器516显示基于从包含在电视节目502中的隐藏字幕504取得的信息选择的网页508。隐藏字幕504可以包含与人、地点或事物有关的信息。例如，隐藏字幕504可以引用历史人物的姓名并且当用户观看包含该历史人物的引用的隐藏字幕504的部分时，Web浏览器516调用提供有关该历史人物的信息的网页508(例如，Wikipedia页)。在另一示例中，隐藏字幕504可以提及广告期间的产品，并且当用户观看包含产品的引用的隐藏字幕504的部分时，浏览器516显示与该产品有关的网页508(例如产品页)。当用户观看包含隐藏字幕504的视频流的部分时，调用浏览器应用516并且使506浏览器导航到基于隐藏字幕504的内容确定的网站。

图5E图示优惠券簿应用518。在一些实现中，优惠券簿应用518基于从隐藏字幕504取得的信息来执行一个或多个操作。在图5E的上下文中，客户端设备102上的解析模块126接收电视节目502、从电视节目502的隐藏字幕504确定信息集、将信息集发送到服务器106来获得指令集、从服务器106接收指令集并且根据从服务器接收的指令集来调用客户端设备102上的优惠券簿应用518。例如，用户可能观看有关珍珠奶茶的广告并且隐藏字幕504可能提及该产品。调用优惠券应用518并且当用户正看该广告时提示用户将优惠券保存到优惠券簿。

图6图示用于显示信息的方法600。当播放内容时，该方法对于期望提供有关内容的信息和服务的广播者和内容提供者是有用的。该方法对于期望与观看的内容有关的内容观众是有用的。

现在关注图6，其是图示显示基于包含在视频流中的隐藏字幕确定的信息的方法600的流程图。在具有一个或多个处理器和存储器的客户端设备102处执行方法600。接收包括隐藏字幕的视频流(602)。例如，视频流可以对应于具有与视频内容有关并且根据该视频内容文件的隐藏字幕的电视节目、电影或广告。在一些实现中，由客户端设备102的视频输入351、TV调谐器352或网络接口308接收视频流。在一些实现中，从广播系统128接收视频流。例如，可以在网络连接、卫星接收机、有线电视机顶盒或空中天线上接收视频流。

从隐藏字幕确定信息集350(604)。在一些实现中，信息集350包括来自隐藏字幕的内容的信息。例如，信息集350可以包括来自隐藏字幕的内容的文本。在一些实现中，信息集350由字母符号、数字、符号或其组合组成。信息集350由解析模块126确定。

在一些实现中，确定包括确定一个或多个符号，以及信息集350包括确定的一个或多个符号(606)。换种方式说，在一些实现中，解析模块126解析隐藏字幕的内容来确定一个或多个符号并且将确定的一个或多个符号包括在信息集350中。在一些实现中，确定包括确定一个或多个符号以及该符号后的预定量的文本。一个或多个符号以及符号后的预定量的文本包括在信息集350中。例如，广播者或内容提供者可以将“#”符号插入到视频流的隐藏字幕中来信号告知该符号后的文本是应从其应当取得指令的信息。例如，隐藏字幕可以包括“#actor person x”来指示person x是演员。在一些实现中，在符号后的文本可以包括指令或应从其取得指令的信息。例如，解析模块126从隐藏字幕检测和解析串“#browser URL”，并且将解析的串包括在信息集350中。解析模块126将包括解析的串的信息集350发送到服务器106并且作为响应，接收指令集358。对应于解析的串的指令集358可以调用客户端设备106上的Web浏览器并且打开对应于解析的串中的URL的网页。内容提供者可以将特殊字符或符号插入在视频流的隐藏字幕中以便提供与视频流有关的信息。与视频流并发显示相关信息。

在一些实现中，确定包括确定隐藏字幕中的一个或多个句子并且信息集350包括确定的一个或多个句子(608)。解析模块126解析隐藏字幕的内容来确定一个或多个句子并且将确定的句子包括在信息集350中。例如，解析模块126可以通过检测隐藏字幕的内容中的时段或其他标点标记来检测句子。

在一些实现中，确定包括确定隐藏字幕中的一个或多个专有名词以及信息集350包括一个或多个代词(610)。解析模块126解析隐藏字幕的内容来确定一个或多个专有名词并且将确定的一个或多个专有名词包括在信息集350中。在一些实现中，一个或多个专有名词如果与在解析模块126中存储的一个或多个专有名词匹配则被选择。专用名词可以对应于人、地点或事物。例如，解析模块126可以解析隐藏字幕的内容来确定一个或多个人的姓名、产品或公司的名称或国家名称。在一些实现中，解析模块126选择隐藏字幕中的大写词并且将大写词在信息集350中。

在一些实现中，显示视频流并且当正显示视频流时确定信息集350(612)。在客户端设备102的显示器313上显示视频流。将包括信息集350的请求220发送到远离客户端设备102的服务器106以便处理(614)。处理基于信息集350来确定指令集358。指令集358包括显示与待显示的视频流的隐藏字幕有关的信息的指令。由请求模块352生成和发送请求358。

从服务器接收指令集358(616)。指令集358包括用于显示与信息集350有关的信息的指令(616)。在一些实现中，指令集358包含在内容馈送中。指令集258由解析模块126接收。

响应于接收指令集350，根据指令集358来执行一个或多个功能和/或应用(616)。在一些实现中，从由媒体应用、馈送阅读器应用、浏览器应用和优惠券簿应用组成的组，选择一个或多个应用(620)。例如，如图5C所示，指令集358可以调用媒体播放器应用512并且提示用户将歌曲添加到用户的播放列表。在一些实现中，显示视频流并且与视频流相邻地显示一个或多个应用(622)。例如，如图5B所示，与电视节目502并发显示馈送阅读器应用508。在图5B、5C、5D和5E的论述中更详细地论述了一个或多个应用。由解析模块126执行一个或多个应用。

在一些实现中，从服务器接收一个或多个内容文件(621)。指令集358包括用于显示一个或多个内容文件的指令以及执行一个或多个应用包括显示一个或多个接收的内容文件(621)。例如，可以接收网页并且指令集358包括用于调用Web浏览器来显示网页的指令。

在一些实现中，指令集358包括用于显示消息的指令。消息的内容与信息集350有关。例如，可以显示用于产品的网站的URL以及可以显示与电视节目有关的信息的片断。在一些实现中，指令集358包括将消息(例如，电子邮件或SMS)发送到与客户端102相关联的用户的指令。例如，消息可以包括优惠券、指向优惠券的链接、歌曲、指向歌曲的链接、有关电视节目或电影的信息或指向信息的链接。消息模块356显示和发送消息。

图7是图示基于从隐藏字幕取得的信息来生成指令集的方法700的流程图。在具有一个或多个处理器和存储器的服务器系统106处，执行方法700。在一些实现中，从客户端102接收包括信息集350的请求220(702)。在一些实现中，请求220包括用户标识符。从视频流中的隐藏字幕提取信息集350(704)。从信息集350识别一个或多个相关标识234。在一些实现中，使用信息集350来识别多个相关标识并且基于与相关标识相关联的重要性度量242来选择多个相关标识的子集。例如，识别模块114可以选择具有最高重要性度量242的相关标识。在一些实现中，响应于接收请求220，确定一个或多个相关标识234。识别模块114将信息集350中的信息与标识数据库130中的一个或多个标识234匹配。一个或多个相关标识234可以对应于人、地点或事物。

确定与信息集相关联的指令集358(708)。在一些实现中，响应于接收请求220，确定指令集358。在一些实现中，基于识别的一个或多个相关标识234，确定指令集358(710)。在一些实现中，相关标识234包括多个相关联的动作。例如，相关标识234可以是篮球运动员的姓名以及相关联的动作包括显示该篮球运动员的最新比赛的视频亮点或显示有关该篮球运动员的网页。指令模块118基于用于对应于用户标识符246的用户的用户偏好250，选择多个相关联的动作中的一个或多个。例如，用户的信息可以包括指示用户感兴趣或不感兴趣的信息的类别的偏好。例如，相关标识234可以是作为演员、运动员和音乐家的人的姓名并且用户的偏好可以指示体育和音乐的吸引力。在该示例中，在一个实现中，最终指令集358将与作为音乐家或运动员的人的活动性有关。在一些实现中，用户的偏好指示用户喜欢或不喜欢的应用。例如，用户具有经优惠券应用接收优惠券的吸引力以及经馈送阅读器应用接收内容项的吸引力。

在一些实现中，基于与识别的一个或多个相关标识234相关联的一个或多个内容文件来确定指令集358。在一些实现中，通过识别模块114确定与相关标识相关联的一个或多个内容文件(714)。指令集358包括用于显示一个或多个内容文件的指令(714)。在一些实现中，识别模块114通过将标识的名称用作查询搜索内容数据库122来识别一个或多个内容文件。例如，相关标识234中的一个可以是产品的名称以及一个或多个优惠券可以与产品相关联。在另一示例中，相关标识234中的一个可以是音乐家以及识别模块114从内容数据库122按音乐家识别歌曲。在一些实现中，用于各个标识的相关联的动作244指定一个或多个内容文件。指令模块118在内容数据库122中搜索指定内容文件并且根据与内容文件相关联的度量来搜索内容文件。例如，指令模块118可以基于文件的流行性来选择内容文件。在指令模块118识别内容文件后，指令模块确定用于显示或播放内容文件的应用并且生成使确定的应用显示内容文件的指令集358。

在一些实现中，指令集358包括用于执行从由媒体应用、馈送阅读器应用、浏览器应用和优惠券簿应用组成的组选择的应用的指令(712)。

在一些实现中，指令集358包括在客户端设备102上显示消息的指令。消息的内容与信息集350有关。例如，可以显示用于产品的网站的URL或可以显示与电视节目有关的信息的片断。在一些实现中，指令集358包括将消息(例如电子邮件消息或SMS)发送到与客户端相关联的用户的指令。消息可以包括优惠券、指向优惠券的链接、歌曲、歌曲的链接、有关电视节目或电影的信息或指向信息的链接。指令集358由指令模块118生成。

指令集358被发送到客户端102(716)。在一些实现中，在内容馈送中发送指令集358。在一些实现中，与一个或多个指令一起发送一个或多个内容文件(718)。例如，可以与指令集358一起发送存储在内容数据库122中的播放列表、媒体文件、广告或馈送。由指令模块118发送指令集358以及可选地一个或多个内容文件。

在此所述的每一方法可以由在非瞬时计算机可读存储介质中存储并且由一个或多个服务器(例如服务器系统106)的一个或多个处理器执行的指令管理。图6和7中所示的操作中的每一个可以对应于在计算机存储器或计算机可读存储介质中存储的指令。

图8是客户端-服务器环境800的实现的图。图8中所示的客户端-服务器环境800与图1中所示的客户端-服务器环境100类似并且被适配。对每一图共同的元件包括共同的参考数字，为简洁起见，在此仅描述图1和8之间的差异。此外，尽管图示某些特定特征，本领域的技术人员从本公开将意识到为了简洁起见，未示出各种其他特征，以便不混淆在此公开的示例性实现的更相关方面。

为此，参考图8，客户端-服务器环境800另外包括机顶盒103、第二屏幕客户端设备120(例如膝上型、平板计算机、智能电话等等)以及内容提供者150。另外，显示器108已用电视108-1代替，以及客户端设备102由客户端设备102-2代替，其被配置成操作为补充机顶盒。在一些实现中，客户端设备102-2是集成电视设备。机顶盒103、第二屏幕客户端设备120、客户端设备102-1、服务器系统106、广播系统140和内容提供者150能连接到通信网络104以便相互和/或其他设备和系统交换信息。客户端-服务器环境800仅是提供来论述本公开的更相关特征的示例。本领域的技术人员从本公开将意识到在客户端-服务器环境中可以提供任意数目的这样的设备和/或系统，并且特定设备可以缺省。

在一些实现中，第二屏幕客户端设备120(例如平板电脑或膝上型等等)、机顶盒103、TV 108-1和客户端设备102-1组合提供在例如家用或商用设置中。机顶盒103被配置成接收和解码包括来自广播系统140等等的媒体内容的信号。操作中，机顶盒103解码从广播系统140等等接收的信号并且将音频和视频内容提供给TV 108-1以便显示。尽管在图示非示例中使用TV，但本领域的技术人员从本公开将意识到能使用任意数量的显示设备，包括计算机、膝上型计算机、平板电脑、智能电话等等来显示视频流和播放相关联的音频流。附加地和/或替选地，在一些实现中，机顶盒103和TV 108-1的功能组合在单一设备中。

在一些实现中，机顶盒103是能够连接到通信网络104、接收视频流、从视频流提取信息并且呈现视频流以使用TV 108-1(或另一显示设备)显示的任何计算机设备。在一些实现中，机顶盒103被配置成用于有线TV和/或卫星TV的接收机、数字视频记录仪(DVR)、数字媒体接收机、TV调谐器、计算机和/或输出TV信号的任何其他设备。在一些实现中，TV 108-1是不能连接到互联网并且显示经空中广播或卫星或电缆连接接收的数字和/或模拟TV内容的常规TV显示器。

类似地，在一些实现中，客户端设备102-1是能连接到通信网络104和TV 108-1的任何计算机设备。在一些实现中，客户端设备102-1能从遥控设备(未示出)接收指向机顶盒103的红外(IR)发射。附加地和/或替选地，在一些实现中，客户端设备102-1能与客户端设备120有线和/或无线地通信。在一些实现中，客户端设备102-1包括一个或多个处理器121、非易失存储器125，诸如硬盘驱动和本地数据库123。在一些实现中，存储器122包括应用指令125a和相关联的数据125b。如在下文更详细所述，处理器121根据从服务器系统106接收的指令集来执行一个或多个应用。客户端设备102-1还可以具有输入设备，诸如键盘、鼠标和/或跟踪板(未示出)。在一些实现中，客户端设备102-1包括触摸屏显示器、数码相机和/或任意数量的补充设备来添加功能。

作为典型的电视，TV 108-1包括显示器108-1a和扬声器108-1b。附加和/或替选地，TV 108-1能由用于向用户呈现视频内容的另一种显示设备替代，所述显示设备诸如计算机、平板设备、移动电话、投影仪或其他类型的视频显示系统。显示设备能经无线或有线连接来耦接到机顶盒103。

如在此使用的，TV信号是包括对应于TV频道或节目的音频和/或视频分量的电、光或其他类型的数据传输媒介。在一些实现中，TV信号是地面无线TV广播信号或有线系统或卫星系统上分发/广播的信号。在一些实现中，TV信号作为网络连接上的数据传输。例如，机顶盒103能从互联网连接接收视频流。TV信号的音频和视频分量在此有时称为音频信号和视频信号。在一些实现中，TV信号对应于正在TV 108-1上显示的TV频道。

图9A是根据一些实现的操作来显示信息盒910的电视108-1的电视显示器108-1a的示例性截屏的示意图。尽管图示了电视，但本领域的技术人员从本公开将意识到在此公开的系统和方法可以结合任何媒体呈现设备使用。操作中，参考图8和9A，在一些实现中，客户端设备102-1除了由机顶盒103提供的显示信号外向电视108-1提供显示指令和显示数据(即显示信号)。显示指令使电视108-1将通过显示数据提供的信息盒910显示为遮挡在屏幕108-1a上呈现的播放电视节目920的至少一部分的视觉叠加。由主机顶盒103提供的显示信号包括用于呈现播放电视节目920的数据。在一些实现中，由客户端设备102-1提供的显示数据包括信息盒910的光学属性，包括例如信息盒910的相对大小、形状和颜色。在一些实现中，显示数据还包括与通过在下文中参考图10和11所述的过程获得的播放电视节目920相关联的另外的内容。例如，如图9A所示，信息盒710包括与电视节目相关联的搜索结果910-1的第一指示符、电视节目的剧情简介911-1和指向相关联的内容的可选择超链接911-1。在一些实现中，搜索结果的每一指示符与来自常见互联网搜索的搜索结果、对于相关联的新闻项的目标搜索、对于相关联的图像的目标搜索、对于相关联的互联网可访问媒体内容(例如视频、音乐等等)的目标搜索和对于相关联的社会媒体内容的目标搜索中的至少一个相关联。

图9B是根据一些实现的电视108的电视显示器108-1a和第二屏幕客户端设备120(例如平板)的示例性截屏的示意图。与图9A所示的示例相比，在第二屏幕客户端设备120的屏幕120a上显示提供与播放电视节目920相关联的搜索结果的信息盒930。操作中，参考图8和9B，在一些实现中，客户端设备102-1将显示指令和显示数据(即，显示信号)提供给第二屏幕客户端设备120。显示指令使第二屏幕客户端设备120将由显示数据提供的信息盒930显示为遮挡屏幕120a的至少一部分的视觉叠加。在一些实现中，显示数据包括信息盒930的光学属性，包括例如信息盒930的相对大小、形状和颜色。在一些实现中，信息盒930结合另一应用(或节目)窗950呈现和/或显示屏的另一部分包括不包括窗口等等的其他显示区940。在一些实现中，显示数据还包括与通过上文简述的过程获得的播放电视节目920相关联的另外的内容。例如，如图9B所示，信息盒930包括与电视节目相关联的搜索结果930-1的第一指示符、电视节目的剧情简介931-1和相关联的内容的可选择超链接931-1。

图10是使用包括在节目数据中的音频描述数据来显示相关联的内容和信息的过程的概述的信号流图。继续参考图8，图10提供在下文中将参考图11和12更详细描述的方法的概述。为此，广播系统128或内容提供者将包含音频描述数据的视频流发送到主机顶盒或客户端设备102-1中的至少一个(1001)。本领域的技术人员从本公开将意识到音频描述数据(或视频描述数据)通常提供为帮助视觉受损者的无障碍设施特征。音频描述数据通常包括在媒体节目中包括的主要视频内容的自然停顿期间、以及有时在所需的主要音频内容期间的同步的音频解说词，其描述媒体节目(例如电视节目、体育事件、比赛、电影等等)中发生的事(例如角色之间的对话)。此外，如上所述，在不同实现中，客户端设备102-1被配置成补充机顶盒和/或集成电视的设备中的一个。

视频流，包括音频描述数据，由主机顶盒103和客户端设备102-1中的至少一个接收(1002)。在一些实现中，仅机顶盒103接收视频流，包括音频描述数据。在一些实现中，客户端设备102-1从主机顶盒103接收音频描述数据。附加和/或替选地，在一些实现中，客户端设备102-1从内容提供者150和广播系统中的一个请求和接收相关联的音频描述数据。附加和/或替选地，在一些实现中，客户端设备102-1记录如由电视108-1的108-1b的扬声器播放的音频描述数据和主音频内容。附加和/或替选地，在一些实现中，客户端设备120(例如平板、智能电话等等)记录如由电视108-1的108-1b的扬声器播放的音频描述数据和主音频内容，并且将记录的至少一部分传输到客户端设备102-1。

从音频描述数据确定信息集(1004)。在一些实现中，通过对音频描述数据执行通过应用一个或多个语音识别技术将音频内容转换成文本的音频-文本转录过程，部分地确定信息集。在一些实现中，通过将音频描述数据转换成文本，而不播放音频描述数据，部分地确定信息集，使得能听到音频描述数据。例如，附加或替选地转换成适合于扬声器(或另一声音致动器)的信号，解码音频描述数据来获得文本流。

将信息集发送到远离客户端设备102-1的服务器106以处理(1006)。服务器106接收信息集(1008)。服务器106从信息集识别一个或多个相关标识，确定与一个或多个相关标识相关联的指令集并且将指令集发送到客户端设备102-1(1010)。客户端设备102-1从服务器106接收指令集(1012)。客户端设备102根据指令集执行一个或多个应用以便使相关联的内容显示在电视屏幕108-1a和/或客户端设备120的屏幕上(1014)。

图11是使用包括在节目数据中的音频描述数据来显示相关联的内容和信息的方法1100的实现的流程图表示。这样的方法可以对于当播放内容时期望提供与内容有关的信息和服务的广播者和内容提供者是有用的。这样的方法可以对于期望有关他们观看的内容的相关信息的内容观众是有用的。在一些实现中，由诸如补充机顶盒和/或集成电视模块的设备执行方法1100来提供与当前正播放的电视节目相关联的内容或信息。例如，参考图8，在一些实现中，由客户端设备102-1(例如，补充机顶盒)和/或客户端设备120执行方法1100。简单地，方法1100包括通过获得与媒体节目的视频流数据相关联的音频描述数据、从音频描述数据提取文本、基于至少一些提取的文本来传输对信息的请求、并且显示响应于该请求而接收的相关联的内容和/或信息，来识别和呈现与媒体节目相关联的内容。

为此，方法1100包括接收包括音频描述数据的视频流161(1102)。例如，视频流161可以对应于具有与主视频和音频内容相关和同步的音频描述数据的电视节目、电影或广告。在一些实现中，视频流161由视频输入350、TV调谐器352、客户端设备102-1的网络接口308和/或主机顶盒103接收。在一些实现中，从广播系统128和内容提供者150中的至少一个接收视频流161。在各种实现中，可以在网络连接、卫星接收机、有线电视盒和/或通过空中天线来接收视频流161。

方法1100包括从音频描述数据确定信息集350(1104)。在一些实现中，通过对音频描述数据执行通过应用一个或多个语音识别技术将音频内容转换成文本的音频-文本转录过程来部分地确定信息集。在一些实现中，通过将音频描述数据转换成文本，而不播放音频描述数据，来部分地确定信息集，使得能听到音频描述数据。例如，除了或作为转换成适合扬声器(或另一声音致动器)的信号的替选，解码音频描述数据来获得文本流。在一些实现中，信息集350包括来自音频描述数据的内容的信息。例如，在一些实现中，信息集350包括来自音频描述数据的转录的文本。在一些实现中，信息集350由字母字符、数字、符号或其任意组合组成。在一些实现中，通过解析模块(例如，图1中所示的解析126)确定信息集。在一些实现中，由执行计算机可读指令集的处理器(例如，图8中所示的处理器121和计算机可读指令125a)确定信息集350。

在一些实现中，确定包括确定一个或多个符号以及信息集350包括确定的一个或多个符号(1106)。换句话说，在一些实现中，解析模块126解析音频描述数据来确定是否描述一个或多个符号并且将确定的一个或多个符号包括在信息集350中。在一些实现中，确定包括确定一个或多个符号和符号后的预定量的文本。一个或多个符号和符号后的预定量的文本包括在信息集350中。例如，广播者或内容提供者可以在视频流的音频描述数据中描述或包括“#”符号来信号告知该符号后的文本是应由其取得指令的信息。例如，音频描述数据可以包括“#actor person x”来指示person x是演员。在一些实现中，符号后的文本可以包括指令或应由其取得指令的信息。例如，解析模块126从音频描述数据检测和解析串“#browser URL”并且将解析的串包括在信息集350中。解析模块126将包括解析串的信息集350发送到服务器106并且作为响应，接收指令集358。对应于解析的串的指令集358可以调用客户端设备106上的Web浏览器并且打开对应于解析的串中的URL的网页。内容提供者可以描述视频流的音频描述数据中的特殊字符或符号以便提供与视频流有关的信息。与视频流并发显示相关信息。

在一些实现中，确定包括确定音频描述数据中的一个或多个句子并且信息集350包括确定的一个或多个句子(1108)。解析模块126解析音频描述数据的内容来确定一个或多个句子并且将确定的句子包括在信息集350中。例如，解析模块126可以通过检测音频描述数据的内容中的句点或其他标点符号来检测句子。

在一些实现中，确定包括确定音频描述数据中的一个或多个专有名词并且信息集350包括一个或多个代词(1110)。解析模块126解析音频描述数据的内容来确定一个或多个专有名词并且将确定的一个或多个专有名词包括在信息集350中。在一些实现中，一个或多个专有名词如果与在解析模块126中存储的一个或多个专有名词匹配则被选择。专有名词可以对应于人、地点或事物。例如，解析模块126可以解析音频描述数据的内容来确定一个或多个人的姓名、产品或公司的名称或国家的名称。在一些实现中，解析模块126选择音频描述数据中的大写词并且将大写词包括在信息集350中。

在一些实现中，显示视频流并且当显示视频流时确定信息集350(1112)。在客户端设备102的显示器313上显示视频流。将包括信息集350的请求220发送到远离客户端设备102的服务器106以便处理(1114)。处理基于信息集350来确定指令集358。指令集358包括显示与待显示的视频流的音频描述数据有关的信息的指令。由请求模块352生成和发送请求358。

从服务器接收指令集358(116)。指令集358包括显示与信息集350有关的信息的指令(1116)。在一些实现中，指令集358包含在内容馈送中。由解析模块126接收指令集258。

响应于接收指令集350，根据指令集358执行一个或多个功能和/或应用(1118)。在一些实现中，从由媒体应用、馈送阅读器应用、浏览器应用和优惠券簿应用组成的组选择一个或多个应用(1120)。例如，如图5C所示，指令集358可以调用媒体播放器应用512并且提示用户将歌曲添加到用户的播放列表。在一些实现中，从服务器接收一个或多个内容文件(1121)。指令集358包括显示一个或多个内容文件的指令并且执行一个或多个应用包括显示一个或多个接收的内容文件(1121)。例如，可以接收网页并且指令集358包括调用Web浏览器来显示网页的指令。

在一些实现中，显示视频流并且与视频流相邻显示一个或多个应用(1122)。例如，如图5B所示，与电视节目502并发显示馈送阅读器应用508。在图5B、5C、5D和5E的论述中，更详细地论述了一个或多个应用。由解析模块126执行一个或多个应用。

在一些实现中，指令集358包括显示消息的指令。消息的内容与信息集350有关。例如，可以显示用于产品的网站的URL或可以显示与电视节目有关的信息的片断。在一些实现中，指令集358包括将消息(例如电子邮件或SMS)发送到与客户端102相关联的用户的指令。例如，消息可以包括优惠券、指向优惠券的链接、歌曲、指向歌曲的链接、有关电视节目或电影的信息或指向信息的链接。消息模块356显示和发送消息。

图12是基于从音频描述数据提取的信息集来确定指令集的方法1200的实现的流程图表示。在一些实现中，在具有一个或多个处理器和存储器的服务器系统(例如图8的服务器系统106)处执行方法1200。简单地说，方法1200包括接收对与媒体节目相关联的内容的请求、至少部分地基于与该请求一起提供的信息集，确定相关联的内容并且将相关联的内容发送到请求设备。

为此，方法1200包括从客户端设备102-1或客户端设备120接收包括信息集350的请求220(1202)。在一些实现中，请求220包括用户标识符。在一些实现中，信息集350包括从与视频流相关联的音频描述数据提取的数据(1204)。

进而，方法1200包括从信息集350识别一个或多个相关标识234(1206)。在一些实现中，使用信息集350识别多个相关标识并且基于与相关标识相关联的重要性度量242选择多个相关标识的子集。例如，识别模块114可以选择具有最高重要性度量242的相关标识。在一些实现中，响应于接收请求220而确定一个或多个相关标识234。识别模块114将信息集350中的信息与标识数据库130中的一个或多个标识234匹配。一个或多个相关标识234可以对应于人、地点或事物。

方法1200包括确定与信息集相关联的指令集358(1208)。在一些实现中，响应于接收请求220而确定指令集358。在一些实现中，基于识别的一个或多个相关标识234，确定指令集358(1210)。在一些实现中，相关标识234包括多个相关联的动作。例如，相关标识234可以是篮球运动员的姓名以及相关联的动作包括显示该篮球运动员的最新比赛的视频亮点或显示与该篮球运动员有关的网页。指令模块118基于用于对应于用户标识符246的用户的用户偏好250选择多个相关联的动作中的一个或多个。例如，用户信息可以包括指示特定用户感兴趣或不感兴趣的信息的类别的偏好。例如，相关标识234可以是作为演员、运动员和音乐家的人的姓名以及用户的偏好可以指示体育和音乐有吸引力。在该示例中，最终的指令集358在一个实现中将与作为音乐家或运动员的人的活动性有关。在一些实现中，用户的偏好指示用户喜欢或不喜欢的应用。例如，用户可能对经优惠券应用接收优惠券和经馈送阅读器应用接收内容项具有吸引力。

在一些实现中，指令集358包括用于执行从由媒体应用、馈送阅读器应用、浏览器应用和优惠券应用组成的组选择的应用的指令(1212)。

在一些实现中，基于与识别的一个或多个相关标识234相关联的一个或多个内容文件来确定指令集358。在一些实现中，由识别模块114确定与相关标识相关联的一个或多个内容文件(1214)。指令集358包括显示一个或多个内容文件的指令(1214)。在一些实现中，识别模块114通过将标识的名称用作查询搜索内容数据库122来识别一个或多个内容文件。例如，相关标识234中的一个可以是产品名以及一个或多个优惠券可能与该产品相关联。在另一示例中，相关标识234中的一个可以是音乐家以及识别模块114从内容数据库122识别该音乐家的歌曲。在一些实现中，用于相应标识的相关联的动作244指定一个或多个内容文件。指令模块118在内容数据库122中搜索指定的内容文件并且根据与内容文件相关联的度量来选择内容文件。例如，指令模块118可以基于文件的流行性来选择内容文件。在指令模块118识别内容文件后，指令模块确定显示或播放内容文件的应用并且生成使确定的应用显示内容文件的指令集358。

在一些实现中，指令集358包括在客户端设备102上显示消息的指令。消息的内容与信息集350有关。例如，可以显示用于产品网站的URL或可以显示与电视节目有关的信息的片断。在一些实现中，指令集358包括将消息(例如电子邮件或SMS)发送到与客户端相关联的用户的指令。消息可以包括优惠券、指向优惠券的链接、歌曲、指向歌曲的链接、有关电视节目或电影的信息或指向信息的链接。由指令模块118生成指令集358。

方法1200包括将指令集358发送到客户端102(1216)。在一些实现中，在内容馈送中发送指令集358。在一些实现中，与一个或多个指令一起发送一个或多个内容文件(1218)。例如，可以与指令集358一起发送存储在内容数据库122中的播放列表、媒体文件、广告或馈送。指令集358以及可选地一个或多个内容文件可以由指令模块118发送。

在此所述的方法中的每一个可以由在非瞬时计算机可读存储介质中存储并且由一个或多个服务器(例如服务器系统106)的一个或多个处理器执行的指令管理。图11和12中的每一操作可以对应于在计算机存储器或计算机可读存储介质中存储的指令。

为了说明目的，已经参考具体实现描述了上述描述。然而，上面的示例性论述不旨在穷举或限制方法和系统到所公开的准确形式。鉴于上述教导，许多改进和变更是可能的。选择和描述实现以便最好地说明方法和系统的原理及它们的实际应用，由此使本领域的技术人员最好地利用在此所述的技术和设备以及预期具有适合于具体用途的各种改进的各种实现。

此外，在上述描述中，阐述了许多具体细节来提供本实现的全面理解。然而，对本领域的普通技术人员来说，在没有这些特定细节的情况下，也可以实施在此所述的方法是显而易见的。在其他实例中，将不详细地描述本领域的普通技术人员非常公知的方法、过程、部件和网络以避免使本实现的方面模糊。