终端装置、中继装置、信息处理方法、程序和内容辨识系统的制作方法
【专利摘要】本公开涉及能够使用多个ACR服务器而不增加在终端装置上实现的ACR客户端的数量的终端装置、中继装置、信息处理方法、程序和内容辨识系统。作为本公开的第一方面的终端装置设有：检测单元、再现单元、发送单元和获取单元，所述检测单元用于检测中继装置，所述再现单元用于再现内容，所述发送单元用于将再现的内容发送到检测到的中继装置，所述获取单元用于获取根据询问从辨识服务器对所述中继装置的答复而接收响应，所述响应对应于所述内容的辨识结果，所述中继装置从所述内容中提取代表所述内容的特性的签名数据，产生至少包括提取的签名数据的询问，并且将产生的询问发送到所述辨识服务器装置以请求辨识所述内容。作为本公开的第一方面的终端装置能够被应用到诸如电视机的内容重放装置。
【专利说明】终端装置、中继装置、信息处理方法、程序和内容辨识系统
【技术领域】
[0001]本公开涉及终端装置、中继装置、信息处理方法、程序和内容辨识系统，并且涉及能够例如辨识用户正在观看的任意内容并且根据辨识结果与内容的进程相联系地执行应用程序的终端装置、中继装置、信息处理方法、程序和内容辨识系统。
【背景技术】
[0002]可以考虑向观看者呈现与例如正在广播的TV节目(下文中，被简称为节目)相关的信息(演员、介绍、下一集的预告片)、与节目不直接相关但是对观看者有用的信息(新闻、天气预报、交通信息等)等。
[0003]为了实现以上目的，可以与节目的进程相联系地向TV接收器机等发送用于获取和激活专用应用程序(下文中，被简称为应用)的命令。在现实中，通过使用用于TV广播信号的数据广播的带宽发送这种命令或应用，在日本和欧洲已经实现了这种呈现(例如，参见专利文献I)。
[0004]另一方面，有一种称为ACR(自动内容识别)的技术，该技术用于当观看或收听诸如视频或音乐的任意内容时识别一种内容。
[0005]从而，近年来，已经讨论了使用ACR技术识别在终端装置中再现的任意内容，然后根据内容的进程执行与所识别的内容对应的应用。
[0006]引用列表
[0007]专利文献
[0008]专利文献I JP2006-50237A
【发明内容】
[0009]技术问题
[0010]然而，在ACR技术中，通过将从正在观看的任意内容中提取的签名数据(特征量)与已经在ACR服务器中注册的内容的签名数据进行比较，辨识内容。
[0011]注意，预期今后将涌现提供ACR服务器的多个商业运营商，并且由于注册的内容等的多样化所以将出现用于分类的多个ACR服务器。因此，人们认为，因为将依据专业识别领域来划分ACR服务器，例如，ACR服务器A专门用于识别电影，ACR服务器B专门用于识别音乐视频，或者ACR服务器C专门用于识别动画，所以终端装置将选择和使用ACR服务器。
[0012]图1示出了使用多个ACR服务器识别由终端装置再现的任意内容的系统配置的例子。
[0013]该系统由终端装置I和多个ACR服务器31A、31B和31C构成，终端装置I经由互联网12连接到所述多个ACR服务器31A、31B和31C。
[0014]终端装置I在其中安装有ACR客户端2A、2B和2C。ACR客户端2A、2B和2C分别由ACR服务器31A、31B和3IC提供。
[0015]ACR客户端2A包括用于使用ACR服务器31A的独立服务的协议，并且使用适于ACR服务器31A的提取方法从终端装置I再现的任意内容中提取签名数据，然后将签名数据发送到ACR服务器31A。ACR客户端2B和2C也以与ACR客户端2A相同的方式操作。
[0016]终端装置I在其中安装有三个ACR客户端2A至2C，从而能够使用三个ACR服务器31A至31C。如果存在三个或更多个ACR服务器31并且终端装置I想要使用它们中的全部，则服务器提供的ACR客户端当然应该安装在终端装置I中。
[0017]每当要使用的ACR服务器31增加时，要安装在终端装置I中的ACR客户端2的数量增加，然而，其安装和维护需要成本。从而，希望能够在不增加安装在终端装置I中的ACR客户端2的数量的情况下使用多个ACR服务器31。
[0018]本公开被设想为考虑了以上情形，并且旨在在不增加安装在终端装置中的ACR客户端的数量的情况下使用多个ACR服务器。
[0019]问题的解决方案
[0020]根据本公开的第一方面的一种终端装置包括:检测单元，被配置成检测中继装置；再现单元，被配置成再现内容；发送单元，被配置成将再现的内容发送到检测到的中继装置；以及获取单元，被配置成获取根据询问从辨识服务器装置返回到所述中继装置的响应，所述响应以这样的方式对应于所述内容的辨识结果，即所述中继装置从所述内容中提取代表所述内容的特性的签名数据，产生至少包括提取的签名数据的所述询问，并且将产生的询问发送到所述辨识服务器装置以请求辨识所述内容。
[0021]根据本公开的第一方面的所述终端装置还可以包括:应用执行单元，被配置成基于获取的响应获取和执行与再现的内容对应的应用。
[0022]根据本公开的第一方面的所述终端装置还可以包括:产生单元，被配置成产生请求所述中继装置使用所述辨识服务器装置的通用请求。所述发送单元还将所述通用请求发送到检测到的中继装置。
[0023]所述产生单元可以产生通用请求，所述通用请求包括用于从所述中继装置能使用的多个所述辨识服务器装置中指定要使用的辨识服务器装置的信息。
[0024]所述获取单元可以基于由所述中继装置通知的代表所述预定服务器的信息，获取通过所述中继装置将从所述辨识服务器装置返回的响应转换成预定数据形式而存储在预定服务器中的数据。
[0025]根据本公开的第一方面的一种信息处理方法是一种终端装置的信息处理方法，所述信息处理方法由所述终端装置执行，所述信息处理方法包括:检测中继装置的检测步骤；再现内容的再现步骤；将再现的内容发送到检测到的中继装置的发送步骤；以及获取步骤，其中所述中继装置从所述内容中提取代表所述内容的特性的签名数据，产生至少包括提取的签名数据的询问，将产生的询问发送到辨识服务器装置以请求辨识所述内容，并且获取根据所述询问从所述辨识服务器装置返回到所述中继装置的响应，所述响应对应于所述内容的辨识结果。
[0026]根据本公开的第一方面的一种程序，所述程序使得计算机用作:检测单元，被配置成检测中继装置；再现单元，被配置成再现内容；发送单元，被配置成将再现的内容发送到检测到的所述中继装置；以及获取单元，被配置成获取根据询问从辨识服务器装置返回到所述中继装置的响应，所述响应以这样的方式对应于所述内容的辨识结果，即所述中继装置从所述内容中提取代表所述内容的特性的签名数据，产生至少包括提取的签名数据的所述询问，并且将产生的询问发送到所述辨识服务器装置以请求辨识所述内容。
[0027]根据本公开的第一方面，检测中继装置，再现内容，将再现的内容发送到检测到的中继装置。获取根据询问从辨识服务器装置中的一个返回到中继装置的响应，所述响应以这样的方式对应于所述内容的辨识结果，即所述中继装置从所述内容中提取代表所述内容的特性的签名数据，产生至少包括提取的签名数据的所述询问，并且将产生的询问发送到所述辨识服务器装置以请求辨识所述内容。
[0028]根据本公开的第二方面的一种中继装置包括:在安装有一个或多个辨识客户端的中继装置中，所述一个或多个辨识客户端中的每一个对应于可用辨识服务器装置；提取单元，被配置成从终端装置再现的内容中提取代表所述内容的特性的签名数据；产生单元，被配置成产生请求所述辨识服务器装置辨识所述内容的询问，所述询问至少包括提取的签名数据；通信单元，被配置成将产生的询问发送到对应的辨识服务器装置，并且接收根据所述询问从所述辨识服务器装置返回的响应，所述响应对应于所述内容的辨识结果；以及中继单元，被配置成将从所述辨识服务器装置返回的所述响应中继到所述终端装置。
[0029]可以安装的辨识客户端的数量与多个可用辨识服务器装置的数量对应。
[0030]根据本公开的第二方面的所述中继装置还可以包括:通知单元，被配置成将代表所述多个可用辨识服务器装置的信息通知给所述终端装置。
[0031]所述中继单元可以将所述响应转换成适于所述终端装置的数据形式，并且存储在预定服务器中，并且将代表所述预定服务器的信息通知给所述终端装置。
[0032]根据本公开的第二方面的一种信息处理方法是一种中继装置的信息处理方法，在所述中继装置中安装有一个或多个辨识客户端，所述一个或多个辨识客户端中的每一个对应于可用辨识服务器装置，所述信息处理方法由所述辨识客户端执行，该信息处理方法包括:提取步骤，从终端装置再现的内容中提取代表所述内容的特性的签名数据；产生步骤，产生请求所述辨识服务器装置辨识所述内容的询问，所述询问至少包括提取的签名数据；通信步骤，将产生的询问发送到对应的辨识服务器装置，并且接收根据所述询问从所述辨识服务器装置返回的响应，所述响应对应于所述内容的辨识结果；以及中继步骤，将从所述辨识服务器装置返回的所述响应中继到所述终端装置。
[0033]根据本公开的第二方面的一种程序使得计算机用作:提取单元，被配置成从终端装置再现的内容中提取代表所述内容的特性的签名数据；产生单元，被配置成产生请求所述辨识服务器装置辨识所述内容的询问，所述询问至少包括提取的签名数据；通信单元，被配置成将产生的询问发送到对应的辨识服务器装置，并且接收根据所述询问从所述辨识服务器装置返回的响应，所述响应对应于所述内容的辨识结果；以及中继单元，被配置成将从所述辨识服务器装置返回的所述响应中继到所述终端装置。
[0034]根据本公开的第二方面，识别客户端从终端装置再现的内容中提取代表所述内容的特性的签名数据，产生用于请求所述辨识服务器装置辨识所述内容的询问，所述询问至少包括提取的签名数据，将产生的询问发送到所述辨识服务器装置，中继根据所述询问从所述辨识服务器装置返回的响应给所述终端装置，所述响应对应于所述内容的辨识结果。
[0035]根据本公开的第三方面的内容辨识系统是一种内容辨识系统，所述内容辨识系统包括:终端装置；中继装置；以及辨识服务器装置。所述终端装置包括检测单元、再现单元、发送单元和获取单元，所述检测单元被配置成检测所述中继装置，所述再现单元被配置成再现内容，所述发送单元被配置成将再现的内容发送到检测到的中继装置，所述获取单元被配置成获取根据询问从辨识服务器装置返回到所述中继装置的响应，所述响应以这样的方式对应于所述内容的辨识结果，即所述中继装置从所述内容中提取代表所述内容的特性的签名数据，产生至少包括提取的签名数据的询问，并且将产生的询问发送到所述辨识服务器装置以请求辨识所述内容。所述中继装置中安装有一个或多个辨识客户端，所述一个或多个辨识客户端中的每一个对应于可用辨识服务器装置，并且所述辨识客户端中的每一个包括提取单元、产生单元、通信单元和中继单元，所述提取单元被配置成从所述终端装置再现的内容中提取代表所述内容的特性的签名数据，所述产生单元被配置成产生请求所述辨识服务器装置辨识所述内容的询问，所述询问至少包括提取的签名数据，所述通信单元被配置成将产生的所述询问发送到对应的辨识服务器装置并且接收根据所述询问从所述辨识服务器装置返回的响应，所述响应对应于所述内容的辨识结果，所述中继单元被配置成将从所述辨识服务器装置返回的所述响应中继到所述终端装置。所述服务器装置包括数据库、响应产生单元和发送单元，所述数据库被配置成示出从所述内容中提取的代表所述内容的特性的所述签名数据和代表作为提取源的所述内容的内容标识符之间的对应关系，所述响应产生单元被配置成参考所述数据库辨识作为从所述终端装置发送的包括在所述询问中的所述签名数据的提取源的所述内容并且产生对应于辨识结果的响应，所述发送单元被配置成将产生的响应发送到所述中继装置。
[0036]根据本公开的第三方面，所述终端装置检测所述中继装置，再现内容，并且将再现的内容发送到检测到的中继装置。此外，通过所述中继装置的识别客户端，从终端装置再现的内容中提取代表所述内容的特性的签名数据，产生用于请求辨识服务器装置辨识内容并且至少包括提取的签名数据的询问，并且将所述询问发送到辨识服务器装置，所述响应是根据所述询问从所述辨识服务器装置返回的，与内容的识别结果对应的所述响应被中继给所述终端装置。
[0037]本发明的有益效果
[0038]根据本公开的第一方面，经由中继装置能够使用多个辨识服务器装置。
[0039]根据本公开的第二方面，能够使用多个辨识服务器装置替代终端装置。
[0040]根据本公开的第三方面，终端装置能够经由中继装置使用多个辨识服务器装置。
【专利附图】
【附图说明】
[0041]图1是示出考虑使用多个ACR服务器的系统配置的例子的框图。
[0042]图2是示出内容辨识系统的配置例子的框图。
[0043]图3是通过提取内容辨识系统的主要部分而示出的框图。
[0044]图4是示出通用ACR客户端的详细配置例子的框图。
[0045]图5是示出ACR客户端的详细配置例子的框图。
[0046]图6是示出ACR服务器的配置例子的框图。
[0047]图7是示出ACR能力的数据结构的示图。
[0048]图8是示出ACR询问的数据结构的示图。
[0049]图9是示出ACR参考数据的数据结构的示图。
[0050]图10是示出ACR响应的数据结构的示图。
[0051]图11是描述内容辨识系统的操作的流程图。
[0052]图12是示出计算机的配置例子的框图。
【具体实施方式】
[0053]下文中，将参考附图详细描述用于实现本公开的示例性实施例(下文中，被称为实施例)。
[0054][内容辨识系统的配置例子]
[0055]图2示出了作为本公开的内容辨识系统的实施例的内容辨识系统10的配置例子。
[0056]内容辨识系统10辨识终端装置20再现的是什么样的任意内容，并且使得终端装置20与内容的进程相联系地执行与所辨识的内容对应的应用。
[0057]当与内容的进程相联系地执行应用时，能够实现把与用户正在观看的内容相关的信息(演员、简介、下集预告等)、与内容不直接相关但是对用户有用的信息(新闻、天气预报、交通信息等)与内容、或观看者可参与的小测试、投票等一起显示在屏幕上。
[0058]注意，本实施例的内容不限于经由TV广播网络、CATV网络、IPTV网络等广播的TV节目，而是指各种AV内容，例如，记录器记录的内容、播放器再现的来自封装介质的内容、经由互联网分发或下载的内容等。
[0059]内容辨识系统10由终端装置20、供应装置30和ACR网关40构成。
[0060][终端装置20的描述]
[0061]作为本公开的终端装置的实施例的终端装置20被设置成安装在诸如TV接收器机、个人计算机、平板型计算机或智能电话的内容再现装置中。
[0062]终端装置20能够获取和再现诸如从TV广播网络、CATV网络或IPTV网络的广播网络11、外部装置等供应的内容。此外，终端装置20能够经由互联网12访问供应装置30的应用服务器33。此外，终端装置20能够连接到ACR网关40。
[0063]终端装置20具有内容渲染器21、通用ACR客户端22、应用管理器23和用户接口24。
[0064]内容渲染器21具有获取和再现内容的功能。此外，内容渲染器21将安装有终端装置20的诸如TV接收器机的内容再现装置的显示器上显示的所有内容分支并且将它供应到通用ACR客户端22。换句话说，安装有终端装置20的内容再现装置的调谐器接收到的内容(节目)以及从外部装置输入到内容再现装置的各种输入端子(HDMI端子等)的内容被分支并且供应到通用ACR客户端22。
[0065]通用ACR客户端22检测终端装置20可访问并与之连接的ACR网关40，将内容渲染器21输入的内容发送到ACR网关40，并且给出用于指示使用ACR服务器31辨识内容的通用请求的通知。
[0066]此外，通用ACR客户端22访问ACR网关40通知的URL (统一资源定位符)，由此获取所指示的内容的辨识结果，然后分析所获取的辨识结果。此外，通用ACR客户端22使得应用管理器23基于分析结果获取与正被再现的内容对应的应用，并且与内容的进程相联系地执行程序。
[0067]应用管理器23经由互联网12从应用服务器33获取与正被再现的内容对应的应用，并且在通用ACR客户端22的控制下执行应用。此外，应用管理器23从应用服务器33获取由正被执行的应用使用的相关元数据。
[0068]用户接口 24使得与内容的进程相联系地执行的应用显示的各种信息显示在TV接收器机等的显示器上。此外，用户接口 24接受用户对正被执行的应用进行的操纵。
[0069][供应装置30的描述]
[0070]供应装置30由多个ACR服务器31、内容服务器32和应用服务器33构成。在本实施例中，所述多个ACR服务器31被设置成ACR服务器31A、3IB和31C。
[0071]ACR服务器31A获取并且注册能够在终端装置20侧观看的各种内容。具体地，提取代表内容的特征量的签名数据，通过将所提取的签名数据与内容标识符、应用标识符等关联而获得的ACR参考数据是预先产生的并且被置于数据库中。
[0072]注意，对于签名数据的提取方法，可以应用现有的任意方法。例如，可以把已经附在内容中的水印提取为签名数据，或者可以计算指纹，将其设置为签名数据。
[0073]通过使用指纹作为签名数据，即使当转换内容的分辨率、高宽比、比特率、编码格式等时，也能够在转换之前和之后得到相同的签名数据。从而，能够增强当基于签名数据识别内容时的识别精度。
[0074]此外，ACR服务器3IA根据从ACR网关40的ACR客户端4IA (图3)发送的ACR询问来辨识内容，产生ACR响应作为辨识结果，并且经由互联网12将ACR响应返回到ACR客户端41A。
[0075]与ACR服务器31A相同的操作也被应用于ACR服务器31B和31C。然而，ACR服务器3IA至3IC不必整合它们的签名数据的提取方法，并且它们的提取方法可以彼此不同。此外，不同的内容可以在各个ACR服务器31A至31C中注册，或者相同的内容可以以重叠方式在ACR服务器3IA至3IC中注册。下文中，ACR服务器3IA至3IC将被简称为ACR服务器31，除非必须将多个服务器彼此区分开。
[0076]内容服务器32经由广播网络11分发内容，并且将分发的内容供应到ACR服务器31。
[0077]应用服务器33根据来自终端装置20的应用管理器23的请求经由互联网12供应应用。
[0078]注意，构成供应装置30的ACR服务器31、内容服务器32和应用服务器33可以以集中方式布置在一个地方，或者可以以分散方式布置。此外，ACR服务器31、内容服务器32和应用服务器33可以被配置成合适地组合。
[0079][ACR网关40的描述]
[0080]图3不出了内容辨识系统10的配置中与ACR相关的部分的配置例子。
[0081]作为本公开的中继装置的实施例的ACR网关40具有ACR客户端41A、41B和41C和控制单元42。
[0082]ACR客户端41A至41C分别由ACR服务器31A至31C供应并且被安装在ACR网关40中。在这种情况下，ACR网关40能够使用三个ACR服务器3IA至31C。
[0083]ACR客户端41A包括用于使用ACR服务器31A的独立服务的协议，使用适于ACR服务器31A的提取方法从通用ACR客户端22发送的内容中提取签名数据，并且经由互联网12将签名数据发送到ACR服务器31A。
[0084]由于ACR客户端41B和41C执行与ACR客户端41A相同的操作，所以将省略其描述。以下，ACR客户端41A至41C将被简称为ACR客户端41，除非必须将多个客户端彼此区分开。
[0085]控制单元42将代表ACR网关40的功能的ACR能力通知给通用ACR客户端22。
[0086]注意，当从通用客户端22向ACR网关40发送内容时，所述内容处于取消了压缩编码或加密的原始(RAW)数据的状态。从而，为了防止所述内容的RAW数据非法流出，ACR网关40被设置成被包括在家庭服务器等中，内容可以在LAN(局域网)(诸如包括终端装置20的TV接收器机所属的家庭网络)上安全地从终端装置20发送到所述家庭服务器等。然而，如果来自终端装置20的内容的RAW数据可以在其上安全地发送的通信线路是安全的，则ACR网关40可以设置在互联网12上。
[0087]此外，根据终端装置20和ACR网关40之间的通信线路的安全状态，内容可以在经历压缩编码或加密之后被设置成发送到ACR网关40。
[0088][通用ACR客户端22的描述]
[0089]接下来，图4示出了终端装置20的通用ACR客户端22的详细配置例子。
[0090]通用ACR客户端22具有通信单元51、ACR网关检测单元52、通用请求产生单元53和分析单兀54。
[0091]通信单元51执行通用ACR客户端22和ACR网关40之间的各种数据的通信。具体地，通信单元将通用请求和内容的RAW数据从通用ACR客户端22的发送到ACR网关40。此外，通信单元从ACR网关40接收ACR能力。此外，通信单元接收能够指向ACR网关40从ACR服务器31获取的内容的辨识结果的URL。此外，通信单元51根据分析单元54的控制来访问保持内容的辨识结果的预定服务器。
[0092]ACR网关检测单元52通过通信单元51检测ACR网关40并且获取代表其功能的ACR能力。为了 ACR网关检测单元52检测ACR网关40并且获取ACR能力，例如，可以使用UPnP (通用即插即用)的SSDP (简单服务发现协议)。
[0093]在ACR能力中，描述了代表能够被ACR网关40使用的ACR服务器31的ACR服务器标识符和代表从通用ACR客户端22发送到ACR网关40的内容的数据形式的通用协议。注意，对于通用协议，一般设置它们中的一种，但是可以设置多种通用协议。然而，希望协议的数量少。随后，将参考图7描述ACR能力的细节。
[0094]通用请求产生单元53产生通用请求并且将通用请求输出到通信单元51，该通用请求包括用于指定ACR网关40能够使用的ACR服务器31之中将使用的ACR服务器。此外，通用请求产生单元53在从内容渲染器21输入的内容的RAW数据与ACR能力关联的状态下将RAW数据发送到通信单元51。
[0095]分析单元54经由通信单元51访问ACR网关40通知的URL,由此获取并且分析已经被转换成其中存储的HTML文档的相关元数据。然后，基于分析结果，使得应用管理器23获取与正被再现的内容对应的应用并且与内容的进程相联系地执行应用。
[0096][ACR客户端41的详细配置例子]
[0097]接下来，图5示出了安装在ACR网关40中的各ACR客户端41的详细配置例子。
[0098]ACR客户端41由通信单元61、签名提取单元62、ACR询问产生单元63和ACR响应转换单元64构成。
[0099]通信单元61接收从通用ACR客户端22发送的内容(内容的RAW数据)并且将数据输出到签名提取单元62。此外，通信单元61经由互联网12将ACR询问产生单元63产生的ACR询问发送到对应的ACR服务器31，并且将对此的响应从ACR服务器31输出到ACR响应转换单元64。
[0100]签名提取单元62使用与对应ACR服务器31的提取方法相同的提取方法从通用ACR客户端22发送的内容中提取代表内容特性的签名数据，并且将数据输出到ACR询问产生单元63。
[0101]每当从签名提取单元62输入签名数据时，ACR询问产生单元63产生包括签名数据的ACR询问。随后，将参考图8描述ACR询问的数据结构。
[0102]ACR响应转换单元64分析来自ACR服务器3IA的ACR响应，将其中包括的相关元数据等转换成HTML文档(诸如JavaScript (注册商标)的客户端侧脚本)，然后将该文档存储在预定服务器中。此外，ACR响应转换单元64使用通信单元61将代表其中存储了 HTML文档的预定服务器的URL通知给通用ACR客户端22。注意，对于预定服务器，可以使用终端装置20所属的LAN上的服务器作为ACR网关40或者可以使用互联网12上的服务器。
[0103][ACR服务器31的配置例子]
[0104]图6示出了构成供应装置30的ACR服务器31的详细配置例子。注意，假设ACR服务器31A经由互联网12与ACR客户端41A通信。同样应用于ACR服务器31B和31C。
[0105]ACR服务器31由内容获取单元71、签名提取单元72、ACR数据库73、通信单元74和ACR响应产生单元75构成。
[0106]内容获取单元71从内容服务器32等获取能够在终端装置20侧观看的各种内容及其元数据，并且将所获取的内容供应到签名提取单元72。
[0107]签名提取单元72以预定采样周期使用预定提取方法从内容获取单元71供应的内容的中提取代表内容特性的签名数据，并且将数据输出到ACR数据库73。
[0108]ACR数据库73通过将指示提取源的内容的内容标识符、指示签名数据的提取时刻的内容再现时间和与内容相关的相关元数据(包括指示以相联系方式执行的应用的应用标识符)，与从签名提取单元72输入的签名数据中的每一条相关联来产生ACR参考数据并且保持ACR参考数据。注意，预先产生的ACR参考数据可以从外部供应到ACR数据库73并且被保持在其中。随后，将参考图9描述ACR参考数据的数据结构。
[0109]通信单元74经由互联网12接收从安装在ACR网关40中的ACR客户端41之中的对应ACR客户端发送的ACR询问并且将ACR询问输出到ACR响应产生单元75。此外，通信单元74经由互联网12将ACR响应产生单元75产生的ACR响应发送到安装在ACR网关40中的ACR客户端41之中的对应ACR客户端。
[0110]参考ACR数据库73的ACR参考数据，ACR响应产生单元75辨识作为从安装在ACR网关40中的ACR客户端41之中的对应ACR客户端发送的ACR询问中包括的签名数据的提取源的内容。此外，ACR响应产生单元75产生包括辨识结果的ACR响应并且将其输出到通知单元74。随后，将参考图10描述ACR响应的数据结构。
[0111][ACR能力的数据结构]
[0112]接下来，图7示出了 ACR网关40通知给通用ACR客户端22的ACR能力的数据结构。
[0113]在ACR能力90中，描述了指示ACR网关40能够使用的ACR服务器31的可用服务器标识符91。在这种情况下，由于ACR网关40在其中安装有ACR客户端4IA至4IC并且能够使用ACR服务器31A至31C，所以在ACR能力90中描述了各自指示三个ACR服务器31A至31C的可用服务器标识符91A、91B和91C。
[0114]此外，在ACR能力90中，描述了代表从通用ACR客户端22发送到ACR网关40的内容的数据形式的通用协议92。通用协议92包括例如数据块(帧)的大小、获取周期(帧速率)、帧内区域指定信息、要与数据块一起发送的辅助信息(本地时间戳、块大小、块提取周期等)。
[0115][ACR询问的数据结构]
[0116]图8示出了 ACR客户端41的ACR询问产生单元63产生的ACR询问的数据结构。
[0117]ACR询问100包括ACR询问标识符101、提取方法标识符102、服务标识符103、签名数据104、提取本地时间戳105、发送源地址106和签名107。
[0118]ACR询问标识符101是用于指定ACR询问100的信息。提取方法标识符102是用于指定当提取签名数据104时使用的提取方法的信息。服务标识符103是用于当一个ACR服务器31提供多个ACR服务时或者当存在基于签名数据104辨识内容的多个ACR服务器31时选择用于处理ACR询问100的ACR服务或者ACR服务器31的信息。
[0119]由签名提取单元62从内容中提取签名数据104。提取本地时间戳105指示签名提取单元62从内容中提取签名数据104的时刻。
[0120]发送源地址106是在互联网12上发送ACR询问100的ACR网关40的地址，并且被用作ACR服务器31根据ACR询问100产生的ACR响应的返回目的地。签名107用于防止在诸如互联网12的通信线路上篡改ACR询问100。注意，可以通过加密用于发送的整个ACR询问100来防止这种篡改。
[0121][ACR参考数据的数据结构]
[0122]图9示出了由ACR服务器31的ACR数据库73保持的ACR参考数据的数据结构。
[0123]ACR参考数据110是通过签名数据111与内容标识符112、再现时间113和相关元数据114关联而构成的。
[0124]由签名提取单元72从内容中提取签名数据111。内容标识符112代表作为签名数据111的提取源的内容。再现时间113代表从内容标识符112代表的内容中提取签名数据111时的内容的进程时刻，并且由例如从内容标识符112代表的内容的开头起经过的时间指示。
[0125]相关元数据114是与内容标识符112代表的内容相关的元数据，并且包括代表与内容的再现时间113代表的进程时刻相联系地执行的应用的应用标识符(包括代表应用的获取目的地的信息)。
[0126][ACR响应的数据结构]
[0127]图10示出了 ACR服务器31的ACR响应产生单元75产生的ACR响应的数据结构。
[0128]注意，该图的A是当能够辨识从ACR网关40的ACR客户端41发送的ACR询问100的签名数据104和已经在ACR数据库73中注册的ACR参考数据110的签名数据111时(换句话说，当终端装置20能够辨识正被观看的内容时)产生的ACR响应的数据结构。该图的B是当辨识内容失败时产生的ACR响应的数据结构。
[0129]如该图的A所示，当能够辨识内容时产生的ACR响应120包括ACR询问标识符121、提取方法标识符122、服务标识符123、内容标识符124、再现时间125、本地时间戳126、相关元数据127、发送源地址128和签名129。
[0130]如该图的B所示，当辨识内容失败时产生的ACR响应120包括ACR询问标识符121、服务标识符123、发送源地址128、签名129和辨识失败标志130。
[0131]对于ACR询问标识符121、提取方法标识符122、服务标识符123和本地时间戳126，转用触发产生ACR响应120的ACR询问100的ACR询问标识符101、提取方法标识符102、服务标识符103和提取本地时间戳105。
[0132]对于内容标识符124、再现时间125和相关元数据127，转用包括所辨识的签名数据111的ACR参考数据110的内容标识符112、再现时间113和相关元数据114。
[0133]发送源地址128是在互联网12上发送ACR响应120的ACR服务器31A至31C的地址。签名129用于防止在通信线路上篡改ACR响应120。注意，可以通过加密用于发送的整个ACR响应120来防止这种篡改。
[0134]辨识失败标志130代表ACR服务器31辨识包含在ACR询问100中的签名数据104和已经在ACR数据库73中注册的ACR参考数据110的签名数据111失败，换句话说，代表终端装置20辨识正被观看的内容已经失败。
[0135][内容辨识系统10的操作]
[0136]接下来，将描述内容辨识系统10的操作。图11是描述了内容辨识系统10的操作的流程图。
[0137]注意，作为前提，假设终端装置20能够观看的内容已经被在构成供应装置30的各ACR服务器31中注册，换句话说，已经产生的ACR参考数据110被保持在ACR服务器31的ACR数据库73中。
[0138]在步骤SI中，构成终端装置20的通用ACR客户端22的ACR网关检测单元52经由通信单元51检测ACR网关40。在步骤Sll中，检测到的ACR网关40的控制单元42将指示ACR网关40的功能的ACR能力90通知给通用ACR客户端22。
[0139]当由包括了终端装置20的TV接收器机再现内容时，换句话说，当用户观看来自TV接收器机的内容时，在步骤S2中，终端装置20的内容渲染器21将正被观看的内容分支并且将所述内容输出到通用ACR客户端22。在通用ACR客户端22中，通用请求产生单元53产生通用请求。此外，通用请求产生单元53根据ACR能力90的通用协议92从正被观看的内容中提取RAW数据。然后，通信单元51将正被观看的内容的RAW数据和通用请求发送到ACR网关40。
[0140]在步骤S12中，根据通用请求，ACR网关40产生ACR询问，然后将ACR询问发送到ACR服务器31。具体地，签名提取单元62使用适于要使用的ACR服务器31的提取方法从告知通用ACR客户端22的内容的RAW数据中提取签名数据104，并且将签名数据输出到ACR询问产生单元63。然后，ACR询问产生单元63产生包括所提取的签名数据104的ACR询问100，然后通信单元43经由互联网12将产生的ACR询问100发送到要使用的ACR服务器31。
[0141]另一方面，供应装置30的ACR服务器31 —直等待，直到在步骤S21中通信单元74接收到从ACR网关40的ACR客户端41发送的ACR询问100为止。当通信单元74接收到ACR询问100时，进程前进至步骤S22。
[0142]在步骤S22中，ACR响应产生单元75通过将在ACR数据库73中注册的ACR参考数据I1的签名数据111和包括在接收到的ACR询问100中的签名数据104进行比较，辨识作为签名数据104的提取源的内容。然后，ACR响应产生单元75根据内容的辨识结果产生ACR响应120。换句话说，当能够识别作为包括在ACR询问100中的签名数据104的提取源的内容时，产生图10的A中示出的ACR响应120，当辨识失败时，产生图10的B中示出的ACR响应。产生的ACR响应120被从ACR响应产生单元75输出到通信单元74。通信单元74经由互联网12将产生的ACR响应120发送到ACR网关40。
[0143]当ACR网关40的ACR客户端41接收到ACR响应120时，在步骤S13中，ACR网关40的ACR响应转换单元64分析ACR响应120并且将其中包括的相关元数据127等转换成终端装置20侧能够访问的HTML文档并且将相关元数据存储在预定服务器中。此外，ACR响应转换单元64使用通信单元61将代表存储了 HTML文档的预定服务器的URL通知给通用ACR客户端22。
[0144]在步骤S3中，已接收到关于URL的通知的通用ACR客户端22的分析单元54经由通信单元51访问ACR网关40已经通知的URL，然后获取和分析已经被转换成存储在其中的HTML文档的相关元数据127。然后，基于分析结果，将与正被再现的内容对应的应用标识符通知给应用管理器23。当应用管理器23基于应用标识符访问应用服务器33时，在步骤S23中，应用服务器33根据来自应用管理器23的请求供应应用。在步骤S4中，应用管理器23与内容的进程相联系地执行所获取的应用。
[0145]注意，当在终端装置20上观看内容时，重复地执行上述步骤的处理。因此，应用可以与正被观看的内容的进程相联系地操作。
[0146]此外，根据相联系的应用，例如，显示与内容相关的信息，实现观看者或收听者能够参与的小测试或投票，或者推荐或下载其它内容。
[0147]如上所述，通过在ACR网关40中提供与多个ACR服务器31分别对应的多个ACR客户端41，终端装置20能够只通过具有通用ACR客户端22来使用多个ACR服务器31。
[0148]执行上述一系列处理的终端装置20、供应装置30和ACR网关40能够分别由硬件来配置并且当计算机执行软件时被实现。所述计算机包括合并在专用硬件中的计算机，例如，能够用安装在其中的各种程序执行各种功能的通用个人计算机等。
[0149]图12是示出上述计算机的硬件配置例子的框图。
[0150]在计算机200中，CPU (中央处理单元)201、R0M (只读存储器)202和RAM (随机存取存储器)203通过总线204相互连接。
[0151]输入和输出接口 205也连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接到输入和输出接口 205。
[0152]输入单元206由键盘、鼠标、麦克风等配置。输出单元207由显示器、扬声器等配置。存储单元208由硬盘、非易失性存储器等配置。通信单元209由网络接口等配置。驱动器210驱动可拆卸介质211，诸如磁盘、光盘、磁-光盘、半导体存储器等。
[0153]在如上所述配置的计算机200中，CPU 201经由输入和输出接口 205和总线204将存储在例如存储单元208中的程序加载到RAM203上，并且执行所述程序。从而，执行了上述一系列处理。
[0154]要由计算机200 (CPU 201)执行的程序被设置成记录在作为例如封装介质等的可拆卸介质211中。此外，能够经由有线或无线传输介质(诸如局域网、互联网或数字卫星广播)提供程序。
[0155]在计算机200中，通过将可拆卸介质211加载到驱动器210上，能够经由输入和输出接口 205将程序安装到存储单元208中。还可以使用通信单元209从有线或无线传输介质接收程序并且将程序安装到存储单元208中。作为另一个替代方式，可以将程序预先安装在ROM 202或存储单元208中。
[0156]注意，计算机200执行的程序可以是以本说明书中描述的次序按时序执行处理的程序，或者可以是并行地或者在必要时刻(诸如当调用处理时)执行处理的程序。
[0157]注意，本公开的实施例不限于上述实施例，在不脱离本公开的主旨的情况下可以做出各种变化和修改。
[0158]参考符号列表
[0159]10内容辨识系统
[0160]20终端装置
[0161]21内容渲染器
[0162]22通用ACR客户端
[0163]23应用管理器
[0164]24用户接口
[0165]30供应装置
[0166]31 ACR 服务器
[0167]32内容服务器
[0168]33应用服务器
[0169]40 ACR 网关
[0170]41 ACR 客户端
[0171]42控制单元
[0172]51通信单元
[0173]52 ACR网关检测单元
[0174]53通用请求产生单元
[0175]54分析单元
[0176]61通信单元
[0177]62签名提取单元
[0178]63 ACR请求产生单元
[0179]64 ACR响应分析单元
[0180]71内容获取单元
[0181]72签名提取单元
[0182]73 ACR 数据库
[0183]74通信单元
[0184]75 ACR响应产生单元
[0185]90 ACR 能力
[0186]100 ACR 询问
[0187]110ACR参考数据
[0188]120ACR 响应
[0189]200计算机
[0190]201CPU
【权利要求】
1.一种终端装置，包括: 检测单元，被配置成检测中继装置； 再现单元，被配置成再现内容； 发送单元，被配置成将再现的内容发送到检测到的中继装置；以及 获取单元，被配置成获取根据询问从辨识服务器装置返回到所述中继装置的响应，所述响应以这样的方式对应于所述内容的辨识结果，即所述中继装置从所述内容中提取代表所述内容的特性的签名数据，产生至少包括提取的签名数据的所述询问，并且将产生的询问发送到所述辨识服务器装置以请求辨识所述内容。
2.根据权利要求1所述的终端装置，还包括: 应用执行单元，被配置成基于获取的响应获取和执行与再现的内容对应的应用。
3.根据权利要求2所述的终端装置，还包括: 产生单元，被配置成产生请求所述中继装置使用所述辨识服务器装置的通用请求， 其中所述发送单元还将所述通用请求发送到检测到的中继装置。
4.根据权利要求3所述的终端装置，其中所述产生单元产生通用请求，所述通用请求包括用于从所述中继装置能使用的多个所述辨识服务器装置中指定要使用的辨识服务器装置的信息。
5.根据权利要求2所述的终端装置，其中所述获取单元基于由所述中继装置通知的代表所述预定服务器的信息，获取通过所述中继装置将从所述辨识服务器装置返回的响应转换成预定数据形式而存储在预定服务器中的数据。
6.一种终端装置的信息处理方法，所述信息处理方法由所述终端装置执行，所述信息处理方法包括: 检测中继装置的检测步骤； 再现内容的再现步骤； 将再现的内容发送到检测到的中继装置的发送步骤；以及 获取步骤，其中所述中继装置从所述内容中提取代表所述内容的特性的签名数据，产生至少包括提取的签名数据的询问，将产生的询问发送到辨识服务器装置以请求辨识所述内容，并且获取根据所述询问从所述辨识服务器装置返回到所述中继装置的响应，所述响应对应于所述内容的辨识结果。
7.一种程序，使得计算机用作: 检测单元，被配置成检测中继装置； 再现单元，被配置成再现内容； 发送单元，被配置成将再现的内容发送到检测到的所述中继装置；以及 获取单元，被配置成获取根据询问从辨识服务器装置返回到所述中继装置的响应，所述响应以这样的方式对应于所述内容的辨识结果，即所述中继装置从所述内容中提取代表所述内容的特性的签名数据，产生至少包括提取的签名数据的所述询问，并且将产生的询问发送到所述辨识服务器装置以请求辨识所述内容。
8.—种中继装置，在所述中继装置中安装有一个或多个辨识客户端，所述一个或多个辨识客户端中的每一个对应于可用辨识服务器装置，所述辨识客户端包括: 提取单元，被配置成从终端装置再现的内容中提取代表所述内容的特性的签名数据； 产生单元，被配置成产生请求所述辨识服务器装置辨识所述内容的询问，所述询问至少包括提取的签名数据； 通信单元，被配置成将产生的询问发送到对应的辨识服务器装置，并且接收根据所述询问从所述辨识服务器装置返回的响应，所述响应对应于所述内容的辨识结果；以及中继单元，被配置成将从所述辨识服务器装置返回的所述响应中继到所述终端装置。
9.根据权利要求8所述的中继装置，其中安装的辨识客户端的数量与多个可用辨识服务器装置的数量对应。
10.根据权利要求9所述的中继装置，还包括: 通知单元，被配置成将代表所述多个可用辨识服务器装置的信息通知给所述终端装置。
11.根据权利要求9所述的中继装置，其中所述中继单元将所述响应转换成适于所述终端装置的数据形式，并且存储在预定服务器中，并且将代表所述预定服务器的信息通知给所述终端装置。
12.—种中继装置的信息处理方法，在所述中继装置中安装有一个或多个辨识客户端，所述一个或多个辨识客户端中的每一个对应于可用辨识服务器装置，所述信息处理方法由所述辨识客户端执行，该信息处理方法包括: 提取步骤，从终端装置再现的内容中提取代表所述内容的特性的签名数据； 产生步骤，产生请求所述辨识服务器装置辨识所述内容的询问，所述询问至少包括提取的签名数据； 通信步骤，将产生的询问发送到对应的辨识服务器装置，并且接收根据所述询问从所述辨识服务器装置返回的响应，所述响应对应于所述内容的辨识结果；以及中继步骤，将从所述辨识服务器装置返回的所述响应中继到所述终端装置。
13.一种程序，使得计算机用作: 提取单元，被配置成从终端装置再现的内容中提取代表所述内容的特性的签名数据；产生单元，被配置成产生请求所述辨识服务器装置辨识所述内容的询问，所述询问至少包括提取的签名数据； 通信单元，被配置成将产生的询问发送到对应的辨识服务器装置，并且接收根据所述询问从所述辨识服务器装置返回的响应，所述响应对应于所述内容的辨识结果；以及中继单元，被配置成将从所述辨识服务器装置返回的所述响应中继到所述终端装置。
14.一种内容辨识系统，包括: 终端装置； 中继装置；以及 辨识服务器装置， 其中所述终端装置包括检测单元、再现单元、发送单元和获取单元，所述检测单元被配置成检测所述中继装置，所述再现单元被配置成再现内容，所述发送单元被配置成将再现的内容发送到检测到的中继装置，所述获取单元被配置成获取根据询问从辨识服务器装置返回到所述中继装置的响应，所述响应以这样的方式对应于所述内容的辨识结果，即所述中继装置从所述内容中提取代表所述内容的特性的签名数据，产生至少包括提取的签名数据的询问，并且将产生的询问发送到所述辨识服务器装置以请求辨识所述内容， 其中所述中继装置中安装有一个或多个辨识客户端，所述一个或多个辨识客户端中的每一个对应于可用辨识服务器装置，并且所述辨识客户端中的每一个包括提取单元、产生单元、通信单元和中继单元，所述提取单元被配置成从所述终端装置再现的内容中提取代表所述内容的特性的签名数据，所述产生单元被配置成产生请求所述辨识服务器装置辨识所述内容的询问，所述询问至少包括提取的签名数据，所述通信单元被配置成将产生的所述询问发送到对应的辨识服务器装置并且接收根据所述询问从所述辨识服务器装置返回的响应，所述响应对应于所述内容的辨识结果，所述中继单元被配置成将从所述辨识服务器装置返回的所述响应中继到所述终端装置，以及 其中所述服务器装置包括数据库、响应产生单元和发送单元，所述数据库被配置成示出从所述内容中提取的代表所述内容的特性的所述签名数据和代表作为提取源的所述内容的内容标识符之间的对应关系，所述响应产生单元被配置成参考所述数据库辨识作为从所述终端装置发送的包括在所述询问中的所述签名数据的提取源的所述内容并且产生对应于辨识结果的响应，所述发送单元被配置成将产生的响应发送到所述中继装置。
【文档编号】H04N7/173GK104205817SQ201380013759
【公开日】2014年12月10日 申请日期:2013年3月13日 优先权日:2012年3月21日
【发明者】山岸靖明 申请人:索尼公司