一种用于数据跟踪和呈现的方法和装置与流程

相关申请

本发明要求2017年10月26递交的发明名称为“methodandapparatusfordatatrackingandpresenting”的第15/795,193号美国非临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文。

本发明通常涉及媒体节目的数据编辑、数据跟踪及呈现，更具体地，涉及一种用于提供与媒体节目相关联的对象信息的方法、服务器和移动设备。

背景技术：

电影、电视节目、幻灯片播放和视频演示等媒体节目可以包含丰富的信息，例如演员、服装、包包、厨房用具和其它商品的图像。从媒体节目中读取、看到及听到的物品的信息在节目播放过程中不一定能从所述媒体节目中辨别出来。例如，在电影的特定时间显示的某件夹克衫的品牌在电影播放时可能不易辨认。某个媒体节目的部分观众在观看该节目时，可能会想了解更多关于图像或音乐的信息。

技术实现要素：

一种示例性实施例提供一种用于提供与媒体节目相关联的对象信息的方法，包括：在所述媒体节目的帧图像中标识兴趣对象；将指示符插入所述帧图像以标识所述兴趣对象；根据所述媒体节目的一部分生成与所述标识对象相关联的视频片段；构建包含有关所述兴趣对象的信息的信息页面，其中，所述信息页面包含用于显示所述视频片段的窗口；将所述信息页面的统一资源定位符(uniformresourcelocator，url)发送给所述用户设备；接收与显示所述媒体节目的所述用户设备相关的信息页面请求；将包括所述视频片段的所述信息页面发送所述给用户设备。

可选地，在任一前述实施例中，所述指示符与所述兴趣对象相邻。

可选地，在任一前述实施例中，所述指示符位于所述帧图像的角落。

可选地，在任一前述实施例中，所述方法还包括：当所述对象与产品库中的对象id匹配时，在所述帧中标识所述兴趣对象。

可选地，在任一前述实施例中，所述方法还包括：将所述媒体节目发送给第一用户设备；将所述信息页面的所述url发送给第二用户设备；接收与显示所述媒体节目的所述第一用户设备相关的信息页面请求；将包括所述视频片段的所述信息页面发送给所述第二用户设备，其中，所述第一用户设备和所述第二用户设备为不同的用户设备。

可选地，在任一前述实施例中，所述将包括所述视频片段的所述信息页面发送给用户设备，还包括：其中，所述视频片段包括所述用户设备中显示的所述媒体节目的最新时间戳。

一种示例性实施例提供一种用于提供与媒体节目相关联的对象信息的服务器，所述服务器包括存储指令的存储器；与所述存储器耦合的一个或多个处理器，其中，所述一个或多个处理器执行所述指令以：在所述媒体节目的帧图像中标识兴趣对象；将指示符插入所述帧图像以标识所述兴趣对象；根据所述媒体节目的一部分生成与所述标识对象相关联的视频片段；构建包含有关所述兴趣对象的信息的信息页面，其中，所述信息页面包含用于显示所述视频片段的窗口；将所述信息页面的url发送给所述用户设备；接收与显示所述媒体节目的所述用户设备相关的信息页面请求；将包括所述视频片段的所述信息页面发送所述给用户设备。

可选地，在任一前述实施例中，所述指示符与所述兴趣对象相邻。

可选地，在任一前述实施例中，所述指示符位于所述帧图像的角落。

可选地，在任一前述实施例中，所述服务器还包括：当所述对象与产品库中的对象id匹配时，在所述帧中标识所述兴趣对象。

可选地，在任一前述实施例中，所述将包括所述视频片段的所述信息页面发送给用户设备，还包括：其中，所述视频片段包括所述用户设备中显示的所述媒体节目的最新时间戳。

一种示例性实施例提供一种用于提供与媒体节目相关联的对象信息的方法，所述方法包括：获取与兴趣对象相关联的信息页面的url，其中，所述兴趣对象呈现在所述媒体节目的帧中，所述帧包括标识所述兴趣对象的指示符；在所述url上请求所述信息页面；接收包括用于显示视频片段的窗口的所述信息页面，其中，所述视频片段基于所述媒体节目的一部分且与所述兴趣对象相关联；在所述窗口中显示所述信息页面和所述视频片段。

可选地，在任一前述实施例中，所述方法还包括：当接收到用户请求时，获取所述信息页面的所述url。

可选地，在任一前述实施例中，所述url由用户界面(userinterface，ui)图像显示，其中，当应用程序在移动设备上运行时，显示所述ui图像。

可选地，在任一前述实施例中，所述方法还包括：当应用程序在设备上运行时，更新所述url，其中，所述视频片段包括所述窗口中显示的所述媒体节目的最新时间戳。

一种示例性实施例提供一种用于提供与媒体节目相关联的对象信息的移动设备，所述移动设备包括：存储指令的存储器；与所述存储器耦合的处理器，其中，所述处理器执行所述指令以：获取与兴趣对象相关联的信息页面的url，其中，所述兴趣对象呈现在所述媒体节目的帧中，所述帧包括标识所述兴趣对象的指示符；在所述url上请求所述信息页面；接收包括用于显示视频片段的窗口的所述信息页面，其中，所述视频片段基于所述媒体节目的一部分且与所述兴趣对象相关联；在所述窗口中显示所述信息页面和所述视频片段。

可选地，在任一前述实施例中，所述设备还包括：当接收到用户请求时，获取所述信息页面的所述url。

可选地，在任一前述实施例中，所述url由用户界面(ui)图像显示，其中，当应用程序在移动设备上运行时，显示所述ui图像。

可选地，在任一前述实施例中，所述设备还包括：当应用程序在设备上运行时，更新所述url，其中，所述视频片段包括所述窗口中显示的所述媒体节目的最新时间戳。

附图说明

图1是根据本发明实施例的在媒体节目中进行数据跟踪和呈现的示例性流程的结构图；

图2示出了根据本发明实施例的管理一个或多个媒体节目的一个或多个视频片段的图；

图3示出了根据本发明实施例的与图1和图2相关的流程图；

图4示出了根据本发明实施例的在第一显示器400上的媒体节目中进行对象跟踪和呈现的示例；

图5示出了根据本发明实施例的在第二显示器500上的媒体节目中进行对象跟踪和呈现的示例；

图6是根据本发明实施例的提供与媒体节目相关联的对象信息的流程图；

图7是根据本发明的一些实施例的机器700的组件的框图。

具体实施方式

现将详细描述本发明实施例以供参考，其中的一些示例结合附图进行说明。在下文描述中将阐述许多具体细节，以便全面理解本发明各实施例。然而，对于本领域普通技术人员显而易见的是，实施例可以在没有这些具体细节的情况下实施，或者在不脱离本发明的精神和范围的情况下，还可以对本发明进行各种修改或替换。在其它实例中没有详细描述众所周知的方法、流程、组件和电路，以免造成实施例的各方面晦涩难懂。

电影、电视节目、直接数字存储媒体产品、在线视频等媒体节目的制作者经常想要向观众提供节目中某些物品的信息。广告制作人也会借机在节目中植入产品广告。有些广告会中断节目播放以展示商品，或者突然在节目中添加广告内容，导致对产品不感兴趣的观众觉得节目无趣。

类似地，一些制作人试图通过在某些媒体节目上叠加弹窗广告来避免干扰节目的播放，但许多观众仍然觉得节目无趣。

制作者需要以更加舒适愉悦的方式提供广告。

此外，一些媒体节目的观众可能在观看节目时有兴趣了解更多关于图像或音乐的信息。如果能立即获得更多关于媒体节目中播放的图像或声音的信息，将能有效地赢得客户。

根据本发明实施例提供的方案，在此介绍一个故事以展示可能发生的实际生活中的例子。用户从内容提供商订阅服务。所述用户在订阅期间可能会留下一个优选的兴趣列表。所述用户可以在自己的移动设备中安装应用程序和服务。在本实施例中，所述用户正在电视上观看媒体节目；时不时地会显示一个指示符，所述指示符表示存在一个由所述指示符显示的对象以供进一步了解，所述对象可以是包包、厨房用具或任何待售商品；当所述用户感兴趣时，所述用户可以暂停或继续播放所述节目，并在所述移动设备中打开应用程序；所述应用程序上显示所述用户刚刚从所述媒体节目观看的对象的图像；除了所述图像，还提供了与所述对象相关的几行简要信息；用户可以单击所述图像或几行简要信息以获得所述对象的其它信息。

此外，当所述用户单击所述图像时，可以在所述移动设备的屏幕上播放一个视频片段，所述视频片段具体为所述用户刚刚观看的所述媒体节目的一个片段，且所述视频片段聚焦于所述媒体节目中所述对象所在的场景。可选地，所述指示符配置为透明图标。可选地，所述指示符可以是显示屏上的动画等，以通知人们可能还有其它信息。所述指示符的大小可设计成适合观看以吸引人们的注意力。但是，如果所述用户对所述对象不感兴趣，所述指示符可以以易于被所述用户忽略的方式进行设计，从而不会打扰所述用户观看节目，而是通知所述用户在所述应用程序中可能具有更多关于所述对象的信息。所述指示符可以是图标、指针、符号、动画、方框等，指示符可以具有特定的形状，例如矩形，三角形，圆形或3d形状等。

图1是根据本发明实施例的在媒体节目中进行数据跟踪和呈现的示例性流程的结构图。

用户100在第一显示器110上观看媒体节目。所述用户100也可使用第二显示器120获得其它信息。服务器130可以处理媒体节目的一个或多个帧，当所述媒体节目的一个帧中的对象与产品库中的对象id匹配时，所述服务器130可以标识所述对象，并编辑所述媒体节目的所述帧。所述服务器130可以是流媒体服务器，也可以提供媒体节目；或者也可以是广告平台(图1未示出)，也可以为媒体节目提供广告。可选地，所述服务器130还同时标识所述媒体节目的所述一个或多个帧中所述对象的位置。所述产品库包括待售商品的数据库，包括商品的品牌名称、价格、图片、产地、使用手册等。所述标识过程可以在所述媒体节目播放时通过图像处理算法自动实现，也可以在媒体节目播放前通过手动标记所述对象实现。针对所述媒体节目的各个帧重复执行此过程，以标识所述帧中的对象。可以从独立的媒体节目提供商或操作所述服务器的同一提供商接收所述媒体节目的所述一个或多个帧。若所述服务器130在所述第一显示器110播放所述媒体节目时接收到所述媒体节目，则可以在所述服务器130与所述第一显示器110之间发送同步信号。标识所述对象，同时记录所述对象的时间戳。所述时间戳用于记录在所述媒体节目的所述一个或多个帧中显示标识对象的开始时间和结束时间。随着所述媒体节目在所述第一显示器110上持续播放，同步信号周期性地发送到所述服务器130。所述第一显示器110和所述第二显示器120可以是同一屏幕的独立窗口，也可以是同一设备或不同设备的独立屏幕。

所述服务器130将具有一个或多个标识对象的媒体节目的一个或多个帧发送到媒体播放器/混音器140。可选地，所述服务器130也将所述标识对象在所述媒体节目的所述一个或多个帧的位置的信息发送给所述媒体播放器/混音器140。所述媒体播放器/混音器140通过将指示符嵌入在包括所述标识对象的图像的所述媒体节目的帧的位置上来修改或编辑的数量有限的帧数据。所述指示符可以按照本发明的各种实施例中描述的方式进行设计。

所述服务器130周期性地或在应用程序提出请求或打开所述应用程序时，将用户界面(ui)和相关信息更新到所述应用程序上的所述一个或多个标识对象。所述应用程序可以在用户设备中安装并运行。在人机交互的工业设计领域中，所述ui即为人与机器之间的交互使用的空间。这种交互的目的在于：人可以对机器进行有效的操作和控制，同时机器也能反馈有助于操作员执行决策过程的信息。用户界面这一广泛概念的示例包括计算机操作系统，手动工具，重型机械操作员控件和过程控件的交互界面。通常假定所述ui是指图形用户界面。

除了所述ui之外，还提供与所述对象相关的几行信息，所述几行信息提供所述一个或多个标识对象的简要信息。当选择图像或几行简要信息时，会显示更多信息以获得所述对象的其它信息。可选地，当选择所述ui的图像时，在所述第二显示器120上播放视频片段，具体为所述媒体节目的片段。所述第二显示器120可以与所述第一显示器110不同。基于用户订阅的id或所述第一显示器110与所述服务器130之间的同步信号，所述服务器130可以将所述ui和相关信息更新到所述应用程序上的所述一个或多个标识对象，以匹配所述第一显示器110上播放的所述媒体节目。因此，当选择图像ui时，从所述服务器130检索的所述视频片段的时间戳与所述第一显示器110上的所述媒体节目的当前实际时间最接近。所述第二显示器120上播放的所述视频片段显示短时间内刚刚在所述第一显示器110上显示的标识对象。其中，所述短时间为所述视频片段的所述时间戳与所述第一显示器110上的所述媒体节目的当前实际时间的差值。

可以在所述第二显示器上播放所述媒体节目的多个片段，这些片段可以存储在数据库中，也可以在所述第一显示器110上播放所述媒体节目时生成。所述媒体节目的片段可以包括所述媒体节目的一个或多个场景的特定片段。可以存储或生成所述媒体节目的所述多个片段以逐块显示所述媒体节目的一个或多个场景。可以根据媒体格式或媒体模板从与标识对象相关联的所述媒体节目的一部分生成所述媒体节目的片段。优选地，在不改变已嵌入所述媒体节目的数据的情况下修改或生成帧。针对所述媒体节目的各种帧，可以重复执行嵌入一个或多个指示符的过程。

当向所述服务器130发送请求时，用户打开所述应用程序时，或者用户在所述第一显示器上暂停播放所述媒体节目时，可以定期更新与所述应用程序上的所述一个或多个标识对象的ui和相关信息。

所述应用程序上的所述一个或多个标识对象的ui和相关信息可以按时间顺序排列，最新更新的ui和相关信息可以显示在顶部。每个图像ui或简要信息行可以表示将由设备播放并且可通过数据库访问的媒体节目的视频片段的资源。当选择一个图像ui时，可以在所述第二显示器120或选择的可用屏幕上重播与所述图像ui相关联的视频片段。所述ui可用于链接到各种url，这些url指向与标识对象相关的视频片段。以下将进一步描述制作视频片段的内容和过程。图2示出了根据本发明实施例的管理一个或多个媒体节目的一个或多个视频片段的图。如以上图1中所述，当一个或多个媒体节目的帧中的对象与产品库中的对象id匹配时，在图2中附图标记为230的所述服务器130标识所述对象。所述服务器130、230可以将所述标识对象的信息以及所述标识对象在所述媒体节目中的位置发送给剪辑管理器260。所述剪辑管理器260可基于媒体节目生成视频片段。所述剪辑管理器260可以确定缓存或存储器250中是否存在所述标识对象的记录。如果所述缓存250中存在所述标识对象的相关或识别记录，例如相关对象id，则可以更新所述存在的记录。如果所述缓存250中不存在所述标识对象的相关或识别记录，则可以生成所述标识对象的相关记录。所述标识对象的记录可以是所述缓存中的实例。数据库240存储媒体节目的视频片段。

图3示出了根据本发明实施例的与图1和图2相关的流程图。

步骤301中，所述服务器130、230从视频帧中识别对象，并将相关对象id和所述对象在媒体节目的帧中的位置发送给剪辑管理器260。

步骤303中，所述剪辑管理器260在缓存250中查找相关对象id。

步骤305中，所述剪辑管理器260确定所述缓存250中是否存在相关或识别的对象id；如果不存在，则执行步骤308，如果存在，则执行步骤307。

如果所述缓存250中不存在此类相关或识别的对象id，则在步骤308中，在所述缓存250中生成对象记录；在所述缓存250中创建对象记录，所述对象记录可以包括对象id的信息、当前时间戳及当前位置等项目。可选地，所述对象记录包括clip_start_timestamp和clip_end_timestamp。例如，对象记录可以包括如下步骤310(图3未示出)中的项目信息。

◆设置缓存中的对象：

◆object_id：对象id

◆movie_id：电影id

◆current_clip_start_time：当前时间戳；

◆current_clip_end_time：当前时间戳；

◆current_positions：将位置加入列表

movie_id可以指示从中标识出所述对象的电影。

在步骤308中创建所述对象记录后，所述流程可以返回到步骤301并重复执行其步骤。

如果所述缓存250中存在此类相关或识别的对象id，则在步骤307中，在所述缓存250中读取所述对象记录。

步骤309中，如果所述缓存250中的所述对象记录的currentclip_end_time与所述标识对象的current_clip_end_time之间的差值大于某一时间间隔，则将所述缓存中的所述对象记录与所述标识对象进行比较；如果比较结果为是，则执行步骤311；如果比较结果为否，则执行步骤312。

如果所述比较结果为是，表明所述差值大于所述时间间隔，则在步骤311中生成对象记录，包括以下各项：

◆正在计算：

◆time_range：(current_clip_start_time,current_clip_end_time)

◆位置：current_positions

◆avg_img_proportion：使用“positions”字段中的位置计算平均比例。

步骤313中，将所述对象记录的信息写入所述数据库240。

步骤315中，在所述缓存250中删除所述对象记录。然后，所述过程进入步骤317。

如果所述比较结果为否，表明所述差值小于所述时间间隔，则在步骤312中，在所述缓存250中更新所述对象记录。所述更新的对象记录可以包括如下各项，例如，所述标识对象中的更新项“current_clip_end_time”及“clip_end_time”，将对象位置添加到所述标识对象中的“当前位置”项。所述更新的对象记录的示例可以包括以下各项：

◆clip_end_timestamp：当前时间戳

◆currentpositions：当前位置

当所述缓存250中的所述对象记录更新时，所述流程转至步骤317。

步骤317中，当下一个时间间隔开始时，可以重复执行步骤301至317的过程。所述过程可以重复执行直到所述缓存已满或所有标识的对象都已缓存。

可以根据所接收的媒体节目并参照所述相关对象记录生成视频片段。

所述剪辑管理器260存储一个或多个对象记录，并提供所述对象记录作为所述对象记录的片段的基础信息。步骤318中，使用所述对象记录的所述片段的相关信息生成一个或多个视频片段。所述视频片段包括所述媒体节目中标识对象的时间戳信息及相关场景。步骤319中，所述媒体播放器/混音器140可以修改或编辑所述媒体节目。可选地，步骤320中，在图1的所述第二显示器120上呈现的视频片段可以从所述剪辑管理器260或所述服务器230获取资源。所述剪辑管理器260可以从所述服务器230检索媒体节目资源并生成与对象记录相关的视频片段。

可选地，图1的所述第二显示器120呈现的所述视频片段可以从第三方获得。所述剪辑管理器260及所述服务器230可以是单独的实体或组合在一个单元服务器中。

可选地，随着所述媒体节目在第一显示器110上持续播放，所述视频片段可以周期性地推送至所述服务器130、230。

所述剪辑管理器260可以定期检查和生成视频片段或对象记录。或者，所述剪辑管理器260可以是所述服务器130、230驱动的无源模块。

如此，当所述缓存中对象记录的current_clip_end_time与标识对象的clip_end_time的差值大于某一时间间隔时，比较不同对象记录的clip_end_time项，然后重复执行步骤311、313、315、及317；否则重复执行步骤312、317。

所述视频剪辑管理器260或所述数据库240或所述缓存250可以位于所述服务器130中或独立于所述服务器130。

图4示出了根据本发明实施例的在第一显示器400上的媒体节目中进行对象跟踪和呈现的示例。所述第一显示器可以显示在用户设备上。对应时间序列t0、t1、t2、t3及tn，在所述第一显示器400上显示的所述媒体节目的示例场景410、420及430。t0及t1时刻播放的所述场景410中显示了一个人和所述媒体节目中的一些物品，背包440具体显示为带有指示符450。所述背包440是一种包包产品。优选地，所述背包具有肩带，便于旅行和徒步旅行或携带笔记本电脑。此处，所述背包440代表在上述实施例中已标识的产品对象，以显示其可能可用的潜在信息。随着时间的推移，所述媒体节目继续播放下一个场景。所述场景420中，将所述背包从其原先所在的场景410取走。当所述背包的位置发生改变时，所述指示符450发生移动，使得所述背包440可以一直保持被指示状态。所述场景430中，所述背包440一直处于移动状态，无论所述背包440可以显示在第一显示器400上的哪个位置，所述指示符450都会随着所述背包440移动。

根据本发明所描述的实施例，所述第一显示器400上显示的所述示例场景410、420及430可以是由所述服务器130、230生成的所述媒体节目的视频片段。所述用户设备可以从所述服务器130、230检索所述示例场景410、420及430。图5示出了根据本发明实施例的在第二显示器500上的媒体节目中进行对象跟踪和呈现的示例。如上所述，用户100在第一显示器110、400上观看媒体节目，当所述用户100对以透明指示符标识的对象感兴趣时，所述用户100可以暂停或继续播放所述媒体节目，并在平板电脑501中打开应用程序。所述平板电脑501也可以是移动设备、笔记本电脑、个人电脑或类似的设备。所述平板电脑501可以具有第二显示器500。当所述应用程序开启时，所述应用程序的界面或菜单上可以具有多个ui：ui502、ui503、ui504及ui505。除了所述ui502、ui503、ui504及ui505，还提供与所述一个或多个标识对象中的一个对象相关的几行信息，所述对象位于所述菜单上且靠近所述几行信息。所述几行信息可以提供所述一个或多个标识对象的简要信息。当选择图像或几行简要信息时，会显示更多信息以获得所述对象的其它信息。可选地，当选择所述ui504的图像时，在第二显示器120、500上播放视频片段。所述第二显示器120、500可以与所述第一显示器110、400不同。基于用户订阅的id或所述第一显示器110与所述服务器130之间传送的同步信号，所述服务器130可以将所述ui和相关信息更新到所述应用程序上的所述一个或多个标识对象，以匹配所述第一显示器110上播放的所述媒体节目。因此，当选择图像ui时，从所述服务器130检索的所述媒体节目的片段的时间戳与所述第一显示器110、400上的所述媒体节目的当前实际时间最接近。所述第二显示器120、500上播放的所述媒体节目的所述片段显示短时间内刚刚在所述第一显示器110、400上显示的标识对象。例如，当所述用户在时隙t3，即所述第一显示器400显示所述媒体节目的时间，打开所述应用程序时，由所选图像ui504链接的视频片段可以优选地覆盖对应图4中的时间序列t0–t2的场景541、542及543。所述第二显示器500上显示的场景541、542及543可能已被编辑以包含所述媒体节目的原始场景的其它信息。优选地，在所述应用程序的菜单ui上，以时间序列的顺序列出多个图像ui，所述顶层ui链接到某一时间序列的视频片段，所述时间序列与所述第一显示器110、400上显示的所述媒体节目的当前实际时间序列最接近，且所述时间序列可以采用所述媒体节目的时间戳进行显示。

图6是根据本发明实施例的提供与媒体节目相关联的对象信息的流程图。服务器600与设备601通信。所述服务器600可以是媒体节目提供商或媒体播放器/混音器或服务器。所述服务器600可以包括如上述附图及实施例所述的服务器130、230。步骤610中，所述服务器在所述媒体节目的帧图像中标识兴趣对象；步骤620中，将指示符插入所述帧图像以标识所述兴趣对象；步骤630中，根据所述媒体节目的一部分生成与所述标识对象相关联的视频片段；步骤640中，构建包含有关所述兴趣对象的信息的信息页面，其中，所述信息页面包含用于显示所述视频片段的窗口；步骤650中，向所述用户设备601发送所述媒体节目；步骤660中，将所述信息页面的url发送给所述用户设备601；步骤670中，接收与显示所述媒体节目的所述用户设备601相关的信息页面请求；步骤680中，将包括所述视频片段的所述信息页面发送所述给用户设备601。这些步骤可以按照本文所述以不同的顺序执行。

所述设备601可以是具有多个显示器(第一显示器及第二显示器)的设备，也可以是具有独立显示器(第一显示器及第二显示器)的独立设备(设备1及设备2)。步骤611中，所述设备601获取与兴趣对象相关联的信息页面的url，其中，所述兴趣对象呈现在媒体节目的帧中，所述帧包括标识所述兴趣对象的指示符；步骤612中，在所述url上请求所述信息页面；步骤613中，接收包括用于显示视频片段的窗口的所述信息页面，其中，所述视频片段基于所述媒体节目的一部分且与所述兴趣对象相关联；步骤614中，在所述窗口中显示所述信息页面和所述视频片段。此处所描述的步骤可以以不同的顺序执行。

图7为根据本发明一些示例性实施例的机器700的组件的框图。所述机器700能够从机器可读介质(例如，机器可读存储介质)中读取指令，并执行本文所述的任意一个或多个实施例。

具体地，图7示出了计算机系统的示例形式。在所述计算机系统中，可以执行指令，例如软件、程序、应用程序、小程序或其它可执行代码，以使所述机器700执行本文所述的任意一个或多个实施例的。例如，所述指令可使得所述机器执行图1至图6的流程图。所述指令将普通的、未编程的机器转换为已编程的特定机器，以所述方式执行所描述和图示的功能。在可选实施例中，所述机器700作为独立设备运行，如移动设备，或可以与其它机器耦合(如联网)。在网络部署中，所述机器700可以作为服务器机器或客户端机器在服务器-客户端网络环境中运行。所述机器700可以包括但不限于服务器计算机、客户端计算机、个人计算机(personalcomputer，pc)或任何能够顺序地或以其它方式执行图1至图6的流程的指令的机器，所述指令指定了将由所述机器700执行的动作。此外，虽然仅示出了单台机器700，但术语“机器”也应理解为包括机器700的集合，所述机器700单独或共同执行图1至图6的所述流程的所述指令，以执行本文所述的任何一个或多个方法。例如，替换图1中的所述设备130或图2中的所述设备230，或替换如图1所示的具有所述第一显示器110的设备或具有所述第二显示器120的设备。

所述机器700包括存储器701、处理器702、外设接口703、内存控制器704、图形处理器(graphicsprocessingunit，gpu)705及一个或多个传感器706。所述处理器还可以与功能限定模块707、激活模块708及中央处理器(centralprocessingunit，cpu)709耦合。所述cpu也可以与所述外设接口703耦合。所述设备还可包括射频(radiofrequency，rf)电路721，其可包括wi-fi接口和/或蓝牙接口。所述设备还可以包括一个或多个外部端口722、音频电路723和/或麦克风726等，所述音频电路723可以进一步与一个或多个扬声器725连接。所述设备还可以包括屏幕724，所述屏幕724可以与所述外设接口703耦合。这些组件通过一条或多条通信总线或信号线进行通信。所述机器700例如可以是服务器、掌上电脑、平板电脑、移动电子设备、移动电话、媒体播放器或个人数字助理(personaldigitalassistant，pda)。服务器可以不配备所述麦克风726、所述屏幕724和所述扬声器725。图7所示的各种组件可以通过硬件或硬件和软件的组合实现，包括一个或多个信号处理电路和/或专用集成电路。

在本发明的其它实施例中，所述存储器701可以包括距离所述机器700较远的存储器，例如通过所述rf电路721或外部端口722以及通信网络(未示出)访问的网络连接存储，所述通信网络例如包括互联网、内部网、局域网(localareanetwork，lan)、广域网(widelocalareanetwork，wlan)、存储区域网(storageareanetwork，san)等，或其任何合适的组合。

所述外设接口703将所述机器700的输入和输出外设耦合到所述cpu709、所述gpu705和所述存储器701。所述cpu709运行存储在所述存储器701中的各种软件程序和/或指令集，以执行所述机器700的各种功能并处理数据。所述gpu705处理所述屏幕724的图形处理功能。在一些实施例中，所示图形处理功能由所述cpu709处理，因此可以节省所述gpu705。

所述外部端口722用于通过网络直接或远程耦合到其它设备。例如，所述外部端口722可以包括通用串行总线(universalserialbus,usb)、火线、以及用于接收外部存储介质的内存插槽等。

所述rf(射频)电路721接收和发送rf信号，也称为电磁信号。所述rf电路721将电信号转换为电磁信号或将电磁信号转换为电信号，并通过电磁信号与通信网络和其它通信设备进行通信。所述rf电路721可以包括用于执行这些功能的众所周知的电路，包括但不限于天线系统、rf收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、codec芯片组、用户识别模块(subscriberidentitymodule，sim)卡及内存等。所述rf电路721可以通过无线通信与因特网、内网和/或无线网络(例如，蜂窝电话网络、无线局域网(lan)和/或城域网(metropolitanareanetwork，man))等网络以及其它设备进行通信。所述无线通信网络可以使用多种通信标准、协议和技术中的任何一种，包括但不限于全球移动通信系统(globalsystemformobilecommunications，gsm)、增强数据速率gsm环境(enhanceddatagsmenvironment，edge)、高速下行链路分组接入(high-speeddownlinkpacketaccess，hsdpa)、高速上行链路分组接入(high-speeduplinkpacketaccess，hsupa)、宽带码分多址(widebandcodedivisionmultipleaccess，w-cdma)、码分多址(codedivisionmultipleaccess，cdma)、时分多址(timedivisionmultipleaccess，tdma)、蓝牙、无线保真(wirelessfidelity，wi-fi)(例如，ieee802.11a,ieee802.11b,ieee802.11g和/或ieee802.11n)、基于ip的语音传输(voiceoverinternetprotocol，voip)、wi-max或其它任何合适的通信协议。

所述音频电路723与一个或多个扬声器725和麦克风726连接。这些组件一起提供用户与所述机器700之间的音频接口。所述音频电路723从所述外设接口703接收音频数据，将所述音频数据转换为电信号，并将电信号发送到所述扬声器725。所述扬声器725将所述电信号转换为人耳可听的声波。所述音频电路190还接收由所述麦克风726将声波进行转换形成的电信号。所述音频电路723将所述电信号转换为音频数据并将所述音频数据发送到所述外设接口703以进行处理。音频数据可以通过所述外设接口703从所述存储器701和/或所述rf电路721检索和/或发送到所述存储器701和/或所述rf电路721。所述屏幕724可以是触摸屏，并且提供所述设备与用户之间的输出接口和输入接口。所述屏幕724向所述用户显示可视输出，所述可视输出可以包括文本、图形、视频及其任意组合。部分或全部所述可视输出可对应用户界面对象，下文将进一步详细描述所述用户界面对象。所述屏幕724可以使用液晶显示器(liquidcrystaldisplay，lcd)技术或者其它已知的显示技术。所述屏幕724还可基于触觉和/或触觉接触接收来自用户的输入。

存储在所述存储器701的所述操作系统710(例如，android、rtxc、linux、unix、appleosx、microsoftwindows、或嵌入式操作系统，例如vxworks)包括各种软件组件和/或驱动程序，用于控制和管理常规系统任务(例如，内存管理，存储设备控制，电源管理等)，并促进各种硬件和软件组件之间的通信。虽然可以应用多种操作系统，但下面将以android为例对本发明实施例进行描述。所述操作系统710中可以安装各种应用。

尽管参照了具体特征和实施例对本发明进行说明，但是应当理解的是，在不脱离所附权利要求所定义的本发明的精神和范围的情况下，可以对本发明实施例进行各种修改和替换。