智能的电视购物系统和方法
【专利摘要】一种智能的用户交互控制系统的方法，包括对一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目播放在显示屏上显示给用户，并检测所述用户的暂停指令，以停止所述视频节目。所述方法还包括停止所述视频节目后，在显示屏上为所述用户显示数个视频略览帧，并获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息，根据所述被选择的视频略览帧，在显示屏上显示给所述用户数个感兴趣的对象，系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象。所述方法还包括在在线数据库中搜索所述用户已选的感兴趣的对象，获得相应于所述用户已选的感兴趣的对象的搜索结果，并将所述搜索结果提示给所述用户。
【专利说明】智能的电视购物系统和方法
【技术领域】
[0001]本发明涉及电视和用户界面【技术领域】，尤其涉及一种关于智能的用户交互控制系统和方法的技术。
【背景技术】
[0002]电视购物已经存在了很长时间，但从未在一个大量人口基础上认真实现过，而通过电脑的在线购物在最近几年已相当成熟了。电视购物的主要障碍可能是用户通过遥控器与电视之间进行交互的机制不灵活，以及人们对电视的传统认知就是一个家庭娱乐平台，而不是一个操作平台。因为现在我们已经进入一个包括智能电视的智能设备的时代，所以当前电视购物模式可能已经落伍。
[0003]近年来，内容可以通过电视来购买或租赁。人们把购物商务看作为内容商务的自然延伸，并希望使用家庭电视作为一个配套设施。一些购物供应商为电视做了些可下载的应用程序(如，iphone或安卓的应用程序)。但是，因为电视遥控器使用困难，所以如何使这个方法能够与通过电脑或移动电话的在线购物相竞争，可能还是个问题。另外一些购物供应商则提出基于用户在看电视时候的选择而自动为用户收集折扣券，而用户必须在电视商品广告节目结束之前，点击遥控器上的一个特定的按键，来锁定所述特定的折扣券。但是，所述方法可能让用户处于警戒状态，而这可能颠覆看电视是一种娱乐放松的体验这个主要原则。
[0004]本发明所公开的方法和系统可用来解决上述的一个或多个问题以及其他问题。
【发明内容】
[0005]本公开的一个方面包括一个智能的用户交互控制系统的方法。所述方法包括对一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目播放在显示屏上显示给用户，并检测所述用户的一个暂停指令，以停止所述视频节目。所述方法还包括当停止所述视频节目后，在显示屏上为所述用户显示数个视频略览帧，并获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息。进一步地，所述方法包括根据所述被选择的视频略览帧，在显示屏上显示给所述用户数个感兴趣的对象，系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象。所述方法还包括在在线数据库中搜索所述用户已选的感兴趣的对象，获得相应于所述用户已选的感兴趣的对象的搜索结果，然后将所述搜索结果提示给所述用户。
[0006]本发明公开的另外一个方面包括一个智能的用户交互控制系统。所述智能的用户交互控制系统包括一个数据存储器，一个对象提取模块，一个用户体验(UE)处理器，以及一个可视化搜索引擎。所述数据存储器，用于储存一段时间内传进来的视频节目的数据流，所述视频节目播放在显示屏上显示给用户。所述视频提取模块，用于对所述一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目播放在显示屏上显示给用户。进一步地，所述用户体验处理器(UE)，用于探测来自所述用户的暂停指令以停止所述视频节目；停止所述视频节目后，在显示屏上为所述用户显示数个视频略览帧；获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息；根据所述被选择的视频略览帧，在显示屏上显示给所述用户数个感兴趣的对象；系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象。所述可视化搜索引擎，用于在在线数据库中搜索所述用户已选的感兴趣的对象并返回对应于所述用户已选的感兴趣的对象的搜索结果，而用户体验处理器进一步设置用于向所述用户提示所述搜索结果。
[0007]本公开的其他方面，本领域技术人员可根据本发明的说明书，权利要求书和附图
来理解。
【专利附图】
【附图说明】
[0008]图1说明了一个结合本发明所披露的某一实施例的示范性的环境；
图2说明了一个与所披露的实施例相符合的示范性的计算机系统；
图3说明了一个与所披露的实施例相符合的示范性的视频处理模块；
图4说明了一个与所披露的实施例相符合的示范性的智能电视购物控制系统；以及图5说明了一个与所披露的实施例相符合的智能电视购物控制系统的示范性的操作过程。
【具体实施方式】
[0009]引用附图中所说明的本发明的示范性的实施例作为具体的参考。尽可能地，使用相同的编号来表示附图中相同或相似的部分。
[0010]图1说明了一个结合本发明所披露的某一实施例的一个典型的环境100。如图1所示，所述环境100包括电视102，遥控器104，和用户108。可选地，环境100可包括网络设备 106。
[0011]所述电视102可包括各种合适类型的电视，比如等离子电视，液晶电视，投影电视，非智能电视，或智能电视。所述电视102也可包括其他的计算机系统，诸如个人电脑(PC)，平板电脑或移动电脑，或服务器，等等。
[0012]所述遥控器104可以包括任何合适类型的遥控器，可联系并控制所述电视102，诸如定制的电视遥控器，通用遥控器，平板电脑，智能手机，或任何能够执行遥控功能的计算机设备。所述遥控器104也可包括其他类型的设备，诸如基于运动传感器的遥控器，或深度相机增强的遥控器，以及简单的输入/输出设备，比如键盘，鼠标，和声控输入设备等。
[0013]为了看所述电视102和在所述电视102上执行一个所感兴趣的行为，比如在所述电视102上购物，所述用户108可先拿起所述遥控器104，抓住所述遥控器104，然后使用所述遥控器104来控制所述电视102，执行所感兴趣的行为操作，或者如果使用了运动感受器或者深度相机，所述用户可简单地使用手部或身体姿态来控制所述电视102。在这过程中，所述用户108可与所述电视102和/或所述网络设备106交互。
[0014]进一步地，可选的所述网络设备106可包括任何合适类型的计算电子设备或消费电子设备，为所述遥控器104和所述电视102之间的通讯，数据储存，以及数据处理提供便利。所述电视102，所述遥控器104，以及所述网络设备106可通过一个或多个通讯网络而
相互联系。[0015]所述电视102，所述遥控器104，和/或所述网络设备106，可以在任何合适的计算电路平台上实施。图2显示一个典型的可实现所述电视102、所述遥控器104和/或所述网络设备106的计算机系统200的框图。
[0016]如图2所示，所述计算系统200可包括处理器202，存储介质204，显示器206，通讯模块208，数据库210，和外围设备212。某些设备可能被省略，而其他设备可能被加入。
[0017]所述处理器202可以包括任何合适的一个或多个处理器。进一步地，所述处理器202可包括用于多线程或并行处理的多核。所述存储介质204可包括内存模块和大容量存储器，所述内存模块包括只读存储器R0M，随机存取存储器RAM，闪存模块，而所述大容量存储器包括光盘CD-ROM及硬盘等。所述存储介质204可以储存用来执行各种进程的计算机程序，而这些计算机程序由所述处理器202运行。
[0018]进一步地，所述外围设备212可以包括各种传感器和其他输入输出I/O设备，诸如键盘和鼠标，而所述通讯模块208可包括某些网络接口设备，用来通过通讯网络建立连接。所述数据库210可包括一个或多个数据库，用来存储一定的数据并对所存数据执行一定的操作，比如数据库搜索。
[0019]图3说明了一个与所披露的实施例相符合的所述电视102内的示范性的视频处理模块300。如图3所示，所述视频处理模块300包括视频解码器302，数据存储器304，视频处理单元306。其他元件也可能加入。
[0020]所述视频解码器302可包括任何合适的视频解码电路来解码传到所述电视102的传进来的数据流。数据流解码后，数据提供给所述视频处理单元306，作为准备好要显示的视频数据。进一步地，所述数据存储器304可包括多种合适的存储介质(比如，所述存储介质204，所述数据库210)来存储视所述频数据。所述视频数据可在存储进数据所述存储器304前被编码，且所述所存的视频数据可在提供给所述视频处理单元306来播放之前先解码。
[0021]所述视频解码器302，所述数据存储器304，和所述视频处理单元306的设置可用于实现所述电视102的时移功能。所述用户可定住一个现场直播视频回放一段时间(如，几秒钟，几分钟或几小时)，并且所述视频存储器304可以在现场直播视频被所述用户108定住的时候，在解码和显示步骤之间存储或缓冲视频数据。
[0022]图4说明了一个与所公开的实施例相符合的典型的智能的电视购物控制系统400。如图4所示，如前所述，所述控制系统400包括所述视频解码器302，所述数据存储器304，和所述视频处理单元306。所述控制系统400还包括视频提取模块402，对象分割模块404，和用户体验处理器406，而所述用户体验处理器406还包括用户行为分析器408.进一步地，所述控制系统400包括可视化搜索弓I擎410和推荐引擎412。所述可视化搜索引擎410和/或所述推荐引擎412可放置于所述电视102内或放置于所述电视102外，比如放置在一个云计算420或所述网络设备106中。某些元件可被省略，而其他元件可被加入。所述控制系统400 (例如，各种元器件)可以在硬件，软件，或软硬件组合中实现。
[0023]所述视频提取模块402，用于总结在所述数据存储器304模块中储存的过去的几分钟或任意分钟的视频数据，生成几个代表性的视频帧，提供给用户在试图倒带回看电视节目的时候来选择。就是说，所述视频提取模块402可以自动从大量的视频帧中选择代表性的帧(假设视频以30帧每秒的速度回放，那一分钟的视频片段就有1800帧)，使得用户交互显著减少。
[0024]所述对象分割模块404，用于自动探测一个用户当前感兴趣的区域，使得所述用户可以用相当少的时间指定他/她正在查看的对象。所述对象分割模块404可放置于所述电视102内或放置于所述电视102外，取决于具体的应用。
[0025]所述用户体验处理器406，用于处理所述用户与所述控制系统400之间的交互。例如，所述用户体验处理器406可提供一些操作指令的界面，比如暂停电视节目，倒带回放，选择对象，接受推荐信息，和探测所述用户购买选择等等。另外，安装在所述用户体验处理器406内的所述用户行为分析器408，用于理解所述用户关于对象选择的偏好并因此改善下一步的对象分割过程。
[0026]进一步地，所述可视化搜索引擎410，用于检索一个或多个在线数据库，匹配所述用户在所述分类或其他电视节目中指定的可视化对象。所述可视化搜索引410，用于寻找到最佳匹配或寻找到一个匹配百分比在预定的阈值之上的匹配。所述匹配可以基于各种各样的标准来执行，比如名称，类型，形状，外表，价格，品牌，和生产商等。所述推荐模块412，用于推荐相关的对象，诸如那些外表类似，价格范围相似的对象，或用户所选的对象的赠品。
[0027]在操作中，所述视频提取模块402可为一个或几个过去播放过的视频段产生略览帧。当所述用户108通过所述用户体验处理器406要求暂停电视节目，相应的略览帧就可显示在显示器上供所述用户108选择。当所述用户108选定了一个特定的帧后，所述帧里的对象可以被所述对象分割模块404自动分割，所述用户可以挑选他/她当前所感兴趣的一个对象。所述对象的信息(比如图像，像数图，或描述)接着就被发送到所述可视化搜索弓I擎 410.所述可视化搜索引擎410从所述一个或多个在线数据库中寻找匹配的对象(比如，商品)并传递所述信息给所述推荐引擎412。然后所述推荐引擎412可通过所述用户体验处理器406，按照所述用户的喜好以及可选的相关对象，给所述用户做出推荐。所述用户可以基于上述推荐做出购买决定或者选择继续看电视节目，稍后再执行购买操作。
[0028]一个短暂的使用场景可以作为上述操作的一个说明。当一个所述用户在观看一个电视节目时，例如，一个具有社会名流和高端服装，包，鞋等的时尚频道，当所述用户看见一些感兴趣的东西时，所述用户可以暂停电视节目，回放视频帧来寻找所述引起所述用户兴趣的对象(商品或名流)，选择所述对象，开始搜索。然后所述用户返回来继续观看电视节目。这整个过程可能只花费一两分钟，因此对所述用户的观看电视体验影响极小。一旦系统找到对应于所述对象的相关的信息，例如，市场上的最低价格，和/或相似或相关的可用于推荐的商品，在电视下端可显示一个消息图标。用户可以选择忽略所述消息直到电视节目结束，或再次暂停所述电视节目，开始浏览所推荐的物品，甚至采取购买行动。所述用户仅仅点击一个按钮或使用一个姿势就可下订单，然后返回到所述电视节目，继续从停止点开始观看所述电视节目。因此，一个所谓的回放-选择-前进模式的在线电视购物就可以实现。
[0029]特别是，图5说明了一个与所披露的实施例相符合的示范性的操作过程500。如图5所示，在所述过程500的开始，一个视频片段的视频略览帧就由所述视频提取模块402产生(S502)。要产生的视频略览帧的数目可基于总的可用的存储空间以及所述用户的偏好来确定。所述视频略览帧的数目可以由所述视频提取模块402自动设置或由所述用户设置。[0030]所述视频提取模块402可基于预定的算法产生所述视频略览帧。例如，一个实用的并不复杂的视频略览提取算法可能会被所述视频提取模块402采用。提取算法可综合考虑各种因素，诸如略览的代表性，内容差异性的范围，以及关键帧和对象的视觉质量等，可以构造一个用来优化略览帧索引的成本函数。换而言之，所述算法将所述视频略览帧提取问题转换为一个优化问题，并以一个最短路径算法解决所述优化问题。
[0031]定义#为全部视频帧序列的数目，#为预期的视频略览帧的长度，那么问题就是寻找到可以最佳地概述所述视频帧序列的所选的#个帧的索引，fe,.} (i=l，...，Μ,而aQ=0)。此处“最佳”是指所述视频略览帧对于在显示屏上显示给所述用户数个感兴趣的对象应当具有所期望的局部代表性并覆盖内容差异，同时具有所期望的视觉质量。
[0032]所期望的局部代表性是指所述所选的帧应与其邻近帧具有所期望的局部相似性。换而言之，关键帧(就是说，略览帧)应与他们的邻近帧具有足够的相似性，使得其可以在最终略览帧序列中代表邻近帧。相似度可以基于多种因素来测量。例如，颜色相似度可以被用来评估附近帧之间的相似度。
[0033]定义{Hi}为略览帧的YCbCr颜色直方图,N是视频节目在一定时间内的总帧数，则第i个帧的所述局部相似性^ O为:
【权利要求】
1.一种智能的用户交互控制系统的方法，包括: 对一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目在显示屏上显示给用户； 检测来自所述用户的暂停指令，以停止所述视频节目； 停止所述视频节目后，在显示屏上为所述用户显示数个视频略览帧； 获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息； 根据所述被选择的视频略览帧，在显示屏上将数个感兴趣的对象显示给所述用户； 系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象； 在在线数据库中搜索所述用户已选的感兴趣的对象，获得相应于所述用户已选的感兴趣的对象的搜索结果；以及 将所述搜索结果提示给所述用户。
2.根据权利要求1所述的方法，其特征在于，进一步包括: 将与所述用户已选的感兴趣的对象相关的类似对象推荐给所述用户；以及 根据所述用户对所述搜索结果的响应执行购物操作。
3.根据权利要求2所述的方法，其特征在于: 所述类似对象包括具有相似外表和感觉的商品或购买所述用户已选的感兴趣的对象的顾客同时购买的商品。
4.根据权利要求1所述的方法，其特征在于: 所述用户使用姿势来发出所述暂停指令，选择所述视频略览帧，以及选择所述在显示屏上显示给所述用户的数个感兴趣的对象。
5.根据权利要求1所述的方法，其特征在于，产生所述数个视频略览帧进一步包括: 根据预定的算法产生数个视频略览帧，所述数个视频略览帧与邻近帧具有所期望的局部相似性、所期望的内容差异覆盖性和所期望的视觉质量。
6.根据权利要求5所述的方法，其特征在于: 根据色彩相似性确定所述局部相似性；以及 定义Wi]为略览帧的YCbCr颜色直方图，#是视频节目在一定时间内的总帧数，则第i个帧的所述局部相似性^ O为:
7.根据权利要求1所述的方法，其特征在于，所述产生数个视频略览帧的步骤进一步包括: 分割一定时间的视频节目为多个镜头；以及对每个镜头生成视频略览帧。
8.根据权利要求7所述的方法，其特征在于，所述分割一定时间的视频节目为多个镜头以及对每个镜头生成视频略览帧的步骤进一步包括: 使用所述视频节目的连续帧的颜色直方图来探测镜头边界，表明视频节目中的场景变化，使得所述一定时间的视频节目沿着所述镜头边界进行分割；以及 分配给具有较激烈运动行为的镜头一个更长的摘要长度，并分配给具有较缓慢运动行为的镜头一个短些的摘要长度。
9.根据权利要求1所述的方法，其特征在于，进一步包括: 通过对象分割处理获得所述数个感兴趣的对象。
10.根据权利要求9所述的方法，其特征在于，所述通过对象分割处理获得所述数个感兴趣的对象进一步包括: 应用一个基于主题的对象分割算法并使用某一电视内容来确定所述数个感兴趣的对象。
11.根据权利要 求10所述的方法，其特征在于，进一步包括: 在应用所述基于主题的对象分割算法时增加所述用户的偏好。
12.根据权利要求1所述的方法，其特征在于，搜索所述用户已选的感兴趣的对象进一步包括: 发送所述用户已选的感兴趣的对象的信息到一个可视化搜索引擎来搜索所述在线数据库；以及 从所述可视化搜索引擎中接收所述搜索结果。
13.—种智能的用户交互控制系统，包括: 数据存储器，用于储存一段时间内传进来的视频节目的数据流，所述视频节目在显示屏上显示给用户； 视频提取模块，用于对所述一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目播放在显示屏上显示给用户； 用户体验处理器，用于: 探测来自所述用户的暂停指令以停止所述视频节目； 停止所述视频节目后，在显示屏上为所述用户显示数个视频略览帧； 获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息； 根据所述被选择的视频略览帧，在显示屏上显示给所述用户数个感兴趣的对象； 系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象；以及可视化搜索引擎，用于在在线数据库中搜索所述用户已选的感兴趣的对象并返回对应于所述用户已选的感兴趣的对象的搜索结果，其中用户体验处理器进一步设置用于向所述用户提示所述搜索结果。
14.根据权利要求13所述的控制系统，其特征在于，进一步包括: 推荐引擎，用于推荐与所述用户已选的感兴趣的对象类似的对象给所述用户，其中所述用户体验处理器进一步设置用于让所述用户根据所述搜索结果的相应执行购买操作。
15.根据权利要求14所述的控制系统，其特征在于: 所述类似对象包括具有相似外表和感觉的商品或购买所述用户已选的感兴趣的对象的顾客同时购买的商品。
16.根据权利要求13所述的控制系统，其特征在于，进一步包括: 用深度相机增强的遥控器，用于允许所述用户使用姿势来发布所述暂停指令，选择所述视频略览帧，并选择所述在显示屏上显示给所述用户的数个感兴趣的对象。
17.根据权利要求13所述的控制系统，其特征在于，为了产生数个视频略 览帧，所述视频提取模块进一步设置为: 根据预定的算法产生数个视频略览帧，所述数个视频略览帧与邻近帧具有所期望的局部相似性、所期望的内容差异覆盖性和所期望的视觉质量。
18.根据权利要求17所述的控制系统，其特征在于: 根据色彩相似性确定所述局部相似性；以及 定义为略览帧的YCbCr颜色直方图，#是视频节目在一定时间内的总帧数，则第i帧的所述局部相似性J O为:
19.根据权利要求13所述的控制系统，其特征在于，为了产生数个视频略 览帧，所述视频提取模块进一步设置为: 分割一定时间内的所述视频节目为多个镜头；以及 对每个镜头生成所述视频略览帧。
20.根据权利要求19所述的控制系统，其特征在于，所述视频提取模块进 一步设置为: 使用所述视频节目的连续帧的颜色直方图来探测镜头边界，表明视频节目中的场景变化，使得所述一段时间内的视频节目沿着所述镜头边界进行分割；以及 分配给具有较激烈运动行为的镜头一个更长的摘要长度，并分配给具有较缓慢运动行为的镜头一个短些的摘要长度。
21.根据权利要求13所述的控制系统，其特征在于，进一步包括: 对象分割模块，用于执行对象分割处理以获取所述数个感兴趣的对象。
22.根据权利要求21所述的控制系统，特征在于，所述对象分割模块进一 步设置为: 运用一个基于主题的对象分割算法和使用某一电视内容来确定所述数个感兴趣的对象。
23.根据权利要求22所述的控制系统，其特征在于，进一步包括: 用户行为分析器，用于在应用所述基于主题的对象分割算法的时候增加用户偏好。
【文档编号】G06Q30/06GK103428571SQ201310310509
【公开日】2013年12月4日 申请日期:2013年7月23日 优先权日:2012年7月26日
【发明者】汪灏泓, 萧志华 申请人:Tcl集团股份有限公司