智能多媒体系统和方法
【技术领域】
[0001]本公开涉及智能多媒体技术，更具体地，涉及响应语音搜索请求的智能多媒体系统和方法。
【背景技术】
[0002]随着网络技术的发展和多媒体设备的发展，出现了各种应用，给人们的生活带来了便利。其中，电视购物技术也得到了快速发展。现有一种智能用户交互控制系统的方法，例如CN201310310509.1中公开的方法，包括:对一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目播放在显示屏上显示给用户，并检测所述用户的暂停指令，以停止所述视频节目。所述方法还包括:通知所述视频节目后，在显示屏上为所述用户显示数个视频略览帧，并获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息，根据所述被选择的视频略览帧，在显示屏上显示给所述用户数个感兴趣的对象，系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象。所述方法还包括:在在线数据库中搜索所述用户已选的感兴趣的对象，获得相应于所述用户已选的感兴趣的对象的搜索结果，并将所述搜索结果提示给所述用户。
[0003]在该方法中，用户需要停止当前播放的视频节目以从数个视频略览帧中选择一个视频略览帧，等待系统呈现所选的视频略览帧中的多个感兴趣的对象，并确认多个感兴趣的对象中的对象。因此，利用该方法的电视购物技术影响了用户欣赏视频节目和电视购物的体验。
【发明内容】
[0004]本公开提出了一种智能多媒体系统和方法，能够响应语音搜索请求，从而自动地搜索用户感兴趣的对象的信息，不需要用户停止当前播放的视频节目，改善了用户体验。
[0005]根据本公开的一个方面，提出了一种智能多媒体系统，包括:控制设备和多媒体终端。控制设备包括:语音输入模块，被配置为接收用户的语音搜索命令，所述语音搜索命令请求获取与当前播放的视频中的对象有关的信息；以及控制设备通信模块，被配置为向所述多媒体终端发送所述语音搜索命令。多媒体终端包括:多媒体终端通信模块，被配置为接收语音搜索命令；帧捕获模块，被配置为捕获当前播放的视频中与所述语音搜索命令相对应的视频帧；图像解析模块，被配置为分析和识别所述视频帧中包括的对象；对象确认模块，被配置为根据所述语音搜索命令，确认所述视频帧中识别的对象中用户感兴趣的对象；搜索模块，被配置为搜索在线购物系统，以找到与所确认的用户感兴趣的对象有关的商品信息；以及显示模块，被配置为显示搜索到的商品信息。
[0006]根据本公开的另一方面，提出了一种智能多媒体方法。在该方法中，首先播放视频。在接收到语音搜索命令，所述语音搜索命令请求获取与当前播放的视频中的对象有关的信息时，响应于语音搜索命令，在继续视频播放的同时，在后台搜索与当前播放的视频中的对象有关的向品彳目息。
[0007]根据本公开的一个或多个实施例，当用户正在观看视频节目时，如果用户对视频中出现的东西感兴趣，则他可以通过发出语音搜索命令来搜索与感兴趣的东西有关的商品信息，此时，多媒体终端在后台进行视频帧捕获、对象确认、商品信息搜索等操作。用户不需要停止当前播放的视频来执行帧选择操作、对象确认操作和搜索操作。此外，用户仅需要发出语音搜索命令，智能多媒体系统就自动地搜索与用户感兴趣的对象有关的商品信息。因此，改善了电子购物的用户体验。
【附图说明】
[0008]通过下面结合【附图说明】本公开的优选实施例，将使本公开的上述及其它目的、特征和优点更加清楚，其中:
[0009]图1是示出了根据本公开的一个或多个实施例的智能多媒体系统的示意框图。
[0010]图2是示出了根据本公开的一个或多个实施例的语音输入模块的示意框图。
[0011]图3是示出了根据本公开的一个或多个实施例的帧捕获模块的示意框图。
[0012]图4是示出了根据本公开的一个或多个实施例的智能多媒体方法的流程图。
[0013]图5是示出了根据本公开的一个或多个实施例的智能多媒体方法的流程图。
[0014]图6是示出了根据本公开的一个或多个实施例的用户与智能多媒体系统交互的过程。
[0015]图7是示出了根据本公开的一个或多个实施例的应用场景的示意图。
【具体实施方式】
[0016]以下参照附图，对本公开的示例实施例进行详细描述。在以下描述中，一些具体实施例仅用于描述目的，而不应该理解为对本公开有任何限制，而只是本公开的示例。在可能导致对本公开的理解造成混淆时，将省略常规结构或构造。
[0017]图1是示出了根据本公开的一个或多个实施例的智能多媒体系统1000的示意框图。如图所示，该系统1000包括:控制设备1100和多媒体终端1200。控制设备1100包括:语音输入模块1110和通信模块1120。多媒体终端1200包括:通信模块1210 ;帧捕获模块1220 ;图像解析模块1230 ;对象确认模块1240 ;搜索模块1250以及显示模块1260。各个模块的功能描述如下。
[0018]?语音输入模块1110:该模块用于接收用户的语音搜索命令。用户在观看视频时，可能对视频中出现的事物感兴趣。此时，用户向语音输入模块110发出语音搜索命令，以请求获取与当前播放的视频中的对象有关的信息。
[0019]?通信模块1120:该模块被配置为与多媒体终端1200进行通信。在接收到语音搜索命令时，通信模块1120向多媒体终端1200发送该语音搜索命令。。
[0020]?通信模块1210:该模块被配置为与控制设备中的通信模块1120进行通信，从其接收语音搜索命令。通信模块1200可以通过蓝牙、WiF1、或其他家庭网络与通信模块1210进行通信。
[0021]?帧捕获模块1220:该模块被配置为捕获当前播放的视频中与所述语音搜索命令相对应的视频帧。
[0022]?图像解析模块1230:该模块被配置为分析和识别帧捕获模块1220捕获的视频帧中包括的对象。
[0023]?对象确认模块1240:该模块被配置为根据所述语音搜索命令，确认所述视频帧中识别的对象中用户感兴趣的对象。根据一个或多个实施例，对象确认模块1240与语音搜索引擎相连，向所述语音搜索引擎发送所述语音搜索命令，并从所述语音搜索引擎接收指示所述用户感兴趣的对象的数据.
[0024]?搜索模块1250:该模块被配置为搜索在线购物系统，以找到与所确认的用户感兴趣的对象有关的商品信息。根据一个或多个实施例，搜索模块1250通过互联网与数据库相连，数据库中存储有大量的商品信息。搜索模块1250可以在数据库中搜索与对象有关的商品信息。
[0025]?显示模块1260:该模块被配置为显示搜索到的商品信息。
[0026]根据一个或多个实施例，控制设备1100是遥控器、智能手机、平板PC之一。多媒体终端1200是可以播放多媒体内容的电视机、PC、平板PC之一。
[0027]图2是示出了根据本公开的一个或多个实施例的语音输入模块2000的示意框图。
[0028]如图所示，语音输入模块2000包括:语音接收单元2100 ;时钟单元2200以及时间标记单元2300。各个单元的功能描述如下。
[0029]?语音接收单元2100:该模块被配置为接收用户的语音搜索命令。
[0030]?时钟单元2200:该模块被配置为提供时间信息。
[0031]?时间标记单元2300:该模块被配置为标记语音接收单元2100接收语音搜索命令的起始时间。
[0032]其中，与语音输入模块2000相连的通信模块从语音接收单元2100接收语音搜索命令，从时间标记单元2300接收起始时间Ts，并向多媒体终端发送语音搜索命令和起始时间Ts。
[0033]图3是示出了根据本公开的一个或多个实施例的帧捕获模块3000的示意框图。
[0034]如图所示，帧捕获模块3000包括:视频编码单元3100 ;视频帧存储单元3200以及帧提取单元3300。各个单元的功能描述如下。
[0035]?视频编码单元3100:该模块被配置为对当前播放的视频进行编码，以生成视频帧。
[0036]?视频帧存储单元3200:该模块被配置为存储所述视频编码单元所编码的视频帧。根据一个或多个实施例，预先设置视频帧存储单元3200所存储的视频帧的存储时间长度。例如，可以设置5秒、一分钟等。存储时间长度大于估计的语音获取时间、语音搜索命令从控制设备到多媒体终端的传输时间以及语音搜索命令从多媒体终端的通信设备到帧捕获模块的时间的总和。
[0037]?帧提取单元3300:该模块被配置为提取与所述语音搜索命令相对应的视频帧。根据一个或多个实施例，帧提取单元3300根据语音搜索命令的起始时间Ts，从视频帧存储单元3200中提取起始时间Ts前的第一预定时间到起始时间Ts后的第二预定时间内的一段时间的视频帧。例如，可以预先设置提取起始时间前5秒到提取时间后10秒的共15秒的视频帧。
[0038]图4是示出了根据本公开的一个或多个实施例的智能多媒体方法4000的流程图。
[0039]如图所示，首先，在步骤S4100，在多媒体终端上播放视频，以供用户欣赏。在步骤S4200，接收到用户的语音搜索命令。然后，在步骤S4300，在继续视频的播放的同时，在后台搜索与当前播放的视频中的对象有关的商品信息。最后，在步骤S4400，输出搜索到的商品信息。
[0040]图5是示出了根据本公开的一个或多个实施例的智能多媒体方法5000的流程图。
[0041]如图所示，首先，在步骤S5100，在多媒体终端上播放视频，以供用户欣赏。在步骤S5200，接收到用户的语音搜索命令和该命令的起始时间。然后在步骤S5300，在继续播放视频的同时，在后台捕获所述视频中所述起始时间前的第一预定时间到起始时间后的第二预定时间的一段时间的视频帧。