问答结果的搜索方法、装置、设备及存储介质与流程

文档序号:29572234发布日期:2022-04-09 04:16阅读:86来源:国知局
问答结果的搜索方法、装置、设备及存储介质与流程

1.本公开实施例涉及视频处理技术领域,尤其涉及一种问答结果的搜索方法、装置、设备及存储介质。


背景技术:

2.相关技术提供的视频应用可以提供视频搜索功能和视频播放功能,通过该视频搜索功能用户可以搜索相关视频并进行播放。然而,发明人发现,在视频搜索结果中用户需要花费时间找到自己需要的内容进行观看,降低了搜索效率。


技术实现要素:

3.为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种问答结果的搜索方法、装置、设备及存储介质。
4.本公开提供了一种问答结果的搜索方法,包括:
5.获取与搜索问题对应的视频信息;其中,所述视频信息包括视频封面,所述视频封面由视频的多个关键帧图像组成,各所述关键帧图像中包括解答所述搜索问题的文本内容和图像内容,所述关键帧图像的数量与解答所述搜索问题的答案要点的数量相匹配;在搜索结果页面中展示所述视频封面;响应于检测到对所述视频封面的触发操作对所述视频进行播放。
6.可选的,所述多个关键帧图像在所述视频封面中的排布顺序与所述搜索问题对应的答案要点顺序匹配。
7.可选的,所述关键帧图像是从所述视频的视频帧中截取获得的包含所述答案要点的文本内容和图像内容的图像。
8.可选的,所述关键帧图像中包含的所述答案要点的文本内容是从所述视频的视频帧中识别得到的,所述关键帧图像中包含的所述答案要点的图像内容是基于所述答案要点的文本内容从所述视频的视频帧中匹配得到的。
9.可选的,所述响应于检测到对所述视频封面的触发操作对所述视频进行播放,包括:响应于检测到对所述视频封面上的第一关键帧图像的触发操作,确定所述第一关键帧图像在所述视频的播放时间轴上对应的时间标识;跳转到所述视频的播放页面,从所述时间标识开始播放所述视频
10.本公开还提供了一种问答结果的搜索方法,包括:
11.接收终端设备的搜索请求,所述搜索请求中包括搜索问题;
12.基于所述搜索问题,搜索获得包含所述搜索问题的答案的视频;
13.基于所述视频的音频信号或者文本内容,确定所述答案的多个答案要点;
14.针对每个答案要点,从所述视频中处理得到包含所述答案要点的文本内容和图像内容的关键帧图像;
15.基于所述多个答案要点对应的多个关键帧图像,生成所述视频的视频封面;
16.将包含所述视频封面的视频信息反馈给所述终端设备。
17.可选的,从所述视频中处理得到包含所述答案要点的文本内容和图像内容的关键帧图像,包括:
18.对所述视频进行字符识别处理,得到所述答案要点的文本内容;基于所述答案要点的文本内容,从所述视频的视频帧中识别与所述文本内容相匹配的图像内容;从所述视频帧中截取所述图像内容;基于所述答案要点的文本内容和所述图像内容,生成包含所述答案要点的关键帧图像。
19.可选的,所述基于所述多个答案要点对应的多个关键帧图像,生成所述视频的视频封面,包括:
20.基于所述多个答案要点在所述答案中的顺序,确定所述多个答案要点对应的多个关键帧图像在所述视频封面中的排布顺序;基于所述多个关键帧图像的尺寸以及所述多个关键帧图像之间的排布顺序,确定对应的拼接模板;基于所述拼接模板中各区域的尺寸,对各区域对应的关键帧图像进行等比例缩放处理;将缩放后的关键帧图像插入到所述模板的对应区域中,得到所述视频的视频封面。
21.可选的,所述将包含所述视频封面的视频信息反馈给所述终端设备之前,还包括:确定各关键帧图像在所述视频的播放时间轴上对应的时间标识;将各关键帧图像与时间标识之间的对应关系,添加到所述视频信息中。
22.可选的,所述确定各关键帧图像在所述视频的播放时间轴上对应的时间标识,包括:
23.针对每个关键帧图像,将所述关键帧图像与所述视频中的视频帧进行匹配,确定所述视频帧中与所述关键帧图像相匹配的目标视频帧;将所述目标视频帧对应的时间标识确定为所述关键帧图像在所述视频的播放时间轴上对应的时间标识。
24.可选的,所述确定各关键帧图像在所述视频的播放时间轴上对应的时间标识,包括:根据各视频帧与所述视频的播放时间轴上的播放时间之间的映射关系,确定各关键帧图像在所述视频的播放时间轴上对应的时间标识。
25.本公开还提供了一种问答结果的搜索装置,包括:
26.信息获取模块,用于获取与搜索问题对应的视频信息;其中,所述视频信息包括视频封面,所述视频封面由视频的多个关键帧图像组成,各所述关键帧图像中包括解答所述搜索问题的文本内容和图像内容,所述关键帧图像的数量与解答所述搜索问题的答案要点的数量相匹配;
27.封面展示模块,用于在搜索结果页面中展示所述视频封面;
28.视频播放模块,用于响应于检测到对所述视频封面的触发操作对所述视频进行播放。
29.可选的,所述多个关键帧图像在所述视频封面中的排布顺序与所述搜索问题对应的答案要点顺序匹配。
30.可选的,所述关键帧图像是从所述视频的视频帧中截取获得的包含所述答案要点的文本内容和图像内容的图像。
31.可选的,所述关键帧图像中包含的所述答案要点的文本内容是从所述视频的视频帧中识别得到的,所述关键帧图像中包含的所述答案要点的图像内容是基于所述答案要点
的文本内容从所述视频的视频帧中匹配得到的。
32.可选的,所述视频播放模块用于:响应于检测到对所述视频封面上的第一关键帧图像的触发操作,确定所述第一关键帧图像在所述视频的播放时间轴上对应的时间标识;跳转到所述视频的播放页面,从所述时间标识开始播放所述视频。
33.本公开还提供了一种问答结果的搜索装置,包括:
34.请求接收模块,用于接收终端设备的搜索请求,所述搜索请求中包括搜索问题;
35.视频搜索模块,用于基于所述搜索问题,搜索获得包含所述搜索问题的答案的视频;
36.要点确定模块,用于基于所述视频的音频信号或者文本内容,确定所述答案的多个答案要点;
37.图像得到模块,用于针对每个答案要点,从所述视频中处理得到包含所述答案要点的文本内容和图像内容的关键帧图像;
38.封面生成模块,用于基于所述多个答案要点对应的多个关键帧图像,生成所述视频的视频封面;
39.信息反馈模块,用于将包含所述视频封面的视频信息反馈给所述终端设备。
40.可选的,所述图像得到模块包括:
41.文本内容得到单元,用于对所述视频进行字符识别处理,得到所述答案要点的文本内容;
42.图像内容识别单元,用于基于所述答案要点的文本内容,从所述视频的视频帧中识别与所述文本内容相匹配的图像内容;
43.图像内容截取单元,用于从所述视频帧中截取所述图像内容;
44.图像生成单元,用于基于所述答案要点的文本内容和所述图像内容,生成包含所述答案要点的关键帧图像。
45.可选的,所述图像得到模块包括:
46.顺序确定单元,用于基于所述多个答案要点在所述答案中的顺序,确定所述多个答案要点对应的多个关键帧图像在所述视频封面中的排布顺序;
47.模板确定单元,用于基于所述多个关键帧图像的尺寸以及所述多个关键帧图像之间的排布顺序,确定对应的拼接模板;
48.缩放处理单元,用于基于所述拼接模板中各区域的尺寸,对各区域对应的关键帧图像进行等比例缩放处理;
49.图像插入单元,用于将缩放后的关键帧图像插入到所述模板的对应区域中,得到所述视频的视频封面。
50.可选的,所述装置还包括:
51.时间标识确定模块,用于确定各关键帧图像在所述视频的播放时间轴上对应的时间标识;
52.关系添加模块,用于将各关键帧图像与时间标识之间的对应关系,添加到所述视频信息中。
53.可选的,所述时间标识确定模块包括:
54.匹配单元,用于针对每个关键帧图像,将所述关键帧图像与所述视频中的视频帧
进行匹配,确定所述视频帧中与所述关键帧图像相匹配的目标视频帧;
55.第一标识确定单元,用于将所述目标视频帧对应的时间标识确定为所述关键帧图像在所述视频的播放时间轴上对应的时间标识。
56.可选的,所述时间标识确定模块包括:第二标识确定单元,用于根据各视频帧与所述视频的播放时间轴上的播放时间之间的映射关系,确定各关键帧图像在所述视频的播放时间轴上对应的时间标识。
57.本公开还提供了一种终端设备,包括:存储器和处理器,其中,所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,所述处理器执行如上所述的方法。
58.本公开还提供了一种计算机可读存储介质,所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时,所述处理器执行如上所述的方法。
59.本公开实施例提供的技术方案与现有技术相比具有如下优点:
60.本公开提供了一种问答结果的搜索方法、装置、设备及存储介质,该方法通过获取与搜索问题对应的视频信息;其中,视频信息包括视频封面,视频封面由视频的多个关键帧图像组成,各关键帧图像中包括解答搜索问题的文本内容和图像内容,关键帧图像的数量与解答所述搜索问题的答案要点的数量相匹配;在搜索结果页面中展示视频封面;响应于检测到对视频封面的触发操作对视频进行播放。上述问答结果的搜索方法,可以被示例性的应用在终端设备的视频搜索场景等中。在本技术方案中,组成视频封面的各关键帧图像中包括解答搜索问题的文本内容和图像内容,其中的文本内容更符合用户日常的阅读习惯,能够提升搜索结果的直观性,图像内容则具有较强的画面感,能够提升搜索结果的生动性;以及,关键帧图像的数量与答案要点的数量相匹配,能够更为全面地覆盖搜索问题下的解答;基于此,在搜索结果页面中展示的视频封面能够全面、直观且准确的表达出用户搜索视频的意愿,这样用户从视频封面即可快速找到自己需要观看的内容,于是,响应于检测到对所述视频封面的触发操作对所述视频进行播放,有效提高了视频搜索效率。
61.本公开提供了一种问答结果的搜索方法、装置、设备及存储介质,该方法首先接收终端设备的搜索请求,搜索请求中包括搜索问题;然后基于搜索问题,搜索获得包含搜索问题的答案的视频;基于视频的音频信号或者文本内容,确定答案的多个答案要点;针对每个答案要点,从视频中处理得到包含答案要点的文本内容和图像内容的关键帧图像;基于多个答案要点对应的多个关键帧图像,生成视频的视频封面;最后将包含视频封面的视频信息反馈给所述终端设备。上述问答结果的搜索方法,可以被示例性的应用在服务器的视频搜索场景等中。在本技术方案中,通过搜索包含搜索问题的答案的视频,使获得的视频与搜索问题的答案之间具有较高的匹配度,再基于该视频确定的关键帧图像,其包含答案要点的文本内容和图像内容,能够直观、生动地体现答案要点;进而,基于多个关键帧图像生成的视频封面能够全面、直观且准确的表达出用户搜索视频的意愿,将包含视频封面的视频信息反馈给所述终端设备,便于用户通过视频封面快速找到自己需要观看的内容,在视频搜索功能上明显提升用户体验。
附图说明
62.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
63.为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
64.图1为本公开实施例一所述问答结果的搜索方法流程图;
65.图2为本公开实施例一所述生成视频封面的方法流程图;
66.图3为本公开实施例一所述视频封面的示意图;
67.图4为本公开实施例二所述问答结果的搜索方法流程图;
68.图5为本公开实施例四所述问答结果的搜索装置的结构框图;
69.图6为本公开实施例五所述问答结果的搜索装置的结构框图。
具体实施方式
70.为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
71.在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
72.相关技术提供的视频应用中,用户可以搜索相关视频进行播放。然而,在视频搜索结果中用户需要花费时间找到自己需要的内容进行观看,降低了搜索效率。基于此,本公开实施例提供了一种问答结果的搜索方法、装置、设备及存储介质,以下对本公开实施例进行详细介绍。
73.实施例一:
74.参照图1所示的问答结果的搜索方法流程图,该方法可应用于具有视频应用的终端设备,终端设备诸如手机、平板电脑等。问答结果的搜索方法包括如下步骤:
75.步骤s102,获取与搜索问题对应的视频信息;其中,视频信息包括视频封面,视频封面由视频的多个关键帧图像组成,各关键帧图像中包括解答搜索问题的文本内容和图像内容,关键帧图像的数量与解答搜索问题的答案要点的数量相匹配。
76.在一种实施例中,用户通过终端设备向服务器发送包括搜索问题的搜索请求;其中,搜索问题中可以包含至少一个关键词。
77.为便于理解,以下给出服务器反馈与搜索问题对应的视频信息的一种实施方式。
78.首先,服务器基于搜索问题,搜索获得包含搜索问题的答案的视频;在实施时,服务器可以先基于搜索问题,搜索与搜索问题中的关键词相匹配的答案,然后再从预设的视频资源库中搜索包含该答案的视频。
79.然后,基于视频的音频信号或者文本内容,确定答案的多个答案要点。服务器可以识别视频的内容,如视频的文本内容、音频信号、图像内容和播放时间等,以便根据识别到的内容确定答案的多个答案要点。针对每个答案要点,从视频中处理得到包含答案要点的文本内容和图像内容的关键帧图像;具体地例如,利用识别到的文本内容和图像内容,从视频中确定与答案要点相匹配的关键帧图像。
80.此后,基于多个答案要点对应的多个关键帧图像,生成视频的视频封面,以及,将
包含视频封面的视频信息反馈给终端设备。其中,视频封面可以为各关键帧图像的拼接处理结果,各关键帧图像的拼接方式灵活多变,由此组成的视频封面能够呈现较好的页面展示效果。
81.步骤s104,在搜索结果页面中展示视频封面。
82.终端设备接收视频信息并在搜索结果页面中展示视频信息中包含的视频封面。
83.步骤s106,响应于检测到对视频封面的触发操作对视频进行播放。
84.在本实施例中,终端设备判断是否检测到对视频封面的触发操;如果检测到触发操作,则响应于触发操作对视频进行播放。
85.本公开实施例提供的问答结果的搜索方法,通过获取与搜索问题对应的视频信息;该视频信息包括由视频的多个关键帧图像组成的视频封面,各关键帧图像中包括解答搜索问题的文本内容和图像内容,关键帧图像的数量与解答搜索问题的答案要点的数量相匹配;在搜索结果页面中展示视频封面;响应于检测到对视频封面的触发操作对视频进行播放。在本技术方案中,组成视频封面的各关键帧图像中包括解答搜索问题的文本内容和图像内容,其中的文本内容更符合用户日常的阅读习惯,能够提升搜索结果的直观性,图像内容则具有较强的画面感,能够提升搜索结果的生动性;以及,关键帧图像的数量与答案要点的数量相匹配,能够更为全面地覆盖搜索问题下的解答;基于此,在搜索结果页面中展示的视频封面能够全面、直观且准确的表达出用户搜索视频的意愿,这样用户从视频封面即可快速找到自己需要观看的内容,于是,响应于检测到对视频封面的触发操作对视频进行播放,有效提高了视频搜索效率。
86.考虑到关键帧图像的排布方式对组成的视频封面的展示效果有较大影响;基于此,本实施例提供一种视频封面的展示方式:多个关键帧图像在视频封面中的排布顺序与搜索问题对应的答案要点顺序匹配。该视频封面通过有序排布的关键帧图像,来凸显答案要点的顺序,增加了视频封面与搜索问题的答案之间的匹配性。
87.在实际应用中,基于搜索问题搜索获得的视频一般为多个,且视频比例不一定相同;例如,视频分为横版视频和竖版视频。视频封面通常取自视频中的视频帧,在此情况下,不同视频对应的视频封面尺寸不一,当在同一搜索结果页面中同时展示多个视频的视频封面时,展示界面的排版将会比较混乱。而如果简单地将不同比例的视频封面进行尺寸统一,比如将竖版视频以横版展示封面进行展示,则横版展示封面的效果并不好且难以保障图像质量。
88.从而,为了改进搜索结果页面中视频封面的展示方式,提高界面展示的友好性,本实施例提供一种关键帧图像,该关键帧图像是从视频的视频帧中截取获得的包含答案要点的文本内容和图像内容的图像。其中,关键帧图像中包含的答案要点的文本内容是从视频的视频帧中识别得到的,关键帧图像中包含的答案要点的图像内容是基于答案要点的文本内容从视频的视频帧中匹配得到的。
89.在实际应用中,本实施例中的关键帧图像通过服务器生成的,为了更好地理解,在此针对每个答案要点,对关键帧图像的得到方式展开描述。参照图2,从视频中处理得到包含答案要点的文本内容和图像内容的关键帧图像的过程包括如下步骤s202-s208:
90.步骤s202,对视频进行字符识别处理,得到答案要点的文本内容。
91.视频大多具有字幕,且字幕能够较准确地反映视频内容,因此,在具体实施例中,
可以通过ocr(optical character recognition,光学字符识别)技术或者检测模型对视频中各视频帧进行字符识别处理,得到各视频帧上的候选字符识别结果;判断候选字符识别结果是否能够与任意一个答案要点相匹配;如果是,也即当前的候选字符识别结果能够与某一答案要点匹配成功,则表示该候选字符识别结果与搜索问题相匹配,能够表达搜索问题的答案要点,从而将能够与答案要点匹配成功的候选字符识别结果确定为目标字符识别结果,将目标字符识别结果或者目标字符识别结果中的关键词作为答案要点的文本内容。
92.一般来说,视频展示的是事情进行的完整程序,基于视频确定的解答同样应该包括具有逻辑性的多个答案要点。例如美食、手工、健身等教程类视频,展示的内容通常包括多个答案要点,每个答案要点对应一个关键步骤。因而,与答案要点相对应,按照上述实施例得到的文本内容也通常为多个。
93.步骤s204,基于答案要点的文本内容,从视频的视频帧中识别与文本内容相匹配的图像内容。
94.当视频的总帧数较少时,可以从视频的视频帧中逐一识别与文本内容相匹配的图像内容。
95.当视频的总帧数较多时,视频包含的信息会更加丰富多样,为了提高识别效率,本实施例可以先对视频进行分段处理,得到多个视频片段,然后再从至少部分视频片段的视频帧中识别与文本内容相匹配的图像内容。具体实施方式可参照如下步骤(1)和(2)的示例。
96.(1)基于对视频进行字符识别处理得到的候选字符识别结果,计算连续两个视频帧的字符之间的相关度,当计算的相关度小于预定相关度阈值时,基于上述连续两个视频帧的位置对视频进行分段处理,得到多个包含字符的视频片段。
97.(2)基于答案要点的文本内容,从视频片段的视频帧中识别与文本内容相匹配的图像内容。
98.考虑到视频播放的时间顺序与各答案要点之间的顺序是前后一致的,基于此,各个视频片段的时间顺序与各答案要点的顺序也是有关联的。在此情况下,可以为每个答案要点分配至少一个视频片段;针对当前答案要点,基于当前答案要点的文本内容,从为当前答案要点分配的视频片段的视频帧中识别与文本内容相匹配的图像内容。具体实现方式可以包括:逐一识别视频片段中每一视频帧中的图像内容,并判断图像识别结果是否与当前答案要点的文本内容相匹配,如果匹配,则得到与文本内容相匹配的图像内容。
99.当然,如果不能从分配的视频片段中识别出与当前答案要点的文本内容相匹配的图像内容,则再从其他的视频片段中识别与当前答案要点的文本内容相匹配的图像内容。该方式无需将视频的全部视频帧分别与每个答案要点的文本内容进行比对,针对每个答案要点,只需要与部分视频片段中的视频帧进行比较,且由于每个答案要点均分配有各自的视频片段,由此多个答案要点能够同时进行图像内容的识别,因此,该方式能够有效提升图像内容的识别效率。
100.步骤s206,从视频帧中截取图像内容。
101.本实施例在从视频帧中识别与文本内容相匹配的图像内容后,对相应的视频帧进行截取处理,得到包含图像内容的截取图像。
102.步骤s208,基于答案要点的文本内容和图像内容,生成包含答案要点的关键帧图
像。
103.为了较完整地保留答案要点的文本内容和图像内容,本实施例可以通过如下方式生成包含答案要点的关键帧图像,包括:
104.对截取图像进行目标检测,得到截取图像中包含答案要点的文本内容和图像内容的包围框。根据预设的长宽比例对包围框进行扩大调整;其中,设置长宽比例是为了方便对关键帧图像进行拼接处理,避免拼接过程中图像之间尺寸不匹配;以及,扩大调整是指,当相对于预设的长宽比例,包围框的某一项尺寸参数较小时,增加该较小的尺寸参数的大小,以使调整后的包围框的长宽比例与预设的长宽比例相同。比如,当相对于预设的长宽比例,包围框的宽度较小时,采用增加包围框的宽度的调整方式对包围框进行尺寸调整。扩大的调整方式不会出现裁减掉局部文本内容或局部图像内容的问题,保证了文本内容和图像内容的完整性。。基于调整后包围框在截取图像中的位置参数,从截取图像中截取位置参数确定的图像,得到包含答案要点的关键帧图像。
105.根据以上任一种实施例,从视频中提取出多个答案要点对应的多个关键帧图像后,基于多个答案要点对应的多个关键帧图像,生成视频的视频封面。本步骤的实施方式可参照如下:
106.基于多个答案要点在答案中的顺序,确定多个答案要点对应的多个关键帧图像在视频封面中的排布顺序。具体的,按照答案要点在答案中的顺序,对各答案要点的文本内容对应的图像内容进行排序,将图像内容的排序结果作为关键帧图像之间的排布顺序。
107.基于多个关键帧图像的尺寸以及多个关键帧图像之间的排布顺序,确定对应的拼接模板。具体实施中,可以基于关键帧图像的数量、排布顺序和尺寸,确定拼接模板。例如,关键帧图像的数量为具有前后排布顺序的两张图像,那么,确定拼接模板时,选择以上下、左右等方式体现排布顺序,且可以拼接两个图像的拼接模板。根据关键帧图像的尺寸确定各关键帧图像的宽高比例,在确定拼接模板时,可以选择与宽高比例相匹配的拼接模板。本领域技术人员也可以根据实际需要,基于其他图像参数来确定拼接模板,在此不做具体限定。本实施例中的拼接模板可以是预先设置在拼接模板库中供调用的。
108.基于拼接模板中各区域的尺寸,对各区域对应的关键帧图像进行等比例缩放处理;以及,将缩放后的关键帧图像插入到模板的对应区域中,得到视频的视频封面。针对当前区域,本实施例根据当前区域的尺寸以及当前区域对应的关键帧图像的尺寸计算缩放比例;根据计算出的缩放比例将关键帧图像进行等比例缩放处理;将缩放后的关键帧图像插入到当前区域中。
109.根据以上实施例,图3提供了几种在搜索结果页面中展示视频封面的示例。图3左图展示的是基于文本内容的关键帧图像提取方式提取三张关键帧图像后,对关键帧图像进行截取处理和拼接处理后得到的视频封面。可以看出,图3左图展示的视频封面的各关键帧图像中,包括解答搜索框中的搜索问题(怎么删除手机垃圾)的答案要点以及答案要点对应的本文内容(如字幕:“正确清理手机内存”)和图像内容;同时,多个关键帧图像在视频封面中由左到右、由上到下的排布顺序与搜索问题对应的答案要点的顺序匹配。图3右图展示的视频封面的各关键帧图像中,均包含与搜索问题的答案要点相关联的图像内容,依次为:肉末、蛋液、肉末蒸蛋。
110.在本实施例中,终端设备获取的与搜索问题对应的视频信息还可以包括时间标
识,时间标识用于表示视频封面中关键帧图像在视频的播放时间轴上时间。
111.基于此,本实施例提供一种响应于检测到对视频封面的触发操作对视频进行播放的方法,包括:
112.响应于检测到对视频封面上的第一关键帧图像的触发操作,确定第一关键帧图像在视频的播放时间轴上对应的时间标识;跳转到视频的播放页面,从时间标识开始播放视频。
113.终端设备判断是否检测到触发操作;该触发操作是针对搜索结果解页面上视频封面的第一关键帧图像的操作,例如当终端设备的显示屏为触控式显示屏,那么触发操作可以为手指、触控笔等操作体的触控操作;当终端设备的输入设备为鼠标时,触发操作可以是用户通过鼠标在搜索结果页面上的点击操作。
114.如果检测到触发操作,则响应于触发操作,确定第一关键帧图像在视频的播放时间轴上对应的时间标识;跳转到视频的播放页面,从时间标识开始播放视频,也就是基于时间标识,以第一关键帧为起始帧开始播放视频。
115.为便于理解,以下给出服务器生成时间标识的一种实施例,包括:首先确定各关键帧图像在视频的播放时间轴上对应的时间标识。
116.本实施例可以采用多种实现方式确定各关键帧图像对应的时间标识,以以下两种方式为例。
117.实现方式一:针对每个关键帧图像,将关键帧图像与视频中的视频帧进行匹配,确定视频帧中与关键帧图像相匹配的目标视频帧;将目标视频帧对应的时间标识确定为关键帧图像在视频的播放时间轴上对应的时间标识。
118.实现方式二:根据各视频帧与视频的播放时间轴上的播放时间之间的映射关系,确定各关键帧图像在视频的播放时间轴上对应的时间标识。
119.根据以上方式确定各关键帧图像对应的时间标识后,将各关键帧图像与时间标识之间的对应关系,添加到视频信息中。
120.综上,上述公开实施例提供的问答结果的搜索方法,终端设备从服务器获取与搜索问题对应的视频信息;视频信息包括:能够在搜索结果页面中展示的视频封面,和能够指定视频播放位置的时间标识。其中,视频封面是由多个关键帧图像组成的,组成方式可以灵活多变,丰富了视频封面的展示方式;关键帧图像的排布顺序与搜索问题对应的答案要点匹配,体现了一定的逻辑性;由于组成视频封面的各关键帧图像中包括解答搜索问题的文本内容和图像内容,其中的文本内容更符合用户日常的阅读习惯,能够提升搜索结果的直观性,图像内容则具有较强的画面感,能够提升搜索结果的生动性。因此,在搜索结果页面中展示的视频封面,能够提高搜索结果页面展示的友好性,全面、直观且准确的表达出用户搜索视频的意愿,这样用户从视频封面即可快速找到自己需要观看的内容,于是,响应于触发操作对视频进行播放有效提高了视频搜索效率。对于视频信息中的时间标识,能够方便用户快速跳转至想看的视频位置,提升了用户体验。
121.实施例二:
122.根据以上实施例一,本实施例还可以提供一种问答结果的搜索方法,该方法应用于服务器;如图4所示,该方法包括:
123.步骤s402,接收终端设备的搜索请求,搜索请求中包括搜索问题;
124.步骤s404,基于搜索问题,搜索获得包含搜索问题的答案的视频;
125.步骤s406,基于视频的音频信号或者文本内容,确定答案的多个答案要点;
126.步骤s408,针对每个答案要点,从视频中处理得到包含答案要点的文本内容和图像内容的关键帧图像;
127.步骤s410,基于多个答案要点对应的多个关键帧图像,生成视频的视频封面;
128.步骤s412,将包含视频封面的视频信息反馈给终端设备。
129.在一种实施例中,从视频中处理得到包含答案要点的文本内容和图像内容的关键帧图像的步骤,包括:
130.对视频进行字符识别处理,得到答案要点的文本内容;基于答案要点的文本内容,从视频的视频帧中识别与文本内容相匹配的图像内容;从视频帧中截取图像内容;基于答案要点的文本内容和图像内容,生成包含答案要点的关键帧图像。
131.在一种实施例中,基于多个答案要点对应的多个关键帧图像,生成视频的视频封面的步骤,包括:
132.基于多个答案要点在答案中的顺序,确定多个答案要点对应的多个关键帧图像在视频封面中的排布顺序;基于多个关键帧图像的尺寸以及多个关键帧图像之间的排布顺序,确定对应的拼接模板;基于拼接模板中各区域的尺寸,对各区域对应的关键帧图像进行等比例缩放处理;将缩放后的关键帧图像插入到模板的对应区域中,得到视频的视频封面。
133.在一种实施例中,在将包含视频封面的视频信息反馈给终端设备的步骤之前,上述方法还包括:
134.确定各关键帧图像在视频的播放时间轴上对应的时间标识;将各关键帧图像与时间标识之间的对应关系,添加到视频信息中。
135.在一种实施例中,确定各关键帧图像在视频的播放时间轴上对应的时间标识的步骤,包括:
136.针对每个关键帧图像,将关键帧图像与视频中的视频帧进行匹配,确定视频帧中与关键帧图像相匹配的目标视频帧;将目标视频帧对应的时间标识确定为关键帧图像在视频的播放时间轴上对应的时间标识。
137.在一种实施例中,确定各关键帧图像在视频的播放时间轴上对应的时间标识的步骤,包括:
138.根据各视频帧与视频的播放时间轴上的播放时间之间的映射关系,确定各关键帧图像在视频的播放时间轴上对应的时间标识。
139.本公开实施例提供的问答结果的搜索方法,服务器通过搜索包含搜索问题的答案的视频,使获得的视频与搜索问题的答案之间具有较高的匹配度,进而基于该视频生成视频信息,能够提升视频信息与搜索问题的答案之间的匹配度;再基于该视频确定的关键帧图像,其包含答案要点的文本内容和图像内容,能够直观、生动地体现答案要点;进而,基于多个关键帧图像生成的视频封面能够全面、直观且准确的表达出用户搜索视频的意愿,将包含视频封面的视频信息反馈给终端设备,便于用户通过视频封面快速找到自己需要观看的内容,在视频搜索功能上明显提升用户体验。
140.本实施例所提供的方法,其实现原理及产生的技术效果和前述实施例一相同,为简要描述,本实施例部分未提及之处,可参考前述实施例一中相应内容。
141.实施例三:
142.根据以上实施例一和实施例二,本实施例还可以提供一种问答结果的搜索方法,该方法包括:
143.步骤1,终端设备向服务器发送搜索请求,搜索请求中包括搜索问题。
144.步骤2,服务器接收终端设备的搜索请求,基于搜索请求中的搜索问题,搜索获得包含搜索问题的答案的视频。
145.步骤3,服务器基于搜索问题,搜索获得包含搜索问题的答案的视频。
146.步骤4,服务器基于视频的音频信号或者文本内容,确定答案的多个答案要点。
147.步骤5,服务器针对每个答案要点,从视频中处理得到包含答案要点的文本内容和图像内容的关键帧图像。
148.步骤6,服务器基于多个答案要点对应的多个关键帧图像,生成视频的视频封面;视频封面由视频的多个关键帧图像组成,各关键帧图像中包括解答搜索问题的文本内容和图像内容,关键帧图像的数量与解答搜索问题的答案要点的数量相匹配。
149.步骤7,服务器确定各关键帧图像在视频的播放时间轴上对应的时间标识;将各关键帧图像与时间标识之间的对应关系,添加到视频信息中。
150.步骤8,服务器将包含视频封面的视频信息反馈给终端设备。
151.步骤9,终端设备获取与搜索问题对应的视频信息。
152.步骤10,终端设备在搜索结果页面中展示视频封面。
153.步骤11,终端设备响应于检测到对视频封面上的第一关键帧图像的触发操作,确定第一关键帧图像在视频的播放时间轴上对应的时间标识;
154.步骤12,终端设备跳转到视频的播放页面,从时间标识开始播放视频。
155.本实施例所提供的方法,其实现原理及产生的技术效果和前述实施例一和实施例二相同,为简要描述,本实施例部分未提及之处,可参考前述实施例一和实施例二中相应内容。
156.实施例四:
157.根据以上实施例一,本公开还提供了一种问答结果的搜索装置,该装置可应用于终端设备,如图5所示,该装置包括:
158.信息获取模块502,用于获取与搜索问题对应的视频信息;其中,视频信息包括视频封面,视频封面由视频的多个关键帧图像组成,各关键帧图像中包括解答搜索问题的文本内容和图像内容,关键帧图像的数量与解答搜索问题的答案要点的数量相匹配;
159.封面展示模块504,用于在搜索结果页面中展示视频封面;
160.视频播放模块506,用于响应于检测到对视频封面的触发操作对视频进行播放。
161.在一种实施例中,上述视频播放模块506具体用于:
162.响应于检测到对视频封面上的第一关键帧图像的触发操作,确定第一关键帧图像在视频的播放时间轴上对应的时间标识;跳转到视频的播放页面,从时间标识开始播放视频。
163.实施例五:
164.根据以上实施例二,本公开还提供了一种问答结果的搜索装置,该装置可应用于服务器,如图6所示,该装置包括:
165.请求接收模块602,用于接收终端设备的搜索请求,搜索请求中包括搜索问题;
166.视频搜索模块604,用于基于搜索问题,搜索获得包含搜索问题的答案的视频;
167.要点确定模块606,用于基于视频的音频信号或者文本内容,确定答案的多个答案要点;
168.图像得到模块608,用于针对每个答案要点,从视频中处理得到包含答案要点的文本内容和图像内容的关键帧图像;
169.封面生成模块610,用于基于多个答案要点对应的多个关键帧图像,生成视频的视频封面;
170.信息反馈模块612,用于将包含视频封面的视频信息反馈给终端设备。
171.在一种实施例中,图像得到模块608包括:
172.文本内容得到单元,用于对视频进行字符识别处理,得到答案要点的文本内容;
173.图像内容识别单元,用于基于答案要点的文本内容,从视频的视频帧中识别与文本内容相匹配的图像内容;
174.图像内容截取单元,用于从视频帧中截取图像内容;
175.图像生成单元,用于基于答案要点的文本内容和图像内容,生成包含答案要点的关键帧图像。
176.在一种实施例中,图像得到模块608包括:
177.顺序确定单元,用于基于多个答案要点在答案中的顺序,确定多个答案要点对应的多个关键帧图像在视频封面中的排布顺序;
178.模板确定单元,用于基于多个关键帧图像的尺寸以及多个关键帧图像之间的排布顺序,确定对应的拼接模板;
179.缩放处理单元,用于基于拼接模板中各区域的尺寸,对各区域对应的关键帧图像进行等比例缩放处理;
180.图像插入单元,用于将缩放后的关键帧图像插入到模板的对应区域中,得到视频的视频封面。
181.在一种实施例中,上述装置还包括:
182.时间标识确定模块,用于确定各关键帧图像在视频的播放时间轴上对应的时间标识;
183.关系添加模块,用于将各关键帧图像与时间标识之间的对应关系,添加到视频信息中。
184.在一种实施例中,时间标识确定模块包括:
185.匹配单元,用于针对每个关键帧图像,将关键帧图像与视频中的视频帧进行匹配,确定视频帧中与关键帧图像相匹配的目标视频帧;
186.第一标识确定单元,用于将目标视频帧对应的时间标识确定为关键帧图像在视频的播放时间轴上对应的时间标识。
187.在一种实施例中,时间标识确定模块包括:第二标识确定单元,用于根据各视频帧与视频的播放时间轴上的播放时间之间的映射关系,确定各关键帧图像在视频的播放时间轴上对应的时间标识。
188.本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例一至三相
同,为简要描述,本实施例部分未提及之处,可参考前述实施例一至三中相应内容。
189.基于前述实施例,本实施例给出了一种终端设备,包括:存储器和处理器,其中,存储器中存储有计算机程序,当计算机程序被处理器执行时,处理器执行如上述实施例一至三中的方法。
190.本实施例还给出了一种计算机可读存储介质,存储介质中存储有计算机程序,当计算机程序被处理器执行时,处理器执行如上述实施例一至三中的方法。
191.需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
192.以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1