一种数据交互方法及装置与流程

文档序号:13220688阅读:144来源:国知局
技术领域本发明涉及图像处理技术领域,特别涉及一种数据交互方法及装置。

背景技术:
随着互联网技术的不断发展,用户对交互的形式提出了更高的要求,所谓交互,即交流互动,是互联网平台追求打造的一个功能状态。通过某个具有交互功能的互联网平台,可以让用户在平台上获得相关资讯、信息或服务,还能用户与用户之间或用户与平台之间相互交流与互动,从而碰撞出更多的创意、思想和需求等,例如,在移动终端设备在播放视频的时候,用户希望在观看视频的过程中能够参与视频图像内容的讨论,评价等。目前,通常是通过在播放视频的视频帧图像外添加按钮的方式,使的用户能够通过点击所添加的按钮与所播放视频的视频帧图像中的对象进行交互,虽然也能够实现与所播放视频的视频帧图像中的对象进行交互,但仅能在所播放视频的视频帧图像外与所播放视频的视频帧图像中的对象进行交互,不能够在所播放视频的视频帧图像内与视频帧图像中的对象进行交互。

技术实现要素:
本发明实施例的目的在于提供一种数据交互方法及装置,可以解决不能够在所播放视频的视频帧图像内与视频帧图像中的对象进行交互的问题。为了达到上述目的,本发明实施例提供了一种数据交互方法,应用于服务器,预先采集并存储针对目标对象的特征数据,所述方法包括:对目标视频所包含的每一帧图像进行识别;根据所述特征数据,判断当前识别的帧图像中是否存在所述目标对象;如果存在,确定所述目标对象在当前识别的帧图像中的区域;将预设帧时间段内包含所述目标对象且满足预设条件的帧图像中所确定的区域,确定为交互区域;在所述目标视频播放的过程中,检测用户点击的区域是否为所述交互区域;如果是,执行与所述目标对象相关的交互操作。可选的,所述目标对象为目标人脸;所述对目标视频所包含的每一帧图像进行识别,包括:利用人脸识别技术,对所述目标视频所包含的每一帧图像进行识别。可选的,所述预设条件包括:预设帧时间段内,所确定的相邻两帧图像的区域对应预设标记点的坐标变化量小于或等于预设阈值,所述预设标记点为所确定的帧图像的区域内的像素点。可选的,在所述确定所述目标对象在当前识别的帧图像中的区域之后,还包括:记录预设帧时间段内包含所述目标对象且满足预设条件的帧图像的帧时间;在所述目标视频播放至所述记录的帧图像的帧时间时,推送提示信息,以使客户端显示所述提示信息,所述提示信息用于提示用户通过点击所述交互区域与所述目标对象进行交互。可选的,所述数据交互方法还包括:推送所述提示信息的显示位置,以使所述客户端在所述显示位置显示所述提示信息。为了达到上述目的,本发明实施例提供了一种数据交互装置,应用于服务器,所述装置包括:存储模块,用于存储预先采集到的针对目标对象的特征数据;识别模块,用于对目标视频所包含的每一帧图像进行识别;判断模块,用于根据所述特征数据,判断当前识别的帧图像中是否存在所述目标对象;第一确定模块,用于在所述判断模块判断结果为是的情况下,确定所述目标对象在当前识别的帧图像中的区域;第二确定模块,用于将预设帧时间段内包含所述目标对象且满足预设条件的帧图像中所确定的区域,确定为交互区域;检测模块,用于在所述目标视频播放的过程中,检测用户点击的区域是否为所述交互区域;执行模块,用于在所述检测模块检测结果为是的情况下,执行与所述目标对象相关的交互操作。可选的,所述目标对象为目标人脸;所述识别模块,具体用于:利用人脸识别技术,对目标视频所包含的每一帧图像进行识别。可选的,所述预设条件包括:预设帧时间段内,所确定的相邻两帧图像的区域对应预设标记点的坐标变化量小于或等于预设阈值,所述预设标记点为所确定的帧图像的区域内的像素点。可选的,数据交互装置还包括:记录模块,用于记录预设帧时间段内包含所述目标对象且满足预设条件的帧图像的帧时间;第一推送模块,用于在所述目标视频播放至所述记录的帧图像的帧时间时,推送提示信息,以使客户端显示所述提示信息,所述提示信息用于提示用户通过点击所述交互区域与所述目标对象进行交互。可选的,数据交互装置还包括:第二推送模块,用于推送所述提示信息的显示位置,以使所述客户端在所述显示位置显示所述提示信息。本发明实施例提供的一种数据交互方法及装置,通过对目标视频所包含的每一帧图像进行识别,再根据预设特征数据,确定目标对象在当前识别的帧图像中的区域,并将预设帧时间段内包含目标对象且满足预设条件的帧图像中所确定的区域,确定为交互区域;在目标视频播放的过程中,检测用户点击的区域是否为交互区域,如果是,执行与目标对象相关的交互操作。应用本发明实施例,解决了不能够在所播放视频的视频帧图像内与视频帧图像中的目标对象进行交互的问题。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本发明实施例提供的一种数据交互方法的流程示意图;图2为本发明实施例提供的另一种数据交互方法的流程示意图;图3为本发明实施例提供的另一种数据交互方法的流程示意图;图4为本发明实施例提供的一种数据交互装置的结构示意图;图5为本发明实施例提供的另一种数据交互装置的结构示意图;图6为本发明实施例提供的另一种数据交互装置的结构示意图。具体实施方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本发明实施例提供的一种数据交互方法及装置,通过对目标视频所包含的每一帧图像进行识别,再根据预设特征数据,确定目标对象在当前识别的帧图像中的区域,并将预设帧时间段内包含目标对象且满足预设条件的帧图像中所确定的区域,确定为交互区域;在目标视频播放的过程中,检测用户点击的区域是否为交互区域,如果是,执行与目标对象相关的交互操作。应用本发明实施例,解决了不能够在所播放视频的视频帧图像内与视频帧图像中的对象进行交互的问题。下面通过具体的实施例,对本发明进行详细的说明。图1为本发明实施例提供的一种数据交互方法的流程示意图,方法可以包括步骤:S101:对目标视频所包含的每一帧图像进行识别;本领域技术人员可以理解的是,对于一个视频来说,它是由大量的帧图像组成的,可以理解的是,在视频文件所包含的每一帧图像均包含有大量的信息;在视频播放前,服务器可以预先针对视频中包含的每一帧图像进行图像识别,具体的,服务器对视频中包含的每一帧图像中的对象进行识别,可以理解的,对象可以为人脸,汽车,篮球等;对帧图像进行识别,就是对帧图像中所包含的对象进行捕捉,提取对应帧图像中所包含的对象的特征数据,特征数据可以包含对象的形状、大小和各个主要特征。例如:视频所包含的帧图像中有明星李晨脸部,服务器对当前的帧图像进行识别,对当前帧图像中的人脸进行捕捉,对人脸的形状、大小以及各个器官的特征进行提取,得到该人脸对应的特征数据;若当前帧图像中的对象不止一个,如当前帧图像中有3个人脸,此时,服务器分别对这三个人脸进行捕捉,提取这3个人脸对应的特征数据;服务器对视频所包含的每一帧图像进行识别,将得到与每一帧图像对应的人脸特征数据。更进一步,基于上述实施例所提供的步骤S101可以包括:利用人脸识别技术,对所述目标视频所包含的每一帧图像进行识别;其中,目标对象为目标人脸。现有技术中,人脸识别技术已经相当成熟,人脸识别技术是基于人的脸部特征,首先判断帧图像中是否存在人脸,如果存在人脸,则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息,进一步提取每个人脸中所蕴涵的身份特征,并将其与预设已建立的人脸特征数据进行对比,从而识别每个人脸的身份。广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术,本发明实施例应用人脸识别技术对当前视频所包含的每一帧图像进行识别,得到与每一帧图像中对象对应的特征数据。S102:根据所述特征数据,判断当前识别的帧图像中是否存在所述目标对象,如果是,执行S103;对识别后的每一帧图像对应的特征数据与预先建立并保存在服务器存储区中的目标对象的特征数据进行对照,当相似度满足一定的要求时,确定当前帧图像中包含目标对象。举例说明,若预先建立并保存在服务器存储区中的目标对象为明星李晨脸部,则,只要满足S101中识别的当前帧图像中对应的人脸特征数据与预先建立的明星李晨脸部特征数据相似度大于或等于90%时,认为该人脸特征数据与预先建立的明星李晨脸部特征数据是匹配的,也就是说当前帧图像中存在目标对象。但目标对象的具体形式可以不定,比如可以是明星李晨,明星范冰冰等,这里,本实施例不对目标对象的具体形式做进一步限定。当然,这里与预先建立的特征数据进行匹配的方法可以有多种,进一步的,相似度的取值也可设定为其他值,本申请亦不对匹配的方法以及相似度的取值做明确限定。值得说明的是,在预先建立目标对象的特征数据时,可以通过对包含目标对象的视频或图像库中进行统计,比如对人脸、汽车等建立特征数据时,可以通过对大量的明星写真,照片等进行面部特征提取,获得对应的特征数据,建立一个针对该明星的面部特征数据。同样的,也可以对汽车进行特征数据的建立,可以利用汽车的商标与汽车颜色、车型等建立对应的特征数据,例如,建立获得汽车,大众、白色、SUV的特征数据。将预先建立好的一个或多个特征数据保存到一个特定的存储区域中,比如服务器的内存卡,硬盘等,这里本申请不对特征数据的保存区域做进一步限定;进一步的,本发明也不对对象的具体形式做明确限定,也不对建立对象特征数据时的对象来源做进一步限定。S103:确定所述目标对象在当前识别的帧图像中的区域;如果确定当前帧图像中包含目标对象,服务器将调取当前帧图像对应目标对象的特征数据,对特征数据中所包含的位置、以及形状大小等信息进行提取,再对提取的位置、以及形状大小等信息进行进行计算,确定出当前帧图像中所包含的目标对象在当前帧图像中所处的区域。S104:将预设帧时间段内包含所述目标对象且满足预设条件的帧图像中所确定的区域,确定为交互区域;可以理解的是,由于人眼具有视觉暂留的特性,当视频所包含的大量帧图像经过快速连续地刷新时,在人眼看来便形成了运动的假象。所公知的,我们将1秒钟时间里刷新的帧图像次数称为帧率,通常用FPS(FramesPerSecond)表示。为了更好的现实播放视频帧图像的的连贯性,通常相邻两幅帧图像之间的内容相近,为了在更长的帧时间段中出现目标对象,本发明实施例通过对预设帧时间段内的帧图像进行识别,将预设帧时间段内所有帧图像均包含目标对象的帧时间段找出来,进一步的,对预设帧时间段内的帧图像中的目标对象在对应帧图像中的位置进行比较,将相邻的帧图像中对应目标对象的位置变化量在预设的阈值内的帧图像中的目标对象的区域确定为交互区域,该交互区域即为用户与视频进行交互的区域,用于接收用户的访问,并得到用户的访问数据。举例而言,当前视频包含有259200幅帧图像,若当前视频播放的帧率FPS(FramesPerSecond)为48,即每1秒钟将播放48幅帧图像,那么不难通过计算得到,当前视频全部播放需要用259200/48=5400秒,即当前视频的总时长为5400秒;本发明实施例中取预设帧时间段的时间长度为3秒,对当前视频总时长5400秒中的任意3秒帧时间段内所将播放144幅帧图像中是否包含目标对象进行判断,如果包含目标对象,同时满足预设条件的帧图像,对帧图像中的目标对象所确定的区域确定为交互区域,这里的预设条件可以为:预设帧时间段内的相邻帧图像中的目标对象所处的位置变化量小于10个像素,认为这两幅帧图像是微动或则不动的,此时将这两幅帧图像对应的目标对象的区域确定为交互区域,如,在预设3秒真时间段内所包含的第1001-1144幅帧图像中144幅帧图像中均包含有明星李晨脸部,且这144幅帧图像满足相邻帧图像中的目标对象所处位置变化量小于10个像素,那么,服务器就会对这144幅图像中包含明星李晨的特征数据对应的区域,即李晨脸部确定为交互区域。值得说明的是,这里在预设的3秒的帧时间段内,允许存在有少量的帧图像中不包含目标对象,或者包含的目标对象与其相邻帧图像中的目标对象位置变化量大于10像素,此时,本发明实施例将这样的帧图像认为是坏图像,例如,第1049幅帧图像中没有包含明星李晨脸部,或则是第1049幅帧图像中所包含明星李晨脸部与第1048幅和1050幅帧图像中的明星李晨的位置变化量大于10像素,此时服务器认为第1049幅帧图像是坏图像,在确定交互区域时不对其进行处理。可以理解的,上述的预设帧时间段的长度是可以调整的,如,设置为2秒、4秒等,因此,本发明实施例不对预设的帧时间段进行限定。同样的,预设位置的变化量值也是可以调整的,例如设置为15像素、20像素,这里需要根据实际的视频帧图像的总像素大小设定,本申请以不对其做进一步限定。可以理解的,上述的预设条件可以为:预设帧时间段内,所确定的相邻两帧图像的区域对应预设标记点的坐标变化量小于或等于预设阈值,所述预设标记点为所确定的帧图像的区域内的像素点。实际中,对于帧图像来说,帧图像中的每一像素都对应有坐标,在判断相邻两帧图像的区域位置变化量的时候,为了减小服务器的计算压力,本实施例通过对已确定包含目标对象的区域进行特征点提取,例如,对帧图像中明星李晨的脸部进行特征提取,获得鼻尖对应的像素作为标记点,这样的话在计算相邻两幅帧图像对应目标对象的区域位置变化量时,只需要计算对应标记点的坐标变化量就可以了,再对计算出的坐标变化量是否小于或等于预设阈值;例如,第1047幅帧图像中明星李晨对应的标记点坐标为(10,5);第1048幅帧图像中明星李晨对应的标记点坐标为(12,8),不难计算出该两幅帧图像中明星李晨对应的标记点坐标变化量为:Δx=2,Δy=3,预设阈值取Δx=10,Δy=10,这里不难得到,第1047幅与第1048幅帧图像中明星李晨对应的标记点坐标变化量小于预设阈值,即认为这两幅帧图像是微动或则不动的。对于上述的预设阈值,具体可以根据实际帧图像中包含的像素量设定,本申请不对其具体数值做明确规定。S105:在所述目标视频播放的过程中,检测用户点击的区域是否为所述交互区域,如果是,执行S106;在当前视频播放的过程中,用户通过点击所播放帧图像中的目标对象来实现与目标对象的交互;在播放过程中,用户可以在任意的包含交互区域的帧图像播放时对帧图像进行点击,服务器将对播放视频帧图像中的交互区域中的访问指令进行采集,如果用户当前帧图像中访问的位置是在交互区域内,那么此时用户访问有效,即服务器将采集到针对当前帧图像的访问指令。对于当前视频所包含的帧图像中没有目标对象的交互区域,这时不管用户有没有点击,服务器将不接受该帧图像对应的访问指令。S106:执行与所述目标对象相关的交互操作。如果服务器采集到的用户访问指令处于交互区域内,此时服务器将采集到的访问指令与目标对象对应,对当前目标对象进行相关的交互操作,例如,用户的访问指令是处于当前帧图像中明星李晨对应的交互区域,即李晨脸部所处区域中时,服务器对当前帧图像中明星李晨进行点赞操作,以提高明星李晨的人气值,实现用户与目标对象李晨的交互。应用本发明提供的方法实施例,通过对目标视频所包含的每一帧图像进行识别,再根据预设特征数据,确定目标对象在当前识别的帧图像中的区域,并将预设帧时间段内包含目标对象且满足预设条件的帧图像中所确定的区域,确定为交互区域;在目标视频播放的过程中,检测用户点击的区域是否为交互区域,如果是,执行与目标对象相关的交互操作;解决了不能够在所播放视频的视频帧图像内与视频帧图像中的目标对象进行交互的问题。更进一步的,基于图1所提供的实施例,本发明实施例所提供的一种数据交互方法还可以包括如下步骤:如图2所示,在图1所示步骤S104之后,还包括步骤S107和步骤S108,具体为:S107:记录预设帧时间段内包含所述目标对象且满足预设条件的帧图像的帧时间;需要说明的是,在步骤S104将预设帧时间段内包含所述目标对象且满足预设条件的帧图像中所确定的区域,确定为交互区域后,已确定为交互区域的目标对象对应的帧图像在当前视频中会有唯一对应的帧时间,服务器记录下已确定为交互区域的目标对象对应的帧图像对应的帧时间。S108:在所述目标视频播放至所述记录的帧图像的帧时间时,推送提示信息,以使客户端显示所述提示信息,所述提示信息用于提示用户通过点击所述交互区域与所述目标对象进行交互。在本实施例所提供方案中,为了更好的实现用户与帧图像中的目标对象进行交互,还为客户端推送用于提示用户通过点击交互区域与目标对象进行交互的提示信息。在当前视频播放至步骤S107所记录的已确定为交互区域的目标对象对应的帧图像对应的帧时间时,服务器推送提示信息,例如:针对当前视频所包含的259200幅帧图像,每一幅帧图像都对应一个帧时间,假设第4800幅帧图像满足S104中的条件,已确定第4800幅帧图像中的交互区域,可知的是,第4800幅帧图像对应的帧时间为4800/48=100秒,所以,在当前视频播放至第4800幅帧图像对应的第100秒时,服务器将在第4800幅帧图像内推送提示信息,以使客户端显示推送的提示信息内容,进一步的提示用户可以通过点击所述交互区域与所述目标对象进行交互。基于图2所提供的实施例,本发明实施例所提供的一种数据交互方法如图3所示,在图2所示步骤S108之后,还包括步骤S109,具体为:S109:推送所述提示信息的显示位置,以使所述客户端在所述显示位置显示所述提示信息。实际应用中,服务器在推送提示信息给客户端后,还将推送提示信息对应的位置数据给客户端,以使得客户端在所推送的位置处显示提示信息;客户端显示的提示信息的位置与明星脸部有着一定的对应关系,比如,提示信息的位置始终在明星脸部的右下方50像素。当然,这种提示信息的位置与明星脸部的对应仅仅是本发明的一个具体示例,除此之外还可以设定提示信息在客户端播放窗口的边缘,例如,客户端播放窗口的左下角、右下角、左侧、右侧等等均可,因此,本申请不对提示信息的具体位置做明确限定。可以理解的是,上述的实施例中,通过记录预设帧时间段内包含目标对象且满足预设条件的帧图像的帧时间,当视频播放至对应帧时间时,服务器推送提示信息,保证了提示信息与所播放的当前帧图像一一对应,进一步的,服务器还推送提示信息的显示位置,以使客户端在对应显示位置显示,用于提示用户可通过点击交互区域与目标对象进行交互,提高了用户进行交互的准确性。相应于图1所示方法实施例,本发明实施例还提供了一种数据交互装置,如图4所示,装置可以包括:存储模块201,识别模块202,判断模块203,第一确定模块204,第二确定模块205,检测模块206,执行模块207,其中:存储模块201,用于存储预先采集到的针对目标对象的特征数据;识别模块202,用于对目标视频所包含的每一帧图像进行识别;实际应用中,目标对象可以为人脸,所述识别模块202,具体用于利用人脸识别技术,对目标视频所包含的每一帧图像进行识别。判断模块203,用于根据所述特征数据,判断当前识别的帧图像中是否存在所述目标对象;第一确定模块204,用于在判断模块203判断结果为是的情况下,确定所述目标对象在当前识别的帧图像中的区域;第二确定模块205,用于将预设帧时间段内包含所述目标对象且满足预设条件的帧图像中所确定的区域,确定为交互区域;实际应用中,预设的条件可以为:预设帧时间段内,所确定的相邻两帧图像的区域对应预设标记点的坐标变化量小于或等于预设阈值,所述预设标记点为所确定的帧图像的区域内的像素点。检测模块206,用于在所述目标视频播放的过程中,检测用户点击的区域是否为所述交互区域;执行模块207,用于在检测模块206检测结果为是的情况下,执行与所述目标对象相关的交互操作。应用本发明提供的装置实施例,通过对目标视频所包含的每一帧图像进行识别,再根据预设特征数据,确定目标对象在当前识别的帧图像中的区域,并将预设帧时间段内包含目标对象且满足预设条件的帧图像中所确定的区域,确定为交互区域;在目标视频播放的过程中,检测用户点击的区域是否为交互区域,如果是,执行与目标对象相关的交互操作;解决了不能够在所播放视频的视频帧图像内与视频帧图像中的目标对象进行交互的问题。相应于图2所示方法实施例,本发明实施例还提供了一种数据交互装置如图5所示,本发明图5所示实施例在图4所示实施例的基础上,还可以包括记录模块208以及第一推送模块209;其中,记录模块208,用于记录预设帧时间段内包含所述目标对象且满足预设条件的帧图像的帧时间;第一推送模块209,用于在所述目标视频播放至所述记录的帧图像的帧时间时,推送提示信息,以使客户端显示所述提示信息,所述提示信息用于提示用户通过点击所述交互区域与所述目标对象进行交互。相应于图3所示方法实施例,本发明实施例还提供了一种数据交互装置如图6所示,本发明图6所示实施例在图5所示实施例的基础上,还可以包括,第二推送模块210;第二推送模块210,用于推送所述提示信息的显示位置,以使所述客户端在所述显示位置显示所述提示信息。可以理解的是,上述的实施例中,通过记录预设帧时间段内包含目标对象且满足预设条件的帧图像的帧时间,当视频播放至对应帧时间时,服务器推送提示信息,保证了提示信息与所播放的当前帧图像一一对应,进一步的,还通过推送提示信息的显示位置,以使客户端在对应显示位置显示,用于提示用户可通过点击交互区域与目标对象进行交互,提高了用户进行交互的准确性。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1