视频处理方法、系统、装置及电子设备与流程

文档序号:33710873发布日期:2023-03-31 23:47阅读:34来源:国知局
视频处理方法、系统、装置及电子设备与流程

1.本发明涉及数据处理技术领域,特别是涉及一种视频处理方法、系统、装置及电子设备。


背景技术:

2.在客户端从媒体服务器获取视频数据进行视频播放的场景中,在视频中存在敏感区域的情况下,例如,关于自动取款机的视频中的密码输入区域,为了保护隐私,相关技术中,需要先由人工确定出敏感区域,当客户端需要获取视频数据时,媒体服务器中的将视频数据解码成yuv(一种彩色编码系统)数据,再对人工确定的敏感区域的数据进行处理,例如,将敏感区域的数据处理成表征相同颜色的数据,之后重新编码成为视频数据,以完成对敏感区域的遮盖,最后将编码后视频数据发送给客户端。
3.而相关技术中,对视频数据进行解码、编码的过程会占用大量的计算资源,因此,如何减少对视频中敏感区域进行遮盖的过程中对计算资源的占用,是亟待解决的问题。


技术实现要素:

4.本发明实施例的目的在于提供一种视频处理方法、系统、装置及电子设备,以减少对视频中敏感区域进行遮盖的过程中对计算资源的占用。具体技术方案如下:第一方面,本发明实施例提供了一种视频处理方法,所述方法包括:获取针对目标区域进行视频采集所得到的目标视频数据;其中,所述目标区域包含待遮盖的敏感区域;基于所述目标视频数据包含的各视频帧中的待利用视频帧,确定所述目标视频数据的遮盖描述信息;其中,所述目标视频数据的遮盖描述信息为:用于指示对所述目标视频数据对应的播放画面中的敏感区域进行遮盖的信息;所述待利用视频帧为包含完整图像信息的视频帧;向客户端发送所述目标视频数据和所确定的遮盖描述信息,以使所述客户端在播放所述目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖。
5.可选地,所述基于所述目标视频数据包含的各视频帧中的待利用视频帧,确定所述目标视频数据的遮盖描述信息,包括:确定所述待利用视频帧中敏感区域的区域位置;基于所确定的区域位置,生成所述目标视频数据的遮盖描述信息。
6.可选地,所述基于所确定的区域位置,生成所述目标视频数据的遮盖描述信息,包括:将所确定的区域位置,作为所述目标视频数据的遮盖描述信息;或者,将所确定的区域位置和指定的纹理信息,作为所述目标视频数据的遮盖描述信息;或者,
基于所确定的区域位置,确定对所述待利用视频帧中敏感区域进行遮盖时所需遮盖图层的尺寸信息;基于所确定的区域位置和所确定的尺寸信息,生成所述目标视频数据的遮盖描述信息。
7.可选地,所述基于所确定的区域位置和所确定的尺寸信息,生成所述目标视频数据的遮盖描述信息,包括:将所确定的区域位置和所确定的尺寸信息,作为所述目标视频数据的遮盖描述信息;或者,将预设的纹理信息、所确定的区域位置及所述指定的尺寸信息,作为所述目标视频数据的遮盖描述信息。
8.可选地,所述确定所述待利用视频帧中敏感区域的区域位置,包括:将所述待利用视频帧输入预先训练完成的敏感区域识别模型中,得到所述敏感区域识别模型输出的所述待利用视频帧中敏感区域的区域位置;其中,所述敏感区域识别模型为:利用包含敏感区域的样本图像和预先标注的所述样本图像中敏感区域的区域位置训练得到的。
9.可选地,所述样本图像包含从至少一个采样角度和/或至少一个采样位置,对图像采集区域内敏感区域进行图像采集所得到的图像。
10.可选地,所述待利用视频帧为多张;所述基于所述目标视频数据包含的各视频帧中的待利用视频帧,确定所述目标视频数据的遮盖描述信息,包括:针对每一待利用视频帧,确定该待利用视频帧的遮盖描述信息;其中,每一待利用视频帧的遮盖描述信息为:用于指示对该待利用视频帧关联的播放画面中的敏感区域进行遮盖的信息;每一待利用视频帧关联的播放画面为:播放时需要利用该待利用视频帧所包含的图像信息的播放画面;将各待利用视频帧的遮盖描述信息,作为所述目标视频数据的遮盖描述信息。
11.可选地,所述向客户端发送所述目标视频数据和所确定的遮盖描述信息,包括:当接收到客户端发送的视频获取指令时,向所述客户端发送所述目标视频数据和所确定的遮盖描述信息。
12.可选地,本发明实施例提供了一种视频处理方法包括:接收目标视频数据和所述目标视频数据的遮盖描述信息;其中,所述目标视频数据为针对包含待遮盖的敏感区域的目标区域进行视频采集得到的视频数据;所述目标视频数据的遮盖描述信息为基于所述目标视频数据包含的各视频帧中的待利用视频帧所确定的、用于指示对所述目标视频数据对应的播放画面中敏感区域进行遮盖的信息;所述待利用视频帧为包含完整图像信息的视频帧;播放所述目标视频数据,并基于所述目标视频数据的遮盖描述信息,对所述目标视频数据对应的播放画面中的敏感区域进行遮盖。
13.可选地,所述基于所述目标视频数据的遮盖描述信息,对所述目标视频数据对应的播放画面中的敏感区域进行遮盖,包括:在所接收的遮盖描述信息为:针对所述待利用视频帧中敏感区域所确定的区域位置的情况下,在所确定的区域位置处,生成针对所播放的画面中的敏感区域的遮盖图层;
在所接收的遮盖描述信息为:针对所述待利用视频帧中敏感区域所确定的区域位置和指定的纹理信息的情况下,在所确定的区域位置处,根据所述指定的纹理信息所指示的纹理,生成针对所播放的画面中的敏感区域的遮盖图层;在所接收的遮盖描述信息为:针对所述待利用视频帧中敏感区域所确定的区域位置和尺寸信息的情况下,在所确定的区域位置处,根据所述尺寸信息所指示的尺寸,生成针对所播放的画面中的敏感区域的遮盖图层;在所接收的遮盖描述信息为:针对所述待利用视频帧中敏感区域所确定的区域位置、尺寸信息和指定的纹理信息的情况下,在所确定的区域位置处,根据所述尺寸信息所指示的尺寸,以及所述指定的纹理信息所指示的纹理,生成针对所播放的画面中的敏感区域的遮盖图层。
14.可选地,所述待利用视频帧为多个;所述目标视频数据的遮盖描述信息包括:各待利用视频帧的遮盖描述信息;每一待利用视频帧的遮盖描述信息为:针对该待利用视频帧所确定的、用于指示对该待利用视频帧关联的播放画面中的敏感区域进行遮盖的信息;每一待利用视频帧关联的播放画面为:播放时需要利用该待利用视频帧所包含的图像信息的播放画面;所述基于所述目标视频数据的遮盖描述信息,对所述目标视频数据对应的播放画面中的敏感区域进行遮盖,包括:在播放至任一待利用视频帧关联的播放画面时,基于该待利用视频帧的遮盖描述信息,对该待利用视频帧关联的播放画面中的敏感区域进行遮盖。
15.第二方面,本发明实施例提供了一种视频处理系统,所述系统包括:媒体服务器和客户端;其中:所述媒体服务器,用于获取针对目标区域进行视频采集所得到的目标视频数据;基于所述目标视频数据包含的各视频帧中的待利用视频帧,确定所述目标视频数据的遮盖描述信息;向所述客户端发送所述目标视频数据和所确定的遮盖描述信息;其中,所述目标区域包含待遮盖的敏感区域;所述目标视频数据的遮盖描述信息为:用于指示对所述目标视频数据对应的播放画面中的敏感区域进行遮盖的信息;所述待利用视频帧为包含完整图像信息的视频帧;所述客户端,用于接收所述目标视频数据和所确定的遮盖描述信息,播放所述目标视频数据,并基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖。
16.第三方面,本发明实施例提供了一种视频处理装置,所述装置包括:数据获取模块,用于获取针对目标区域进行视频采集所得到的目标视频数据;其中,所述目标区域包含待遮盖的敏感区域;信息确定模块,用于基于所述目标视频数据包含的各视频帧中的待利用视频帧,确定所述目标视频数据的遮盖描述信息;其中,所述目标视频数据的遮盖描述信息为:用于指示对所述目标视频数据对应的播放画面中的敏感区域进行遮盖的信息;所述待利用视频帧为包含完整图像信息的视频帧;发送模块,用于向客户端发送所述目标视频数据和所确定的遮盖描述信息,以使所述客户端在播放所述目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖。
17.可选地,本发明实施例提供的视频处理装置包括:接收模块,用于接收目标视频数据和所述目标视频数据的遮盖描述信息;其中,所述目标视频数据为针对包含待遮盖的敏感区域的目标区域进行视频采集得到的视频数据;所述目标视频数据的遮盖描述信息为基于所述目标视频数据包含的各视频帧中的待利用视频帧所确定的、用于指示对所述目标视频数据对应的播放画面中敏感区域进行遮盖的信息;所述待利用视频帧为包含完整图像信息的视频帧;播放模块,用于播放所述目标视频数据,并基于所述目标视频数据的遮盖描述信息,对所述目标视频数据对应的播放画面中的敏感区域进行遮盖。
18.第四方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现上述任一所述视频处理方法步骤。
19.第五方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行上述任一所述视频处理方法步骤。
20.本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述视频处理方法。
21.本发明实施例有益效果:本发明实施例提供的视频处理方法,通过获取针对目标区域进行视频采集所得到的目标视频数据,并基于目标视频数据包含的各视频帧中的待利用视频帧,确定目标视频数据的遮盖描述信息;其中,目标视频数据的遮盖描述信息为:用于指示对目标视频数据对应的播放画面中的敏感区域进行遮盖的信息;待利用视频帧为包含完整图像信息的视频帧,进而向客户端发送目标视频数据和所确定的遮盖描述信息,以使客户端在播放目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖。本方案中,通过利用包含完整图像信息的待利用视频帧,确定目标视频数据的遮盖描述信息,并向客户端发送目标视频数据时一并发送所确定的遮盖描述信息,能够使得客户端在播放目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖,而不需要对视频进行解码、编码操作,从而减少了对视频中敏感区域进行遮盖的过程中对计算资源的占用。
22.当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
24.图1为本发明实施例所提供的视频处理方法的第一种流程图;
图2为本发明实施例所提供的遮盖图层的示意图;图3为本发明实施例所提供的视频处理方法的第二种流程图;图4为本发明实施例所提供的视频处理方法的第三种流程图;图5为本发明实施例所提供的视频处理系统的结构示意图;图6为本发明实施例所提供的视频处理系统的交互示意图;图7为本发明实施例所提供的视频处理装置的第一种结构示意图;图8为本发明实施例所提供的视频处理装置的第二种结构示意图;图9为本发明实施例所提供的电子设备的结构示意图。
具体实施方式
25.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本发明所获得的所有其他实施例,都属于本发明保护的范围。
26.为了减少了对视频中敏感区域进行遮盖的过程中对计算资源的占用,本发明实施例提供了一种视频处理方法、系统、装置及电子设备。
27.下面首先对本发明实施例所提供的视频处理方法进行介绍,该方法可以包括以下步骤:获取针对目标区域进行视频采集所得到的目标视频数据;其中,目标区域包含待遮盖的敏感区域;基于目标视频数据包含的各视频帧中的待利用视频帧,确定目标视频数据的遮盖描述信息;其中,目标视频数据的遮盖描述信息为:用于指示对目标视频数据对应的播放画面中的敏感区域进行遮盖的信息;待利用视频帧为包含完整图像信息的视频帧;向客户端发送目标视频数据和所确定的遮盖描述信息,以使客户端在播放目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖。
28.本方案中,通过利用包含完整图像信息的待利用视频帧,确定目标视频数据的遮盖描述信息,并向客户端发送目标视频数据时一并发送所确定的遮盖描述信息,能够使得客户端在播放目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖,而不需要对视频进行解码、编码操作,从而减少了对视频中敏感区域进行遮盖的过程中对计算资源的占用。
29.上述视频处理方法可以应用于各类电子设备中,例如,计算机、服务器、手机以及其他具有数据处理、发送能力的设备。在具体应用中,该视频处理方法可以应用于,客户端从媒体服务器获取视频数据进行视频播放的场景中的媒体服务器中,该视频处理方法还可以应用于具有数据处理、发送能力的视频采集设备中,例如,ipc(ip camera,网络摄像机)。并且,该视频处理方法可以通过软件、硬件或软硬件结合的方式实现。
30.下面结合附图对本发明实施例所提供的视频处理方法进行示例性介绍。
31.如图1所示,本发明实施例所提供的视频处理方法可以包括以下步骤:s101,获取针对目标区域进行视频采集所得到的目标视频数据;其中,目标区域包含待遮盖的敏感区域;
上述目标区域可以为包含待遮盖的敏感区域的任意区域,例如,目标区域可以为银行自动取款机的区域,该情况下,其所包含的待遮盖的敏感区域可以为密码输入区域;目标区域还可以为显示器所显示画面的区域,该情况下,其所包含的待遮盖的敏感区域可以为保密数据在显示器中所显示的区域。
32.一种实现方式中,获取目标视频数据为实时采集的数据,则针对目标区域进行视频采集所得到的目标视频数据可以的方式为:实时获取针对目标区域进行视频采集的目标视频数据。另一实现方式中,目标视频数据可以为视频采集设备预先针对目标区域进行视频采集,并保存在指定存储位置的录像数据,则获取该目标视频数据可以的方式为:从该指定存储位置读取。当然,以上仅是示例性介绍,获取该目标视频的方式也可以不局限于此。并且,该步骤可以在接收到指定的视频获取指令时开始执行。
33.s102,基于目标视频数据包含的各视频帧中的待利用视频帧,确定目标视频数据的遮盖描述信息;其中,目标视频数据的遮盖描述信息为:用于指示对目标视频数据对应的播放画面中的敏感区域进行遮盖的信息;待利用视频帧为包含完整图像信息的视频帧;本步骤中,由于视频数据中往往包含多张视频帧,在获取针对目标区域进行视频采集所得到的目标视频数据之后,可以先从该目标视频数据包含的各视频帧中选取待利用视频帧,再基于该确定待利用视频帧,确定目标视频数据的遮盖描述信息。
34.可以理解的,在目标视频数据中的各视频帧都包含完整图像信息的情况下,包含完整图像信息的视频帧即目标视频数据中的任一视频帧,在目标视频数据为采用gop(group of pictures,画面组)技术编码所得到的视频数据的情况下,包含完整图像信息的视频帧即目标视频数据中i(intra picture,帧内编码图像帧)帧。
35.上述目标视频数据的遮盖描述信息,用于指示对目标视频数据对应的播放画面中的敏感区域进行遮盖,遮盖描述信息中可以包含敏感区域的位置信息,例如,遮盖描述信息可以包含敏感区域的中心点坐标或任一顶点坐标,进一步的,在此情况下,遮盖描述信息中还可以包含敏感区域的尺寸,例如,敏感区域的宽和高。或者,遮盖描述信息还可以包括敏感区域的各个像素点的坐标、对角线顶点的坐标、各个顶点的坐标等中的至少一种,这都是可以的。
36.示例性的,如图2所示,本发明实施例提供一种遮盖图层示意图,图中所展示的遮盖图层为基于遮盖描述成所生成的,在该示例中,遮盖描述信息包含左下角坐标、宽、高以及颜色,该遮盖图层可以基于遮盖描述信息生成,即根据该遮盖描述信息在播放画面中以该遮盖描述信息中的左下角坐标为待生成遮盖图层的左下角坐标,并根据遮盖描述信息所指示的宽、高以及颜色生成矩形的遮盖图层。
37.进一步的,一种实现方式中,在目标视频数据中各视频帧中的画面所展现的场景变化较小的情况下,例如,该目标视频数据是由固定位置的视频采集设备采集得到视频数据,则可以仅选取一张包含完整图像信息的视频帧,作为待利用视频帧,且该待利用视频帧可以为目标视频数据中各视频帧中包含完整图像信息的任一张。
38.另一种实现方式中,上述待利用视频帧还可以为多张,在这种情况下,可以针对每一待利用视频帧,确定该待利用视频帧的遮盖描述信息,从而将待利用视频帧的遮盖描述信息,作为目标视频数据的遮盖描述信息。
39.其中,每一待利用视频帧的遮盖描述信息为:用于指示对该待利用视频帧关联的
播放画面中的敏感区域进行遮盖的信息;每一待利用视频帧关联的播放画面为:播放时需要利用该待利用视频帧所包含的图像信息的播放画面。
40.可以理解的,在目标视频数据中的各视频帧都包含完整图像信息的情况下,每一待利用视频帧关联的播放画面为播放该待利用视频帧所展现的播放画面;在目标视频数据为采用gop技术编码所得到的视频数据的情况下,目标视频数据可以被分为多个画面组,每一画面组中存在一张包含完整图像信息的关键帧,例如i帧,以及不包含完整图像信息的视频帧,例如p帧(predictive-coded picture,预测编码图像帧)、b(bidirectionallypredicted picture,双向预测编码图像帧),在此情况下,每一待利用视频帧为包含完整图像信息的关键帧,每一待利用视频帧关联的播放画面为,播放该关键帧所在画面组内各视频帧时所展现的画面。
41.本实现方式中,可以先针对每一待利用视频帧,确定该待利用视频帧中的敏感区域,从而,得到该待利用视频帧的遮盖描述信息,再将各待利用视频帧的遮盖描述信息,作为目标视频数据的遮盖描述信息。
42.可见,本步骤中利用包含完整图像信息的视频帧确定目标视频数据的遮盖描述信息,而不再需要由人工确定敏感区域,可以提高对视频中敏感区域进行遮盖的效率。
43.s103,向客户端发送目标视频数据和所确定的遮盖描述信息,以使客户端在播放目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖。
44.本步骤中,向客户端发送目标视频数据和所确定的遮盖描述信息的方式可以通过有线或无线的方式发送,并且,发送时可以将全部的目标视频数据和所确定的遮盖描述信息以文件的形式发送,或者,还可以以数据流的形式发送。
45.由于遮盖描述信息是用于指示对目标视频数据对应的播放画面中的敏感区域进行遮盖的信息,因此,客户端接收到目标视频数据和所确定的遮盖描述信息之后,在播放目标视频数据时,可以对该遮盖描述信息所指示的播放画面中敏感区域进行遮盖。遮盖的方式可以为,在播放画面中敏感区域生成遮盖图层,或者对目标视频数据中表征敏感区域的数据进行屏蔽处理,例如,可以将敏感区域的数据处理成表征相同颜色的数据。具体的遮盖方式将在下文结合另一实施例进行阐述。
46.本实施例中,通过利用包含完整图像信息的待利用视频帧,确定目标视频数据的遮盖描述信息,并向客户端发送目标视频数据时一并发送所确定的遮盖描述信息,能够使得客户端在播放目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖,而不需要对视频进行解码、编码操作,从而减少了对视频中敏感区域进行遮盖的过程中对计算资源的占用。
47.可选地,在本发明的另一实施例中,上述基于目标视频数据包含的各视频帧中的待利用视频帧,确定目标视频数据的遮盖描述信息,可以包括以下步骤:步骤a1,确定待利用视频帧中敏感区域的区域位置;在一种实现方式中,确定待利用视频帧中敏感区域的区域位置的方式可以为:先利用预先训练的特征提取网络对该待利用视频帧进行图像特征提取,所提取的图像特征可以包括,颜色特征、纹理特征等,进而根据预先建立的图像特征与敏感区域的区域位置的映射关系,确定所提取的图像特征所映射的敏感区域的区域位置;其中,每一图像特征所映射的敏感区域的区域位置,可以是利用的预先训练的识别模型对该图像特征进行识别所得到
的,还可以是针对该图像特征所预先标注的。
48.在另一实现方式中,确定待利用视频帧中敏感区域的区域位置,可以包括:将待利用视频帧输入预先训练完成的敏感区域识别模型中,得到敏感区域识别模型输出的待利用视频帧中敏感区域的区域位置;其中,敏感区域识别模型为:利用包含敏感区域的样本图像和预先标注的样本图像中敏感区域的区域位置训练得到的。
49.上述敏感区域识别模型可以为任意目标识别模型,例如,r-cnn(region-convolutional neural networks,区域卷积神经网络)、ssd(single shot multibox detector,一种基于全卷积的网络的检测器)等中的一种。敏感区域识别模型的代码可以为开源的opencv(一个跨平台计算机视觉和机器学习软件库)代码。在训练时,可以将样本图像输入待训练的目标识别模型,得到针对该样本图像中敏感区域的预测区域位置,从而利用该预测区域位置与预先标注区域位置计算损失值,从而对该待训练的目标识别模型的参数进行调整,不断重复上述过程,直至模型收敛。样本图像中需要有包含敏感区域,当然,不包含敏感区域的图像也可以作为样本图像进行模型的训练。
50.本实现方式中,为了提高训练完成的敏感区域识别模型对敏感区域识别的准确性,上述样本图像包含从至少一个采样角度和/或至少一个采样位置,对图像采集区域内敏感区域进行图像采集所得到的图像。例如,样本图像可以包含固定位置的图像采集设备,在不同角度下拍摄的图像。
51.步骤a2,基于所确定的区域位置,生成目标视频数据的遮盖描述信息。
52.在确定了待利用视频帧中敏感区域的区域位置,可以生成目标视频数据的遮盖描述信息,例如,可以先利用所确定的区域位置,确定待利用视频帧的遮盖描述信息,再将待利用视频帧的遮盖描述信息作为目标视频数据的遮盖描述信息。
53.示例性的,该步骤至少可以包括以下三种方式中的任一种:第一种方式:将所确定的区域位置,作为目标视频数据的遮盖描述信息;其中,所确定的区域位置可以包括:敏感区域的中心点坐标或任一顶点坐标,还可以为敏感区域的两个对角顶点的坐标。该实现方式中,可以将所确定的区域位置作为目标视频数据的遮盖描述信息。
54.第二种方式:将所确定的区域位置和指定的纹理信息,作为目标视频数据的遮盖描述信息;其中,指定的纹理信息可以包含,颜色信息,或者,指定的纹理信息还可以为用于指示对敏感区域进行模糊处理、马赛克处理和/或添加指定图像等处理方式的信息。该实现方式中,可以将所确定的区域位置和指定的纹理信息共同作为目标视频数据的遮盖描述信息。
55.第三种方式:基于所确定的区域位置,确定对待利用视频帧中敏感区域进行遮盖时所需遮盖图层的尺寸信息;基于所确定的区域位置和所确定的尺寸信息,生成目标视频数据的遮盖描述信息。
56.其中,尺寸信息可以用于指示对敏感区域进行遮盖时所需遮盖图层的尺寸,例如,当所需遮盖图层的形状为矩形时,尺寸信息可以为遮盖图层的宽、高,当所需遮盖图层的形状为圆形时,尺寸信息可以为遮盖图层的半径或直径,遮盖图层的形状可以为预先设定的形状。尺寸信息及区域位置均可以利用上述预先训练完成的敏感区域识别模型识别得到,
当然也可以不局限于此。
57.本实现方式中,可以将所确定的区域位置和所确定的尺寸信息,作为目标视频数据的遮盖描述信息;或者,将预设的纹理信息、所确定的区域位置及指定的尺寸信息,作为目标视频数据的遮盖描述信息。
58.此外,待利用视频帧还可以为多张,在此情况下,可以识别每一待利用视频帧中敏感区域的区域位置,再针对每一待利用视频帧生成该待利用视频帧的遮盖描述信息,从而将待利用视频帧的遮盖描述信息,作为目标视频数据的遮盖描述信息。
59.本实施例中,减少了对视频中敏感区域进行遮盖的过程中对计算资源的占用。进一步的,通过确定待利用视频帧中敏感区域的区域位置;并基于所确定的区域位置,生成目标视频数据的遮盖描述信息,可以提高对目标视频数据对应的播放画面中的敏感区域进行遮盖的准确性。
60.可选地,在本发明的另一实施例中,上述向客户端发送目标视频数据和所确定的遮盖描述信息可以包括:当接收到客户端发送的视频获取指令时,向客户端发送目标视频数据和所确定的遮盖描述信息盖。
61.本步骤中,目标视频数据的遮盖描述信息可以预先确定,客户端发送的视频获取指令中可以携带该目标视频数据的标识信息,例如,媒体数据id(identity document,身份标识号),从而可以根据该标识信息,确定目标视频数据以及预先针对该目标视频数据所确定的遮盖描述信息。
62.在本实施例中,如图3所示,上述视频处理方法可以包括以下步骤:s301,获取针对目标区域进行视频采集所得到的目标视频数据;s302,确定待利用视频帧中敏感区域的区域位置;s303,基于所确定的区域位置,生成目标视频数据的遮盖描述信息;s304,当接收到客户端发送的视频获取指令时,向客户端发送目标视频数据和所确定的遮盖描述信息,以使客户端在播放目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖。
63.以上步骤均在上文有所阐述,在此不再赘述。
64.本实施例中,减少了对视频中敏感区域进行遮盖的过程中对计算资源的占用。进一步的,预先确定目标视频数据的遮盖描述信息,当接收到客户端发送的视频获取指令时,直接将预先确定的遮盖描述信息和目标视频数据发送至客户端,从而可以进一步提高对敏感区域进行遮盖的效率。
65.在另一实施例中,如图4所示,该视频处理方法可以包括以下步骤:s401,接收目标视频数据和目标视频数据的遮盖描述信息;其中,目标视频数据为针对包含待遮盖的敏感区域的目标区域进行视频采集得到的视频数据;目标视频数据的遮盖描述信息为基于目标视频数据包含的各视频帧中的待利用视频帧所确定的、用于指示对目标视频数据对应的播放画面中敏感区域进行遮盖的信息;待利用视频帧为包含完整图像信息的视频帧;s402,播放目标视频数据,并基于目标视频数据的遮盖描述信息,对目标视频数据对应的播放画面中的敏感区域进行遮盖。
66.本实施例可以应用于具备视频播放功能的电子设备中,例如,计算机、手机等设备。在具体应用中,本实施例可以应用于电子设备的视频播放客户端中。并且,本实施例可以通过软件、硬件或软硬件结合的方式实现。上述遮盖的方式可以为,在播放画面中敏感区域生成遮盖图层。
67.可选地,在播放画面中敏感区域生成遮盖图层的方式为例,上述基于目标视频数据的遮盖描述信息,对目标视频数据对应的播放画面中的敏感区域进行遮盖的方式可以包括以下四种情况中的至少一种:第一种情况:所接收的遮盖描述信息为:针对待利用视频帧中敏感区域所确定的区域位置,则可以在所确定的区域位置处,生成针对所播放的画面中的敏感区域的遮盖图层;该情况下,当所确定的区域位置为敏感区域的中心点坐标或任一顶点坐标时,则可以在所确定的区域位置处,生成指定形状和指定尺寸的遮盖图层;当所确定的区域位置为敏感区域的各个顶点坐标时,则可以以敏感区域的各个顶点坐标为顶点生成遮盖图层;当所确定的区域位置为敏感区域的对角顶点坐标时,则可以以敏感区域的对角顶点坐标为对角顶点生成矩形遮盖图层。
68.第二种情况:在所接收的遮盖描述信息为:针对待利用视频帧中敏感区域所确定的区域位置和指定的纹理信息的情况下,在所确定的区域位置处,根据指定的纹理信息所指示的纹理,生成针对所播放的画面中的敏感区域的遮盖图层;该情况下,所接收的遮盖描述信息还可以包括纹理信息,则可以在所确定的区域位置处,根据指定的纹理信息所指示的纹理,生成针对所播放的画面中的敏感区域的遮盖图层。示例性的,当纹理信息为颜色信息时,则可以在所确定的区域位置处,生成该颜色信息所指示颜色的遮盖图层;当纹理信息为模糊图层时,则可以在所确定的区域位置处,生成模糊图层,作为遮盖图层;纹理信息还可以为指示添加指定图像的信息,则该情况下,可以在所确定的区域位置处,生成该指定图像,作为遮盖图层。当然也可以不局限于上述情况。
69.第三种情况:在所接收的遮盖描述信息为:针对待利用视频帧中敏感区域所确定的区域位置和尺寸信息的情况下,在所确定的区域位置处,根据尺寸信息所指示的尺寸,生成针对所播放的画面中的敏感区域的遮盖图层;本实现方式中,所确定的区域位置可以为敏感区域的中心点坐标,或者任意顶点的坐标,和尺寸信息可以为敏感区域的宽、高。
70.第四种情况:在所接收的遮盖描述信息为:针对待利用视频帧中敏感区域所确定的区域位置、尺寸信息和指定的纹理信息的情况下,在所确定的区域位置处,根据尺寸信息所指示的尺寸,以及指定的纹理信息所指示的纹理,生成针对所播放的画面中的敏感区域的遮盖图层。
71.上述待利用视频帧可以为单个,该情况下,目标视频数据的遮盖描述信息即该待利用视频帧的遮盖描述信息,该待利用视频帧的遮盖描述信息可以包括:该待利用视频帧中的敏感区域的区域位置,当然还可以包括尺寸信息和/或指定的纹理信息。在播放目标视频数据,则可以根据该待利用视频帧的遮盖描述信息,对整个视频的画面进行遮盖。
72.上述待利用视频帧还可以为多张,该情况下,目标视频数据的遮盖描述信息可以包括:各待利用视频帧的遮盖描述信息;每一待利用视频帧的遮盖描述信息为:针对该待利
用视频帧所确定的、用于指示对该待利用视频帧关联的播放画面中的敏感区域进行遮盖的信息;每一待利用视频帧关联的播放画面为:播放时需要利用该待利用视频帧所包含的图像信息的播放画面;则基于目标视频数据的遮盖描述信息,对目标视频数据对应的播放画面中的敏感区域进行遮盖,可以包括:在播放至任一待利用视频帧关联的播放画面时,基于该待利用视频帧的遮盖描述信息,对该待利用视频帧关联的播放画面中的敏感区域进行遮盖。
73.本实现方式中,在播放至任一待利用视频帧关联的播放画面时,先对该待利用视频帧关联的播放画面中的敏感区域进行遮盖,在播放至下一待利用视频帧关联的播放画面时,再对该下一待利用视频帧关联的播放画面进行遮盖。例如,在实际执行时,可以在播放至任一待利用视频帧关联的播放画面时,根据该待利用视频帧的遮盖描述信息在所播放的画面中生成遮盖图层,直至播放至下一待利用视频帧关联的播放画面时,删除该遮盖图层,并再次根据该下一待利用视频帧的遮盖描述信息在所播放的画面中生成遮盖图层,以此类推,直至视频播放结束。
74.本实施例中,通过接收目标视频数据和目标视频数据的遮盖描述信息,其中,目标视频数据的遮盖描述信息是利用包含完整图像信息的视频帧确定的,从而在播放目标视频数据时,可以基于目标视频数据的遮盖描述信息,对目标视频数据对应的播放画面中的敏感区域进行遮盖,而不需要对视频进行解码、编码操作,因此减少了对视频中敏感区域进行遮盖的过程中对计算资源的占用。
75.本发明实施例还提供了一种视频处理系统,如图5所示,该系统包括:媒体服务器和客户端;其中:媒体服务器501,用于获取针对目标区域进行视频采集所得到的目标视频数据;基于目标视频数据包含的各视频帧中的待利用视频帧,确定目标视频数据的遮盖描述信息;向客户端发送目标视频数据和所确定的遮盖描述信息;其中,目标区域包含待遮盖的敏感区域;目标视频数据的遮盖描述信息为:用于指示对目标视频数据对应的播放画面中的敏感区域进行遮盖的信息;待利用视频帧为包含完整图像信息的视频帧;客户端502,用于接收目标视频数据和所确定的遮盖描述信息,播放目标视频数据,并基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖。
76.可选地,媒体服务器基于目标视频数据包含的各视频帧中的待利用视频帧,确定目标视频数据的遮盖描述信息,包括:确定待利用视频帧中敏感区域的区域位置;基于所确定的区域位置,生成目标视频数据的遮盖描述信息。
77.可选地,媒体服务器基于所确定的区域位置,生成目标视频数据的遮盖描述信息,包括:将所确定的区域位置,作为目标视频数据的遮盖描述信息;或者,将所确定的区域位置和指定的纹理信息,作为目标视频数据的遮盖描述信息;或者,基于所确定的区域位置,确定对待利用视频帧中敏感区域进行遮盖时所需遮盖图层的尺寸信息;基于所确定的区域位置和所确定的尺寸信息,生成目标视频数据的遮盖描述信息。
78.可选地,媒体服务器基于所确定的区域位置和所确定的尺寸信息,生成目标视频数据的遮盖描述信息,包括:将所确定的区域位置和所确定的尺寸信息,作为目标视频数据的遮盖描述信息;或者,将预设的纹理信息、所确定的区域位置及指定的尺寸信息,作为目标视频数据的遮盖描述信息。
79.可选地,媒体服务器确定待利用视频帧中敏感区域的区域位置,包括:将待利用视频帧输入预先训练完成的敏感区域识别模型中,得到敏感区域识别模型输出的待利用视频帧中敏感区域的区域位置;其中,敏感区域识别模型为:利用包含敏感区域的样本图像和预先标注的样本图像中敏感区域的区域位置训练得到的。
80.可选地,样本图像包含从至少一个采样角度和/或至少一个采样位置,对图像采集区域内敏感区域进行图像采集所得到的图像。
81.可选地,待利用视频帧为多张;媒体服务器基于目标视频数据包含的各视频帧中的待利用视频帧,确定目标视频数据的遮盖描述信息,包括:针对每一待利用视频帧,确定该待利用视频帧的遮盖描述信息;其中,每一待利用视频帧的遮盖描述信息为:用于指示对该待利用视频帧关联的播放画面中的敏感区域进行遮盖的信息;每一待利用视频帧关联的播放画面为:播放时需要利用该待利用视频帧所包含的图像信息的播放画面;将各待利用视频帧的遮盖描述信息,作为目标视频数据的遮盖描述信息。
82.客户端基于目标视频数据的遮盖描述信息,对目标视频数据对应的播放画面中的敏感区域进行遮盖,包括:在播放至任一待利用视频帧关联的播放画面时,基于该待利用视频帧的遮盖描述信息,对该待利用视频帧关联的播放画面中的敏感区域进行遮盖。
83.可选地,媒体服务器向客户端发送目标视频数据和所确定的遮盖描述信息,包括:当接收到客户端发送的视频获取指令时,向客户端发送目标视频数据和所确定的遮盖描述信息。
84.可选地,客户端基于目标视频数据的遮盖描述信息,对目标视频数据对应的播放画面中的敏感区域进行遮盖,包括:在所接收的遮盖描述信息为:针对待利用视频帧中敏感区域所确定的区域位置的情况下,在所确定的区域位置处,生成针对所播放的画面中的敏感区域的遮盖图层;在所接收的遮盖描述信息为:针对待利用视频帧中敏感区域所确定的区域位置和指定的纹理信息的情况下,在所确定的区域位置处,根据指定的纹理信息所指示的纹理,生成针对所播放的画面中的敏感区域的遮盖图层;在所接收的遮盖描述信息为:针对待利用视频帧中敏感区域所确定的区域位置和尺寸信息的情况下,在所确定的区域位置处,根据尺寸信息所指示的尺寸,生成针对所播放的画面中的敏感区域的遮盖图层;在所接收的遮盖描述信息为:针对待利用视频帧中敏感区域所确定的区域位置、尺寸信息和指定的纹理信息的情况下,在所确定的区域位置处,根据尺寸信息所指示的尺
寸,以及指定的纹理信息所指示的纹理,生成针对所播放的画面中的敏感区域的遮盖图层。
85.如图6所示,在实际应用过程中,当需要在客户端播放目标视频数据,客户端可以向媒体服务器发送视频获取指令,该视频获取指令中携带目标视频数据的媒体数据id信息;其中,媒体数据id信息用于指示目标视频数据的媒体数据id;媒体服务器则可以根据该媒体数据id信息,确定所指示的媒体数据id,从而利用媒体数据id查找目标视频数据,目标视频数据中包含音频数据(audio track)以及影像数据(video track),进而从目标视频数据读取i帧,作为待利用视频帧,并将待利用视频帧输入视频分析模块,得到目标视频数据的遮盖描述信息(cover track);其中,视频分析模块用于:基于目标视频数据包含的各视频帧中的待利用视频帧,确定目标视频数据的遮盖描述信息;媒体服务器中可以预先存储有多个视频数据,从而媒体服务器可以从所存储的视频数据中确定目标视频数据,媒体服务器还可以从网络摄像机中确定目标视频数据;确定目标视频数据的遮盖描述信息之后,媒体服务器可以将目标视频数据和所确定的遮盖描述信息发送至客户端,从而客户端基于所接收的数据进行解析、解码,并在对目标视频数据进行播放渲染的时候,基于所接收的遮盖描述信息生成遮盖图层,实现对所播放的播放画面中敏感区域的遮盖。
86.本实施例中,通过基于目标视频数据包含的各视频帧中的待利用视频帧,确定目标视频数据的遮盖描述信息,并向客户端发送目标视频数据和所确定的遮盖描述信息,能够使得客户端在播放目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖,而不需要对视频进行解码、编码操作,从而减少了对视频中敏感区域进行遮盖的过程中对计算资源的占用。
87.本发明实施例还提供了一种视频处理装置,如图7所示,该装置包括:数据获取模块701,用于获取针对目标区域进行视频采集所得到的目标视频数据;其中,所述目标区域包含待遮盖的敏感区域;信息确定模块702,用于基于所述目标视频数据包含的各视频帧中的待利用视频帧,确定所述目标视频数据的遮盖描述信息;其中,所述目标视频数据的遮盖描述信息为:用于指示对所述目标视频数据对应的播放画面中的敏感区域进行遮盖的信息;所述待利用视频帧为包含完整图像信息的视频帧;发送模块703,用于向客户端发送所述目标视频数据和所确定的遮盖描述信息,以使所述客户端在播放所述目标视频数据时,基于所接收的遮盖描述信息,对所播放的播放画面中敏感区域进行遮盖。
88.可选地,所述信息确定模块包括:位置确定子模块,用于确定所述待利用视频帧中敏感区域的区域位置;信息生成子模块,用于基于所确定的区域位置,生成所述目标视频数据的遮盖描述信息。
89.可选地,所述信息生成子模块,具体用于:将所确定的区域位置,作为所述目标视频数据的遮盖描述信息;或者,将所确定的区域位置和指定的纹理信息,作为所述目标视频数据的遮盖描述信息;或者,
基于所确定的区域位置,确定对所述待利用视频帧中敏感区域进行遮盖时所需遮盖图层的尺寸信息;基于所确定的区域位置和所确定的尺寸信息,生成所述目标视频数据的遮盖描述信息。
90.可选地,所述信息生成子模块基于所确定的区域位置和所确定的尺寸信息,生成所述目标视频数据的遮盖描述信息,包括:将所确定的区域位置和所确定的尺寸信息,作为所述目标视频数据的遮盖描述信息;或者,将预设的纹理信息、所确定的区域位置及所述指定的尺寸信息,作为所述目标视频数据的遮盖描述信息。
91.可选地,所述位置确定子模块,具体用于:将所述待利用视频帧输入预先训练完成的敏感区域识别模型中,得到所述敏感区域识别模型输出的所述待利用视频帧中敏感区域的区域位置;其中,所述敏感区域识别模型为:利用包含敏感区域的样本图像和预先标注的所述样本图像中敏感区域的区域位置训练得到的。
92.可选地,所述样本图像包含从至少一个采样角度和/或至少一个采样位置,对图像采集区域内敏感区域进行图像采集所得到的图像。
93.可选地,所述待利用视频帧为多张;所述信息确定模块,具体用于:针对每一待利用视频帧,确定该待利用视频帧的遮盖描述信息;其中,每一待利用视频帧的遮盖描述信息为:用于指示对该待利用视频帧关联的播放画面中的敏感区域进行遮盖的信息;每一待利用视频帧关联的播放画面为:播放时需要利用该待利用视频帧所包含的图像信息的播放画面;将各待利用视频帧的遮盖描述信息,作为所述目标视频数据的遮盖描述信息。
94.可选地,所述发送模块,具体用于:当接收到客户端发送的视频获取指令时,向所述客户端发送所述目标视频数据和所确定的遮盖描述信息。
95.在本发明的另一实施例中,如图8所示,上述视频处理装置可以包括:接收模块801,用于接收目标视频数据和所述目标视频数据的遮盖描述信息;其中,所述目标视频数据为针对包含待遮盖的敏感区域的目标区域进行视频采集得到的视频数据;所述目标视频数据的遮盖描述信息为基于所述目标视频数据包含的各视频帧中的待利用视频帧所确定的、用于指示对所述目标视频数据对应的播放画面中敏感区域进行遮盖的信息;所述待利用视频帧为包含完整图像信息的视频帧;播放模块802,用于播放所述目标视频数据,并基于所述目标视频数据的遮盖描述信息,对所述目标视频数据对应的播放画面中的敏感区域进行遮盖。
96.可选地,所述播放模块基于所述目标视频数据的遮盖描述信息,对所述目标视频数据对应的播放画面中的敏感区域进行遮盖,包括:在所接收的遮盖描述信息为:针对所述待利用视频帧中敏感区域所确定的区域位置的情况下,在所确定的区域位置处,生成针对所播放的画面中的敏感区域的遮盖图层;在所接收的遮盖描述信息为:针对所述待利用视频帧中敏感区域所确定的区域位
置和指定的纹理信息的情况下,在所确定的区域位置处,根据所述指定的纹理信息所指示的纹理,生成针对所播放的画面中的敏感区域的遮盖图层;在所接收的遮盖描述信息为:针对所述待利用视频帧中敏感区域所确定的区域位置和尺寸信息的情况下,在所确定的区域位置处,根据所述尺寸信息所指示的尺寸,生成针对所播放的画面中的敏感区域的遮盖图层;在所接收的遮盖描述信息为:针对所述待利用视频帧中敏感区域所确定的区域位置、尺寸信息和指定的纹理信息的情况下,在所确定的区域位置处,根据所述尺寸信息所指示的尺寸,以及所述指定的纹理信息所指示的纹理,生成针对所播放的画面中的敏感区域的遮盖图层。
97.可选地,所述待利用视频帧为多张;所述目标视频数据的遮盖描述信息包括:各待利用视频帧的遮盖描述信息;每一待利用视频帧的遮盖描述信息为:针对该待利用视频帧所确定的、用于指示对该待利用视频帧关联的播放画面中的敏感区域进行遮盖的信息;每一待利用视频帧关联的播放画面为:播放时需要利用该待利用视频帧所包含的图像信息的播放画面;所述播放模块基于所述目标视频数据的遮盖描述信息,对所述目标视频数据对应的播放画面中的敏感区域进行遮盖,包括:在播放至任一待利用视频帧关联的播放画面时,基于该待利用视频帧的遮盖描述信息,对该待利用视频帧关联的播放画面中的敏感区域进行遮盖。
98.本发明实施例还提供了一种电子设备,如图9所示,包括处理器901、通信接口902、存储器903和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信,存储器903,用于存放计算机程序;处理器901,用于执行存储器903上所存放的程序时,实现上述视频处理方法的步骤。
99.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect,pci)总线或扩展工业标准结构(extended industry standard architecture,eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
100.通信接口用于上述电子设备与其他设备之间的通信。
101.存储器可以包括随机存取存储器(random access memory,ram),也可以包括非易失性存储器(non-volatile memory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
102.上述的处理器可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmablegate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
103.在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述视频处理方法
的步骤。
104.在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述视频处理方法的步骤。
105.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk (ssd))等。
106.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
107.本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
108.以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1