一种视频广告检测方法、装置及设备与流程

本发明涉及广告监控领域，具体而言，涉及一种视频广告检测方法、装置及设备。

背景技术：

在各种体育赛事、综艺节目以及影视剧等视频资源中，越来越多的广告被播放。不同的人群对视频广告系统的具体需求不同。一方面，广告投放商希望在视频播出后能尽快获取所广告在视频中的曝光信息，如曝光时长、曝光位置、占画面的比例等，来确定广告投放的收益，并根据不同形式、不同位置的广告投放方式在视频中曝光的统计信息，来确定广告商标的精准投放，以获取最大投入-收益比。另一方面，对于普通的视频观看群众，希望能够尽可能地跳过广告而不影响观看正常的视频内容；而对于相关的政府广告监测机构，需要对广告的内容、频率和时长等进行监管，及时监测出违规违法的广告信息。

技术实现要素：

本发明的目的在于提供一种视频广告检测方法、装置及设备，以改善上述问题。

为了实现上述目的，本发明采用的技术方案如下：

第一方面，一种视频广告检测方法，所述视频广告检测方法包括：

获取视频资源；

将所述视频资源进行分流，生成对应的图像数据和音频数据；

对所述图像数据进行广告检测，得到图像广告；

对所述音频数据进行广告检测，得到音频广告；

将所述图像广告和所述音频广告进行统计，得到广告曝光信息。

进一步地，所述图像数据包括视频中对应的图像，所述对所述图像数据进行广告检测，得到图像广告的步骤，包括：

获取每一所述图像对应的第一广告标识；

获取所述第一广告标识对应在所述图像的位置。

进一步地，所述对所述图像数据进行广告检测，得到图像广告的步骤，还包括：

将每一帧所述图像对应第一广告标识以外的背景进行虚化。

进一步地，所述对所述音频数据进行广告检测，得到音频广告的步骤，包括：

获取所述音频数据中出现第二广告标识；

获取所述第二广告标识出现的起始时间与结束时间。

进一步地，所述对所述音频数据进行广告检测，得到音频广告的步骤，还包括：

对所述音频数据中所述第二广告标识出现的起始时间与结束时间以外的声音数据进行模糊处理。

进一步地，所述将所述图像广告和所述音频广告进行统计，生成广告曝光数据的步骤，包括：

将虚化后的所述图像数据以及模糊处理后的所述音频数据进行组合；

生成广告曝光视频。

一种视频广告检测装置，所述视频广告检测装置包括：

视频获取模块，用于获取视频资源；

视频分割模块，用于将所述视频资源进行分流，生成对应的图像数据和音频数据；

图像检测模块，用于对所述图像数据进行广告检测，得到图像广告；

音频检测模块，用于对所述音频数据进行广告检测，得到音频广告；

统计分析模块，用于将所述图像广告和所述音频广告进行统计，得到广告曝光信息。

进一步地，所述图像检测模块包括：

第一广告标识获取单元，用于获取每一所述图像对应的第一广告标识；

第一广告标识位置获取单元，用于获取所述第一广告标识对应在所述图像的位置；

第一广告标识背景虚化单元，用于将每一帧所述图像对应第一广告标识以外的背景进行虚化。

进一步地，所述音频检测模块包括：

第二广告标识获取单元，获取所述音频数据中出现第二广告标识；

第二广告标识位置获取单元，获取所述第二广告标识出现的起始时间与结束时间；

第二广告标识背景虚化单元，对所述音频数据中所述第二广告标识出现的起始时间与结束时间以外的声音数据进行模糊处理。

一种视频广告检测设备，所述视频广告检测设备包括：

存储器；

处理器；以及

视频广告检测装置，所述视频广告检测装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组，视频广告检测装置包括：

视频获取模块，用于获取视频资源；

视频分割模块，用于将所述视频资源进行分流，生成对应的图像数据和音频数据；

图像检测模块，用于对所述图像数据进行广告检测，得到图像广告，所述图像数据包括图像；

第一广告标识获取单元，用于获取每一所述图像对应的第一广告标识；

第一广告标识位置获取单元，用于获取所述第一广告标识对应在所述图像的位置；

第一广告标识背景虚化单元，用于将每一帧所述图像对应第一广告标识以外的背景进行虚化；

音频检测模块，用于对所述音频数据进行广告检测，得到音频广告；

第二广告标识获取单元，获取所述音频数据中出现第二广告标识；

第二广告标识位置获取单元，获取所述第二广告标识出现的起始时间与结束时间；

第二广告标识背景虚化单元，对所述音频数据中所述第二广告标识出现的起始时间与结束时间以外的声音数据进行模糊处理；

统计分析模块，用于将所述图像广告和所述音频广告进行统计，生成广告曝光数据。

本发明提供了一种视频广告检测方法、装置及设备，该方法应用于该装置，该设备包括该装置，该方法包括：获取视频资源；将视频资源进行分流，生成对应的图像数据和音频数据；对图像数据进行广告检测，得到图像广告；对音频数据进行广告检测，得到音频广告；将图像广告和音频广告进行统计，得到广告曝光信息。通过将检测视频资源的图像信息及音频信息对应的图像广告和音频广告进行统计，得到广告曝光信息，以便于快速获得视频资源内的广告内容。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的视频广告检测设备与多个视频图像采集装置的交互的示意图；

图2为本发明实施例提供的视频广告检测设备的方框示意图；

图3-图5，为本发明实施例提供的视频广告检测装置的功能模块示意图；

图6-图7为本发明实施例提供的视频广告检测方法应用于视频广告检测设备的流程图。

图标：100-视频广告检测设备；110-视频广告检测装置；112-视频获取模块；113-视频分割模块；114-图像检测模块；1141-第一广告标识获取单元；1142-第一广告标识位置获取单元；1143-第一广告标识背景虚化单元；115-音频检测模块；1151-第二广告标识获取单元；1152-第二广告标识位置获取单元；1153-第二广告标识背景虚化单元；116-统计分析模块；120-存储器；130-处理器；140-通信单元；200-视频图像采集装置；300-网络。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参阅图1，为本发明实施例提供的视频广告检测设备100与多个视频图像采集装置200的交互的示意图。视频广告检测设备100可通过网络300与多个视频图像采集装置200进行通信，以实现视频广告检测设备100与多个视频图像采集装置200之间的数据通信或交互。

请参阅图2，为本发明实施例提供的视频广告检测设备100的方框示意图。视频广告检测设备100包括视频广告检测装置110、存储器120、处理器130和通信单元140。存储器120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。视频广告检测装置110包括至少一个可以软件或固件(firmware)的形式存储于存储器120中或固化在视频广告检测设备100的操作系统(operatingsystem，os)中的软件功能模块。处理器130用于执行存储器120中存储的可执行模块，例如视频广告检测装置110所包括的软件功能模块及计算机程序等。

其中，所述存储器120可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器120用于存储程序，处理器130在接收到执行指令后，执行所述程序。通信单元140用于通过网络300建立视频广告检测设备100与多个视频图像采集装置200之间的通信连接，并用于通过网络300收发数据。

请参阅图3，为本发明实施例提供的视频广告检测装置110的功能模块示意图。视频广告检测装置110包括：视频获取模块112、视频分割模块113、图像检测模块114、音频检测模块115及统计分析模块116。

其中，

视频获取模块112，用于获取视频资源。

本实施例中，视屏获取模块用于获取视频图像采集装置200采集的视频资源。该获取的方式可以使通过web方式上传的视频文件，通过网络300宽带连接的网络监控摄像头、电视直播信号源等。可以清楚的是，该视频图像采集装置200可以为电脑，对播放的视频进行采集，并将采集到的视频资源发送到视频广告检测设备100，以便于视频获取模块112获取采集到的该视频资源。

视频分割模块113，用于将视频资源进行分流，生成对应的图像数据和音频数据。

本实施例中，视频分割模块113用于将视屏获取模块获取的视频资源进行分流，得到图像数据和音频数据。具体实施时，视频分割模块113对来自视频获取模块112的视频资源进行分流，得到图像数据和音频流。可以清楚的是，根据不同类型的视频资源进行分流，所生成的图像的帧数可以是视频资源全部的帧，也可以是视频资源中间隔获取的帧；所生成的音频数据可以为该视频资源中全部的音频数据。

图像检测模块114，用于对图像数据进行广告检测，得到图像广告。

本实施例中，图像检测模块114通过基于深度学习的目标检测技术对图像数据进行广告检测，检测到每一帧图像中出现的广告标识，该广告标识可以为商标、广告页和弹窗等。记录每个广告标识出现的时间点及其在图像整幅画面中的位置坐标。

进一步地，将每一帧图像对应的广告标识进行检测，找到每一帧广告标识的位置。将该图像除广告标识以外的背景进行虚化。得到只含有该广告标识的图像。

具体实施时，上述实现广告标识检测的过程中所采用的技术及具体的实施步骤主要有：

图像检测模块114中采用的是现有的基于深度学习的目标检测技术--fasterrcnn，详细步骤包括：

获取所有广告标识的训练样本集合，并为每一类广告标识赋予标签，标签为整数数字，如0-n，n种广告标识对应n个数字。

基于深度学习框架caffe，结合获取的训练样本集合，搭建fasterrcnn网络模型，该网络模型包括：区域生成、特征提取、候选区域、窗口分类和位置精修。

搭建的fasterrcnn网络模型，得到训练好的广告标识检测模型文件；

对于输入的一张图像，利用训练好的广告标识检测模型对图像进行广告标识检测，获得每一个标识在图像中的位置坐标，该位置可以以显示的像素为单位。

音频检测模块115，用于对音频数据进行广告检测，得到音频广告。

本实施例中，检测音频数据中出现的音频广告及该音频广告出现的时间和结束的时间。

进一步地，将音频数据中音频广告出现的时间与结束时间以外的声音数据进行模糊处理。以得到只有该声音广告的音频数据。

统计分析模块116，用于将图像广告和音频广告进行统计，得到广告曝光信息。

将虚化后的所述图像数据以及模糊处理后的所述音频数据进行组合，生成曝光信息，该曝光信息包括曝光时长、曝光位置、占画面的比例等。可以清楚地是，为了使曝光信息更加的直观可视化，可根据曝光信息生成对应的广告曝光视频。

该曝光视频中只有图像广告标识和音频广告标识，最后获取的视频更加直观的将广告展现在视频中。以便于广告投放商在视频播出后尽快获取广告在视频中的曝光信息，如曝光时长、曝光位置、占画面的比例等，来确定广告投放的收益，并根据不同形式、不同位置的广告投放方式在视频中曝光的统计信息，来确定广告商标的精准投放，以获取最大投入-收益比。而对于相关的政府广告监测机构，需要对广告的内容、频率和时长等进行监管，及时监测出违规违法的广告信息。

请参阅图4，为本发明实施例提供的视频广告检测装置110的功能模块示意图。图像检测模块114包括第一广告标识获取单元1141、第一广告标识位置获取单元1142及第一广告标识背景虚化单元1143。

第一广告标识获取单元1141，用于获取每一图像对应的第一广告标识。

本实施例中，将视频资源中每一图像进行处理，以得到每一图像中对应的广告标识。

第一广告标识位置获取单元1142，用于获取第一广告标识对应在图像的位置。

本实施例中，获取每一广告标识在对应图像中的位置，屏占比，并将边缘进行锐化处理。

第一广告标识背景虚化单元1143，用于将每一帧图像对应第一广告标识以外的背景进行虚化。

本实施例中，将每一帧图像对应的广告标识以外的内容，也就是背景进行虚化，以加强广告标识的显示效果。

请参阅图5，为本发明实施例提供的视频广告检测装置110的功能模块示意图。音频检测模块115包括第二广告标识获取单元1151、第二广告标识位置获取单元1152及第二广告标识背景虚化单元1153。

第二广告标识获取单元1151，获取音频数据中出现第二广告标识。

本实施例中，第二广告标识获取单元1151用于获取音频流中对应的广告语，例如：##工司赞助，##工司为您报时等广告语。

第二广告标识位置获取单元1152，获取第二广告标识出现的起始时间与结束时间。

本实施例中，获取广告语出现的时间及结束的时间，以及找到开始时间对应的图像及结束时对应的图像。

第二广告标识背景虚化单元1153，对音频数据中第二广告标识出现的起始时间与结束时间以外的声音数据进行模糊处理。

本实施例中，第二广告标识背景虚化单元1153用于将广告标识以外的声音进行虚化处理，以得到只含有广告语的音频数据。

请参阅图6，为本发明实施例提供的视频广告检测方法应用于视频广告检测设备100的流程图。所述方法包括以下步骤：

步骤s101，获取视频资源。

可以理解地，通过视频获取模块112可以执行步骤s101。

步骤s102，将视频资源进行分流，生成对应的图像数据和音频数据。

可以理解地，通过视频分割模块113可以执行步骤s102。

步骤s103，对图像数据进行广告检测，得到图像广告。

可以理解地，通过图像检测模块114可以执行步骤s103。

步骤s104，对音频数据进行广告检测，得到音频广告。

可以理解地，通过音频检测模块115可以执行步骤s104。

步骤s105，将图像广告和音频广告进行统计，得到广告曝光信息。

可以理解地，通过统计分析模块116可以执行步骤s105。

请参阅图7，为本发明实施例提供的视频广告检测方法应用于视频广告检测设备100的流程图。

步骤s103，包括：

步骤s1031，获取每一图像对应的第一广告标识。

可以理解地，通过第一广告标识获取单元1141可以执行步骤s1031。

步骤s1032，获取第一广告标识对应在图像的位置。

可以理解地，通过第一广告标识位置获取单元1142可以执行步骤s1032。

步骤s1033，将每一帧图像对应第一广告标识以外的背景进行虚化。

可以理解地，通过第一广告标识背景虚化单元1143可以执行步骤s1033。

步骤s104，包括：

步骤s1041，获取音频数据中出现第二广告标识。

可以理解地，通过第二广告标识获取单元1151可以执行步骤s1041。

步骤s1042，获取第二广告标识出现的起始时间与结束时间。

可以理解地，通过第二广告标识位置获取单元1152可以执行步骤s1042。

步骤s1043，对音频数据中第二广告标识出现的起始时间与结束时间以外的声音数据进行模糊处理。

可以理解地，通过第二广告标识背景虚化单元1153可以执行步骤s1042。

步骤s105，可以理解地，步骤s1051-步骤s1051可以通过统计分析模块116执行，所述步骤s105包括：

步骤s1051，将虚化后的图像数据以及模糊处理后的音频数据进行组合。

步骤s1052，生成广告曝光视频。

综上所述，本发明提供了一种视频广告检测方法、装置及设备。该方法应用于该装置，该设备包括该装置，该方法包括：获取视频资源；将视频资源进行分流，生成对应的图像数据和音频数据；对图像数据进行广告检测，得到图像广告；对音频数据进行广告检测，得到音频广告；将图像广告和音频广告进行统计，得到广告曝光信息。通过将检测视频资源的图像信息及音频信息对应的图像广告和音频广告进行统计，得到广告曝光信息，以便于快速获得视频资源内的广告内容。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。