一种基于智能显示终端的广告计费统计方法与流程

1.本发明涉及智能终端广告监测技术领域，更具体地，涉及一种基于智能显示终端的广告计费统计方法。


背景技术：

2.目前社区用到的大型电子宣传屏，大部分都是没有画面的滚动文字屏幕，或者是用来播放短视频的室外led的电子屏幕。目前最大的问题就在于，现有的传统社区电子宣传屏在广告投放上只能循环播放广告，广告虽然在屏幕上展示了，但是否有用户观看，展示期间被多少用户观看以及用户观看的时长不得而知，从而无法得知广告的实际宣传效果。


技术实现要素：

3.为了解决上述问题中的至少一个，本发明的一个目的在于提供一种基于智能显示终端的广告计费统计方法。
4.为达到上述目的，本发明采用下述技术方案：
5.一种基于智能显示终端的广告计费统计方法，包括：
6.当智能显示终端上开始播放广告时，开启摄像头进行实时拍摄，摄像头将实时拍摄到的图像经信息传递光纤传送给远端带gpu的服务器；
7.远端带gpu的服务器接收摄像头传送的图像后，将接收到的图像输入训练好的人脸识别模型，输出对该图像的检测到的图像内容；
8.根据所述图像内容，使用多决策评估算法来进行广告计费的评估与计算。
9.在一个具体示例中，所述将接收到的图像输入训练好的人脸识别模型之前，还包括：
10.利用人脸面向智能显示终端与人脸非面向智能显示终端的数据集训练所述人脸识别模型，所述人脸识别模型采用基于卷积神经网络的深度监督学习下的机器学习模型cnn，所述cnn通过结合人脸面向智能显示终端的图像空间的局部感知区域、共享权重和在空间或时间上的降采样来利用数据集包含的局部性特征，优化所述人脸识别模型结构，得到训练好的人脸识别模型。
11.在一个具体示例中，所述基于卷积神经网络的深度监督学习下的机器学习模型cnn结合了高斯混合模型以及非参数估计的建模模型，使得人脸识别模型在不同的色彩空间中建立不同的肤色模型来进行人脸检测，通过提取彩色图像中的面部区域以实现人脸检测，并使用mean-shift方法进行局部搜索实现人脸的检测和跟踪。
12.在一个具体示例中，所述基于卷积神经网络的深度监督学习下的机器学习模型cnn结合了adaboost人脸检测算法，通过多次循环迭代来寻求最优分类器，用弱分类器haar特征中任一特征放在人脸样本上，求出人脸特征值，通过多个分类器的级联得到人脸的量化特征。
13.在一个具体示例中，所述将接收到的图像输入训练好的人脸识别模型之前，还包
括：
14.采用灰度调整、图像滤波和图像尺寸归一化处理摄像头拍摄到的图片。
15.在一个具体示例中，所述人脸识别模型在相邻帧之间做mtcnn onet forward预测来实现跟踪并统计每个人脸面向智能显示终端的时长。
16.在一个具体示例中，所述统计每个人脸面向智能显示终端的时长的间隔大概为100ms-300ms。
17.在一个具体示例中，所述输出对该图像的检测到的图像内容包括：
18.采集到的人脸观看广告的时长、时段以及人群划分。
19.在一个具体示例中，所述多决策评估算法为multiple treatment算法。
20.本发明的有益效果如下：
21.本发明所述技术方案，使用人脸识别模型能够对经过智能显示终端的人群进行人脸识别，并统计真实观看广告的人群群体、广告内容、观看时长等信息，还能够用多决策评估算法计算出真实的广告营销效果。
附图说明
22.下面结合附图对本发明的具体实施方式作进一步详细的说明。
23.图1示出本发明实施例提供的基于智能显示终端的广告计费统计方法的流程图。
24.图2示出本发明实施例提供的人脸识别流程图。
25.图3示出本发明实施例提供的智能显示终端信息采集过程示意图。
具体实施方式
26.为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
27.目前社区用到的大型宣传电子屏，大部分都是没有画面的滚动文字屏幕，或者是用来播放短视频的室外led的电子屏幕。目前最大的问题就在于，现有的传统社区电子宣传屏在广告投放上只能循环播放广告，广告虽然在屏幕上展示了，但是否有用户观看，展示期间被多少用户观看以及用户观看的时长不得而知，从而无法得知广告的实际宣传效果、无法得知上架广告的受众群体信息以及无法得知上架广告的最受欢迎时段。
28.有鉴于此，本发明实施例提供了一种基于智能显示终端的广告计费统计方法，如图1所示，该方法包括：
29.s10、当智能显示终端上开始播放广告时，开启摄像头进行实时拍摄，摄像头将实时拍摄到的图像经信息传递光纤传送给远端带gpu的服务器。
30.在一个具体示例中，智能显示终端上设置有高清摄像头，用于广角拍摄智能显示终端面前一定范围内的图像，与智能显示终端相连接的还包括有信息传递光纤，通过信息传递光纤建立高速信息传输轨道，将智能显示终端拍摄到的图像及时传递给远端带gpu的服务器，远端带gpu的服务器快速对所述图像进行处理，以确保信息的传送与快速处理。
31.s20、远端带gpu的服务器接收摄像头传送的图像后，将接收到的图像输入训练好的人脸识别模型，输出对该图像的检测到的图像内容。
32.在一个具体示例中，本发明实施例提供的基于智能显示终端的广告计费统计方法是基于机器视觉基础、人脸识别技术以及智能算法技术领域的组合，
33.在所述将接收到的图像输入训练好的人脸识别模型之前，首先需要进行人脸识别模型的训练，具体包括：收集人脸面向智能显示终端与人脸非面向智能显示终端的数据集，将该数据集输入到人脸识别模型进行模型的训练。其中，人脸识别模型采用的是基于卷积神经网络的深度监督学习模型cnn(convolutional neural networks)，cnn卷积神经网络能挖掘数据局部特征，提取全局训练特征和分类，其权值共享结构网络使之更类似于生物神经网络；cnn卷积神经网络还通过结合人脸面向智能显示终端的图像空间的局部感知区域、共享权重、在空间或时间上的降采样来充分利用数据本身包含的局部性等特征，优化人脸识别模型结构，保证一定的位移不变性，在训练过程中，需要扩充大量的数据集来提升模型识别的准确度，以得到训练好的人脸识别模型。
34.在一个具体示例中，所述基于卷积神经网络的深度监督学习下的机器学习模型cnn结合了高斯混合模型，利用高斯混合模型在不同颜色空间中建立色彩识别模型来进行人脸检测，并通过提取彩色图像中的面部区域以实现人脸检测时能够处理多种光照的情况，但模型需要在固定摄像机参数的前提下才有效，为了保证遮挡和光照不对人脸识别模型产生影响，基于卷积神经网络的深度监督学习下的机器学习模型cnn还结合了非参数估计的建模模型，利用非参数的核函数概率密度估计法来建立肤色模型，并使用mean-shift方法进行局部搜索实现了人脸的检测跟踪。这一方法提高了人脸的检测速度，对于遮挡和光照也有一定的鲁棒性。
35.在一个具体示例中，所述基于卷积神经网络的深度监督学习下的机器学习模型cnn结合了adaboost人脸检测算法，通过无数次循环迭代来寻求最优分类器，用弱分类器haar特征中任一特征放在人脸样本上，求出人脸特征值，通过多个分类器的级联得到人脸的量化特征，一次来区分人脸和非人脸，haar功能由一些简单黑色白色水平垂直或旋转45
°
的矩形组成。
36.在一个具体示例中，人脸识别流程图如图2所示，首先进行人脸图像的采集与预处理，具体包括：采用灰度调整、图像滤波和图像尺寸归一化处理摄像头拍摄到的图片；然后利用人脸识别模型进行人脸检测，并进行人脸特征提取，然后将人脸面向智能显示终端的人脸进行识别，最后对识别到的人脸进行活体鉴别，再去做后续的跟踪并统计每个人脸面向智能显示终端的时长等过程。
37.s30、根据所述图像内容，使用多决策评估算法来进行广告计费的评估与计算。
38.在一个具体示例中，所述输出对该图像的检测到的图像内容包括：
39.采集到的人脸观看广告的时长、时段以及人群划分。
40.在一个具体示例中，所述多决策评估算法为multiple treatment算法。
41.在一个具体示例中，人脸识别模型训练完成后，摄像头实时检测其拍摄到的图像并进行人脸识别，并实时计算检测到的图像内容。人脸识别模型在相邻帧之间做mtcnn onet forward预测来实现跟踪并统计每个人脸面向智能显示终端的时长，基于硬件性能，统计的时长间隔大概为100ms-300ms。并且记录广告内容及按特定规则来计算营销效果计费。
42.在一个具体示例中，时长累计过程为：按广告个数给每个广告编码，在轮播广告时
识别广告编码，并在识别到有效计费的情况下进行时长累计，并在数据库中进行数据时长，时段，人群等信息的记录。
43.在一个具体示例中，智能显示终端信息采集过程如图3所示，首先户外智能显示终端播放广告，高清摄像头开始采集图像，之后人脸识别模型对图像中人脸对位和追踪，然后裁剪人脸图像，观察人脸关注是否在大屏上，若是，统计该广告内容与人脸信息及广告时长，若否，继续进行高清摄像头的采集图像及之后的过程，直到广告播放停止。
44.本发明实施例提供的基于智能显示终端的广告计费统计方法，使用人脸识别模型能够对经过智能显示终端的人群进行人脸识别，并统计真实观看广告的人群群体、广告内容、观看时长等信息，还能够用多决策评估算法计算出真实的广告营销效果。
45.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。