基于Transformer网络模型的数字标牌广告主题推荐方法

本发明属于计算机自然语言处理，涉及文本分类技术和广告推荐技术，特别是涉及一种基于transformer网络模型的数字标牌广告主题推荐方法。

背景技术：

1、现有的文本分类方法大多使用传统的机器学习算法来对文本数据进行分类，一般需要对输入模型的文本数据进行人工标注，再使用机器学习算法进行分类，常见的传统文本分类方法包括朴素贝叶斯、k近邻(k-nearest neighbor，knn)、支持向量机(supportvector machine，svm)等。特征提取的水平对文本分类效果的影响甚至高于图像分类，而文本分类中的特征工程往往非常耗时且计算成本高。随着深度学习的发展，文本分类的方法逐渐过渡到深度学习模型，深度学习方法通常会使用词嵌入技术将文本转化为向量表示，并使用卷积神经网络(convolutional neural networks，cnn)、循环神经网络(recurrentneural network，rnn)、注意力机制(attention mechanism)等模型来学习文本的特征表示和分类决策。文本卷积神经网络(text convolutional neural networks，textcnn)是最经典的应用于nlp的cnn，在textcnn中，文本首先被表示为一个词嵌入矩阵，其中每一行是一个单词的词向量，然后卷积核在矩阵上进行卷积操作，从而提取局部特征，再通过池化操作将这些特征压缩为全局特征，最后将全局特征传递给全连接层进行分类。textcnn可以自动从文本中提取特征，而且模型结构相对简单，容易训练和优化。虽然cnn能够很好地捕捉文本中的局部信息，但是它无法处理序列中的长期依赖关系。rnn能够处理序列中的长期依赖关系，但是rnn无法实现并行计算。注意力机制可以结合cnn和rnn用于文本分类，更好地捕捉文本中的重要信息。

2、广告推荐算法主要包括基于内容的推荐算法、协同过滤推荐算法和混合推荐算法这三类。基于内容的推荐(content-based recommendation)是一种常见的推荐系统方法，它主要是根据用户对某些物品的喜好，利用这些物品的属性(如描述、标签、关键词等)进行推荐。在冷启动的情况下(即新用户或者新物品)依然可以做出推荐。首先对物品的属性进行特征提取，将其转化为数值化的特征向量表示，然后对用户的偏好进行建模，将其转化为数值化的用户偏好向量表示，并计算用户偏好向量与物品特征向量之间的相似度，最后根据相似度计算结果，推荐与用户偏好相似度较高的物品。协同过滤推荐是一种利用用户历史行为和其他用户行为来预测用户可能感兴趣的产品或服务，并向其进行推荐的方法。其中包括基于用户和基于物品两种不同的协同过滤推荐方式。基于用户的协同过滤是根据用户之间的相似度来进行推荐，而基于物品的协同过滤则是根据产品或服务之间的相似度来进行推荐。混合推荐(hybrid recommender systems)是一种综合多种推荐算法以达到更准确、个性化推荐结果的方法。它结合了不同算法的优点，弥补了单一推荐算法无法解决的问题。混合推荐的实现方式可以基于规则、内容和深度学习等多种技术。

3、数字标牌作为城市广告的重要载体，数字标牌广告的精准投放成为研究的一个热点问题，但是现有数字标牌广告推荐方法中存在位置与主题分离的问题。而且，数字标牌广告主题众多，目前基于深度学习的文本分类模型用于大多数分类任务的准确性较高，但仍然存在许多技术限制，如网络层的深度、正则化问题、网络学习率等。同时在分类任务中，现有传统的softmax模型在处理大型输出词汇表时存在计算复杂度过高的问题，严重影响了深度学习模型进行大型分类任务的效率。

技术实现思路

1、为了克服上述现有技术的不足，本发明提供一种基于transformer网络模型的数字标牌广告主题推荐方法，耦合数字标牌的空间特征及广告主题特征，构建了数字标牌广告主题分类模型和数字标牌广告主题推荐模型，实现数字标牌广告主题分类与推荐。

2、本发明耦合数字标牌的空间特征及广告主题特征，利用广告推荐算法对待布设的数字标牌进行广告主题推荐。本发明在做数字标牌广告主题分类时，基于bert(bidirectional encoder representations from transformers)网络模型与层次softmax(hierarchical softmax)，构建了基于bert的数字标牌广告主题分类模型，通过bert网络模型实现自然语言处理任务，以及使用hierarchical softmax来解决传统softmax在处理大型输出词汇表时存在计算复杂度过高的问题，从而实现数字标牌广告主题分类，并能够提高分类的准确性，从而为更加精确的数字标牌广告主题推荐提供数据基础。

3、本发明的技术方案为：

4、一种基于transformer网络模型的数字标牌广告主题推荐方法，包括如下步骤：

5、第一、构建层次softmax(hierarchical softmax)；

6、第二、利用bert网络模型结合hierarchical softmax构建数字标牌广告主题分类模型；包括：

7、在bert模型的顶部连接一个hierarchical softmax作为分类器，构建数字标牌广告主题分类模型，对数字标牌广告主题进行分类，得到的数字标牌广告主题类别。

8、第三、获取包含空间特征和广告主题特征的数字标牌数据；包括：进行空间格网划分；记录每个格网单元的poi点(point of interest，兴趣点)数量和数字标牌广告主题类别；进行空间连接；将数字标牌广告主题特征数据与poi数据相关联；

9、第四、利用transformer网络模型构建数字标牌广告主题推荐模型，实现数字标牌广告主题推荐。包括：

10、41)将数字标牌的空间特征与广告主题特征建模为序列；数字标牌的空间特征与广告主题特征表示空间特征与广告主题特征之间的依赖关系；

11、序列包括空间特征、广告主题特征以及位置信息；

12、42)构建数字标牌广告主题推荐模型，包括l个有向transformer层；

13、43)将处理后的数字标牌广告空间特征数据和主题数据输入到数字标牌广告主题推荐模型中进行训练；得到训练好的数字标牌广告主题推荐模型；

14、将待布设数字标牌数据输入训练好的数字标牌广告主题推荐模型，即可输出待布设数字标牌的广告主题类型。

15、本发明与现有技术相比，优点在于：

16、1)在进行数字标牌广告主题分类任务时，使用了bert网络模型，bert是基于transformer架构，并从大量无标记数据集中训练得到的深度模型，可以显著提高各项自然语言处理任务的准确率,同时考虑到广告主题类别较多，传统softmax模型在处理大型输出词汇表时计算复杂度过高，因此本发明借鉴优异的bert框架结构，采用hierarchicalsoftmax构建赫夫曼树来减少计算量，能够更加准确高效地对数字标牌广告中的主题进行分类。

17、2)在进行数字标牌广告主题推荐任务时，为解决数字标牌广告主题推荐中存在位置与主题分离的问题，本发明将数字标牌的空间特征与广告主题特征建模为序列，捕获空间特征与广告主题特征之间的依赖关系，使用基于transformer的多标签分类方法构建推荐模型对待布设的数字标牌广告主题进行推荐，能够更加准确高效地对数字标牌广告中的主题进行推荐。