一种基于神经网络算法的图片违规检测方法与终端与流程

本发明涉及计算机技术领域，特别涉及一种基于神经网络算法的图片违规检测方法与终端。

背景技术：

随着移动互联网技术的快速发展，信息接收方式和种类也呈现多样化趋势。其中人们最为直接常用信息传递方式的就包括图片信息。网络中存在形形色色的图片信息，其中的不良信息会给人们带来负面影响，而这些负面影响会随着图片信息的传播而扩大影响范围。所以检测这些图片的信息内容就显得尤为重要了。

但是现有的很多场合，主要是采用人工检验的方式进行检测，耗时耗力，且由于图片量非常巨大，而对图片本身所传达的信息不同的人也存在不同的理解，因此对于图片中图像内容的检测往往会有存在争议的地方，且存在漏检的可能。

技术实现要素：

本发明所要解决的技术问题是：提供一种基于神经网络算法的图片违规检测方法与终端，高效地对图片进行统一标准的检测。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于神经网络算法的图片违规检测方法，包括：

s1、将预设的图文训练集输入神经网络中进行图片内容描述的训练，得到训练好的神经网络；

s2、将待测图片输入训练好的神经网络中，由所述神经网络对所述待测图片进行内容的分析和描述，得到所述待测图片的内容描述语句；

s3、提取所述内容描述语句中的主要成分，对所述主要成分进行同义词搜索，得到由所述主要成分以及所述主要成分的同义词组成的数据集；

s4、遍历所述数据集得到待检词语，在预设的负面词汇数据库中检索所述待检词语，根据所述检索结果判断所述图片是否违规。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种基于神经网络算法的图片违规检测终端，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

s1、将预设的图文训练集输入神经网络中进行图片内容描述的训练，得到训练好的神经网络；

s2、将待测图片输入训练好的神经网络中，由所述神经网络对所述待测图片进行内容的分析和描述，得到所述待测图片的内容描述语句；

s3、提取所述内容描述语句中的主要成分，对所述主要成分进行同义词搜索，得到由所述主要成分以及所述主要成分的同义词组成的数据集；

s4、遍历所述数据集得到待检词语，在预设的负面词汇数据库中检索所述待检词语，根据所述检索结果判断所述图片是否违规。

本发明的有益效果在于：本发明通过神经网络进行图片内容描述的训练，通过训练好的神经网络对图片进行分析得到文字描述，并根据文字描述的主要成分及其同义词在数据库中进行检索，判断是否存在违规内容，能够以统一且严格的标准高效地对图片进行分析检测，判断图片是否存在违规内容，且由计算机进行图片内容的违规检测，不会由于图片的数量巨大造成疲劳导致漏检。

附图说明

图1为本发明实施例的一种基于神经网络算法的图片违规检测方法的流程图；

图2为本发明实施例的一种基于神经网络算法的图片违规检测终端的结构图；

标号说明：

1、一种基于神经网络算法的图片违规检测终端；2、处理器；3、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种基于神经网络算法的图片违规检测方法，包括：

s1、将预设的图文训练集输入神经网络中进行图片内容描述的训练，得到训练好的神经网络；

s2、将待测图片输入训练好的神经网络中，由所述神经网络对所述待测图片进行内容的分析和描述，得到所述待测图片的内容描述语句；

s3、提取所述内容描述语句中的主要成分，对所述主要成分进行同义词搜索，得到由所述主要成分以及所述主要成分的同义词组成的数据集；

s4、遍历所述数据集得到待检词语，在预设的负面词汇数据库中检索所述待检词语，根据所述检索结果判断所述图片是否违规。

从上述描述可知，本发明的有益效果在于：本发明通过神经网络进行图片内容描述的训练，通过训练好的神经网络对图片进行分析得到文字描述，并根据文字描述的主要成分及其同义词在数据库中进行检索，判断是否存在违规内容，能够以统一标准高效地对图片进行分析检测，判断图片是否存在违规内容，且由计算机进行图片内容的违规检测，不会由于图片的数量巨大造成疲劳导致漏检。

进一步地，步骤s3中所述提取所述内容描述语句的主要成分具体为：

使用stanfordparser对所述内容描述语句进行句法分析，得到分析结果；

提取出分析结果中包含的所述内容描述语句的所述主要成分，所述主要成分包括主语、谓语以及宾语。

由上述描述可知，本发明通过stanfordparser对内容描述语句进行句法分析，得到内容描述语句的主要成分，能够快速提炼出内容描述语句的主要内容和语义，使后续的检测更加方便快捷。

进一步地，所述步骤s4具体为：

s41、遍历所述数据集得到待检词语，在预设的负面词汇数据库中检索所述待检词语，若所述负面词汇数据库中存在所述待检词语，则将所述待检词语以及所述待检词语在所述负面词汇数据库中预设的负面值以键值对的方式加入临时数组；若所述负面词汇数据库中不存在所述待检词语，则将所述待检词语以及负面值为0以键值对的方式加入临时数组；

s42、在所述数据集遍历完毕后，对所述临时数组进行归类统计，计算每个所述主要成分及其对应的所述同义词在所述负面词汇数据库中的负面值的负面平均值；

s43、根据每个所述主要成分的所述负面平均值以及成分的预设权重值计算所述内容描述语句的负面评定值，判断所述负面评定值是否大于预设的违规阈值，若是则判定所述图片存在违规，反之不违规。

由上述描述可知，通过预设的负面词汇数据库对主要成分及其同义词进行检索，数据库中预设了存在违规的负面词汇以及度量负面程度的负面值，在对所有主要成分及其同义词进行检索后，能够根据负面值的平均值综合判断主要成分的负面程度，根据综合各个主要成分的负面程度进行判断图片内容是否存在违规，更加标准化、精确化和严格化。

进一步地，所述步骤s3还包括：

s31、对所述主要成分进行解析，得到所述主要成分的音标集合；

所述步骤s41还包括：

s411、遍历所述音标集合得到待检音标，在预设的方言数据库检索所述音标，若所述方言数据库中存在所述待检音标，则将所述待检音标以及所述待检音标在所述方言数据库中预设的负面值以键值对的方式加入临时数组；

所述方言数据库收录有至少包括粤语、闽南语中负面词汇的发音音标，以及对应的负面值；

所述步骤s42具体为：

s42、在所述数据集以及所述音标集合均遍历完毕后，对所述临时数组进行归类统计，计算每个所述主要成分及其对应的所述同义词在所述负面词汇数据库中的负面值的负面平均值。

由上述描述可知，还需要对主要成分的音标进行分析，判断是否存在主要成分的音标与部分方言中的负面词汇的发音相同的情况，若存在则对应记录负面值，并综合词汇的同义词以及词汇本身，用以计算主要成分的负面程度，以进行后续内容描述语句的整体负面程度的计算，更加严格。

进一步地，步骤s1中将预设的图文训练集输入神经网络中进行图片内容描述的训练具体为：

s11、采用区域生成网络对由训练集中选取的图片进行候选区域划分；

s12、将所述候选区域输入卷积神经网络，所述卷积神经网络输出对应所述候选区域的特征向量

y＝σ(∑wixi+b)

其中y表示卷积神经网络输出的特征向量，σ代表激活函数，wi表示神经元间计算的权重，xi表示神经元，b表示权重偏置系数；

将所述特征向量输入svm中进行分类；

s13、使用循环神经网络中的长短时记忆网络对分类后的所述候选区域及候选区域对应的文本进行训练；

s14、提取所述图片的非候选区域，使用循环神经网络中的长短时记忆网络对所述非候选区域即非候选区域对应的文本进行训练；

s15、将所述候选区域、所述非候选区域和对应所述候选区域和所述非候选区域的文本输入到所述长短时记忆网络中进行文字描述训练。

由上述描述可知，通过神经网络进行了目标识别分类以及文字描述的训练，在目标识别训练中进行区域与文本的匹配训练时采用长短时记忆网络进行训练，有别于传统的梯度下降算法，解决了当隐藏层过长，每当一个神经元往后对下一个神经元作用输出时，存在一定的时间差，导致对之前的输出联系不紧密而使训练的内容淡忘的问题。

请参照图2，一种基于神经网络算法的图片违规检测终端，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

s1、将预设的图文训练集输入神经网络中进行图片内容描述的训练，得到训练好的神经网络；

s2、将待测图片输入训练好的神经网络中，由所述神经网络对所述待测图片进行内容的分析和描述，得到所述待测图片的内容描述语句；

s3、提取所述内容描述语句中的主要成分，对所述主要成分进行同义词搜索，得到由所述主要成分以及所述主要成分的同义词组成的数据集；

s4、遍历所述数据集得到待检词语，在预设的负面词汇数据库中检索所述待检词语，根据所述检索结果判断所述图片是否违规。

从上述描述可知，本发明的有益效果在于：本发明通过神经网络进行图片内容描述的训练，通过训练好的神经网络对图片进行分析得到文字描述，并根据文字描述的主要成分及其同义词在数据库中进行检索，判断是否存在违规内容，能够以统一标准高效地对图片进行分析检测，判断图片是否存在违规内容，且由计算机进行图片内容的违规检测，不会由于图片的数量巨大造成疲劳导致漏检。

进一步地，步骤s3中所述提取所述内容描述语句的主要成分具体为：

使用stanfordparser对所述内容描述语句进行句法分析，得到分析结果；

提取出分析结果中包含的所述内容描述语句的所述主要成分，所述主要成分包括主语、谓语以及宾语。

由上述描述可知，本发明通过stanfordparser对内容描述语句进行句法分析，得到内容描述语句的主要成分，能够快速提炼出内容描述语句的主要内容和语义，使后续的检测更加方便快捷。

进一步地，所述步骤s4具体为：

s41、遍历所述数据集得到待检词语，在预设的负面词汇数据库中检索所述待检词语，若所述负面词汇数据库中存在所述待检词语，则将所述待检词语以及所述待检词语在所述负面词汇数据库中预设的负面值以键值对的方式加入临时数组；若所述负面词汇数据库中不存在所述待检词语，则将所述待检词语以及负面值为0以键值对的方式加入临时数组；

s42、在所述数据集遍历完毕后，对所述临时数组进行归类统计，计算每个所述主要成分及其对应的所述同义词在所述负面词汇数据库中的负面值的负面平均值；

s43、根据每个所述主要成分的所述负面平均值以及成分的预设权重值计算所述内容描述语句的负面评定值，判断所述负面评定值是否大于预设的违规阈值，若是则判定所述图片存在违规，反之不违规。

由上述描述可知，通过预设的负面词汇数据库对主要成分及其同义词进行检索，数据库中预设了存在违规的负面词汇以及度量负面程度的负面值，在对所有主要成分及其同义词进行检索后，能够根据负面值的平均值综合判断主要成分的负面程度，根据综合各个主要成分的负面程度进行判断图片内容是否存在违规，更加标准化、精确化和严格化。

进一步地，所述处理器执行所述计算机程序时所述步骤s3还包括：

s31、对所述主要成分进行解析，得到所述主要成分的音标集合；

所述步骤s41还包括：

s411、遍历所述音标集合得到待检音标，在预设的方言数据库检索所述音标，若所述方言数据库中存在所述待检音标，则将所述待检音标以及所述待检音标在所述方言数据库中预设的负面值以键值对的方式加入临时数组；

所述方言数据库收录有至少包括粤语、闽南语中负面词汇的发音音标，以及对应的负面值；

所述步骤s42具体为：

s42、在所述数据集以及所述音标集合均遍历完毕后，对所述临时数组进行归类统计，计算每个所述主要成分及其对应的所述同义词在所述负面词汇数据库中的负面值的负面平均值。

由上述描述可知，还需要对主要成分的音标进行分析，判断是否存在主要成分的音标与部分方言中的负面词汇的发音相同的情况，若存在则对应记录负面值，并综合词汇的同义词以及词汇本身，用以计算主要成分的负面程度，以进行后续内容描述语句的整体负面程度的计算，更加严格。

进一步地，步骤s1中将预设的图文训练集输入神经网络中进行图片内容描述的训练具体为：

s11、采用区域生成网络对由训练集中选取的图片进行候选区域划分；

s12、将所述候选区域输入卷积神经网络，所述卷积神经网络输出对应所述候选区域的特征向量

y＝σ(∑wixi+b)

其中y表示卷积神经网络输出的特征向量，σ代表激活函数，wi表示神经元间计算的权重，xi表示神经元，b表示权重偏置系数；

将所述特征向量输入svm中进行分类；

s13、使用循环神经网络中的长短时记忆网络对分类后的所述候选区域及候选区域对应的文本进行训练；

s14、提取所述图片的非候选区域，使用循环神经网络中的长短时记忆网络对所述非候选区域即非候选区域对应的文本进行训练；

s15、将所述候选区域、所述非候选区域和对应所述候选区域和所述非候选区域的文本输入到所述长短时记忆网络中进行文字描述训练。

由上述描述可知，通过神经网络进行了目标识别分类以及文字描述的训练，在目标识别训练中进行区域与文本的匹配训练时采用长短时记忆网络进行训练，有别于传统的梯度下降算法，解决了当隐藏层过长，每当一个神经元往后对下一个神经元作用输出时，存在一定的时间差，导致对之前的输出联系不紧密而使训练的内容淡忘的问题。

请参照图1，本发明的实施例一为：

一种基于神经网络算法的图片违规检测方法，包括：

s1、将预设的图文训练集输入神经网络中进行图片内容描述的训练，得到训练好的神经网络。

步骤s1中将预设的图文训练集输入神经网络中进行图片内容描述的训练具体为：

s11、采用区域生成网络对由训练集中选取的图片进行候选区域划分。

本实施例中，区域生成网络对图片上想要提取的部分标注信息框，并且返回评分，通过返回的评分值和预设的阈值进行比较判定，大于等于阈值的即为符合要求的目标候选区。

s12、将所述候选区域输入卷积神经网络，所述卷积神经网络输出对应所述候选区域的特征向量

y＝σ(∑wixi+b)

其中y表示卷积神经网络输出的特征向量，σ代表激活函数，wi表示神经元间计算的权重，xi表示神经元，b表示权重偏置系数；

将所述特征向量输入svm中进行分类。

本实施例中，在卷积神经网络的每个节点前增加权重及权重偏置系数，输入层所输入的候选区域的信息通过对应权重及权重偏置系数后传导至隐藏层，隐藏层再通过对应权重及权重偏置系数后输出。为卷积神经网络添加了权重和权重偏置系数，权重和权重偏置系数可以使我们清楚的了解哪些部分更重要，这样分类出来的目标可以明显的进行区分，使得分类更加有成效。所述卷积神经网络的输出的计算公式为：

y＝σ(∑wixi+b)

其中y表示整个网络的输出，σ代表激活函数，wi表示神经元间计算的权重，xi表示神经元，b表示权重偏置系数。在整个卷积神经网络中，采用前向和反向的传播算法。每一个输入节点都对应第一层隐藏层中的一个节点，进而达到层层连接，每个节点前都加入了一个权重，这样能有效的增加我们所关注的部分的比重，再在每一层前添加权重偏置系数，使得最终得到的目标分类更为准确。

s13、使用循环神经网络中的长短时记忆网络对分类后的所述候选区域及候选区域对应的文本进行训练。

本实施例中，使用循环神经网络的长短时记忆网络对文本及候选区信息进行训练，传统的循环神经网络采用了梯度下降的算法，是按照时间展开的，也就是说当隐藏层过于长时，每当一个神经元往后对下一个神经元作用输出时，都会有一定的时间差，这样会对之前的输出联系不紧密而导致训练的内容淡忘，为了解决这一问题，我们采用了长短时记忆网络，它的作用是可以使训练过程中较早的数据不被遗忘。

s14、提取所述图片的非候选区域，使用循环神经网络中的长短时记忆网络对所述非候选区域即非候选区域对应的文本进行训练；

s15、将所述候选区域、所述非候选区域和对应所述候选区域和所述非候选区域的文本输入到所述长短时记忆网络中进行文字描述训练。

本实施例中，生成文字描述的过程由文本对齐和语言生成两部分算法结合训练而成。文本对齐部分在分别对语言模态和图像模态提取特征并向量化处理后，在全连接层进行向量的特征融合，得到图片情感类别区域和文本字段的对应向量，并生成从图像区域到文本字段的对应块，由两者的契合度得分建立损失函数的回归方程，最后应用梯度下降法回归迭代更新最小化目标函数并反向更新整个网路的参数，以得到最优化的图片文本匹配区域。完成目标与文本字段的对齐工作后，语言生成部分将图片向量与对应文本向量的集合对输入到语言生成网络中，将各个文本字段进行排序后组合并排列出每个字段的位置，得到最终的描述语句。

例如以图像向量和对应的文本字段特征向量作为输入，这里用{x1,x2,…xn}代表文本向量，xt则代表第t个文本字段的特征向量，输入的图像向量由卷积神经网络提取得到，可以得到各个层级和对应输出之间的表达式为

bv＝whi·vec

ht＝σt[whxxt+whhht-1+bh+(t＝1)⊙bv]

yt＝softmax(wohht+bo)

上式中，需要学习获得的参数包括whi、输入层权重whx、隐含层权重whh、输出层权重who、隐含层偏置bh和输出层偏置bo，由上一时刻带有之前信息的输出ht-1加上当前时刻的输入信息xt，可以得到当前时刻的预测输出yt，并加上特定偏置量进行调整，以此类推，得到每一时刻对应上一时刻的预测字段，直到出现结束标记，即图像文本集合对都已用完，由此完成整个的语言生成过程。生成语言描述过程中，输入集合里会包含有候选区及非候选区，并将其检测结果作为文本字段向量输入，最终体现在语言描述中。

文本对齐模型中，对齐过程中给出每个区域的匹配字段得分，图像区域与文本字段的匹配程度用不同得分表示，得分越高则表示越匹配。

s2、将待测图片输入训练好的神经网络中，由所述神经网络对所述待测图片进行内容的分析和描述，得到所述待测图片的内容描述语句；

s3、提取所述内容描述语句中的主要成分，对所述主要成分进行同义词搜索，得到由所述主要成分以及所述主要成分的同义词组成的数据集；

步骤s3中所述提取所述内容描述语句的主要成分具体为：

使用stanfordparser对所述内容描述语句进行句法分析，得到分析结果；

提取出分析结果中包含的所述内容描述语句的所述主要成分，所述主要成分包括主语、谓语以及宾语；

所述步骤s3还包括：

s31、对所述主要成分进行解析，得到所述主要成分的音标集合。

本实施例中采用stanfordparser对内容描述语句进行句法分析，stanfordparser是一种开源句法分析器，其既是一个高度优化的概率上下文无关文法和词汇化依存分析器，也是一个词汇化上下文无关文法分析器，基于权威可靠的宾州树库(penntreebank)作为分析器的训练数据。

s4、遍历所述数据集得到待检词语，在预设的负面词汇数据库中检索所述待检词语，根据所述检索结果判断所述图片是否违规；

所述步骤s4具体为：

s41、遍历所述数据集得到待检词语，在预设的负面词汇数据库中检索所述待检词语，若所述负面词汇数据库中存在所述待检词语，则将所述待检词语以及所述待检词语在所述负面词汇数据库中预设的负面值以键值对的方式加入临时数组；若所述负面词汇数据库中不存在所述待检词语，则将所述待检词语以及负面值为0以键值对的方式加入临时数组；

所述步骤s41还包括：

s411、遍历所述音标集合得到待检音标，在预设的方言数据库检索所述音标，若所述方言数据库中存在所述待检音标，则将所述待检音标以及所述待检音标在所述方言数据库中预设的负面值以键值对的方式加入临时数组；

所述方言数据库收录有至少包括粤语、闽南语中负面词汇的发音音标以及对应的负面值；

其中，对于方言来说，在不同的方言中有其对应的负面词汇，这些负面词汇在图片中通常以音译的形式存在，而若采用普通话的字面去理解，则很难判断出其是负面词汇，因此，增加方言数据库，对现有方言中的负面词汇的发音音标进行记录，在进行图片检测时以判断是否其为方言的负面词汇的音译。

s42、在所述数据集遍历完毕后，对所述临时数组进行归类统计，计算每个所述主要成分及其对应的所述同义词在所述负面词汇数据库中的负面值的负面平均值；

所述步骤s42具体为：

s42、在所述数据集以及所述音标集合均遍历完毕后，对所述临时数组进行归类统计，计算每个所述主要成分及其对应的所述同义词在所述负面词汇数据库中的负面值的负面平均值；

s43、根据每个所述主要成分的所述负面平均值以及成分的预设权重值计算所述内容描述语句的负面评定值，判断所述负面评定值是否大于预设的违规阈值，若是则判定所述图片存在违规，反之不违规。

本实施例中，在得到内容描述语句的主要成分后，对主要成分进行同义词的检索和音标分析，并生成数据集和音标集合，分别遍历所述数据集和音标集合，并分别代入负面词汇数据库和方言数据库中进行检索，根据检索结果和检索结果的负面值形成键值对并进行存储得到临时数组。而后统计该临时数组，根据主要成分进行区分平均以及权重计算，得到内容描述语句整体的负面评定值，并根据负面评定值是否超过预设的阈值来判断图片内容是否违规。

请参照图2，本发明的实施例二为：

一种基于神经网络算法的图片违规检测终端，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上实施例一中的步骤。

综上所述，本发明提供的一种基于神经网络算法的图片违规检测方法与终端，通过神经网络进行图片内容描述的训练，通过训练好的神经网络对图片进行分析得到文字描述，并根据文字描述的主要成分及其同义词在数据库中进行检索，判断是否存在违规内容，能够以统一且严格的标准高效地对图片进行分析检测，判断图片是否存在违规内容，且由计算机进行图片内容的违规检测，不会由于图片的数量巨大造成疲劳导致漏检；同时，仅对主要成分进行分析，加快分析进程，提高效率；通过对主要成分的近义词乃至方言谐音均进行分析，保证检测的严格程度，并通过主要成分进行权重计算，能够更综合地对图片的内容进行负面程度的评定。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。