本发明涉及计算机视觉技术领域,特别涉及一种基于神经网络的信息分析方法及模型。
背景技术:
随着互联网的快速发展,人们接收到的信息也呈指数化增长,信息接收方式和种类也呈现多样化趋势,其中最为直接的就是图片信息,但存在一定的弊端性,网络中存在形形色色的图片信息,其中的不良信息会给人们带来负面影响,这些东西的传播会对我们造成影响。所以检测这些图片的信息内容就显得尤为重要了。
授权公告号cn103020651b的发明公开了一种微博图片敏感信息检测方法,包括:建立敏感词库、字体库和颜色库,接收n张待检测微博图片,创建敏感信息列表,遍历检测微博图片是否含敏感信息,根据当前微博图片大小和敏感词库、字体库和颜色库生成对应于该微博图片的敏感信息图片库,并遍历与该微博图片进行匹配,根据微博图片上遍历位置的图像块与敏感信息图片的匹配度中的最大值判定是否存在敏感信息,并将匹配信息存入敏感信息列表中。
现有技术主要对图片的文字信息进行检测,而对图片本身所传达的信息不能进行有效分析,对于图片中图像内容的检测无能为力,因此存在漏检的可能。
技术实现要素:
针对现有技术不能对图片中图像信息进行分析检测的问题,本发明提供了一种基于神经网络的信息分析方法及模型,采用深度学习的方式对大量图片进行学习处理,能够有效的提取到图片中的信息,再采用文字对此进行对比或描述,这样就能够及时了解图片是否对包含不良因素。
以下是本发明的技术方案。
一种基于神经网络的信息分析方法,包括以下步骤:s01:对图片进行划分及候选区提取;s02:运用卷积神经网络针对提取的图片候选区进行识别分类;s03:使用循环神经网络将文本与分类后的候选区信息进行匹配;s04:生成对图片的文字描述。
作为优选,所述步骤s01的具体过程包括:采用rpn网络对图片进行划分,对图片上想要提取的部分标注信息框,并且返回评分,通过返回的评分值和预设的阈值进行比较判定,大于等于阈值的即为符合要求的目标候选区。
作为优选,所述步骤s02的具体过程包括:在卷积神经网络的每个节点前增加权重及权重偏置系数,输入层所输入的候选区信息通过对应权重及权重偏置系数后传导至隐藏层,隐藏层再通过对应权重及权重偏置系数后输出。为卷积神经网络添加了权重和权重偏置系数,权重和权重偏置系数可以使我们清楚的了解哪些情况更严重,这样分类出来的目标可以明显的区分出哪些目标是更加不利于我们的,使得分类更加有成效。
作为优选,所述步骤s03的具体过程包括:使用循环神经网络的长短时记忆网络对文本及候选区信息进行训练,并用于执行文本与候选区信息的匹配。传统的循环神经网络采用了梯度下降的算法,此网络是按照时间展开的,也就是说当隐藏层过于长时,每当一个神经元往后对下一个神经元作用输出时,都会有一定的时间差,这样会对之前的输出联系不紧密而导致训练的内容所淡忘,为了解决这一问题,引用长短时记忆网络,它的作用是可以使训练过程中较早的数据不被遗忘。
作为优选,所述步骤s04的具体过程包括:通过rcnn网络对图片中的非候选区部分进行提取,并再次执行步骤s03,然后集合候选区及非候选区的信息及文本,生成文字描述。运用循环神经网络将多组图片中不同的区域以及其对应的文字进行最终的学习训练,并输出以候选区信息加非候选区信息的形式来描述这张图片所包含的内容。
作为优选,所述卷积神经网络输出计算公式为:
y=σ(∑wixi+b)
其中y表示整个网络的输出,σ代表激活函数,wi表示神经元间计算的权重,xi表示神经元,b表示权重偏置系数。在整个卷积神经网络中,采用前向和反向的传播算法。每一个输入节点都对应第一层隐藏层中的一个节点,进而达到层层连接,每个节点前都加入了一个权重,这样能有效的增加我们所关注的部分的比重,再在每一层前添加权重偏置系数,使得最终得到的目标分类更为准确。
本技术方案还包括由上述方法构成的一种基于神经网络的信息分析模型。
本发明的实质性效果包括:适用范围广,检测角度和方式完善,能够输出直观文字以表达图片信息,加快对图片信息的获取,提高检测准确度。
具体实施方式
以下结合具体实施例对本技术方案作进一步阐述。
实施例:
一种基于神经网络的信息分析方法及模型,包括以下步骤:s01:对图片进行划分及候选区提取;步骤s01的具体过程包括:采用rpn网络对图片进行划分,对图片上想要提取的部分标注信息框,并且返回评分,通过返回的评分值和预设的阈值进行比较判定,大于等于阈值的即为符合要求的目标候选区。
s02:运用卷积神经网络针对提取的图片候选区进行识别分类;步骤s02的具体过程包括:在卷积神经网络的每个节点前增加权重及权重偏置系数,输入层所输入的候选区信息通过对应权重及权重偏置系数后传导至隐藏层,隐藏层再通过对应权重及权重偏置系数后输出。为卷积神经网络添加了权重和权重偏置系数,权重和权重偏置系数可以使我们清楚的了解哪些情况更严重,这样分类出来的目标可以明显的区分出哪些目标是更加不利于我们的,使得分类更加有成效。
所述卷积神经网络输出计算公式为:
y=σ(∑wixi+b)
其中y表示整个网络的输出,σ代表激活函数,wi表示神经元间计算的权重,xi表示神经元,b表示权重偏置系数。在整个卷积神经网络中,采用前向和反向的传播算法。每一个输入节点都对应第一层隐藏层中的一个节点,进而达到层层连接,每个节点前都加入了一个权重,这样能有效的增加我们所关注的部分的比重,再在每一层前添加权重偏置系数,使得最终得到的目标分类更为准确。
例如,用x1,···,xn表示网络的输入层,用h1,···,hn表示网络的隐藏层,用y表示最终的输出结果,其中每层最后+1神经元表示偏置神经元,在算法计算中用b表示偏置量。为方便计算,我们只计算输入层的前几个神经元,由w表示从输入层到隐藏层的权值,并且用h1,h2,h3分别表示每一层之间的输出,则对于隐藏层h1可以得到它对应的输出为:
在上式中,每个h系数代表每层到下一层的输出,即上式中左边的输出,w代表神经元间计算输出的权值系数,在这里我们定义
上面两个式子中的参数与前者无异,公式构建过程中省略了其他隐藏层,只分析讨论了每层前三个神经元的参数传递过程,由上述神经元传递公式可以导出最后一层输出层y的表达公式为:
将上述公式进行扩展化处理,由简单的神经网络结构向复杂的多层神经网络结构扩展,设第l-1层有i个神经元,第l层有j个神经元,那么对l层上的每一层可以得到其输出表达式为:
s03:使用循环神经网络将文本与分类后的候选区信息进行匹配;步骤s03的具体过程包括:使用循环神经网络的长短时记忆网络对文本及候选区信息进行训练,并用于执行文本与候选区信息的匹配。传统的循环神经网络采用了梯度下降的算法,此网络是按照时间展开的,也就是说当隐藏层过于长时,每当一个神经元往后对下一个神经元作用输出时,都会有一定的时间差,这样会对之前的输出联系不紧密而导致训练的内容所淡忘,为了解决这一问题,引用长短时记忆网络,它的作用是可以使训练过程中较早的数据不被遗忘。
s04:生成对图片的文字描述。步骤s04的具体过程包括:通过rcnn网络对图片中的非候选区部分进行提取,并再次执行步骤s03,然后集合候选区及非候选区的信息及文本,生成文字描述。运用循环神经网络将多组图片中不同的区域以及其对应的文字进行最终的学习训练,并输出以候选区信息加非候选区信息的形式来描述这张图片所包含的内容。
生成文字描述的过程由文本对齐和语言生成两部分算法结合训练而成,分别对语言模态和图像模态提取特征并向量化处理后,在全连接层进行向量的特征融合,得到图片情感类别区域和文本字段的对应向量,并生成从图像区域到文本字段的对应块,由两者的契合度得分建立损失函数的回归方程,最后应用梯度下降法回归迭代更新最小化目标函数并反向更新整个网路的参数,以得到最优化的图片文本匹配区域。完成目标与文本字段的对齐工作后,将图片向量与对应文本向量的集合对输入到语言生成网络中,将各个文本字段进行排序后组合并排列出每个字段的位置,得到最终的描述语句。
例如以图像向量和对应的文本字段特征向量作为输入,这里用{x1,x2,…xn}代表文本向量,xt则代表第t个文本字段的特征向量,输入的图像向量由步骤s02得到,从而可以得到各个层级和对应输出之间的表达式为
bv=whi·vec
ht=σt[whxxt+whhht-1+bh+(t=1)⊙bv]
yt=softmax(wohht+bo)
上式中,需要学习获得的参数包括whi,whx,whh,woh,bh和bo,由上一时刻带有之前信息的输出ht-1加上当前时刻的输入信息xt,可以得到当前时刻的预测输出,这里用yt表示,并加上特定偏置量进行调整,以此类推,得到每一时刻对应上一时刻的预测字段,直到出现结束标记,即图像文本集合对都已用完,由此完成整个的语言生成过程。生成语言描述过程中,输入集合里会包含有候选区及非候选区并将其检测结果作为文本字段向量输入,最终体现在语言描述中。
文本对齐模型中,对齐过程中给出每个区域的匹配字段得分,图像区域与文本字段的匹配程度用不同得分表示,得分越高则表示越匹配,文本对其算法过程,我们用得到最终的匹配得分公式。
上式即表示每个文本字段只与最匹配的图像区域对齐,即和匹配得分最高的图像区域对齐,得到最终的结构化损失函数为
在损失函数公式中,将图像区域对应匹配得分最高的文本字段与图像区域对应的真实标签在损失层进行局部对比,使得slk和skl差距尽量小,使得图像区域与文本字段之间的匹配得分最高。损失层中匹配区域与其真实标签局部对比的过程,计算得到它们之间的向量距离差值作为损失函数的输入项,最小化损失函数并进行模型的优化与网络参数的更新。
最后,通过随机梯度下降法来最小化损失函数完成对整个网络的学习训练和参数优化,得到最终的分析模型。
应当说明的是,该具体实施例仅用于对技术方案的进一步阐述,不用于限定该技术方案的范围,任何基于此技术方案的修改、等同替换和改进等都应视为在本发明的保护范围内。