基于图像识别的卷烟陈列防作弊检测方法及模型训练方法与流程

1.本发明涉及图像识别技术领域，尤其涉及一种基于图像识别的卷烟陈列防作弊检测方法及模型训练方法。


背景技术：

2.随着社会的发展和进步，卷烟消费支出和消费结构仍处于上升趋势。在卷烟生产和销售中，强调卷烟专卖管理，采取有效措施，做好区域卷烟销售活动对于推动卷烟行业发展至关重要。
3.作为卷烟销售活动的一种，各大卷烟公司为提高自家生产的卷烟的销量，推出来拍照获利活动，即针对线下门店，将他们需要销售的卷烟摆放在售烟柜，再将这样的场景拍照上传就可以获得奖励。然而有些人为了持续薅羊毛，发现不将卷烟摆在售烟柜里，而是摆在桌子或者板凳上，又或者摆在地上等方式也可以通过审核，这样的图片被称为摆拍图片。这些行为不但没有提高卷烟公司关注的自家生产的卷烟的销量，还让卷烟公司损失了巨额的费用，造成严重损失。
4.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：目前没有针对卷烟陈列图像是否摆拍的自动化审查手段，有些人根据该漏洞在卷烟拍照获利活动不当得利。


技术实现要素：

5.本发明的目的在于提供一种基于图像识别的卷烟陈列防作弊检测方法及模型训练方法，以解决现有技术中存在的没有针对卷烟陈列图像是否摆拍的自动化审查手段，有些人根据该漏洞在卷烟拍照获利活动不当得利的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
6.为实现上述目的，本发明提供了以下技术方案：本发明提供了一种基于图像识别的卷烟陈列防作弊检测方法，包括步骤：s100：获取卷烟陈列图像，对所述卷烟陈列图像进行预处理，得到预识别图像；s200：将所述预识别图像送入卷烟陈列防作弊模型中进行识别，得到所述预识别图像的摆拍概率；s300：将所述摆拍概率与设定阈值进行比较，输出识别结果。优选的，所述s300步骤中，若所述摆拍概率大于所述设定阈值，所述预识别图像为非摆拍图像；若所述摆拍概率小于所述设定阈值，所述预识别图像为摆拍图像。
7.优选的，所述s100步骤中，预处理的过程包括：s110：将所述卷烟陈列图像统一缩放到224*224的尺寸；s120：对统一尺寸后的图片进行数据增强处理；所述数据增强处理包括上下翻转、左右翻转、高斯模糊和旋转中的一种或多种。
8.本发明还提供了一种基于图像识别的卷烟陈列防作弊模型训练方法，所述卷烟陈
列防作弊检测方法通过所述训练方法得到所述卷烟陈列防作弊模型，包括步骤：s10：收集多张卷烟训练图像，对所述卷烟训练图像进行分类，后进行预处理，得到预检图像和标签概率；s20：将所述预检图像送入初始识别模型中进行训练，得到所述预检图像为摆拍图像的预测概率；s30：将所述标签概率、预测概率送入损失函数中计算损失，该损失通过反向传播算法更新所述初始识别模型的参数；s40：所述参数更新完成后，得到参数矩阵，将所述参数矩阵加载进所述初始识别模型，得到所述卷烟陈列防作弊模型。
9.优选的，所述损失函数的计算公式为：；其中，l为损失，n为总样本数，yi为第i个样本的所述标签概率，pi为第i个样本的所述预测概率。
10.优选的，所述s10步骤中，对所述卷烟训练图像进行分类，具体包括：将所述卷烟训练图像分成三个样本集；所述样本集包括摆拍样本集、非摆拍样本集和存疑摆拍样本集；所述存疑摆拍样本集不进行预处理。
11.优选的，所述步骤s10中，预处理的过程包括：s11：将所述摆拍样本集、非摆拍样本集的图像统一缩放到224*224的尺寸；s12：对统一尺寸后的图片进行数据增强处理；所述数据增强处理包括上下翻转、左右翻转、高斯模糊和旋转中的一种或多种；s13：为数据增强处理后的摆拍样本集图像、非摆拍样本集图像设置标签；s14：将所述摆拍样本集图像的标签概率赋值为0.0001，所述非摆拍样本集图像的标签概率赋值为0.9999；s15：将设置有所述标签、标签概率的样本集图像输出为所述预检图像。
12.优选的，所述卷烟陈列防作弊模型包括获取模块、预处理模块、特征提取模块和识别模块；所述获取模块、预处理模块、特征提取模块、识别模块通信连接。
13.优选的，所述获取模块，采集用户上传的卷烟陈列待识别图像；所述预处理模块，对所述卷烟陈列待识别图像进行处理，得到目标图像；所述特征提取模块，对所述目标图像进行特征提取，得到目标特征向量；所述识别模块，将所述目标特征向量送入全连接神经网络，得到一个输出，该输出通过sigmoid函数进行映射，得到摆拍概率。
14.优选的，所述特征提取模块采用了resnet算法。
15.实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：本发明对摆拍图像和非摆拍图像进行严格训练，构建了能够判断卷烟陈列图像是否为摆拍图像的模型。将检测图像通过模型识别输出的摆拍概率与设定阈值进行比较，若大于该设定阈值，则该检测图像为非摆拍图像；若小于该设定阈值，则该检测图像为摆拍图像。本发明能够判断卷烟陈列图像是否为摆拍图像，限制有些人通过卷烟拍照获利活动不当得利。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：图1是本发明实施例一的方法流程图；图2是本发明实施例一的预处理流程图；图3是本发明实施例二的方法流程图；图4是本发明实施例二的预处理流程图；图5是本发明实施例二的模型结构示意图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。
18.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
19.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。
20.实施例一：如图1所示，本发明提供了一种基于图像识别的卷烟陈列防作弊检测方法，包括步骤：s100：获取卷烟陈列图像，对卷烟陈列图像进行预处理，得到预识别图像；s200：将预识别图像送入卷烟陈列防作弊模型中进行识别，得到预识别图像的摆拍概率；s300：将摆拍概率与设定阈值进行比较，输出识别结果。具体的，卷烟陈列图像由客户端上传，卷烟公司对卷烟陈列图像进行收集。一般情况下，由于不同用户上传的卷烟陈列图像不同，为了方便对图像的识别和管控，需要对卷烟陈列图像进行预处理，将它们设置成同一尺寸进行训练和识别。需要说明的是，卷烟陈列防作弊模型针对每一输入的预识别图像均输出一个摆拍概率。根据摆拍概率与设定阈值的比较，能够判断该预识别图像是否为摆拍图像。本发明对摆
拍图像和非摆拍图像进行严格训练，构建了能够判断卷烟陈列图像是否为摆拍图像的模型。将检测图像通过模型识别输出的摆拍概率与设置的设定阈值作比较，若大于该设定阈值，则该检测图像为非摆拍图像；若小于该设定阈值，则该检测图像为摆拍图像。本发明能够判断卷烟陈列图像是否为摆拍图像，限制有些人通过卷烟拍照获利活动不当得利。作为可选的实施方式，s300步骤中，若摆拍概率大于设定阈值，预识别图像为非摆拍图像；若摆拍概率小于设定阈值，预识别图像为摆拍图像。具体的，本实施例中所使用的设定阈值为0.2，在实际场景中，还是存在有大量边界模糊，分不清是摆拍还是非摆拍的图像。如果希望对图像的摆拍识别更严格一点，可以将设定阈值调高，那么很多边界模糊的样本就会被归类为摆拍。
21.作为可选的实施方式，如图2所示，s100步骤中，预处理的过程包括：s110：将卷烟陈列图像统一缩放到224*224的尺寸；s120：对统一尺寸后的图片进行数据增强处理；数据增强处理包括上下翻转、左右翻转、高斯模糊和旋转中的一种或多种。具体的，对于图像分类模型而言，需要对图像进行变换。其中，图像从大分辨率降低到小分辨率，降低倍数通常是2的指数次方，所以图像的输入一定是7*2的指数次方。以imagenet为代表的大多数分类数据集，图像的长宽在300分辨率左右，224*224的尺寸是最适用于对图像分类处理的尺寸。数据增强针对给定图像的应用场合，能够有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。实施例中对图像进行的数据增强处理，包括上下翻转、左右翻转、高斯模糊和旋转中的一种或多种。其中，对图像进行翻转、高斯模糊和旋转都是为了强调卷烟陈列图像的部分特征，加强售烟柜与卷烟的边界，更利于对图像是否摆拍进行判断。
22.实施例二：如图3所示，本发明提供了一种基于图像识别的卷烟陈列防作弊模型训练方法，卷烟陈列防作弊检测方法根据训练方法得到卷烟陈列防作弊模型，包括步骤：s10：收集多张卷烟训练图像，对卷烟训练图像进行分类，后进行预处理，得到预检图像和标签概率；s20：将预检图像送入初始识别模型中进行训练，得到预检图像为摆拍图像的预测概率；s30：将标签概率、预测概率送入损失函数中计算损失，该损失通过反向传播算法更新初始识别模型的参数；s40：参数更新完成后，得到参数矩阵，将参数矩阵加载进初始识别模型，得到卷烟陈列防作弊模型。具体的，训练模型需要大量的训练样本进行训练，本实施例中所使用的卷烟训练图像为3万张。卷烟陈列防作弊模型训练方法对卷烟摆拍图像进行分类，每一类别都有对应的标签。将摆拍样本集与非摆拍样本集进行预处理，得到预检图像，且每一预检图像都具备有标签和对应的标签概率。需要说明的是，预检图像根据所属类别与对应类别的标签概率相匹配。参数矩阵为本领域的专有名词，可以理解为利用大量图片和标签对初始网络模型进行训练，收敛后得到最终网络模型。
23.卷烟陈列防作弊模型的训练过程，也是神经网络的训练过程。卷烟陈列防作弊模型是一种基于resnet改进的模型，内置有backbone神经网络、全连接神经网络和sigmoid函数。预检图像在输入初始识别模型时，能够输出一个预测概率，但此时的模型识别正确率还不高，需要对权重进行不断调整。将预测概率和标签概率带入损失函数中，损失通过反向传播算法更新的参数即为上一级神经网络的新权重。
24.backbone神经网络为resnet网络的骨干神经网络，一般用于对图像进行特征提取。全连接神经网络是一种连接方式较为简单的人工神经网络结构，属于前馈神经网络的一种，主要由输入层、隐藏层和输出层构成，并且在每个隐藏层中可以有多个神经元。其中，输入层仅接收外界的输入，不进行任何函数处理，所以输入层的神经元个数往往和输入的特征数量相同，隐藏层和输出层神经元对信号进行加工处理，最终结果由输出层神经元输出。根据隐藏层的数量可以分为单隐藏层mlp和多隐藏层mlp。mlp网络是可以应用于几乎所有任务的多功能学习方法，包括分类、回归，甚至是无监督学习。
25.sigmoid函数也叫logistic函数，优点为平滑、易于求导，用于隐层神经元输出，取值范围为(0,1)。它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。针对本实施例中，识别图像是否摆拍图像这种典型的二分类模型训练，sigmoid函数具备有明显优势。
26.作为可选的实施方式，损失函数的计算公式为：；其中，l为损失，n为总样本数，yi为第i个样本的标签概率，pi为第i个样本的预测概率。具体的，将每一预检图像中的标签概率和预测概率带入该损失函数中，就能算出该预检图像的损失值，即实际值与预测值之差，根据损失值的大小，能够对模型的预测性能进行判断。
27.作为可选的实施方式，s10步骤中，对卷烟训练图像进行分类，具体包括：将卷烟训练图像分成三个样本集；样本集包括摆拍样本集、非摆拍样本集和存疑摆拍样本集；存疑摆拍样本集不进行预处理。具体的，卷烟陈列防作弊模型训练方法中，在筛选训练样本时，不是分为两类，而是分为三类，不确定的样本不训练，这样就分清了摆拍与非摆拍的边界，避免因加入大量边界不清楚的样本而导致模型无法收敛。其中非摆拍样本集的图片是可以非常确定其不是摆拍的，图片上的卷烟是真正存放在烟柜的。摆拍样本集的图片可以非常确定其就是摆拍的图片，图片上的卷烟并不是真正存放在烟柜。存疑摆拍样本集的图片可能是由于图片模糊、拍摄距离过近等因素分不清究竟是不是摆拍的图片。
28.作为可选的实施方式，如图4所示，步骤s10中，预处理的过程包括：s11：将摆拍样本集、非摆拍样本集的图像统一缩放到224*224的尺寸；s12：对统一尺寸后的图片进行数据增强处理；数据增强处理包括上下翻转、左右翻转、高斯模糊和旋转中的一种或多种；s13：为数据增强处理后的摆拍样本集图像、非摆拍样本集图像设置标签；s14：将摆拍样本集图像的标签概率赋值为0.0001，非摆拍样本集图像的标签概率赋值为0.9999；s15：将设置有标签、标签概率的样本集图像输出为预检图像。具体的，标签概率的赋值为自定义设置，0.0001与0.9999均是本实施例的优选方案，本发明并不对此做限定。需要说明的是，制作标签的时候不是直接用0和1，而是作了平滑操作，使得模型可以更准确的预测未知图片，避免过拟合。图像在进行预处理时，除了进行缩放和图像增强外，还进行了均值为0.5，方差为0.5的标准化处理。标准化处理在图像增强后、设置标签前。
29.作为可选的实施方式，如图5所示，卷烟陈列防作弊模型包括获取模块、预处理模块、特征提取模块和识别模块；获取模块、预处理模块、特征提取模块、识别模块通信连接。具体的，获取模块、预处理模块、特征提取模块和识别模块依次对输入的图像进行处理，卷
烟陈列防作弊模型通过识别模块对卷烟陈列待识别图像是否摆拍进行判断。
30.作为可选的实施方式，获取模块，采集用户上传的卷烟陈列待识别图像；预处理模块，对卷烟陈列待识别图像进行处理，得到目标图像；特征提取模块，对目标图像进行特征提取，得到目标特征向量；识别模块，将目标特征向量送入全连接神经网络，得到一个输出，输出通过sigmoid函数进行映射，得到摆拍概率。具体的，卷烟陈列待识别图像在预处理模块，除了进行缩放和图像增强外，还进行了均值为0.5，方差为0.5的标准化处理。目标图像在特征提取模块中，由resnet骨干卷积神经网络backbone提取特征，得到512维的特征向量。将该特征向量送入识别模块中的全连接神经网络得到一个输出，将这个输出通过sigmoid函数进行映射得到概率。需要说明的是，本实施例中的全连接神经网络输出一个值，最后用sigmoid函数进行映射得到概率，而不是输出两个概率，选概率最大的作为分类类别，这样就使得预测结果可以人为控制，根据不同要求决定将怎样的图片当做是摆拍还是非摆拍。
31.作为可选的实施方式，特征提取模块采用了resnet算法。具体的，resnet网络参考了vgg19网络，在其基础上进行了修改，并通过短路机制加入了残差单元。变化主要体现在resnet直接使用stride=2的卷积做下采样，并且用global average pool层替换了全连接层。当feature map大小降低一半时，feature map的数量增加一倍，这保持了网络层的复杂度。resnet相比普通网络每两层间增加了短路机制，这就形成了残差学习，通过预测值之间的差距分析异常数据。
32.实施例仅是一个特例，并不表明本发明就这样一种实现方式。
33.以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明的保护范围。