一种蔬菜水果自动称重分类结算的装置及方法

本发明涉及水果自动称重技术领域，特别涉及一种蔬菜水果自动称重分类结算的装置及方法。

背景技术：

随着计算机信息技术的不断发展，图像识别这一技术在各个领域中的应用也越发的广泛和普及，已经渗透在日常生活的各个方面。图像识别技术其主要的作用就是按照所观测到的图像，对图像中的物体进行分辨，以此来做好相应的具有意义的判断，具体实现则是应用现代信息处理技术，以及计算机技术对人类认知过程进行模拟。

调查现有技术，有关于蔬菜水果的自动称重装置、自动分级打包装置、自动激光扫描条形码结算设备等等。走访我国大型超市及蔬菜水果店调查，我国目前关于蔬菜水果的售卖过程仍然局限于顾客挑选好蔬菜水果，装袋交由售货员进行封口然后手动进行称重，然后从手动选择该蔬菜水果的单价，根据单价和重量生成该蔬菜水果的总金额条形码，贴至塑料袋口，再由顾客去出口结账。纵观整个结算过程，流程较为复杂且耗费人力，需要售货员一直进行手动封口称重结算。部分大型超市有自动结算设备，但仍然局限于提前对封装好的蔬菜水果直接进行激光扫描条形码，同样需要工作人员提前对蔬菜水果进行封装称重结算贴条形码，而且蔬菜水果的新鲜程度远不及顾客手动挑选的新鲜。

技术实现要素：

为了克服上述现有技术的不足，本发明的目的在于提供一种蔬菜水果自动称重分类结算的装置及方法，能够自动、准确及高效地实现蔬菜水果的自动识别；并可以在称重的同时自动计算出总金额，免除手动称重、挑选单价然后生成总金额条形码这一复杂流程。

为了实现上述目的，本发明采用的技术方案是：

一种蔬菜水果自动称重分类结算的装置，包括机体1，所述机体1内部安装有微处理器2，所述微处理器2中有训练好的改进的注意力机制引导下的循环卷积神经网络模型；所述机体1上安装有摄像头3，摄像头3用于采集待称重蔬菜水果的图像信息，摄像头3与微处理器2的输入端相连，实现图像信息的传输；所述机体1上安装有托盘5，托盘5下方有压力传感器6，压力传感器6实现对待称重蔬菜水果的重量信息采集；所述压力传感器6与微处理器2输入端相连，实现重量信息的传输；所述机体1上安装有显示屏4，显示屏4与微处理器2的输出端相连，用于显示该次目标检测及识别过程中称重蔬菜水果的类别、对应的单价信息、重量信息和总金额信息。

所述机体1前方有数字键盘7，用于该装置的开机输入密码或随时更改某一类别蔬菜水果的单价信息；所述机体1右侧安装有封口装置9，并可悬挂塑料袋，方便顾客将识别好的蔬菜水果进行装袋并封口；所述机体1前方还安装有条形码打印机8，用于将本次识别结果生成条形码打印出来，粘贴至包装袋上。

一种蔬菜水果自动称重分类结算的方法，包括以下步骤；

step1：顾客将蔬菜水果按不同类别依次放入托盘5上；

step2：摄像头3自动进行拍照，完成图像采集；

step3：图像信息传输给微处理器2，通过训练好的改进后的注意力机制引导下的循环卷积神经网络模型，识别蔬菜水果种类，并将识别出的种类信息传输给显示屏4；

step4：同时托盘5下方的压力传感器6采集物品的重量信息，并传输给微处理器2；

step5：微处理器2将本次目标检测识别结果传输给显示屏4，并生成对应的条形码信息；

step6：显示屏4显示本次蔬菜水果的识别结果，包括物品的种类、对应的单价、重量以及总金额；

step7：条形码打印机8工作，打印出条形码；

step8：顾客将蔬菜水果装袋、封口并粘贴条形码，便于最后在收银台结算，并完成本次蔬菜水果的自动称重分类并结算的过程。

所述step5具体的建模过程为，将三个不同尺度的网络引入循环卷积神经网络模型中；

首先将不同尺度的蔬菜水果图像输入到卷积层中，提取基于区域的特征表示；

假设给定输入蔬菜水果图像x，首先通过将蔬菜水果图像输入到预先训练的卷积层中来提取基于区域的深层特征，提取的深度表示表示为wc*x，其中*表示卷积、池化和激活的一组操作，wc表示总体参数；

所述卷积层中提取出来的一个中间特征图f∈r^c×h×w，作为注意力机制模块的输入，依次输入一个一维通道注意力图mc∈r^c×1×1和一个二维空间注意力图ms∈r^1×h×w，则总体的关注过程可以概括为：

其中表示两个任意大小的矩阵间按元素计算的乘法，f″是最后计算的输出；

进一步将每个尺度上的网络建模为具有两个输出的多任务公式，第一个任务被设计为在关注度类别上生成概率分布p：

p(x)＝f(wc*x)(3)

其中f(·)表示全连接层，将卷积特征映射到可以与蔬菜水果类别条目匹配的特征向量，以及包括softmax层，以进一步将特征向量转换为概率。第二个任务是为了下一个更精细的尺度预测出一组重点关注区域的坐标。通过将重点关注区域近似为一个有三个正方形参数，表示为：

[tx,ty,tl]＝g(wc*x)(4)

其中tx,ty分别表示正方形的中心坐标为x轴和y轴，tl表示正方形边长的一半，具体形式的g(·)可以用两层全连接层表示，三个输出是重点关注区域的参数。

通过提取出的蔬菜水果特征在不同尺度上的训练，可以得到蔬菜水果图像从粗到细的不同尺度上的表示：

{f1,f2,…fn}(5)

其中fi表示第i个尺度上分类子网络全连接层的输出，n表示尺度的数量。

最终融合不同尺度上的网络输出结果，把每个分类子网络的全连接层堆叠起来，通过softmax层进行最终的蔬菜水果分类。

本发明的有益效果：

本发明所述的一种改进的基于注意力机制引导下的深度循环卷积神经网络的识别方法，可以加强网络模型对特定区域的重点关注识别，尤其适用于相同种类的不同产地的蔬菜水果，对其类别信息进行较为准确地识别。本发明所搭建的网络模型，通过训练可以使其模型准确率达到95％以上。

本发明所述一种基于深度学习的目标检测及识别装置，具有独立完成蔬菜水果的检测、识别、分类、称重、结算及生成条形码的功能，在一定程度上可以替代现场工作人员进行手动称重结算，极大地解放了人力的同时，也提高了蔬菜水果的结算效率。

附图说明

图1为本发明蔬菜水果检测识别及称重装置的示意图。

图2为本发明所搭建的卷积神经网络模型图。

图3为本发明蔬菜水果检测识别及称重装置的使用流程图。

图4为本发明蔬菜水果检测识别及称重装置的结算界面图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1-图4所示：包括机体1，所述机体1内部安装有微处理器2，所述微处理器2中有训练好的改进的注意力机制引导下的循环卷积神经网络模型；所述机体1上安装有摄像头3，与微处理器2的输入端相连，用于采集待检测的图像信息；所述机体1上安装有托盘5，托盘5下方有压力传感器6，压力传感器6实现对待检测的蔬菜水果的重量信息采集；所述压力传感器6与微处理器2输入端相连，实现重量信息的传输；所述机体1上安装有显示屏4，与微处理器2的输出端相连，用于显示该次目标检测及识别过程中待检测物体的类别、对应的单价信息、重量信息和总金额信息。

所述机体1前方有数字键盘7，用于该装置的开机输入密码或随时更改某一类别蔬菜水果的单价信息；所述机体1右侧安装有封口装置9，并可悬挂塑料袋，方便顾客将识别好的蔬菜水果进行装袋并封口；所述机体1前方还安装有条形码打印机8，用于将本次识别结果生成条形码打印出来，粘贴至包装袋上；

如图2所示：一种改进的基于注意力机制引导下的深度循环卷积神经网络的识别方法。

假设给定输入图像x，首先通过将图像输入到预先训练的卷积层中来提取基于区域的深层特征。提取的深度表示表示为wc*x，其中*表示卷积、池化和激活的一组操作，wc表示总体参数。

所述卷积层中提取出来的一个中间特征图f∈r^c×h×w，作为注意力机制模块的输入，依次输入一个一维通道注意力图mc∈r^c×1×1和一个二维空间注意力图ms∈r^1×h×w。则总体的关注过程可以概括为：

其中表示两个任意大小的矩阵间按元素计算的乘法，f″是最后计算的输出。

其中，通道注意力模块可以具体概述为对卷积层提取出的中间特征图中不同通道的特征图谱分别做一个最大采样(maxpooling)或平均采样(averagepooling)，就可以得到maxpoolchannelattentionvector([c,1,1])和avgpoolchannelattentionvector([c,1,1])。然后将这两个vector输入到一个权重共享的且只有一个隐层的感知机(mlp)中。其中隐层的权重向量的shape为c/r,1,1，最终得到两个经过处理的channelattentionvector。最终将这两个vector进行element-wisesummation操作和sigmoid激活函数处理，并和原特征图进行元素之间的相乘，从而得到新的特征图。具体公式如下：

w0∈r^c/r×c

w1∈r^c×c/r(3)

式中：σ为sigmod函数，w0∈r^c/r×c和w1∈r^c×c/r分别为隐层感知机(mlp)的权重。

而空间注意力模块则生成一个spatialattentionmap，用来利用不同特征图之间的空间关系，以此来使模型注意特征图的哪些特征空间位置。

不同于通道注意力模块的是，在轴的方向上对不同的特征图上相同位置的像素值进行全局的maxpooling和avgpooling操作，分别得到两个spatialattentionmap并将其concatenate，shape为[2,h,w]。然后在再利用一个7*7的卷积对这个featuremap进行卷积。后接一个sigmoid函数。得到一个语言特征图维数相同的加上空间注意力权重的空间矩阵。最后把得到的空间注意力矩阵对应相乘的原特征图上，得到的新的特征图。

公式如下：

式中：σ为sigmod函数，f^7×7表示为7×7的卷积运算，分别表示为两个池化操作来聚合的特征映射的两个通道信息。

进一步将每个尺度上的网络建模为具有两个输出的多任务公式。第一个任务被设计为在关注度类别上生成概率分布p：

p(x)＝f(wc*x)(5)

其中f(·)表示全连接层，将卷积特征映射到可以与类别条目匹配的特征向量，以及包括softmax层，以进一步将特征向量转换为概率。第二个任务是为了下一个更精细的尺度预测出一组重点关注区域的坐标。通过将重点关注区域近似为一个有三个正方形参数，表示为：

[tx,ty,tl]＝g(wc*x)(6)

其中tx,ty分别表示正方形的中心坐标为x轴和y轴，tl表示正方形边长的一半。具体形式的g(·)可以用两层全连接层表示，三个输出是重点关注区域的参数。

通过提取出的蔬菜水果特征在不同尺度上的训练，可以得到蔬菜水果图像从粗到细的不同尺度上的表示：

{f1,f2,…fn}(5)

其中fi表示第i个尺度上分类子网络全连接层的输出，n表示尺度的数量。

最终融合不同尺度上的网络输出结果，把每个分类子网络的全连接层堆叠起来，通过softmax层进行最终的蔬菜水果分类。

如图3所示：蔬菜水果检测识别及称重装置的使用流程图，具体可以概述为：

step1：顾客将蔬菜水果按不同类别依次放入托盘上；

step2：摄像头自动进行拍照，完成图像采集；

step3：图像信息传输给微处理器，通过训练好的改进后的注意力机制引导下的循环卷积神经网络模型，识别蔬菜水果种类，并将识别出的种类信息传输给显示屏；

step4：同时托盘下方的压力传感器采集物品的重量信息，并传输给微处理器；

step5：微处理器将本次目标检测识别结果传输给显示屏，并生成对应的条形码信息；

step6：显示屏显示本次蔬菜水果的识别结果，包括物品的种类、对应的单价、重量以及总金额；

step7：条形码打印机工作，打印出条形码。

step8：顾客将蔬菜水果装袋、封口并粘贴条形码，便于最后在收银台结算，并完成本次蔬菜水果的自动称重分类并结算的过程。