一种生鲜识别称重电子秤及识别方法与流程

本发明涉及生鲜识别称重设备领域，具体是一种生鲜识别称重电子秤及识别方法。

背景技术：

对于传统电子秤，打称员拿到商品的时候需要做的是：1、大脑辨别商品是哪个；2、然后将商品放上电子秤；3、思考该商品对应的plu码；4、输入商品plu码；5、最后贴上标签。

整个环节，人为参与的因素较多，打秤员需要背100-200个条码甚至更多。高峰期顾客较多时，由于传统电子秤只能由打称员操作，排队现象严重，影响效率。鉴于此，行业内推出基于人工智能的电子秤，受限于“ai需要巨量算力”的因素，此类电子秤主要由两种方案实现：(1)使用ai服务器,多台电子秤对应一台ai服务器，电子秤通过网络与ai服务器数据交互；(2)电子秤额外加上ai芯片与本地的cpu协同计算，俗称“边缘计算”。

第一种方案成本较高，并且通讯比较麻烦。考虑算法模型升级等因素，软件维护成本较大。第二种方案要么额外引入芯片，要么额外引入芯片模组，其中前者使得电子秤的电路硬件结构发生改变，成本巨大，额外引入的驱动程序更改也较为麻烦。后者的芯片模组与第一种方案的缺点类似。

技术实现要素：

本发明的目的在于提供一种生鲜识别称重电子秤，以解决上述背景技术中指出的两种方案存在的问题。

为实现上述目的，本发明提供如下技术方案：

一种生鲜识别称重电子秤，包括托盘，所述托盘底端连接有重量传感器，所述重量传感器连接安卓板，所述安卓板和重量传感器安装于基座内，所述基座固定有柱形安装架，所述柱形安装架上安装有打码机，所述打码机连接有安卓显示屏，所述柱形安装架上转动连接有相机，所述相机摄像头朝正下方设置。

作为本发明进一步的方案：所述重量传感器通过串口转usb连接安卓板的usb接口。

作为本发明进一步的方案：所述安卓板和相机采用标准uvc协议进行通讯，所述相机安装于柱形安装架顶端，所述相机采用九十度镜头，所述相机镜头摄像范围涵盖整个托盘。

作为本发明进一步的方案：所述安卓板的分类算法基于深度学习cnn网络alexnet并进一步裁剪网络结构到算法能够在普通的arm芯片上运行。

作为本发明进一步的方案：所述相机安装于安卓显示屏底端，所述相机采用九十度镜头，所述相机镜头摄像范围涵盖整个托盘。

一种生鲜识别方法，使用上述所述的电子秤，所述方法包括：重量传感器(7)检测托盘(1)重量，当重量发送改变时，重量传感器(7)发送信号给安卓板(8)，安卓板(8)控制相机(6)摄像头开始工作并拍摄托盘(1)上的物品，并将拍摄的视频流数据输送给安卓板(8)，安卓板(8)将接收到的视频流先进行目标的质量分析，过滤掉不合格的图像后，将符合要求的图像通过生鲜种类识别算法进行识别并将识别结果映射成对应的食材名称，并与重量传感器传过来的重量数据进行匹配，生成对应的价格后发送给打码机(4)和安卓显示屏(5)，打码机(4)打印条码，安卓显示屏(5)显示商品种类、重量和价格。

作为本发明进一步的方案：所述重量传感器(7)检测托盘(1)重量，当重量发送改变时，需要将托盘(1)重量的增加值与设定值进行比较，当大于设定值时，安卓板(8)控制相机(6)摄像头开始工作。

作为本发明进一步的方案：将符合要求的图像通过生鲜种类识别算法进行识别并将识别结果映射成对应的食材名称具体过程如下：

将符合要求的图像通过cnn网络alexnet提取特征{xi}后使用softmax算出置信度公式(1)，再将该符合要求的图像采用间隔采样rgb像素值，经过一层全连接层再softmax算出置信度。这时就有两个置信度值，我们采用加权求和的方式得到最后的置信度如公式(2)；

pi＝a·si+β·s′i(2)

其中(i,j＝1,2..n)，n就是表示cnn特征{xi}的维度，也是表示rgb颜色特征{yi}的维度；在实际使用场景中n表示的就是“食材的类别数”；si表示的是使用“cnn网络alexnet”识别当前图片中的食材为类别i时的概率，s′i表示的是使用“rgb颜色像素值”识别当前图片中的食材为类别i时的概率，pi表示结合了上述两种方案得到的“综合概率”；

α,β是表示加权系数，属于预设的经验值。

本发明实施例提供的一种生鲜识别称重电子秤，该装置基于视频流的识别技术使用，它既不需要ai芯片，也不需要芯片模组，更不需要ai服务器。除了摄像头外，并无额外硬件，成本优势非常明显。

附图说明

图1为本发明实施例提供的一种生鲜识别称重电子秤的系统工作流程图；

图2为结构图；

图3为业务逻辑算法流程图；

图4为算法流程图。

图中：1、托盘；2、基座；3、柱形安装架；4、打码机；5、安卓显示屏；6、相机；7、重量传感器；8、安卓板。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。

实施例：

如图1-4所示，在本发明实施例中，一种生鲜识别称重电子秤，包括托盘1，所述托盘1底端连接有重量传感器7，所述重量传感器7连接安卓板8，所述安卓板8和重量传感器7安装于基座2内，所述基座2固定有柱形安装架3，所述柱形安装架3上安装有打码机4，所述打码机4连接有安卓显示屏5，所述柱形安装架3上转动连接有相机6，所述相机6摄像头朝正下方设置。

所述重量传感器7通过串口转usb连接安卓板8的usb接口。

所述安卓板8和相机6采用标准uvc协议进行通讯，所述相机6安装于柱形安装架3顶端，所述相机6采用九十度镜头，所述相机6镜头摄像范围涵盖整个托盘1。

所述安卓板8的分类算法基于深度学习cnn网络alexnet并进一步裁剪网络结构到算法能够在普通的arm芯片上运行。

所述相机6安装于安卓显示屏5底端，所述相机6采用九十度镜头，所述相机6镜头摄像范围涵盖整个托盘1。

在本发明的实施例中，整套硬件系统根据实际产品的结构进行嵌入式地布置。系统工作流程图如图1所示：(1)系统上电后，安卓板开始工作进行“生鲜上秤”的信号检测，我们设这种状态为“状态a”。(2)假设某一时刻生鲜上秤，安卓板获取传感器的信号后，随机启动相机拍摄。(3)相机将视频流数据一帧帧地传给安卓板。(4)安卓板将接收到的视频流先进行目标的质量分析，这一目的主要是为了过滤一些不合格的图像。(5)当某一帧的图像质量满足设定阈值后，将该帧送入生鲜种类识别算法进行识别。(6)安卓板负责把接收到的识别结果映射成对应的食材名称，并把重量传感器传过来的重量数据，换算价钱后，再通过app界面展示出来,并通知条码打印设备打印条码。(7)安卓板重新复位为状态a。

安卓板与重量传感器关系：重量传感器通过串口转usb连接至安卓板的usb口，上电后重量传感器一直发送重量数据，安卓板实时获取。

安卓板与摄像头的关系：安卓板与摄像头采用标准uvc协议进行通讯。相机采用90度镜头，以此保证拍摄范围覆盖整个秤盘的宽度。相机的芯片参数经过一定优化，曝光时间设定非常短，防止拍照出现运动模糊；镜头的光圈设得较大保证进光量，从而保证图片亮度。摄像头的位置主要有两种方式。其中摄像头的安装位置如图2所示位置。

软件算法关于逻辑的部分，安卓板的主要逻辑如图3所示：

步骤一，送入一个质量判断算法中，该质量判断算法基于另一个cnn网络训练而来，得到该质量值为c，将c值与人工预设的阈值进行比较，如果大于某个值，则表示该帧图像质量符合预期，则进行生鲜种类的识别。

步骤二，采用基于深度学习cnn的目标检测算法检测当前视频帧的生鲜位置并获取该位置，将该位置的区域crop出来，并进一步做识别等。值得说明的是由于质量判断算法必须是一个非常小的深度学习网络，保证实时性。

摄像头识别算法：

分类算法基于深度学习cnn网络alexnet，并进一步裁剪网络结构到算法能够在普通的arm芯片上运行。需要说明的是，在送入分类算法之前，先提前将目标区域crop出来。

我们的算法由图4而来，原图先经过cnn网络alexnet提取特征{xi}后使用softmax算出置信度公式1；并且原图采用间隔采样rgb像素值，经过一层全连接层再softmax算出置信度。这时就有两个置信度值，我们采用加权求和的方式得到最后的置信度如公式2。这样做的目的是因为生鲜果蔬的识别最后对颜色特征的依赖程度很大，我们使用基于人工“强化”颜色特征的方法来使得分类信息更加准确。

pi＝α·si+β·s′j(2)

其中(i,j＝1,2..n)，n就是表示cnn特征{xi}的维度，也是表示rgb颜色特征{yi}的维度；在实际使用场景中n表示的就是“食材的类别数”；si表示的是使用“cnn网络alexnet”识别当前图片中的食材为类别i时的概率，s′i表示的是使用“rgb颜色像素值”识别当前图片中的食材为类别i时的概率，pi表示结合了上述两种方案得到的“综合概率”；

α,β是表示加权系数，属于预设的经验值。实际使用时，如果某一批样本颜色特征特别明显，可以把β设得大一些。实际使用中，app展示前8个置信度最高的类别。由用户选择对应正确的种类。

本发明上述实施例中提供了一种生鲜识别称重电子秤，该装置基于视频流的识别技术使用，它既不需要ai芯片，也不需要芯片模组，更不需要ai服务器。除了摄像头外，并无额外硬件，成本优势非常明显。

以上的仅是本发明的优选实施方式，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。