一种智能货柜的商品识别方法与流程

1.本发明涉及智能零售技术领域，尤其涉及一种智能货柜的商品识别方法。


背景技术：

2.近几年，随着零售行业的升级和移动支付的发展，整个传统零售行业面临着升级改造，加上国家政策推动，因此新零售风口正式来临，智能货柜是其中的一个重要方向。
3.智能货柜是顾客通过手机扫码或者刷脸验证的方式开门，拿取商品关门后智能货柜自动判断顾客取走了哪些商品并自动结算，其中一种方法是通过视觉识别的方法识别取走商品的类别和数量并自动结算。
4.然而，该方法是基于商品分类实现结算的，需要算法准确识别取走商品的类别才能进行结算，当智能货柜中增加新类别商品时，智能货柜难以识别新增商品的类别。


技术实现要素：

5.本发明提供一种智能货柜的商品识别方法，通过对智能货柜中的商品进行检测，并通过特征比对方式确定当前时刻商品类别及数量信息，将商品类别及数量信息上传至业务层进行商品的结算，本发明不仅能够准确识别商品的类别进行结算，而且当智能货柜中增加新类别商品时，可将新增商品特征加入商品特征库用于识别商品的类别，无需重新训练商品识别模型。
6.本发明提供一种智能货柜的商品识别方法，包括：
7.获取配置在智能货柜内各层货架上方的鱼眼相机俯视拍摄的商品图像；
8.利用预先训练完毕的改进cascade r-cnn网络模型对所述商品图像中的商品进行检测，并根据商品检测结果对所述商品图像中的商品进行截取得到商品目标图；
9.根据所述商品目标图的数量与智能货柜的商品数据库中的商品数量是否相等判断智能货柜内的商品数量是否发生变化；
10.若是，则利用改进resnet网络模型从所述商品目标图中提取商品特征，与预设商品特征库进行特征值比对确定当前时刻智能货柜内的商品类别及对应的商品数量，并更新所述智能货柜的商品数据库中的商品信息，其中，所述预设商品特征库中包括有不同类别商品的特征值。
11.可选实施例中，所述改进cascade r-cnn网络模型的backbone部分的输出层采用可形变卷积网络，所述改进cascade r-cnn网络模型采用改进的nms算法计算预测框得分，其计算公式如下：
[0012][0013]
其中，si为预测框得分，m为当前得分最高预测框，bi为待处理预测框，l
ac
为当前得分最高预测框和待处理预测框左上角顶点的距离，la为当前得分最高预测框的对角线长度。
[0014]
可选实施例中，所述改进resnet网络模型输入端包括一个mask卷积层和一个normal卷积层，所述mask卷积层将输入图像与预设图像掩膜相乘并进行卷积得到第一特征图，所述normal卷积层将输入图像进行卷积得到第二特征图，所述改进resnet网络模型将所述第一特征图和所述第二特征图进行concat融合，所述改进resnet网络模型还包括ibn模块，所述改进resnet网络模型采用交叉熵损失函数和triplet loss损失函数进行模型优化。
[0015]
可选实施例中，所述获取配置在智能货柜内各层货架上方的鱼眼相机拍摄的商品图像之前，还包括：
[0016]
采集各类别的商品图像构建商品底库数据集；
[0017]
利用改进resnet网络模型提取所述商品底库数据集中各类别商品的特征并计算各商品的特征值，并将各商品的类别及特征值关联存储至预设商品特征库。
[0018]
可选实施例中，所述获取配置在智能货柜内各层货架上方的鱼眼相机拍摄的商品图像之前，还包括：
[0019]
采集多张商品图像样本数据；其中，所述多张商品图像样本数据中包含有不同类别的商品图像；
[0020]
对所述多张商品图像样本数据进行颜色标注和形状标注，得到训练数据集；
[0021]
利用所述训练数据集对构建的改进cascade r-cnn网络模型进行训练，并采用ohem算法筛选出难分商品图像样本数据进行模型优化，得到所述预先训练完毕的改进cascade r-cnn网络模型。
[0022]
可选实施例中，所述方法还包括：
[0023]
若确定智能货柜内的商品数量减少，则将当前时刻智能货柜内的商品类别及对应的商品数量与所述商品数据库中的商品信息进行比对确定减少商品的类别和数量，并根据减少商品的类别和数量生成付款信息，以供用户付款。
[0024]
本发明提供的一种智能货柜的商品识别方法，获取配置在智能货柜内各层货架上方的鱼眼相机拍摄的商品图像，其中，所述鱼眼相机能够俯视拍摄下方货架上的商品；利用预先训练完毕的改进cascade r-cnn网络模型对所述商品图像中的商品进行检测得到商品目标图，并判断智能货柜内的商品数量是否发生变化；若是，则利用改进resnet网络模型从所述商品目标图中提取商品特征，与预设商品特征库进行特征值比对确定当前时刻智能货柜内的商品类别及对应的商品数量，并更新智能货柜的商品数据库中的商品信息，其中，所述预设商品特征库中包括有不同类别商品的特征值。与现有技术相比，本方案通过对智能货柜中的商品进行检测，将检测出的商品特征与预设商品特征库进行特征值比对确定当前时刻商品类别及数量信息，将商品类别及数量信息上传至业务层进行商品的结算，本发明在用户购买商品时通过商品特征比对的方法准确识别购买的商品的类别进行商品结算，而且当智能货柜中增加新类别商品时，可将新增商品特征加入商品特征库用于识别商品的类别，无需重新训练商品识别模型。
附图说明
[0025]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0026]
图1为本公开所基于的一种场景架构的示意图；
[0027]
图2为本公开实施例提供的一种智能货柜的商品识别方法的流程示意图；
[0028]
图3为本公开实施例提供的另一种智能货柜的商品识别方法的流程示意图；
[0029]
图4为本公开实施例提供的一种改进cascade r-cnn网络模型训练方法的流程示意图；
[0030]
图5为本公开实施例提供的又一种智能货柜的商品识别方法的流程图。
具体实施方式
[0031]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
智能货柜可通过视觉识别的方法识别取走商品的类别和数量并自动结算，主要原理是利用摄像头拍摄用户购买商品图像，利用训练好的商品识别模型识别商品的类别和数量，进而根据购买的商品类别和数量进行结算。
[0033]
然而，该方法是基于商品分类实现结算的，需要提前训练商品识别算法对商品进行识别，当智能货柜中增加新类别商品时，智能货柜难以识别新增商品的类别，必须重新对商品识别算法进行训练，极大地限制了智能货柜对新增商品的适用性。
[0034]
图1为本公开所基于的一种场景架构的示意图，如图1所示的，本公开基于的一种场景架构可包括智能货柜1、商品识别装置2以及鱼眼相机3。
[0035]
其中，商品识别装置2是可与鱼眼相机3通过网络进行交互的硬件或软件，其可用于执行下述各实施例中所述的商品识别方法。
[0036]
当商品识别装置2为硬件时，其可以为具备运算功能的电子设备。当商品识别装置2为软件时，其可以安装在具备运算功能的电子设备中。其中的电子设备包括但不限于服务器、智能盒子和台式计算机等等。
[0037]
其中，鱼眼相机3具体可为集成在智能货柜1上的能够近距离拍摄大范围物品的硬件设备。
[0038]
在实际场景中，商品识别装置2可为集成或安装在智能货柜1上的服务端，商品识别装置2可在智能货柜1上运行，商品识别装置2也可集成或安装在处理食材存取图像的后端服务器中，为智能货柜1提供商品识别服务。商品识别装置2获取用户购买商品过程中鱼眼相机3拍摄的商品图像，商品识别装置2采用如下实施例所示的方法对用户购买商品过程中拍摄的商品图像进行识别，确定智能货柜1内商品变化情况。
[0039]
以下将对本技术提供的一种智能货柜的商品识别方法进行进一步说明：
[0040]
图2为本公开实施例提供的一种智能货柜的商品识别方法的流程示意图。如图2所示，本公开实施例提供的一种智能货柜的商品识别方法包括：
[0041]
s21、获取配置在智能货柜内各层货架上方的鱼眼相机俯视拍摄的商品图像。
[0042]
其中，鱼眼相机能够近距离拍摄大范围的商品图像。
[0043]
本实施例中，由于用户在智能货柜内部存取商品时，可能从智能货柜任意一层货架上存取商品，为了识别用户存取的商品，鱼眼相机配置的位置能够拍摄到各层货架上的全部商品，因此利用多个鱼眼相机俯视拍摄各层货架上的全部商品图像，可避免存在拍摄死角导致的商品识别错误。
[0044]
s22、利用预先训练完毕的改进cascade r-cnn网络模型对所述商品图像中的商品进行检测，并根据商品检测结果对所述商品图像中的商品进行截取得到商品目标图。
[0045]
其中，商品检测结果包括有商品检测框信息，商品目标图为检测出的每个商品的小图。
[0046]
本实施例中，可利用预先训练完毕的改进cascade r-cnn网络模型对商品图像进行检测，得到商品检测框信息；根据商品检测框信息对商品图像中的商品进行截取得到每个商品的小图，再进一步利用每个商品的小图确定每个商品的类别。
[0047]
为了提高网络模型对商品检测的准确率，尤其是针对相机畸变导致的物体形变问题和目标密集问题，对原始cascade r-cnn网络模型进行了改进，所述改进cascade r-cnn网络模型的backbone部分的输出层采用可形变卷积网络，所述改进cascade r-cnn网络模型采用改进的nms算法计算预测框得分，其计算公式如下：
[0048][0049]
其中，si为预测框得分，m为当前得分最高预测框，bi为待处理预测框，n为得分阈值，l
ac
为当前得分最高预测框和待处理预测框左上角顶点的距离，la为当前得分最高预测框的对角线长度。
[0050]
这样改进的好处是，可形变卷积会在x，y方向分别学习一下偏移量，这个偏移量根据数据的情况学习，偏移后，相当于卷积核每个方块可伸缩的变化，从而改变了感受野的范围，感受野成了一个多边形，会使卷积的轮廓与实际物体形状保持一致，这样可以在很大程度上抵消由于相机畸变导致的物体形变，此外针对智能货柜中商品密集的情况提出改进的nms算法，原来的nms算法只是简单的计算同类预测框的iou，当其低于阈值时保留，大于阈值时置为0，这会导致密集目标的检测效果不佳，因此设计一种加权nms算法，不仅计算两同类预测框的iou，还计算两同类预测框左上角点距离与对角线的比值，小于阈值的预测框仍然保留，大于阈值的预测框得分不置0，而是乘以权重值，这样能提高密集物体的检出率。
[0051]
s23、根据所述商品目标图的数量与智能货柜的商品数据库中的商品数量是否相等判断智能货柜内的商品数量是否发生变化。
[0052]
其中，智能货柜的商品数据库存储有智能货柜内的商品类别及对应的商品数量。
[0053]
本实施例中，商品目标图的数量即为检出的商品数量，根据商品目标图的数量确定检出的商品数量，将检出的商品数量与智能货柜的商品数据库中的商品数量进行比对，若检出的商品数量与智能货柜的商品数据库中的商品数量相等，则智能货柜内的商品数量未发生变化，否则智能货柜内的商品数量发生变化。
[0054]
s24、若是，则利用改进resnet网络模型从所述商品目标图中提取商品特征，与预设商品特征库进行特征值比对确定当前时刻智能货柜内的商品类别及对应的商品数量，并更新所述智能货柜的商品数据库中的商品信息，其中，所述预设商品特征库中包括有不同
类别商品的特征值。
[0055]
本实施例中，可利用改进resnet网络模型对每个商品的小图进行特征提取，并将每个商品的特征值与预设商品特征库中存储的特征值进行比对，将特征值相似度最高的商品类别确定为检出的商品的类别，得到当前时刻智能货柜内的商品类别及对应的商品数量，根据当前时刻智能货柜内的商品类别及对应的商品数量对智能货柜的商品数据库中的商品信息进行更新，实现了对智能货柜中商品的智能管理。
[0056]
为了使得网络模型提取更优的商品特征，针对智能货柜中的商品密集排放，因此截取的商品目标图会包含其他商品的一部分这一问题，对原始resnet网络模型进行了改进，所述改进resnet网络模型输入端包括一个mask卷积层和一个normal卷积层，所述mask卷积层将输入图像与预设图像掩膜相乘并进行卷积得到第一特征图，所述normal卷积层将输入图像进行卷积得到第二特征图，所述改进resnet网络模型将所述第一特征图和所述第二特征图进行concat融合，所述改进resnet网络模型还包括ibn模块，所述改进resnet网络模型采用交叉熵损失函数和triplet loss损失函数进行模型优化。
[0057]
这样改进的好处是，当商品目标图输入到改进resnet网络模型后，它会拷贝一份商品目标图，两份商品目标图分别送入mask卷积层和normal卷积层，normal卷积层不需要额外的操作，而mask卷积层将商品目标图与预设图像掩膜相乘再进行卷积，预设图像掩膜的大小与商品目标图的长宽一致，用于对商品目标图的边缘区域进行遮挡，最后通过将mask卷积层和normal卷积层输出的特征图concat起来输入到后续网络。此外，还在改进resnet网络模型中添加了ibn模块提高域泛化能力，并且用交叉熵损失函数和triplet loss损失函数进行模型优化，这样能在保证正确分类的同时，使类间距离变大，有利于后续进行特征值对比。
[0058]
本实施例提供了一种智能货柜的商品识别方法，获取配置在智能货柜内各层货架上方的鱼眼相机拍摄的商品图像，其中，所述鱼眼相机能够俯视拍摄下方货架上的商品；利用预先训练完毕的改进cascade r-cnn网络模型对所述商品图像中的商品进行检测得到商品目标图，并判断智能货柜内的商品数量是否发生变化；若是，则利用改进resnet网络模型从所述商品目标图中提取商品特征，与预设商品特征库进行特征值比对确定当前时刻智能货柜内的商品类别及对应的商品数量，并更新智能货柜的商品数据库中的商品信息，其中，所述预设商品特征库中包括有不同类别商品的特征值。通过采用本公开实施例所提供的技术方案，实现了在用户购买商品时通过商品特征比对的方法准确识别购买的商品的类别进行商品结算，而且当智能货柜中增加新类别商品时，可将新增商品特征加入商品特征库用于识别商品的类别，无需重新训练商品识别模型，提高了智能货柜对新增商品的适用性。
[0059]
预设商品特征库是利用改进resnet网络模型构建的，用于作为商品类别的比对库，在可选实施例中，在上述图2实施例的基础上，图3为本公开实施例提供的另一种智能货柜的商品识别方法的流程示意图。如图3所示，在图2的基础上，s21之前，还包括：
[0060]
s31、采集各类别的商品图像构建商品底库数据集；
[0061]
s32、利用改进resnet网络模型提取所述商品底库数据集中各类别商品的特征并计算各商品的特征值，并将各商品的类别及特征值关联存储至预设商品特征库。
[0062]
本技术方案在上述技术方案的基础上，提供了一种具体的构建预设商品特征库的方法，本实施例这样设置的好处是构建预设商品特征库可以通过特征值比对方式确定商品
类别，无需根据商品特征直接识别商品类别，而且可随时在预设商品特征库增加新的商品类别。
[0063]
为了能够对未训练过的商品进行检测，改进cascade r-cnn网络模型通过商品的颜色和形状检测出商品，图4为本公开实施例提供的一种改进cascade r-cnn网络模型训练方法的流程示意图，如图4所示，包括：
[0064]
s41、采集多张商品图像样本数据；其中，所述多张商品图像样本数据中包含有不同类别的商品图像；
[0065]
s42、对所述多张商品图像样本数据进行颜色标注和形状标注，得到训练数据集；
[0066]
s43、利用所述训练数据集对构建的改进cascade r-cnn网络模型进行训练，并采用ohem算法筛选出难分商品图像样本数据进行模型优化，得到所述预先训练完毕的改进cascade r-cnn网络模型。
[0067]
本实施例中，将训练数据集输入构建的改进cascade r-cnn网络模型，通过改进cascade r-cnn网络模型对标注了颜色信息和形状信息的商品样本图像进行处理得到颜色和形状预测信息；根据颜色和形状预测信息与标注颜色信息和形状信息计算损失函数值，并将所述损失函数值反向传播至改进cascade r-cnn网络模型的各层，以根据损失函数值更新各层的权值参数；重复上述的训练步骤，直至改进cascade r-cnn网络模型收敛。
[0068]
当智能货柜内的商品数量减少时，说明用户取走了商品，需要进行商品结算，图5为本公开实施例提供的又一种智能货柜的商品识别方法的流程图，所述方法还包括：
[0069]
s51、若确定智能货柜内的商品数量减少，则将当前时刻智能货柜内的商品类别及对应的商品数量与所述商品数据库中的商品信息进行比对确定减少商品的类别和数量，并根据减少商品的类别和数量生成付款信息，以供用户付款。
[0070]
本实施例中，可将当前时刻智能货柜内不同类别商品数量与商品数据库中存储的不同类别商品数量进行比对，确定减少商品的类别和数量，利用商品单价和减少商品的类别和数量计算出用户付款费用，并根据用户付款费用生成相应的付款信息，以使用户根据付款信息完成商品结算。
[0071]
需要说明的是，付款信息可以为付款二维码、付款链接等等。
[0072]
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。