本发明涉及售货柜技术领域，尤指一种基于图像识别的智能售货柜商品管理方法及系统。
背景技术：
现有的无人售货柜主要有两种技术路线。一种是基于二维码的移动互联网路线，采用的技术方案是用户手机扫描打开柜门，取走所需商品，然后在商品页面自主勾选购买的商品和数量，商品管理系统根据上述信息进行结账收款。这个方案技术上的缺点是系统不能准确获知用户实际购买的商品，也无法准确判断是否需要补货。另一种模式，是基于rfid的物联网路线。该方案要求售货柜安装rfid扫描系统，货柜上的每个商品都必须贴有rfid芯片，利用rfid技术实现商品管理系统。该方案最大的技术缺点是rfid技术受液体和金属的影响比较大，很难实现准确统计。
针对上述情况，本申请提供了一种解决以上技术问题的技术方案。
技术实现要素：
本发明的目的是提供一种基于图像识别的智能售货柜商品管理方法及系统，通过图像识别来统计售货柜中的商品信息，实现自动并准确统计客户实际购买详情，从而减少了商品的货损率，降低了经营成本损耗。
本发明提供的技术方案如下：
一种基于图像识别的智能售货柜商品管理方法，包括：步骤s130根据购买结束指令，获取被购后的当前商品分布图；步骤s200根据所述被购后的当前商品分布图以及特征库，统计得到被购后的当前商品信息列表；步骤s300将所述被购后的当前商品信息列表与被购前的初始商品信息列表进行比对，并根据比对结果统计得到已被购买商品信息；步骤s400根据所述已被购买商品信息，获取对应金额的货款。
优选的，步骤s130之前还包括：步骤s010获取每一件待销售样品的若干样本图像；步骤s020对每一件所述样品的若干所述样本图像标注属性；步骤s030采用深度学习法对每一件所述样品的若干所述样本图像中的一部分所述样本图像进行训练；步骤s040根据训练结果，更新第一算法模型以及第二算法模型；步骤s050根据所述第一算法模型以及所述第二算法模型，对每一件所述样品的若干所述样本图像中的另一部分所述样本图像进行测试验证，提取每一件所述样品对应的样品图像特征；步骤s060根据每一件所述样品的所述属性、所述样品图像特征，建立特征库。
优选的，步骤s200具体包括：步骤s210根据所述第一算法模型，对所述被购后的当前商品分布图进行解析识别，分类得到所述被购后的当前商品分布图中若干当前商品的商品类型；步骤s220根据所述第二算法模型，对所述被购后的当前商品分布图进行解析识别，提取所述被购后的当前商品分布图中所述若干当前商品的图像特征；步骤s230根据若干所述当前商品的所述商品类型，将所述若干当前商品的所述图像特征与所述特征库中的所述样品图像特征进行比对，得到所述若干当前商品的所述商品信息；步骤s240根据所述若干当前商品的所述商品信息，得到被购后的当前商品信息列表。
优选的，步骤s130之前还包括：步骤s110根据登录验证指令，解锁所述售货柜的柜门；步骤s120当检测到所述售货柜的柜门重新锁定后，生成所述购买结束指令。
优选的，步骤s400之后还包括：步骤s500将所述被购后的当前商品信息列表更新设置为所述被购前的初始商品信息列表。
优选的，步骤s400之后还包括：步骤s600根据所述被购后的当前商品信息列表，发送补货提示信息。
本发明还提供了一种基于图像识别的智能售货柜商品管理系统，其应用前述的基于图像识别的智能售货柜商品管理方法，所述系统包括：指令获取模块，用于获取购买结束指令；图像获取模块，用于根据所述指令获取模块获取的所述购买结束指令，获取被购后的当前商品分布图；商品统计模块，用于根据所述图像获取模块获取的所述被购后的当前商品分布图以及特征库，统计得到被购后的当前商品信息列表；商品比对模块，用于将所述商品统计模块统计的所述被购后的当前商品信息列表与被购前的初始商品信息列表进行比对；购买统计模块，用于根据所述商品比对模块的比对结果，统计得到已被购买商品信息；货款获取模块，用于根据所述购买统计模块统计的所述已被购买商品信息，获取对应金额的货款。
优选的，还包括：样本图像获取模块，用于获取每一件待销售样品的若干样本图像；标注模块，用于对所述样本图像获取模块获取的每一件所述样品的若干所述样本图像标注属性；训练模块，用于采用深度学习法对所述样本图像获取模块获取的每一件所述样品的若干所述样本图像中的一部分所述样本图像进行训练；计算更新模块，用于根据所述训练模块的训练结果，更新第一算法模型以及第二算法模型；测试验证模块，用于根据所述计算更新模块计算得到的所述第一算法模型以及所述第二算法模型，对每一件所述样品的若干所述样本图像中的另一部分所述样本图像进行测试验证；图像特征提取模块，用于根据所述测试验证模块的测试结果提取每一件所述样品对应的样品图像特征；特征库建立模块，用于根据所述标注模块标注的每一件所述样品的所述属性、所述图像特征提取模块提取的所述样品图像特征，建立特征库。
优选的，还包括：图像分类模块，用于根据所述计算更新模块计算得到的所述第一算法模型，对所述图像获取模块获取的所述被购后的当前商品分布图进行解析识别，分类得到所述被购后的当前商品分布图中若干当前商品的商品类型；所述图像特征提取模块进一步用于根据所述计算更新模块计算得到的所述第二算法模型，对所述图像获取模块获取的所述被购后的当前商品分布图进行解析识别，提取所述被购后的当前商品分布图中所述若干当前商品的图像特征；图像特征比对模块，用于根据所述图像分类模块分类得到的若干所述当前商品的所述商品类型，将所述图像特征提取模块提取的所述若干当前商品的所述图像特征与所述特征库中的所述样品图像特征进行比对，得到所述若干当前商品的所述商品信息；所述商品统计模块进一步用于根据所述图像特征比对模块的比对结果，统计得到被购后的当前商品信息列表。
优选的，还包括：提示信息发送模块，用于根据所述商品统计模块统计的所述被购后的当前商品信息列表，发送补货提示信息。
通过本发明提供的基于图像识别的智能售货柜商品管理方法及系统，能够带来以下至少一种有益效果：
1、在本发明中，当客户从售货柜选取商品后，摄像头拍摄售货柜内剩余商品的分布图，然后通过对商品分布图进行图像识别，统计售货柜内剩余商品的详情列表，再与客户购买之前的商品详情列表进行比对，得到客户购买商品的详细信息，并进行对应收款，通过本方法系统能够自动并准确统计客户实际购买的商品和数量，以及计算购买商品的金额，减少了商品的货损率，从而降低了经营成本损耗。
2、在本发明中，采用深度学习方法对具有属性标注的样本图片进行训练和验证，提取样本图像特征以及建立特征库，并且通过大量的训练和验证，使得算法模型最优化，从而在售货柜的商品识别实际使用中，识别结果更快速和准确。
3、在本发明中，在售货柜的商品识别过程中，通过优化的算法模型实现图像分类和目标检测，并将商品的图像特征在经过分类的特征库中进行分布式特征检索，而不是在所有特征库中检索，提高了商品识别效率和准确率。
4、在本发明中，采用柜门控制模块来控制售货柜的柜门能否被打开，并采用柜门检测模块来检测售货柜的柜门是否被打开，在提升售货柜的智能化的同时，保障了售货柜的安全性。
5、在本发明中，每次购买交易完成后，系统自动并实时更新售货柜内的剩余商品信息，其一用于为下一次购买交易提供参考，其二用于当售货柜内剩余商品不足时，及时发出补货提醒，实现对售货柜中商品的智能化管理。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于图像识别的智能售货柜商品管理方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明的基于图像识别的智能售货柜商品管理方法的一个实施例的流程图；
图2是本发明的基于图像识别的智能售货柜商品管理方法的另一实施例的流程图；
图3深度残差网络模型的基本结构图；
图4fastr-cnn网络的图像分类和目标检测流程图；
图5是本发明的基于图像识别的智能售货柜商品管理系统的一个实施例的结构示意图；
图6是本发明的基于图像识别的智能售货柜商品管理系统的另一实施例的结构示意图。
附图标号说明：
1-指令获取模块；2-图像获取模块；3-商品统计模块；4-商品比对模块；5-购买统计模块；6-货款获取模块；7-样本图像获取模块；8-标注模块；9-训练模块；10-计算更新模块；11-测试验证模块；12-图像特征提取模块；13-特征库建立模块；14-图像分类模块；15-图像特征比对模块；16-提示信息发送模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
本发明提供了一种基于图像识别的智能售货柜商品管理方法的一个实施例，参见图1，包括：步骤s130根据购买结束指令，获取被购后的当前商品分布图；步骤s200根据所述被购后的当前商品分布图以及特征库，统计得到被购后的当前商品信息列表；步骤s300将所述被购后的当前商品信息列表与被购前的初始商品信息列表进行比对，并根据比对结果统计得到已被购买商品信息；步骤s400根据所述已被购买商品信息，获取对应金额的货款。
具体的，在本实施例中，用户可以通过移动终端扫描售货柜上的二维码登录售货柜系统，或者通过售货柜上的二维码扫描器扫描用户移动终端上的二维码登录售货柜系统，再或者通过移动终端上的app登录售货柜系统，登录成功后，进行购买商品，用户打开柜门，取走所需商品，再关闭柜门，柜门关闭后，生成购买结束指令。此时系统启动拍摄，每层货柜生成一张完整的商品分布图。售货柜空间紧凑，商品距离层顶需满足规定间距，每一层货架在纵横方向上都放置了商品，通过利用商品距离层顶的空隙，根据货架实际尺寸，在售货柜每一层顶部部署摄像头，以从上往下拍照的形式得到该层商品分布图。根据摄像头的参数确定可视范围，选用鱼眼180度视角、焦距为1.28mm，200万像素的摄像头，在距离商品12cm的情况下，40cm×45cm可视范围内的图片经过畸变矫正后清晰可辨。根据售货柜每一层的长度和宽度，以及每一层的层高和这一层商品的高度，利用上述摄像头的技术指标，确定该层需要布置几个摄像头，布置在哪些位置，或者利用电动导轨控制摄像头移动到几个固定的位置俯视式拍摄，以确保能得到该层全局商品图。当启动摄像头拍照后，每层商品分布图由一个或者多个图片覆盖。系统启动图像识别，输入上述生成的每一层货架的商品分布图，输出结果是图片中每一个商品的商品信息，本实施例中，商品信息是指商品的sku(stockkeepingunit，库存量单元)信息，在其他实施例中，商品信息也可以是指商品的spu(standardproductunit，标准化产品单元)信息等其他商品信息。sku信息是影响价格和库存的属性集合，用于区分单品，与商品是多对一的关系，对一种商品而言，当其品牌、型号、配置、等级、花色、包装容量、单位、生产日期、保质期、用途、价格、产地等属性中任一属性与其他商品存在不同时，可称为一个单品。而spu信息是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性，与商品是一对一的关系，属性值、特性相同的商品就可以称为一个spu。然后将所有的商品信息进行汇总，去重后生成完整的商品信息列表。具体实现去重可采用不同算法，其目的是不能重复计算重叠部分的商品。系统将用户购买后生成的商品信息列表与用户购买前已经存在的初始商品信息列表进行比对，变化量即为用户购买的商品的信息。最后根据用户购买的商品的信息，完成扣款。
在本发明中，当客户从售货柜选取商品后，摄像头拍摄售货柜内剩余商品的分布图，然后通过对商品分布图进行图像识别，统计售货柜内剩余商品的详情列表，再与客户购买之前的商品详情列表进行比对，得到客户购买商品的详细信息，并进行对应收款，通过本方法系统能够自动并准确统计客户实际购买的商品和数量，以及计算购买商品的金额，减少了商品的货损率，从而降低了经营成本损耗。
在以上实施例的基础上，本发明还提供一个实施例，参照图2和图3，步骤s130之前还包括：步骤s010获取每一件待销售样品的若干样本图像；步骤s020对每一件所述样品的若干所述样本图像标注属性；步骤s030采用深度学习法对每一件所述样品的若干所述样本图像中的一部分所述样本图像进行训练；步骤s040根据训练结果，更新第一算法模型以及第二算法模型；步骤s050根据所述第一算法模型以及所述第二算法模型，对每一件所述样品的若干所述样本图像中的另一部分所述样本图像进行测试验证，提取每一件所述样品对应的样品图像特征；步骤s060根据每一件所述样品的所述属性、所述样品图像特征，建立特征库。
具体的，在本实施例中，在采集和识别售货柜当前商品之前，需要对售货柜内所有售卖的商品建立特征库，用于与后续步骤中实际获取的被购后的当前商品分布图中的商品进行比对。首先模拟售货柜摄像头的位置和拍摄角度，对每个样本商品进行360度拍照，采集了商品各个表面图像作为样本图片；采用3d建模和图片增广方法，将不同商品、不同角度随机组合，模拟生成售货柜的商品分布图片，并将样本图片分成训练集和测试集。同时对图片中商品主体进行属性标注，包括商品类型和商品信息。对训练集中标注过属性的图片进行学习和训练，利用深度学习方法，将输入的每个图片采用预设的算法模型计算输出，再与该图片对应的标注属性进行比较得到差距，同时根据得出的差距更新和改进预设的算法模型。每经过一次训练都会减少算法模型的输出和图片的标签属性的差距。当差距趋于于零，则算法模型趋于稳定。图3为深度残差网络(deepresiduallearning，简称resnet)模型的基本结构图，在多层神经网络之间增加跳跃式短路链接，缩短反馈路径，加快收敛速度。在有效参数初始化的前提下，固定部分参数可以使得特征学习更加充分，提高模型预测精度。假定某段神经网络的输入是x，期望输出是h(x)，即h(x)是期望的映射函数。通过捷径连接的方式，直接把输入x传到输出作为初始结果，输出结果为h(x)＝f(x)+x。当f(x)＝0时，那么h(x)＝x，也就是恒等映射。于是，resnet相当于将学习目标改变为目标值h(x)和x的差值，即残差f(x)。因此，训练目标就是要将残差结果逼近于0，做到随着网络加深，准确率并不下降。训练结束后，得到最终的算法模型。最终的算法模型包括第一算法模型即图像分类算法模型，以及第二算法模型即图像特征提取算法模型，分别用于后续步骤的图像分类以及图像特征提取。随后，再在测试集中对最终的算法模型进行验证，具体为将测试集中标注过属性的图片输入最终的算法模型，验证输出结果是否与图片的标签属性一致，同时提取每件样品商品的图像特征，用于最终作为后续对比使用的样品图像特征。每件样品商品的标签属性以及样品图像特征组成了特征库。
在本发明中，采用深度学习方法对具有属性标注的样本图片进行训练和验证，提取样本图像特征以及建立特征库，并且通过大量的训练和验证，使得算法模型最优化，从而在售货柜的商品识别实际使用中，识别结果更快速和准确。
在以上实施例的基础上，本发明还提供一个实施例，参照图2和图4，步骤s200具体包括：步骤s210根据所述第一算法模型，对所述被购后的当前商品分布图进行解析识别，分类得到所述被购后的当前商品分布图中若干当前商品的商品类型；步骤s220根据所述第二算法模型，对所述被购后的当前商品分布图进行解析识别，提取所述被购后的当前商品分布图中所述若干当前商品的图像特征；步骤s230根据若干所述当前商品的所述商品类型，将所述若干当前商品的所述图像特征与所述特征库中的所述样品图像特征进行比对，得到所述若干当前商品的所述商品信息；步骤s240根据所述若干当前商品的所述商品信息，得到被购后的当前商品信息列表。
具体的，在本实施例中，首先通过第一算法模型即图像分类算法模型，来进行类目预测，判断商品数据哪个类目，譬如衣服、包袋、鞋子。其次通过第二算法模型即图像特征提取算法模型，来进行目标检测，提取图片中的商品主题。图4为fastr-cnn(fastregion-basedconvolutionneuralnetwork)网络的图像分类和目标检测流程，具体为利用fastr-cnn网络，采用单阶段多目标方案，把多个主体的辨认放在一个目标函数中计算，同时利用了分类的监督信息和回归的监督信息，全局优化损失函数，完成图像商品分类和目标检测。其中针对每个感兴趣区域roi(regionofinterest)坐标的偏移优化的损失函数定义如下：lloc(t,t*)＝∑i∈{x,y,w,h}smoothl1(t,t*)；其中，t*＝(t*x,t*y,t*w,t*h)是参考坐标；t＝(tx,ty,tw,th)是预测值；x是横坐标，是指纵坐标，w是roi区域的宽度，h是roi区域的高度；
在本发明中，在售货柜的商品识别过程中，通过优化的算法模型实现图像分类和目标检测，并将商品的图像特征在经过分类的特征库中进行分布式特征检索，而不是在所有特征库中检索，提高了商品识别效率和准确率。
在本实施例的另一个优选的实施方式中，步骤s110根据登录验证指令，解锁所述售货柜的柜门；步骤s120当检测到所述售货柜的柜门重新锁定后，生成所述购买结束指令。
具体的，在本实施例中，系统得到用户的购买指令后，解锁售货柜的柜门，随后依次检测到柜门先被打开再被关闭，当柜门关闭后，系统生成购买结束指令，再启动拍摄商品分布图。在其他实施例中，系统得到购买指令并解锁柜门后，若在一定时间内未检测到柜门被打开，或者此时用户通过指令放弃此次购买，系统可以重新锁定柜门，并结束此次交易。
在本发明中，采用柜门控制模块来控制售货柜的柜门能否被打开，并采用柜门检测模块来检测售货柜的柜门是否被打开，在提升售货柜的智能化的同时，保障了售货柜的安全性。
在本实施例的另一个优选的实施方式中，步骤s500将所述被购后的当前商品信息列表更新设置为所述被购前的初始商品信息列表。
具体的，在本实施例中，当用户购买完成后，将此次购买后生成的商品信息列表设置为新的被购前的初始商品信息列表，用于在下一次发生购买时，与下一次购买后生成的商品信息列表进行比对，得到下一次购买的商品信息。
在本实施例的另一个优选的实施方式中，步骤s400之后还包括：步骤s600根据所述被购后的当前商品信息列表，发送补货提示信息。
具体的，在本实施例中，当用户购买完成后，系统根据售货柜内的剩余商品信息列表，判断是否需要补货，如果需要补货，则自动发送补货提醒至远程管理系统。
在本发明中，每次购买交易完成后，系统自动并实时更新售货柜内的剩余商品信息，其一用于为下一次购买交易提供参考，其二用于当售货柜内剩余商品不足时，及时发出补货提醒，实现对售货柜中商品的智能化管理。
在以上实施例的基础上，本发明还提供一个实施例，参照图1-3所示，步骤s010获取每一件待销售样品的若干样本图像；步骤s020对每一件所述样品的若干所述样本图像标注属性；步骤s030采用深度学习法对每一件所述样品的若干所述样本图像中的一部分所述样本图像进行训练；步骤s040根据训练结果，更新第一算法模型以及第二算法模型；步骤s050根据所述第一算法模型以及所述第二算法模型，对每一件所述样品的若干所述样本图像中的另一部分所述样本图像进行测试验证，提取每一件所述样品对应的样品图像特征；步骤s060根据每一件所述样品的所述属性、所述样品图像特征，建立特征库；步骤s110根据登录验证指令，解锁所述售货柜的柜门；步骤s120当检测到所述售货柜的柜门重新锁定后，生成所述购买结束指令；步骤s210根据所述第一算法模型，对所述被购后的当前商品分布图进行解析识别，分类得到所述被购后的当前商品分布图中若干当前商品的商品类型；步骤s220根据所述第二算法模型，对所述被购后的当前商品分布图进行解析识别，提取所述被购后的当前商品分布图中所述若干当前商品的图像特征；步骤s230根据若干所述当前商品的所述商品类型，将所述若干当前商品的所述图像特征与所述特征库中的所述样品图像特征进行比对，得到所述若干当前商品的所述商品信息；步骤s240根据所述若干当前商品的所述商品信息，得到被购后的当前商品信息列表；步骤s300将所述被购后的当前商品信息列表与被购前的初始商品信息列表进行比对，并根据比对结果统计得到已被购买商品信息；步骤s400根据所述已被购买商品信息，获取对应金额的货款；步骤s500将所述被购后的当前商品信息列表更新设置为所述被购前的初始商品信息列表；步骤s600根据所述被购后的当前商品信息列表，发送补货提示信息。
具体的，在本实施例中，典型应用场景描述如下：
1、对售货柜内所有售卖的商品建立特征库，包括采集每一件商品的若干样本图片，对样本图片进行属性标注，通过深度学习方法对样本图片进行训练和验证，计算算法模型，以及提取样本图像特征；
2、用户通过扫描二维码进行登录验证；
3、系统解锁售货柜的柜门，用户打开柜门，取走所需商品，再关闭柜门，系统购买结束指令；
4、系统启动拍摄，每层货柜生成一张完整的商品分布图；
5、系统对所有生成的商品分布图进行图像分类和目标检测，提取图片中的每个商品的图像特征；
6、系统将每个商品的图像特征与经过分类的特征库中的样本图像特征进行匹配，得到对应的商品信息，再将所有商品信息生成完整的商品信息列表；
7、系统将用户购买后生成的商品信息列表与用户购买前已经存在的初始商品信息列表进行比对，统计出用户购买的商品的信息；
8、系统根据统计出的用户购买的商品的信息，自动完成对应金额的扣款；
9、用户购买完成后，将此次购买后生成的商品信息列表设置为新的被购前的初始商品信息列表，用于在下一次发生购买时提供参考；
10、用户购买完成后，系统根据售货柜内的剩余商品信息列表，判断是否需要补货，如果需要补货，则自动发送补货提醒至远程管理系统。
本发明还提供了一种基于图像识别的智能售货柜商品管理方法的管理系统，参照图6，包括：指令获取模块1，用于获取购买结束指令；图像获取模块2，用于根据所述指令获取模块1获取的所述购买结束指令，获取被购后的当前商品分布图；商品统计模块3，用于根据所述图像获取模块2获取的所述被购后的当前商品分布图，统计得到被购后的当前商品信息列表；商品比对模块4，用于将所述商品统计模块3统计的所述被购后的当前商品信息列表与被购前的初始商品信息列表进行比对；购买统计模块5，用于根据所述商品比对模块4的比对结果，统计得到已被购买商品信息；货款获取模块6，用于根据所述购买统计模块5统计的所述已被购买商品信息，获取对应金额的货款。
具体的，在本实施例中，图像获取模块可以通过设置在售货柜每层顶部的一个或多个摄像头实现。指令获取模块、商品统计模块、商品比对模块、购买统计模块均可以通过写入软件的功能模块实现。货款获取模块可以通过支付宝、微信等免密支付扣款实现，或者通过银行卡读卡器、ic卡读卡器等实现，或者通过二维码生成器或者二维码扫描器实现，或者通过现金处理装置实现。指令获取模块获取购买结束指令；图像获取模块根据购买结束指令，获取被购后的当前商品分布图；商品统计模块根据被购后的当前商品分布图，统计得到被购后的当前商品信息列表；商品比对模块将被购后的当前商品信息列表与被购前的初始商品信息列表进行比对；购买统计模块根据比对结果，统计得到已被购买商品信息；货款获取模块根据已被购买商品信息，获取对应金额的货款。
在以上实施例的基础上，本发明还提供一个实施例，参照图6，还包括：样本图像获取模块7，用于获取每一件待销售样品的若干样本图像；标注模块8，用于对所述样本图像获取模块7获取的每一件所述样品的若干所述样本图像标注对应的商品类型以及商品信息；训练模块9，用于采用深度学习法对所述样本图像获取模块7获取的每一件所述样品的若干所述样本图像中的一部分所述样本图像进行训练；计算更新模块10，用于根据所述训练模块9的训练结果，更新第一算法模型以及第二算法模型；测试验证模块11，用于根据所述计算更新模块10计算得到的所述第一算法模型以及所述第二算法模型，对每一件所述样品的若干所述样本图像中的另一部分所述样本图像进行测试验证；图像特征提取模块12，用于根据所述测试验证模块11的测试结果提取每一件所述样品对应的样品图像特征；特征库建立模块13，用于根据所述标注模块8标注的每一件所述样品的所述属性、所述图像特征提取模块12提取的所述样品图像特征，建立特征库。
具体的，在本实施例中，样本图像获取模块可以通过摄像头实现。标注模块可以通过键盘、鼠标等输入装置实现。训练模块、计算更新模块、测试验证模块、图像特征提取模块、特征库建立模块均可以通过写入软件的功能模块实现。样本图像获取模块获取每一件待销售样品的若干样本图像；标注模块对每一件样品的若干样本图像标注对应的商品类型以及商品信息；训练模块采用深度学习法对每一件样品的若干样本图像中的一部分样本图像进行训练；计算更新模块根据训练结果，更新第一算法模型以及第二算法模型；测试验证模块根据第一算法模型以及第二算法模型，对每一件样品的若干样本图像中的另一部分样本图像进行测试验证；图像特征提取模块根据测试结果提取每一件样品对应的样品图像特征；特征库建立模块根据标注的每一件样品的商品类型、商品信息、样品图像特征，建立特征库。
在本实施例的另一个优选的实施方式中，还包括：图像分类模块14，用于根据所述计算更新模块10计算得到的所述第一算法模型，对所述图像获取模块2获取的所述被购后的当前商品分布图进行解析识别，分类得到所述被购后的当前商品分布图中若干当前商品的商品类型；所述图像特征提取模块12进一步用于根据所述计算更新模块10计算得到的所述第二算法模型，对所述图像获取模块2获取的所述被购后的当前商品分布图进行解析识别，提取所述被购后的当前商品分布图中所述若干当前商品的图像特征；图像特征比对模块15，用于根据所述图像分类模块14分类得到的若干所述当前商品的所述商品类型，将所述图像特征提取模块12提取的所述若干当前商品的所述图像特征与所述特征库中的所述样品图像特征进行比对，得到所述若干当前商品的所述商品信息；所述商品统计模块3进一步用于根据所述图像特征比对模块的比对结果，统计得到被购后的当前商品信息列表。
具体的，在本实施例中，图像分类模块、图像特征比对模块均可以通过写入软件的功能模块实现。图像分类模块根据第一算法模型，对被购后的当前商品分布图进行解析识别，分类得到被购后的当前商品分布图中若干当前商品的商品类型；图像特征提取模块根据第二算法模型，对被购后的当前商品分布图进行解析识别，提取被购后的当前商品分布图中若干当前商品的图像特征；图像特征比对模块根据若干当前商品的商品类型，将若干当前商品的图像特征与特征库中的样品图像特征进行比对，得到若干当前商品的的商品信息；商品统计模块根据比对结果，统计得到被购后的当前商品信息列表。
在本实施例的另一个优选的实施方式中，还包括：提示信息发送模块16，用于根据所述商品统计模块3统计的所述被购后的当前商品信息列表，发送提示信息。提示信息发送模块可以通过通讯装置实现，例如gprs通讯装置、4g通讯装置等。
在本系统中还包括柜门控制模块、柜门检测模块、商品更新模块(图中未标出)。柜门控制模块用于根据购买指令，解锁售货柜的柜门。柜门检测模块检测柜门是否打开后再关闭；当柜门打开再关闭后，柜门控制模块重新锁定售货柜的柜门。柜门控制模块可以通过磁性开关来实现。柜门检测模块可以通过限位开关或者接近开关来实现，也可以通过距离传感器来实现。商品更新模块用于将被购后的当前商品信息列表更新设置为被购前的初始商品信息列表。商品更新模块可以通过写入软件的功能模块实现。
本发明通过图像识别来统计售货柜中的商品信息，实现自动并准确统计客户实际购买详情，从而减少了商品的货损率，降低了经营成本损耗的目的。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本系统中各模块之间的信息交互、执行过程等内容与上述方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。