一种基于餐盘识别的智慧收银方法与流程

本发明涉及专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法的技术领域，特别涉及一种基于餐盘识别的智慧收银方法。

背景技术：

随着城市生活节奏的不断加快，越来越多的人通过餐厅解决饮食问题，而正是由于如此，食堂性质的餐厅、快餐连锁店陆续在各个城市落地、发展，这些类型的餐饮连锁一般采用自主挑选菜式、统一计算收银的模式作业。

现有技术中，食堂性质的餐厅、快餐连锁店的收银结算主要通过人工结算或芯片识别来完成。

对于人工结算来说，随着社会发展的加速，企业附近、各大高校机关的园区食堂的就餐人次越来越多，基于成本考虑，一般的餐厅并不会开设多条点选菜品及结算的通道，这导致结算效率非常低，在就餐高峰期更是由于结算速度过慢而导致取餐通道严重排队；进一步来说，人工结算的过程中对于就餐人员、结算人员和餐厅来说需要建立信任链，而对于结算金额的准确性把控往往需要适当放宽，这对于三者来说均存在产生误解或矛盾的隐患，并不利于餐厅的管理。

而对于芯片识别来说，除了传统的在餐盘内植入芯片外，还可以在餐盘上涂置二维码、条码等；就芯片识别来说，餐厅的运营成本较高，餐盘需要特别定制，同时如rfid技术等存在干扰、误读的可能性，事实上在结算的过程中出错的可能性也不小，且读码错误后，除了重新读之外无法纠错；而就编码识别来说，需要分别读码，条码易损，整体来说还是无形中增加了餐具的成本。

技术实现要素：

本发明解决了现有技术中，食堂性质的餐厅、快餐连锁店的收银结算主要通过人工结算或芯片识别，无法达到快捷、便利、错误率低、成本低的需求的问题，提供了一种优化的基于餐盘识别的智慧收银方法。

本发明所采用的技术方案是，一种基于餐盘识别的智慧收银方法，所述方法包括以下步骤：

步骤1：判断是否达到预设的更新时间t和/或存在更新批次的餐盘，若是，进行下一步，否则，t持续计时，进行步骤6；

步骤2：t清零；采集餐盘照片，将餐盘照片分为训练样本和测试样本；

步骤3：对训练样本和测试样本分别进行预处理，建立训练样本集和测试样本集；

步骤4：分批次将训练样本输入深度学习识别模型网络训练，直至得到稳定的识别模型网络；

步骤5：将测试样本集输入训练好的识别模型网络，若损失率低于阈值，则关联识别结果与价格，进行下一步，否则，返回步骤3；

步骤6：收银处采集待收银餐盘照片，对照片进行预处理，获得1个或多个餐盘的图像；

步骤7：将1个或多个餐盘的图像逐次输入当前识别模型网络，基于识别结果和对应的餐盘个数获得总价；

步骤8：用户确认无误，付款；

步骤9：若存在新的待收银信息，则返回步骤1，否则结束。

优选地，所述步骤3中，预处理包括以下步骤：

步骤3.1：取任一未处理样本，复制一次；

步骤3.2：取一份样本图像二值化，去除离散点；以canny算法得到边缘，根据边缘确定图像中心点，根据边缘的角点得到餐盘形状；

步骤3.3：将另一份样本图像调整至预设的亮度及对比度，获取cmyk模式的颜色组成百分比；

步骤3.4：将当前样本的图像中心点、餐盘形状和颜色组成百分比作为当前样本的特征进行标识；

步骤3.5：若已处理完所有样本，则建立训练样本集和测试样本集，否则，返回步骤3.1。

优选地，所述步骤3.2中，若边缘存在缺口，根据另一份样本图像判断为光斑或缺损；若为光斑，则根据边缘趋势将缺口补全，若为缺损，则以图像中心点为圆心建立xoy坐标，记录缺口点的坐标。

优选地，所述步骤4包括以下步骤：

步骤4.1：设置基础特征网络和检测网络，构建深度学习识别模型网络；

步骤4.2：设置学习率、损失函数和优化函数；

步骤4.3：分批次对训练样本进行数据扩增；

步骤4.4：分批次将数据扩增后的训练样本输入步骤4.1的模型网络，根据输出结果进行学习率调整，重复步骤4.4，直至得到稳定的识别模型网络。

优选地，所述基础特征网络为resnet分类网络，所述检测网络为ssd网络。

优选地，深度学习识别模型网络中，采用ssd网络作为主干网络，在多尺度的特征图上进行检测，在ssd网络的每一层连接处分别设置resnet分类网络中的残差结构。

优选地，所述优化函数为adam函数。

优选地，所述步骤4.3中，数据扩增为对训练样本进行旋转、翻转和裁剪后获得的新的训练样本。

优选地，步骤4中，输出结果为包括图像中心点、餐盘形状和颜色组成百分比的特征。

优选地，所述步骤6包括以下步骤：

步骤6.1：收银处采集待收银餐盘照片；

步骤6.2：将照片调整至预设的亮度及对比度；

步骤6.3：将步骤6.2调整后的图片二值化，去除离散点，以canny算法得到1个或多个餐盘的边缘；

步骤6.4：根据边缘将待收银餐盘照片分割为1个或多个餐盘的图像。

本发明提供了一种优化的基于餐盘识别的智慧收银方法，通过采集餐盘照片并分为训练样本和测试样本，对训练样本和测试样本分别进行预处理，分批次将训练样本输入深度学习识别模型网络训练，直至得到稳定的识别模型网络后，将测试样本集输入训练好的识别模型网络，若损失率低于阈值，则关联识别结果与价格，开始收银，与此同时计时开始；收银处采集待收银餐盘照片，对照片进行预处理，获得1个或多个餐盘的图像，逐次输入当前识别模型网络，基于识别结果和对应的餐盘个数获得总价，用户确认无误后付款；期间，不间断确认是否到达更新时间或更新批次，如果不需要更新则收银处继续正常作业即可。

本发明免去了人工结算的繁琐，采集一次餐盘图片信息并训练得到稳定的识别网络后，可以使用一段时间，每次使用时，只需要采集1个或多个餐盘的照片即可，结算效率高，不需要额外增设结算通道，单个通道最多只需配备一名工作人员引导即可，大大缓解排队情况，结算准确度高，依托于机器网络，最大程度避免了人工干涉，就餐人员、结算人员和餐厅间可能造成误解或矛盾的隐患小，便于餐厅管理；本发明同时也不需要定制餐盘，运营成本低，容错率高。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种基于餐盘识别的智慧收银方法，利用深度学习目标检测技术，让智能收银应用于更广泛的场景，相比传统收银，提高了结账效率，降低了收银的失误率，提高客户满意度，提高餐厅的运营效率和用户体验，降低店内的人员的劳务成本、培训成本和流失成本。

所述方法包括以下步骤。

步骤1：判断是否达到预设的更新时间t和/或存在更新批次的餐盘，若是，进行下一步，否则，t持续计时，进行步骤6。

本发明中，以更新时间t或出现更新批次的餐盘为更新标识，若更新标识不存在，则无需更新，直接进行下一次收银阶段的餐盘识别且t持续计时。

本发明中，一般情况下，更新时间t或出现更新批次的餐盘应同时被视为更新标识。

步骤2：t清零；采集餐盘照片，将餐盘照片分为训练样本和测试样本。

本发明中，如果收银与新一轮的训练同时进行，则采集餐盘照片的工作需要维持若干天。

本发明中，训练样本和测试样本的划分为随机。

步骤3：对训练样本和测试样本分别进行预处理，建立训练样本集和测试样本集。

所述步骤3中，预处理包括以下步骤。

步骤3.1：取任一未处理样本，复制一次。

步骤3.2：取一份样本图像二值化，去除离散点；以canny算法得到边缘，根据边缘确定图像中心点，根据边缘的角点得到餐盘形状。

所述步骤3.2中，若边缘存在缺口，根据另一份样本图像判断为光斑或缺损；若为光斑，则根据边缘趋势将缺口补全，若为缺损，则以图像中心点为圆心建立xoy坐标，记录缺口点的坐标。

本发明中，首先应该去除二值化后的样本图像中的离散点，实际上即是去噪，使得后续利用canny算法得到边缘的成功率更高，边缘的拟合度更好。

本发明中，一般情况下，餐盘为规则结构，故可以基于边缘获得图像中心点，并根据边缘的角点对应标记餐盘形状，如角点为0则为圆形餐盘、角点为3个则为三角形餐盘等。

本发明中，部分餐盘使用过一段时间后可能存在微小的缺陷，但事实上不影响使用，这种情况下的餐盘缺口会以边缘的形式呈现，取初始图像人工判断是否确实为缺陷，当为缺陷时，需要基于图像中心点标记缺陷的位置，便于训练和识别，而当此非缺陷，而是光斑时，为图像采集过程中的瑕疵，光斑一般不会太大，不涉及到遗漏角点的问题，此时按照正常的边缘将其补齐即可。

步骤3.3：将另一份样本图像调整至预设的亮度及对比度，获取cmyk模式的颜色组成百分比。

本发明中，为了保证训练过程中图像的基础参数一致，故在预处理过程中均需要将样本图像调整至预设的亮度及对比度。

本发明中，以cmyk模式对餐盘的颜色进行标定，cmyk可以较为准确的知道各种颜色的成分，当然，在实际操作过程中，rgb模式的颜色组成百分比也是可以被应用的。

步骤3.4：将当前样本的图像中心点、餐盘形状和颜色组成百分比作为当前样本的特征进行标识。

本发明中，以餐盘的形状和颜色作为主要的标识相，图像中心点主要用于在后续处理过程中的对准，以图像中心点可以获取餐盘的大小、缺口等信息。

步骤3.5：若已处理完所有样本，则建立训练样本集和测试样本集，否则，返回步骤3.1。

步骤4：分批次将训练样本输入深度学习识别模型网络训练，直至得到稳定的识别模型网络。

所述步骤4包括以下步骤：

步骤4.1：设置基础特征网络和检测网络，构建深度学习识别模型网络；

所述基础特征网络为resnet分类网络，所述检测网络为ssd网络。

深度学习识别模型网络中，采用ssd网络作为主干网络，在多尺度的特征图上进行检测，在ssd网络的每一层连接处分别设置resnet分类网络中的残差结构。

本发明中，基础特征网络主要包含vgg、inception、mobilenet、resnet，检测网络主要包括fasterrcnn、ssd、dssd、fssd；在考察vgg、inception、mobilenet和resnet后不难发现，vgg模型有500m，虽然网络简单有效，但是模型参数量过多，部署速度上存在瓶颈，inception引入了incp模块增加网络宽度，通过1*1的卷积减少参数，网络速度和效果中规中矩，mobilenet模型压缩，故参数较少，适合部署在手机等设备上，而resnet网络利用恒等映射，层次深不容易退化，并且准确率较高，比较适合部署在机柜上；在考察不同的检测网络的性能和准确率的过程中，fasterrcnn是two-stage的模型，选择rp数等于300，精度虽高，但是运行速度较慢，故主要考虑ssd算法，基于多尺度检测、不同尺度和比例的的默认框进行卷积预测，速度和精度能达到均衡；故最终选择了resnet与ssd对接的模型。

本发明中，构建深度学习识别模型网络，该模型的主干网络采用ssd网络在多尺度的特征图上做检测，并且在主干网络的每一层连接处分别设置resnet网络中的残差结构。

步骤4.2：设置学习率、损失函数和优化函数；

所述优化函数为adam函数。

本发明中，在超参数调整的过程中，主要需要对学习率、批次参数、优化函数进行一些调整，并且要考虑内存占用的问题，故优化函数选择adam函数。

步骤4.3：分批次对训练样本进行数据扩增；

所述步骤4.3中，数据扩增为对训练样本进行旋转、翻转和裁剪后获得的新的训练样本。

步骤4.4：分批次将数据扩增后的训练样本输入步骤4.1的模型网络，根据输出结果进行学习率调整，重复步骤4.4，直至得到稳定的识别模型网络。

本发明中，分批次对训练样本进行数据扩增，在有限的情况下增加数据的训练样本。

本发明中，数据扩增的方法包括但不限于随机对样本进行90°旋转、镜像翻转和固定尺度裁剪，将数据扩增之后的更大的训练样本集输入步骤模型网络中进行训练。

本发明中，调整的过程中学习率逐渐衰减。

本发明中，批次参数一般选择64。

步骤5：将测试样本集输入训练好的识别模型网络，若损失率低于阈值，则关联识别结果与价格，进行下一步，否则，返回步骤3。

步骤4中，输出结果为包括图像中心点、餐盘形状和颜色组成百分比的特征。

本发明中，关联输出结果与价格是指以图像中心点、餐盘形状和颜色组成百分比构成的特征与价格间的关联。

本发明中，事实上，亦可以基于tensorflow进行数据预处理、模型训练、模型搭配、模型固化、模型部署，效果良好稳定。

步骤6：收银处采集待收银餐盘照片，对照片进行预处理，获得1个或多个餐盘的图像。

所述步骤6包括以下步骤。

步骤6.1：收银处采集待收银餐盘照片。

本发明中，为了更好的进行图像划分，事实上用户可以使用托盘将1个或多个餐盘整合到一定范围的框内，亦可以便于归整餐盘的位置，便于取像及后续处理。

步骤6.2：将照片调整至预设的亮度及对比度。

步骤6.3：将步骤6.2调整后的图片二值化，去除离散点，以canny算法得到1个或多个餐盘的边缘。

步骤6.4：根据边缘将待收银餐盘照片分割为1个或多个餐盘的图像。

本发明中，步骤6.2-步骤6.4与训练过程中的预处理基本一致，主要是在预设的亮度及对比度的前提下，对餐盘进行识别和划分。

步骤7：将1个或多个餐盘的图像逐次输入当前识别模型网络，基于识别结果和对应的餐盘个数获得总价。

本发明中，将1个或多个餐盘的图像逐次输入模型网络后，基于识别结果与价格的关联，可以获得当前餐盘所盛放的菜品对应的单价，进而进行价格的累加。

步骤8：用户确认无误，付款。

步骤9：若存在新的待收银信息，则返回步骤1，否则结束。

本发明通过采集餐盘照片并分为训练样本和测试样本，对训练样本和测试样本分别进行预处理，分批次将训练样本输入深度学习识别模型网络训练，直至得到稳定的识别模型网络后，将测试样本集输入训练好的识别模型网络，若损失率低于阈值，则关联识别结果与价格，开始收银，与此同时计时开始；收银处采集待收银餐盘照片，对照片进行预处理，获得1个或多个餐盘的图像，逐次输入当前识别模型网络，基于识别结果和对应的餐盘个数获得总价，用户确认无误后付款；期间，不间断确认是否到达更新时间或更新批次，如果不需要更新则收银处继续正常作业即可。

本发明免去了人工结算的繁琐，采集一次餐盘图片信息并训练得到稳定的识别网络后，可以使用一段时间，每次使用时，只需要采集1个或多个餐盘的照片即可，结算效率高，不需要额外增设结算通道，单个通道最多只需配备一名工作人员引导即可，大大缓解排队情况，结算准确度高，依托于机器网络，最大程度避免了人工干涉，就餐人员、结算人员和餐厅间可能造成误解或矛盾的隐患小，便于餐厅管理；本发明同时也不需要定制餐盘，运营成本低，容错率高。