一种适用于遮挡条件下的餐盘形状识别方法
【专利摘要】本发明公开了一种适用于遮挡条件下的餐盘形状识别方法，该方法首先利用基于不同弧段迭代的最小二乘法拟合与改进DBSCAN和IOSDATA聚类算法融合对相互遮挡的重叠餐盘目标进行有效的提取和分离。其次，根据椭圆中心对称性质对餐盘目标缺失边缘进行有效的复原。然后，根据复原的边缘信息和分离得到的餐盘中心利用最小二乘法拟合检测得到遮挡条件下的各个餐盘目标。最后，获取各个餐盘目标完整的几何特征来进行餐盘形状判别。解决了遮挡带来的边缘信息缺失以及目标重叠问题，能够有效地对缺失的边缘信息进行复原，并且准确分离重叠餐盘目标，提高了餐盘识别的准确性，并且算法实现简单，运算效率高，实时性强。
【专利说明】
一种适用于遮挡条件下的餐盘形状识别方法
技术领域
[0001] 本发明涉及快餐识别领域，特别是一种适用于遮挡条件下的餐盘形状识别方法。
【背景技术】
[0002] 随着现代生活水平的提高，人们的消费需求也在不断发展，越来越多的食堂采用 自助选菜、人工结算、刷卡支付的就餐方式。传统自助选菜式的食堂，随着就餐人流量不断 增长，在消费高峰时段，结算处经常人满为患形成"长龙"。工作人员一般通过餐盘形状和颜 色来判断顾客选取的菜品及价格，考虑到就餐高峰期的人流量和人工劳动力的局限，时常 会出现工作人员结算消费金额出错，引起不必要的经济纠纷和损失，降低了服务水平。随着 科学技术的进步，智能化食堂的建设显得尤其重要，而餐盘识别作为智能化食堂建设的关 键内容，受到越来越多的关注。
[0003] 为了能够有效地通过计算机对消费的菜品进行分析，从而优化食堂菜品的管理， 推行自助式的智慧餐盘就具有一定的必要性了。餐盘自动识别作为食堂的智能化管理中关 键的技术部分，受到越来越多的关注。通过查找专利和论文发现，餐盘识别有利用RFID射频 芯片和基于图像处理两种方式。这两种餐盘识别方法都可以自动识别餐盘并获取相关数 据，识别无须人工干预，操作快捷方便，极大地提升了结算效率。但是就目前的餐盘识别技 术来说，还存在局限性。RFID餐盘的使用需要许多的注意事项，安装使用的成本比较高;基 于图像的餐盘识别目前来说研究较少，精度和准确度还不高，受外界环境的影响较大。但是 相对于RFID餐盘来说，其成本相对较小，安装便捷，在今后的研究和应用中，前景更加广阔。 浙江科技学院申请的"一种餐饮自动结算系统和方法"（公开号：CN103208156A)，利用餐盘 最小外接圆与最小外接矩形的比值判断餐盘形状，通过餐盘边缘颜色的Η分量判断餐盘颜 色，通过Η分量颜色和餐盘形状来识别不同餐盘，这种方法对于餐盘的位置摆放必须有严格 限制，摆放不正或者出现遮挡都无法识别餐盘;成都博约创信科技有限责任公司申请的"一 种基于图像识别技术的结算方法"（公开号：CN103632463A)利用矩阵的方式进行餐盘价格 计算，其中手动输入不同餐盘单价矩阵，对利用图像处理识别的餐盘信息生成消费举证，通 过整两个矩阵的运算得到消费总额，该专利中并没有交待如何通过图像处理技术识别餐 盘；上海海事大学申请的"基于颜色识别的餐盘自动计价方法及其系统"（公开号： CN103971471A)，通过摄像头采集餐盘底部颜色信息来识别不同餐盘进行计价，这种方法需 要搭建特殊的检测平台，同时，在实际场景中，如果需要采集底部颜色信息就需要将消费者 手中的餐盘放置在专门的设备上，增加了结算时间，并不能有效提高结算效率。
[0004] 虽然目前已经存在利用图像处理技术来自动识别餐盘，但是，实际就餐环境中，因 餐盘摆放区域的限制，图像中经常存在餐盘目标相互遮挡的问题，会造成多个餐盘目标重 叠为单个目标，或单个餐盘目标边缘信息缺失，导致现有的餐盘识别方法不能进行有效识 另IJ。因此，如何准确高效地利用数字图像处理技术在实际环境中对遮挡的餐盘进行自动识 别显得尤为重要。
【发明内容】
[0005] 本发明的目的是提出一种适用于遮挡条件下的餐盘形状识别方法，涉及基于图像 处理技术的遮挡下的形状检测识别方法，该方法解决了遮挡条件下餐盘目标边缘相互连接 导致无法分离和提取餐盘目标的问题，有效地获取了因遮挡丢失的边缘信息
[0006] 本发明的目的是通过以下技术方案来实现的：
[0007] 本发明提供的适用于遮挡条件下的餐盘形状识别方法，包括以下步骤：
[0008] S1:获取餐盘图像；
[0009] S2:利用基于不同弧段迭代的最小二乘法拟合与改进DBSCAN和I0SDATA聚类算法 融合对餐盘图像中相互遮挡的重叠餐盘目标进行有效的提取和分离；
[001 0] S3:根据椭圆中心对称性质对餐盘目标缺失边缘进行有效的复原；
[0011] S4:根据复原的边缘信息和分离得到的餐盘中心利用最小二乘法拟合检测得到遮 挡条件下的各个餐盘目标；
[0012] S5:获取各个餐盘目标完整的几何特征来进行餐盘形状判别。
[0013] 进一步，所述步骤S2中的餐盘目标的提取和分离，具体包括以下步骤：
[0014] S21:将餐盘图像由彩色三通道的RGB图像转换为HSV空间的三通道图，获取亮度V 通道图像；
[0015] S22:高斯滤波去除餐盘图像中的部分噪声；
[0016] S23:利用Canny检测算子提取图像边缘信息并进行形态学滤波增强边缘连续性；
[0017] S24:设定几何特征阈值匹配餐盘最外边缘轮廓并存储所有边缘点信息；
[0018] 进一步，所述步骤S3中的餐盘目标缺失边缘复原过程，具体包括以下步骤：
[0019] S31:设置不同宽度的弧段进行最小二乘法迭代拟合获取椭圆目标中心；
[0020] S32:根据拟合中心分布情况通过改进的DBSCAN和I0SDATA多重聚类算法对拟合中 心进行聚类；
[0021 ] S33:根据中心对称性质对餐盘边缘信息和聚类中心获取缺失边缘信息。
[0022]进一步，所述步骤S4中的遮挡餐盘目标分离过程，具体包括以下步骤：
[0023] S41:判断对应弧段拟合的椭圆中心是否落入聚类中心设定阈值范围，如果满足该 弧段视为目标中心边缘信息；
[0024] S42:根据聚类中心对应的边缘信息进行最小二乘法拟合，获取椭圆餐盘目标。
[0025]进一步，所述步骤S5中的餐盘形状判别，具体包括以下步骤：
[0026] S51:依次提取餐盘目标的几何特征；
[0027] S52:获取餐盘目标的面积、周长和长宽比；
[0028] S53:根据面积阈值、周长阈值和长宽比阈值判别餐盘目标类型。
[0029] 由于采用了上述技术方案，本发明具有如下的优点：
[0030] 本发明提供的基于缺失边缘信息复原的遮挡餐盘形状识别方法，利用较完整的边 缘信息拟合并分离出相互遮挡的餐盘目标进行识别的方法;该方法利用基于不同弧段迭代 的最小二乘法拟合与改进DBSCAN和I0SDATA聚类算法融合对相互遮挡的重叠餐盘目标进行 有效的提取和分离。其次，根据椭圆中心对称性质对餐盘目标缺失边缘进行有效的复原。然 后，根据复原的边缘信息和分离得到的餐盘中心利用最小二乘法拟合检测得到遮挡条件下 的各个餐盘目标。最后，获取各个餐盘目标完整的几何特征来进行餐盘形状判别。解决了遮 挡带来的边缘信息缺失以及目标重叠问题，能够有效地对缺失的边缘信息进行复原，并且 准确分离重叠餐盘目标，提高了餐盘识别的准确性，并且算法实现简单，运算效率高，实时 性强。
[0031] 本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并 且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可 以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和 获得。
【附图说明】
[0032] 本发明的【附图说明】如下。
[0033]图1为餐盘识别算法流程图。
[0034]图2为餐盘拍摄平台示意图。
[0035]图3为餐盘目标的几何特征匹配自动识别流程图。
【具体实施方式】
[0036]下面结合附图和实施例对本发明作进一步说明。
[0037] 实施例1
[0038]如图所示，本实施例提供的适用于遮挡条件下的餐盘形状识别方法，包括以下步 骤：
[0039] S1:获取餐盘图像；
[0040] S2:利用基于不同弧段迭代的最小二乘法拟合与改进DBSCAN和I0SDATA聚类算法 融合对餐盘图像中相互遮挡的重叠餐盘目标进行有效的提取和分离;具体包括以下步骤： [0041 ] S21:将餐盘图像由彩色三通道的RGB图像转换为HSV空间的三通道图，获取亮度V 通道图像；
[0042] S22:高斯滤波去除餐盘图像中的部分噪声；
[0043] S23:利用Canny检测算子提取图像边缘信息并进行形态学滤波增强边缘连续性；
[0044] S24:设定几何特征阈值匹配餐盘最外边缘轮廓并存储所有边缘点信息；
[0045] S3:根据椭圆中心对称性质对餐盘目标缺失边缘进行有效的复原；具体包括以下 步骤：
[0046] S31:设置不同宽度的弧段进行最小二乘法迭代拟合获取椭圆目标中心；
[0047] S32:根据拟合中心分布情况通过改进的DBSCAN和I0SDATA多重聚类算法对拟合中 心进行聚类；
[0048] S33:根据中心对称性质对餐盘边缘信息和聚类中心获取缺失边缘信息。
[0049] S4:根据复原的边缘信息和分离得到的餐盘中心利用最小二乘法拟合检测得到遮 挡条件下的各个餐盘目标;具体包括以下步骤：
[0050] S41:判断对应弧段拟合的椭圆中心是否落入聚类中心设定阈值范围，如果满足该 弧段视为目标中心边缘信息；
[0051] S42:根据聚类中心对应的边缘信息进行最小二乘法拟合，获取椭圆餐盘目标。
[0052] S5:获取各个餐盘目标完整的几何特征来进行餐盘形状判别，具体包括以下步骤：
[0053] S51:依次提取餐盘目标的几何特征；
[0054] S52:获取餐盘目标的面积、周长、长宽比；
[0055] S53:根据面积阈值、周长阈值、长宽比阈值判别餐盘目标类型。
[0056] 实施例2
[0057] 本实施例通过摄像头获取餐盘原始图像。当前图像可以由摄像机或者摄像头进行 拍摄获取。为更好获取固定视角图片，给出了餐盘拍摄平台示意图，如图2所示，图2为餐盘 拍摄平台不意图；图2中拍摄沮围的长尾48.5厘米，宽为37厘米;摄像头距尚拍摄沮围的距 离为43厘米。
[0058]步骤一:对亮度图像进行边缘检测，获取完整的餐盘边缘信息，主要包括以下几个 方面：
[0059] 2)彩色三通道的RGB图像转换HSV空间的三通道图，获取亮度V通道图像；
[0060] 3)对亮度图进行利用Gauss函数对图像滤波去除图像噪声，平滑图像；
[0061]
[0062] 其中，g[i，j]表示高斯核函数的值，i表示空间中任意一点，j表示高斯核函数的中 心点。
[0063] 4)采用双阈值的Canny算法检测边缘，凡是边缘强度小于低阈值的像素点一定不 是边缘特征点;边缘强度介于低阈值和高阈值之间的像素点，则要看其邻接像素中是否有 超过高阈值的像素点，若有，则该像素是边缘特征，反之，则该像素点不是边缘特征点。
[0064] 5)进行形态学滤波增强边缘的连续性；
[0065] 6)查找最外边缘轮廓，设置边缘长度和面积阈值消除干扰边缘；
[0066] 7)存储所有有效边缘点信息。
[0067] 步骤二:根据中心对称性质对已有边缘信息进行缺失边缘信息复原，主要包括以 下几个方面：
[0068] 1)在获取的N个边缘点信息中选取m个像素点和112个像素点为宽度的弧段进行最 小二乘法的椭圆拟合，其中m辛n2，其中每次选取的m个点分别是：
[0069] 1~m，2~m+1，···N-ru+l~N,…，N~ru-l，一共进行N次最小二乘法拟合，得到N个 圆心;其中，η的取值至少是5，因为最小二乘拟合椭圆至少需要5个边缘点信息；
[0070] 2)创建一个与图像大小一致的累加阵列用来存放拟合得到的椭圆中心位置，每进 行一次椭圆拟合得到的椭圆中心，依照中心在图像中的坐标位置(Xi，yi)就在该阵列相对应 的xi行yi列处累加一个基本单位。
[0071] 3)利用灰度图反映累加阵列的结果，其中，累加阵列的一个基本单位等同于单位 灰度值，相应的拟合椭圆中心在灰度图中对应坐标位置的像素值就是其在累加阵列中被累 加的次数。值得注意的是，灰度图的像素最大值为255,超过255次累加的拟合椭圆中心在灰 度图中的灰度值表示为255。
[0072] 4)拟合椭圆中心灰度图进行的二值化处理，设置一个阈值T，如果灰度图中某一点 的像素值高于阈值T，则灰度值置为255，否则置为0。得到一张更接近实际椭圆中心分布的 灰度图。
[0073] 5)对拟合椭圆中心进行DBSCAN和I0SDATA聚类，获取实际椭圆中心点Centen， Center〗…Centeri。具体过程如下；
[0074]①计算每一个圆心点的局部密度pjP高于该点密度的最小距离。
[0075] 局部密度定义公式
[0076] 其中，当dij-dc<0，x(dij-dc) = 1，否则x(dij-dc) =0。这里dij为该点i至I」其他点j之 间的距离，dc是一个截断距离，即设置为所有点的相互距离中由小到大排列占总数2%的位 置距离数值。
[0077] 距离定义公式
[0078] 其中，比i点密度高的所有点的最近距离表示δ,。对于最大密度的点其为所有点与 点距离的最大值5i=maxj(dij) 〇
[0079] ②将所有点的密度值按照由高到低排列，设置阈值δηιη和pmin，如果同时满足Pl> Pmin和δi > 5min，则判断为聚类中心点。
[0080] ③设置聚类分析控制参数，主要包括:期望聚类数K;每个聚类中最少样本数ΘΝ，一 个聚类域中样本距离分布的标准差θ8;两聚类中心之间的最小距离Θ。，可以合并的聚类中心 的最多对数L，允许迭代的次数I。
[0081] ④利用相似度准则进行聚类分析，自适应的进行聚类的合并与分裂。
[0082]⑤由于IS0DATA算法作为无监督学习算法，经过设定的迭代次数得到合理的聚类 结果，同时它能够汲取获得过程中的经验，利用在之后的迭代过程，最终可以获得理想的聚 类中心，即实际餐盘图像中椭圆餐盘的目标中心。
[0083] 6)通过聚类中心和部分边缘信息利用中心对称的性质获取对称的边缘信息；
[0084] 椭圆中心对称几何性质：如果Pi(xi，yi)、Pi'（Xi'，yi'）是以Po(xo，y())中心对称的两 个点，则其坐标满足下式：
[0085]
[0086] 其中，Pi(xi，yi)表示椭圆中心点;Pi'（Xi'，yi'）与Po(XQ，y())表示椭圆边缘上中心对 称的任意两点；
[0087] 因此，根据上式可以求的中心对称边缘坐标P, '（Xl '，yi '）：
[0088]
[0089] 步骤三:利用中心距离阈值进行遮挡餐盘目标分离，主要包括以下几个方面：
[0090] 1)判断对应弧段拟合的椭圆中心是否落入聚类中心设定阈值范围，如果满足该弧 段视为目标中心边缘信息；
[0091] 2)根据聚类中心对应的边缘信息进行最小二乘法拟合，获取椭圆餐盘目标；
[0092] 步骤四：餐盘目标形状识别，主要包括以下几个方面：
[0093] 1)依次提取餐盘目标的几何特征；
[0094] 2)获取餐盘目标的面积、周长、长宽比；
[0095] 3)根据面积阈值、周长阈值、长宽比阈值判别餐盘目标类型；
[0096] 根据分离提取的每一个餐盘目标结果，利用餐盘目标的几何特征匹配来进行餐盘 形状的自动识别。对不同类型的餐盘采样设定出面积和周长阈值，通过对目标餐盘的面积、 周长进行阈值范围内的判别识别形状，具体流程图如图3所示。
[0097]最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较 佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技 术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明 的权利要求范围当中。
【主权项】
1. 一种适用于遮挡条件下的餐盘形状识别方法，其特征在于:包括以下步骤： S1:获取餐盘图像； S2:利用基于不同弧段迭代的最小二乘法拟合与改进DBSCAN和IOSDATA聚类算法融合 对餐盘图像中相互遮挡的重叠餐盘目标进行有效的提取和分离； S3:根据椭圆中心对称性质对餐盘目标缺失边缘进行有效的复原； S4:根据复原的边缘信息和分离得到的餐盘中心利用最小二乘法拟合检测得到遮挡条 件下的各个餐盘目标； S5:获取各个餐盘目标完整的几何特征来进行餐盘形状判别。2. 如权利要求1所述的适用于遮挡条件下的餐盘形状识别方法，其特征在于:所述步骤 S2中的餐盘目标的提取和分离，具体包括以下步骤： S21:将餐盘图像由彩色三通道的RGB图像转换为HSV空间的三通道图，获取亮度V通道 图像； S22:高斯滤波去除餐盘图像中的部分噪声； S23:利用Canny检测算子提取图像边缘信息并进行形态学滤波增强边缘连续性； S24:设定几何特征阈值匹配餐盘最外边缘轮廓并存储所有边缘点信息。3. 如权利要求1所述的适用于遮挡条件下的餐盘形状识别方法，其特征在于:所述步骤 S3中的餐盘目标缺失边缘复原过程，具体包括以下步骤： S31:设置不同宽度的弧段进行最小二乘法迭代拟合获取椭圆目标中心； S32:根据拟合中心分布情况通过改进的DBSCAN和IOSDATA多重聚类算法对拟合中心进 行聚类； S33:根据中心对称性质对餐盘边缘信息和聚类中心获取缺失边缘信息。4. 如权利要求1所述的适用于遮挡条件下的餐盘形状识别方法，其特征在于:所述步骤 S4中的遮挡餐盘目标分离过程，具体包括以下步骤： S41:判断对应弧段拟合的椭圆中心是否落入聚类中心设定阈值范围，如果满足该弧段 视为目标中心边缘信息； S42:根据聚类中心对应的边缘信息进行最小二乘法拟合，获取椭圆餐盘目标。5. 如权利要求1所述的适用于遮挡条件下的餐盘形状识别方法，其特征在于:所述步骤 S5中的餐盘形状判别，具体包括以下步骤： S51:依次提取餐盘目标的几何特征； S52:获取餐盘目标的面积、周长和长宽比； S53:根据面积阈值、周长阈值和长宽比阈值判别餐盘目标类型。
【文档编号】G06T7/00GK105976407SQ201610338486
【公开日】2016年9月28日
【申请日】2016年5月20日
【发明人】孙棣华, 赵敏, 陈丽
【申请人】重庆大学