一种基于图像识别的货架陈列评分方法与流程

本发明涉及计算机领域，具体涉及一种基于图像识别的货架陈列检测方法及系统。

背景技术：

1、当前企业检查货架陈列时需要人工现场检查或通过照片人工核对货架陈列是否符合陈列要求，如：商品摆放次序，是否连续摆放，是否中间有空位等等。由于人工检查陈列情况，一方面需要耗费大量人力，另一方面由于计算规则复杂，人工检查时容易出错。为解决该问题，专利cn108549870a提出一种对物品陈列进行鉴别的方法及装置，该方法通过在货架上按照标准样式摆放物品，构建出模板图像，再通过图像识别技术对采集图像和模板图像中相同位置处的物品进行一致性比对。但是，该方案的模板图像构建过于繁琐，每更新一次摆放规则就需要对作为模板的货架重新摆放一次，若在摆放规则更新频繁或者货架很多的场景下，这样的方式工作量太大，且后续一致性比对计算过程比较复杂，难以部署在实际场景中。

技术实现思路

1、发明目的：本发明旨在提出一种基于图像识别的货架陈列检测方法及系统，能够基于图像识别技术实现货架陈列的自动化检测。

2、
技术实现要素：
为实现上述目的，本发明提出以下技术方案：

3、第一方面，提供了一种基于图像识别的货架陈列检测方法，包括：

4、基于预先设置的货架陈列方案，构建至少一个模板图像；

5、针对每一个所述模板图像，构建第一特征矩阵；所述第一特征矩阵为二进制矩阵，所述第一特征矩阵的元素位置表征所述模板图像中的物品位置，所述第一特征矩阵中元素的值表征相应物品是否具有所述货架陈列方案所规定的物品特征；

6、响应于用户的操作请求，采集目标货架图像；

7、基于所述目标货架图像，构建原始特征矩阵；所述原始特征矩阵中元素位置表征目标货架中的物品位置，所述原始特征矩阵中元素的值表征相应物品的物品特征；

8、以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；

9、确定所述第二特征矩阵与所述第一特征矩阵的相似度；

10、基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案。

11、作为第一方面所述方法的一种可选实施方式，基于所述目标货架图像构建所述原始特征矩阵，具体包括：

12、对所述目标货架图像中的物品进行目标检测，将每个检测框的中心点坐标作为相应物品的二维位置坐标；

13、若相邻的两个物品的纵坐标之差小于预设的第一阈值，则将所述两个物品作为同一行，若相邻的两个物品的横坐标之差小于预设的第二阈值，则将所述两个物品作为同一列；至此，得到所述原始特征矩阵中各元素与所述目标货架中的物品位置的对应关系；

14、对所述每个检测框中的物品进行特征提取，将提取出的特征作为所述原始特征矩阵中相应位置的元素的值；

15、将所述原始特征矩阵中未赋值的元素设置为0，得到所述原始特征矩阵。

16、进一步的，以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，具体包括：

17、遍历所述原始特征矩阵中的元素，将每一个元素的值与所述货架陈列方案所规定的物品特征进行比对，若所述元素的值对应的物品特征与所述货架陈列方案所规定的物品特征一致，则将相应元素的值设置为1；若不一致，则将相应元素的值设置为0。

18、作为第一方面所述方法的一种可选实施方式，所述第一特征矩阵为单特征矩阵，确定所述第二特征矩阵与所述第一特征矩阵之间的相似度，具体包括：

19、将所述第二特征矩阵进行切片，得到与所述第一特征矩阵的行和列一致的第一子矩阵；

20、针对每一个所述第一矩阵，确定所述第一子矩阵与所述第一特征矩阵之间的子相似度；

21、将所述第一子矩阵与所述第一特征矩阵的子相似度的最大值作为所述第二特征矩阵与所述第一特征矩阵之间的相似度。

22、进一步的，所述第一子矩阵与所述第一特征矩阵之间的子相似度采用以下计算方式得到：

23、

24、其中，表示第一特征矩阵，表示由所述第二特征矩阵切片得到的第个第一子矩阵，表示第一特征矩阵与第一子矩阵之间的相似度。

25、作为第一方面所述方法的一种可选实施方式，所述第一特征矩阵为组合特征矩阵，确定所述第二特征矩阵与所述第一特征矩阵之间的相似度，具体包括：

26、将所述第一特征矩阵分解为相同大小的单特征矩阵；

27、将所述第二特征矩阵进行切片，得到与所述单特征矩阵的行和列一致的第二子矩阵；

28、针对每一个所述第二子矩阵，计算该第二子矩阵与各个单特征矩阵之间的子相似度；若该第二子矩阵与各个单特征矩阵之间的子相似度均大于预设的第三阈值，则取该第二子矩阵与各个单特征矩阵之间的子相似度的平均值，作为该第二子矩阵与所述第一特征矩阵的相似度；否则，将该第二子矩阵与所述第一特征矩阵的相似度设置为0；

29、选取所述第二子矩阵与所述第一特征矩阵的相似度的最大值，作为所述第二特征矩阵与所述第一特征矩阵之间的相似度。

30、作为第一方面所述方法的一种可选实施方式，基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案，具体包括：

31、针对每一个所述第一特征矩阵，设置权重系数；

32、将所述第二特征矩阵与所述第一特征矩阵的相似度与所述权重系数进行加权求和，得到所述目标货架中物品陈列情况与所述货架陈列方案之间的匹配度；

33、若所述匹配度大于预设的第四阈值，则确定所述目标货架中物品陈列符合所述货架陈列方案，否则，确定所述目标货架中物品陈列不符合所述货架陈列方案。

34、进一步的，所述方法还包括：

35、当确定所述目标货架中物品陈列不符合所述货架陈列方案时，生成告警信息。

36、第二方面，提供了一种基于图像识别的货架陈列检测系统，包括：

37、第一数据获取模块，配置为获取用户输入的货架陈列方案；

38、第二数据获取模块，配置为响应于用户的操作请求，获取目标货架图像；

39、第一生成模块，配置为基于所述货架陈列方案，构建至少一个模板图像；以及针对每一个所述模板图像，构建第一特征矩阵；所述第一特征矩阵为二进制矩阵，所述第一特征矩阵的元素位置表征所述模板图像中的物品位置，所述第一特征矩阵中元素的值表征相应物品是否具有所述货架陈列方案所规定的物品特征；

40、第二生成模块，配置为基于所述目标货架图像，构建原始特征矩阵；所述原始特征矩阵中元素位置表征目标货架中的物品位置，所述原始特征矩阵中元素的值表征相应物品的物品特征；以及，以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；

41、第一计算模块，配置为确定所述第二特征矩阵与所述第一特征矩阵的相似度；

42、第二计算模块，配置为基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案。

43、作为第二方面所述系统的一种可选实施方式，所述系统还包括：

44、告警模块，配置为当确定所述目标货架中物品陈列不符合所述货架陈列方案时，生成告警信息。

45、有益效果：与现有技术相比，本发明具有以下优势：

46、本发明基于图像识别技术，采集目标货架图像，并将目标货架图像编码为二进制矩阵，同时，将货架陈列方案也转换为二进制矩阵，从而将货架陈列情况的检查转换成求解矩阵相似度的问题。基于相似度计算，即可获知货架陈列是否符合货架陈列方案的规定，相较于人工检测，本方案方便快捷、效率高、准确率高，能够节省大量的人工成本。