一种基于目标检测的货架管理方法、系统、终端及介质与流程

本发明涉及货架管理领域，尤其涉及一种基于目标检测的货架管理方法、系统、终端及介质。

背景技术：

1、货架作为商品的展示的主要手段，其摆放的合理性以及铺满率对商品销售影响很大，特别是在快消领域中，容易出现较长时间内货架某些位置存在置空状态，或者存在较多的空位，这不仅仅降低商品的铺满率，同时导致货物的库存积压，最终影响货物的销售情况。货架的摆放状态是否合理得当，在过去主要是依赖于业务员实地货架查看或者远程摄像头查看，这个过程不仅耗时耗力，效率低，而且无法及时跟踪货架的实际情况，实现动态调整补货策略，发挥货架展示的最大效用。

2、现有的技术方案中，只是针对货架排面的空位进行统计，难以获取到空位的sku置放量，快消企业无法及时了解准确的货架摆放状态。

技术实现思路

1、本发明实施例提供一种基于目标检测的货架管理方法、系统、终端及介质，考虑商品框和空位框的重叠程度不同对货架空位的影响，分别分析不同重叠程度的第一商品框与货架空位置放量的关系，以提升货架空位置放量的评估准确性。

2、为了解决上述技术问题，本发明实施例提供了一种基于目标检测的货架管理方法，包括：

3、对实时获取的货架图像进行目标检测，获得所述货架图像内的多个第一商品框和多个第一空位框、以及各所述第一商品框的第一位置信息和各所述第一空位框的第二位置信息；其中，所述第一商品框为货架上的sku的最小外接矩形；

4、将与任意一个所述第一空位框的交并比小于或等于第一阈值的所述第一商品框，作为第二商品框，根据所有所述第一位置信息和所有所述第二位置信息，对所有所述第一商品框和所有所述第一空位框进行分层，并分析每一层的宽度参考量；其中，所述每一层的宽度参考量为货架上每一层的所有所述第二商品框的宽度的中位数；

5、根据各所述第一空位框所在层的宽度参考量，计算货架空位的sku总置放量，当所述sku总置放量大于第二阈值时，向监控平台反馈提醒信号和所述sku总置放量。

6、实施本发明实施例，对实时获取的货架图像进行目标检测，以初步识别出货架上的sku和空位，并获得货架图像内的多个第一商品框和多个第一空位框、以及各个第一商品框的第一位置信息和各个第一空位框的第二位置信息，然后由于物体离照相机镜头越远，物体在照片上所成的像越小，而货架内的部分sku可能会放置在靠里的位置，因此在对货架拍摄而得到的货架图像中，这部分sku对应的第一商品框与第一空位框的重叠部分较少，于是将与任意一个第一空位框的交并比小于或等于第一阈值的第一商品框，作为与第二商品框，根据所有第一位置信息和所有第二位置信息，对所有第一商品框和所有第一空位框进行分层，并分析货架上每一层的所有第二商品框的宽度的中位数，作为每一层的宽度参考量，接着根据各个第一空位框所在层的宽度参考量，计算货架空位的sku总置放量，通过上述筛选手段，能够基于第一空位框与第一商品框的交互比，准确地分析第一空位框与第一商品框的重叠程度，进而过滤掉与第一空位框的重叠较多的第一商品框，仅选取与第一空位框的重叠较少的第一商品框作为与第二商品框，并基于货架上每一层的所有第二商品框的宽度的中位数，计算货架空位的sku总置放量，能够分别分析不同重叠程度的第一商品框与货架空位置放量的关系，进而得到更为准确的货架空位的sku总置放量，以便动态跟踪货架的空位状态。此外，当sku总置放量大于第二阈值时，向监控平台反馈提醒信号和sku总置放量，可以及时提醒监控平台的管理人员或者使用监控平台的快消企业的工作人员快速了解货架的当前货架摆放状态和实际销售状况并做出正确的决策。

7、作为优选方案，所述将与任意一个所述第一空位框的交并比小于或等于第一阈值的所述第一商品框，作为第二商品框，根据所有所述第一位置信息和所有所述第二位置信息，对所有所述第一商品框和所有所述第一空位框进行分层，并分析每一层的宽度参考量，具体为：

8、获取所述第一商品框与所述第一空位框的交并比，然后选取交并比大于第一阈值的所述第一商品框作为第二商品框，选取交并比小于或等于所述第一阈值的所述第一商品框作为第三商品框，并将与各所述第二商品框的交并比大于所述第一阈值的所述第一空位框，作为各所述第二商品框对应的第二空位框；

9、从所有所述第一位置信息中获取各所述第三商品框的纵坐标最大值，并从所有所述第二位置信息中获取各所述第一空位框的纵坐标最大值，然后根据所述第一空位框的纵坐标最大值和所述第三商品框的纵坐标最大值从大到小的顺序，以此同时对所有所述第一空位框和所有所述第三商品框进行排序，获得第一排序结果；

10、根据所述第一排序结果依次遍历每一个第一空位框和每一个第三商品框，将当前遍历框的纵坐标最大值与货架上每一层的预设纵坐标范围进行对比，若当前遍历框的纵坐标最大值在货架上任意一层的预设纵坐标范围内，则确定当前遍历框所在层为当前预设纵坐标范围所对应层，以完成对所有所述第一空位框和所有所述第三商品框的分层；

11、从所有所述第一空位框的分层结果中，获取所有所述第二空位框的分层结果，并将各所述第二空位框的分层结果赋值给各所述第二空位框对应的所述第二商品框，以确定各所述第二商品框所在层；

12、根据所有所述第一位置信息和所有所述第二位置信息，分析货架上每一层的宽度参考量。

13、实施本发明实施例的优选方案，获取第一商品框与第一空位框的交并比，然后选取交并比大于第一阈值的第一商品框作为第二商品框，选取交并比小于或等于第一阈值的第一商品框作为第三商品框，并将与各个第二商品框的交并比大于第一阈值的第一空位框，作为各个第二商品框对应的第二空位框，然后根据第一空位框的纵坐标最大值和第三商品框的纵坐标最大值从大到小的顺序，以此同时对所有第一空位框和所有第三商品框进行排序，获得第一排序结果，并根据第一排序结果依次遍历每一个第一空位框和每一个第三商品框，将当前遍历框的纵坐标最大值与货架上每一层的预设纵坐标范围进行对比，若当前遍历框的纵坐标最大值在货架上任意一层的预设纵坐标范围内，则确定当前遍历框所在层为当前预设纵坐标范围所对应层，使得满足每一层的预设纵坐标范围的空位框和第三商品框能够准确分配到货架的对应层，并且从所有第一空位框的分层结果中，获取所有第二空位框的分层结果，将各个第二空位框的分层结果赋值给各个第二空位框对应的所述第二商品框，以完成对货架图像内的所有第一空位框、所有第二商品框和所有第三商品框的分层。

14、作为优选方案，所述根据所有所述第一位置信息和所有所述第二位置信息，分析货架上每一层的宽度参考量，具体为：

15、从所有所述第一位置信息中获取各所述第二商品框的横坐标最大值和横坐标最小值、以及各所述第三商品框的横坐标最大值和横坐标最小值，然后将各所述第二商品框的横坐标最大值与各所述第二商品框的横坐标最小值相减，获得各所述第二商品框的宽度，并将各所述第三商品框的横坐标最大值与各所述第三商品框的横坐标最小值相减，获得各所述第三商品框的宽度；

16、遍历货架上的每一层，将当前遍历层的所有所述第二商品框的宽度和当前遍历层的所有所述第三商品框的宽度进行升序或者降序处理，并选取排序结果中的中位数，作为当前遍历层的宽度参考量。

17、实施本发明实施例的优选方案，分别根据各个第二商品框和各个第三商品框的位置信息，分析计算各个第二商品框和各个第三商品框的宽度，然后遍历货架上的每一层，将当前遍历层的所有第二商品框的宽度和当前遍历层的所有第三商品框的宽度进行升序或者降序处理，并选取排序结果中的中位数，作为当前遍历层的宽度参考量，排序结果中的中位数能够描述当前遍历层的商品框的宽度的集中趋势，通过将该中位数作为宽度参考量，可以避免极端数据的影响，进一步提高sku总置放量的准确度。

18、作为优选方案，所述根据各所述第一空位框所在层的宽度参考量，计算货架空位的sku总置放量，当所述sku总置放量大于第二阈值时，向监控平台反馈提醒信号和所述sku总置放量，具体为：

19、从所有所述第一位置信息中获取各所述第二商品框的纵坐标最大值，并从所有所述第二位置信息中获取各所述第二空位框的纵坐标最大值、以及各所述第一空位框的横坐标最大值和横坐标最小值，然后分别将各所述第二空位框的纵坐标最大值与各所述第二空位框对应的所述第二商品框的纵坐标最大值相减，获得各所述第二空位框对应的底部偏差值；

20、基于各所述第二空位框对应的底部偏差值，判定各所述第一空位框的空位类型，然后根据各所述第一空位框的空位类型、各所述第一空位框的横坐标最大值和横坐标最小值、以及各所述第一空位框所在层的宽度参考量，分别计算各所述第一空位框的sku置放量；

21、将所有所述第一空位框的sku置放量相加，获得货架空位的sku总置放量；

22、当所述sku总置放量大于第二阈值时，向监控平台反馈提醒信号和所述sku总置放量。

23、实施本发明实施例的优选方案，分别将各个第二空位框的纵坐标最大值与各个第二空位框对应的第二商品框的纵坐标最大值相减，获得各个第二空位框对应的底部偏差值，并基于各个第二空位框对应的底部偏差值，判定各个第一空位框的空位类型，然后根据各个第一空位框的空位类型、各个第一空位框的横坐标最大值和横坐标最小值、以及各个第一空位框所在层的宽度参考量，分别计算各个第一空位框的sku置放量，能够分析重叠较少的第二空位框与第二商品框的底部偏差值，并基于各个第二空位框对应的底部偏差值，判定各个第一空位框的空位类型，便于后续有针对性地分析属于不同空位类型的第一空位框的sku置放量，进一步提升货架空位的sku总置放量的准确性。

24、作为优选方案，所述对实时获取的货架图像进行目标检测，获得所述货架图像内的多个第一商品框和多个第一空位框、以及各所述第一商品框的第一位置信息和各所述第一空位框的第二位置信息，具体为：

25、对货架进行实时拍摄，获得货架图像；

26、使用目标检测模型，对所述货架图像进行目标检测，获得所述货架图像内的多个第一商品框和多个第一空位框、以及各所述第一商品框的第一位置信息和各所述第一空位框的第二位置信息；

27、其中，所述目标检测模型是利用训练数据集对目标检测器进行训练而得到的，所述训练数据集包括若干张训练图像、各所述训练图像内的多个商品框和多个空位框、以及各所述商品框和各所述空位框的位置信息，所述训练图像是对货架进行拍摄而获得的。

28、实施本发明实施例的优选方案，利用包括若干张训练图像、各张训练图像内的多个商品框和多个空位框、以及各个商品框和各个空位框的位置信息的训练数据集，对目标检测器进行训练而获得目标检测模型，并使用训练得到的目标检测模型对货架图像进行目标检测，能够提升货架图像内的第一商品框、第一空位框、第一商品框的第一位置信息和第一空位框的第二位置信息的检测精度和效率。

29、为了解决相同的技术问题，本发明实施例还提供了一种基于目标检测的货架管理系统，包括：

30、目标检测模块，用于对实时获取的货架图像进行目标检测，获得所述货架图像内的多个第一商品框和多个第一空位框、以及各所述第一商品框的第一位置信息和各所述第一空位框的第二位置信息；其中，所述第一商品框为货架上的sku的最小外接矩形；

31、分层分析模块，用于将与任意一个所述第一空位框的交并比小于或等于第一阈值的所述第一商品框，作为第二商品框，根据所有所述第一位置信息和所有所述第二位置信息，对所有所述第一商品框和所有所述第一空位框进行分层，并分析每一层的宽度参考量；其中，所述每一层的宽度参考量为货架上每一层的所有所述第二商品框的宽度的中位数；

32、计算反馈模块，用于根据各所述第一空位框所在层的宽度参考量，计算货架空位的sku总置放量，当所述sku总置放量大于第二阈值时，向监控平台反馈提醒信号和所述sku总置放量。

33、作为优选方案，所述分层分析模块，具体包括：

34、筛选单元，用于获取所述第一商品框与所述第一空位框的交并比，然后选取交并比大于第一阈值的所述第一商品框作为第二商品框，选取交并比小于或等于所述第一阈值的所述第一商品框作为第三商品框，并将与各所述第二商品框的交并比大于所述第一阈值的所述第一空位框，作为各所述第二商品框对应的第二空位框；

35、分层单元，用于从所有所述第一位置信息中获取各所述第三商品框的纵坐标最大值，并从所有所述第二位置信息中获取各所述第一空位框的纵坐标最大值，然后根据所述第一空位框的纵坐标最大值和所述第三商品框的纵坐标最大值从大到小的顺序，以此同时对所有所述第一空位框和所有所述第三商品框进行排序，获得第一排序结果；根据所述第一排序结果依次遍历每一个第一空位框和每一个第三商品框，将当前遍历框的纵坐标最大值与货架上每一层的预设纵坐标范围进行对比，若当前遍历框的纵坐标最大值在货架上任意一层的预设纵坐标范围内，则确定当前遍历框所在层为当前预设纵坐标范围所对应层，以完成对所有所述第一空位框和所有所述第三商品框的分层；从所有所述第一空位框的分层结果中，获取所有所述第二空位框的分层结果，并将各所述第二空位框的分层结果赋值给各所述第二空位框对应的所述第二商品框，以确定各所述第二商品框所在层；

36、分析单元，用于根据所有所述第一位置信息和所有所述第二位置信息，分析货架上每一层的宽度参考量。

37、作为优选方案，所述计算反馈模块，具体包括：

38、位置分析单元，用于从所有所述第一位置信息中获取各所述第二商品框的纵坐标最大值，并从所有所述第二位置信息中获取各所述第二空位框的纵坐标最大值、以及各所述第一空位框的横坐标最大值和横坐标最小值，然后分别将各所述第二空位框的纵坐标最大值与各所述第二空位框对应的所述第二商品框的纵坐标最大值相减，获得各所述第二空位框对应的底部偏差值；

39、空位置放量计算单元，用于基于各所述第二空位框对应的底部偏差值，判定各所述第一空位框的空位类型，然后根据各所述第一空位框的空位类型、各所述第一空位框的横坐标最大值和横坐标最小值、以及各所述第一空位框所在层的宽度参考量，分别计算各所述第一空位框的sku置放量；将所有所述第一空位框的sku置放量相加，获得货架空位的sku总置放量；

40、反馈预警单元，用于当所述sku总置放量大于第二阈值时，向监控平台反馈提醒信号和所述sku总置放量。

41、为了解决相同的技术问题，本发明还提供了一种终端，包括处理器、存储器及存储于所述存储器内的计算机程序；其中，所述计算机程序能够被所述处理器执行，以实现所述的一种基于目标检测的货架管理方法。

42、为了解决相同的技术问题，本发明还提供了一种计算机可读存储介质，述计算机可读存储介质包括存储的计算机程序；其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行所述的一种基于目标检测的货架管理方法。