货架拍摄完整性的检测方法、系统、设备及计算机可读存储介质与流程

1.本公开涉及图像识别技术领域，具体公开了一种货架拍摄完整性的检测方法、系统、设备及计算机可读存储介质。


背景技术：

2.随着产业智能化和信息化的不断发展，快消品行业近几年发展也是非常的迅速，为了保障品牌方对于市场营销情况的及时掌控，需要访店人员对门店进行探访并根据探访获得的实际货架商品陈列和销售情况对商品的时长营销情况进行反馈。例如，在快消品分类下属的日化项目中，一位访店人员在进行一次门店探访的过程中，需要对覆盖11个商品品类的货架进行货架图像拍摄，每个商品品类及其产品子品类对应有1至3个货架不等，单次门店探访的工作量和拍摄项目较为繁杂。
3.可以理解的是，对于访店人员而言，往往并非专业的快消品从业人员，因此并不能基于快消品行业中的专业知识准确判断出所负责的所有品类的货架是否得到完整拍摄。在实际的门店探访过程中，访店人员容易遗漏部分所负责的商品品类对应的货架，进而造成货架图像的缺失，使得访店过程无法得到所需的完整访店结果。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本公开提供一种货架拍摄完整性的检测方法、系统、设备及计算机可读存储介质。
5.在本公开的第一方面提供了一种货架拍摄完整性的检测方法，用于判断货架拍摄是否完整，该种检测方法包括如下步骤：
6.获取货架图像；
7.输入货架图像至预设的完整性判断模型中，以获取是否完整拍摄货架的判断结果；
8.其中，在货架图像覆盖店铺中的全部货架商品的情况下，判断货架拍摄完整。
9.在上述第一方面的一种可能的实现中，获取货架图像的步骤包括：
10.拍摄摆放有商品的货架，以得到包含货架中商品区域的待拼接图片；
11.识别待拼接图片，以得到能够用于图像拼接的识别信息；
12.利用识别信息拼接待拼接图片，以得到能够输入完整性判断模型中的货架图像。
13.在上述第一方面的一种可能的实现中，完整性判断模型基于以下步骤得到：
14.获取多次访店时所拍摄的货架图像；
15.识别货架图像，以得到各商品品牌对应产品子品类的牌面数量信息；
16.人工判断货架拍摄是否完整，以得到与牌面数量信息相对应的判断结果；
17.利用牌面数量信息和对应的判断结果训练预设的机器学习模型，以得到能够判断店铺货架拍摄是否完整的完整性判断模型。
18.在上述第一方面的一种可能的实现中，预设的机器学习模型包括随机森林模型。
19.在上述第一方面的一种可能的实现中，商品品牌中设置一自有品牌类别，以将各店铺内的专有的品牌商品，均归类为自有品牌。
20.在上述第一方面的一种可能的实现中，利用牌面数量信息和对应的判断结果训练预设机器学习模型，以得到能够判断店铺货架拍摄是否完整的完整性判断模型的步骤还包括：
21.利用牌面数量信息和对应的判断结果训练预设的机器学习模型，以得到待优化模型；
22.利用待优化模型完成至少一次对于货架图像的判断，以得到待优化结果，
23.人工验证待优化结果，以得到验证结果；
24.利用验证结果和对应的货架图像继续训练待优化模型，以得到完整性判断模型。
25.在上述第一方面的一种可能的实现中，在货架拍摄过程不完整的情况下，重新配置货架拍摄计划。
26.本公开的第二方面提供了一种货架拍摄完整性的检测系统，应用于前述第一方面提供的货架拍摄完整性的检测方法中，包括：
27.获取单元，用于获取货架图像；
28.判断单元，用于输入货架图像至预设的完整性判断模型中，以获取是否完整拍摄货架的判断结果；
29.其中，在货架图像覆盖店铺中的全部货架商品的情况下，判断货架拍摄完整。
30.本公开的第三方面提供了一种货架拍摄完整性的检测设备，包括：
31.存储器，用于存储计算机程序；
32.处理器，用于执行计算机程序时实现前述第一方面所提供的货架拍摄完整性的检测方法。
33.本公开的第四方面提供了一种计算机可读存储介质，该种计算机可读存储介质上存储有计算机程序，在计算机程序被处理器执行时实现前述第一方面所提供的货架拍摄完整性的检测方法。
34.与现有技术相比，本公开具有如下的有益效果：
35.通过本公开提出的技术方案，能够自动对访店过程的完整性进行判断，当存在访店过程不完整的情况时能够及时响应并安排重新访店计划，避免了品牌方在收到不完整访店数据后只能进行遗弃处理的现状，大幅提升了访店数据的有效性。同时，本公开提出的技术方案能够同时部署于云端和访店人员随身携带的客户端，应用场景灵活可变，具有可推广价值。
附图说明
36.通过阅读参照以下附图对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
37.图1根据本公开实施例，示出了一种货架拍摄完整性的检测方法的流程示意图；
38.图2根据本公开实施例，示出了一种获取货架图像的流程示意图；
39.图3根据本公开实施例，示出了一种对完整性判断模型进行训练的流程示意图；
40.图4根据本公开实施例，示出了另一种对完整性判断模型进行训练的流程示意图；
41.图5根据本公开实施例，示出了一种货架拍摄完整性的检测系统的结构示意图；
42.图6根据本公开实施例，示出了一种货架拍摄完整性的检测设备的结构示意图；
43.图7根据本公开实施例，示出了一种计算机可读存储介质的结构示意图。
具体实施方式
44.下面结合具体实施例对本公开的技术方案进行详细说明。以下实施例将有助于本领域的技术人员进一步理解，但不以任何形式限制本公开提供的技术方案。应当指出的是，对本领域的普通技术人员来说，在不脱离本公开所提供的技术方案构思的前提下，还可以做出若干变化和改进。这些都属于本公开的保护范围。
45.在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少区域地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
46.本公开已在背景技术中指出，在实际的门店探访过程中，访店人员容易遗漏部分所负责的商品品类对应的货架，进而造成货架图像的缺失，使得访店过程无法得到所需的完整访店结果。例如，在快消品业内定义的女性护理商品品类中，通常包含了成人尿布(部分为男性设计)这一子品类。这样的分类超出了普通人的常识性认知，因此对于访店人员的访店拍摄工作来说通常会造成遗漏。若直接将访店人员拍回的货架图像照片输出给品牌方，会导致品牌方在计算自己产品占比等指标时出现偏差。因此亟需一种针对访店过程是否完整的自主检测方法，及时提醒访店人员存在的遗漏盘点情况，从而提升品牌方对于真实市场营销情况的获取体验。
47.针对现有技术中存在的因访店盘点内容不完整而导致的访店数据利用率低的技术问题，本公开提供了一种货架拍摄完整性的检测方法、系统、设备及计算机可读存储介质。通过本公开提供的技术方案，能够自动对访店过程的完整性进行判断，当存在访店过程不完整的情况时能够及时响应并安排重新访店计划，避免了品牌方在收到不完整访店数据后只能进行遗弃处理的现状，大幅提升了访店数据的有效性。以下将结合实施例对本公开提供的技术方案进行阐释和说明。
48.步骤101：获取货架图像。其中，有关货架图像的具体获取方式和预处理方式将于下文中进行具体说明。
49.步骤102：输入货架图像至预设的完整性判断模型中，以获取是否完整拍摄货架的判断结果。其中，在货架图像覆盖店铺中的全部货架商品的情况下，判断货架拍摄完整。
50.可以理解的是，通过上述实施例，本技术方案采用预设的完整性判断模型准确地获取货架拍摄过程是否完整的判断结果，并据此对访店人员的访店过程是否完整进行判断。以下将对于上述实施例中各个步骤的具体实施细节做出进一步阐释和说明：
51.在上述实施例的一种可能的实现中，进一步地，于前述步骤101中，如图2所示，获取货架图像的步骤还可以包括：
52.步骤201：拍摄摆放有商品的货架，以得到包含货架中商品区域的待拼接图片。
53.步骤202：识别待拼接图片，以得到能够用于图像拼接的识别信息。
54.步骤203：利用识别信息拼接待拼接图片，以得到能够输入完整性判断模型中的货架图像。
55.可以理解的是，通过上述步骤201至步骤203，能够获取单次访店过程中的全部货架拍摄图像。在上述实施例的一种可能的实现中，在通过拍摄设备对货架进行盘点拍摄的过程中，会按照一定的顺序拍摄，相邻两张图片之间会有部分重叠的区域，以保证在进行图像拼接时能够呈现完整的货架内容。如果相邻两张图片之间没有重叠，基本无法完成图像拼接，或者拼接出来的图片无法体现完整的货架。
56.在上述实施例的一种可能的实现中，进一步地，于前述步骤102中，如图3所示，预设的完整性判断模型基于以下步骤得到：
57.步骤301：获取多次访店时所拍摄的货架图像。
58.步骤302：识别货架图像，以得到各商品品牌对应产品子品类的牌面数量信息。其中，牌面数量信息可以包括货架图像中陈列商品对应的商品品牌、陈列商品对应的商品子品类以及同一子品类下的牌面数量。具体地，在上述实施例的一种可能的实现中，品牌信息可以根据货架图像中陈列商品的标签信息进行获取，品类信息包括了一级品类和二级品类，其中二级品类为以及品类下一级，例如婴儿护理可以被认定为一级品类，而下分的尿布则可被认定为二级品类。即在本公开的实施例中，产品品类牌面数量信息可以包括品类的牌面数量以及品类下属子品类的牌面数量，在此不做限定。
59.步骤303：人工判断货架拍摄是否完整，以得到与牌面数量信息相对应的判断结果。其中具体地，其中访店完整性判断结果可以是通过专业人员来进行判断，通过判断历史货架拍摄过程中拍摄的货架图像是否齐全是否存在漏拍，如果有漏拍的情况就将对应的历史货架拍摄过程标注为不完整，如果没有漏拍的情况就将历史货架拍摄过程标注为完整。访店完整性判断结果也可以通过其他计算机可以实现的处理手段加以实现，在此不做限定。
60.步骤304：利用牌面数量信息和对应的判断结果训练预设的机器学习模型，以得到能够判断店铺货架拍摄是否完整的完整性判断模型。具体地，在上述实施例的一种可能的实现中，可以根据判断结果和产品品类牌面数量信息之间的对应关系，建立随机森林模型。其中，可以理解的是，考虑到不同零售商、不同地域、不同渠道的门店在陈列商品中存在较大的差异产品差异较大，无法直接设定合适的阈值来判断货架拍摄过程中拍摄的货架盘点图像是否完整。在此情况下，可以通过建立随机森林模型，即一种常规的利用多棵树对样本进行训练并预测的一种分类模型，基于多次历史货架拍摄过程对应的产品品类牌面数量信息及其完整性判断结果来得出不同门店间单次完整访店所需包含的产品品类牌面数量信息。而在本公开的另一些实施例中，本领域技术人员也可以采用其他合适的训练模型作为完整性判断模型的训练基础，在此不做限定。
61.进一步地，在上述实施例的一种可能的实现中，可以在商品品牌中设置一自有品牌类别，以将各店铺内的专有的品牌商品，均归类为自有品牌。
62.可以理解的是，在对陈列商品进行品牌识别的过程中，若识别出来是某大型超市的自有品牌产品，就把这一款产品归为自有品牌类别以作区分。这样做的原因是保证在后续模型适用过程中的通用性所考虑：这些自主商品品牌一般只会在对应的门店里里摆放，
其他门店中则不会摆放。如果不进行统一归纳，那么模型的通用性就会降低。
63.进一步地，在本公开的一些实施例中，基于前述实施例中的步骤304，在利用牌面数量信息和对应的判断结果训练预设机器学习模型，以得到能够判断店铺货架拍摄是否完整的完整性判断模型的过程中，如图4所示，还可以包括如下步骤：
64.步骤401：利用牌面数量信息和对应的判断结果训练预设的机器学习模型，以得到待优化模型。
65.步骤402：利用待优化模型完成至少一次对于货架图像的判断，以得到待优化结果。
66.步骤403：人工验证待优化结果，以得到验证结果。
67.步骤404：利用验证结果和对应的货架图像继续训练待优化模型，以得到完整性判断模型。
68.可以理解的是，对于完整性判断模型而言，并不能保证每次对于货架拍摄过程的完整性保持全部的准确判断。例如，如果存在访店人员实际完成了对货架的完整盘点拍摄，却被判断模型识别为货架拍摄过程不完整的情形；或者访店人员实际并没有完整的货架盘点拍摄，却被判断模型识别为货架拍摄过程完整的情形，会对访店自动检测这一服务产生负面的客户体验。此时需要依托这类数据对判断模型进行持续性的迭代训练，以便赋予该种判断模型再次遇到相同的情况时调整判断结果输出的功能，进而保障了该种判断模型识别能力的持续提升。
69.在本公开的一些实施例中，进一步地，在产品品类牌面数量与货架拍摄过程对应门店的全品类牌面数量不相符的情况下，判断货架拍摄过程不完整并生成对应的判断结果。进一步地，根据判断结果，在存在货架拍摄过程不完整的情况下，为货架拍摄过程对应的门店配置重新访店计划以重新获取对应的货架图像。
70.在本公开的一些实施例中，图5还提供了一种货架拍摄完整性的检测系统，应用于前述第一方面提供的货架拍摄完整性的检测方法中，包括：
71.获取单元001，用于获取访店人员于访店过程中拍摄的货架图像。
72.判断单元002，用于输入货架图像至预设的完整性判断模型，以获取货架拍摄过程是否完整的判断结果。其中，在货架图像覆盖店铺中的全部货架的情况下，判断货架拍摄过程完整。
73.可以理解的是，上述货架拍摄完整性的检测系统中各个功能模块的实现方式与前述实施例所提供的货架拍摄完整性的检测方法中提供的各个流程步骤一一对应且相同，在此不做赘述。
74.在本公开的一些实施例中，还提供了一种货架拍摄完整性的检测设备，该种设备可以包括：
75.存储器，用于存储计算机程序；
76.处理器，用于执行计算机程序时实现本公开技术方案中说明的图像拉正方法的步骤。
77.可以理解的是，本公开技术方案的各个方面可以实现为系统、方法或程序产品。因此，本公开技术方案的各个方面可以具体实现为以下形式，即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
78.图6根据本公开的一些实施例，示出了一种货架拍摄完整性的检测设备的结构示意图。下面参照图6来详细描述根据本实施例中的实施方式实施的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本公开技术方案任何实施例的功能和使用范围带来任何限制。
79.如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
80.其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本实施例中上述图像拼接方法区域中描述的根据本实施例中的实施步骤。例如，处理单元610可以执行如图1至图4中所示的步骤。
81.存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取单元(ram)6201和/或高速缓存存储单元6202，可以进一步包括只读存储单元(rom)6203。
82.存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
83.总线630可以表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
84.电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户与该电子设备600交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白，尽管图5中未示出，可以结合电子设备600使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。
85.在本公开的一些实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时能够实现上述实施例中提供的货架拍摄完整性的检测方法的相关步骤。
86.尽管本实施例未详尽地列举其他具体的实施方式，但在一些可能的实施方式中，本公开技术方案说明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本公开技术方案中货架拍摄完整性的检测方法区域中描述的根据本公开技术方案各种实施例中实施方式的步骤。
87.图7根据本公开的一些实施例示出了一种计算机可读存储介质的结构示意图。如图7所示，其中描述了根据本公开技术方案的实施方式中用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本公开技术方案
中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
88.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
89.计算机可读存储介质可以包括在基带中或者作为载波一区域传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
90.可以以一种或多种程序设计语言的任意组合来编写用于执行本公开技术方案操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、区域地在用户设备上执行、作为一个独立的软件包执行、区域在用户计算设备上区域在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
91.综上所述，通过本公开提出的技术方案，能够自动对货架拍摄过程的完整性进行判断，当存在货架拍摄过程不完整的情况时能够及时响应并安排重新访店计划，避免了品牌方在收到不完整访店数据后只能进行遗弃处理的现状，大幅提升了访店数据的有效性。同时，本公开提出的技术方案能够同时部署于云端和访店人员随身携带的客户端，应用场景灵活可变，具有可推广价值。
92.上述描述仅是对本公开技术方案较佳实施例的描述，并非对本公开技术方案范围的任何限定，本公开技术方案领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。