一种基于视频行为识别的经营规范智能巡查方法与流程

本发明涉及计算机技术领域，具体说是一种基于图像识别的算法应用。

背景技术：

连锁店的门店经营管理一直是一个复杂而麻烦的问题。所有门店品牌经营者，无论是采用直营还是加盟的方式，都希望扩大经营规模，开设更多的门店，提高品牌的品牌影响力和营收能力。而伴随着连锁店规模越来越大，管理难度急速提升同时管理成本也越来越大。当前背景下，门店一般在经营设备上已经完成了信息化建设，即门店本身有收银系统，盘点系统，库存系统等，已经完成了信息化的基本覆盖。

在信息化基本完善的背景之下，品牌经营方已经能够大致了解每一家门店“人”“货”“场”三要素中“货”的情况，经营者能够及时知道门店中商品的库存情况和销售情况。而对于三要素中更为重要的“人”和“场”的情况一无所知，而大多数的经营行为，本身也不光体现在“货”的角度。

当前在连锁巡查管理过程中主要还是依赖于巡查人员的人力管理，在特定时间阶段安排工作人员进行巡查，以保障尽可能的去保证所有门店合规经营。整个过程存在如下弊端：

1.人力资源消耗大，巡查周期长，效果较差

2.行为标准依赖人力判断，无法保证统一标准化执行企业规定

3.人力资源消耗巨大，无法做到长期完整覆盖检查

技术实现要素：

本发明就是针对以上不足，为连锁门店经营场所提供一套智慧、公平、高效、不知疲倦和可扩展的经营违规智能巡查方法。

本发明解决其技术问题所用的技术方案是：一种基于视频行为识别的连锁门店经营场所经营违规智能巡查的方法。该方法包含了对门店经营违规行为的持续训练，训练过程中需要持续采集和标记相关样本，进而达到更好的效果。在这个过程中，包含对连锁门店经营行业行为规范、常规违规行为的理解，并且在实现过程中，需要持续积累素材，涵盖正确的范例和错误的样例。素材涵盖视频素材和图片素材，而针对视频素材，需要将视频素材导入gpu服务器，将这些素材按照合适规则切割成图片，基于这些图片进行后续处理。

本发明所述的图片处理包含图片的行为标记和训练。在这个过程中，需要预先设定具体行为，以及具体行为的哪些表现或者状态为合规，哪些表现和状态为违规。例如在经营场所中，营业人员长期离开经营场所明显违反行为规范，在经营场所中有零散的垃圾或者商品等违反环境规范，需要对图片进行标记，标记合规和未合规的样本，将这些样本输入gpu服务器进行行为识别训练。

本发明所述的训练方法和训练结果，将会按照不同模型的需求写入到对应的设备中。其中对象检测和基本行为检测类模型会写入终端设备中，依托终端摄像头的边缘计算能力，完成基本的经营场景下的对象属性和行为侦测，并完成数据基本采集工作，并将采集数据和源数据视频流一起传输到中央gpu服务器集群。

中央服务器获取到边缘计算侦测结果和对应图片之后，对图片进行计算处理。计算中需要对监测行为进行二次检测，判断前端检测的准确度和真实性。同时采集摄像头会按照某种时间规律，定时给中央处理服务器发送采集图片，中央处理器还需要针对设定规则，对这些无判断图片进行处理，以探测是否有企业定义的其它问题。

这种实时和随机图片的结合，可以极大提高连锁门店经营行为违规检测的灵活性和准确性，如果经营方未来需要对一些其它信息进行核查，也能够基于这些图片进行处理，保障了整套系统的可扩展性和延展性。

中央gpu处理器集群将门店场景的经营问题进行判定分类之后，会将这些结果配合图片传输到“智能巡查算法平台”中，该算法品牌包含了大量的算法模型，例如对门店的标签化算法，对店员的标签化算法，对可能会出现问题的预测算法等等。算法平台将相关问题处理之后，会将问题进行输出。输出方式是为门店经营者建立一套“自动化”的智能巡查方法。在该方法内，需要立即建立一个巡查任务，该巡查任务分为“环境违规”、“经营违规”和“行为违规”，将这些异常进行规则性下发，例如在整个控制中心，需要确定每一个任务的具体情况，执行者和当前问题，而问题的执行者需要获取问题，了解问题的详细情况，以及任务是偶发性任务还是突发性任务，以做好处理和确认。而智能系统本身还是会持续追踪问题，保证问题的执行，同时还需要去监控问题的情况，智能判断建立的问题当前的更改进度。如果当前的问题已经完成，智能更改任务的状态，从而完成在流程上建立-更改-验证的全智能闭环。

附图说明

下面结合附图对本发明进一步说明。

图1为一种基于视频行为识别的经营规范智能巡查方法的原理框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

本方法是基于视频行为识别的经营违规智能巡查方法，基于连锁门店的实际情况和连锁经营公司的实际情况，选择合适的点位方向安装合适的摄像头，摄像头选择搭载智能计算平台的智能摄像头，摄像头需要覆盖整个经营场所。摄像头架设完毕之后，根据经营管理的需求选择边缘计算进行人脸检测、人脸采集，场景检测和场景采集。采集之后的数据进行场景规范对比，对比结论数据传输进入“智能巡查算法平台”，基于该算法，将异常信息按照异常原因进行归档，并按照不同的类型自动建立巡查任务，在巡查任务之后，将这些任务自动分发给特定的负责人员和整改人员。同时智能巡查算法平台依然会根据之前的巡查任务，对异常进行持续追踪，如果追踪到相关问题已经整改会自动核验，更改问题状态，通知相关人员。

实施例1：

由技术人员选定一家门店作为经营违规智能巡查案例，在该案例中，首先根据门店经营场所的实际情况，门店内商品的摆放情况，选择合适的点位就合适的方向选择合适摄像头安装。一般情况下，需要安装门店门口走廊，了解路过门店的客群详情，安装进门区域，以了解门店进店情况，安装核心商品区域，了解商品核心销售区域的环境、商品、店员和顾客情况。

由技术人员进行配置，将门店摄像头接入gpu服务器集群，将人脸探测采集算法、行为识别算法和人脸识别算法部署进gpu服务器集群，保证图像识别算法的可靠性。gpu服务器首先对接入的视频进行处理，探测到人脸或定义行为之后，将监测对象进行抓取，采集和质量判断，并将异常结果输出到智能巡查管理系统。

智能巡查探知到异常之后，会将异常信息按照异常原因进行归档，例如环境规范，经营规范或者行为规范。并按照不同的类型自动建立巡查任务，在巡查任务之后，将这些任务自动分发给特定的负责人员和整改人员。

当相关人在系统内接受到任务之后，会对异常进行整改。整改过程中，智能巡查系统依然会根据之前的巡查任务，指挥前端摄像头进行持续追踪，如果追踪到相关问题已经整改会自动核验，更改问题状态，通知相关人员。

通过上面具体实施方式，所有门店管理人员都可以容易的实现本发明。任意技术工程师都可以依据我们的方法实现该过程。

技术特征：

1.一种基于门店经营场景下的经营规范智能巡查方法。包含在门店的关键经营位置安装带有计算模块的智能摄像头，门店本地数据传输网络假设，中心化的图片处理gpu集群和基于图像处理结构进行智能巡店的信息化智能系统。在门店端，将人脸检测采集算法、商品检测采集算法和特定行为检测算法写入摄像头，让摄像头基于边缘计算，降低大型连锁店的技术资金投入成本。边缘计算系统将检测出来的行为，以图片或者短视频的方式传输回门店经营公司搭建的中心化图片处理服务器，对图片进行深入处理和分析，将分析结果输送如门店经营数据中台。基于数据中台数据基础，根据检测出问题的分类，自动构建不同等级的巡查任务，发放给不同的责任人进行处理。在处理过程中，对于智能化能自动识别的问题，智能巡查方法会定时巡查，自动核验整改效果，最终完成从智能发现问题到智能追踪问题到智能核验问题的完整自动巡查智能化的构建。

2.根据权利要求1所述将品牌下门店接入管理数据中台。数据采集摄像头同时在其中扮演着计算终端的角色，这样保证门店网络越大，计算能力越强，同时设备将终端采集的行为图片和短视频，通过公用网络传输到中心处理服务器，在中心服务器对素材进行深入识别和计算。

s1.数据采集端分散在各个门店，同时数据采集端又是边缘计算的计算设备，承担解决方案的计算部分。

s2.边缘计算和中心计算均可用于探知人脸，检测场景，判断图片和视频质量，截取合适素材。

s3.基于设备信息加场景信息，用中心化的方式进行深入计算和处理，既保证计算力的最大化释放，同时保证算法的可持续优化。

3.根据权利要求1所述的将经营场所行为判断结论输出到智能巡查系统，由智能巡查系统完成各类巡查任务判断和分发。

4.根据权利要求1所述的将门店经营场所各类问题自动检测出来和分发之后，根据问题类型，定时或者随机验证问题整改情况，完成整个智能系统的全自动运作。

技术总结
本发明公开了一种基于视频行为识别的经营规范智能巡查方法。该方法涉及信息化、视频分析和图像识别领域，尤其涉及一种基于门店经营场景环境下的对象行为规范检测的智能巡查方法。本发明所述的行为规范智能判断检测方法，只针对门店经营中违规检查、智能巡查、巡查问题处理的场景，在该场景下，店员需要在经营场所按照企业统一规定，对顾客、商品和经营场所进行特定操作。由于经营场所的特殊性，店员行为本身也伴随着时间变化、企业经营策略变化等因素改变行为方式。同时伴随着经营策略变化，经营场所本身的属性也需要跟随调整，而本发明公开的方法就是智能判断经营场所本身的状况，经营场所内摆放的商品，经营场所内进入的顾客以及链接这一切“人”、“货”和“场”的“店员”是否依照公司定义规范正常运转。如果遇到不合规的状况，需要智能建立巡查任务，通知相关人进行整改，并智能反馈整改结果，最终实现经营规范智能巡查的方法。

技术研发人员：周凯凯;高善恒
受保护的技术使用者：苏州企智信息科技有限公司
技术研发日：2020.07.17
技术公布日：2020.11.13