游商检测方法、装置、电子设备和存储介质与流程

本发明涉及人工智能，尤其涉及一种游商检测方法、装置、电子设备和存储介质。

背景技术：

1、游商违规经营，主要是指经营者占用城市道路、桥梁及城市广场等公共场所进行盈利性买卖商品或服务的行为。游商占道经营给城市交通安全、环境卫生、市场秩序等都造成了较大负面影响，对居民的正常利益也产生了不良影响。游商小贩，因其经营成本低、流动性强等特点，一直以来不仅成为困扰城市管理工作的一大难点，更是市民投诉的热点、社会关注的焦点。而随着ai(artificial intelligence，人工智能)技术和视频分析技术的不断发展，为强化游商违规经营综合治理，推动“疏堵结合”探索实践提供了技术基础。

2、然而，由于游商目标复杂度较高、目标尺寸和形态多样性，传统的目标检测算法在目标检测过程中容易受到光线变化、焦距调整、摄像头转动等情况的影响，导致出现大量的误检、漏检现象，进而导致检测准确率和稳定性较低。

技术实现思路

1、本发明提供一种游商检测方法、装置、电子设备和存储介质，用以解决现有技术中检测准确率和稳定性较低的缺陷，提高游商目标检测的准确性和稳定性。

2、本发明提供一种游商检测方法，包括：

3、将监控视频流进行抽帧，得到多帧待检测图像；

4、将所述多帧待检测图像输入旋转目标检测模型，输出各帧所述待检测图像对应的待检测目标，所述待检测目标包括经营摊位、人员和非经营区域；

5、针对各帧所述待检测图像，以所述待检测图像中的经营摊位作为聚类中心，以所述待检测图像中的人员作为聚类目标，以所述待检测图像中的非经营区域作为聚类背景，确定所述待检测图像中的游商目标，所述游商目标中同时包括经营摊位、人员和非经营区域；

6、基于所有待检测图像各自对应的游商目标，确定游商检测结果。

7、根据本发明提供的游商检测方法，所述将所述多帧待检测图像输入旋转目标检测模型，输出各帧所述待检测图像对应的待检测目标，包括：

8、将所述多帧待检测图像输入所述旋转目标检测模型的骨干网络，输出至少两个目标图像特征，各所述目标图像特征的图像分辨率不同；

9、将所述至少两个目标图像特征输入所述旋转目标检测模型的特征融合网络，输出融合特征；

10、将所述融合特征输入所述旋转目标检测模型的检测网络，输出各帧所述待检测图像对应的待检测目标。

11、根据本发明提供的游商检测方法，所述将所述融合特征输入所述旋转目标检测模型的检测网络，输出各帧所述待检测图像对应的待检测目标，包括：

12、针对各帧所述待检测图像，将所述融合特征输入所述检测网络中的第一检测头，输出预测检测框以及所述预测检测框在所述待检测图像中的位置和旋转角度；

13、将所述融合特征输入所述检测网络中的第二检测头，输出所述预测检测框的类别；

14、基于所述预测检测框在所述待检测图像中的位置和旋转角度，以及所述预测检测框的类别，输出所述待检测图像对应的待检测目标。

15、根据本发明提供的游商检测方法，所述以所述待检测图像中的经营摊位作为聚类中心，以所述待检测图像中的人员作为聚类目标，以所述待检测图像中的非经营区域作为聚类背景，确定所述待检测图像中的游商目标，包括：

16、以所述待检测图像中的经营摊位作为聚类中心，对所述待检测图像中的所有人员进行聚类，得到与所述经营摊位的数量相等的第一聚类；

17、针对各所述第一聚类，确定所述第一聚类对应的第一外接矩形区域，以及所述第一外接矩形区域与所述非经营区域的第一重合度；

18、在所述第一重合度大于或等于第一预设阈值的情况下，将所述非经营区域，以及所述第一聚类中的经营摊位和人员，确定为所述待检测图像中的游商目标。

19、根据本发明提供的游商检测方法，所述以所述待检测图像中的经营摊位作为聚类中心，对所述待检测图像中的所有人员进行聚类，得到与所述经营摊位的数量相等的第一聚类，包括：

20、针对各所述人员，分别确定所述人员与各所述经营摊位之间的距离；

21、将最小距离对应的经营摊位确定为所述人员对应的第一聚类中心；

22、分别确定所述人员对应的第二外接矩形区域与所述第一聚类中心对应的第三外接矩形区域，以及所述第二外接矩形区域与所述第三外接矩形区域之间的第二重合度；

23、在所述第二重合度大于或等于第二预设阈值的情况下，将所述人员与所述第一聚类中心确定为第一聚类。

24、根据本发明提供的游商检测方法，所述基于所有待检测图像各自对应的游商目标，确定游商检测结果，包括：

25、针对各所述游商目标，确定所述游商目标在所述待检测图像中的游商图像；

26、提取所述游商图像对应的目标图像重特征，所述目标图像重特征为所述游商目标对应的标识；

27、基于所有游商目标各自对应的目标图像重特征，确定各所述游商目标对应的持续时长；

28、基于各所述游商目标对应的持续时长，确定所述游商检测结果。

29、根据本发明提供的游商检测方法，所述基于所有游商目标各自对应的目标图像重特征，确定各所述游商目标对应的持续时长，包括：

30、针对各所述游商目标，将所述游商目标对应的目标图像重特征分别与游商目标列表中的各图像重特征进行匹配；

31、基于匹配结果，更新所述游商目标列表；

32、从更新后的所述游商目标列表中获取所述目标图像重特征对应的待检测图像的连续帧数；

33、基于所述连续帧数的待检测图像中相邻两帧待检测图像之间的时长间隔，确定所述游商目标对应的持续时长。

34、本发明还提供一种游商检测装置，包括：

35、抽帧模块，用于将监控视频流进行抽帧，得到多帧待检测图像；

36、预测模块，用于将所述多帧待检测图像输入旋转目标检测模型，输出各帧所述待检测图像对应的待检测目标，所述待检测目标包括经营摊位、人员和非经营区域；

37、聚类模块，用于针对各帧所述待检测图像，以所述待检测图像中的经营摊位作为聚类中心，以所述待检测图像中的人员作为聚类目标，以所述待检测图像中的非经营区域作为聚类背景，确定所述待检测图像中的游商目标，所述游商目标中同时包括经营摊位、人员和非经营区域；

38、检测模块，用于基于所有待检测图像各自对应的游商目标，确定游商检测结果。

39、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述游商检测方法。

40、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述游商检测方法。

41、本发明提供的游商检测方法、装置、电子设备和存储介质，通过对监控视频流进行抽帧，得到多帧待检测图像，通过旋转目标检测模型对多帧待检测图像进行多目标检测，实现经营摊位、人员和非经营区域的一体化检测，在检测后，以经营摊位作为聚类中心，以人员作为聚类目标，以非经营区域作为聚类背景，将同时包括经营摊位、人员和非经营区域的聚类作为游商目标，并根据所有待检测图像中各自对应的游商目标，在确定游商目标的同时，判断该游商目标是否属于违规经营，避免对无人摊位、拉货车、闲置摊位等的误检，极大的提高了游商检测的准确性和稳定性，进而提升工作人员的处置效率。