遗留物检测方法、装置、计算机设备及存储介质与流程

本技术涉及图像处理，具体涉及一种遗留物检测方法、装置、计算机设备及存储介质。

背景技术：

1、随着计算机技术的不断发展，以及物联网、人工智能发展的大趋势下，图像检测技术作为计算机视觉的一个重要分支，已经广泛地应用到例如物流监控、新零售等各个领域当中。遗留物检测任务是需要计算机系统在是在图像中检测到可能遗留的物品位置信息，但是由于遗留物种类繁多，且图像中前景与背景种类复杂，使得遗留物检测成为计算机视觉较为棘手的任务之一。

2、现有的遗留物检测方案有以下缺点：1、基于传统图像算法的遗留物检测方案，利用局部图像局部特征与边缘描述算子进行图像纹理表述与筛选，最终得到疑似遗留物区域。但该方案对光线明暗、图像反光与模糊等因素敏感，且无法解决复杂背景的场景，总体表现为鲁棒性差；2、基于卷积神经网络检测的遗留物检测方案，因为托寄物种类繁多，且无法很好定义，算法模型不能完全学习到所有遗留物的特征，无法很好应用于复杂场景。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种遗留物检测方法、装置、计算机设备及存储介质，基于包含深度信息的视差图像预测不包含遗留物的目标图像，能够避免光线明暗、图像反光等导致的二维纹理信息的干扰。

2、第一方面，本技术提供一种遗留物检测方法，包括：

3、获取待检测区域的视差图像；

4、将所述视差图像输入预设的半监督生成对抗网络的生成器，得到预测的所述待检测区域不包含遗留物的目标图像；

5、对所述视差图像和所述目标图像进行差分，得到差分图；

6、根据所述差分图确定所述待检测区域中遗留物区域。

7、在本技术一些实施例中，所述将所述视差图像输入预设的半监督生成对抗网络的生成器，得到预测的所述待检测区域不包含遗留物的目标图像之前，还包括：

8、获取若干组训练数据，每组所述训练数据包含拍摄同一区域的无遗留物图片和有遗留物图片；

9、将随机噪声输入预设的基础对抗网络的生成器，将所述无遗留物图片输入所述基础对抗网络的鉴别器，进行训练得到初始对抗网络；

10、将每组所述训练数据包含的无遗留物图片和有遗留物图片同时输入所述初始对抗网络，进行训练得到所述预设的半监督生成对抗网络，其中，所述有遗留物图片输入所述初始对抗网络的生成器，所述无遗留物图片输入所述初始对抗网络的鉴别器。

11、在本技术一些实施例中，所述将所述视差图像输入预设的半监督生成对抗网络的生成器，得到预测的所述待检测区域不包含遗留物的目标图像之前，还包括：

12、获取目标像素点周围预设数量的临近像素点的像素值，所述目标像素点为所述视差图像中任意像素点；

13、根据所述临近像素点的像素值计算所述目标像素点的邻域像素均值；

14、确定各所述临近像素点的像素值与所述邻域像素均值的绝对差值；

15、根据所述绝对差值小于等于第一预设阈值的临近像素点的像素值的均值，确定所述目标像素点的目标像素值；

16、根据各所述目标像素点的目标像素值，确定所述视差图像的均值滤波图像；

17、所述将所述视差图像输入预设的半监督生成对抗网络的生成器，得到预测的不包含遗留物的目标图像，包括：

18、将所述均值滤波图像输入预设的半监督生成对抗网络的生成器，得到预测的不包含遗留物的目标图像。

19、在本技术一些实施例中，所述视差图像设为所述均值滤波图像，所述对所述视差图像和所述目标图像进行差分，得到差分图，包括：

20、对所述均值滤波图像和所述目标图像进行差分，得到所述均值滤波图像中各像素点的像素差值；

21、根据所述各像素点的像素差值得到初始差分图；

22、根据所述像素差值和第二预设阈值，对所述初始差分图二值化得到所述差分图。

23、在本技术一些实施例中，所述获取待检测区域的视差图像，包括：

24、通过深度相机获取所述待检测区域中各点相对于所述深度相机的距离信息；

25、根据各所述距离信息确定所述待检测区域的视差图像。

26、在本技术一些实施例中，所述根据所述差分图确定所述待检测区域中遗留物区域，包括：

27、根据所述差分图确定所述待检测区域中的遗留物位置；

28、根据所述遗留物位置和所述视差图像确定所述待检测区域的遗留物区域。

29、在本技术一些实施例中，所述根据所述差分图确定所述待检测区域中遗留物位置，包括：

30、获取所述差分图中各像素点的差分像素值；

31、根据所述差分像素值确定所述差分图中的连通域和各所述连通域的像素面积；

32、当各所述连通域中目标连通域的像素面积大于等于预设面积阈值时，确定所述目标连通域为所述遗留物位置。

33、第二方面，本技术提供一种遗留物检测装置，包括：

34、图像获取模块，用于获取待检测区域的视差图像；

35、图像分析模块，与所述图像获取模块通讯连接，用于将所述视差图像输入预设的半监督生成对抗网络的生成器，得到预测的所述待检测区域不包含遗留物的目标图像；

36、图像差分模块，与所述图像获取模块、所述图像分析模块通讯连接，用于对所述视差图像和所述目标图像进行差分，得到差分图；

37、遗留物分析模块，与所述图像差分模块通讯连接，用于根据所述差分图确定所述待检测区域中遗留物区域。

38、在本技术一些实施例中，图像分析模块还用于获取若干组训练数据，每组所述训练数据包含拍摄同一区域的无遗留物图片和有遗留物图片；将随机噪声输入预设的基础对抗网络的生成器，将所述无遗留物图片输入所述基础对抗网络的鉴别器，进行训练得到初始对抗网络；将每组所述训练数据包含的无遗留物图片和有遗留物图片同时输入所述初始对抗网络，进行训练得到所述预设的半监督生成对抗网络，其中，所述有遗留物图片输入所述初始对抗网络的生成器，所述无遗留物图片输入所述初始对抗网络的鉴别器。

39、在本技术一些实施例中，图像分析模块还用于获取目标像素点周围预设数量的临近像素点的像素值，所述目标像素点为所述视差图像中任意像素点；根据所述临近像素点的像素值计算所述目标像素点的邻域像素均值；确定各所述临近像素点的像素值与所述邻域像素均值的绝对差值；根据所述绝对差值小于等于第一预设阈值的临近像素点的像素值的均值，确定所述目标像素点的目标像素值；根据各所述目标像素点的目标像素值，确定所述视差图像的均值滤波图像；将所述均值滤波图像输入预设的半监督生成对抗网络的生成器，得到预测的不包含遗留物的目标图像。

40、在本技术一些实施例中，所述视差图像设为所述均值滤波图像，图像差分模块还用于对所述均值滤波图像和所述目标图像进行差分，得到所述均值滤波图像中各像素点的像素差值；根据所述各像素点的像素差值得到初始差分图；根据所述像素差值和第二预设阈值，对所述初始差分图二值化得到所述差分图。

41、在本技术一些实施例中，图像获取模块还用于通过深度相机获取所述待检测区域中各点相对于所述深度相机的距离信息；根据各所述距离信息确定所述待检测区域的视差图像。

42、在本技术一些实施例中，遗留物分析模块还用于根据所述差分图确定所述待检测区域中的遗留物位置；根据所述遗留物位置和所述视差图像确定所述待检测区域的遗留物区域。

43、在本技术一些实施例中，遗留物分析模块还用于获取所述差分图中各像素点的差分像素值；根据所述差分像素值确定所述差分图中的连通域和各所述连通域的像素面积；当各所述连通域中目标连通域的像素面积大于等于预设面积阈值时，确定所述目标连通域为所述遗留物位置。

44、第三方面，本技术还提供一种服务器，服务器包括：

45、一个或多个处理器；

46、存储器；以及

47、一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现的遗留物检测方法。

48、第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行的遗留物检测方法中的步骤。

49、上述遗留物检测方法、装置、计算机设备及存储介质，基于包含深度信息的视差图像预测不包含遗留物的目标图像，能够避免光线明暗、图像反光等导致的二维纹理信息的干扰。此外，通过半监督生成对抗网络的生成器根据视差图像生成待检测区域不包含遗留物的目标图像，并不需要分析识别遗留物的纹理特征，能够用于检测识别更多不同种类的遗留物。