车内遗留物检测方法、装置、电子设备及可读存储介质与流程

本技术属于计算机视觉和图像处理，尤其涉及一种车内遗留物检测方法、装置、电子设备及可读存储介质。

背景技术：

1、车内遗留物检测是一种利用计算机视觉和图像处理技术来检测和识别车辆内部留下的物体或物品的技术。通过车内遗留物检测可以满足车辆安全、监控和物品或物体遗失预防的需求。

2、目前，传统的车内遗留物检测方法通常依赖于计算机视觉技术(例如边缘检测、颜色分割和形状分析等)来检测车内遗留物。但是，传统车内遗留物检测方法的检出率和检测准确率的高低容易受场景和光照条件的影响，检测稳定性较差。

技术实现思路

1、本技术实施例提供了一种车内遗留物检测方法、装置、电子设备及可读存储介质，可以解决现有车内遗留物检测方法的检测稳定性较差的问题。

2、第一方面，本技术实施例提供了一种车内遗留物检测方法，该方法包括：

3、获取至少两帧待检测图像；

4、针对各帧待检测图像，将待检测图像转换成第一灰度图，并将第一灰度图与第一初始参考帧的灰度图进行差分处理，获得第一差分图像；使用第一预设阈值对第一差分图像进行二值化处理，获得第一二值化图像；对第一二值化图像进行轮廓检测，获得第一物体检测框集合；其中，各帧待检测图像的第一预设阈值不同或相同，待检测图像和第一初始参考帧均是车内环境图像，且待检测图像的采集时间晚于第一初始参考帧的采集时间；

5、对各帧待检测图像的第一物体检测框集合取并集，获得第一检测框并集，第一检测框并集包括多个第一检测框；

6、从第一检测框并集中确定出第一目标检测框集合，以获得遗留物检测结果，第一目标检测框集合包括至少一个第一目标检测框，第一目标检测框是相交检测框的个数大于预设数量的第一检测框。

7、由上可见，本技术实施例通过采集至少两帧待检测图像，并使用一个二值化阈值或多个二值化阈值，对各帧待检测图像进行处理，以获得第一物体检测框集合，最后基于多帧待检测图像的第一物体提检测框集合，得到第一目标检测框集合，以获得遗留物检测结果，这样，基于多帧待检测图像和单个二值化阈值或者多个二值化阈值进行处理，即多帧多阈值或者多帧单阈值，可以降低光照条件和场景(例如遗留物所在位置不同和复杂场景)等对检出率和检测准确率的影响干扰，检测稳定性更好。

8、在第一方面的一些可能的实现方式中，从第一检测框并集中确定出第一目标检测框集合，包括：

9、针对各个第一检测框，确定第一检测框与各个第二检测框之间的交并比iou值；若iou值大于第一阈值，则确定第二检测框是第一检测框的相交检测框；确定相交检测框的个数，第二检测框是第一检测框并集中除了当前的第一检测框之外的第一检测框；

10、针对各个第一检测框，当相交检测框的个数大于预设数量，则确定第一检测框是第一目标检测框；

11、根据至少一个第一目标检测框，获得第一目标检测框集合。

12、在该实现方式中，通过iou值确定各个第一检测框的相交检测框，并基于相交检测框的个数确定出第一目标检测框，该第一目标检测框是遗留物体或物流物品。这样，可以进一步提高车内遗留物检测的稳定性。

13、在第一方面的一些可能的实现方式中，从第一检测框并集中确定出第一目标检测框集合，还包括：

14、当相交检测框的个数小于或等于预设数量，则确定第一检测框是第二目标检测框，并根据至少一个第二目标检测框，获得第二目标检测框集合；

15、在从第一检测框并集中确定出第一目标检测框集合之后，方法还包括：

16、根据第一目标检测框集合和第二目标检测框集合，从各帧待检测图像中裁剪出第一图像区域和第二图像区域，第一图像区域是待检测图像中第一目标检测框所在的图像区域，第二图像区域是待检测图像中第二目标检测框所在的图像区域；

17、将第一图像区域和第二图像区域分别输入至预先训练完成的分类模型，获得分类模型输出的分类结果，分类结果用于表征第一图像区域或第二图像区域包含遗留物的概率；

18、根据分类结果，获得最终的遗留物检测结果。

19、在该实现方式中，基于多帧多阈值或多帧单阈值获得遗留物检测结果之后，进一步通过对预先训练的分类模型对遗留物检测结果作进一步的过滤筛选，进一步提高了检测准确率。

20、在第一方面的一些可能的实现方式中，分类模型的训练过程包括：

21、获取至少两帧训练样本图像；

22、针对各帧训练样本图像，将训练样本图像转换成第二灰度图，并将第二灰度图与第二初始参考帧的灰度图进行差分处理，获得第二差分图像；使用第二预设阈值对第二差分图像进行二值化处理，获得第二二值化图像；对第二二值化图像进行轮廓检测，获得第二物体检测框集合；其中，各帧训练样本图像的第二预设阈值不同或相同，训练样本图像和第二初始参考帧均是车内环境图像，且训练样本图像的采集时间晚于第二初始参考帧的采集时间；

23、对各帧训练样本图像的第二物体检测框集合取并集，获得第二检测框并集，第二检测框并集包括多个第二检测框；

24、从第二检测框并集中确定出第三目标检测框集合和第四目标检测框集合，第三目标检测框集合包括至少一个第三目标检测框，第四目标检测框集合包括至少一个第四目标检测框，第三目标检测框是相交检测框的个数大于预设数量的第二检测框，第四目标检测框是相交检测框的个数小于或等于预设数量的第二检测框；

25、根据第三目标检测框集合和第四目标检测框集合，从各帧待检测图像中裁剪出第三图像区域和第四图像区域，第三图像区域是训练样本图像中第三目标检测框所在的图像区域，第四图像区域是训练样本图像中第四目标检测框所在的图像区域；

26、将第三图像区域作为正样本，第四图像区域作为负样本，对预先构建的分类模型进行模型训练，获得训练完成的分类模型。

27、在该实现方式中，基于多帧多阈值或多帧单阈值的遗留物检测方法，对训练样本图像中的遗留物图像区域和非遗留物区域进行自动标注，并使用自动标注后的正负样本进行分类模型的训练，不用耗费大量的人力物力进行样本标注，

28、在第一方面的一些可能的实现方式中，对第一二值化图像进行轮廓检测，获得第一物体检测框集合，包括：

29、对第一二值化图像进行轮廓检测，获得第一二值化图像中各个物体的轮廓点集合；

30、针对各个轮廓点集合，确定轮廓点集合对应的第一位置点的坐标和第二位置点的坐标，并根据第一位置点的坐标和第二位置点的坐标，确定轮廓点集合对应的第一检测框的坐标；

31、根据各个轮廓点集合对应的第一检测框的坐标，获得第一物体检测框集合。

32、第二方面，本技术实施例提供了一种车内遗留物检测装置，包括：

33、检测图像获取模块，用于获取至少两帧待检测图像；

34、第一物体检测模块，用于针对各帧待检测图像，将待检测图像转换成第一灰度图，并将第一灰度图与第一初始参考帧的灰度图进行差分处理，获得第一差分图像；使用第一预设阈值对第一差分图像进行二值化处理，获得第一二值化图像；对第一二值化图像进行轮廓检测，获得第一物体检测框集合；其中，各帧待检测图像的第一预设阈值不同或相同，待检测图像和第一初始参考帧均是车内环境图像，且待检测图像的采集时间晚于第一初始参考帧的采集时间；

35、取并集模块，用于对各帧待检测图像的第一物体检测框集合取并集，获得第一检测框并集，第一检测框并集包括多个第一检测框；

36、第一确定模块，用于从第一检测框并集中确定出第一目标检测框集合，以获得遗留物检测结果，第一目标检测框集合包括至少一个第一目标检测框，第一目标检测框是相交检测框的个数大于预设数量的第一检测框。

37、在第二方面的一些可能的实现方式中，第一确定模块还用于：当相交检测框的个数小于或等于预设数量，则确定第一检测框是第二目标检测框，并根据至少一个第二目标检测框，获得第二目标检测框集合；

38、该装置还包括：

39、裁剪模块，用于根据第一目标检测框集合和第二目标检测框集合，从各帧待检测图像中裁剪出第一图像区域和第二图像区域，第一图像区域是待检测图像中第一目标检测框所在的图像区域，第二图像区域是待检测图像中第二目标检测框所在的图像区域；

40、分类过滤模块，用于将第一图像区域和第二图像区域分别输入至预先训练完成的分类模型，获得分类模型输出的分类结果，分类结果用于表征第一图像区域或第二图像区域包含遗留物的概率；

41、最终结果确定模块，用于根据分类结果，获得最终的遗留物检测结果。

42、在第二方面的一些可能的实现方式中，该装置还包括分类模型训练模块，用于：

43、获取至少两帧训练样本图像；

44、针对各帧训练样本图像，将训练样本图像转换成第二灰度图，并将第二灰度图与第二初始参考帧的灰度图进行差分处理，获得第二差分图像；使用第二预设阈值对第二差分图像进行二值化处理，获得第二二值化图像；对第二二值化图像进行轮廓检测，获得第二物体检测框集合；其中，各帧训练样本图像的第二预设阈值不同或相同，训练样本图像和第二初始参考帧均是车内环境图像，且训练样本图像的采集时间晚于第二初始参考帧的采集时间；

45、对各帧训练样本图像的第二物体检测框集合取并集，获得第二检测框并集，第二检测框并集包括多个第二检测框；

46、从第二检测框并集中确定出第三目标检测框集合和第四目标检测框集合，第三目标检测框集合包括至少一个第三目标检测框，第四目标检测框集合包括至少一个第四目标检测框，第三目标检测框是相交检测框的个数大于预设数量的第二检测框，第四目标检测框是相交检测框的个数小于或等于预设数量的第二检测框；

47、根据第三目标检测框集合和第四目标检测框集合，从各帧待检测图像中裁剪出第三图像区域和第四图像区域，第三图像区域是训练样本图像中第三目标检测框所在的图像区域，第四图像区域是训练样本图像中第四目标检测框所在的图像区域；

48、将第三图像区域作为正样本，第四图像区域作为负样本，对预先构建的分类模型进行模型训练，获得训练完成的分类模型。

49、第三方面，本技术实施例提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面任一项的方法。

50、第四方面，本技术实施例一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面任一项的方法。

51、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的方法。

52、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。