基于图像抓拍的图像处理方法、终端及存储介质与流程

1.本发明涉及图像识别技术领域，特别是涉及一种基于图像抓拍的图像处理方法、终端及存储介质。


背景技术：

2.城市行驶的渣土车、搅拌车易出现渣土或泥浆泄漏、遗撒的情况，不仅对路面造成污染，还会增加道路安全隐患，需要对违规车辆进行处罚。传统模式下往往由监管部门翻查路面视频监控进行人工审查，此种处理方法效率低下、工作负荷大。为了降低人力成本、提升事件的处理效率，越来越多的地区利用马路监控探头实时布控和智能服务器的实时分析，通过计算机视觉技术实现道路事件自动报警，代替了原始的人工管理方法，全天候监控道路污染事件，对违规车辆进行监测。但是当路面出现光影、轮胎水痕或水花等其它图像区域也会被误检为污染物，进而造成污染物的检测准确率不佳。


技术实现要素：

3.本发明主要解决的技术问题是提供一种基于图像抓拍的图像处理方法、终端及存储介质，解决现有技术中污染物的检测准确率低的问题。
4.为解决上述技术问题，本发明采用的第一个技术方案是：提供一种基于图像抓拍的图像处理方法，该基于图像抓拍的图像处理方法包括：对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物；第一污染物为交通道路的组成元素之外的物体；从第一图像帧之前的历史图像帧中，确定出背景图像以及抓拍图像；抓拍图像是包含与第一污染物关联的运动目标的图像；在第一图像帧之后获取第二图像帧并进行检测，确定第二图像帧中的第二污染物；判断第二污染物与第一污染物是否相匹配；如果匹配，则将第二图像帧、抓拍图像以及背景图像进行关联。
5.为解决上述技术问题，本发明采用的第二个技术方案是：提供一种终端，终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于实现上述基于图像抓拍的图像处理方法的步骤。
6.为解决上述技术问题，本发明采用的第三个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述基于图像抓拍的图像处理方法中的步骤。
7.本发明的有益效果是：区别于现有技术的情况，提供的一种基于图像抓拍的图像处理方法、终端及存储介质，该基于图像抓拍的图像处理方法包括：对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物；从第一图像帧之前的历史图像帧中，确定背景图像以及抓拍图像；在第一图像帧之后重新获取第二图像帧并进行检测，确定第二图像帧中的第二污染物；进而将检测到的第二污染物与第一污染物进行比对，实现对第一污染物的进一步验证；如果第一污染物与第二污染物匹配，则将第二图像帧、抓拍图像以及背景图像进行关联，进而提升了污染物的检测准确率以及道路污染报警的准确率。
附图说明
8.图1是本发明提供的基于图像抓拍的图像处理方法的流程示意图；
9.图2是本发明提供的基于图像抓拍的图像处理方法一具体实施例的流程示意图；
10.图3是图2提供的基于图像抓拍的图像处理方法中步骤s202一具体实施例的流程示意图；
11.图4是图2提供的基于图像抓拍的图像处理方法中步骤s206一具体实施例的流程示意图；
12.图5是本发明提供的图像采集设备抓拍的照片；
13.图6是本发明提供的终端一实施方式的示意框图；
14.图7是本发明提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
15.下面结合说明书附图，对本技术实施例的方案进行详细说明。
16.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
17.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
18.为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种基于图像抓拍的图像处理方法做进一步详细描述。
19.请参阅图1，图1是本发明提供的基于图像抓拍的图像处理方法的流程示意图。本实施例中提供一种基于图像抓拍的图像处理方法，该方法适用于监测渣土车、搅拌车经过路面是否对路面造成污染的场景，该基于图像抓拍的图像处理方法包括如下步骤。
20.s11：对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物。
21.具体地，图像采集装置实时抓拍路面的图像，进而获取第一图像帧，基于深度学习框架的目标检测模型对第一图像帧进行目标检测，确定第一图像帧中包含的第一污染物的信息。其中，第一污染物的信息包括第一污染物处于第一图像帧中的位置信息以及第一污染物的类别，并标注出第一图像帧中第一污染物的检测框。例如，第一污染物可以为渣土、泥浆、砂石等静态污染物。
22.s12：从第一图像帧之前的历史图像帧中，确定出背景图像以及抓拍图像。
23.具体地，对预设时段内的历史图像帧与第一图像帧分别进行特征提取并进行比对；筛选并保留预设时段内未检测到第一污染物的历史图像帧；选取保留的历史图像帧中与第一图像帧的时间间隔最小的历史图像帧，将选取的历史图像帧确定为背景图像。对第一图像帧之前的历史图像帧进行运动目标检测，筛选包含运动目标的历史图像帧；确定与第一图像帧的时间间隔最短，且包含的运动目标的位置与第一污染物的位置最近的历史图像帧，将历史图像帧作为抓拍图像。抓拍图像是包含与第一污染物关联的运动目标的图像。
24.s13：在第一图像帧之后获取第二图像帧并进行检测，确定第二图像帧中的第二污染物。
25.具体地，当在第一图像帧中检测得到第一污染物，则在第一图像帧之后间隔预设时间继续通过图像采集设备采集第二图像帧，并通过检测第一图像帧的目标检测模型继续对第二图像帧进行目标检测，当在第二图像帧中检测得到第二污染物，则获取第二污染物在第二图像帧中的位置信息以及第二污染物的类别，并标注出第二图像帧中第二污染物的检测框。其中，图像采集设备的位置是固定的，采集的第一图像帧和第二图像帧是同一路面的同一位置，第一图像帧和第二图像帧的采集时间不同。
26.s14：判断第二污染物与第一污染物是否相匹配。
27.具体地，当在第二图像帧中获取到第二污染物时，则判断第二图像帧中的第二污染物与第一图像帧中的第一污染物是否相同。在一具体实施例中，判断第二污染物处于第二图像帧中的位置坐标与第一污染物处于第一图像帧中的位置坐标是否相同，且判断第二污染物的类别与第一污染物的类别是否相同，进而确定第二污染物与第一污染物是否匹配，提升第一污染物的检验准确率。
28.当判断第二污染物与第一污染物相匹配时，则直接跳转至步骤s14；当判断第二污染物与第一污染物不匹配时，则直接跳转至步骤s15。
29.s15：确定将第二图像帧、抓拍图像以及背景图像进行关联。
30.具体地，当判断第二污染物与第一污染物相匹配时，则表明第二图像帧中的第二污染物的类别与第一图像帧中的第一污染物的类别相同，且第二污染物在第二图像帧中所处的坐标位置与第一污染物在第一图像帧中所处的坐标位置也相同。即可以确定第一污染物是真正的路面污染物，可以将第一污染物确定为检测结果，确定将第二图像帧、抓拍图像以及背景图像关联生成报警依据。
31.s16：确定第一图像帧中检出的第一污染物为误检。
32.具体地，当判断第二污染物与第一污染物不匹配时，则表明第二图像帧中的第二污染物的类别与第一图像帧中的第一污染物的类别不相同，或第二污染物在第二图像帧中所处的坐标位置与第一污染物在第一图像帧中所处的坐标位置不相同。即可以确定第一污染物不是真正的污染物。在另一可选实施例中，在第二图像帧中未检测到第二污染物，则也可以确认第一图像帧中检出的第一污染物为误检。其中，第一污染物可能是光影、轮胎水印或水花等污染物，该类污染物会随着时间推移发生剧烈外观变化或消失。如果第一污染物是水花，待一段时间后，水会蒸发，不会呈现在路面上，因此对第二图像帧进行检测时，在第二图像帧中并不能检测到与第一污染物匹配的第二污染物。光影、轮胎水印或水花等污染物不属于路面上的真正污染物，不会对路面造成影响。因此，当第二图像帧中未检测到第二污染物，或第二图像帧中检测到的第二污染物与第一图像帧中检测到的一污染物不匹配，则确定第一图像帧中检出的第一污染物属于误检。
33.本实施例提供的基于图像抓拍的图像处理方法主要对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物；从第一图像帧之前的历史图像帧中，确定背景图像以及抓拍图像；在第一图像帧之后重新获取第二图像帧并进行检测，确定第二图像帧中的第二污染物；进而将检测到的第二污染物与第一污染物进行比对，实现对第一污染物的进一步验证；如果第一污染物与第二污染物匹配，则将第二图像帧、抓拍图像以及背景图像进行关联，进而提升了污染物的检测准确率以及道路污染报警的准确率。
34.请参阅图2，图2是本发明提供的基于图像抓拍的图像处理方法一具体实施例的流
程示意图。本实施例中提供一种基于图像抓拍的图像处理方法，该基于图像抓拍的图像处理方法包括如下步骤。
35.s201：对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物。
36.具体地，图像采集装置实时抓拍路面的图像，进而获取第一图像帧，基于深度学习框架的目标检测模型对第一图像帧进行目标检测，确定第一图像帧中包含的第一污染物的信息。其中，第一污染物的信息包括第一污染物处于第一图像帧中的位置信息以及第一污染物的类别，并标注出第一图像帧中第一污染物的检测框。例如，第一污染物可以为渣土、泥浆、砂石等静态污染物。
37.请参阅图3和图5，图3是图2提供的基于图像抓拍的图像处理方法中步骤s202一具体实施例的流程示意图；图5是本发明提供的图像采集设备抓拍的照片。
38.s202：根据第一图像帧在第一图像帧之前的历史图像帧中确定背景图像。
39.具体地，请参阅图3，根据第一图像帧在第一图像帧之前的连续历史图像帧中确定第一图像帧的背景图像具体包括如下步骤。
40.s2021：对预设时段内的历史图像帧与第一图像帧分别进行特征提取并进行比对。
41.具体地，在第一图像帧之前的历史图像帧中选取预设时间段内的多个历史图像帧。基于深度学习框架的目标检测模型对第一图像帧进行特征提取，且对选取的预设时间段内的多个历史图像帧也分别进行特征提取，将根据第一图像帧提取的特征图与根据历史图像帧提取的特征图进行逐一比对，并判断哪些历史图像帧提取的特征图相对于第一图像帧提取的特征图中没有第一污染物，哪些历史图像帧提取的特征图相对于第一图像帧提取的特征图中包含第一污染物。
42.s2022：筛选并保留预设时段内未检测到第一污染物的历史图像帧。
43.具体地，将历史图像帧中没有第一污染物的所有历史图像帧筛选出来，即筛选的历史图像帧相比于第一图像帧未检测到第一污染物，将筛选出来的未检测到第一污染物的历史图像帧保留，检测到第一污染物的历史图像帧去除。
44.s2023：选取保留的历史图像帧中与第一图像帧的时间间隔最小的历史图像帧，将选取的历史图像帧确定为背景图像。
45.具体地，将保留的历史图像帧的拍摄时间与第一图像帧的拍摄时间进行比对，选取一张与第一图像帧拍摄时间最近的历史图像帧，将该历史图像帧确定为背景图像，参见图5(a)。这是为了减小误差，避免第一图像帧与背景图像仅在第一污染物上存在差异之外尽可能不存在其它差异，进而提高后续的检测精确度。
46.s203：对第一图像帧中的第一污染物进行特征提取，得到污染物特征图。
47.具体地，基于深度学习框架的目标检测模型对第一图像帧中标注的检测框中的第一污染物进行特征提取，得到污染物特征图，以便于后续对第一污染物种类的识别，提高识别精确度。
48.s204：判断第一图像帧中的污染物特征图是否与数据库中的预设特征图匹配。
49.具体地，为了识别第一图像帧中的第一污染物是否是首次出现，将第一图像帧中进行特征提取的污染物特征图与预先建立的数据库中的预设特征图逐一进行比对，进而确定污染物特征图是否与数据库中的预设特征图相同。在另一可选实施例中，由于拍摄角度因素的影响，同一污染物的图像也可能存在误差。为了减小误差，可以计算第一图像帧中的
污染物特征图与数据库中每一预设特征图的相似度，再将获取的相似度与预设阈值进行比对，进而判断第一图像帧中的污染物特征图是否与数据库中的预设特征图相匹配。其中，预设阈值可以设置为99％。
50.当判断第一图像帧中的污染物特征图与数据库中的一个预设特征图匹配时，则将污染物特征图对应的预设特征图的类别作为第一污染物的类别，之后则直接跳转至步骤s206；当判断第一图像帧中的污染物特征图与数据库中的所有预设特征图均不匹配，则需要对污染物特征图进行识别，检测第一污染物的类别，之后则直接跳转至步骤s205。
51.s205：提取第一图像帧。
52.具体地，如果第一图像帧中的污染物特征图与数据库中的所有预设特征图都不匹配，则将第一图像帧、第一污染物的类别以及位置生成新的第一图像帧，参见图5(b)。也就是说，第一图像帧中的第一污染物是首次出现，基于目标检测模型检测污染物特征图，进而通过检测识别污染物特征图确定第一污染物的类别。在另一实施例中，将第一图像帧中的第一污染物对应的污染物特征图及其对应的类别更新至数据库中，以便于后续对其它视频帧中提取的污染物特征图进行比对。
53.s206：根据第一图像帧，在第一图像帧之前的历史图像帧中确定抓拍图像。
54.请参阅图4，图4是图2提供的基于图像抓拍的图像处理方法中步骤s206一具体实施例的流程示意图。具体地，根据第一图像帧在第一图像帧之前的历史图像帧中确定抓拍图像的步骤具体包括如下步骤。
55.s2061：对第一图像帧之前的历史图像帧进行运动目标检测，筛选包含运动目标的历史图像帧。
56.具体地，基于运动目标检测模型对第一图像帧之前的预设时间段内的历史图像帧进行运动目标检测，检测得到历史图像帧中包含的运动目标以及运动目标的检测框。其中，运动目标包括渣土车、搅拌车等运输车。其中，检测结果包括运动目标的类别、位置、车牌等相关有助于识别的信息。筛选并保留包含运动目标的所有历史图像帧。
57.s2062：确定与第一图像帧的时间间隔最短，且包含的运动目标的位置与第一污染物的位置最近的历史图像帧，将该历史图像帧作为抓拍图像。
58.具体地，将保留的历史图像帧的拍摄时间与第一图像帧的拍摄时间进行逐一比对，且将历史图像帧中的运动目标的所处位置与第一图像帧中的第一污染物的所处位置进行逐一比对，选取一张与第一图像帧拍摄时间最近，且包含的运动目标与第一污染物位置最近的历史图像帧，将该历史图像帧中的运动目标确定为抛洒第一污染物的运动目标，将该历史图像帧以及拍摄时间和地点生成为抓拍图像，参见图5(c)。这是为了减小误差，进而提高确定抛洒第一污染物的运动目标的准确率。
59.s207：在第一图像帧之后获取第二图像帧并进行检测，确定第二图像帧中的第二污染物。
60.具体地，当在第一图像帧中检测得到第一污染物，则在第一图像帧之后间隔预设时间继续通过图像采集设备采集第二图像帧，并通过检测第一图像帧的目标检测模型继续对第二图像帧进行目标检测，当在第二图像帧中检测得到第二污染物，则获取第二污染物在第二图像帧中的位置信息以及第二污染物的类别，并标注出第二图像帧中第二污染物的检测框。其中，图像采集设备的位置是固定的，采集的第一图像帧和第二图像帧是同一路面
的同一位置。
61.s208：判断第二污染物与第一污染物是否相匹配。
62.具体地，当在第二图像帧中获取到第二污染物后，则判断第二图像帧中的第二污染物与第一图像帧中的第一污染物是否相同。在一具体实施例中，判断判断第二污染物在第二图像帧中的位置与第一污染物在第一图像帧中的位置是否相同；如果第二污染物在第二图像帧中的位置与第一污染物在第一图像帧中的位置相同，则判断第二污染物的类别与第一污染物的类别的相似度是否超过预设值；如果相似度超过预设值，则确定第一污染物与第二污染物相匹配，提升第一污染物的检验准确率。
63.当判断第二污染物与第一污染物相匹配时，则直接跳转至步骤s209；当判断第二污染物与第一污染物不匹配时，则直接跳转至步骤s212。
64.s209：确定第一污染物为检测结果。
65.具体地，当判断第二污染物与第一污染物相匹配时，则表明第二图像帧中的第二污染物的类别与第一图像帧中的第一污染物的类别相同，且第二污染物在第二图像帧中所处的坐标位置与第一污染物在第一图像帧中所处的坐标位置也相同。即可以确定第一污染物是真正的路面污染物，可以将第一污染物确定为检测结果。
66.s210：提取第二图像帧。
67.具体地，根据第二图像帧中检测得到的第二污染物的检测框、第二图像帧以及第二图像帧的拍摄时间和地点生成新的第二图像帧，参见图5(d)。
68.s211：将第二图像帧、抓拍图像以及背景图像进行关联。
69.具体地，将背景图像、抓拍图像和第一图像帧和第二图像帧关联组合生成报警依据。
70.s212：确定第一图像帧中检出的第一污染物为误检。
71.具体地，当判断第二污染物与第一污染物不匹配时，则表明第二图像帧中的第二污染物的类别与第一图像帧中的第一污染物的类别不相同，或第二污染物在第二图像帧中所处的坐标位置与第一污染物在第一图像帧中所处的坐标位置不相同。即可以确定第一污染物不是真正的污染物。在另一可选实施例中，在第二图像帧中未检测到第二污染物，则也可以确认第一图像帧中检出的第一污染物为误检。其中，第一污染物可能是光影、轮胎水印或水花等污染物，该类污染物会随着时间推移发生剧烈外观变化或消失。如果第一污染物是水花，待一段时间后，水会蒸发，不会呈现在路面上，因此对第二图像帧进行检测时，在第二图像帧中并不能检测到与第一污染物匹配的第二污染物。光影、轮胎水印或水花等污染物不属于路面上的真正污染物，不会对路面造成影响。因此，当第二图像帧中未检测到第二污染物，或第二图像帧中检测到的第二污染物与第一图像帧中检测到的一污染物不匹配，则确定第一图像帧中检出的第一污染物属于误检。
72.本实施例提供的污染物检测方法包括对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物；从第一图像帧之前的历史图像帧中，确定背景图像以及抓拍图像；在第一图像帧之后重新获取第二图像帧并进行检测，确定第二图像帧中的第二污染物；进而将检测到的第二污染物与第一污染物进行比对，实现对第一污染物的进一步验证；如果第一污染物与第二污染物匹配，则将第二图像帧、抓拍图像以及背景图像进行关联，进而提升了污染物的检测准确率以及道路污染报警的准确率。
73.参阅图6，图6是本发明提供的终端一实施方式的示意框图。该实施方式中的终端70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序，该计算机程序被处理器71执行时实现上述基于图像抓拍的图像处理方法中，为避免重复，此处不一一赘述。
74.参阅图7，图7是本发明提供的计算机可读存储介质一实施方式的示意框图。
75.本技术的实施方式中还提供一种计算机可读存储介质90，计算机可读存储介质90存储有计算机程序901，计算机程序901中包括程序指令，处理器执行程序指令，实现本技术实施方式提供的污染物检测方法。
76.其中，计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元，例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
77.以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。