工地场景检测方法、装置、设备及存储介质与流程

1.本技术实施例涉及图像处理技术领域，涉及但不限于一种工地场景检测方法、装置、设备及存储介质。


背景技术：

2.随着城市基建的发展，城市场景下工地场景的安全问题是城市安全管理的重要部分。新型的智能化城市工地场景预警系统虽然能够大大减少人力成本，并实现全天候高效管理，但是在对城市场景下工地场景的管理的过程中，不能保证对工地场景检测的准确度。


技术实现要素：

3.本技术实施例提供一种工地场景检测技术方案。
4.本技术实施例的技术方案是这样实现的：
5.本技术实施例提供一种工地场景检测方法，所述方法包括：
6.获取待检测图像，所述待检测图像中包括工地场景区域；
7.在所述待检测图像中，对所述工地场景区域中的工地扬尘进行检测；
8.响应于检测到所述工地扬尘，在以下至少一帧图像中对所述工地场景区域中的工地泥土进行检测：所述待检测图像，以及与所述待检测图像在时间上相邻的至少一帧图像。
9.在一些实施例中，所述响应于检测到所述工地扬尘，在以下至少一帧图像中对所述工地场景区域中的工地泥土进行检测：所述待检测图像，以及与所述待检测图像在时间上相邻的至少一帧图像，包括：响应于检测到所述工地扬尘，在所述待检测图像中对所述工地场景区域中的工地泥土进行检测；响应于在所述待检测图像中未检测到所述工地泥土，确定与所述待检测图像在时间上相邻的至少一帧图像；在所述相邻的至少一帧图像中，对所述工地场景区域中的工地泥土进行检测。如此，提高了对工地场景区域中的工地泥土检测的准确度。
10.在一些实施例中，所述在所述待检测图像中，对所述工地场景区域中的工地扬尘进行检测，包括：对所述待检测图像进行特征提取，得到图像特征；在所述图像特征中，检测与预设扬尘特征相匹配的目标图像特征；响应于检测到所述目标图像特征，确定在所述工地场景区域中检测到所述工地扬尘。如此，通过对待检测图像的图像特征进行比对，能够更加准确的对工地场景中的工地扬尘进行检测。
11.在一些实施例中，所述响应于检测到所述工地扬尘，在以下至少一帧图像中对所述工地场景区域中的工地泥土进行检测：所述待检测图像，以及与所述待检测图像在时间上相邻的至少一帧图像之后，所述方法还包括：响应于检测到所述工地泥土，采用语义分割网络，对所述工地场景区域中的所述工地泥土和所述工地扬尘进行场景分割，得到分割结果；其中，所述语义分割网络是通过对画面中不同类别的工地扬尘和不同类别的工地泥土进行标注的样本图像集，进行训练得到的；基于所述分割结果，确定所述工地泥土的类别和所述工地扬尘的类别；基于所述工地泥土的类别和所述工地扬尘的类别，至少对所述工地
场景区域中的工地泥土进行处理。如此，能够更加准确的确定工地场景区域中工地扬尘和工地泥土的类别，便于有针对性地对工地扬尘和工地泥土进行处理。
12.在一些实施例中，所述基于所述工地泥土的类别和所述工地扬尘的类别，至少对所述工地场景区域中的工地泥土进行处理，包括：基于所述工地泥土的类别和所述工地扬尘的类别，确定所述工地泥土和所述工地扬尘之间的关联关系；在所述关联关系表征所述工地扬尘与所述工地泥土相关的情况下，基于所述工地泥土的类别，生成第一告警信息，以提示对所述工地泥土进行处理。如此，在工地泥土与工地扬尘存在关联的情况下，将工地泥土类别的告警信息上传至工地管理系统，以使管理人员能够及时对工地泥土区域进行处理。
13.在一些实施例中，所述基于所述工地泥土的类别和所述工地扬尘的类别，确定所述工地泥土和所述工地扬尘之间的关联关系，包括：基于所述工地泥土的类别，确定所述类别的工地泥土产生的扬尘的目标类别；基于所述目标类别与所述工地扬尘的类别，确定所述关联关系。如此，通过分析工地泥土能够产生的工地扬尘的类别，能够准确判断工地扬尘是否来源于工地泥土，进而便于后续确定较为合适的工地场景区域的处理方式。
14.在一些实施例中，所述基于所述目标类别与所述工地扬尘的类别，确定所述关联关系，包括：在所述目标类别包括所述工地扬尘的类别的情况下，确定所述工地扬尘与所述工地泥土相关；在所述目标类别不包括所述工地扬尘的类别的情况下，确定所述工地扬尘与所述工地泥土不相关。如此，通过分析工地泥土产生的扬尘的目标类别与图像中工地扬尘的类别之间的相似性，能够更加清晰且准确的判断出工地扬尘与泥土之间是否关联。
15.在一些实施例中，所述在所述关联关系表征所述工地扬尘与所述工地泥土相关的情况下，基于所述工地泥土的类别，生成第一告警信息，以提示对所述工地泥土进行处理，包括：在所述关联关系表征所述工地扬尘与所述工地泥土相关的情况下，基于所述分割结果，确定所述工地泥土的第一位置信息；基于所述第一位置信息和所述工地泥土的类别，生成所述第一告警信息，以提示采用与所述工地泥土的类别相匹配的方式，基于所述第一位置信息所述对所述工地泥土进行处理。如此，基于工地泥土的位置和类别，生成该类别匹配的告警信息，以便于管理人员在该位置对位置覆盖的工地泥土进行管理。
16.在一些实施例中，所述基于所述工地泥土的类别和所述工地扬尘的类别，确定所述工地泥土和所述工地扬尘之间的关联关系之后，所述方法还包括：在所述关联关系表征所述工地扬尘与所述工地泥土不相关的情况下，基于所述分割结果，确定所述工地泥土的第一位置信息和所述工地扬尘的第二位置信息；基于所述第一位置信息、所述工地泥土的类别、所述第二位置信息和所述工地扬尘的类别，生成第二告警信息，以提示分别对所述工地泥土和所述工地扬尘进行处理。如此，基于工地泥土的位置和类别，以及，工地扬尘的位置和类别，生成第二告警信息，以便于管理人员在能够更加精准的对工地泥土和工地扬尘进行管理。
17.在一些实施例中，所述在所述待检测图像中，对所述工地场景区域中的工地扬尘进行检测之后，所述方法还包括：在未检测到所述工地扬尘的情况下，在所述待检测图像中对所述工地场景区域中的工地泥土进行检测；响应于在所述待检测图像中检测到所述工地泥土，基于所述工地泥土在所述待检测图像中的第一位置信息和所述工地泥土的类别，生成第一告警信息。
18.在一些实施例中，所述响应于检测到所述工地扬尘，在以下至少一帧图像中对所述工地场景区域中的工地泥土进行检测：所述待检测图像，以及与所述待检测图像在时间上相邻的至少一帧图像之后，所述方法还包括：响应于检测到所述工地扬尘，且未检测到所述工地泥土，基于所述工地扬尘的第二位置信息和所述工地扬尘的类别，生成第三告警信息，以提示采用与所述工地扬尘的类别相匹配的方式，基于所述第二位置信息所述对所述工地扬尘进行处理。如此，基于检测到的内容不同，生成不同的告警信息，从而能够向管理人员及时反馈工地场景区域的实际情况。
19.本技术实施例提供一种工地场景检测装置，所述装置包括：
20.第一获取模块，用于获取待检测图像，所述待检测图像中包括工地场景区域；
21.第一检测模块，用于在所述待检测图像中，对所述工地场景区域中的工地扬尘进行检测；
22.第二检测模块，用于响应于检测到所述工地扬尘，在以下至少一帧图像中对所述工地场景区域中的工地泥土进行检测：所述待检测图像，以及与所述待检测图像在时间上相邻的至少一帧图像。
23.对应地，本技术实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的工地场景检测方法的。
24.本技术实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现上述的工地场景检测方法。
25.本技术实施例提供一种工地场景检测方法、装置、设备及存储介质，对于画面包括工地场景区域的待检测图像，通过首先对该待检测图像中的工地场景区域进行工地扬尘检测；然后，如果能够检测到工地扬尘，继续在该待检测图像或者与待检测图像在时间上相邻的图像中，对该工地场景区域中的工地泥土进行检测；如此，分成两个阶段对工地场景区域中的工地扬尘和工地泥土进行检测，既能够提高检测的广泛性，还能够提高对对工地场景区域中的工地扬尘和工地泥土检测的准确度。
附图说明
26.图1为本技术实施例提供的工地场景检测方法的实现流程示意图；
27.图2为本技术实施例提供的工地场景检测方法的另一实现流程示意；
28.图3为本技术实施例提供的工地场景检测方法的又一实现流程示意图；
29.图4为本技术实施例提供的工地场景检测方法的应用场景示意图；
30.图5为本技术实施例提供的工地场景检测方法的另一应用场景示意图；
31.图6为本技术实施例工地场景检测装置的结构组成示意图；
32.图7为本技术实施例计算机设备的组成结构示意图。
具体实施方式
33.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本技术，但不用来限制本技术的范围。
34.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
35.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
36.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
37.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
38.1)语义分割，将图片中的各类信息进行分割，例如人的轮廓标记为红色，马路标记为紫色，但是不同的人是没有办法区分的，相当的与将图片中的图片进行了大类的外部轮廓与标签的匹配。
39.2)残差神经网络(resnet)，由残差模块构建的，用梯度下降算法训练一个神经网络，随着层数增加，训练误差越来越减小，这种方式能够到达网络更深层，有助于解决梯度消失和梯度爆炸的问题，让训练更深网络的同时又能保证良好的性能。
40.下面说明本技术实施例提供的工地场景检测的设备的示例性应用，本技术实施例提供的设备可以实施为具有图像采集功能的笔记本电脑，平板电脑，台式计算机，相机，移动设备(例如，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明设备实施为终端或服务器时示例性应用。
41.该方法可以应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。
42.本技术实施例提供一种工地场景检测方法，如图1所示，结合如图1所示步骤进行说明：
43.步骤s101，获取待检测图像。
44.在一些实施例中，所述待检测图像中包括工地场景区域。待检测图像为包括工地场景区域的外观复杂的图像，还可以是包括工地场景区域的外观简单的图像，待检测图像可以是任意采集设备在城市场景下采集到的图像，比如，画面内容包括在宽阔的马路上堆放块状工地泥土的图像，或者画面内容包括堆放散状工地泥土的图像等，或画面内容包括扬尘类、飞尘物料堆放类或准扬尘类等任意一类或多类的图像。
45.步骤s102，在所述待检测图像中，对所述工地场景区域中的工地扬尘进行检测。
46.在一些实施例中，获取到待检测图像之后，首先在待检测图像中的工地场景区域中检测是否存在工地扬尘。该工地扬尘包括：扬尘和飞尘等。比如，采用神经网络对待检测图像中的工地场景区域进行检测，以检测框的形式标注工地场景区域；或者，从待检测图像中通过抠图，将工地场景区域抠出，以在该工地场景区域对工地扬尘进行检测。
47.在一些可能的实现方式中，采用卷积神经网络或者语义分割网络对待检测图像进
行特征提取，通过对提取的特征进行识别，确定工地场景区域中是否存在工地扬尘，即上述步骤s102可以通过以下步骤s121至123(图示未示出)实现：
48.步骤s121，对所述待检测图像进行特征提取，得到图像特征。
49.采用卷积神经网络或残差神经网络等，对待检测图像进行特征提取，得到图像特征。该图像特征可以是工地场景区域对应的特征，也可以整个待检测图像的特征。
50.步骤s122，在所述图像特征中，检测与预设扬尘特征相匹配的目标图像特征。
51.这里，预设扬尘特征为针对真实的扬尘图像进行特征提取得到的，将待检测图像的图像特征与预设扬尘特征进行比对。如果图像特征中存在与预设扬尘特征的相似度较高的目标图像特征，确定目标图像图像特征与预设扬尘特征匹配。
52.步骤s123，响应于检测到所述目标图像特征，确定在所述工地场景区域中检测到所述工地扬尘。
53.如果在待检测图像的图像特征中检测到目标图像特征，说明待检测图像的工地场景区域中存在扬尘图像区域，进一步说明在工地场景区域中检测到工地扬尘。如此，通过对待检测图像的图像特征进行比对，能够更加准确的对工地场景中的工地扬尘进行检测。
54.步骤s103，响应于检测到所述工地扬尘，在以下至少一帧图像中对所述工地场景区域中的工地泥土进行检测：所述待检测图像，以及与所述待检测图像在时间上相邻的至少一帧图像。
55.在一些实施例中，该工地泥土包括：散状泥土和块状泥土等。如果在待检测图像的工地场景区域中检测到工地扬尘，那么可以继续在待检测图像中的工地场景区域中进行工地泥土的检测，还可以是在与该待检测图像在时间上相邻的图像中，进行工地泥土的检测，以提高检测准确度。
56.在一些可能的实现方式中，为提高对工地场景区域中的工地泥土检测的准确度，上述步骤s103可以通过图2所示的步骤实现，图2为本技术实施例提供的工地场景检测方法的另一实现流程示意，结合图1和2进行以下说明：
57.步骤s201，响应于检测到所述工地扬尘，在所述待检测图像中对所述工地场景区域中的工地泥土进行检测。
58.如果在待检测图像的工地场景区域中，检测到工地扬尘；确定待检测图像和，与待检测图像在时间上相邻的图像的检测优先级为：待检测图像在前，时间上相邻的图像在后。即在待检测图像的工地场景区域中检测到工地扬尘，继续在该待检测图像的工地场景区域中检测工地泥土。
59.在一些可能的实现方式中，可以通上述步骤s121至步骤s123实现对工地场景区域中工地泥土的检测。
60.步骤s202，响应于在所述待检测图像中未检测到所述工地泥土，确定与所述待检测图像在时间上相邻的至少一帧图像。
61.如果在该待检测图像的工地场景区域中未检测到工地泥土，即在该待检测图像的工地场景区域中能够检测到工地扬尘但是检测不到工地泥土，说明可能是在采集这一帧待检测图像时，恰好没有采集到工地泥土；为提高对该工地场景区域进行工地泥土检测的准确度，获取与该待检测图像在时间上相邻的至少一帧图像。比如，待检测图像的上一帧图像或者待检测图像的下一帧图像等。在其他实施例中，可以设定获取的在时间上相邻的至少
一帧图像的数量，比如，获取待检测图像的上一帧图像，以及上一帧图像的上一帧图像等，满足预设数量的图像。
62.步骤s203，在所述相邻的至少一帧图像中，对所述工地场景区域中的工地泥土进行检测。
63.在获取的与待检测图像在时间上相邻的图像中，对该相邻的图像的工地场景区域中的工地泥土进行检测。比如，设定获取两帧与待检测图像在时间上相邻的图像(可以是待检测图像的上一帧图像和下一帧图像)，在这两帧图像中，分别对工地场景区域中的工地泥土进行检测；或者，是逐一在这两帧图像中对工地场景区域中的工地泥土进行检测；如果在第一帧图像(该第一帧图像可以是这两帧图像中的任一帧)中能够检测到工地泥土，则停止对另一帧图像检测。如此，通过对与待检测图像相邻的至少一帧图像中，对工地泥土进行检测，能够提高对工地场景区域中工地泥土以及工地扬尘进行检测的准确度。
64.在本技术实施例中，对于画面包括工地场景区域的待检测图像，通过首先对该待检测图像中的工地场景区域进行工地扬尘检测；然后，如果能够检测到工地扬尘，继续在该待检测图像或者与待检测图像在时间上相邻的图像中，对该工地场景区域中的工地泥土进行检测；如此，分成两个阶段对工地场景区域中的工地扬尘和工地泥土进行检测，既能够提高检测的广泛性，还能够提高对对工地场景区域中的工地扬尘和工地泥土检测的准确度。
65.在一些实施例中，对工地场景区域中的工地泥土和工地扬尘进行检测完成之后，按照工地泥土和工地扬尘的类别，对该工地场景区域的处理，可以通过以下步骤s151至153(图示未示出)实现：
66.步骤s151，响应于检测到所述工地泥土，采用语义分割网络，对所述工地场景区域中的所述工地泥土和所述工地扬尘进行场景分割，得到分割结果。
67.在一些实施例中，语义分割网络是通过对画面中不同类别的工地泥土进行标注的样本图像集，进行训练得到的。该语义分割网络是通过采用鲁棒性较强的模型，对结构简单的待训练分割网络进行指导训练得到的，这样使得该语义分割网络在保持低复杂度的前提下，具有较高的性能。
68.该语义分割网络通过对输入的图像进行特征提取，并对提取的特征进行语义分割，生成对图像中不同类别的工地泥土和工地扬尘进行分割的分割图。
69.该样本图像集中的每一样本图像，均已采用预设语义标签库对画面中的不同类别的工地泥土和工地扬尘进行标注。以不同类别工地泥土为块状工地泥土和散状工地泥土，工地扬尘为：扬尘和飞尘为例，样本图像集为在城市场景下包括块状工地泥土、散状工地泥土、扬尘或飞尘的图像。预设语义标签库中的预设语义标签，是根据待检测图像中携带的待处理需求设定的。比如，待检测图像中携带的待处理需求是城市场景中的块状工地泥土和散状工地泥土堆放区域监控类的需求，那么在城市场景下，该监控类的需求包括：监督工地上工地泥土的堆放位置、堆放面积和堆放厚度等，那么实现该需求的工地泥土的目标类别为堆放块状工地泥土和散状工地泥土，设定块状工地泥土的语义标签为1、散状工地泥土的语义标签为2；那么在样本图像中将堆放散状工地泥土的区域和堆放块状工地泥土的区域分别标注为1和2。如此，通过这些预设语义标签对样本图像中的堆放工地泥土的区域进行标注，得到能够作为训练集的样本图像集，以训练神经网络得到语义分割网络。
70.采用语义分割网络对工地场景区域中的工地泥土和工地扬尘进行分割的过程如
下：
71.该语义分割网络中包括：用于进行特征提取的残差神经网络、对提取的特征进行语义分割的深度实验室v3(deeplab v3)网络、对语义分割结果进行上采样的上采样模块和最终结果预测模块。
72.在一些可能的实现方式中，首先，将待检测图像输入语义分割网络中的残差神经网络，基于该残差神经网络对待检测图像进行特征提取，得到待检测图像的特征图，即图像特征。将画面内容包括工地场景区域的待检测图像输入语义分割网络的残差神经网络中，以实现对该待检测图像进行特征提取。然后，基于图像特征，对待分类工地泥土进行分割，得到分割结果。通过语义分割网络中的残差神经网络对待检测图像进行特征提取之后，将图像特征输入deeplabv3网络，以实现对该图像特征中工地泥土和工地扬尘的不同类别对应的特征进行语义分割。在一些可能的实现方式中，通过基于预设语义标签库，在待检测图像的工地场景区域中，基于预设语义标签库，确定每一类别的工地泥土相匹配的预设语义标签，以及确定每一类别的工地扬尘相匹配的预设语义标签。
73.对于每一工地泥土和每一工地扬尘，采用相匹配的预设语义标签对图像特征进行语义分割，得到分割结果。工地泥土和工地扬尘的预设语义标签库包括：表示背景区域的标签0、表示块状工地泥土类的标签1、表示散状工地泥土类的标签2和表示准工地泥土堆放类的标签3、扬尘类的语义标签为3和飞尘物料堆放类的语义标签为4。如果待检测图像的工地泥土的类别包括：块状工地泥土类，工地扬尘的类别包括：飞尘物料堆放类；那么基于块状工地泥土类和飞尘物料堆放类对应的预设语义标签对待检测图像进行语义分割，得到将待检测图像划分为包括块状工地泥土类、飞尘物料堆放类和背景两个区域的分割结果。
74.步骤s152，基于所述分割结果，确定所述工地泥土的类别和所述工地扬尘的类别。
75.在一些实施例中，工地泥土的类别至少包括：散状工地泥土、块状工地泥土。其中，散状工地泥土包括：沙土、泥土、砂石、种植土、壤土、粘土、干燥黄土和含有少量砾石的粘土等散状物料；块状工地泥土包括：淤泥、干淤泥、含有大量砾石的粘土、粘土块、坚硬粘土、砾质粘土和含卵石粘土等突然结构坚硬的块状物料。工地扬尘的类别包括：扬尘类和飞尘物料堆放类等。由于分割结果是基于表示工地泥土类别和工地扬尘类别的预设语义标签进行分割得到的，所以，在分割结果中具有每一类别对应的预设语义标签，这样基于该标签即可确定出工地场景区域中的工地泥土的类别和所述工地扬尘的类别。比如，分割结果中包括多种类别的工地泥土、多类别的工地扬尘和图像其他区域的分割结果；那么通过预设语义标签与工地泥土的类别以及工地扬尘的类别之间的匹配关系，可以确定出工地泥土为每一类别对应的概率值，以及，工地扬尘为每一类别对应的概率值；从而将概率值最大的工地泥土类别确定为待检测图像中的工地泥土的最终类别，将概率值最大的工地扬尘类别确定为待检测图像中的工地扬尘的最终类别。
76.步骤s153，基于所述工地泥土的类别和所述工地扬尘的类别，至少对所述工地场景区域中的工地泥土进行处理。
77.在一些实施例中，通过分析工地泥土的类别和工地扬尘的类别之间的关联关系，确定对工地场景中的工地泥土和工地扬尘的处理方式，从而能够有针对性的实现对工地场景区域中工地扬尘和工地泥土的处理。如此，通过采用基于该样本图像集进行训练得到的语义分割网络，对待检测图像中各个类别的工地泥土和工地扬尘进行分割，能够有效分割
出该图像中覆盖工地泥土和工地扬尘的区域，从而能够更加准确的确定工地场景区域中工地扬尘和工地泥土的类别，便于有针对性地对工地扬尘和工地泥土进行处理。
78.在一些可能的实现方式中，通过分析工地泥土的类别和工地扬尘的类别，确定该扬尘是否来源于工地泥土，进而生成相匹配的告警信息，即上述步骤s153可以通过以下步骤实现：
79.第一步，基于所述工地泥土的类别和所述工地扬尘的类别，确定所述工地泥土和所述工地扬尘之间的关联关系。
80.按照工地泥土的类别和工地扬尘的类别，确定该工地泥土是否能够产生该类别的工地扬尘；如果该工地泥土能够产生该类别的工地扬尘，说明该工地扬尘可能是该工地泥土产生的，确定该工地泥土和工地扬尘之间存在关联。
81.在一些可能的实现方式中，通过首先，基于所述工地泥土的类别，确定所述类别的工地泥土产生的扬尘的目标类别。比如，工地泥土的类别为沙土，那么能够产生的工地扬尘类别为飞尘；如果工地泥土的类别为淤泥，则不会产生飞尘。
82.然后，基于所述目标类别与所述工地扬尘的类别，确定所述关联关系。
83.通过确定目标类别与工地扬尘的类别之间的匹配度，确定该工地扬尘与工地泥土之间是否相关。如此，通过分析工地泥土能够产生的工地扬尘的类别，能够准确判断工地扬尘是否来源于工地泥土，进而便于后续确定较为合适的工地场景区域的处理方式。
84.在一些可能的实现方式中，在所述目标类别包括所述工地扬尘的类别的情况下，确定所述工地扬尘与所述工地泥土相关；比如，目标类别与工地扬尘的类别相同，或者目标类别包括扬尘和飞尘两类，工地扬尘的类别为飞尘，那么确定该工地扬尘可能是工地泥土产生的，即确定工地扬尘与工地泥土相关。
85.或者，在所述目标类别不包括所述工地扬尘的类别的情况下，确定所述工地扬尘与所述工地泥土不相关。比如，通过分析工地泥土的类别，确定出该类别的工地泥土不产生扬尘或飞尘，那么该工地泥土能够产生的扬尘的类别，显然不不包括工地扬尘的类别，并确定该工地扬尘扬尘并非来源于该工地泥土，即确定工地扬尘与工地泥土不相关。如此，通过分析工地泥土产生的扬尘的目标类别与图像中工地扬尘的类别之间的相似性，能够更加清晰且准确的判断出工地扬尘与泥土之间是否关联。
86.第二步，在所述关联关系表征所述工地扬尘与所述工地泥土相关的情况下，基于所述工地泥土的类别，生成第一告警信息，以提示对所述工地泥土进行处理。
87.如果工地泥土产生的扬尘的目标类别包括工地扬尘的类别，说明该工地扬尘可能是工地泥土产生的。基于此，按照该工地泥土的类别，生成携带该类别以及该工地泥土的位置信息的第一告警信息，该告警信息可以是输出给用户终端设备，提示工地场景区域的管理人员针对这一类别的工地泥土进行处理；或者是，将第一告警信息反馈至工地场景区域处理的设备(比如，铲车)，控制该设备自动对这一类别的工地泥土进行处理。如此，在工地泥土与工地扬尘存在关联的情况下，将工地泥土类别的告警信息上传至工地管理系统，以使管理人员能够及时对工地泥土区域进行处理。
88.在一些实施例中，针对工地泥土和工地扬尘之间的关联关系不同，生成不同的告警信息，以便于采用不同的管理方式对工地泥土和/或工地扬尘进行处理，包括以下多种情况：
89.一是，在工地泥土和工地扬尘相关的情况下，可以是按照工地泥土的类别，提示管理人员对该工地泥土进行处理，可以通过以下步骤实现：
90.第一步，在所述关联关系表征所述工地扬尘与所述工地泥土相关的情况下，基于所述分割结果，确定所述工地泥土的第一位置信息。
91.在一些实施例中，每一类别的工地泥土的位置信息可以理解为是，每一类别的工地泥土在世界坐标系中坐标值。通过对分割结果进行分析，确定出该待检测图像中包括哪些类别的工地泥土，并通过位置回归，确定每一类工地泥土的在图像中的二维坐标值，将该二维坐标值转换为相机坐标系下的三维坐标，通过相机坐标系与世界坐标系之间的对应关系，确定该类别的工地泥土在世界坐标系下的三维坐标值。比如，通过对分割结果进行分析，确定出该待检测图像中覆盖的工地泥土为：散状工地泥土类，那么在分割结果中对覆盖散状工地泥土的区域进行位置回归，确定出覆盖散状工地泥土的区域在该图像中的位置，以及该位置在世界坐标系中的坐标值。
92.第二步，基于所述第一位置信息和所述工地泥土的类别，生成所述第一告警信息，以提示采用与所述工地泥土的类别相匹配的方式，基于所述第一位置信息所述对所述工地泥土进行处理。
93.在一些实施例中，将第一位置信息和该工地泥土的类别携带告警信息中，反馈至工地场景的管理系统，提示管理人员采用与工地泥土的类别相匹配的方式，在第一位置信息处对工地泥土进行处理；这样，基于工地泥土的位置和类别，生成该类别匹配的告警信息，以便于管理人员在该位置对位置覆盖的工地泥土进行管理。
94.在一些可能的实现方式中，在工地泥土为淤泥类的情况下，通过对分割结果进行位置回归，确定出覆盖淤泥的区域的位置，并且生成提示管理人员的告警信息，以提示管理人员在该位置处覆盖了淤泥；或者是，将告警信息反馈给管控设备，以使管控设备对覆盖了淤泥的位置进行管控。在另一实现方式中，将工地泥土所覆盖的位置信息上报至工地泥土覆盖预警系统，以使工地泥土覆盖预警系统生成并输出告警信息，从而促使管理人员对覆盖预设类别的工地泥土的区域进行及时处理。
95.在本技术实施例中，通过对分析分割结果，确定出每一类工地泥土的位置信息，并且针对工地泥土生成并输出告警信息，以便于能够及时且有效地对该类别的工地泥土进行管控。
96.二是，在工地泥土和工地扬尘不相关的情况下，按照工地泥土的类别和工地扬尘的类别，提示管理人员对该工地泥土和工地扬尘进行处理，可以通过以下步骤实现：
97.第一步，在所述关联关系表征所述工地扬尘与所述工地泥土不相关的情况下，基于所述分割结果，确定所述工地泥土的第一位置信息和所述工地扬尘的第二位置信息。
98.这里，可以采用与上述在工地泥土和工地扬尘相关的情况下，基于分割结果确定工地泥土的第一位置信息的方式，确定出工地泥土的第一位置信息和工地扬尘的第二位置信息。
99.第二步，基于所述第一位置信息、所述工地泥土的类别、所述第二位置信息和所述工地扬尘的类别，生成第二告警信息，以提示分别对所述工地泥土和所述工地扬尘进行处理。
100.由于工地泥土和工地扬尘不相关，所以提示管理人员分别对工地泥土和工地扬尘
进行处理，能够更为充分地完成对工地场景区域的管理。
101.在一些可能的实现方式中，将第一位置信息和该工地泥土的类别作为一对，将第二位置信息与工地扬尘的类别作为一对，携带于第二告警信息中；将该第二告警信息反馈至工地场景的管理系统，提示管理人员分别在第一位置信息处对工地泥土进行处理，在第二位置信息处对工地扬尘进行处理；这样，基于工地泥土的位置和类别，以及，工地扬尘的位置和类别，生成第二告警信息，以便于管理人员能够更加精准的对工地泥土和工地扬尘进行管理。
102.在一些实施例中，基于检测到的工地扬尘或工地泥土，生成告警信息，包括以下两种情况：
103.一是，如果在待检测图像中未检测到工地扬尘，但是检测到了工地泥土，则按照工地泥土的位置和类别生成告警，过程如下：
104.第一步，在未检测到所述工地扬尘的情况下，在所述待检测图像中对所述工地场景区域中的工地泥土进行检测。
105.如果在待检测图像中未检测到工地扬尘，继续对工地场景区域中的工地泥土进行检测。
106.第二步，响应于在所述待检测图像中检测到所述工地泥土，基于所述工地泥土在所述待检测图像中的第一位置信息和所述工地泥土的类别，生成第一告警信息。
107.如果在待检测图像中未能够检测到工地扬尘但是检测到工地泥土，将该工地泥土的位置和类别均携带于第一告警信息，反馈至工地场景区域的管理系统中。
108.二是，如果检测到工地扬尘，但是未检测工地泥土，则按照工地扬尘的位置和类别生成告警，过程如下：
109.响应于检测到所述工地扬尘，且未检测到所述工地泥土，基于所述工地扬尘的第二位置信息和所述工地扬尘的类别，生成第三告警信息，以提示采用与所述工地扬尘的类别相匹配的方式，基于所述第二位置信息所述对所述工地扬尘进行处理。
110.这里，第三告警信息中携带工地扬尘的位置和类别，以便于提示工地场景区域的管理人员在该位置处，对工地扬尘进行处理。如此，
111.在本技术实施例中，基于检测到的内容不同，生成不同的告警信息，从而能够向管理人员及时反馈工地场景区域的实际情况。
112.下面，将说明本技术实施例在一个实际的应用场景中的示例性应用，以采用创建的标签库，对城市场景中的工地泥土和工地扬尘的分割为例，进行说明。
113.在相关技术中，工地泥土覆盖和工地扬尘预警主要依靠人力，往往导致执法成本高和效率低的问题。新型的智能化工地泥土覆盖和工地扬尘预警系统则能大大减少人力成本，并实现全天候高效管理，而且对城市场景下各个区域的准确分割和定位是工地泥土覆盖和工地扬尘预警系统的基础。
114.然而，在实际应用中，由于未对工地泥土覆盖和工地扬尘问题进行过深入探讨和分析，导致对于模型定义上无法统一，无法形成实际可用的标签体系。
115.基于此，本技术实施例提供一种工地场景检测方法，通过创建统一且规范的城市场景上工地泥土和工地扬尘的语义标签库，该语义标签库能够全面覆盖工地泥土覆盖和工地扬尘场景，切合实际需求，而且语义标签库体系独立、完备且基础。基于上述语义标签库，
构建数据定义和标注规范，从而可得到轻量级的语义分割网络，根据分割结果确定场景中的工地泥土和工地扬尘所处的区域位置。该工地场景检测方法的实现过程如下：
116.第一步，根据实际需求(对应于上述实施例中的待处理需求)，对不同类别工地泥土和工地扬尘的语义标签和对应的输出结果进行定义，创建工地泥土和工地扬尘的语义标签，得到语义标签库。
117.在一些实施例中，在对不同类别的工地泥土和工地扬尘进行标注的过程中，由于工地泥土和工地扬尘的覆盖区域的面积形状不规则，可能任意形状的区域，采用区域的轮廓，对工地泥土和工地扬尘的类型进行标注；当图像中的工地泥土被或工地扬尘其他物体遮挡时，可以通过假想标注的方式对图像中的多种工地泥土和工地扬尘的类型进行标注。为提高标注速度，在本技术实施例中采用多边形对工地泥土和工地扬尘的类型进行标注。其中，工地泥土和工地扬尘类型标注的语义标签和对应的输出结果包括：
118.a)类别id为0，语义标签为背景区域，对应的输出结果为图像内工地泥土以及工地扬尘以外的区域。
119.b)类别id为1，语义标签为块状工地泥土堆放区域，对应的输出结果是堆放块状工地泥土的区域。
120.c)类别id为2，语义标签为散状工地泥土堆放区域，对应的输出结果是堆放散状工地泥土的区域。
121.e)类别id为3，语义标签为工地扬尘区域，对应的输出结果是发生有扬尘的区域等。
122.f)类别id为4，语义标签为飞尘物料堆放区域，对应的输出结果是在该区域有飞尘物料堆放。
123.第二步，基于语义标签库，对输入的待检测图像进行语义分割，得到语义分割图。
124.在一些可能的实现方式中，输出结果的格式可以为与原图大小一致的二维矩阵，用于表示语义分割图。其中，语义分割图包括表示不同工地泥土类型以及不同工地扬尘类型的id，比如，0，1、2、3和4五个数字，以及表示每一个工地泥土类型以及不同工地扬尘类型的颜色，分别表示背景、块状工地泥土堆放区域、散状工地泥土堆放区域、工地扬尘区域和飞尘物料堆放区域。
125.第三步，基于语义分割图，确定该图像中每类工地泥土和每类工地扬尘所在的区域位置。
126.本技术实施例提供的工地场景检测方法，可以通过图3所示的步骤实现，图3为本技术实施例提供的工地场景检测方法的又一实现流程示意图，结合图3所示的步骤进行以下说明：
127.步骤s301，获取画面内容包括工地泥土和工地扬尘的待检测图像。
128.步骤s302，将图像输入残差神经网络，以进行特征提取。
129.步骤s303，将提取的特征输入卷积网络模型，以进行语义分割，得到语义分割结果。
130.在一些可能的实现方式中，卷积网络模型可以是带有空洞卷积的空间金字塔结构模型(atrous spatial pyramid pooling，aspp)，该模型可以采用deeplab v3网络实现。
131.步骤s304，对语义分割结果进行上采样，得到上采样结果。
132.步骤s305，基于上采样结果，输出每一种工地泥土和工地扬尘的位置区域。
133.在一些可能的实现方式中，对语义分割结果进行上采样之后，即对语义分割结果进行放大，从而能够基于语义标签与输出结果的匹配关系，得到该语义分割结果所对应的最终检测结果。如图4所示，图4为本技术实施例提供的工地场景检测方法的应用场景示意图，其中，图像401为采集的待检测图像，在该图像401中，包括：扬尘区域411和块状泥土区域412，将图像401输入残差神经网络以进行特征提取，然后，将特征提取结果输入到deeplab v3网络，以对图像401中扬尘区域411和块状泥土区域412进行语义分割，得到语义分割结果；该语义分割结果中包括采用不同颜色区分的扬尘区域、块状泥土区域以及背景区域等。
134.如图5所示，图5为本技术实施例提供的工地场景检测方法的另一应用场景示意图，其中，图像501为采集的待检测图像，在该图像501中，包括：扬尘区域511和散状泥土区域512，将图像501输入残差神经网络以进行特征提取，然后，将特征提取结果输入到deeplab v3网络，以对图像501中扬尘区域511和散状泥土区域512进行语义分割，得到语义分割结果513；从语义分割结果513可以看出，区域514表示扬尘区域511在图像501中的位置，区域515表示散状泥土区域512在图像501中的位置；空白区域516表示背景区域在图像中的位置。这样，通过规范不同类型的工地扬尘标签定义，以实现对样本数据的规范和接口的统一，从而能够保证创建的语义标签库清晰覆盖工地场景的工地扬尘和工地泥土，实用且易于操作；而且采用的定位网络能迅速分割出不同类型的工地扬尘和工地泥土，以便用于外部预警。
135.在本技术实施例中，通过综合分析多种类型的工地扬尘，定义完备、独立且基础的语义分割标签体系，从而能够提供轻量级语义分割算法框架，易于快速使用，同时输出标准的语义分割结果。
136.在本技术实施例中，通过综合分析多种类型的工地泥土，定义完备、独立且基础的语义分割标签体系，从而能够提供轻量级语义分割算法框架，易于快速使用，同时输出标准的语义分割结果。
137.本技术实施例提供一种工地场景检测装置，图6为本技术实施例工地场景检测装置的结构组成示意图，如图6所示，所述工地场景检测装置600包括：
138.第一获取模块601，用于获取待检测图像，所述待检测图像中包括工地场景区域；
139.第一检测模块602，用于在所述待检测图像中，对所述工地场景区域中的工地扬尘进行检测；
140.第二检测模块603，用于响应于检测到所述工地扬尘，在以下至少一帧图像中对所述工地场景区域中的工地泥土进行检测：所述待检测图像，以及与所述待检测图像在时间上相邻的至少一帧图像。
141.在一些实施例中，所述第二检测模块603，包括：
142.第一检测子模块，用于响应于检测到所述工地扬尘，在所述待检测图像中对所述工地场景区域中的工地泥土进行检测；
143.第一确定子模块，用于响应于在所述待检测图像中未检测到所述工地泥土，确定与所述待检测图像在时间上相邻的至少一帧图像；
144.第二检测子模块，用于在所述相邻的至少一帧图像中，对所述工地场景区域中的
工地泥土进行检测。
145.在一些实施例中，所述第一检测模块602，包括：
146.第一提取子模块，用于对所述待检测图像进行特征提取，得到图像特征；
147.第三检测子模块，用于在所述图像特征中，检测与预设扬尘特征相匹配的目标图像特征；
148.第二确定子模块，用于响应于检测到所述目标图像特征，确定在所述工地场景区域中检测到所述工地扬尘。
149.在一些实施例中，所述装置还包括：
150.第一分割模块，用于响应于检测到所述工地泥土，采用语义分割网络，对所述工地场景区域中的所述工地泥土和所述工地扬尘进行场景分割，得到分割结果；其中，所述语义分割网络是通过对画面中不同类别的工地扬尘和不同类别的工地泥土进行标注的样本图像集，进行训练得到的；
151.第二确定模块，用于基于所述分割结果，确定所述工地泥土的类别和所述工地扬尘的类别；
152.第一处理模块，用于基于所述工地泥土的类别和所述工地扬尘的类别，至少对所述工地场景区域中的工地泥土进行处理。
153.在一些实施例中，所述第一处理模块，包括：
154.第三确定子模块，用于基于所述工地泥土的类别和所述工地扬尘的类别，确定所述工地泥土和所述工地扬尘之间的关联关系；
155.第一生成子模块，用于在所述关联关系表征所述工地扬尘与所述工地泥土相关的情况下，基于所述工地泥土的类别，生成第一告警信息，以提示对所述工地泥土进行处理。
156.在一些实施例中，所述第三确定子模块，包括：
157.第一确定单元，用于基于所述工地泥土的类别，确定所述类别的工地泥土产生的扬尘的目标类别；
158.第二确定单元，用于基于所述目标类别与所述工地扬尘的类别，确定所述关联关系。
159.在一些实施例中，所述第二确定单元，包括：
160.第一确定子单元，用于在所述目标类别包括所述工地扬尘的类别的情况下，确定所述工地扬尘与所述工地泥土相关；
161.第二确定子单元，用于在所述目标类别不包括所述工地扬尘的类别的情况下，确定所述工地扬尘与所述工地泥土不相关。
162.在一些实施例中，所述第一生成子模块，包括：
163.第三确定单元，用于在所述关联关系表征所述工地扬尘与所述工地泥土相关的情况下，基于所述分割结果，确定所述工地泥土的第一位置信息；
164.第一生成单元，用于基于所述第一位置信息和所述工地泥土的类别，生成所述第一告警信息，以提示采用与所述工地泥土的类别相匹配的方式，基于所述第一位置信息所述对所述工地泥土进行处理。
165.在一些实施例中，所述装置还包括：
166.第三确定模块，用于在所述关联关系表征所述工地扬尘与所述工地泥土不相关的
情况下，基于所述分割结果，确定所述工地泥土的第一位置信息和所述工地扬尘的第二位置信息；
167.第一生成模块，用于基于所述第一位置信息、所述工地泥土的类别、所述第二位置信息和所述工地扬尘的类别，生成第二告警信息，以提示分别对所述工地泥土和所述工地扬尘进行处理。
168.在一些实施例中，所述装置还包括：
169.第三检测模块，用于在未检测到所述工地扬尘的情况下，在所述待检测图像中对所述工地场景区域中的工地泥土进行检测；
170.第二生成模块，用于响应于在所述待检测图像中检测到所述工地泥土，基于所述工地泥土在所述待检测图像中的第一位置信息和所述工地泥土的类别，生成第一告警信息。
171.在一些实施例中，所述装置还包括：
172.第三生成模块，用于响应于检测到所述工地扬尘，且未检测到所述工地泥土，基于所述工地扬尘的第二位置信息和所述工地扬尘的类别，生成第三告警信息，以提示采用与所述工地扬尘的类别相匹配的方式，基于所述第二位置信息所述对所述工地扬尘进行处理。
173.需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
174.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的工地场景检测方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、运动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
175.对应地，本技术实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本技术实施例提供的工地场景检测方法中。
176.本技术实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的工地场景检测方法。
177.本技术实施例提供一种计算机设备，图7为本技术实施例计算机设备的组成结构示意图，如图7所示，所述计算机设备700包括：一个处理器701、至少一个通信总线、通信接口702、至少一个外部通信接口和存储器703。其中，通信接口702配置为实现这些组件之间的连接通信。其中，通信接口702可以包括显示屏，外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器701，配置为执行存储器中图像处理程序，以实现上述实施例提供的工地场景检测方法的步骤。
178.以上工地场景检测装置、计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可案件上述方法实施例的记载，故在此不再赘述。对于本技术工地场景检测装置、计算机设备和存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
179.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
180.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
181.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
182.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
183.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。