一种建筑领域的图像识别系统的制作方法

1.本发明涉及一种图像技术领域，特别是涉及一种建筑领域的图像识别系统。


背景技术：

2.生活中我们常常会看见有一些地方安放着安全警示牌，里面标识着不同的符号，代表着不同的意思，起到安全防范警示作用，避免或减少安全事故的发生，这种有意识的提醒装置在建筑施工上也会运用的到。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种建筑领域的图像识别系统。
4.为了实现本发明的上述目的，本发明提供了一种建筑领域的图像识别系统，包括安设在施工场地上的用于采集施工场地图像的u个图像采集器，所述u为大于或者等于1的正整数，分别为第1图像采集器、第2图像采集器、第3图像采集器、
……
、第u图像采集器；
5.云端平台对u个图像采集器发送的图像数据进行接收，对接收到的施工场地的图像进行分析是否存在施工不安全隐患：
6.对存在不安全隐患的施工场地进行警示。
7.在本发明的一种优选实施方式中，第u图像采集器包括密闭的防护罩，u＝1、2、3、
……
、u，在防护罩内设置有用于固定安装pcb电路板的pcb电路板固定安装座，pcb电路板固定安装在pcb电路板固定安装座上，在pcb电路板上设置有控制器和无线数据交互模块，控制器的无线数据端与无线数据交互模块的数据交互端相连；
8.还包括设置在防护罩上用于固定安装摄像头的摄像头固定安装座，摄像头固定安装在摄像头固定安装座上，摄像头的图像数据输出端与控制器的图像数据输入端相连。
9.在本发明的一种优选实施方式中，无线数据交互模块包括3g无线数据交互模块、4g无线数据交互模块、5g无线数据交互模块、nb-iot无线数据交互模块、lora无线数据交互模块之一或者任意组合；
10.无线数据交互模块为3g无线数据交互模块时，3g无线数据交互模块的数据交互端与控制器的无线数据3g端相连；
11.无线数据交互模块为4g无线数据交互模块时，4g无线数据交互模块的数据交互端与控制器的无线数据4g端相连；
12.无线数据交互模块为5g无线数据交互模块时，5g无线数据交互模块的数据交互端与控制器的无线数据5g端相连；
13.无线数据交互模块为nb-iot无线数据交互模块时，nb-iot无线数据交互模块的数据交互端与控制器的无线数据nb-iot端相连；
14.无线数据交互模块为lora无线数据交互模块时，lora无线数据交互模块的数据交互端与控制器的无线数据lora端相连。
15.本发明还公开了一种建筑领域的图像识别方法，包括以下步骤：
16.s1，u个图像采集器将拍摄的施工场地的图像数据传输到云端平台；
17.s2，云端平台接收到u个图像采集器发送的图像数据后，对接收到的图像数据进行处理，得到处理图像数据；
18.s3，根据步骤s2中的图像数据判断施工场地是否存在施工不安全隐患：
19.若施工场地存在施工不安全隐患，则执行下一步；
20.若施工场地不存在施工安全隐患，则返回步骤s1；
21.s4，将不安全隐患的地点以短信或者电话的方式告知。
22.在本发明的一种优选实施方式中，在步骤s4中获取不安全隐患地点的方法包括以下步骤：
23.s41，提取存在不安全隐患图像所对应图像的名称；
24.s42，根据步骤s41中提取的名称作为查找词；
25.s43，根据查找词查找查找词所对应的地点位置。
26.在本发明的一种优选实施方式中，在步骤s2中包括以下步骤：
27.s21，云端平台接收到u个图像采集器发送的图像数据后，提取每张图像所对应的图像采集器的id号；图像采集器的id号唯一对应图像采集器的拍摄的地址位置；令ψ＝1；
28.s22，根据每张图像的图像id值作为该张图像的名称，图像id值的计算方法为：
29.s221，idname＝imagenamecalculationmethod[i
ψ
]，
[0030]
其中，idname表示图像id值；
[0031]
imagenamecalculationmethod[]表示图像id值的计算函数，优选md5；
[0032]iψ
表示第ψ张图像；
[0033]
s222，判断ψ与间的大小关系：
[0034]
若则执行步骤s23；
[0035]
若若表示云端平台本次接收到的图像总张数；则ψ＝ψ+1，返回步骤s221；
[0036]
若存在图像的名称相同，则执行：
[0037]
idname＝imagenamecalculationmethod[idname
′
]，
[0038]
其中，idname表示图像id值；
[0039]
imagenamecalculationmethod[]表示图像id值的计算函数，优选md5；
[0040]
idname
′
表示名称相同；
[0041]
例如相同的两个图像，分别为第一相同图像i
φ
和第二相同图像i
φ
′
，此时第一相同图像i
φ
的名称为o[i
φ
]或者o[i
φ
′
]，o[]＝imagenamecalculationmethod[]，第二相同图像i
φ
′
的名称为o[o[i
φ
]]或者o[o[i
φ
′
]]；例如相同的三个图像，分别为第一相同图像i
φ
、第二相同图像i
φ
′
和第三相同图像i
φ
″
，此时第一相同图像i
φ
的名称为o[i
φ
]或者o[i
φ
′
]或者o[i
φ
″
]，第二相同图像i
φ
′
的名称为o[o[i
φ
]]或者o[o[i
φ
′
]]或者o[o[i
φ
″
]]；第三相同图像i
φ
″
的名称为o[o[o[i
φ
]]]或者o[o[o[i
φ
′
]]]或者o[o[o[i
φ
″
]]]；例如相同的四个图像，分别为第一相同图像i
φ
、第二相同图像i
φ
′
、第三相同图像i
φ
″
和第四相同图像i
φ
″′
，此时第一相同图像i
φ
的名称为o[i
φ
]或者o[i
φ
′
]或者o[i
φ
″
]或者o[i
φ
″′
]，第二相同图像i
φ
′
的名称为o[o[i
φ
]]或者o[o[i
φ
′
]]或者o[o[i
φ
″
]]或者o[o[i
φ
″′
]]；第三相同图像i
φ
″
的名称为o[o[o[i
φ
]]]或者o[o[o[i
φ
′
]]]或者o[o[o[i
φ
″
]]]或者o[o[o[i
φ
″′
]]]；
……
。
[0042]
s23，根据图像id值所对应的图像查找图像所对应的图像采集器的id号，将图像id值与所对应的图像采集器的id号相关联。
[0043]
综上所述，由于采用了上述技术方案，本发明能够根据施工场地拍摄的图像判断是否存在警示牌倾倒安全隐患，及时警告。
[0044]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0045]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0046]
图1是本发明流程示意框。
具体实施方式
[0047]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0048]
本发明提供了一种建筑领域的图像识别系统，包括安设在施工场地上的用于采集施工场地图像的u个图像采集器，所述u为大于或者等于1的正整数，分别为第1图像采集器、第2图像采集器、第3图像采集器、
……
、第u图像采集器；
[0049]
云端平台对u个图像采集器发送的图像数据进行接收，对接收到的施工场地的图像进行分析是否存在施工不安全隐患：
[0050]
对存在不安全隐患的施工场地进行警示。
[0051]
在本发明的一种优选实施方式中，第u图像采集器包括密闭的防护罩，u＝1、2、3、
……
、u，在防护罩内设置有用于固定安装pcb电路板的pcb电路板固定安装座，pcb电路板固定安装在pcb电路板固定安装座上，在pcb电路板上设置有控制器和无线数据交互模块，控制器的无线数据端与无线数据交互模块的数据交互端相连；
[0052]
还包括设置在防护罩上用于固定安装摄像头的摄像头固定安装座，摄像头固定安装在摄像头固定安装座上，摄像头的图像数据输出端与控制器的图像数据输入端相连。
[0053]
在本发明的一种优选实施方式中，无线数据交互模块包括3g无线数据交互模块、4g无线数据交互模块、5g无线数据交互模块、nb-iot无线数据交互模块、lora无线数据交互模块之一或者任意组合；
[0054]
无线数据交互模块为3g无线数据交互模块时，3g无线数据交互模块的数据交互端与控制器的无线数据3g端相连；
[0055]
无线数据交互模块为4g无线数据交互模块时，4g无线数据交互模块的数据交互端与控制器的无线数据4g端相连；
[0056]
无线数据交互模块为5g无线数据交互模块时，5g无线数据交互模块的数据交互端与控制器的无线数据5g端相连；
[0057]
无线数据交互模块为nb-iot无线数据交互模块时，nb-iot无线数据交互模块的数据交互端与控制器的无线数据nb-iot端相连；
[0058]
无线数据交互模块为lora无线数据交互模块时，lora无线数据交互模块的数据交互端与控制器的无线数据lora端相连。
[0059]
本发明还公开了一种建筑领域的图像识别方法，如图1所示，包括以下步骤：
[0060]
s1，u个图像采集器将拍摄的施工场地的图像数据传输到云端平台；
[0061]
s2，云端平台接收到u个图像采集器发送的图像数据后，对接收到的图像数据进行处理，得到处理图像数据；对接收到的图像数据进行处理为图像灰度处理。
[0062]
s3，根据步骤s2中的图像数据判断施工场地是否存在施工不安全隐患：
[0063]
若施工场地存在施工不安全隐患，则执行下一步；
[0064]
若施工场地不存在施工安全隐患，则返回步骤s1；
[0065]
s4，将不安全隐患的地点以短信或者电话的方式告知。
[0066]
在本发明的一种优选实施方式中，在步骤s4中获取不安全隐患地点的方法包括以下步骤：
[0067]
s41，提取存在不安全隐患图像所对应图像的名称；
[0068]
s42，根据步骤s41中提取的名称作为查找词；
[0069]
s43，根据查找词查找查找词所对应的地点位置。
[0070]
在本发明的一种优选实施方式中，在步骤s2中包括以下步骤：
[0071]
s21，云端平台接收到u个图像采集器发送的图像数据后，提取每张图像所对应的图像采集器的id号；图像采集器的id号唯一对应图像采集器的拍摄的地址位置；令ψ＝1；
[0072]
s22，根据每张图像的图像id值作为该张图像的名称，图像id值的计算方法为：
[0073]
s221，idname＝imagenamecalculationmethod[i
ψ
]，
[0074]
其中，idname表示图像id值；
[0075]
imagenamecalculationmethod[]表示图像id值的计算函数，优选md5；
[0076]iψ
表示第ψ张图像；
[0077]
s222，判断ψ与间的大小关系：
[0078]
若则执行步骤s23；
[0079]
若若表示云端平台本次接收到的图像总张数；则ψ＝ψ+1，返回步骤s221；
[0080]
若存在图像的名称相同，则执行：
[0081]
idname＝imagenamecalculationmethod[idname
′
]，
[0082]
其中，idname表示图像id值；
[0083]
imagenamecalculationmethod[]表示图像id值的计算函数，优选md5；
[0084]
idname
′
表示名称相同；
[0085]
例如相同的两个图像，分别为第一相同图像i
φ
和第二相同图像i
φ
′
，此时第一相同图像i
φ
的名称为o[i
φ
]或者o[i
φ
′
]，o[]＝imagenamecalculationmethod[]，第二相同图像i
φ
′
的名称为o[o[i
φ
]]或者o[o[i
φ
′
]]；例如相同的三个图像，分别为第一相同图像i
φ
、第二相同图像i
φ
′
和第三相同图像i
φ
″
，此时第一相同图像i
φ
的名称为o[i
φ
]或者o[i
φ
′
]或者o[i
φ
″
]，第二相同图像i
φ
′
的名称为o[o[i
φ
]]或者o[o[i
φ
′
]]或者o[o[i
φ
″
]]；第三相同图像i
φ
″
的名称为o[o[o[i
φ
]]]或者o[o[o[i
φ
′
]]]或者o[o[o[i
φ
″
]]]；例如相同的四个图像，分别为第一相同图像i
φ
、第二相同图像i
φ
′
、第三相同图像i
φ
″
和第四相同图像i
φ
″′
，此时第一相同图像i
φ
的名称为o[i
φ
]或者o[i
φ
′
]或者o[i
φ
″
]或者o[i
φ
″′
]，第二相同图像i
φ
′
的名称为o[o
[i
φ
]]或者o[o[i
φ
′
]]或者o[o[i
φ
″
]]或者o[o[i
φ
″′
]]；第三相同图像i
φ
″
的名称为o[o[o[i
φ
]]]或者o[o[o[i
φ
′
]]]或者o[o[o[i
φ
″
]]]或者o[o[o[i
φ
″′
]]]；
……
。
[0086]
s23，根据图像id值所对应的图像查找图像所对应的图像采集器的id号，将图像id值与所对应的图像采集器的id号相关联。
[0087]
在本发明的一种优选实施方式中，在步骤s3中包括以下步骤：
[0088]
s31，对不安全隐患的图像数据的进行采集、筛选，形成不安全隐患数据库；不安全隐患为施工场地摆放的警示牌是倾倒的。
[0089]
s32，对不安全隐患数据库进行镜像翻转、随机旋转形成训练集；
[0090]
s33，将训练集中的目标图片进行超分辨率重构和数据增强；
[0091]
s34，将s33得到的数据输入基于迁移学习的主干网络进行特征提取，预测目标的类别信息，从而得到安全隐患判断检测器；
[0092]
s5，将处理图像数据输入安全隐患判断检测器得到检测结果。
[0093]
进一步地，所述s33包括：
[0094]
s331，统计出数据集中数量少且像素信息极少的警示牌类别；
[0095]
s332，将原数据集中该警示牌类别的目标实例裁剪下来，进行超分辨重构生成高分辨率的目标实例图像；
[0096]
s333，遍历整个数据集，将高分辨率的目标实例图像按照类别平均融合至原图中。
[0097]
进一步地，在步骤s333中所述的类别通过如下方法进行划分：
[0098]
s3331，提取图像中警示牌的轮廓线；
[0099]
s3332，根据步骤s3331中提取的轮廓线计算其轮廓面积值，警示牌轮廓面积值的计算方法为：
[0100]
p＝p*(ξ-σ)，其中p表示像素点的面积值，ξ表示轮廓线内像素点的总个数，σ表示非完整像素点的总个数；q0表示预设像素点判断阈值，qq表示第q个非完整像素点的面积，λq＝1表示视为完整像素点，λq＝0表示不视为完整像素点，q＝1、2、3、
……
、η；η表示轮廓线经过像素点的总个数；
[0101]
s3333，若警示牌轮廓面积值p大于第一预设面积阈值，则该警示牌为大型警示牌；若警示牌轮廓面积值p小于第二预设面积阈值，第二预设面积阈值小于第一预设面积阈值，则该警示牌为小型警示牌；若警示牌轮廓面积值p大于或等于第二预设面积阈值且小于等于第一预设面积阈值，则该警示牌为中型警示牌。
[0102]
在本发明的一种优选实施方式中，所述超分辨率重构包括：
[0103]
通过收集不同类别的高清图像来训练超分辨率raisr模型，有针对的对不同警示牌进行重构，用来增大原图中目标的像素数量和特征信息，为之后的特征增强和特征提取提供了基础。
[0104]
s3321，将高清图像进行缩小得到低分辨率图像，然后用低分辨率版本的图像和高清图像训练raisr模型；
[0105]
lr＝r(hr)
[0106]
其中r(
·
)表示采用缩放策略对高清图像进行缩放；
[0107]
hr表示原来的高清图像；
[0108]
lr表示缩放之后的低分辨率的图像；
[0109]
s3322，采用raisr模型中的四种滤波器进行双线性差值，以达到重构的目的；并对训练数据中的图像块使用哈希算法进行聚类，每一类分别使用不同的滤波器。
[0110]
在本发明的一种优选实施方式中，所述融合采用的是剪辑增强融合，其公式为：
[0111][0112]
表示融合结果；
[0113]
m为二进制掩码；
[0114]
xa表示超分辨率重构之后的警示牌实例；
[0115]
xb表示原图；
[0116]
⊙
表示逐像素相乘；
[0117]
1是指所有元素都为1的二进制掩码；
[0118]
xc表示样本变换图，样本变换图是由原图进行尺寸变换，亮度、对比度、饱和度的调整，随机剪裁取样之一的变换得到。
[0119]
在本发明的一种优选实施方式中，所述采用基于迁移学习的主干网络进行特征提取包括：
[0120]
s341，采用大规模数据集预训练主干网络；这样利用了模型的先验知识来提高模型的检测能力，在目标比较小的情况之下有较好的识别能力。
[0121]
z＝f(i；θ
class
；θ
pt
；β
×
θ
at
；θ
gt
)
[0122]
其中z表示训练之后的特征网络；
[0123]
i表示输入图像；
[0124]
f表示特征提取器；
[0125]
θ
class
为类别的真实值；
[0126]
β表示特征图采样倍率；
[0127]
θ
at
为目标的锚框；
[0128]
θ
gt
为目标的真实框；
[0129]
θ
pt
为目标的预测框；
[0130]
s342，采用经过超分辨重构和数据增强的数据继续训练主干网络；
[0131]
所述主干网络为ssd512网络，用其vgg16用于特征提取。
[0132]
在本发明的一种优选实施方式中，还包括损失计算：
[0133]
对类别损失采用如下损失函数，用于解决样本的类别不均衡问题：
[0134][0135]
α表示平衡因子；
[0136]
p
mn,k
表示第k个类别的第m个预测框和第n个目标的匹配值；
[0137]
y为类别的真实值；
[0138]y′m表示第m个预测框的类别概率；
[0139]
γ表示调节简单样本权重降低的速率；
[0140]
对位置损失采用如下损失函数，用于解决目标重叠的情况：
[0141][0142]
其中a表示真实框的面积；
[0143]
b表示预测框的面积；
[0144]
c表示包围a和b的最小面积；
[0145]
iou表示a和b的交并比。
[0146]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。