一种基于5G数据传输的混凝土搅拌站砂石料位AI智能检测方法及系统

一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统
技术领域
1.本发明属于混凝土搅拌站砂石料位检测技术领域，尤其涉及一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统。


背景技术：

2.混凝土是当代最大宗的人造材料，也是最重要的建筑材料，广泛应用于机场、码头、高速公路及城市建设等场景，在工程建设和建筑业中占有举足轻重的地位。随着国民经济的持续稳定增长，建筑业有着广阔的发展前景。大批的工程建设需要优质、高效地完成，混凝土工程质量直接影响和决定着建设工程的质量，而混凝土各组成物料的精确计量是混凝土质量的可靠保证，砂石料位测量是混凝土组分计量的重要环节之一。砂石储仓料位是生产人员控制时产、磅房人员安排销售车次的重要参考数据，料位反馈不准确不及时易发生爆仓或缺料事件，存在较大的安全风险。混凝土各组成物料的精确计量是混凝土质量的可靠保证，储仓料位测量的准确性和灵敏性尤为重要。近年来，为方便混凝土作业及减少砂石骨料的存储空间，混凝土行业设计出一种高位料仓存储砂石骨料，但并未实现砂石料位的实时检测。因此，开发设计一种适用于混凝土搅拌站高位料仓环境下的料位在线监测方法，对获得高效、安全混凝土工作具有重要意义。
3.目前在高位料仓砂石料位测量中，还未有对砂石料位实时检测的方法。传统的人工测量方法缺乏客观性，测量精度低，且不能及时反馈料位变化。在实际应用中人工测量的方法缺乏便捷性，存在工作环境恶劣，管理落后，计算困难等问题。而现代的砂石料位检测，主要借鉴国内外煤堆高度的测量方法，如采用雷达料位计、重锤料位计、激光检测等基于相关料位传感器获取信息，易受工作环境中粉尘、湿度、冲击、震动等条件影响，传感器也会因老化等原因性能受损，进而直接影响检测系统的工作效率。除此之外，高成本亦为阻碍各种传感器测量技术推广的主要原因。因此建筑行业储仓骨料料位的实时精准检测仍是一个迫切需要解决的问题。
4.随着相机传感器和图像处理技术的进步，基于机器视觉的工业监测领域在近些年迅速发展，视频、图像等多媒体数据中的信息也在不断被人挖掘，为进一步的决策提供依据。为了达到砂石料位实时测量，可根据砂石存储的物理特性，结合视觉图像处理技术，将能获得有效的料位数据信息。
5.人工智能(ai，artificial intelligence)是一门新的技术科学，用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。为了进一步达到高位料仓内对砂石料位的实时监测，将ai智能处理技术和目标检测技术相结合，这样就更加智能地获得有效数据信息。其中，目标检测技术在不断改进，视频、图像等多媒体数据中的信息在不断被人挖掘，进一步为各种决策做出依据。
6.5g(5th generation mobile communication technology)技术具有高速度、低延时和大连接特点等优势，支持高峰值速率、超高密度连接和毫秒级时延，满足间歇性小数据
业务的传输需求。5g技术将给混凝土行业的砂石存储智能化建设带来垂直业务领域的巨大变化。研发基于5g技术的高端智能型砂石料位监测系统势在必行。


技术实现要素：

7.针对现有技术不足，本发明的目的在于提供一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统，通过使用5g网络摄像头实时获取砂石料位图像，结合ai智能算法对砂石不同状态进行检测识别，解决一般混凝土搅拌站砂石存储仓存在的砂石料位测量困难、不准确、非实时的问题。
8.本发明提供如下技术方案：
9.一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法，包括以下步骤：
10.s1、获取视频流信息，使用5g网络摄像头拍摄高位料仓内骨料的上下料进程的视频图像，提取检测区域图像帧序列中的关键区域，并对图像进行预处理；
11.s2、提取砂石骨料的关键特征，获取砂石骨料的峰与谷状态，统计多个主要物理特征的数据，判断砂石状态信息，计算出砂石峰或谷状态下对应的像素点的大小，记录下每个砂石状态下的高度信息；
12.s3、建立图像坐标系与世界坐标系的对应关系，根据获取的视频流信息和提取的砂石骨料关键特征建立摄像头成像系统与被测得的峰或谷的几何空间映射关系；
13.s4、计算砂石骨料料位高度，结合峰或谷状态下得到的像素信息，对峰或谷进行定位，结合建立的几何空间映射关系确定砂石骨料的高度。
14.优选的，模拟砂石骨料的上下料过程获取料仓内骨料的状态及高度信息，将砂石骨料峰或谷状态下的多层边角轮廓特征、纹理周期特征与落体分布特征，作为图像智能处理的依据，判断砂石骨料的状态。
15.优选的，对峰或谷的位置进行定位，根据小孔成像原理，建立摄像头成像系统与被测得的峰或谷的几何空间映射关系。
16.优选的，将深度学习与多特征融合方法得出的砂石骨料状态及其定位信息与几何空间映射关系相结合求出料位高度，最后使用摄像头对料仓内砂石骨料的高度与实际测得数值进行高度映射。
17.优选的，使用确定的方程建立砂石骨料状态识别的模型，边框预测模型的描述方程式为式：
[0018][0019]
其中t
x
、ty、tw、th分别为预测砂石骨料状态边界框的中心点坐标及宽高，(b
x
,by)与(bw,bh)分别为相对应的特征图的中心点坐标及宽高，(t
x
,ty,tw,th)为相对于先验框的偏移量，(c
x
,cy)为网格在特征图上的位置，(pw,ph)为先验框相对于特征
图的宽高，并将作为摄像头成像图片中砂石骨料峰或谷状态下的峰与谷的高度坐标。
[0020]
优选的，对建立的砂石骨料状态识别模型进行训练，训练模型采用ciou_loss做bounding box的损失函数，如公式所示：
[0021][0022]
式中d1代表预测框与目标框两个中心点的欧式距离，d2代表最小外接矩形的对角线距离，和分别代表目标框和预测框各自的宽高比，ciou_loss考虑了边界框宽高比的尺度信息，从重叠面积、中心点距离和长宽比三个角度进行衡量，使得预测框回归的效果更佳。
[0023]
优选的，根据小孔成像原理构建摄像头与储仓内峰或谷的特定的几何空间投影模型，得出摄像头与料位对高点的倾角α和料位最高点的图像直角坐标之间的函数关系，经拟合所得函数关系式如式所示。
[0024]
α(y)＝ay+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0025]
其中，a值为0.06315，b的值为10.35067。
[0026]
优选的，根据边框预测模型的描述方程式与拟合所得函数关系式求出砂石骨料峰、谷状态下的高度，如式(4)所示。
[0027][0028]
式中，h为骨料料位的最高点，为图像直角坐标中峰或谷上边界的中心坐标，由摄像头与储仓特定的投影模型得出α为摄像头与料仓内料位最高点的倾角，h为摄像头高度，d为摄像头距离峰或谷的水平距离，摄像头焦距f为摄像头内参，均为固定值，其中，h＝700mm，d＝500mm，f＝8mm。
[0029]
优选的，一种基于5g数据传输的混凝土搅拌站砂石料位ai 智能检测方法所采用的系统，包括砂石骨料仓、5g高清摄像头、无线发送端、无线信号接收设备、数据处理与显示终端，所述 5g高清摄像头通过无线发送端、无线信号接收设备与数据处理与显示终端连接，所述数据处理与显示终端用于处理5g高清摄像头采集的视频信息数据，计算砂石骨料仓内砂石骨料的高度。
[0030]
与现有技术相比，本发明具有以下有益效果：
[0031]
(1)本发明一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统，通过使用5g网络摄像头实时获取砂石料位图像，结合ai智能算法对砂石不同状态进行检测识别，解决了一般混凝土搅拌站砂石存储仓存在的砂石料位测量困难、不准确、非实时的问题。
[0032]
(2)本发明一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系
统，通过建立砂石骨料状态识别的模型和利用损失函数对模型进行训练，提高了模型的精确度，进一步提高了计算砂石骨料料位的精确度，计算误差较小。
[0033]
(3)本发明一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统，根据小孔成像原理构建摄像头与储仓内峰或谷的特定的几何空间投影模型，得出摄像头与料位对高点的倾角α和料位最高点的图像直角坐标之间的函数关系，能够得出砂石骨料峰、谷状态下的高度，对于模拟砂石骨料上、下料工作具有极大帮助。
[0034]
(4)本发明一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统，通过建立摄像头与储仓特定的投影模型，记录每一次上、下料后的料位高度，并记录摄像头倾角，构建高度与倾角的线性拟合方程，并与得到的砂石骨料峰或谷状态下对应的图像直角坐标进行高度映射，进而求取骨料的料位，使测量砂石存储仓的砂石料位更加便捷。
附图说明
[0035]
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0036]
图1为本发明的砂石料位智能测量方法流程图；
[0037]
图2为本发明的高清摄像头砂石料仓实景装置图；
[0038]
图3为本发明砂石骨料状态判断流程图；
[0039]
图4为本发明砂石骨料状态判断示意图；
[0040]
图5为本发明摄像头成像系统与储仓内峰、谷的几何关系示意图；
[0041]
图6为本发明图像坐标与实际成像角度之间的映射关系流程图；
具体实施方式
[0042]
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0043]
因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0044]
实施例一：
[0045]
如图1-6所示，一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法，包括以下步骤：
[0046]
s1、获取视频流信息，使用5g网络摄像头拍摄高位料仓内骨料的上下料进程的视频图像，提取检测区域图像帧序列中的关键区域，并对图像进行预处理；
[0047]
s2、提取砂石骨料的关键特征，获取砂石骨料的峰与谷状态，统计多个主要物理特
征的数据，判断砂石状态信息，计算出砂石峰或谷状态下对应的像素点的大小，记录下每个砂石状态下的高度信息；模拟砂石骨料的上下料过程获取料仓内骨料的状态及高度信息，将砂石骨料峰或谷状态下的多层边角轮廓特征、纹理周期特征与落体分布特征，作为图像智能处理的依据，判断砂石骨料的状态。
[0048]
s3、建立图像坐标系与世界坐标系的对应关系，根据获取的视频流信息和提取的砂石骨料关键特征建立摄像头成像系统与被测得的峰或谷的几何空间映射关系；对峰或谷的位置进行定位，根据小孔成像原理，建立摄像头成像系统与被测得的峰或谷的几何空间映射关系。
[0049]
s4、计算砂石骨料料位高度，结合峰或谷状态下得到的像素信息，对峰或谷进行定位，结合建立的几何空间映射关系确定砂石骨料的高度。
[0050]
将深度学习与多特征融合方法得出的砂石骨料状态及其定位信息与几何空间映射关系相结合求出料位高度，最后使用摄像头对料仓内砂石骨料的高度与实际测得数值进行高度映射。
[0051]
使用确定的方程建立砂石骨料状态识别的模型，边框预测模型的描述方程式为式：
[0052][0053]
其中t
x
、ty、tw、th分别为预测砂石骨料状态边界框的中心点坐标及宽高，(b
x
,by)与(bw,bh)分别为相对应的特征图的中心点坐标及宽高，(t
x
,ty,tw,th)为相对于先验框的偏移量，(c
x
,cy)为网格在特征图上的位置，(pw,ph)为先验框相对于特征图的宽高，并将作为摄像头成像图片中砂石骨料峰或谷状态下的峰与谷的高度坐标。
[0054]
对建立的砂石骨料状态识别模型进行训练，训练模型采用 ciou_loss做bounding box的损失函数，如公式所示：
[0055][0056]
式中d1代表预测框与目标框两个中心点的欧式距离，d2代表最小外接矩形的对角线距离，和分别代表目标框和预测框各自的宽高比，ciou_loss考虑了边界框宽高比的尺度信息，从重叠面积、中心点距离和长宽比三个角度进行衡量，使得预测框回归的效果更佳。
[0057]
根据小孔成像原理构建摄像头与储仓内峰或谷的特定的几何空间投影模型，得出
摄像头与料位对高点的倾角α和料位最高点的图像直角坐标之间的函数关系，经拟合所得函数关系式如式所示。
[0058]
α(y)＝ay+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0059]
其中，a值为0.06315，b的值为10.35067。
[0060]
根据边框预测模型的描述方程式与拟合所得函数关系式求出砂石骨料峰、谷状态下的高度，如式(4)所示。
[0061][0062]
式中，h为骨料料位的最高点，为图像直角坐标中峰或谷上边界的中心坐标，由摄像头与储仓特定的投影模型得出α为摄像头与料仓内料位最高点的倾角，h为摄像头高度，d为摄像头距离峰或谷的水平距离，摄像头焦距f为摄像头内参，均为固定值，其中，h＝700mm，d＝500mm，f＝8mm。
[0063]
由上述公式所得的砂石骨料高度检测模型，对于模拟砂石骨料上、下料工作具有极大帮助。
[0064]
实施例二
[0065]
如图1-6所示，一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法，包括以下步骤：
[0066]
s1、获取视频流信息，使用5g网络摄像头拍摄高位料仓内骨料的上下料进程的视频图像，提取检测区域图像帧序列中的关键区域，并对图像进行预处理和存储。
[0067]
s2、提取砂石骨料的关键特征，获取砂石骨料的峰与谷状态，统计多个主要物理特征的数据，判断砂石状态信息，计算出砂石峰或谷状态下对应的像素点的大小，记录下每个砂石状态下的高度信息；模拟砂石骨料的上下料过程获取料仓内骨料的状态及高度信息，将砂石骨料峰或谷状态下的多层边角轮廓特征、纹理周期特征与落体分布特征，作为图像智能处理的依据，判断砂石骨料的状态。
[0068]
s3、建立图像坐标系与世界坐标系的对应关系，根据获取的视频流信息和提取的砂石骨料关键特征建立摄像头成像系统与被测得的峰或谷的几何空间映射关系；对峰或谷的位置进行定位，根据小孔成像原理，建立摄像头成像系统与被测得的峰或谷的几何空间映射关系。
[0069]
s4、计算砂石骨料料位高度，结合峰或谷状态下得到的像素信息，对峰或谷进行定位，结合建立的几何空间映射关系确定砂石骨料的高度。将深度学习与多特征融合方法得出的砂石骨料状态及其定位信息与几何空间映射关系相结合求出料位高度，最后使用摄像头对料仓内砂石骨料的高度与实际测得数值进行高度映射。
[0070]
s5、写出料位高度并保存监测视频。
[0071]
使用确定的方程建立砂石骨料状态识别的模型，边框预测模型的描述方程式为式：
[0072][0073]
其中t
x
、ty、tw、th分别为预测砂石骨料状态边界框的中心点坐标及宽高，(b
x
,by)与(bw,bh)分别为相对应的特征图的中心点坐标及宽高，(t
x
,ty,tw,th)为相对于先验框的偏移量，(c
x
,cy)为网格在特征图上的位置，(pw,ph)为先验框相对于特征图的宽高，并将作为摄像头成像图片中砂石骨料峰或谷状态下的峰与谷的高度坐标。
[0074]
对建立的砂石骨料状态识别模型进行训练，训练模型采用 ciou_loss做bounding box的损失函数，如公式所示：
[0075][0076]
式中d1代表预测框与目标框两个中心点的欧式距离，d2代表最小外接矩形的对角线距离，和分别代表目标框和预测框各自的宽高比，ciou_loss考虑了边界框宽高比的尺度信息，从重叠面积、中心点距离和长宽比三个角度进行衡量，使得预测框回归的效果更佳。
[0077]
根据小孔成像原理构建摄像头与储仓内峰或谷的特定的几何空间投影模型，得出摄像头与料位对高点的倾角α和料位最高点的图像直角坐标之间的函数关系，经拟合所得函数关系式如式所示。
[0078]
α(y)＝ay+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0079]
其中，a值为0.06315，b的值为10.35067。
[0080]
根据边框预测模型的描述方程式与拟合所得函数关系式求出砂石骨料峰、谷状态下的高度，如式(4)所示。
[0081][0082]
式中，h为骨料料位的最高点，为图像直角坐标中峰或谷上边界的中心坐标，由摄像头与储仓特定的投影模型得出α为摄像头与料仓内料位最高点的倾角，h为摄像头高度，d为摄像头距离峰或谷的水平距离，摄像头焦距f为摄像头内参，均为固定值，其中，h＝700mm，d＝500mm，f＝8mm。
[0083]
由上述公式所得的砂石骨料高度检测模型，对于模拟砂石骨料上、下料工作具有极大帮助。
[0084]
结合图1所示，系统首先获取视频流信息，对图像进行预处理；接着提取砂石骨料的关键特征，然后判断出骨料的峰或谷状态，若判断出状态之后则对判断出分峰或谷进行定位；定位信息结合摄像头与储仓特定的投影模型以及图像直角坐标与实际成像角度之间的映射关系，计算出砂石骨料料位高度，同时存储实时检测视频。图2为本发明的场景示意图，高清摄像头位于料仓某一边正中间的上方，当开始检测后，实时处理视频，实时写出检测内容并保存检测视频。砂石骨料料位检测模型系统分两部分构成，一部分为砂石骨料的上下料工作的实现和基于5g高清摄像图像的获取；另一部分是图像数据处理与结果显示部分。图3为本专利的技术路线图，首先对训练样本图像进行特征提取和训练学习，建立砂石骨料料位智能化检测模型；然后再对测试的样本图像进行处理和预测对比，得出实际的砂石骨料料位智能检测结果。图4为本发明砂石骨料状态图。其中a(左图)表示所检测得到的砂石骨料呈“峰”态，b(右图)表示所检测得到的砂石骨料呈“谷”态。图5为本发明摄像头与与储仓内峰、谷的几何关系示意图。将摄像头放置于料仓某一面正中间的上方，摄像头与所对储仓面的夹角固定，便于求取摄像头与料位最高点的夹角与料位高度之间的关系。其中p为料位最高点，p’为成像系统相平面上对应的料位最高点。h为摄心头高度，h为料位高度，d为摄像头据料位最高点的距离。图6为本发明图像坐标与实际成像角度之间的映射关系流程图。建立摄像头与储仓特定的投影模型，记录每一次上、下料后的料位高度，并记录摄像头倾角，构建高度与倾角的线性拟合方程，并与得到的砂石骨料峰或谷状态下对应的图像直角坐标进行高度映射，进而求取骨料的料位。
[0085]
实施例三
[0086]
一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法所采用的系统，包括砂石骨料仓、5g高清摄像头、无线发送端、无线信号接收设备、数据处理与显示终端，所述5g高清摄像头通过无线发送端、无线信号接收设备与数据处理与显示终端连接，所述数据处理与显示终端用于处理5g高清摄像头采集的视频信息数据，计算砂石骨料仓内砂石骨料的高度。
[0087]
通过上述技术方案得到的装置是一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统，通过使用5g网络摄像头实时获取砂石料位图像，结合ai智能算法对砂石不同状态进行检测识别，解决一般混凝土搅拌站砂石存储仓存在的砂石料位测量困难、不准确、非实时的问题。
[0088]
以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。