一种基于时空张量特征的压路机施工轨迹识别方法

1.本发明涉及计算机视觉识别以及通信技术领域，具体是一种基于时空张量特征的压路机施工轨迹识别方法。


背景技术：

2.变电站土方回填关乎变电站工程建设质量及应用周期内的安全可靠，变电站填方压路机工况是变电站填方区域符合质检要求的关键所在，精准辨识其施工运动轨迹对于检测评估变电站土方回填质量具有重要价值。
3.传统变电站填方施工质量监控多采用现场勘察的方式，要求施工人员深入施工现场，实地监督压路机在填方区域的施工轨迹状况，监测管理效率低下、人力成本高昂，同时对施工质量的把控主要依赖人工经验，自动化技术匮乏，监测可靠性较差。随着智能仪表和高级量测技术体系的推广和普及，视觉传感监测技术在变电站土方回填施工轨迹监测中逐步得到应用。摄像头作为视觉传感监测系统的工况监测和数据采集终端，通常需要辅助以图像识别技术判别压路机所在位置以实现对压路机施工轨迹的捕捉和跟踪。传统压路机图像识别方法依赖人工设计的提取器提取目标图像特征，特征提取方法涉及专业知识及复杂的调参过程，且往往针对具体应用，算法鲁棒性较差。近年来，以深度学习为代表的图像识别技术在计算机视觉、生物医学等领域得到广泛应用，深度学习通过非线性神经网络逐层提取数据特征达到对数据复杂动态演化规律精准拟合的目的。卷积神经网络(convolutional neural networks,cnn)是深度学习算法在图像识别应用领域中的代表，其算法核心是通过多层多通道卷积和池化操作对大量数据资源进行自适应的特征逐层提取，具有强大的算法泛化性能、算法效率以及算法鲁棒性。
4.当前土方回填压路机工况监测使用的视觉传感系统对数据的处理多为分布式采集+集中式上传+云端处理的模式，这种集中式数据处理模式的核心就是云计算技术，云计算基本思想是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池对用户按需服务。集中式数据处理模式对于云计算资源、数据传输、通信、以及存储链路的建设维护成本较高，算法效率较为低下，难以满足工程应用的实际需求。


技术实现要素：

5.鉴于上述技术缺点，本发明提供了一种基于时空张量特征的压路机施工轨迹识别方法。
6.为实现上述发明目的，本发明的技术方案如下：
7.一种基于时空张量特征的压路机施工轨迹识别方法，包括如下步骤：
8.s1，获取压路机施工过程的图像数据，经预处理后传输至各个边缘节点，对图像数据的时空张量特征进行提取，各个边缘节点提取的时空张量特征经特征拼接后，形成训练数据集，其中边缘节点包括n1、n2、n3…
n
m
；
9.s2，建立cnn模型，并通过自注意力机制对cnn模型进行优化，将训练数据集传输至
优化后的cnn模型进行训练，获得完成训练的cnn模型；
10.s3，将完成训练的cnn模型部署至各个边缘节点中，并对压路机施工过程的图像数据进行识别，待识别完成后，融合各个边缘节点的识别结果进行输出。
11.作为优选的，步骤s1中所述的图像预处理依次为图像灰度化、图像去噪和图像增强；
12.其中，所述图像灰度化的数学表达式如下：
[0013][0014]
式中：r(i,j)、g(i,j)、b(i,j)分别为图像中像素(i,j)的色彩分量；
[0015]
所述图像去噪的数学表达式如下：
[0016][0017]
式中：为去噪滤波后的图像，i(p,q)为被噪声污染的图像，(x,y)为去噪后的某一像素点，(p,q)为原始噪声污染图像的某一像素点，m
×
n为模板，n为模板区域。
[0018]
作为优选的，步骤s1中所述的对图像数据的时空张量特征进行提取，其数学表达式如下：
[0019]
s＝[s1,s2,
…
,s
t
]
[0020][0021]
式中：l
i
为第i个填方区域，x
i
、y
i
分别为变电站该双目摄像头的坐标信息，a
i
为cnn卷积网络对压路机的图像识别信息的一个0、1状态变量，0为该图像中无压路机，1为该图像中包含压路机，d
i
为变电站该双目摄像头所测得的深度信息。
[0022]
作为优选的，步骤s2中所述建立的cnn模型，卷积神经网络有l层，由x
(l)
代表第l层的特征，l＝1,2,
…
,l，其中，输入层的数学表达式为：
[0023][0024]
式中：j表示第l层的特征图的数量；
[0025]
卷积层的数学表达式为：
[0026][0027]
式中：为卷积核的偏移量，为卷积层的偏移量；为此卷积层与前一层特征图之间的连接矩阵，取1时与相关联，取0时无关联，符号表示为卷积操作，函数f()表示激活函数；
[0028]
池化层的数学表达式为：
[0029][0030]
式中：函数p()为池化操作；
[0031]
全连接层之间特征向量的数学表达式为：
[0032]
x
(l)
＝f(w
(l)
x
(l
‑
1)
+b
(l)
)
[0033]
式中：w
(l)
为权重；b
(l)
为偏移量；函数f()为激活函数。
[0034]
作为优选的，步骤s2中所述的cnn模型采用交叉熵损失函数进行训练，其数学表达式如下：
[0035][0036]
式中：x为样本，y为所预测的输出量，为实际的输出量，n为样本的总数量。
[0037]
作为优选的，步骤s2中所述的自注意力机制，其计算公式如下：
[0038][0039]
s
ij
＝f(x
i
)
t
g(x
j
)
[0040][0041]
h(x
i
)＝w
h
x
i
[0042]
y
i
＝ro
i
+x
i
[0043]
式中：x为前一个隐藏层的图像特征，f(x)、g(x)、h(x)均为1
×
1的卷积，表示图像特征乘以不同权重矩阵后所得的特征空间，w
h
为卷积层h(x
i
)的权重矩阵，r为过渡参数。
[0044]
本发明的有益效果是：本发明采用边缘计算与云端融合决策相结合的数据处理模式，在边缘节点本地原始采集数据的处理，只需将边缘计算节点处理生成的结构化数据信息回传到云中心完成融合决策，有效避免数据大规模回传带来的网络通讯成本，提高数据处理效率，使计算资源的配置得以优化。
附图说明
[0045]
图1为本发明提供的：流程示意图；
[0046]
图2为本发明提供的：图像预处理示意图；
[0047]
图3为本发明提供的：边缘计算框架示意图；
[0048]
图4为本发明提供的：边缘节点时空张量封装示意图；
[0049]
图5为本发明提供的：t1时刻经过特征拼接后的时空张量特征示意图；
[0050]
图6为本发明提供的：典型卷积网络结构示意图；
[0051]
图7为本发明提供的：自我注意力模块示意图。
具体实施方式
[0052]
下面结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发
明保护的范围。
[0053]
实施例
[0054]
如图1，2所示，彩色图像数据包含r、g、b三个色度通道，会给压路机轨迹检测与跟踪带来较大的计算量，因此对其进行图像灰度化处理。在rgb模型中，假定三个通道的值相等，然后用统一的灰度值表征该点的色彩信息，灰度值的范围是0～255。本发明采用基于通道色度分量的图像灰度化方法，各通道色度分量计算公式如下：
[0055][0056]
式中：r(i,j)，g(i,j)，b(i,j)代表图像中像素(i,j)的色彩分量。
[0057]
视频监控作为一种光电传感器，在工作过程中会采集到各种噪声，导致图像部分信息被掩盖，给图像目标对象的识别带来干扰。本发明采用基于算术平均的线性滤波方法用于图像去噪以提升图像分辨率。其公式如下：
[0058][0059]
式中：为去噪滤波后的图像；i(p,q)为被噪声污染的图像；(x,y)为去噪后的某一像素点；(p,q)为原始噪声污染图像的某一像素点；m
×
n模板，常用4邻域或8邻域形式；n为模板区域。
[0060]
图像去噪不可避免会造成图像部分细节出现模糊化。此外，所采集图像受不同光照强度影响，明亮程度不均。上述因素均会降低图像的对比度，影响对图像中压路机目标的精准检测。为此，提出一种基于同态滤波的图像数据增强算法，该方法在频域中对图像实施对比度增强和图像亮度压缩处理。具体操作过程如下：
[0061]
step1：假设原始图像f(x,y)是由照度和反射的乘积构成的，公式如下：
[0062]
f(x,y)＝a(x,y)b(x,y)
[0063]
式中：a(x,y)是照度；b(x,y)是反射成分
[0064]
step2：利用式(4)将式(3)的两边进行对数变换，将照度和反射划分开。
[0065]
ln(f(x,y))＝ln(a(x,y))+ln(b(x,y))
[0066]
step3：对式(4)进行傅里叶变换，将其时域变换到频域
[0067]
f(u,v)＝a(u,v)+b(u,v)
[0068]
式中：a(u,v)，b(u,v)分别是ln(a(x,y))和ln(b(x,y))的傅里叶变换
[0069]
step4：采用传递函数为h(u,v)的滤波器处理f(u,v)，得到：
[0070]
y(u,v)＝h(u,v)f(u,v)
[0071]
＝h(u,v)a(u,v)+h(u,v)b(u,v)
[0072]
其中
[0073][0074][0075]
式中：r
l
，r
h
是调节参数(r
l
<1,r
h
>1)；c为常数，控制滤波器函数锐化程度，在这里取0.5；d(u,v)是点(u,v)距离中心频率点(m,n)的距离；d0为高斯函数的方差
[0076]
step5：将滤波后的图像进行傅里叶反变换，由频域转换为时域。
[0077]
z(x,y)＝ζ
‑1{y(u,v)}＝a
′
(x,y)+b
′
(x,y)
[0078]
其中
[0079]
a
′
(x,y)＝ζ
‑1{h(u,v)a(u,v)}
[0080]
b
′
(x,y)＝ζ
‑1{h(u,v)b(u,v)}
[0081]
step6：对得到的z(x,y)进行指数化，最终得到增强后的图像
[0082]
g(x,y)＝e
z(x,y)
＝e
a
′
(x,y)
e
b
′
(x,y)
[0083]
如图3所示，基于边缘节点的图像采集：通过在填方区域周围布置的双目摄像头采集压路机施工过程的视频数据，并将视频数据实时传送至边缘计算节点(其硬件载体为安装在视频采集终端附近的一台服务器，用于完成边缘计算框架下的本地任务)。边缘服务器通过无线数据链实现对云端的通信连接和数据交互，同时临时缓存压路机施工过程的视频图像数据，并在边缘节点处对图像数据就地处理，提取其时空张量特征，作为结构化数据分包上传至云端，完成云端对多边缘节点结构化数据的融合决策。
[0084]
边缘层与云平台信息交互
[0085]
双目摄像头将所采集到的视频数据传入边缘节点进行数据处理和分析，边缘节点通过封装好的图像识别模型产生决策建议；另一方面边缘节点会将决策结果就地存储，同时通过打包上传到云端服务器，云端服务器只需要将边缘节点处理后的结构化数据来作为决策输入，不再去处理初始的视频图像数据。
[0086]
边缘节点部署神经网络模型
[0087]
在训练流程中，云端服务器接收边缘节点n1～n
m
上传的时空张量数据，经过特征拼接构建用于云端融合决策模型训练的训练数据集。云端融合决策模型由深度神经网络模型构成，任务是完成对压路机轨迹坐标的融合决策。同时，云端会定期将边缘节点所需的改进卷积神经网络二分类模型训练封装并下发至各边缘节点。边缘节点所采集的图像数据通过边缘节点部署的改进卷积神经网络模型完成压路机二分类决策，即判别所检测对象是否是压路机。在识别流程中，各边缘节点将包括边缘节点地理坐标、边缘节点所辖属的摄像头对压路机的深度测距值、以及图像采集时刻和二分类决策结果在内的多维度时空特征组织为结构化数据格式
‑
张量，然后上传到云端服务器进行特征拼接和融合决策。不同节点所采集图像数据的处理任务由各节点自行承担，充分利用边缘节点的本地计算能力，降低云端服务器的计算压力。
[0088]
时空张量特征提取
[0089]
如图4所示，将各边缘节点处双目摄像头所测得的视频图像数据就地处理，挖掘时空张量信息。以t1时刻下第i个双目摄像头所监测的图像数据为例，对图像的时空张量特征进行提取：
[0090]
s＝[s1,s2,
…
,s
t
]
[0091][0092]
其中：l
i
表示第i个填方区域；x
i
,y
i
为变电站该双目摄像头的坐标信息；a
i
为cnn卷积网络对压路机的图像识别信息的一个0、1状态变量，0为该图像中无压路机，1为该图像中包含压路机；d
i
为变电站该双目摄像头所测得的深度信息。
[0093]
边缘节点的时空张量时间维度的切片，按固定时间周期打包，即p*，将其上传至云端服务器。
[0094]
如图5所示，图像信息特征融合
[0095]
在云端服务器中对全部边缘节点所提取的时空张量特征经过拼接后完成特征融合。
[0096]
训练卷积神经网络识别压路机图像
[0097]
如图6所示，为经典卷积网络基本结构；
[0098]
step1输入层
[0099]
输入层的功能是接收输入图像，并存储为矩阵形式。假定卷积神经网络有l层，由x(
l
)代表第l层的特征，l＝1,2,
…
,l。其中x
(l)
又由多个特征图像组成，x
(l)
可表示为：
[0100][0101]
其中，j表示第l层的特征图的数量，视频的彩，色图像所对应特征x
(1)
可表示为：
[0102]
其中为r通道数据，为g通道数据，为b通道数据。
[0103]
step2卷积层
[0104]
卷积层的作用是通过卷积操作提取特征。经过合适的设计，随着卷积层的增加，网络的特征表达能力增强。第l层卷积层的特征图的计算式为:
[0105][0106]
其中，表示为卷积核的偏移量，表示为卷积层的偏移量；表示此卷积层与前一层特征图之间的连接矩阵，取1时与相关联，取0时无关联；符号表示为卷积操作；函数f(
·
)表示激活函数。
[0107]
step3池化层
[0108]
池化层设在卷积层之后进行，池化操作保持了一定的空间不变性，第l层的池化层的特征图计算式为：
[0109][0110]
其中：p(
·
)表示为池化操作。
[0111]
step4全连接层
[0112]
为提取的深层特征映射为特征向量，将全连接层设在特征提取层后进行，全连接层之间的特征向量x
(l)
计算式如下：
[0113]
x
(l)
＝f(w
(l)
x
(l
‑
1)
+b
(l)
)
[0114]
其中：w
(l)
表示为权重；b
(l)
表示为偏移量；函数f(
·
)表示为激活函数。
[0115]
step5损失函数
[0116]
卷积神经网络通过前向传播获得预测值，通过损失函数计算预测值的误差，在图像识别中所用的损失函数其交叉熵损失计算式如下：
[0117][0118]
其中：x表示为样本；y表示为所预测的输出量；表示为实际的输出量；n表示为样本的总数量。
[0119]
嵌入自注意力机制
[0120]
如图7所示，在卷积神经网络模型中引入自注意力机制，重点关注图像特征中是否含有压路机对象，以便提高检测精度。自注意力机制是通过计算出图像中任意两个像素点之间的关系，从而获取图像的全局几何特征，提取图像中有价值的信息。其中，x表示为前一个隐藏层的图像特征；f(x)、g(x)、h(x)都是1
×
1的卷积，表示图像特征乘以不同权重矩阵后所得的特征空间；经过分类器归一化可得注意力图β
j,i
，其计算式如下：
[0121][0122]
s
ij
＝f(x
i
)
t
g(x
j
)
[0123]
将注意力图β
j,i
与h(x)每个像素点相乘，即全局信息与局部信息整合，可得自适应的注意力特征图，其计算式如下：
[0124][0125]
h(x
i
)＝w
h
x
i
[0126]
其中，w
h
为卷积层h(x
i
)的权重矩阵。为兼顾邻域信息和远距离特征的相关性，引入过渡参数r，初始值为0。整合全局信息与局部信息后，注意力层的最终输出y
i
表示为：
[0127]
y
i
＝ro
i
+x
i
[0128]
云端训练深度神经网络模型
[0129]
各边缘节点将包括边缘节点地理坐标、边缘节点所辖属的摄像头对压路机的深度测距值、以及图像采集时刻和二分类决策结果在内的多维度时空特征组织为结构化数据格式
‑
张量，然后上传到云端服务器进行特征拼接，训练生成深度神经网络，用于云端服务器对压路机施工轨迹坐标的融合决策。
[0130]
利用三阶段图像预处理技术提升变电站填方压路机施工监测图像质量；
[0131]
在实际的压路机施工过程中，所采集到的压路机图像数据可能会存在畸变、模糊、失真等的现象。这种情况会造成图像质量下降，对压路机的轨迹识别有较大的影响。本技术提案通过采用图像灰度化、图像滤波、图像增强三种图像预处理技术，通过针对性强化视频所采集画面中压路机图像的局部特性，强化压路机图像清晰度，扩大图像元素特征差异，提高图像的辨识效果。
[0132]
利用嵌入自注意力机制的卷积神经网络进行图像识别
[0133]
本技术提案针对传统卷积神经网络在图像识别中关键特征捕捉能力的不足，引入自注意力机制，强化模型对局部图像特征的感知能力，使神经网络模型的全局学习能力和局部学习能力得到综合提升。
[0134]
利用边缘计算+云端决策的技术模式取代集中式云处理模式
[0135]
本技术提案针对传统集中式云处理模式面临的数据传输存储成本高、数据处理效率低下的问题提出的边缘计算+云端决策的数据处理技术，将视频图像处理任务从云端迁移至边缘计算节点，形成数据本地采集、数据本地处理、结构化数据云端决策的分布式数据
处理模式，可有效降低云端服务器的计算负载，减缓网络带宽的压力，提高压路机图像数据的处理效率。
[0136]
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。