一种基于FPGA的云跟踪方法

一种基于fpga的云跟踪方法
技术领域
1.本发明涉及气象预测、地基云图研究相关技术领域，具体设计一种基于 fpga的云跟踪方法。


背景技术：

2.对于云层的研究，是有效缓解气候恶化的手段，对于云的研究可以帮助人 们了解其特性，提高气候预测能力，对生产活动进行相应的调整。特别地，对于 云状态变化的跟踪可以让我们获得更多关于气象方面的有效信息。
3.而现有技术中缺少可以准确、快速的进行云跟踪，尤其是针对云的形状变 化，与一般物体跟踪不同的是，云的形状会随时间的变化而变化，传统的目标检 测方法不能有效地实现准确的云跟踪，因此迫切的需要一种能够进行云团跟踪的 同时，又考虑到云团形状会改变这一特点的方法。


技术实现要素：

4.本发明的目的是针对现有技术存在的不足，提供一种基于fpga的云跟踪方 法。
5.技术方案：本发明解决问题所采用的技术方案为：
6.一种基于fpga的云跟踪方法，首先通过cmos线阵工业相机获取云团间隔 一段时间前后的图像一与图像二输入fpga，利用axi总线统一arm处理器与 fpga的数据交换，将图像处理算法、特征提取算法以及lstm-superglue网络 泛化到高性能arm处理器上。对所述图像进行畸变校正、图像平滑处理、形态 学操作、canny边缘检测以及提取矩特征，另一方面对所述图像提取灰度共生矩 阵特征量，将上述两种特征赋予适当的权重，作为总的云团特征。利用 lstm-superglue网络预测云团一段时间后的特征量状态，然后将上述特征量与 图像二进行匹配从而实现云跟踪。本发明考虑到云随时间大小会发生改变，并采 用多特征进行云跟踪，提高跟踪的准确性。同时考虑到不同类别的云团演变方式 不同，针对不同类别的云团分别训练预测模型。本发明采用“fpga+arm”体 系架构提高了图像采集的实时性、速度以及性能。
7.具体包括以下步骤：
8.s1：采集云团图像，对云团进行分类；
9.s2：对云团图像进行处理，获取云团特征：
10.一方面对图像进行畸变校正、图像平滑处理、形态学操作、canny边缘检测 以及提取矩特征，另一方面对所述图像提取灰度共生矩阵特征量，将矩特征和灰 度共生矩阵特征赋予适当的权重，作为总的云团特征。对图片中的云团部分设定 相关阈值，忽略较小的云，保留较大的、容易识别的云团；
11.s3：利用lstm-superglue网络预测云团一段时间后的特征量状态，然后将 特征量与图像二进行匹配从而实现云跟踪。
12.进一步地，步骤s1中，用同一相机拍摄间隔时间段的云团图像一与图像二， 采用
差分信号传输数据。
13.进一步地，步骤s1中，采集到的云团图像，还用于形成训练集，利用决策 树进行分类，并且对训练集中的云团图像也进行分类。
14.进一步地，步骤s2中，在相机采集到图像后，首先对云团图像进行畸变校 正，畸变校正算法的实现方式如下：
[0015][0016]
式中，{pi}为校正图像中所有的二维向量的集合；
[0017]
pi为第i个像素对应的像素坐标；
[0018]fk
为目标函数，通过使fk最小化，就可以求得最佳变换{p
i-best
}；
[0019][0020]
式中，f1为针对云团部分进行的畸变校正；
[0021]
n为云团的个数；
[0022]on
为第n个云团的范围；
[0023]
wi为云团权重，云团处为1，其它为0；
[0024]
mi为像素i到图像中心的距离正相关的权重；
[0025]
ui为投影向量；
[0026]
sn，tn为云团图像变换的比例因子与缩放因子；
[0027]
(snui+tn)为云团的相似变换；
[0028][0029]
式中，f2为针对非云团部分(即背景部分)进行的畸变校正；
[0030]
vi，vj为云团图像校正后i，j两点的坐标；
[0031]
(v
i-vj)为云团图像校正后i，j两点间向量；
[0032]
n(i)为i映射到的校正后的图像区域；
[0033]eij
为非云团图像校正后i，j两点间的向量；
[0034]fk
＝μf1+vf2[0035]
式中，μ，v为相关权重系数；
[0036]
通过使fk最小化，求出最佳的变换矩阵，将云团和非云团部分分别校正再进 行结合。
[0037]
进一步地，步骤s2中，利用特征提取算法，通过对矩特征和灰度共生矩阵 特征量的结合，获得表征能力强的特征量，矩特征包括空间矩、中心距、归一化 中心距和hu矩，灰度共生矩阵特征包括图像在0
°
，45
°
，90
°
，135
°
方向上 的能量、熵、对比度、逆差矩；特征结合的实现方式如下：
[0038]
v＝αv1+βv2[0039]
式中，v1为矩特征；
[0040]
v2为灰度共生矩阵特征量；
[0041]
α，β为选取的合适的权重系数。
[0042]
进一步地，步骤s3中，将提取的特征输入lstm-superglue网络模型，网 络模型包括lstm和superglue两部分，lstm网络用于训练获得云团特征预测 模型，superglue网络用于特征匹配。
[0043]
进一步地，步骤s3中，利用lstm网络模型预测一段时间后云团特征变化 趋势，匹配图像二中的云团图像，训练获得云团特征预测模型；lstm网络输入 为云团图像一的特征量，输出为云团的特征量预测状态。
[0044]
进一步地，步骤s3中，
[0045]
将lstm的输出层作为superglue的输入层，在输入层后对关键点进行编码， 实现方式如下：
[0046]
xi＝di+mlp(pi)
[0047]
式中，di为特征点的偏移量；
[0048]
mlp(pi)为将特征点pi利用mlp嵌入高维向量中；
[0049]
xi为pi映射在高维向量空间中的坐标；
[0050]
通过superglue网络，获得与云团图像二中匹配度最高的云团，即实现云跟 踪。
[0051]
有益效果：本发明与现有技术相比，具有以下优点：
[0052]
(1)本发明中采用“fpga+arm”体系架构提高了图像采集的实时性、速 度以及性能。相比于“arm+dsp”体系架构，“fpga+arm”体系架构将arm cortex-a57处理器和fpga可编程逻辑资源进行集成，具有硬件和软件均可重新 编程的特点，软硬件协同工作提高了设计的灵活性。
[0053]
(2)本发明中提出一种图像畸变校正方法，用于校正拍摄的图像，便于后 续进行特征提取，相对于传统相机镜头校正，本方法中采用云团和非云团部分分 别校正再进行结合。
[0054]
(3)本发明中针对每类云团分别训练相应的预测模型，相比于将所有云团 图像进行训练学习，有些云团的变化趋势可能会对神经网络的预测结果产生干扰， 分别训练预测模型可以避免该问题，从而提高预测模型的针对性和准确性。
[0055]
(4)本发明中为了获得有效的特征，采用矩特征和灰度共生矩阵特征结合 的方法，提高了输入特征的表征能力。
[0056]
(5)本发明采用lstm-superglue网络模型，结合了lstm和superglue 的优点，在能高效学习特征量变化趋势的同时，又能准确的进行特征匹配，实现 云跟踪效果。
[0057]
(6)本发明考虑到云随时间大小会发生改变，并采用多特征进行云跟踪， 提高跟踪的准确性。
附图说明
[0058]
图1为本发明流程框图。
[0059]
图2为本发明的具体流程图；
[0060]
图3为图像处理流程图；
[0061]
图4为lstm-superglue网络模型图。
具体实施方式
[0062]
下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术 方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发 明的范围。
[0063]
一种基于fpga的云跟踪方法，如图1和2所示，包括以下步骤：
[0064]
s1：采集云团图像，对云团进行分类：
[0065]
本发明利用带有cameralink接口的cmos线阵工业相机进行图像采集。用 同一相机拍摄间隔时间段的进行每类云团的图像采集；针对不同云团种类，分别 进行图像采集。根据云的颜色、纹理和物理变化等特性，将地基云图划分为卷云、 积云、积雨云、层云4类。卷云是一种散在云层中的云，呈线状结构，光泽柔和， 云体通常是白的，没有阴影。卷云大多以微小的冰晶形式出现，通常不厚，不细， 不散。积云顶部呈弧形或拱形，云层底部几乎水平，云体有明确的边界。积雨云 云层较厚且蔓延范围较大，在垂直方向发展迅速。云顶是由冰晶组成，具有白色 丝质光泽的丝质结构。云底阴暗混乱，起伏明显。层云的云体是呈层钩状的，颜 色为灰色，常在山坡上出现，主要由小水珠构成。
[0066]
相机采用带有cameralink接口的cmos线阵工业相机，针对每类云团间隔 适当时间，用同一相机拍摄，保证一天，甚至一年中每天的各个时刻都有采集样 本。用相机采集高分辨率云团图像，用同一相机拍摄间隔时间段的云团图像一与 图像二，采用差分信号传输数据。间隔时间段不宜较长，防止云团状态发生巨大 变化，也不宜较短，选取适当的时间段拍摄图片，保证后续的神经网络能学习到 完整的云团变化过程。
[0067]
云团分类算法：采集到的云团图像，还用于形成训练集，利用决策树进行分 类，并且对训练集中的云团图像也进行分类。
[0068]
网络模型中的lstm部分，针对每类云团图像训练各自的预测模型，可以 提高预测的针对性和准确率，网络输入为云团图像一的特征量，输出为云团的特 征量预测状态。
[0069]
s2：对云团图像进行处理，获取云团特征；
[0070]
本发明中利用带有cameralink接口、cortex-a57处理器的fpga，用于进行 图像处理，获取云团特征；带有cameralink接口、cortex-a57处理器的fpga， 具有高性能的处理运算能力以及带有大容量的ddr单元储存图像数据，通过axi总线统一arm处理器与fpga的数据交换，将算法程序泛化到高性能arm 处理器上，同时能够进行图像并行处理，提高了实际应用中的效率问题。图像源 产生的lvds串行高速图像信号经过cameralink芯片ds90cr286mtd后，按照 cameralink接口协议转换成并行ttl信号，并将ttl信号输入至fpga接口。 fpga在pl端进行采集与控制，在此过程中pl端将通过axi总线将图像数据 存储到ddr中，ps端在接收到图像中断信号时开始读取ddr中的图像数据。 在获取相机采集的图像后，传输给fpga，随后进行图像处理操作。
[0071]
如图3所示，图像处理算法包括畸变校正、图像平滑处理、形态学操作、 canny边缘检测，通过畸变校正算法去除图像中的畸变失真部分，并通过噪声滤 波、边缘检测识别出云团的轮廓；能识别拍摄到图片中的云团部分设定相关阈值， 忽略较小的云，保留较大的、容易识别的云团。对云团图像进行处理的方法具体 步骤包括：
[0072]
s2-1：读取云团图像；
[0073]
s2-2：进行畸变校正；
[0074]
在相机采集到图像后，首先对云团图像进行畸变校正，畸变校正算法的实现 方式
如下：
[0075][0076]
式中，{pi}为校正图像中所有的二维向量的集合；
[0077]
pi为第i个像素对应的像素坐标；
[0078]fk
为目标函数，通过使fk最小化，就可以求得最佳变换{p
i-best
}；
[0079][0080]
式中，f1为针对云团部分进行的畸变校正；
[0081]
n为云团的个数；
[0082]on
为第n个云团的范围；
[0083]
wi为云团权重，云团处为1，其它为0；
[0084]
mi为像素i到图像中心的距离正相关的权重；
[0085]
ui为投影向量；
[0086]
sn，tn为云团图像变换的比例因子与缩放因子；
[0087]
(snui+tn)为云团的相似变换；
[0088][0089]
式中，f2为针对非云团部分(即背景部分)进行的畸变校正；
[0090]
vi，vj为云团图像校正后i，j两点的坐标；
[0091]
(v
i-vj)为云团图像校正后i，j两点间向量；
[0092]
n(i)为i映射到的校正后的图像区域；
[0093]eij
为非云团图像校正后i，j两点间的向量；
[0094]fk
＝μf1+vf2[0095]
式中，μ，v为相关权重系数；
[0096]
通过使fk最小化，就可以求出最佳的变换矩阵。本发明将云团和非云团部分 分别校正再进行结合，有效地改善图片效果。
[0097]
s2-3：然后，对矫正过的图像进行平滑处理，平滑处理包括高斯滤波；
[0098]
s2-4：再进行形态学操作，形态学操作包括开运算；
[0099]
s2-5：最后进行图像的canny边缘检测，canny边缘检测包括去噪、计算梯 度的幅度与方向、非极大值抑制、确定边缘，最后划分出云团的范围。
[0100]
利用特征提取算法，通过对矩特征和灰度共生矩阵特征量结合的方法，获得 表征能力更强的特征量。矩特征包括空间矩、中心距、归一化中心距和hu矩。 灰度共生矩阵特征包括图像在0
°
，45
°
，90
°
，135
°
方向上的能量、熵、对 比度、逆差矩。特征结合的实现方式如下：
[0101]
v＝αv1+βv2[0102]
式中，v1为矩特征；
[0103]
v2为灰度共生矩阵特征量；
[0104]
α，β为选取的合适的权重系数。
[0105]
s3：如图4所示，将提取的特征输入lstm-superglue网络模型，网络模型 包括lstm和superglue两部分。lstm网络用于训练获得云团特征预测模型， superglue网络用于特征匹配。
[0106]
s3-1：利用lstm网络模型预测一段时间后云团特征变化趋势，匹配图像二 中的云团图像，训练获得云团特征预测模型；
[0107]
利用所述网络模型中的lstm部分，针对每类云团图像训练各自的预测模 型，可以提高预测的针对性和准确率，网络输入为云团图像一的特征量，输出为 云团的特征量预测状态。
[0108]
s3-2：利用superglue网络实现特征匹配。
[0109]
特征匹配是通过求解可微分最优化转移问题来解决，损失函数由gnn来构 建。将lstm的输出层作为superglue的输入层，在输入层后对关键点进行编码， 实现方式如下：
[0110]
xi＝di+mlp(pi)
[0111]
式中，di为特征点的偏移量；
[0112]
mlp(pi)为将特征点pi利用mlp嵌入高维向量中；
[0113]
xi为pi映射在高维向量空间中的坐标。
[0114]
通过superglue网络，获得与云团图像二中匹配度最高的云团，即实现云跟 踪效果。
[0115]
本发明中采用“fpga+arm”体系架构提高了图像采集的实时性、速度以 及性能。将arm cortex-a57处理器和fpga可编程逻辑资源进行集成，具有硬 件和软件均可重新编程的特点，软硬件协同工作提高了设计的灵活性。
[0116]
采用本发明中提出一种图像畸变校正方法，相对于传统相机镜头校正，能实 现的校正效果更好。本发明中针对每类云团分别训练相应的预测模型，相比于将 所有云团图像进行训练学习，提高了预测模型的针对性和准确性。本发明中将矩 特征和灰度共生矩阵特征结合作为总特征，提高了输入特征的表征能力。利用本 发明采用的lstm-superglue网络模型，结合了lstm和superglue的优点，在 能高效学习特征量变化趋势的同时，又能准确的进行特征匹配，实现云跟踪效果。 从而提高气候预测能力，对人们生产活动进行相应的调整。
[0117]
上述具体实施方式只是本发明的一个优选实施例，并不是用来限制本发明的 实施与权利要求范围的，凡依据本发明申请专利保护范围内容做出的等效变化和 修饰，均应包括于本发明专利申请范围内。