一种面向桥梁结构健康监测的实时风速指标计算方法及系统与流程

1.本发明涉及桥梁结构健康监测实时数据处理领域，尤其涉及一种面向桥梁结构健康监测的实时风速指标计算方法及系统。


背景技术：

2.随着建筑材料的不断升级和桥梁工程技术的不断进步，桥梁的建筑规模和安全使用年限都不断扩大。因此，对桥梁结构健康监测系统提出了新的需求，一方面，桥梁结构健康监测数据体量日益扩大，对传感器监测数据的处理能力提出了新的要求；另一方面，为了确保桥梁结构健康监测指标能够尽可能真实反应桥梁的健康状况，对桥梁结构健康监测指标的计算准确性提出了更高的标准。桥梁结构状态是通过结构响应表现出来的，健康监测的工作方式就是通过解析桥梁的结构响应来获取桥梁的结构状态，从而对桥梁进行一系列健康评估。桥梁健康监测系统一般分为三个等级，即长期在线自动健康监测系统、定期离线健康监测系统和定期养护健康监测系统。长期在线自动健康监测系统作为其中最高等级的监测系统，特别适合于在特大跨径复杂桥梁结构和具有重大战略意义的关键桥梁上使用。实时计算技术作为长期在线自动健康监测系统中的核心技术，对于海量数据的实时处理能力和桥梁健康状况的实时反馈都有越来越高的标准，而传统的解决方案是使用数据库调用进行定时计算，通过sql查询的适用场景主要为大规模批处理，在进行实时流处理时性能不佳。
3.针对如何在海量数据进行实时计算问题，现有lambda结构和kappa架构两种架构实现“批流一体化”的实时计算技术方案。lambda架构是流式计算模式和批式计算模式共同维护大数据处理系统，由流式计算模块提供实时数据计算，由批式计算模块做准确的离线计算并矫正实时计算中可能产生的错误。这种架构缺点在于需要维护流计算和批计算两套独立的代码逻辑，增加维护成本，且批式计算在对实时计算的时序追赶上实现困难。kappa架构则利用强大的流式计算模式提供稳定及时的算力，在发生错误时需要等待服务空闲时段进行数据修复。两种架构为了保证计算准确，既影响了正常的流计算服务也影响系统性能，很难满足桥梁结构健康监测的实时指标计算需求。
4.针对以上问题，当前亟需一种面向桥梁结构健康监测的实时风速指标计算方法及系统，能够克服现有行业技术方案中耗时长、精度低的缺陷，并且可以同时达到低延迟高吞吐的数据处理和高精度的指标计算。


技术实现要素：

5.本发明的目的是在于针对桥梁结构健康监测指标实时计算领域现有技术的不足，提出一种面向桥梁结构健康监测的实时风速指标计算方法及系统。
6.本发明的目的是通过以下技术方案来实现的：一种面向桥梁结构健康监测的实时风速指标计算方法，该方法包括以下步骤：
7.(1)采集的桥梁传感器数据实时缓存至上游消息中间件中，在需要计算风速指标
时实时提取和解析上游消息中间件内缓存的桥梁传感器数据，以(id,timestamp,data)的格式推送给实时流计算引擎；
8.(2)实时流计算引擎中的实时算子利用增量计算和滑动窗口对桥梁传感器数据进行数据聚合；通过异常检测算法对实时算子的数据聚合结果进行数据检测，把异常数据修改为正常后，进行短期存储，同时推送给实时风速指标作业和实时算子进行计算；
9.(3)桥梁结构健康监测的实时风速指标作业根据计算逻辑，基于数据时间设计延迟触发机制，提取内存数据库中存储的数据进行数据对齐、计算和重组，并将计算结果存储在内存数据库和推送下游消息中间件；
10.(4)根据指标计算逻辑要求，存储在内存数据库中的计算结果将被指标作业提取，并继续执行(3)步骤，直到指标计算逻辑运行完成，将指标计算结果推送下游消息中间件。
11.进一步地，所述步骤(2)中，实时算子在使用滑动窗口进行桥梁数据聚合时，通过数据驱动增量计算，滑动窗口时间跨度随着数据进入而不断增大，当滑动窗口内聚合数据达到最大跨度时，进行存储并清空。
12.进一步地，所述步骤(2)中，实时风速指标包括主风方向脉动风速、横风方向脉动风速、垂直方向脉动风速、平均风速和紊流强度。
13.进一步地，针对每个桥梁传感器的数据通道，实时算子均各维护多个独立的滑动窗口，每个滑动窗口维护一个中间态值，相邻滑动窗口的起始时间间隔相同；当有新的桥梁传感器数据从上游消息中间件提取进入流计算引擎时，所有滑动窗口同时进行计算。
14.进一步地，所述步骤(3)中，根据桥梁健康监测场景特性，延迟触发机制引入专家经验，基于驱动时钟设定数据处理延迟触发。
15.进一步地，所述步骤(2)中，使用3sigma或z-score异常检测算法，根据近期历史数据监测数据异常情况，并对异常数据进行修改。
16.进一步地，所述步骤(3)中，延迟触发机制驱动实时风速指标作业，实时风速指标利用实时算子，按照指标作业计算逻辑进行计算。
17.进一步地，所述步骤(3)和(4)中，推送下游消息中间件的数据格式为{id,name,starttime,endtime,data}。
18.另一方面，本发明还提供了一种面向桥梁结构健康监测的实时风速指标计算系统，该系统包括数据处理模块、实时流计算模块、指标计算逻辑模块和指标作业提取模块；
19.所述数据处理模块用于实时提取和解析上游消息中间件内缓存的桥梁传感器数据，以(id,timestamp,data)的格式推送给实时流计算模块；
20.所述实时流计算模块用于通过实时流计算引擎中的实时算子利用增量计算和滑动窗口对桥梁传感器数据进行数据聚合；通过异常检测算法对实时算子的数据聚合结果进行数据检测，把异常数据修改为正常后，进行短期存储，同时推送各实时风速指标作业和实时算子进行计算；
21.所述指标计算逻辑模块用于将桥梁结构健康监测的实时风速指标作业根据计算逻辑，基于数据时间设计延迟触发机制，提取内存数据库中存储的数据进行数据对齐、计算和重组，并将计算结果存储在内存数据库和推送下游消息中间件；
22.所述指标作业提取模块用于根据指标计算逻辑模块的指标计算逻辑要求，存储在内存数据库中的计算结果将被指标作业提取，并继续执行指标计算逻辑模块，直到指标计
算逻辑运行完成，将指标计算结果推送下游消息中间件。
23.本发明的有益效果：首先本发明利用桥梁传感器数据的周期性特点，进行数据异常矫正，可以更好地应对因硬件设备受物理因素影响、数据传输环境信号干扰等因素导致的瞬时噪声、跳点等数据异常，降低异常数据对指标精度的影响；同时，通过提出一种适用桥梁健康监测实时计算指标的增量计算方法和滑动窗口数据聚合技术，改进平均风速、脉动风速和紊流强度指标计算方法，减少存储体量，不但减小了传统sql批量计算带来的资源使用率波动，同时降低了读写硬盘带来的io压力和时间消耗，大大减少了指标计算时延，增大系统吞吐量；另外，设计延迟触发机制，缓解桥梁结构健康监测数据因网络传输、信号干扰等原因导致的实时数据局部乱序和迟到问题，尽可能保证数据计算准确。
附图说明
24.图1为面向桥梁结构健康监测的实时风速指标计算系统架构图；
25.图2为单数据流实时计算算子滑动窗口的数据聚合示意图；
26.图3为数据驱动的延迟计算方案示意图；
27.图4为面向桥梁结构健康监测的实时风速指标计算方法的数据处理流程图；
28.图5为平均风速指标实时计算流程图；
29.图6为主风方向和横风方向脉动风速指标实时计算流程图；
30.图7为紊流强度指标实时计算流程图。
具体实施方式
31.下面结合附图和具体实施例对本发明作进一步详细说明。
32.本发明提供的一种面向桥梁结构健康监测的实时风速指标计算方法，如图1和图4所示，包括以下步骤：
33.(1)数据处理模块实时从上游消息中间件中提取最新的桥梁传感器数据，将上游消息中间件中的消息体数据解析成(id,timestamp,data)结构，其中timestamp为数据时间，id为数据流唯一标识，并推送实时流计算引擎，以数据流为单位计算均值和方差用于数据矫正；
34.实时均值算子增量计算公式：
[0035][0036]
实时方差算子增量计算公式：
[0037][0038]
其中，和s
(n-1)
分别为x1,x2,
…
,x
n-1
的平均值和方差，和s
(n)
分别为x1,x2,
…
,x
n-1
,xn的平均值和方差。和s
(n)
分别代表滑动窗口中维护的均值中间态和方差中间态。x1,x2,
…
,x
n-1
,xn表示在一个滑动窗口中进行计算的数据，实时算子在使用滑动窗口进行桥梁数据聚合时，通过数据驱动增量计算，滑动窗口时间跨度随着数据进入而不断增大，直到达到最大跨度时，进行存储并清空。
[0039]
针对每个数据流，实时算子都各维护多个独立的滑动窗口，每个窗口维护一个中间态值，相邻滑动窗口的起始时间间隔相同。当有新的桥梁监测数据进入上游消息中间件时，所有滑动窗口同时进行计算；当滑动窗口跨度不满足10分钟时，只需更新中间态；当滑动窗口满足10分钟，则把当前计算得到的中间态作为10分钟数据聚合值，连同相关参数一并存入内存数据库中，并清空滑动窗口中间态，为新数据的增量计算做准备。其中，相关参数用于数据迟到的情况，使用相关参数和迟到的原始数据进行增量计算，更新内存数据库中的聚合值。如图2所示，本发明存储数据时间最近60分钟的各算子计算得到的聚合中间态至内存数据库，图2中10个独立的滑动窗口，每个窗口维护一个中间态值，相邻滑动窗口的起始时间间隔1分钟。当有新的桥梁监测数据进入上游消息中间件时，10个滑动窗口同时进行计算，更新各自的中间态。滑动窗口每10分钟存储一次聚合中间态，因此可以在内存数据库中取到以整分钟为起始时间的10分钟跨度的数据均值和方差计算结果值。当有数据迟到时，可以根据该数据的时间在内存数据库中找到该时间所属跨度的聚合值，进行更新，例如图3中，时间为9:56的数据在数据时间10:00之后到达，此时需要在内存数据库中找到9:56所属的时间区间为0:00至10:00，对该区间的数据聚合值使用增量计算得到新的均值和方差，并更新内存数据库。
[0040]
(2)以数据流为单位，为各数据流进行实时数据矫正，使用3sigma或z-score异常检测算法，根据近期历史数据监测数据异常情况，并对异常数据进行修改。本发明使用3sigma矫正方法，3sigma矫正需要提取数据流过去10分钟数据的均值和方差，本发明为3sigma矫正时提取均值和方差的操作设置了延迟触发机制，如图3所示，提取操作使用整体数据流驱动触发，当整体数据流的最新数据超出整分钟时，认为数据时间已经到达整分钟，触发相应操作。例如，图3中某数据的数据时间为11:01，作为第一个超过11:00的数据，则认为数据时间已经达到11:00，可以触发整分钟的运算操作，即数据提取操作。根据专家经验，设定1分钟等待时延，当数据时间到达11:00时，认为0:00至10:00区间的数据已经基本到达内存数据库，从内存数据库中可以提取到0:00至10:00区间的更准确的均值和方差，用于3sigma算法进行异常检测；当数据流的最新数据未超出整分钟时，则依旧使用最近一次提取的均值和方差。3sigma算法设定正常数据范围(μ-3σ,μ+3σ)进行实时检查，超出正常范围的数据被判定为异常，如果当前数据值低于μ-3σ边界时，使用μ-2σ值进行替换，如果当前数据值高于μ+3σ边界时，使用μ+2σ值进行替换。其中μ表示从内存数据库中提取的10分钟均值，σ表示从内存数据库中提取的10分钟方差计算得到的标准差值。数据矫正完成后，将矫正后数据实时推送给实时流计算引擎，用于各指标作业计算的时钟同步和实时算子的计算操作，将最近5分钟的矫正后原始数据缓存至内存数据库。
[0041]
(3)如图5所示，原始数据经过矫正后，会重新推入平均风速指标作业，风速风向指标作业基于实时算子，利用延迟触发机制进行指标计算。其中x数据流为南北方向风速时程，y数据流为东西方向风速时程，z数据流为垂直方向风速时程。平均风速指标每个整分钟时刻触发一次计算，平均风速指标作业基于滑动窗口、增量计算方法，实时风速指标利用延迟触发机制，获取x数据流和y数据流的均值聚合值，进行数据时间对齐和拼接，计算平均风速指标。同步骤(2)相同，基于整体数据流数据驱动，设定1分钟等待时延，如图3所示，从内存中获取1分钟前最近一次存储的10分钟均值，包括数据流x的均值和数据流y的均值，均值计算方法与步骤(1)相同，经过时间对齐和拼接后进行平方根计算，时间对齐指x的均值的
10分钟区间和y的均值的10分钟区间一致，并将计算结果存储在内存数据库中，表示该10分钟区间的平均风速，同时把指标计算结果以{id,name,starttime,endtime,data}的格式推送给下游消息中间件。平均风速u的计算公式：
[0042][0043]
其中，u
x
表示南北方向风速时程，表示u
x
过去10分钟数据的均值，uy表示东西方向风速时程，表示uy过去10分钟数据的均值。
[0044]
步骤(2)和(3)中，根据桥梁健康监测场景特性，延迟触发机制引入专家经验，基于驱动时钟设定数据处理延迟触发。当桥梁健康监测数据的到达的顺序发生乱序时，可适当等待数据产生时间较早但尚未到达系统的数据，保证当判定某时刻之前的数据基本到达后，再进行计算、推送以及多流数据的时间对齐拼接等操作。其中，使用整体数据流作为驱动时钟，整体数据流的最新数据时间作为所有算子和指标的同步时钟，驱动所有算子和指标进行计算和数据处理。
[0045]
(4)如图6所示，原始数据经过矫正后，会重新推入脉动风速指标作业。脉动风速对每个进入作业的数据都会触发一次计算，同步骤(2)相同，基于数据矫正后的整体数据流进行数据驱动，设定3分钟等待时延，从内存数据库中获取3分钟前的数据。具体数据是，以当前整体数据时间为参照，从内存中获取3分钟前的x、y、z数据流矫正后原始数据、3分钟前存储的x、y和z数据流的均值以及平均风速指标值，均值计算方法与步骤(1)相同，进行数据时间对齐和拼接。其中，数据时间对齐指x、y、z数据流原始数据的数据时间一致，平均值和平均风速指标的时间区间相同，同时要求他们是内存数据库中存储的最新结果，而且计算区间要包含本步骤提取的原始数据数据时间。例如，当前数据时间是13:06，对齐规则是：x、y和z数据流的原始数据都是10:06，x数据流均值、y数据流均值、z数据流均值和平均风速的区间是01:00～11:00，经过时间对齐和拼接后进行三角函数、反三角函数以及除法计算，获得10:06时刻的主风方向、横风方向和垂直方向的脉动风速值，并将计算结果存储内存数据库中，同时以{id,name,starttime,endtime,data}结构推送下游消息中间件。主风方向脉动风速u、横风方向脉动风速v和垂直方向脉动风速w的计算公式如下：
[0046]
主风方向脉动风速u：
[0047][0048]
横风方向脉动风速v：
[0049][0050]
垂直方向脉动风速w：
[0051]
[0052]
其中uz表示z数据流的原始数据，表示z数据流过去10分钟数据均值。
[0053]
(5)如图7所示，脉动风速计算完成后，会重新推入紊流强度指标作业，在该作业中，脉动风速会被推送实时方差算子中进行增量计算和数据聚合，同步骤(1)相同。该作业每个整分钟时刻触发一次计算，同步骤(2)相同，基于数据矫正后的整体数据流进行数据驱动，设定4分钟等待时延，从内存数据库中获取4分钟前的数据。具体数据是，以当前数据整体数据时间为参照，从内存中获得4分钟前的主风方向、横风方向以及垂直方向脉动风速的10分钟方差值和平均风速指标。经过时间对齐和拼接后进行开根号和除法计算，把指标计算结果以{id,name,starttime,endtime,data}的格式推送给下游消息中间件。其中时间对齐规则是原始数据的方差和平均风速指标的时间区间相同。例如：当前整体数据流时间时14:00，提取0:00至10:00区间的平均风速和脉动风速方差值，计算得到0:00至10:00区间的紊流强度指标。主风方向紊流强度iu、横风方向紊流强度iv以及垂直方向紊流强度iw的计算公式分别为：
[0054][0055]
式中σu、σv、σw分别为主风方向脉动风速u、横风方向脉动风速v、垂直风向脉动风速w的10分钟跨度标准差，由实时方差算子提供方差值开根号得到。
[0056]
步骤(2)、步骤(3)、步骤(4)中，实时算子的聚合中间态和桥梁结构健康监测指标计算结果使用内存数据库进行存储。
[0057]
另一方面，本发明还提出了一种面向桥梁结构健康监测的实时风速指标计算系统，该系统包括数据处理模块、实时流计算模块、指标计算逻辑模块和指标作业提取模块；
[0058]
所述数据处理模块用于实时提取和解析上游消息中间件内缓存的桥梁传感器数据，以(id,timestamp,data)的格式推送给实时流计算模块；该模块的具体过程参考本发明还提出的一种面向桥梁结构健康监测的实时风速指标计算方法的步骤。
[0059]
所述实时流计算模块用于通过实时流计算引擎中的实时算子利用增量计算和滑动窗口对桥梁传感器数据进行数据聚合；通过异常检测算法对实时算子的数据聚合结果进行数据检测，把异常数据修改为正常后，进行短期存储，同时推送各实时风速指标作业和实时算子进行计算；该模块的具体过程参考本发明还提出的一种面向桥梁结构健康监测的实时风速指标计算方法的步骤。
[0060]
所述指标计算逻辑模块用于将桥梁结构健康监测的实时风速指标作业根据计算逻辑，基于数据时间设计延迟触发机制，提取内存数据库中存储的数据进行数据对齐、计算和重组，并将计算结果存储在内存数据库和推送下游消息中间件；该模块的具体过程参考本发明还提出的一种面向桥梁结构健康监测的实时风速指标计算方法的步骤。
[0061]
所述指标作业提取模块用于根据指标计算逻辑模块的指标计算逻辑要求，存储在内存数据库中的计算结果将被指标作业提取，并继续执行指标计算逻辑模块，直到指标计算逻辑运行完成，将指标计算结果推送下游消息中间件；该模块的具体过程参考本发明还提出的一种面向桥梁结构健康监测的实时风速指标计算方法的步骤。
[0062]
本发明提出的一种面向桥梁结构健康监测的实时风速指标计算方法及系统，基于传感器时序数据进行增量计算，通过保存中间聚合值至内存数据库，极大地降低复杂指标的计算复杂度和读写io时延，从根本上增大了桥梁结构健康监测指标计算的吞吐量，减少
系统计算时延，可以广泛应用在桥梁结构健康监测实时指标计算领域。
[0063]
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员在不脱离本发明的精神和范围的情况下，还可以作出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。