技术特征：
1.一种基于apache flink的分布式流体动力学计算方法，其特征在于，包括如下步骤：s1数据采集：接收特定流域所产生的流体数据，使用分布式收集实时采集的流体数据；s2数据清洗：使用flink平台的map算子拆分功能，将采集到的流体数据一行一行转换出来，使用flink平台的flatmap算子拆分功能，将每条流体数据记录由一行转换成多行，使用flink平台的keyby算子分区功能，将每条流体数据记录按照速度值字段进行数据分区，将相同的速度值放到同一个分区，使用flink平台的filter算子过滤功能，将分区数据过滤掉无用的数据，保留有用数据；s3数据转换：使用flink计算引擎解析清洗后的数据信息，并进行异步匹配对应的维度信息；s4数据处理：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入数据信息的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到分布式存储数据库中。2.根据权利要求1所述的一种基于apache flink的分布式流体动力学计算方法，其特征在于，所述步骤s1接收特定流域所产生的流体数据，对接收特定流域所产生的流体数据进行汇总，并进行分类存储。3.根据权利要求1所述的一种基于apache flink的分布式流体动力学计算方法，其特征在于，所述步骤s2还包括数据分析，数据分析采用大数据分析平台，大数据分析平台包括direct pipeline、apache spark、apache flink和google cloud dataflow。4.根据权利要求3所述的一种基于apache flink的分布式流体动力学计算方法，其特征在于，所述大数据分析平台包括数据处理模块，数据处理模块用于生成数据加工处理程序。5.根据权利要求1所述的一种基于apache flink的分布式流体动力学计算方法，其特征在于，所述大数据分析平台包括编译模块，编译模块集成于大数据分析平台，用于对数据加工处理程序进行编译，转换为大数据分析平台可执行的程序代码。6.根据权利要求1所述的一种基于apache flink的分布式流体动力学计算方法，其特征在于，所述步骤s4开窗计算步骤：将各个不同的数据按照不同维度进行开窗计算，得到第一计算结果，所述第一计算结果中包括多种结果。7.根据权利要求1所述的一种基于apache flink的分布式流体动力学计算方法，其特征在于，所述步骤s4结果封装步骤：令第一计算结果接入apache flink进行指标计算，过滤无效数据，按照类型进行分割后，进行开窗计算，把流体数据转换为table流数据，使用flinksql对数据按照多维度进行分组排序,分别产生不同的指标，形成第二计算结果并进行封装。8.根据权利要求1所述的一种基于apache flink的分布式流体动力学计算方法，其特征在于，所述步骤s4存储到分布式存储数据库中：将结果数据写入到分布式存储数据库中。
技术总结
本发明公开了一种基于ApacheFlink的分布式流体动力学计算方法，包括如下步骤：数据采集：接收特定流域所产生的流体数据，使用分布式收集实时采集的流体数据；数据清洗：使用Flink平台的map算子拆分功能，将采集到的流体数据一行一行转换出来，使用Flink平台的flatmap算子拆分功能，将每条流体数据记录由一行转换成多行，使用Flink平台的keyby算子分区功能，将每条流体数据记录按照速度值字段进行数据分区，将相同的速度值放到同一个分区。本发明通过使用使用flink框架，数据实时性处理很强，不会产生数据的延迟，保证数据的一致性，数据的吞吐量很强，即数据可以频繁的写入到flink当中且不会丢失。到flink当中且不会丢失。到flink当中且不会丢失。
技术研发人员：任南琪 王爱杰 王旭 路璐 冯骁驰
受保护的技术使用者：澜途集思生态科技集团有限公司
技术研发日：2022.01.13
技术公布日：2022/4/20