一种基于apacheflink的分布式流体动力学计算方法
技术领域：
：1.本发明涉及流体动力学
技术领域：
：，尤其涉及一种基于apacheflink的分布式流体动力学计算方法。
背景技术：
：：2.随着计算机技术及大规模并行计算技术的迅猛发展，计算流体力学已经成为一种常用的流体力学研究方法，在科学研究和工程应用领域具有非常广泛的应用。然而，流体流动现象非常复杂，求解流体流动的控制方程难度较高，流体流场细节不足以满足相关的计算要求，计算效率不高，数据处理慢，且数据容易丢失。技术实现要素：3.基于
背景技术：
：存在的技术问题，本发明提出了一种基于apacheflink的分布式流体动力学计算方法。4.本发明提出的一种基于apacheflink的分布式流体动力学计算方法，包括如下步骤：5.s1数据采集：接收特定流域所产生的流体数据，使用分布式收集实时采集的流体数据；6.s2数据清洗：使用flink平台的map算子拆分功能，将采集到的流体数据一行一行转换出来，使用flink平台的flatmap算子拆分功能，将每条流体数据记录由一行转换成多行，使用flink平台的keyby算子分区功能，将每条流体数据记录按照速度值字段进行数据分区，将相同的速度值放到同一个分区，使用flink平台的filter算子过滤功能，将分区数据过滤掉无用的数据，保留有用数据；7.s3数据转换：使用flink计算引擎解析清洗后的数据信息，并进行异步匹配对应的维度信息；8.s4数据处理：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入数据信息的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到分布式存储数据库中。9.优选的，所述步骤s1接收特定流域所产生的流体数据，对接收特定流域所产生的流体数据进行汇总，并进行分类存储。10.优选的，所述步骤s2还包括数据分析，数据分析采用大数据分析平台，大数据分析平台包括directpipeline、apachespark、apacheflink和googleclouddataflow。11.优选的，所述大数据分析平台包括数据处理模块，数据处理模块用于生成数据加工处理程序。12.优选的，所述大数据分析平台包括编译模块，编译模块集成于大数据分析平台，用于对数据加工处理程序进行编译，转换为大数据分析平台可执行的程序代码。13.优选的，所述步骤s4开窗计算步骤：将各个不同的数据按照不同维度进行开窗计算，得到第一计算结果，所述第一计算结果中包括多种结果。14.优选的，所述步骤s4结果封装步骤：令第一计算结果接入apacheflink进行指标计算，过滤无效数据，按照类型进行分割后，进行开窗计算，把流体数据转换为table流数据，使用flinksql对数据按照多维度进行分组排序,分别产生不同的指标，形成第二计算结果并进行封装。15.优选的，所述步骤s4存储到分布式存储数据库中：将结果数据写入到分布式存储数据库中。16.本发明中，所述一种基于apacheflink的分布式流体动力学计算方法，通过使用使用flink框架，数据实时性处理很强，不会产生数据的延迟，保证数据的一致性，数据的吞吐量很强，即数据可以频繁的写入到flink当中且不会丢失。附图说明17.图1为本发明提出的一种基于apacheflink的分布式流体动力学计算方法的流程图。具体实施方式18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。19.参照图1，一种基于apacheflink的分布式流体动力学计算方法，包括如下步骤：20.s1数据采集：接收特定流域所产生的流体数据，使用分布式收集实时采集的流体数据；21.s2数据清洗：使用flink平台的map算子拆分功能，将采集到的流体数据一行一行转换出来，使用flink平台的flatmap算子拆分功能，将每条流体数据记录由一行转换成多行，使用flink平台的keyby算子分区功能，将每条流体数据记录按照速度值字段进行数据分区，将相同的速度值放到同一个分区，使用flink平台的filter算子过滤功能，将分区数据过滤掉无用的数据，保留有用数据；22.s3数据转换：使用flink计算引擎解析清洗后的数据信息，并进行异步匹配对应的维度信息；23.s4数据处理：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入数据信息的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到分布式存储数据库中。24.本发明中，步骤s1接收特定流域所产生的流体数据，对接收特定流域所产生的流体数据进行汇总，并进行分类存储。25.本发明中，步骤s2还包括数据分析，数据分析采用大数据分析平台，大数据分析平台包括directpipeline、apachespark、apacheflink和googleclouddataflow。26.本发明中，大数据分析平台包括数据处理模块，数据处理模块用于生成数据加工处理程序。27.本发明中，大数据分析平台包括编译模块，编译模块集成于大数据分析平台，用于对数据加工处理程序进行编译，转换为大数据分析平台可执行的程序代码。28.本发明中，步骤s4开窗计算步骤：将各个不同的数据按照不同维度进行开窗计算，得到第一计算结果，第一计算结果中包括多种结果。29.本发明中，步骤s4结果封装步骤：令第一计算结果接入apacheflink进行指标计算，过滤无效数据，按照类型进行分割后，进行开窗计算，把流体数据转换为table流数据，使用flinksql对数据按照多维度进行分组排序,分别产生不同的指标，形成第二计算结果并进行封装。30.本发明中，步骤s4存储到分布式存储数据库中：将结果数据写入到分布式存储数据库中。31.本发明：接收特定流域所产生的流体数据，使用分布式收集实时采集的流体数据；使用flink平台的map算子拆分功能，将采集到的流体数据一行一行转换出来，使用flink平台的flatmap算子拆分功能，将每条流体数据记录由一行转换成多行，使用flink平台的keyby算子分区功能，将每条流体数据记录按照速度值字段进行数据分区，将相同的速度值放到同一个分区，使用flink平台的filter算子过滤功能，将分区数据过滤掉无用的数据，保留有用数据；使用flink计算引擎解析清洗后的数据信息，并进行异步匹配对应的维度信息；令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入数据信息的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到分布式存储数据库中。32.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。当前第1页12当前第1页12