数据处理方法、装置及设备与流程

本技术涉及计算机，尤其是涉及到一种数据处理方法、装置及设备。

背景技术：

1、大数据技术的广泛应用使其成为引领众多行业技术进不、促进效益增长的关键支撑技术。根据数据处理的时效性，大数据处理系统可分为批式大数据和流式大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。

2、相关技术中，在对大数据的分析过程中有很多不同实时流处理，离线批处理语言框架等，例如，flink、spark等，这些语言框架需要花费大量时间学习开发并且工程化，并且还需要依赖资源管理系统等。对于这些已存在的语言框架都无法具备同时满足流批一体的数据处理，还需要编写大量工程化代码实现业务逻辑，使得代码实现服务需要依赖大量的组件，进而导致资源占用更多。

技术实现思路

1、有鉴于此，本技术提供了一种数据处理方法、装置及设备，主要目的在于解决现有技术的数据处理需要编写大量工程化代码实现业务逻辑，使得代码实现服务需要依赖大量的组件，进而导致资源占用更多的问题。

2、根据本技术的第一个方面，提供了一种数据处理方法，包括：

3、获取语法命令列表，使用服务接口将所述语法命令列表提交至语法分析器，所述语法命令列表中每条语法命令是围绕数据处理流程自定义得到的；

4、利用所述语法分析器将所述语法命令列表中每条语法命令解析为语法树结构后，下发至执行引擎；

5、针对所述执行引擎中的每条语法命令，使用所述语法树结构将每条语法命令转换为数据查询语句；

6、通过顺序执行每条数据查询语句获取结果数据集，将所述结果数据集作为数据处理结果。

7、进一步地，所述语法分析器中设置有至少一条语法规则，所述利用所述语法分析器将所述语法命令列表中每条语法命令解析为语法树结构后，下发至执行引擎，具体包括：

8、对所述语法命令列表中每条语法命令执行动作，利用所述语法分析器中至少一条语法规则将每条语法命令解析为多层语法结构；

9、使用树形结构将所述多层语法结构组合得到语法结构树后，下发至执行引擎。

10、进一步地，每条语法规则用于将语法命令解析为语法结构树中的一层语法结构，所述对所述语法命令列表中每条语法命令执行动作，利用所述语法分析器中至少一条语法规则将每条语法命令解析为多层语法结构，具体包括：

11、对所述语法命令列表中每条语法命令执行动作，利用所述语法分析器中第一语法规则对每条语法命令进行命名，得到第一层语法结构；

12、利用所述语法分析器中第二语法规则在每条语法命令中提取带等号形式的键值参数，得到第二层语法结构；

13、利用所述语法分析器中第三语法规则在每条语法命令中提取没有等号的词参数，得到第三层语法结构；

14、利用所述语法分析器中第四语法规则在每条语法命令中提取命名之后的字符串表达式，得到第四层语法结构。

15、进一步地，所述针对所述执行引擎中的每条语法命令，使用所述语法树结构将每条语法命令转换为数据查询语句，具体包括：

16、针对所述执行引擎中的每条语法命令，使用所述语法树结构获取预设符号标识之后的语法命令；

17、利用所述预设符号标识之后的语法命令将每条语法命令转换为数据查询语句。

18、进一步地，在所述利用所述预设符号标识之后的语法命令将每条语法命令转换为数据查询语句之后，所述方法还包括：

19、判断当前语法命令转换得到的数据查询语句是否满足聚和分组语法，所述聚和分组语法中当前语法命令转换得到的数据查询语句与上一条语法命令转换得到的数据查询语句具有相同语法特征；

20、若是，则所述通过顺序执行每条数据查询语句获取结果数据集，具体包括：将当前语法命令转换得到的数据查询语句与上一条语法命令转换得到的数据查询语句合并为一条数据查询语句，使用合并后的数据查询语句获取结果数据集；

21、否则，所述通过顺序执行每条数据查询语句获取结果数据集，具体包括：根据上一条语法命令转换得到的数据查询语句获取结果数据集，将所述结果数据集作为数据源，使用当前语法命令作为自定义函数生成的数据查询语句从所述数据源中获取结果数据集。

22、进一步地，当所述语法命令中携带有离线标识时，所述通过顺序执行每条数据查询语句获取结果数据集，将所述结果数据集作为数据处理结果，具体包括：

23、通过顺序执行每条数据查询语句，若所述数据查询语句无法通过数据库执行命令，则使用自定义的代码函数进行数据处理；

24、将所述数据处理返回的数据集作为一下条数据查询语句的入参，直至数据查询语句获取到最终结果数据集，将最终结果数据集作为数据处理结果。

25、进一步地，当所述语法命令中携带有实时标识时，所述通过顺序执行每条数据查询语句获取结果数据集，将所述结果数据集作为数据处理结果，具体包括：

26、在预先配置的流处理框架中使用流式编程语句生成流处理任务，所述流处理任务中携带有任务参数；

27、通过顺序执行每条数据查询语句，根据所述任务参数进行实时流计算，获取结果数据集，将所述结果数据集作为数据处理结果。

28、根据本技术的第二个方面，提供了一种数据处理装置，包括：

29、获取单元，用于获取语法命令列表，使用服务接口将所述语法命令列表提交至语法分析器，所述语法命令列表中每条语法命令是围绕数据处理流程自定义得到的；

30、解析单元，用于利用所述语法分析器将所述语法命令列表中每条语法命令解析为语法树结构后，下发至执行引擎；

31、转换单元，用于针对所述执行引擎中的每条语法命令，使用所述语法树结构将每条语法命令转换为数据查询语句；

32、执行单元，用于通过顺序执行每条数据查询语句获取结果数据集，将所述结果数据集作为数据处理结果。

33、进一步地，所述语法分析器中设置有至少一条语法规则，所述解析单元包括：

34、解析模块，用于对所述语法命令列表中每条语法命令执行动作，利用所述语法分析器中至少一条语法规则将每条语法命令解析为多层语法结构；

35、组合模块，用于使用树形结构将所述多层语法结构组合得到语法结构树后，下发至执行引擎。

36、进一步地，每条语法规则用于将语法命令解析为语法结构树中的一层语法结构，所述解析模块，具体用于对所述语法命令列表中每条语法命令执行动作，利用所述语法分析器中第一语法规则对每条语法命令进行命名，得到第一层语法结构；利用所述语法分析器中第二语法规则在每条语法命令中提取带等号形式的键值参数，得到第二层语法结构；利用所述语法分析器中第三语法规则在每条语法命令中提取没有等号的词参数，得到第三层语法结构；利用所述语法分析器中第四语法规则在每条语法命令中提取命名之后的字符串表达式，得到第四层语法结构。

37、进一步地，所述转换单元包括：

38、获取模块，用于针对所述执行引擎中的每条语法命令，使用所述语法树结构获取预设符号标识之后的语法命令；

39、转换模块，用于利用所述预设符号标识之后的语法命令将每条语法命令转换为数据查询语句。

40、进一步地，所述转换单元还包括：

41、判断模块，用于在所述利用所述预设符号标识之后的语法命令将每条语法命令转换为数据查询语句之后，判断当前语法命令转换得到的数据查询语句是否满足聚和分组语法，所述聚和分组语法中当前语法命令转换得到的数据查询语句与上一条语法命令转换得到的数据查询语句具有相同语法特征；

42、若是，则所述执行单元，具体用于将当前语法命令转换得到的数据查询语句与上一条语法命令转换得到的数据查询语句合并为一条数据查询语句，使用合并后的数据查询语句获取结果数据集；

43、否则，所述执行单元，具体用于根据上一条语法命令转换得到的数据查询语句获取结果数据集，将所述结果数据集作为数据源，使用当前语法命令作为自定义函数生成的数据查询语句从所述数据源中获取结果数据集。

44、进一步地，当所述语法命令中携带有离线标识时，所述执行单元，具体用于通过顺序执行每条数据查询语句，若所述数据查询语句无法通过数据库执行命令，则使用自定义的代码函数进行数据处理；将所述数据处理返回的数据集作为一下条数据查询语句的入参，直至数据查询语句获取到最终结果数据集，将最终结果数据集作为数据处理结果。

45、进一步地，当所述语法命令中携带有实时标识时，所述执行单元，具体用于在预先配置的流处理框架中使用流式编程语句生成流处理任务，所述流处理任务中携带有任务参数；通过顺序执行每条数据查询语句，根据所述任务参数进行实时流计算，获取结果数据集，将所述结果数据集作为数据处理结果。

46、根据本技术的第三个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

47、根据本技术的第四个方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

48、借由上述技术方案，本技术提供的一种数据处理方法、装置及设备，与目前现有技术中使用已有框架语言进行数据处理的方式相比，本技术通过获取语法命令列表，使用服务接口将语法命令列表提交至语法分析器，利用语法分析器将语法命令列表中每条语法命令解析为语法树结构后，下发至执行引擎，然后针对执行引擎中的每条语法命令，使用语法树结构将每条语法命令转换为数据查询语句，通过顺序执行每条数据查询语句获取结果数据集，将结果数据集作为数据处理结果。整个过程通过自定义的语法命令来生成查询语句，无需编写大量工程化代码，即可满足快速开发对实时数据和离线数据的业务处理，避免代码服务过程中对组件的依赖，相应减少了资源占用。

49、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。